论文解读

城市尺度步行视频里的空间与声音推理:Perception Test 2026 四赛道总结

论文用桌面尺度问答加城市步行长视频两类新赛道考查空间与听视觉推理,获胜方案多为多模型智能体管线而单一通用模型仍落后,代价是大量工具调用与计算开销。

 · 更新于 2026-10-16 · 约 19 分钟 · 9405 字 阅读 →
论文解读

为一位气管造口重度构音障碍者做的个性化捷克语语音识别

针对一位永久气管造口并伴重度构音障碍的捷克语青少年的不可懂语音,论文用人工对话采集 33 小时单人语料并以 Whisper Base 做四阶段微调与流式改造,在三种实时场景下把字符错误率大幅降低,但绝对误差仍高且高度依赖说话人自身数据与设备适配。

 · 更新于 2026-10-16 · 约 19 分钟 · 9132 字 阅读 →
论文解读

多人自然对话怎么录下来、标清楚并用来做交互

该工作用 100 小时人工核验对话做可靠评测、用 2000 小时自动标注对话做大规模训练,两路都保留同步的分人音轨和多维标注,并在分离、识别与轮次检测上验证了互补价值,但跨域远场与合成等待样本仍有限制。

 · 更新于 2026-10-16 · 约 17 分钟 · 8080 字 阅读 →
论文解读

STEMMA:用歌曲出处关系教会大音频语言模型比较多段音乐

STEMMA 针对多段音乐比较问题,先声明歌曲-段落-分轨出处关系再检索满足与违反该关系的元组来生成问答,并用 19 万条指令微调使结构关系判断大幅提升而单音频理解保持,属性细粒度比较仍接近随机水平且代价是依赖全曲目录与人工校验。

 · 更新于 2026-10-16 · 约 21 分钟 · 10127 字 阅读 →
论文解读

多指手抓取稳不稳?用抓起前的视觉、本体感觉和指尖触觉来预测

论文用 10000 次多指抓取数据研究抓起前三秒观察预测抓起后是否掉落的问题,对比模态与时序建模并以上线重抓门控验证,触觉尤其是高分辨率动态触觉带来可测提升但以更多传感与计算为代价。

 · 更新于 2026-10-16 · 约 20 分钟 · 9797 字 阅读 →
论文解读

为朗读录制而修的约鲁巴语句子:ÌròyìnSpeech 文本部分是怎么来的

该文发布为录制 42 小时约鲁巴语语音而准备的 24905 句带声调符号文本,讲清来源改写与 Unicode 清洗过程,其复用价值只在标准约鲁巴语朗读新闻语域内成立。

 · 更新于 2026-10-16 · 约 16 分钟 · 7543 字 阅读 →
论文解读

听不见的超声为什么能帮助识别乐器

论文用同一批 96 千次每秒录音比较全频带、低通和只留超声三种输入,发现 22.05 千赫兹以上的超声带能把孤立乐器识别和复音检测提高约 4 到 6 个百分点,但代价是需要 2.18 倍存储和宽带采集链路,且结论只在录音室隔离分轨和留出完整录音的划分下成立。

 · 更新于 2026-10-16 · 约 15 分钟 · 7176 字 阅读 →
论文解读

从一句话需求到多轮多模态指令:UniData 流水线解读

UniData 把用户的一句简单需求先扩展成多样事件,再用文本为中心的多模态指令生成器逐轮生成九种模态的对话,并用轮间相似度校正重复与偏题,在 GPT 评测的四维质量上高于对照方法,但多轮增益与跨模型迁移都依赖评测集与微调条件。

 · 更新于 2026-10-16 · 约 22 分钟 · 10625 字 阅读 →
论文解读

182 条合成监督能让小模型学会日语交接转结构化病历吗

用 182 段带溯源的合成日语护理交接音频适配 1.47B 音频模型,全量微调与 rank-16 LoRA 在 39 段种子隔离合成测试上取得 0.8664 与 0.8461 的事实性-召回调和分,LoRA 以约 0.85% 可训练参数保留 97.7% 的聚合分,但未测量设备延迟功耗且未验证真实语音迁移。

 · 更新于 2026-10-16 · 约 17 分钟 · 8155 字 阅读 →
论文解读

相机动了,声音该往哪偏:用野外自运动监督双耳定位

论文用视觉估计的相机旋转与平移方向约束同一视频前后两段立体声的方位预测,并叠加左右声强差约束,在野外步行视频与仿真对照上验证了该弱监督的有效性与重叠声下的局限。

 · 更新于 2026-10-16 · 约 19 分钟 · 9501 字 阅读 →
论文解读

把思考藏进隐状态:AURAL 如何用多路径分块推理换来更快首字应答

针对语音语言模型中显式思维链延迟高且难以表达细粒度声学线索的问题,AURAL 用高斯混合隐状态加联合块预测做两阶段训练,在 Qwen2.5-Omni 上把首个答案 token 时间从 1.22 秒降到 0.10 秒,代价是需要先构造 68.3 万条简洁思维链监督并依赖质量门控奖励来调节推理深度。

 · 更新于 2026-10-16 · 约 19 分钟 · 9403 字 阅读 →
论文解读

从场景标签到场景描述:AVSD-Scenes 如何把听觉与视觉拼成一段话

AVSD-Scenes 针对城市声景只有粗标签而缺少听视细节的问题,用两阶段自动管线先分模态生成事件与描述再用大语言模型融合成段,并用检索、对齐、分类与主观评价显示多模态描述在场景级检索与分类上优于单模态且能补充声视嵌入,代价是实例级区分力弱与仍存在幻觉风险。

 · 更新于 2026-10-16 · 约 20 分钟 · 9545 字 阅读 →
论文解读

一次读完还是分段拼接:长序列训练如何改变连续朗读的停早问题

该文用同一批俄语录音的长单元与短窗口对照微调并做全尝试连续合成评估,报告在约 1200 词时自回归模型的长目标训练大幅降低词错误率,而流匹配模型的绝对错误率仍高于 90%,代价是转录格式与语料构成等混杂尚未完全分离。

 · 更新于 2026-10-16 · 约 15 分钟 · 7305 字 阅读 →
论文解读

没有成对真值时如何修管弦乐老录音:用更宽的退化仿真换有监督复原

该文把 1926 年前管弦乐历史录音复原写成盲逆问题,用五阶段维纳-哈默斯坦退化函数合成成对数据,训练潜空间条件流匹配模型 SAMECFM,并在无参考指标与 MOS 上报告最优,但生成质量提升伴随保真度代价。

 · 更新于 2026-10-16 · 约 20 分钟 · 9535 字 阅读 →
论文解读

先把生成史钉牢,再谈行为归因:合成语音研究对象的来源审计

该文把可审计的生成来源链作为行为归因的前提,提出合成语音研究对象与五遍审计法,并在 113 条日语护理交接合成资产上验证了哪些归因问题被允许、哪些仍被缺失戳记阻断,代价是仍不提供因果归因与临床有效性结论。

 · 更新于 2026-10-16 · 约 19 分钟 · 9055 字 阅读 →
论文解读

不一次看完整视频:OmniSeek 把找证据变成多轮听看动作

OmniSeek 把音视频问答改为主动多轮取证循环,用 OmniTraj-170K 冷启动再加两阶段强化学习约束双模态依赖,在长视频多跳基准上提升明显,但超长音频仍受上下文窗口限制。

 · 更新于 2026-10-16 · 约 16 分钟 · 7949 字 阅读 →
论文解读

不改语音模型参数,如何把关键词偏置加进编码器隐状态

针对领域实体与罕见专有名词难识别的问题,BaLEEN 用冻结语言模型加 Perceiver 瓶颈生成可预计算的层偏置注入冻结 CTC 编码器,在合成维基测试集上关键词漏识相对下降 8.7% 且词错误率相对下降 21%,代价是依赖合成语音与固定上下文预计算条件。

 · 更新于 2026-10-16 · 约 17 分钟 · 8018 字 阅读 →
论文解读

拍手未知、房间未知:从单次拍手直接回归房间冲激响应

论文把单次混响拍手建模为未知拍手与未知房间冲激响应的卷积,用消声拍手数据集构造合成配对训练神经回归器,在受控合成基准上全面优于加窗激励基线,并在 7 个真实房间中把频谱离散度从原始录音水平降到更一致的估计,但与已知激励解卷积参考仍有差距。

 · 更新于 2026-10-16 · 约 8 分钟 · 3521 字 阅读 →
论文解读

新皮肤要换声又不能换错事件:用保留掩码补齐整套游戏音效

针对新皮肤多事件音效补齐问题,论文用全量基础音频加已完成目标前缀与逐事件变换提示做潜在修复,在保持可运行基线对比下报告了重建误差下降与提示有效性,同时保留了对预言提示与时长先验的明确限制。

 · 更新于 2026-10-16 · 约 16 分钟 · 7998 字 阅读 →
论文解读

三路必须讲同一页:故事续写如何卡住图文语音的一致性

论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写,用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致,32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈,但语音区分度与聚合口径限制了细粒度排序。

 · 更新于 2026-10-16 · 约 20 分钟 · 9945 字 阅读 →