论文解读

跨会话记住谁说了什么及其时态:PERSIST 语音记忆解读

针对多人多会话语音对话中说话人混淆与事实新旧混淆问题,PERSIST 用可读事件记录加语义加说话人加时间联合打分做检索,并复用对话主干中间表示把检索延迟从 578.42 ms 降到 7.03 ms,代价是仍依赖转写与说话人归属质量。

 · 更新于 2026-10-15 · 约 22 分钟 · 10983 字 阅读 →
论文解读

SAVU-Bench:用真实录制检验空间听视觉理解

论文用真实空间音视频搭建覆盖感知、对齐与推理的 1066 题基准和 611 题场景关联诊断集,12 个模型的证据显示听觉空间定位与跨模态组合是主要瓶颈,而显式空间线索能提升定位和联合匹配却难完全解决推理。

 · 更新于 2026-10-15 · 约 21 分钟 · 10137 字 阅读 →
论文解读

多人自然对话怎么录下来、标清楚并用来做交互

该工作用 100 小时人工核验对话做可靠评测、用 2000 小时自动标注对话做大规模训练,两路都保留同步的分人音轨和多维标注,并在分离、识别与轮次检测上验证了互补价值,但跨域远场与合成等待样本仍有限制。

 · 更新于 2026-10-15 · 约 17 分钟 · 8080 字 阅读 →
论文解读

全双工语音模型如何在说话的同时接受指挥

论文针对全双工模型在长对话中偏离多阶段脚本的问题,提出边听边说的执行器加异步文本指挥器的架构与在线指令跟随训练,在 200 个分阶段考官任务上用完成率与严格顺序完成率衡量,并以显式轮替奖励维持打断与接话能力。

 · 更新于 2026-10-15 · 约 21 分钟 · 10410 字 阅读 →
论文解读

STEMMA:用歌曲出处关系教会大音频语言模型比较多段音乐

STEMMA 针对多段音乐比较问题,先声明歌曲-段落-分轨出处关系再检索满足与违反该关系的元组来生成问答,并用 19 万条指令微调使结构关系判断大幅提升而单音频理解保持,属性细粒度比较仍接近随机水平且代价是依赖全曲目录与人工校验。

 · 更新于 2026-10-15 · 约 21 分钟 · 10127 字 阅读 →
论文解读

把互动叙事设计变成可重复跑分的公开基准

论文把原来手工测试的互动叙事生成评估做成公开网页平台,用去标识评分、自动试玩与事实和偏见检查来测文本代码图像音频视频与完整游戏,报告前沿模型整体分数更高但交互结构仍弱且出现无限思考与过度拒答的代价。

 · 更新于 2026-10-15 · 约 18 分钟 · 8548 字 阅读 →
论文解读

把 AI 生成音乐抄袭检测当作版本识别来做

该文把“候选音频是否为原曲衍生版本” 作为成对判断,用 COPYCAT 的 35 万对比较检验了冻结的版本识别表征,并用坐标级位移分类器把总体 F0.5 从 0.612 提高到 0.803,代价是保留 512 维原始位移并依赖有监督训练。

 · 更新于 2026-10-15 · 约 18 分钟 · 9006 字 阅读 →
论文解读

UltraDub:用唇动同时管住说什么和何时说

针对无声视频配音需要同时保住可懂度、音色和口型同步的问题,UltraDub 用唇动引导的双路检索学习速度场、再用视觉节拍锚定推理修正,在四个数据集上同步和音色最好,但部分类别字错率仍非最低且推理要多算分支。

 · 更新于 2026-10-15 · 约 19 分钟 · 9262 字 阅读 →
论文解读

多轮对话里该用哪段历史:ReTurn 如何测选择性历史使用

ReTurn 用 7000 个配对任务测模型能否按当前请求选用历史问题或历史证据,最强证据是单轮到多轮中位准确率从 93.7% 掉到 72.3%,而复述请求与监督微调只能部分挽回且长对话冲突条件仍很弱。

 · 更新于 2026-10-15 · 约 19 分钟 · 9104 字 阅读 →
论文解读

好看的听感分数为何留不住可懂度和声纹:非洲语音上的编解码器多任务基准

论文在三种非洲语音上固定识别与验证后端、只替换编解码器重建音频,显示参考型结构与基频误差比神经 MOS 更能跟踪下游退化,且中码率 RVQ 相对稳定而极低码率语义压缩在识别可用时仍可能丢失声纹,轻量 LoRA 适配可部分收回识别损失。

 · 更新于 2026-10-15 · 约 16 分钟 · 7983 字 阅读 →
论文解读

多人会议中回馈预测为何跨人失效:诊断、基准与行为上限

论文把双人回馈模型搬到多人混合音频上发现预测头失效在先、跨听者泛化失效在后,用冻结特征探针、重训、条件化与对抗等对照定位到回馈行为本身的人际差异大而可迁移声学成分小。

 · 更新于 2026-10-15 · 约 20 分钟 · 9690 字 阅读 →
论文解读

意图来得太晚:全双工语音何时抢话与帮错忙

针对原生全双工语音会在用户说完前开口的问题,论文用共享模糊前缀加可控停顿构造迟发意图基准,以提前响应率与有害或良性参与率联合评估四个模型,发现三者有害参与上升而一者全面退缩,且停顿放在意图揭示后则效应大减,但代码当前不可用限制了复现。

 · 更新于 2026-10-15 · 约 9 分钟 · 4487 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-03

共分析 16 篇语音/AI 论文

 · 更新于 2026-10-15 · 约 29 分钟 · 14202 字 阅读 →
论文解读

先对齐再判断:用单调对齐约束补上视频语言模型的时序盲区

针对只有静音视频和候选文本的配音唇同步评审问题,论文用候选相关的 CTC 单调对齐提供局部与全局证据再交由大语言模型推理,在七语基准上报告平均 AUC 达 0.920 并通过消融证明校准全局分对时序不可或缺。

 · 更新于 2026-10-15 · 约 17 分钟 · 8446 字 阅读 →
论文解读

没有成对真值时如何修管弦乐老录音:用更宽的退化仿真换有监督复原

该文把 1926 年前管弦乐历史录音复原写成盲逆问题,用五阶段维纳-哈默斯坦退化函数合成成对数据,训练潜空间条件流匹配模型 SAMECFM,并在无参考指标与 MOS 上报告最优,但生成质量提升伴随保真度代价。

 · 更新于 2026-10-15 · 约 20 分钟 · 9535 字 阅读 →
论文解读

一个底座加三类专训:Index-Translate 如何分开处理翻译质量、指令约束与长文档

论文以 150 语言共享中训底座解决通用翻译,再用通用、指令、梗三专家插值加针对性蒸馏保留约束能力,并为语音、音节控制、长文档单设训练路径,最强证据是 9B 长文档均值 0.7891、0.7683、0.8848 与 35B 通用翻译 0.8794 等,代价是质量与约束控制之间存在可测 trade-off。

 · 更新于 2026-10-15 · 约 19 分钟 · 9468 字 阅读 →
论文解读

无新人工评分时如何把多个公开 MOS 预测器合成为一个更稳的模型

针对 MOS 预测器跨域排序不稳的问题,论文用小规模已有人工评分拟合逐句自适应路由以合并四个教师并在 807k 无标注语音上蒸馏出单个 wav2vec 2.0 学生,在 URGENT 上 Spearman 达到 0.802、在 mos260 上达到 0.636,代价是目标上限仍受教师集成约束且绝对分值向中间压缩。

 · 更新于 2026-10-15 · 约 17 分钟 · 8216 字 阅读 →
论文解读

先听准再推理:RMS-AQA 用两段式问答卡住空间音频的猜测捷径

RMS-AQA 针对家庭具身助手需同时判断事件是什么、在哪何时发生的问题,采用先事件接地再条件推理的两段式选择题与 10 秒一阶 Ambisonics 片段,并用实测房间脉冲响应合成训练加真实录制验证测试的组合,证明轻量空间插件能大幅提升冻结音频语言主干的接地推理链,但并发声源、远场与仿真到真实差距仍是主要瓶颈。

 · 更新于 2026-10-15 · 约 22 分钟 · 10554 字 阅读 →
论文解读

一次说完与分次说完:语音数学推理为何需要两种单轮对照

该研究用 103 道切分数学题比较一次呈现原题、一次呈现拼接碎片与多轮递增披露三种语音输入,报告四款商用语音系统从拼接基线到分轮下降 5.0 至 25.3 个百分点、LEGO 三条件均为 77.5%,并指出必须保留两种单轮对照才能区分改写效应与多轮效应。

 · 更新于 2026-10-15 · 约 18 分钟 · 8778 字 阅读 →
论文解读

能说出道理不等于找到了证据:SEAR 用可验证声学测量检验音频大模型的伪造推理

SEAR 把音频伪造检测拆成 verdict、证据识别与量化、取证解释四问,用 35 个声学特征的统计规则构造参考证据,最强证据是冻结模型的 BAEA-Fixed 在 19LA 上把 T1 EER 从 36.34% 降到 24.53%,代价是依赖稳定的真品参考分布且跨域收益明显变小。

 · 更新于 2026-10-15 · 约 20 分钟 · 9932 字 阅读 →