论文解读

不用时长标签也能对准歌词:分块流匹配如何兼顾长歌连贯与效率

DiffRhythm 2 用块内并行、块间自回归的分块流匹配解决长歌曲词声对齐难题,以 5 Hz 音乐变分自编码器支撑 210 秒建模,并用随机块表示对齐与跨对偏好优化提升结构与综合偏好,最强证据是 Mulan-T 0.40 与 PER 0.13,代价是低帧率压缩限制重建上限与人声精细度仍弱于商业系统。

 · 更新于 2026-11-18 · 约 20 分钟 · 9720 字 阅读 →
论文解读

先抓语义再补声音:GenTSE 用两段生成缓解自回归提取的错位

针对多人混合中抽取目标说话人的任务,GenTSE 用语义级与声学级两段解码器语言模型分工建模,并用冻结模型条件训练缩小训练与推理的输入差异、用直接偏好优化提升感知质量,在 Libri2Mix 上感知质量优于同类生成式基线,但可懂度仍不及最强判别式对照且偏好优化带来轻微可懂度和说话人相似度代价。

 · 更新于 2026-11-18 · 约 15 分钟 · 7051 字 阅读 →
论文解读

不等停顿的同传:用偏好学习把块间静音换成连续说话

针对同声传译语音到语音翻译中为等上下文而频繁停顿的问题,论文用银牌偏好直接偏好优化在 Hibiki 上降低块间静音比,主证据是长短语音基准上静音比下降而翻译质量和延迟基本保持,代价是短语音上 BLEU 与 COMET 略低于基线。

 · 更新于 2026-11-18 · 约 17 分钟 · 8296 字 阅读 →
论文解读

不用标准答案也能学写声音描述:用成对偏好把音频字幕拉向人意

针对音频字幕依赖成对标注且自动指标与人意不一致的问题,该研究用成对偏好训练 CLAP 嵌入上的奖励模型再做自批判强化微调,在挑战样本上获得更高人类胜率,代价是需要额外偏好标注且长句奖励投机需用长度惩罚抑制。

 · 更新于 2026-11-18 · 约 18 分钟 · 8913 字 阅读 →
论文解读

母语口语问代码时,通用语音识别为什么先错再传错

针对印度初学者母语混英语代码词的口语提问,CodeVaani 用分语种语音识别加代码感知转写修正再接代码模型作答,在 500 条真人语音上把词错率降到 8.1% 左右并获得超 89% 公平以上评价,代价是依赖双 H100 异步流水线且未验证多轮与延迟。

 · 更新于 2026-11-18 · 约 17 分钟 · 8417 字 阅读 →
论文解读

合成语音混得像不像:用语音级语码混合度约束 TTS 再反哺语码切换识别

针对中英会话语码切换数据稀缺问题,该工作用语音级 CMI 连同可懂度和自然度做多评价偏好学习来优化 CosyVoice2 合成,再把合成语音与真实语音混合微调 Whisper 等识别模型,在 SEAME 上把混合错误率降到 DevMAN 8.9% 与 DevSGE 14.2%,代价是依赖伪帧语言标签与多模型打分流水线。

 · 更新于 2026-11-18 · 约 19 分钟 · 9022 字 阅读 →
论文解读

不预测分数只判断好坏:PrefSQA 用成对偏好绕开 MOS 噪声

针对平均意见分标度受评分人和测试协议影响而噪声大的问题,PrefSQA 研究完全不看 MOS 的成对偏好预测,用语义声学双编码器加不确定性温度、损伤注意力与批内非匹配参考头建模,并在 MOS 衍生、低噪声仿真与真人偏好数据上验证,显示高质量数据才能让结构改进显现,但小间隔样本仍是主要误差来源。

 · 更新于 2026-11-18 · 约 19 分钟 · 9175 字 阅读 →
论文解读

偏好与引导分开学:双模型如何让流匹配语音更听话

针对零-shot 流匹配语音合成训练目标与听感评价脱节的问题,该工作用两个模型分别学偏好与非偏好分布并配合改进的无分类器引导采样,在 Seed-TTS 中英文集上同时降低词错误率、提升说话人相似度,代价是推理需运行双模型并依赖小规模代理偏好数据。

 · 更新于 2026-11-18 · 约 20 分钟 · 9639 字 阅读 →
论文解读

把风格决策写成指令:Interactive TTS 如何拆开理解与发声

针对多轮多模态对话中风格稀疏且易漂移说话人音色的问题,论文用显式风格指令拆开感知与合成,并用迭代拒绝采样与上下文偏好优化对齐生成器,在保持音色与可懂度的同时提升指令遵循与情境适配,但细粒度句内动态仍未解决。

 · 更新于 2026-11-18 · 约 11 分钟 · 5500 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-09-24

共分析 62 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 112 分钟 · 55814 字 阅读 →
论文解读

把谁说了什么写对:用真实失败做偏好优化的端到端角色转写

针对临床访谈中医生与患者归属问题,论文用 LoRA 微调 Whisper-large-v3 并加帧级角色头做端到端转写,再用真实解码失败做 DPO 提炼,在 29 个 DAIC-WOZ 测试会话上达到 0.973 角色准确率与 0.119 DER,但中文语音转换数据的剩余误差仍集中在角色判错而非漏转。

 · 更新于 2026-11-18 · 约 19 分钟 · 9324 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-09-17

共分析 29 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 53 分钟 · 26180 字 阅读 →
论文解读

先想明白再开口:用数据清洗、蒸馏与偏好对齐修好上下文语音合成

针对对话历史决定说话方式的 CoT-TTS 任务,论文用三阶段清洗续训、545K 合成蒸馏与级联过滤的 CA-DPO 对齐官方基线,并在 500 样本中英测试上报告全面超越,但偏好判断依赖大模型打分且未验证延迟与成本。

 · 更新于 2026-11-18 · 约 19 分钟 · 9249 字 阅读 →
论文解读

干净语音上失灵的无参考分数:从评测崩塌到奖励作弊

论文用六个语料的成对偏好任务检验无参考语音质量分,发现有瑕疵时接近人类上限而双干净时跌到随机,最强证据是干净端单分数与时长基线持平,而域内校准复合与等权复合分别在评测和奖励端缓解但仍远离上限。

 · 更新于 2026-11-18 · 约 17 分钟 · 8427 字 阅读 →
会议总览

icmc-2026 论文深度解读

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 123 分钟 · 61526 字 阅读 →
论文解读

对齐不必最锐:用偏好门控把 CTC 约束放进 DPO

针对从零训练的解码器语音合成的内容幻觉问题,论文把只作用于优选样本的轻量 CTC 对齐项折进直接偏好优化,在 Seed-TTS 英文集上把严重幻觉率从 4.4% 降到约 0.6%,代价是需要切到 eager 注意力读图且过强加权会转入自信但错位的过锐区。

 · 更新于 2026-11-18 · 约 20 分钟 · 9655 字 阅读 →
论文解读

不学大语料也能变奏:把动机当轨迹、用可控噪声做表情完备的变体

针对大语料深度模型不适用个人作曲且只处理音高时值的问题,该文把带表情的动机表示为音程状态轨迹并以卡尔曼式随机偏离生成变体,用作曲家自己的选择在线调节方差与结构编辑概率,代价是只做单声部且无定量评测与用户研究。

 · 更新于 2026-11-18 · 约 20 分钟 · 9711 字 阅读 →
论文解读

不用学奖励模型:用人群密度地形图做对话式均衡的在线探索与离线打磨

针对自然语言到二维均衡参数的连续控制任务,论文用约 9 万次用户交互构建非参数偏好密度奖励面,先以 GRPO 做在线结构对齐再以 DPO 做峰值注入精修,在分布外概念上以 1.5B 模型达到与 GPT-4o mini 可比的听感,代价是混合管线对分组数敏感且仅适用于低维空间。

 · 更新于 2026-11-18 · 约 20 分钟 · 9787 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-09-14

共分析 27 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 57 分钟 · 28192 字 阅读 →
论文解读

边听边说还不能卡:用因果扩散迫使头像实时接住用户

针对双人对话头像需要实时响应用户语音与动作、且倾听表情难以标注的问题,论文用因果扩散强迫在动作隐空间逐块生成并用丢用户条件的合成负样本做偏好优化,报告约 500 ms 延迟、6.8 倍加速与超 80% 人工偏好,代价是口型与画质只保持可比而非全面领先。

 · 更新于 2026-11-18 · 约 17 分钟 · 8137 字 阅读 →