论文解读

语音信号能去掉中文 AI 味吗:三组否定实验与校准评判器偏好训练

论文检验给 0.6B 模型加语音或韵律信号能否减轻中文 AI 味,三条语音路线在受控对照下均未通过感知门限,转而把校准后评判器的一致标注直接做偏好训练得到盲评胜率提升,但评判器的长度偏好会传导为长度坍缩,需用已选答案锚修复。

 · 更新于 2026-11-18 · 约 17 分钟 · 8349 字 阅读 →
论文解读

让克隆的声音按文本要求去表达:三段式后训练怎么做

本文把零样本克隆从模仿参考韵律改为按目标文本生成合适韵律,用偏好数据冷启动、多目标策略优化和弱参考自蒸馏依次推进,在 Qwen3-TTS 上把表情与副语言得分大幅提高,但说话人相似度有所下降。

 · 更新于 2026-11-18 · 约 18 分钟 · 8546 字 阅读 →
论文解读

UbiHearo:把声音的场景含义和行动建议送到听障用户的手机上

UbiHearo 针对听障用户在移动场景中只收到声音标签、不知轻重缓急的问题,用感知阈值传感加两阶段神经符号推理加有界个性化适配,在手机端实现场景相关的通知与行动指导,并在 AudioSet 子集、Pixel 8/9 真机与 21 天实地使用中验证了准确率、延迟与能耗的折中。

 · 更新于 2026-11-18 · 约 22 分钟 · 10830 字 阅读 →
论文解读

能说出依据的文本生成音频评价器 CoTTAGE

针对文本生成音频缺少可解释自动评价的问题,论文用先给依据再打分的单模型同时评相关性和整体质量,并用监督微调加不确定性感知的成对偏好强化学习训练,在六个基准上与人类评分的相关性最高,但结论只在短环境音和现有标注者分布下成立。

 · 更新于 2026-11-18 · 约 17 分钟 · 8343 字 阅读 →
论文解读

不用人工标注也能让语音合成学会单词重读:EmpDPO 的两阶段做法

EmpDPO 用现成重读检测器先给真实语音打伪标签做监督微调,再用同一检测器从模型采样中挑出好坏偏好对做扩散模型偏好优化,只用 5171 对和 1 万步就在六种语言上让目标词的重读更明显,同时保持自然度和音质。

 · 更新于 2026-11-18 · 约 9 分钟 · 4299 字 阅读 →
论文解读

零样本语音合成选哪段提示音频?从合成结果中学习选择

论文把同一录音中选哪段做提示当作选择问题,用四个零样本模型的几十万条合成输出衡量可懂度、自然度和说话人相似度,并训练只听候选音频的小网络按词错率排序选提示,在不合成时接近逐个试合成的效果。

 · 更新于 2026-11-18 · 约 17 分钟 · 8424 字 阅读 →
论文解读

固定视频不变,译文怎么说才能对上口型和节奏

X-Dubbing 把配音拆成管时间结构的翻译器和看视频说话的合成器,用合成后语音的反馈来挑选译文,在法语到英语演讲视频上同时改善了时长符合度与口唇同步,但结论只在单人独白和给定评测条件下成立。

 · 更新于 2026-11-18 · 约 16 分钟 · 7948 字 阅读 →
论文解读

专家示范能教会语音合成更好地说话吗

本文用两个学生模型和两种专家语音比较四种偏好目标与直接或分阶段桥接两种监督路线,发现目标对分数尺度敏感度不同,而固定专家序列的似然升降与生成可懂度变化并不一致,桥接只能缓解部分退化而不能稳定超越初始模型。

 · 更新于 2026-11-18 · 约 19 分钟 · 9022 字 阅读 →
论文解读

长聆听思考:用细致感知与反思式推理改进音频推理

论文针对音频大模型感知错误多、推理链感知依据单薄的问题,用四阶段管线构造约 160 万条感知 grounded 且带验证回溯的长推理轨迹,再以监督微调加直接偏好优化训练 Qwen2.5-Omni-7B,在 MMAU 等基准上提升约 6-7 个百分点,代价是依赖模型生成校验与 30 秒内音频。

 · 更新于 2026-11-18 · 约 18 分钟 · 8575 字 阅读 →
论文解读

用双向偏好区分情绪:Emo-BPO 如何改进扩散式情感语音合成

针对扩散式情感合成只强化目标情绪而缺少对竞争情绪建模的问题,Emo-BPO 用同文本倒序情绪对联合学习对齐与对比两个分数分支并在推理时做对比引导,在 ESD 与 EmoVoiceDB 条件下提升了情绪与韵律相似度和主客观情绪准确率,而可懂度保持接近但未超过自回归大模型基线。

 · 更新于 2026-11-18 · 约 19 分钟 · 9221 字 阅读 →
论文解读

EmoGavel:让偏好判断说出错误在哪并给出修正

针对开放式情感描述偏好只给二选一标签而缺少错误定位监督的问题,EmoGavel 用受控错误构造的可验证目标先做接地监督微调再做偏好门控的组相对强化学习,在 EmoPrefer-Data 上自然偏好达到 79.75% 加权 F1、四类受控错误平均 88.20% 并保持 77.27% 接地总分,但缺失证据恢复略有下降且结论适用范围限于四种预设错误。

 · 更新于 2026-11-18 · 约 19 分钟 · 9235 字 阅读 →
论文解读

把文字变成可导演的表演:Fish Audio Drama 3 解读

Drama 3 用混合线性注意力骨干加逐码本预测解码器把配音、修订、拼场和补录写成同一种对话,用单一人类偏好奖励做强化学习,在多语克隆和按需修改上测得可复述的提升,代价是更大的总参数和更复杂的推理工程。

 · 更新于 2026-11-18 · 约 23 分钟 · 11301 字 阅读 →
论文解读

生成视频声音对不上口型怎么办:SyncReward 如何学人类判断

论文针对联合生成的音画不同步问题,用 80K 条专业同步评分和两阶段奖励模型做评测与优化,在自建 1K 基准上与人类最一致,但只优化同步可能牺牲提示词保真度。

 · 更新于 2026-11-18 · 约 20 分钟 · 9688 字 阅读 →
论文解读

小参数语音克隆如何补上自然感:Audio8-TTS 的三阶段训练

论文用 0.6B 双自回归模型做零样本语音克隆,以多语言微调打底、用词错误率和说话人相似度稳住内容和音色,再用对照真人录音的真实感评价模型做强化学习来提升韵律自然感,代价是需要配对真人参考并额外约束时长。

 · 更新于 2026-11-18 · 约 9 分钟 · 4225 字 阅读 →
论文解读

连续自回归语音语言模型的偏好后训练:扰动、流时间与更新模块

论文研究连续自回归语音模型如何构造偏好对、在哪个流噪声水平比较优劣以及更新主干还是声学头,发现在受试设置下固定声学头只更新主干后部能提升自动奖励,但训练损失最低并不对应生成语音最好。

 · 更新于 2026-11-18 · 约 18 分钟 · 8836 字 阅读 →
论文解读

转录文本与推理多样性如何降低生成式语音增强的幻觉

AuraSE 针对生成式增强会改写内容与说话人的问题,用双流文本声学网络约束内容,再把不同解码配置产生的候选差异变成在线偏好训练信号,在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分,部署时只用固定 10 步 ODE 解码。

 · 更新于 2026-11-18 · 约 21 分钟 · 10204 字 阅读 →
论文解读

智能体能否自动做语音合成的强化学习后训练

论文用 AgenticTTS-Forge 让智能体在 CosyVoice2-0.5B 上复现并改进强化学习后训练,再转到声学解码器把坏例从 13.4% 降到 6.1%,但三处测量漏洞说明能走多远取决于测量合同是否覆盖智能体读过的每个通道。

 · 更新于 2026-11-18 · 约 19 分钟 · 9284 字 阅读 →
论文解读

先改音色再分段导演:EDICT 如何兼顾全局音色编辑与句内表达控制

EDICT 用可训练的音色编辑器先产生共享的已编辑编解码参考,再用冻结语音合成主干分段生成并在边界重建 KV 缓存,TimbreEdit 与 IntraTTS 评测显示其编辑准确率和局部指令跟随更好,但内容误识率和未提及属性保持存在代价。

 · 更新于 2026-11-18 · 约 20 分钟 · 9791 字 阅读 →
论文解读

第一视角下何时开口说什么的主动语音助手

针对第一视角视频音频流中何时说话与说什么的联合问题,论文用分离与重合成清洗指导录像,再经监督微调学听或说、经偏好优化调时机,在 170 段基准上以起始 F1 与内容相似度为最强证据,代价是召回仍低且内容略有回落。

 · 更新于 2026-11-18 · 约 17 分钟 · 8193 字 阅读 →
论文解读

用带扰动音频的偏好优化让音频大模型更听声音

针对音频大模型偏向文本先验而幻觉的问题,该文用完整与扰动音频对比的多模态偏好优化微调 Qwen2-Audio,在 DCASE 问答与 AH 存在性验证上提升准确率,但结论只在给定划分、提示与扰动配置下成立且伴随三倍数据等代价。

 · 更新于 2026-11-18 · 约 16 分钟 · 7706 字 阅读 →