语音信号能去掉中文 AI 味吗:三组否定实验与校准评判器偏好训练
论文检验给 0.6B 模型加语音或韵律信号能否减轻中文 AI 味,三条语音路线在受控对照下均未通过感知门限,转而把校准后评判器的一致标注直接做偏好训练得到盲评胜率提升,但评判器的长度偏好会传导为长度坍缩,需用已选答案锚修复。
论文检验给 0.6B 模型加语音或韵律信号能否减轻中文 AI 味,三条语音路线在受控对照下均未通过感知门限,转而把校准后评判器的一致标注直接做偏好训练得到盲评胜率提升,但评判器的长度偏好会传导为长度坍缩,需用已选答案锚修复。
本文把零样本克隆从模仿参考韵律改为按目标文本生成合适韵律,用偏好数据冷启动、多目标策略优化和弱参考自蒸馏依次推进,在 Qwen3-TTS 上把表情与副语言得分大幅提高,但说话人相似度有所下降。
UbiHearo 针对听障用户在移动场景中只收到声音标签、不知轻重缓急的问题,用感知阈值传感加两阶段神经符号推理加有界个性化适配,在手机端实现场景相关的通知与行动指导,并在 AudioSet 子集、Pixel 8/9 真机与 21 天实地使用中验证了准确率、延迟与能耗的折中。
针对文本生成音频缺少可解释自动评价的问题,论文用先给依据再打分的单模型同时评相关性和整体质量,并用监督微调加不确定性感知的成对偏好强化学习训练,在六个基准上与人类评分的相关性最高,但结论只在短环境音和现有标注者分布下成立。
EmpDPO 用现成重读检测器先给真实语音打伪标签做监督微调,再用同一检测器从模型采样中挑出好坏偏好对做扩散模型偏好优化,只用 5171 对和 1 万步就在六种语言上让目标词的重读更明显,同时保持自然度和音质。
论文把同一录音中选哪段做提示当作选择问题,用四个零样本模型的几十万条合成输出衡量可懂度、自然度和说话人相似度,并训练只听候选音频的小网络按词错率排序选提示,在不合成时接近逐个试合成的效果。
X-Dubbing 把配音拆成管时间结构的翻译器和看视频说话的合成器,用合成后语音的反馈来挑选译文,在法语到英语演讲视频上同时改善了时长符合度与口唇同步,但结论只在单人独白和给定评测条件下成立。
本文用两个学生模型和两种专家语音比较四种偏好目标与直接或分阶段桥接两种监督路线,发现目标对分数尺度敏感度不同,而固定专家序列的似然升降与生成可懂度变化并不一致,桥接只能缓解部分退化而不能稳定超越初始模型。
论文针对音频大模型感知错误多、推理链感知依据单薄的问题,用四阶段管线构造约 160 万条感知 grounded 且带验证回溯的长推理轨迹,再以监督微调加直接偏好优化训练 Qwen2.5-Omni-7B,在 MMAU 等基准上提升约 6-7 个百分点,代价是依赖模型生成校验与 30 秒内音频。
针对扩散式情感合成只强化目标情绪而缺少对竞争情绪建模的问题,Emo-BPO 用同文本倒序情绪对联合学习对齐与对比两个分数分支并在推理时做对比引导,在 ESD 与 EmoVoiceDB 条件下提升了情绪与韵律相似度和主客观情绪准确率,而可懂度保持接近但未超过自回归大模型基线。
针对开放式情感描述偏好只给二选一标签而缺少错误定位监督的问题,EmoGavel 用受控错误构造的可验证目标先做接地监督微调再做偏好门控的组相对强化学习,在 EmoPrefer-Data 上自然偏好达到 79.75% 加权 F1、四类受控错误平均 88.20% 并保持 77.27% 接地总分,但缺失证据恢复略有下降且结论适用范围限于四种预设错误。
Drama 3 用混合线性注意力骨干加逐码本预测解码器把配音、修订、拼场和补录写成同一种对话,用单一人类偏好奖励做强化学习,在多语克隆和按需修改上测得可复述的提升,代价是更大的总参数和更复杂的推理工程。
论文针对联合生成的音画不同步问题,用 80K 条专业同步评分和两阶段奖励模型做评测与优化,在自建 1K 基准上与人类最一致,但只优化同步可能牺牲提示词保真度。
论文用 0.6B 双自回归模型做零样本语音克隆,以多语言微调打底、用词错误率和说话人相似度稳住内容和音色,再用对照真人录音的真实感评价模型做强化学习来提升韵律自然感,代价是需要配对真人参考并额外约束时长。
论文研究连续自回归语音模型如何构造偏好对、在哪个流噪声水平比较优劣以及更新主干还是声学头,发现在受试设置下固定声学头只更新主干后部能提升自动奖励,但训练损失最低并不对应生成语音最好。
AuraSE 针对生成式增强会改写内容与说话人的问题,用双流文本声学网络约束内容,再把不同解码配置产生的候选差异变成在线偏好训练信号,在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分,部署时只用固定 10 步 ODE 解码。
论文用 AgenticTTS-Forge 让智能体在 CosyVoice2-0.5B 上复现并改进强化学习后训练,再转到声学解码器把坏例从 13.4% 降到 6.1%,但三处测量漏洞说明能走多远取决于测量合同是否覆盖智能体读过的每个通道。
EDICT 用可训练的音色编辑器先产生共享的已编辑编解码参考,再用冻结语音合成主干分段生成并在边界重建 KV 缓存,TimbreEdit 与 IntraTTS 评测显示其编辑准确率和局部指令跟随更好,但内容误识率和未提及属性保持存在代价。
针对第一视角视频音频流中何时说话与说什么的联合问题,论文用分离与重合成清洗指导录像,再经监督微调学听或说、经偏好优化调时机,在 170 段基准上以起始 F1 与内容相似度为最强证据,代价是召回仍低且内容略有回落。
针对音频大模型偏向文本先验而幻觉的问题,该文用完整与扰动音频对比的多模态偏好优化微调 Qwen2-Audio,在 DCASE 问答与 AH 存在性验证上提升准确率,但结论只在给定划分、提示与扰动配置下成立且伴随三倍数据等代价。