用双向偏好区分情绪:Emo-BPO 如何改进扩散式情感语音合成
针对扩散式情感合成只强化目标情绪而缺少对竞争情绪建模的问题,Emo-BPO 用同文本倒序情绪对联合学习对齐与对比两个分数分支并在推理时做对比引导,在 ESD 与 EmoVoiceDB 条件下提升了情绪与韵律相似度和主客观情绪准确率,而可懂度保持接近但未超过自回归大模型基线。
针对扩散式情感合成只强化目标情绪而缺少对竞争情绪建模的问题,Emo-BPO 用同文本倒序情绪对联合学习对齐与对比两个分数分支并在推理时做对比引导,在 ESD 与 EmoVoiceDB 条件下提升了情绪与韵律相似度和主客观情绪准确率,而可懂度保持接近但未超过自回归大模型基线。
针对开放式情感描述偏好只给二选一标签而缺少错误定位监督的问题,EmoGavel 用受控错误构造的可验证目标先做接地监督微调再做偏好门控的组相对强化学习,在 EmoPrefer-Data 上自然偏好达到 79.75% 加权 F1、四类受控错误平均 88.20% 并保持 77.27% 接地总分,但缺失证据恢复略有下降且结论适用范围限于四种预设错误。
Drama 3 用混合线性注意力骨干加逐码本预测解码器把配音、修订、拼场和补录写成同一种对话,用单一人类偏好奖励做强化学习,在多语克隆和按需修改上测得可复述的提升,代价是更大的总参数和更复杂的推理工程。
论文针对联合生成的音画不同步问题,用 80K 条专业同步评分和两阶段奖励模型做评测与优化,在自建 1K 基准上与人类最一致,但只优化同步可能牺牲提示词保真度。
论文用 0.6B 双自回归模型做零样本语音克隆,以多语言微调打底、用词错误率和说话人相似度稳住内容和音色,再用对照真人录音的真实感评价模型做强化学习来提升韵律自然感,代价是需要配对真人参考并额外约束时长。
论文研究连续自回归语音模型在偏好后训练中如何构造偏好对、在哪个流噪声水平比较以及更新自回归主干还是声学头,发现固定声学头只更新主干后部层在所测条件下带来更大的自动奖励提升,但训练损失更低并不等于生成语音更好。
AuraSE 针对生成式增强会改写内容与说话人的问题,用双流文本声学网络约束内容,再把不同解码配置产生的候选差异变成在线偏好训练信号,在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分,部署时只用固定 10 步 ODE 解码。
论文用 AgenticTTS-Forge 让智能体在 CosyVoice2-0.5B 上复现并改进强化学习后训练,再转到声学解码器把坏例从 13.4% 降到 6.1%,但三处测量漏洞说明能走多远取决于测量合同是否覆盖智能体读过的每个通道。
EDICT 用可训练的音色编辑器先产生共享的已编辑编解码参考,再用冻结语音合成主干分段生成并在边界重建 KV 缓存,TimbreEdit 与 IntraTTS 评测显示其编辑准确率和局部指令跟随更好,但内容误识率和未提及属性保持存在代价。
针对第一视角视频音频流中何时说话与说什么的联合问题,论文用分离与重合成清洗指导录像,再经监督微调学听或说、经偏好优化调时机,在 170 段基准上以起始 F1 与内容相似度为最强证据,代价是召回仍低且内容略有回落。
针对音频大模型偏向文本先验而幻觉的问题,该文用完整与扰动音频对比的多模态偏好优化微调 Qwen2-Audio,在 DCASE 问答与 AH 存在性验证上提升准确率,但结论只在给定划分、提示与扰动配置下成立且伴随三倍数据等代价。
该文用预训练音频语言模型按显式评分细则打分来优化音乐生成,在 MusicCaps 上同时提升三个独立评价指标,而速度、调性、乐器等可精确测量的属性则仍需直接优化专用测量,代价是打分器与提问方式选择不当会失效。
针对长直播中按子句渐进表现的需求,论文把音高能量语速写成相对上一同说话人子句的变化、停顿写成绝对时长区间,用时间路由器定作用范围、用标签专属码本权重按残差码本分配强度,再用多奖励 GDPO 联合优化控制与质量,最强证据是相对文本标签微调在音高能量上的百分点提升,而代价是只做说话人内适配且依赖强制对齐与说话人相似度等自动指标。
共分析 55 篇语音/AI 论文
针对参考条件下的跨语言语音二选一诊断任务,论文用约 300 组人类偏好筛选并校准声学度量为非约束性概率提示以扩展出万级监督,再比较监督微调、在策略蒸馏与强化学习的不同分工,报告显示维度一致性提升 6.3 个百分点但强化学习主要改善高共识样本且可能降低维度诊断分。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
论文针对参考引导的 expressive 语音生成评价问题,用三元组分级比较构建 SES-Bench 并以累积 logit 序回归训练 SES-Judge,在 848 个测试比较上取得 Spearman 0.5297 与准确率 74.96%,显著高于嵌入余弦与大音频语言模型,但仍只覆盖 TTS 与 VC 两类任务与有限情感分布。
共分析 43 篇语音/AI 论文
该研究用一遍输出完成句子准确度、流利度、韵律与词音素准确度五维评级并附带自然语言解释,在 SpeechOcean762 上以监督微调加有界偏好优化缓解类别不平衡,句子级解释自洽但词音素级定位仍不可靠。
针对平均标注的唤醒度-效价映射与个人听感错位问题,该文用冻结声学主干、只在二维 A-V 空间做人机交互遗传搜索的个性化层,在保持可懂度和自然度的条件下把偏好率提升到个性化 76% 与文化适配约 65% 上下,但代价是每种情感需多轮试听反馈且结论限于 30 人小样本。