用评分细则训练文本生成音乐:多维度奖励与专用测量的分工
该文用预训练音频语言模型按显式评分细则打分来优化音乐生成,在 MusicCaps 上同时提升三个独立评价指标,而速度、调性、乐器等可精确测量的属性则仍需直接优化专用测量,代价是打分器与提问方式选择不当会失效。
该文用预训练音频语言模型按显式评分细则打分来优化音乐生成,在 MusicCaps 上同时提升三个独立评价指标,而速度、调性、乐器等可精确测量的属性则仍需直接优化专用测量,代价是打分器与提问方式选择不当会失效。
针对长直播中按子句渐进表现的需求,论文把音高能量语速写成相对上一同说话人子句的变化、停顿写成绝对时长区间,用时间路由器定作用范围、用标签专属码本权重按残差码本分配强度,再用多奖励 GDPO 联合优化控制与质量,最强证据是相对文本标签微调在音高能量上的百分点提升,而代价是只做说话人内适配且依赖强制对齐与说话人相似度等自动指标。
共分析 55 篇语音/AI 论文
针对参考条件下的跨语言语音二选一诊断任务,论文用约 300 组人类偏好筛选并校准声学度量为非约束性概率提示以扩展出万级监督,再比较监督微调、在策略蒸馏与强化学习的不同分工,报告显示维度一致性提升 6.3 个百分点但强化学习主要改善高共识样本且可能降低维度诊断分。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
论文针对参考引导的 expressive 语音生成评价问题,用三元组分级比较构建 SES-Bench 并以累积 logit 序回归训练 SES-Judge,在 848 个测试比较上取得 Spearman 0.5297 与准确率 74.96%,显著高于嵌入余弦与大音频语言模型,但仍只覆盖 TTS 与 VC 两类任务与有限情感分布。
共分析 43 篇语音/AI 论文
该研究用一遍输出完成句子准确度、流利度、韵律与词音素准确度五维评级并附带自然语言解释,在 SpeechOcean762 上以监督微调加有界偏好优化缓解类别不平衡,句子级解释自洽但词音素级定位仍不可靠。
针对平均标注的唤醒度-效价映射与个人听感错位问题,该文用冻结声学主干、只在二维 A-V 空间做人机交互遗传搜索的个性化层,在保持可懂度和自然度的条件下把偏好率提升到个性化 76% 与文化适配约 65% 上下,但代价是每种情感需多轮试听反馈且结论限于 30 人小样本。
该文针对零样本语音合成中连续且随时间变化的情感控制问题,提出把效价唤醒优势三路低秩更新与正交约束注入主干并用 Flow-DGPO 做偏好对齐,在约 50 小时训练数据上提升情感跟随的同时保持可懂度和说话人相似度,但跨语言提示下说话人相似度仍有差距。
针对目标情感与文本语义冲突时情感表达下降的问题,该研究用文本情感替代无条件分支并按不一致程度动态调整引导强度,再把引导信号蒸馏回模型,最强证据是在中性参考下情感识别准确率从 50.63% 提升到 59.55% 且词错误率降到 3.76%,代价是推理期曾需要外部大模型判断和双路解码。
针对四川话低资源识别中方言词被高频普通话同音词替换的排序错误,DASR-CPO 在 LoRA 微调后用挖掘出的普通话混淆做跨度级无参照偏好优化,在 4.53 小时数据上把字错率从 24.85% 降到 22.58%、实体 F1 从 72.82 提到 74.15,代价是依赖词表覆盖与非说话人无关划分。
针对英-普通话混说转写中漏语言、翻代转写和幻觉三类失败,该工作用 10 万对真值选优对合成翻错拒答做直接偏好优化,在分布内最高相对降低 89.6% 混合错误率,在分布外 SEAME 上最高降低 20.0%,代价是仅覆盖翻译类拒答且未验证其他能力是否退化。
针对扩散情感语音只推高目标情感而缺少对竞争情感建模的问题,Emo-BPO 用同文本倒序情感对联合学习对齐与对比两个分数分支并在推理以后段增强的对比引导组合它们,在 ESD 与 EmoVoiceDB 上把情感相似度做到 99.23、平均自动情感识别准确率做到 0.87,代价是可懂度仍略逊于自回归大模型基线。
针对编解码语音合成后训练中多指标加权融合导致候选区分度弱的问题,论文用识别机器味输出的 ChatScorer 加间隔偏好构造来保留差距明显的样本,实验显示排序偏好优化在稳定性和坏样本率上优于基线,而代价是丢弃较多提示且在线强化在小数据下仍落后。
针对多事件缺失与时序颠倒问题,该工作用音频大模型分别核验事件存在与事件顺序来构造偏好对并做直接偏好优化,在 AudioCaps 与多事件叙事基准上提升联合指令跟随准确率,同时保持可比的音频质量与分布指标。
针对中文流匹配语音合成中重音数据少且韵律难控的问题,该工作在 F5-TTS 上加重音编码器并依次做有监督微调、直接偏好优化和基于小波韵律工具奖励的在线强化学习,主测试上显著度从 0.86 提升到 1.45 而词错误率稳定在 1.63% 左右,代价是说话人相似度微降且奖励仍依赖客观显著度工具。
针对日语书面与口语风格差异导致语音大模型输出不适合语音合成的问题,该研究用直接偏好优化做口语风格对齐,在 SpokenElyza 上相对提升约 18% 而书面任务 Elyza 仅相对下降约 5%。
该研究用连续语音特征作条件、以解码器自回归生成离散语音令牌统一语音恢复、目标说话人提取与语音分离,并用两阶段偏好微调提升感知质量,代价是全 utterance 条件与自回归解码效率限制。
论文把序数情绪识别改写为双语音比较任务,用语义描述加 GeMAPS 声学证据生成比较推理轨迹,再经有监督微调与直接偏好优化训练 Qwen2.5-Omni-3B,在 MSP-Podcast 上以约 5% 语句量的 10k 对训练超越 240k 对训练的排序基线,而推理轨迹在跨域与跨情绪上带来更稳的泛化与可解释性。