强化学习

针对词级重音与语速控制易破坏全局自然度的问题，CraftTTS 用外部教师构造偏好数据再经 SFT 加 DPO 加 GRPO 渐进对齐，最强证据是完整模型在 NMOS 达 3.87 和 SPMOS 达 3.35 的同时 CER 为 7.01%，代价是 CER 与说话人相似度略低于原始 CosyVoice 2 个基线。

论文固定后训练检查点比较监督微调与组相对策略优化微调，报告纯 GRPO 在域内持平而四个域外集回升，但强正则欠拟合与去掉负奖励变差构成主要代价。

该文把文本语音编辑拆为语义空间的内容填充与流匹配声学重建，再用冻结文本转语音模型作一致性评价并辅以可懂度和时长门控做群组相对策略优化，在插入删除替换三类任务上以更低词错率和更高主客观自然度超过自回归与非自回归基线，代价是依赖冻结分词器声码器与多步采样训练成本。

针对自动标注语音情感描述符不可靠导致的可解释语音情感识别不可信问题，论文用置信度分数筛选可靠子集再用强化学习在线修正描述符，在 IEMOCAP 和 MELD 上相对基线取得 2.9% 和 3.3% 绝对增益，代价是增加置信度估计模块与控制器的训练和交替更新开销。

针对流匹配语音合成缺少在线强化学习的问题，该工作把 ODE 采样改写为 SDE 以获得随机性，再用组内相对优势同时优化说话人相似度、可懂度和感知质量，在 CosyVoice 3.0 上把中文 SS2 从 0.830 提升到 0.859，代价是只微调 FM 的 LoRA 参数且依赖现成奖励模型。

针对视听语音增强中 SI-SNR 与人耳感知不一致的问题，该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励，用 PPO 微调 AVSEC-4 个基线，在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出，代价是奖励文本模式较固定且需额外大模型推理开销。

针对中文流匹配语音合成中重音数据少且韵律难控的问题，该工作在 F5-TTS 上加重音编码器并依次做有监督微调、直接偏好优化和基于小波韵律工具奖励的在线强化学习，主测试上显著度从 0.86 提升到 1.45 而词错误率稳定在 1.63% 左右，代价是说话人相似度微降且奖励仍依赖客观显著度工具。

该文把语码切换识别当作可验证奖励问题，用组相对策略优化在仅一成合成语码切换语音上训练，以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系，并用两遍起草加改写让模型再听一次，二十成数据在人工录制的双语测试上超过全量低秩监督微调，但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。

论文把音频推理退化归因于文本替代推理并用模态接地蒸馏把推理拉回声学证据，语音转文字平均 83.6% 与语音对话推理 96.1% 的报告显示长思考可以变好，代价是需要格式奖励维持思考长度与中等难度数据筛选。

针对大音频语言模型能听懂内容却卡不准事件起止的问题，论文提出把时间戳向量交错插入音频特征的音频侧时间提示并在监督微调后加一组强化后训练，最强证据是 Qwen2.5-Omni 音频定位 R@0.9 从 34.1 到 39.8、密集字幕 Eb-F1 从 35.2 到 40.7，代价是 750 个时间词、交错输入结构和额外的分组采样奖励计算。

针对少见说话风格上零样本语音合成出现域偏移而失真的问题，VoiceTTA 在推理时冻结主模型、只用组相对偏好优化更新轻量可学习前缀，并以基频与能量变异系数差异加说话人相似度和可懂度为奖励做在线适配，最强证据是在五类少见场景平均上取得词错误率 3.12 与说话人相似度 0.64 的同时保持自然度，代价是每个说话人需做 50 步候选采样与奖励计算的测试时优化开销 …

针对可解释语音质量评估只给平均意见分而说不清噪声、失真与时间位置的问题，该文用校准加分组相对策略优化的两段后训练改造 Audio Flamingo 3，在 QualiSpeech 上以 0.71 平均 PCC 和 0.76 的 MOS PCC 达到最优，代价是需解冻音频编码器并依赖预定义伪影分类。

针对自回归语音增强语言模型只用词元交叉熵训练、与感知评价脱节的问题，该文用组序列策略优化在线直接优化 DNSMOS 加 WER 加 UTMOS 组合奖励，在 DNS2020 和 DNS5 上提升整体质量，而单一 DNSMOS 奖励出现人评低于基线的奖励黑客代价。

针对文本到音频生成中离线偏好优化存在分布偏移且 CLAP 奖励过粗的问题，该研究把在线分组相对策略优化改造到流匹配模型上并用大音频语言模型的问答概率做奖励，在 470M 参数和 25 步推理下把 TTA-Bench 语义对齐推到 0.737 并把产生质量推到 6.064，代价是强化阶段每步需同提示采样 24 条音频并依赖问答式奖励模型。

针对音频字幕依赖成对标注且自动指标与人意不一致的问题，该研究用成对偏好训练 CLAP 嵌入上的奖励模型再做自批判强化微调，在挑战样本上获得更高人类胜率，代价是需要额外偏好标注且长句奖励投机需用长度惩罚抑制。

该文研究音乐大语言模型能否学会唤醒度和愉悦度连续分数回归，采用指令微调建立基本格式与粗略预测再用可验证数值奖励的组相对策略优化精修，最强证据是反馈对齐后在 DEAM 与 MERGE 上唤醒度和愉悦度同时提升且 MusicQA 能力得以保持，代价是仍需两阶段训练且部分条件下未超过专用编码器探针。

针对大音频语言模型推理链脱离声学证据的问题，Audio-DeepThinker 用混合推理相似奖励加两阶段纯强化学习课程诱发思维链，在 MMAR 达 74.0% 和 MMAU-Test-Mini 达 78.5%，代价是依赖参考链质量与大模型评判开销。

针对老年听辨需求，论文用医护专家示范代替老人偏好标注，以专家奖励加发音奖励的复合奖励做 GRPO 微调，并用两阶段在策略奖励学习抑制奖励黑客行为，最强证据是第二阶段在可听性与老人 MOS 上同时超过 SFT 与无 OPRL 的 GRPO，代价是专家数据仅 1.5 小时且需多轮奖励模型重训。

针对直接从语音推断信念状态时整状态重写输出长、易误改未变槽位的问题，该文用 Qwen2.5-Omni-7B 只生成转写加符号化编辑操作并以 GRPO 优化生成级奖励，在 SpokenWOZ 预测模式下达到 49.20 联合目标准确率，代价是依赖上一轮预测状态因而误差会跨轮传播且 GRPO 采样训练成本明显更高。

针对噪声下自信但错误的强制转写问题，该研究用片段级弃权占位符 PH 与经人偏好校准的可靠性分数 RAS 组织评价与训练，并在 LibriSpeech 与 TALCS 上以两阶段监督加强化学习提升可靠性，同时保留了可用转写内容。