强化学习

针对流匹配语音合成缺少在线强化学习的问题，该工作把 ODE 采样改写为 SDE 以获得随机性，再用组内相对优势同时优化说话人相似度、可懂度和感知质量，在 CosyVoice 3.0 上把中文 SS2 从 0.830 提升到 0.859，代价是只微调 FM 的 LoRA 参数且依赖现成奖励模型。

针对视听语音增强中 SI-SNR 与人耳感知不一致的问题，该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励，用 PPO 微调 AVSEC-4 个基线，在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出，代价是奖励文本模式较固定且需额外大模型推理开销。

针对中文流匹配语音合成中重音数据少且韵律难控的问题，该工作在 F5-TTS 上加重音编码器并依次做有监督微调、直接偏好优化和基于小波韵律工具奖励的在线强化学习，主测试上显著度从 0.86 提升到 1.45 而词错误率稳定在 1.63% 左右，代价是说话人相似度微降且奖励仍依赖客观显著度工具。

该文把语码切换识别当作可验证奖励问题，用组相对策略优化在仅一成合成语码切换语音上训练，以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系，并用两遍起草加改写让模型再听一次，二十成数据在人工录制的双语测试上超过全量低秩监督微调，但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。

论文把音频推理退化归因于文本替代推理并用模态接地蒸馏把推理拉回声学证据，语音转文字平均 83.6% 与语音对话推理 96.1% 的报告显示长思考可以变好，代价是需要格式奖励维持思考长度与中等难度数据筛选。

针对大音频语言模型能听懂内容却卡不准事件起止的问题，论文提出把时间戳向量交错插入音频特征的音频侧时间提示并在监督微调后加一组强化后训练，最强证据是 Qwen2.5-Omni 音频定位 R@0.9 从 34.1 到 39.8、密集字幕 Eb-F1 从 35.2 到 40.7，代价是 750 个时间词、交错输入结构和额外的分组采样奖励计算。

针对少见说话风格上零样本语音合成出现域偏移而失真的问题，VoiceTTA 在推理时冻结主模型、只用组相对偏好优化更新轻量可学习前缀，并以基频与能量变异系数差异加说话人相似度和可懂度为奖励做在线适配，最强证据是在五类少见场景平均上取得词错误率 3.12 与说话人相似度 0.64 的同时保持自然度，代价是每个说话人需做 50 步候选采样与奖励计算的测试时优化开销 …

针对可解释语音质量评估只给平均意见分而说不清噪声、失真与时间位置的问题，该文用校准加分组相对策略优化的两段后训练改造 Audio Flamingo 3，在 QualiSpeech 上以 0.71 平均 PCC 和 0.76 的 MOS PCC 达到最优，代价是需解冻音频编码器并依赖预定义伪影分类。

针对自回归语音增强语言模型只用词元交叉熵训练、与感知评价脱节的问题，该文用组序列策略优化在线直接优化 DNSMOS 加 WER 加 UTMOS 组合奖励，在 DNS2020 和 DNS5 上提升整体质量，而单一 DNSMOS 奖励出现人评低于基线的奖励黑客代价。

针对文本到音频生成中离线偏好优化存在分布偏移且 CLAP 奖励过粗的问题，该研究把在线分组相对策略优化改造到流匹配模型上并用大音频语言模型的问答概率做奖励，在 470M 参数和 25 步推理下把 TTA-Bench 语义对齐推到 0.737 并把产生质量推到 6.064，代价是强化阶段每步需同提示采样 24 条音频并依赖问答式奖励模型。

针对音频字幕依赖成对标注且自动指标与人意不一致的问题，该研究用成对偏好训练 CLAP 嵌入上的奖励模型再做自批判强化微调，在挑战样本上获得更高人类胜率，代价是需要额外偏好标注且长句奖励投机需用长度惩罚抑制。

该文研究音乐大语言模型能否学会唤醒度和愉悦度连续分数回归，采用指令微调建立基本格式与粗略预测再用可验证数值奖励的组相对策略优化精修，最强证据是反馈对齐后在 DEAM 与 MERGE 上唤醒度和愉悦度同时提升且 MusicQA 能力得以保持，代价是仍需两阶段训练且部分条件下未超过专用编码器探针。

针对大音频语言模型推理链脱离声学证据的问题，Audio-DeepThinker 用混合推理相似奖励加两阶段纯强化学习课程诱发思维链，在 MMAR 达 74.0% 和 MMAU-Test-Mini 达 78.5%，代价是依赖参考链质量与大模型评判开销。

针对老年听辨需求，论文用医护专家示范代替老人偏好标注，以专家奖励加发音奖励的复合奖励做 GRPO 微调，并用两阶段在策略奖励学习抑制奖励黑客行为，最强证据是第二阶段在可听性与老人 MOS 上同时超过 SFT 与无 OPRL 的 GRPO，代价是专家数据仅 1.5 小时且需多轮奖励模型重训。

针对直接从语音推断信念状态时整状态重写输出长、易误改未变槽位的问题，该文用 Qwen2.5-Omni-7B 只生成转写加符号化编辑操作并以 GRPO 优化生成级奖励，在 SpokenWOZ 预测模式下达到 49.20 联合目标准确率，代价是依赖上一轮预测状态因而误差会跨轮传播且 GRPO 采样训练成本明显更高。

针对噪声下自信但错误的强制转写问题，该研究用片段级弃权占位符 PH 与经人偏好校准的可靠性分数 RAS 组织评价与训练，并在 LibriSpeech 与 TALCS 上以两阶段监督加强化学习提升可靠性，同时保留了可用转写内容。

针对保留原旋律重唱改写后歌词的编辑任务，YingMusic-Singer 用旋律片段加目标歌词直接合成，并以课程学习加组相对策略优化同时提升歌词准确率与旋律相关性，代价是单阶段联合建模在音色相似度上不及多阶段基线且依赖大规模内部演唱数据。

针对联合音视频生成中混合奖励难归因与双塔联合更新成本高的问题，AV-GRPO 用模态锚定分组、轨迹锁定加冻结对方塔、交替更新来解耦学习，基座 LTX-2.3 22B 上的 JavisBench 与 VABench 报告显示质量、对齐与同步多项提升，但不同训练方式与指标间仍存在权衡。

针对说话人数未知时的联合多说话人识别与说话人归属加时间戳问题，论文采用先带思维链监督微调再用多维约束奖励做分组相对策略优化的两阶段路线，在 Libri3Mix 与 Dynamic-Mix 上报告 14.52%/9.24% 的 cpWER 和 1.95%/1.12% 的 WDER，代价是需要精细结构化输出与多采样强化探索。

针对统一目标难以适应动作中心与环境中心等不同场景的问题，该研究用策略侧与奖励侧对称的混合专家加组相对优化做上下文自适应音频描述，在 Clotho 上报告了 CIDEr 0.4137 与 FENSE 0.4642 等提升，但 AudioCaps 上 CIDEr 仍不及纯 CIDEr 优化基线且人工评测样本仅 20 条音频。