强化学习

X-MDD 把学习者语音、合成的标准语音和标准音素序列一起送入大模型来预测真实发音，只在中文和英文上训练，再靠标准参考和示例迁移到阿拉伯语，代价是召回和诊断精度仍明显低于有监督基线。

论文针对联合生成中多事件、多层音频与非对称跨模态关系的一致性评价难题，提出从粗到细的三层事件级指标并做成可训练的奖励模型 AVC-Reward，在 706 样本的 AVC-Benchmark 上与人类判断最接近，并能作为在线强化学习信号提升联合生成的一致性，但提升幅度依赖评测分布与文本对齐等权衡条件。

EVA-Cap 把视听解说拆成带模态、类型、人物和内容的原子事件，用 63K 自建数据的监督微调加两轮 GRPO 优化完整性、人物归属和跨模态同步三类奖励，在事件对齐评测上提升明显，但长输出的幻觉与快速转场仍有限制。

NIL-TTS 为解决噪声下合成语音听不清的问题，在流匹配语音合成主干上加入噪声感知通路，先用配对的 Lombard 数据做监督微调，再用 Flow-GRPO 以可懂度奖励直接优化，在 Seed-TTS 中英文评测中低信噪比下显著降低词错误率，而推理开销几乎不变。

Soloist 把盲人声分离做成按人声个数串行生成音频编解码序列，用合成混合加说话人时间线做监督，再用模型评价器在真实录音上做强化学习，在已知个数和未知个数条件下都保留了内容和音高，代价是生成式重合成与评价器不稳定性需要多重门限和修复流程来约束。

论文研究无可见光工业场景下只用空间音频找方向、只用深度看路的导航问题，用三阶段训练的 ADAPT 和位置朝向图上的剩余动作数奖励 TARS 实现，在未见过的工厂中 Clean 条件成功率 90.6% 而最难的局部噪声下保持 60.0%，代价是依赖仿真中的特权地图和固定鸣叫信标。

ASSET 针对语音大模型音频前缀过长的问题，用可学习的边界策略把冻结编码器帧切成变长段再池化为音频 token，以转录损失加保留比带惩罚为奖励训练切分，在 LibriSpeech-960h 上以 10.9/10.6 Hz 取得 2.79/5.63% 词错误率，在 AISHELL-1 上以 7.7 tokens/s 取得 7.53% 字错误率，代价是依赖字符 …

针对 5 分钟长音频中事件定位与密集描述易幻觉的问题，论文用 EgoSCAPE 评测与 ATTEST 强化学习约束模型只说音频中有证据的时间段，代价是需要多轮采样与注意力统计的训练开销。

论文针对只有一对参考文本语音时固定目标监督微调导致推理提前结束的问题，提出在当前策略采样轨迹上学习的 GRPO 和 OPSD，在 LLaSA-1B 与 Seed-TTS-Eval 英文子集上提高说话人相似度并保持可懂度，但 GRPO 每步耗时远高于 OPSD。

论文用带约束的强化学习结构搜索解决 22M 参数音视增强模型难以部署到手机等边缘设备的问题，以 35 次候选评估找到 2.9M 参数、14.5 dB SI-SNR 提升的模型，代价是比基线低 0.7 dB。

针对开放式情感描述偏好只给二选一标签而缺少错误定位监督的问题，EmoGavel 用受控错误构造的可验证目标先做接地监督微调再做偏好门控的组相对强化学习，在 EmoPrefer-Data 上自然偏好达到 79.75% 加权 F1、四类受控错误平均 88.20% 并保持 77.27% 接地总分，但缺失证据恢复略有下降且结论适用范围限于四种预设错误。

该文研究潜空间流匹配人声分离在波形指标不可微时的后训练对齐，用组内最优与均值差距分析指导 ViSQOL 改写与样本过滤，使 FlowGRPO 在原评价指标上提升分离与感知质量，但结论只在内部 50 秒测试与固定阈值下成立且 MRSTFT 单奖励仍保留最低谱损失。

针对自然语言查询在音频中所有出现位置都要找全找准的问题，RefTAG 让模型先写草稿区间再做数量与边界诊断并给出修订，并用最终定位质量与修订效果的联合奖励做强化学习，在 8228 条查询上把平均定位精度做到 51.01%，代价是一次回答要走完草稿加诊断加修订的完整结构。

SWEAR 针对音频问答中不同推理阶段难度不一致的问题，用离线五维难度构造分段评分与压缩目标，先让模型在监督微调中学会自评难度，再用课程强化学习按自评调节各段长度，在 MMAU-test-mini 取得 73.5% 准确率和 197.13 词元、在 MMAR 取得 62.0% 准确率和 195.85 词元，相对 CoTA-SFT 减少约六成词元。

AutoSynth 把演奏事件、固定音色参数和可变长度调制连接组织成统一序列，用音频条件的自回归模型预测可在 Helm 中直接执行的程序，并用两阶段学习把文本经由生成音频转成可编辑控制，代价是合成器表达范围与渲染反馈开销限制了适用声音。

论文针对电商广告视频需要跨视频比较的问题，用 AdsCVR 基准衡量六类比较能力，并用能主动调用视觉与语音工具的 AdSeek 智能体做多轮取证，在 AdsCVR 测试集上达到 74.30% 准确率，代价是多轮交互与训练开销更大。

针对对话语境下如何用自然语言指令控制合成语气的问题，论文提出冻结合成模型、用目标语音似然奖励训练规划器，在英语电影对话子集上提升了与目标语音的声学相似性和语境恰当性，但结论依赖同一合成后端且未做人工听音验证。

论文用 AgenticTTS-Forge 让智能体在 CosyVoice2-0.5B 上复现并改进强化学习后训练，再转到声学解码器把坏例从 13.4% 降到 6.1%，但三处测量漏洞说明能走多远取决于测量合同是否覆盖智能体读过的每个通道。

论文用上下文加回应语音预测九个审美标签，先在合成标注上监督微调学格式与描述，再用约 10 人投票的分布奖励做 GRPO 对齐，主证据是感知场平均宏 F1 达 50.1% 超过人类单人对多数人的 43.5%，代价是需要工具测量辅助与两阶段训练。

EchoChat 针对语音共情中细粒度感知不足与多步推理误传问题，用声学锚定注意力做有监督微调，再用级联门控与分步信用分配做结构化强化学习，在 EchoEval 的多场景感知推理回应评测中取得领先，但结论依赖合成训练数据与模型打分评测条件。