强化学习

针对保留原旋律重唱改写后歌词的编辑任务，YingMusic-Singer 用旋律片段加目标歌词直接合成，并以课程学习加组相对策略优化同时提升歌词准确率与旋律相关性，代价是单阶段联合建模在音色相似度上不及多阶段基线且依赖大规模内部演唱数据。

针对联合音视频生成中混合奖励难归因与双塔联合更新成本高的问题，AV-GRPO 用模态锚定分组、轨迹锁定加冻结对方塔、交替更新来解耦学习，基座 LTX-2.3 22B 上的 JavisBench 与 VABench 报告显示质量、对齐与同步多项提升，但不同训练方式与指标间仍存在权衡。

针对说话人数未知时的联合多说话人识别与说话人归属加时间戳问题，论文采用先带思维链监督微调再用多维约束奖励做分组相对策略优化的两阶段路线，在 Libri3Mix 与 Dynamic-Mix 上报告 14.52%/9.24% 的 cpWER 和 1.95%/1.12% 的 WDER，代价是需要精细结构化输出与多采样强化探索。

针对统一目标难以适应动作中心与环境中心等不同场景的问题，该研究用策略侧与奖励侧对称的混合专家加组相对优化做上下文自适应音频描述，在 Clotho 上报告了 CIDEr 0.4137 与 FENSE 0.4642 等提升，但 AudioCaps 上 CIDEr 仍不及纯 CIDEr 优化基线且人工评测样本仅 20 条音频。

针对多轮多音频时间问答中实例漏检会改变计数与总时长的问题，TEMA 用 Route 定音频范围、Span 记全全部实例区间再推理作答，在 Test253 上 Qwen2.5-Omni 基座的问答准确率达到 69.81%，代价是需要三阶段训练与完整逐轮证据监督，且跨音频比较仍有波动。

针对生成增强在真实噪声下语言一致性不足的问题，该文用转录本计算的负词错误率奖励对预训练 FlowSE 做 Reinforce Adjoint Matching 后训练，在 CHiME-4 真实录音上把词准确率从 76.98% 提高到 82.06%，而报告的非侵入式音质指标未下降，默认奖励强度下主观听感无显著偏好。

针对词级重读控制难的问题，EmphTTS 冻结已微调的 F5-TTS 主体、只用带重读定位奖励的 GRPO 优化时长预测器，在 TinyStress-15k 上取得 StressLM F1 0.75 的最佳客观重读效果，但整体可懂度和说话人相似度仍明显低于大规模基线。

针对音频语言模型能懂语义却听不准声学细节的问题，EvoAudio 用当前模型的弱项决定下一轮练什么、工具合成波形保证答案可验证、GRPO 训练加留出集晋级做 13 轮递归进化，最强证据是五个不同骨干平均最高且总体最高提升 6.3 点，代价是工具覆盖不到的语义文化推理提升有限且后期收益变平。

针对零样本语音合成中退出说话人仍可被画廊检索重新识别的问题，GUARD 在冻结主干上用门控加逐层激活 steering 并以生成后奖励把遗忘相似度推向人群冒名者水平，在 CosyVoice2 上把遗忘相似度从 0.541 降到 0.103、150 人画廊重识别从 73.5% 降到 0.5%，代价是保留集与可懂度基本不变但新增门控与奖励调参依赖。

针对通用多模态只学语义对齐而缺物理量监督的问题，OmniFysics-Nano-V2 用静态属性 grounding 与动态视听事件对齐的双分支数据加两阶段 GRPO，在 21 项中 17 项领先同类全模态模型，代价是依赖商用大模型标注与多阶段训练流程。

针对可修订流式语音到文本翻译中可见草稿会奖励随后被撤回内容的问题，论文提出持续交付优化，用留存前缀的参考覆盖累积中间奖励并单独计最终质量，在 7.49 小时 FLEURS 适配下相对 History-SFT 降低平均与 P90 终结感知延迟 10.8% 与 11.3% 并降低归一化擦除 15.8%，代价是需要完整轨迹回放计算回报且中间奖励依赖词面覆盖。

该工作把实时语音交互拆为思考、行动与说话协调三层，用文本教师蒸馏加可执行环境强化学习提升多轮约束跟踪与工具执行，在半双工语音版 τ-Voice 上总成功率从 78.4% 升至 82.0%，代价是部分流畅性与延迟指标并未同步最优且长时程口语任务仍未验证。

针对转写链式思维在有监督微调中用参考转写做前缀而推理用自生成转写的不一致，论文用 GRPO 同时奖励自生成转写和以其为条件的翻译，在相同 CoVoST 2 训练样本下 CoT GRPO 在两套测试上 BLEU 领先并把 WER 相对降低 8.8% 和 7.2%，代价是需要多样本 rollout 和显式调 ASR 权重。

针对反无人机音频定位中固定窗长在声学证据与时间对应延迟之间的矛盾，该工作用最小探针提取无标签声学状态并以 PPO 同时选择窗口长度与 Mamba 时间特征权重，在 MMAUD-V1 上以 0.23 s 平均窗口取得 0.30 m 误差与 0.136 s 延迟，代价是需要三阶段训练与跟踪反馈维持。

CycleSpeech 以结构化声音档案为共享可验证目标，先联合监督微调再用 CycleGRPO 交替优化合成与理解，在中英文指令匹配上相对基座提升 4.50 和 10.06 个百分点，代价是需要 20,046 条对齐语料与多步采样奖励计算。

论文先量化大音频语言模型对声音的依赖再提出感知 grounded 的测试时强化学习，用多数票伪标签乘以声学支撑权重更新策略，在 MMAR 上最高提升 4.6 个点、在 MMAU 上最高提升 4.9 个点，代价是每步需额外做遮蔽前向与分组投票计算。

针对复杂风格指令一次合成难以兼顾音高、语速与情感的问题，该工作用同一大音频语言模型做草稿生成加文本批评加二次精修，并以组相对策略优化训练精修能力，在 InstructTTSEval 上精修输出相对零样本平均风格一致性提升约 6.5% 至 7.2%，代价是两遍推理与奖励建模依赖。

针对多约束联合满足急剧下降的问题，论文用八族程序化验证器构造基准并以硬门加分级奖励做 GRPO，把 Qwen3-4B 在 Mixed 上的全满足率从 0.160 提升到 0.807，代价是奖励与评测共用同一套验证器且只度量合规不度量听感。

针对原生音视频直接对话缺数据、难评测的问题，该工作用多智能体合成对话同时做评测集与强化训练语料，报告在合成集从 0.465 到 0.652、在真人实拍集从 0.402 到 0.632 的提升，代价是回复变短且效率与风格奖励之间存在权衡。

针对直播带货语音合成中流畅度、语调、情感和直播感需要分维度评价的问题，论文先把 Gemini 的成对判断蒸馏为开源的 Live-ProsodyJudge，再用去掉总体结论、按维度掩码与分段归因的 Decoupled 版本解决维度塌缩，十次平衡顺序采样的 LPJ 在四个主测试集点准确率高于单次 Gemini 调用，而 D-LPJ 的混合维度一致率达到 …