强化学习

共分析 137 篇 ICML 2026 论文

本文把生成质量看作理解沿数据—条件—对齐—评测链的投影，用共享的 Kling-MLLM 统一做标注、改写、编码、奖励和评测，并在多组对照中显示密集标注与分布对齐带来可复述的增益，但结论只在同分布条件与固定评测配置下成立。

论文把配音式翻译定义为在同一绝对时间轴上保住源端点和显著内部停顿，提出 TransDubber 用对齐目标波形做渐进监督加细粒度强化学习，在 4353 句英中测试上把 2% 时长符合率从 25.6% 提到 61.5%、停顿 F1 从 0.118 提到 0.550，代价是翻译质量仍略低于级联系统。

论文要解决音频监督稀疏且不稳定导致的联合音视频蒸馏失衡，用更干净的视觉条件、更多组采样和按失配程度加权来稳定音频学习，在 JavisBench 上保持音频质量的同时明显提升视频质量。

AudioRSI 让同一音频大模型既生成推理又两两比较推理质量，并每隔一段时间用新策略替换旧 cirtic，以结果正确加自我评价的组合奖励做 GRPO 训练，在四个与训练分布 disjoint 的基准上提升分布外推理，且代价是每题 56 次 critic 前向的训练开销。

论文把语音阿尔茨海默检测从二分类改写为先讲声学-语言线索推理再给标签的生成任务，用合成数据加 ADCoT-7K 与两阶段感知训练打底，再用四奖励 GRPO 优化推理质量，在 Pitt 上达到 80.72% F1 和 81.10% 准确率，代价是需要大规模合成与多阶段训练。

论文把部分伪造检测做成带伪造标记的语音识别，用受保护子空间融合补充伪造线索并用参照锚定的策略优化同时改进转写和词级定位，在五个数据集的平均词错误率和词级 F1 上优于所比较的基线，但域外词级定位仍有明显下降且多任务设置并非处处有益。

针对大音频语言模型推理不足且难用人工标注扩展的问题，Audio-R1 把三种自监督音频任务的构造答案转为可验证奖励做 GRPO 后训练，在四个基座和三个基准上取得一致增益，多任务联合优于单任务，而代价是奖励只看最终答案且增益依赖基座已有能力。

针对全双工语音模型在用户打断与附和时的让路或保持决策，论文用事件窗口内停止概率的闭式似然替代整段采样的 GRPO 奖励，在六个开源模型上取得最优让路保持 F1 且不增加静音下重开话轮的副作用。

论文要解决音频语言模型能否按特定人的背景、观点、性格、文风和音乐反应来回答文本与音乐刺激的问题，采用人物摘要加个人记忆加共享模型三路分工与四类训练目标，在十个留出人物上用人物保真度与通用音乐理解联合评估，最强证据是音乐反应组合分提升而通用理解未明显遗忘，代价是古典音乐为主且人物被当作静态。

针对只有无标注领域音频时的适应问题，论文把同一批伪标签从有监督微调的目标改为 GRPO 的奖励参照，在银行等对话领域上更抗标签噪声，但直接 GRPO 要求学生已有目标语种的输出支持。

SimPOTrans 针对离线语音翻译模型难以直接处理不完整语音的问题，用两阶段强化学习先增强整句翻译能力再在部分语音多轮轨迹上自我适应，在 ACL 60/60 和 MCIF 三个英译外方向上取得更好的质量延迟权衡，但其 BLEU 低于基线且依赖固定时长切块。

论文用四种预告片剪辑任务比较轨迹级、轮次级和词元级信用分配，发现衰减的过程奖励只在超长程 Fine Cut 上带来 45.4% 相对提升，而固定权重会导致奖励黑客与任务未完成，词元级自蒸馏则基本无效或崩溃。

针对自回归语音识别在教师强制训练下的曝光偏差，论文用最小化字符错误率的组相对策略优化对 Whisper-large-v3 解码器做后训练，在噪声和低资源语言上获得更稳的改进，但单语言最优和跨库泛化仍受限。

论文用 0.95 小时合成混说语音做监督微调实现到 15.45 小时真实播客的主要迁移，再用序列级策略优化做 173 句级别的小幅边界修正，同时发现脚本奖励在已收敛编码器-解码器上无额外增益，且单语能力基本保持。

LoCA 针对整句奖励分不清局部内容错误、带符号回归容易过度拟合或过度排斥的问题，用语音识别对齐做帧级信用再分配并加双侧阈值控制，在 VoxCPM2 上把多语言 CV3 子集的内容误差降到 4.758% 并把说话人相似度提到 69.137，但结论只在所选评测子集和单种子单主干条件下成立。

论文把声音设计评价变成先学视觉加声音的联合表示再冻结策略只微调声音编码器的问题，在三种游戏上用只听声音的智能体成绩区分设计好坏，并以更少样本和更少总浮点运算换来可比的区分能力，但退化设计下绝对成绩会低于从头训练。

该文针对语音交互缺少叹气、笑声等非言语发声的问题，用合成对话与多阶段训练让模型学会在合适位置生成 13 类发声，并在两种架构上验证了恰当性与语音质量的提升与代价。

针对长推理会稀释定位证据的问题，论文提出先自由推理再压缩成目标相关短语境然后作答的三段流程，并用四阶段强化学习逐步训练，在六个定位基准上做了零样本验证。

Jarvis 为全双工语音智能体增加独立协调层，用版本化任务账本加代码校验管住并发修改，在前端和后端都不变时把 τ-Voice 从 29 题提升到 192 题，但及时取消仍受工作器完成速度限制。