强化学习

共分析 137 篇 ICML 2026 论文

论文研究无可见光工业场景下只用空间音频找方向、只用深度看路的导航问题，用三阶段训练的 ADAPT 和位置朝向图上的剩余动作数奖励 TARS 实现，在未见过的工厂中 Clean 条件成功率 90.6% 而最难的局部噪声下保持 60.0%，代价是依赖仿真中的特权地图和固定鸣叫信标。

ASSET 针对语音大模型音频前缀过长的问题，用可学习的边界策略把冻结编码器帧切成变长段再池化为音频 token，以转录损失加保留比带惩罚为奖励训练切分，在 LibriSpeech-960h 上以 10.9/10.6 Hz 取得 2.79/5.63% 词错误率，在 AISHELL-1 上以 7.7 tokens/s 取得 7.53% 字错误率，代价是依赖字符 …

针对 5 分钟长音频中事件定位与密集描述易幻觉的问题，论文用 EgoSCAPE 评测与 ATTEST 强化学习约束模型只说音频中有证据的时间段，代价是需要多轮采样与注意力统计的训练开销。

论文针对只有一对参考文本语音时固定目标监督微调导致推理提前结束的问题，提出在当前策略采样轨迹上学习的 GRPO 和 OPSD，在 LLaSA-1B 与 Seed-TTS-Eval 英文子集上提高说话人相似度并保持可懂度，但 GRPO 每步耗时远高于 OPSD。

论文用带约束的强化学习结构搜索解决 22M 参数音视增强模型难以部署到手机等边缘设备的问题，以 35 次候选评估找到 2.9M 参数、14.5 dB SI-SNR 提升的模型，代价是比基线低 0.7 dB。

针对开放式情感描述偏好只给二选一标签而缺少错误定位监督的问题，EmoGavel 用受控错误构造的可验证目标先做接地监督微调再做偏好门控的组相对强化学习，在 EmoPrefer-Data 上自然偏好达到 79.75% 加权 F1、四类受控错误平均 88.20% 并保持 77.27% 接地总分，但缺失证据恢复略有下降且结论适用范围限于四种预设错误。

该文研究潜空间流匹配人声分离在波形指标不可微时的后训练对齐，用组内最优与均值差距分析指导 ViSQOL 改写与样本过滤，使 FlowGRPO 在原评价指标上提升分离与感知质量，但结论只在内部 50 秒测试与固定阈值下成立且 MRSTFT 单奖励仍保留最低谱损失。

针对自然语言查询在音频中所有出现位置都要找全找准的问题，RefTAG 让模型先写草稿区间再做数量与边界诊断并给出修订，并用最终定位质量与修订效果的联合奖励做强化学习，在 8228 条查询上把平均定位精度做到 51.01%，代价是一次回答要走完草稿加诊断加修订的完整结构。

SWEAR 针对音频问答中不同推理阶段难度不一致的问题，用离线五维难度构造分段评分与压缩目标，先让模型在监督微调中学会自评难度，再用课程强化学习按自评调节各段长度，在 MMAU-test-mini 取得 73.5% 准确率和 197.13 词元、在 MMAR 取得 62.0% 准确率和 195.85 词元，相对 CoTA-SFT 减少约六成词元。

AutoSynth 把演奏事件、固定音色参数和可变长度调制连接组织成统一序列，用音频条件的自回归模型预测可在 Helm 中直接执行的程序，并用两阶段学习把文本经由生成音频转成可编辑控制，代价是合成器表达范围与渲染反馈开销限制了适用声音。

论文针对电商广告视频需要跨视频比较的问题，用 AdsCVR 基准衡量六类比较能力，并用能主动调用视觉与语音工具的 AdSeek 智能体做多轮取证，在 AdsCVR 测试集上达到 74.30% 准确率，代价是多轮交互与训练开销更大。

针对对话语境下如何用自然语言指令控制合成语气的问题，论文提出冻结合成模型、用目标语音似然奖励训练规划器，在英语电影对话子集上提升了与目标语音的声学相似性和语境恰当性，但结论依赖同一合成后端且未做人工听音验证。

论文用 AgenticTTS-Forge 让智能体在 CosyVoice2-0.5B 上复现并改进强化学习后训练，再转到声学解码器把坏例从 13.4% 降到 6.1%，但三处测量漏洞说明能走多远取决于测量合同是否覆盖智能体读过的每个通道。

论文用上下文加回应语音预测九个审美标签，先在合成标注上监督微调学格式与描述，再用约 10 人投票的分布奖励做 GRPO 对齐，主证据是感知场平均宏 F1 达 50.1% 超过人类单人对多数人的 43.5%，代价是需要工具测量辅助与两阶段训练。

EchoChat 针对语音共情中细粒度感知不足与多步推理误传问题，用声学锚定注意力做有监督微调，再用级联门控与分步信用分配做结构化强化学习，在 EchoEval 的多场景感知推理回应评测中取得领先，但结论依赖合成训练数据与模型打分评测条件。

HiPLEX 把全双工语音的文本策略拆为何时发射的控制因子和说什么的条件内容因子，再用事件因果掩码分送信令与语义反馈，在 Moshi 上改善了暂停与 backchannel 克制和打断后延迟，但结论只在相同评测协议与奖励配比下成立且伴随学习率敏感性。

该文把刷分定义为扰动带来的加分并以编解码往返输出为基准，用五个攻击者取最坏情况做测量，发现四个常用预测器可攻击率差一个数量级以上，而闭环打补丁只在自家攻击空间内有效且随机扰动基线就能持平，还伴随域外一致性下降。

MiMo-V2.6 针对长 horizon 智能体任务奖励粗糙、环境单一和训练不稳的问题，用每步 1568 组提示的大批量异步训练、多领域多线束环境与分组智能体打分来扩展强化学习，并在 DeepSWE 等榜单上随算力持续提升，代价是数百万美元量级的 rollout、训练与打分开销和百万 token 上下文的工程复杂度。

论文针对单模态可解的音视频评测无法检验联合推理的问题，用 OmniQA 构造带时间戳证据链的问答与 112K 加 19K 训练数据，并用 MFSD 做线索条件下的 token 级信用分配，在 OmniVideoBench 达 50.0% 且在自建基准达 42.5%，代价是多路线索打分与验证流水线开销。