强化学习

该文针对日语正字法与发音不是一一对应的问题，用输出片假名的识别模型计算假名域误差作为强化学习奖励，在相同分组相对策略优化条件下把目标汉字读音误差相对降低约 26%，同时保持了相近的正字法误差、说话人相似度和客观音质，但无约束时会引起输出明显变长，需要 KL 正则抑制。

该文用预训练音频语言模型按显式评分细则打分来优化音乐生成，在 MusicCaps 上同时提升三个独立评价指标，而速度、调性、乐器等可精确测量的属性则仍需直接优化专用测量，代价是打分器与提问方式选择不当会失效。

SPHERE 针对 VR 室内布置中偏好无法跨次保留而导致反复改图的问题，用会话后提取的分层空间约束加检索重排的人环强化更新来复用用户逻辑，在 42 人受控实验中把总编辑数从 8.52 降到 5.62 并提高可用性，但结论只在指定画像和扰动房型条件下成立。

论文针对全双工模型在长对话中偏离多阶段脚本的问题，提出边听边说的执行器加异步文本指挥器的架构与在线指令跟随训练，在 200 个分阶段考官任务上用完成率与严格顺序完成率衡量，并以显式轮替奖励维持打断与接话能力。

论文用纯文本推理训练提升联合音视频推理，再用约少 90% 输入词元的音视频强化学习恢复感知，在 Qwen2.5-Omni-7B 上推理几何平均提升 25.83% 而感知回到基线之上。

针对联合音视频扩散后训练中跨模态作用位置与多奖励冲突随训练漂移的问题，该工作用双向跨注意力预门响应做 token 与层级路由，并用分支内冲突系数对先验权重做残差修正，在 LTX-2 与 LTX-2.3 上以更均衡的多奖励轨迹提升质量、对齐与同步，但统一奖励与跨架构泛化仍未解决。

OmniSeek 把音视频问答改为主动多轮取证循环，用 OmniTraj-170K 冷启动再加两阶段强化学习约束双模态依赖，在长视频多跳基准上提升明显，但超长音频仍受上下文窗口限制。

针对离散扩散语音克隆中词正确性与说话人保持未被直接优化的问题，RAWD-TTS 用识别与说话人波形奖励算组内优势并加权前向掩码重建，在 500 条俄语克隆提示上把词错误率从 3.18% 降到 2.42% 并把说话人余弦从 0.733 提到 0.748，代价是单奖励会损伤另一属性且训练奖励上升不等于评测单调变好。

针对全双工语音模型在实时打断和多轮追问中容易丢失角色身份的问题，CharDuplex 把 GLM-4-Voice 改成双流同步结构并用自动生成加验证的角色语音数据做监督微调，再用 FDGym 在线交互强化学习修正角色一致性，最强证据是 SpeechRole-Eval 平均 0.785 分且通用与交互指标大体稳定，代价是依赖大规模合成语音与在线仿真采样的训练预 …

针对视频配音等场景的时长错位问题，DuraS2ST 用先推理选词控音长再生成语音的两阶段流程，结合 DuraSet-440K 监督与时长容限强化学习，在 CVSS-T 中英双向测试上同时保持翻译质量并把时长误差压到最低，但当前验证仍限于中英离线生成。

针对全双工语音要求持续低延迟而知识推理与工具调用耗时可变的问题，SALMONN-duo 用常开全双工前端负责交互并决定是否异步委派给后端智能体，再用知识边界感知监督与成本感知强化学习控制委派效用，证据显示其在问答与任务对话上改善准确与委派权衡，代价是仍依赖强后端与仿真延迟条件。

针对多方多会话语音长记忆问题，论文用增量声纹识别加交互记忆、事实记忆与人物画像三层结构保存说话人与收话人关系，并用按轮奖励新增证据的检索智能体自适应取证，在 VoxPolyBench 上报告 85.0 分，代价是依赖合成语音与标注证据训练且真实声学泛化待验证。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对唤醒词对未见过相似负例泛化差的问题，ADALA 用强化学习优化大模型持续生成高混淆难负例，再与真实数据半监督融合，在 xiao fei xiao fei 上报告平均唤醒率 90.43% 与相似词误唤醒率 3.19%，代价是两阶段大模型与语音合成训练约 90 小时八卡 A800 开销。

针对音频问答在测试时遇到新分布而无标注可用的问题，AQA-TTRL 用多数投票生成伪标签再做置信度加权的 GRPO 强化学习，在 MMAU、MMAR 和 MMSU 上让 Qwen2.5-Omni 7B 平均提升 4.42%、3B 平均提升 11.04%，代价是测试时需要多轮采样和 500 步左右的参数更新开销。

针对语义主导和缺乏认知深度的问题，该研究用同一文本配多种情感的 LIME-440K 迫使模型听声学线索，再以四步 EIPS 显式推理加混合内化与双路由强化学习实现直接共情回复，在冲突语音上把共情分从不足 2.0 提升到 2.91 并把冲突情感准确率从 24.0% 提升到 46.0%，代价是三阶段训练与合成语音和真实微韵律之间仍有差距。

针对词级重音与语速控制易破坏全局自然度的问题，CraftTTS 用外部教师构造偏好数据再经 SFT 加 DPO 加 GRPO 渐进对齐，最强证据是完整模型在 NMOS 达 3.87 和 SPMOS 达 3.35 的同时 CER 为 7.01%，代价是 CER 与说话人相似度略低于原始 CosyVoice 2 个基线。

论文固定后训练检查点比较监督微调与组相对策略优化微调，报告纯 GRPO 在域内持平而四个域外集回升，但强正则欠拟合与去掉负奖励变差构成主要代价。

该文把文本语音编辑拆为语义空间的内容填充与流匹配声学重建，再用冻结文本转语音模型作一致性评价并辅以可懂度和时长门控做群组相对策略优化，在插入删除替换三类任务上以更低词错率和更高主客观自然度超过自回归与非自回归基线，代价是依赖冻结分词器声码器与多步采样训练成本。

针对自动标注语音情感描述符不可靠导致的可解释语音情感识别不可信问题，论文用置信度分数筛选可靠子集再用强化学习在线修正描述符，在 IEMOCAP 和 MELD 上相对基线取得 2.9% 和 3.3% 绝对增益，代价是增加置信度估计模块与控制器的训练和交替更新开销。