用人声分离讲清 FlowGRPO:先分析奖励差距,再改奖励设计
该文研究潜空间流匹配人声分离在波形指标不可微时的后训练对齐,用组内最优与均值差距分析指导 ViSQOL 改写与样本过滤,使 FlowGRPO 在原评价指标上提升分离与感知质量,但结论只在内部 50 秒测试与固定阈值下成立且 MRSTFT 单奖励仍保留最低谱损失。
该文研究潜空间流匹配人声分离在波形指标不可微时的后训练对齐,用组内最优与均值差距分析指导 ViSQOL 改写与样本过滤,使 FlowGRPO 在原评价指标上提升分离与感知质量,但结论只在内部 50 秒测试与固定阈值下成立且 MRSTFT 单奖励仍保留最低谱损失。
论文研究连续自回归语音模型如何构造偏好对、在哪个流噪声水平比较优劣以及更新主干还是声学头,发现在受试设置下固定声学头只更新主干后部能提升自动奖励,但训练损失最低并不对应生成语音最好。
MiMo-V2.6 针对长 horizon 智能体任务奖励粗糙、环境单一和训练不稳的问题,用每步 1568 组提示的大批量异步训练、多领域多线束环境与分组智能体打分来扩展强化学习,并在 DeepSWE 等榜单上随算力持续提升,代价是数百万美元量级的 rollout、训练与打分开销和百万 token 上下文的工程复杂度。
MMPostTrainBench 让研究智能体在统一基座和预算下自主改进图像、音频、视频等多模态能力并用目标与非目标、迭代轨迹与合规审计来衡量,MMResearch 再用媒体证据关联、分层记忆与开发集确认的保留机制把提交准确率提高但仍只在所测四任务与预算内成立。
该文用预训练音频语言模型按显式评分细则打分来优化音乐生成,在 MusicCaps 上同时提升三个独立评价指标,而速度、调性、乐器等可精确测量的属性则仍需直接优化专用测量,代价是打分器与提问方式选择不当会失效。
Salt++ 针对流式音视频同时需要因果建模和少步蒸馏的问题,先用加噪历史做表示自监督训出因果教师,再让生成器与两个分数模型共用同一因果前缀做分布匹配,在 480p 四步条件下把视觉与运动质量做到超过同条件 OmniForcing 约 57% 和 45%,再把同样的四次调用拆到低分辨率和高分辨率做到 1664×960。
论文用纯文本推理训练提升联合音视频推理,再用约少 90% 输入词元的音视频强化学习恢复感知,在 Qwen2.5-Omni-7B 上推理几何平均提升 25.83% 而感知回到基线之上。
论文用 1018 项 VGBench 诊断语音大模型在文字相同时能否按声学语境决定静默或调用工具,发现现成模型最高仅静默 14% 的切换指令,而联合监督训练 VoxGate 在保持正向控制全对下静默 91.3%,但该门控依赖声源与距离多线索组合且跨场景不稳定。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对连续自回归流匹配语音模型中非言语标签跟随难的问题,NVAlign 用冻结的非言语识别模型概率作可微奖励并经两步梯度代理回传联合更新主干与流头,在三套系统的人评听音集上提升标签准确率,但自然度与可懂度等代价需要用保真惩罚和参考速度正则来约束。
针对多人标注不一致的模糊语音情感,该工作把预测目标从单标签改为情感分布,并用分布对齐目标加结构化思维链分别管住决策不确定性和推理过程,在 IEMOCAP 和 CREMA-D 上用 SFT、DPO、GRPOz 验证了改进,但高维分布下不同策略的优劣会变化。
针对自动标注语音情感描述符不可靠导致的可解释语音情感识别不可信问题,论文用置信度分数筛选可靠子集再用强化学习在线修正描述符,在 IEMOCAP 和 MELD 上相对基线取得 2.9% 和 3.3% 绝对增益,代价是增加置信度估计模块与控制器的训练和交替更新开销。
针对流匹配语音合成缺少在线强化学习的问题,该工作把 ODE 采样改写为 SDE 以获得随机性,再用组内相对优势同时优化说话人相似度、可懂度和感知质量,在 CosyVoice 3.0 上把中文 SS2 从 0.830 提升到 0.859,代价是只微调 FM 的 LoRA 参数且依赖现成奖励模型。
针对编解码语音合成后训练中多指标加权融合导致候选区分度弱的问题,论文用识别机器味输出的 ChatScorer 加间隔偏好构造来保留差距明显的样本,实验显示排序偏好优化在稳定性和坏样本率上优于基线,而代价是丢弃较多提示且在线强化在小数据下仍落后。
针对自监督预训练偏重语音内容而忽视局部伪造痕迹的问题,该文提出混帧扰动加帧级监督的中间后训练阶段,在 ASVspoof5 上以无增强单模型取得 4.50% 等错误率,并在 ASVspoof2021 上把 LA 与 DF 差距压缩到 0.16 个百分点,代价是需要额外调拼接比例与 LoRA 位置。
针对大音频语言模型能听懂内容却卡不准事件起止的问题,论文提出把时间戳向量交错插入音频特征的音频侧时间提示并在监督微调后加一组强化后训练,最强证据是 Qwen2.5-Omni 音频定位 R@0.9 从 34.1 到 39.8、密集字幕 Eb-F1 从 35.2 到 40.7,代价是 750 个时间词、交错输入结构和额外的分组采样奖励计算。
针对可解释语音质量评估只给平均意见分而说不清噪声、失真与时间位置的问题,该文用校准加分组相对策略优化的两段后训练改造 Audio Flamingo 3,在 QualiSpeech 上以 0.71 平均 PCC 和 0.76 的 MOS PCC 达到最优,代价是需解冻音频编码器并依赖预定义伪影分类。
针对 2-3 比特下标准 GPTQ 把所有语音帧等同对待导致静音和填充主导校准的问题,DiffAQ 用编码器隐状态帧间差的幅度给 Hessian 加权,在 Whisper Medium LibriSpeech test-other 2 比特上把 WER 从 17.53% 降到 12.93%,代价是仍不能挽救 Base 模型 2 比特的表征容量不足且对突发噪声 …
针对自回归语音增强语言模型只用词元交叉熵训练、与感知评价脱节的问题,该文用组序列策略优化在线直接优化 DNSMOS 加 WER 加 UTMOS 组合奖励,在 DNS2020 和 DNS5 上提升整体质量,而单一 DNSMOS 奖励出现人评低于基线的奖励黑客代价。
针对联合音视频生成中混合奖励难归因与双塔联合更新成本高的问题,AV-GRPO 用模态锚定分组、轨迹锁定加冻结对方塔、交替更新来解耦学习,基座 LTX-2.3 22B 上的 JavisBench 与 VABench 报告显示质量、对齐与同步多项提升,但不同训练方式与指标间仍存在权衡。