不只答对,还要想对:用混合相似奖励把推理链拽回声音证据
针对大音频语言模型推理链脱离声学证据的问题,Audio-DeepThinker 用混合推理相似奖励加两阶段纯强化学习课程诱发思维链,在 MMAR 达 74.0% 和 MMAU-Test-Mini 达 78.5%,代价是依赖参考链质量与大模型评判开销。
针对大音频语言模型推理链脱离声学证据的问题,Audio-DeepThinker 用混合推理相似奖励加两阶段纯强化学习课程诱发思维链,在 MMAR 达 74.0% 和 MMAU-Test-Mini 达 78.5%,代价是依赖参考链质量与大模型评判开销。
针对保留原旋律重唱改写后歌词的编辑任务,YingMusic-Singer 用旋律片段加目标歌词直接合成,并以课程学习加组相对策略优化同时提升歌词准确率与旋律相关性,代价是单阶段联合建模在音色相似度上不及多阶段基线且依赖大规模内部演唱数据。
AdaptDuplex 针对全双工对话中时机与认知负荷逐窗变化的问题,把窗口时长与动作组合都做成显式词元决策并配三阶段课程训练,在 FDB 与 HumDial-FDBench 上取得更低响应延迟与更高终分,代价是仅覆盖中英、三档窗口与最多四路并发外部推理。
针对标注老年语音稀缺且直接解码伪标签不可靠的问题,该工作用置信度排序做课程式增量伪标签并结合说话人提示自适应,在 Pitt 与 JCCOCC MoCA 上相对半监督基线取得 1.45% 与 2.27% 绝对误差下降,但低置信度段仍保留较高误差且依赖说话人标识已知。
针对匿名化语音仍残留说话人线索的问题,DAST 用 Fbank 与 WavLM 双流中层融合加原始语音、转换语音、目标匿名语音三阶段训练,在 VPAC 七个系统上以等错误率衡量实现更强攻击,而仅用 10% 目标数据微调就超过现有最优的代价是仍需目标系统数据做适配。
针对音频大模型能转写却听不懂说话方式与环境的问题,ParA-LLM 用 22 维副语言分类加 120 万音频问答的两阶段课程学习,在 ParA-Bench 上达到 43.53% 整体准确率,代价是仍需仿真声学数据与低秩微调的特定训练流程。
针对音频语言模型能懂语义却听不准声学细节的问题,EvoAudio 用当前模型的弱项决定下一轮练什么、工具合成波形保证答案可验证、GRPO 训练加留出集晋级做 13 轮递归进化,最强证据是五个不同骨干平均最高且总体最高提升 6.3 点,代价是工具覆盖不到的语义文化推理提升有限且后期收益变平。
论文把短到长训练拆成呈现顺序、批次组成与损失归一化三件事来测,在 87M 语音词元模型上发现固定组批后排序本身不降困惑度,首轮分组的增益只出现在按批平均的损失下并随词元均衡归一化而消失,而持续排序反而更差。
针对视频物体移除后原声残留导致视听不一致的问题,TV-AudioRemover 用已编辑视频加文字指令做选择性声移除,并用百万级单物体对齐数据、多任务与由易到难的两阶段混合训练支撑细粒度区分,其代价是对上游视觉编辑质量和纠缠声源仍有依赖。
针对音素到文本重建训练用干净音素而推理遇到视觉识别错误的问题,论文提出从合成扰动到多域再到目标域伪标签的三阶段渐进训练 PECT,在 LRS2 上把 HP-VSR-FiLMFuse(L4) 从 23.3% 降到 22.2%,代价是需要五折训练视觉前端生成伪标签且仍受限于第一阶段音素质量。
针对音频大模型能转写却听不懂说话方式与声学环境的问题,论文用 22 维特征定义、120 万音频问答对与先单属性后多属性的两阶段课程训练 ParA-LLM,在 ParA-Bench 总体上报告 43.53% 准确率并在外部语音基准上同步提升,代价是声学单项仍弱于 GPT-4o-Audio 且绝对准确率仍远低于人类。
针对舞蹈线索稀疏而作曲需要稠密结构的问题,CMA-OT 用 Jukebox 多尺度专家对 DiT 隐表示做由粗到细的课程对齐与尺度自适应 FGW 软对齐,并以流匹配生成损失联合训练,在 AIST++ 与 TikTok 上报告了节奏与质量提升,代价是训练侧引入多尺度 OT 与课程调度。
论文针对长视频多模态计数难评难训的问题,构建带细粒度线索标注的 CG-AV-Counting 并用课程式 GRPO 训练 AV-Reasoner,最强证据是在 DVD-Counting 上达到 44.00 准确率且多项音视定位任务达到新高,代价是显式输出思维链在域外幻觉子集上反而降低准确率。
论文在 Qwen2-Audio 上对照显式、隐式、课程式思维链与无序槽填充,报告槽填充在语音理解上 UAR 最高而从左到右课程学习在描述上相似度最高,且显式链随推理变长因误差累积明显下降。
共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读
共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
针对给定目标脉冲响应反推虚拟平板混响器六维物理与空间参数的问题,ALAMODE 用无梯度差分进化分三阶段依次锁定频率、位置与整体能量参数,在 128 条合成与 16 条挑战数据上实现高谱重合,但第三阶段质量密度精度与仿真速度仍受限。
HydraQE 针对语音翻译无参考质量估计,用 Qwen3-ASR 同时编码源语音和译文假设,经稀疏层混合与双向重编码得到共享表示并用 DA、MetricX、xCOMET 三头监督加课程采样训练,在 IWSLT 2026 开发集与测试集段级别上超过级联文本基线,但不同预测头在语种与段级和系统级之间存在权衡且开发集系统级分数不稳定。