眼睛看到不等于耳朵听到：用音频专属参考把多模态推理拉回声音证据

英文题目：When Eyes and Ears Disagree: Can MLLMs Discern Audio-Visual Confusion?

会议身份：conference:aaai:2026:conference-paper-id:38183

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #强化学习 #音频大模型 #音视频问答

评分：6.0/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Qilang Ye：机构信息未能从会议 PDF 纯文本可靠映射
• Wei Zeng：机构信息未能从会议 PDF 纯文本可靠映射
• Meng Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Jie Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Yupeng Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Zitong Yu：机构信息未能从会议 PDF 纯文本可靠映射
• Yu Zhou：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为存在不对称的视频与音频，输出需判定视觉存在但音频缺失的发声对象是否存在，并在背景声被篡改时给出与视听真值一致的描述，难点在于同步视听训练导致视觉主导推理而系统性忽视音频证据。方法链第一步用100对自建高质量样本做监督热身以固定分段思考格式。其输出的策略模型进入第二步分步推理奖励阶段，由音频大模型生成纯音频参考推理并经检索式语义相似度约束策略模型的音频感知与视听关联推理。第三步仅对答案片段做负对数似然加熵最小化以压低异构推理带来的答案不确定性。与只奖励格式与答案正确性的群组相对策略优化相比，关键差异是用异构音频参考显式监督中间音频推理与关联推理而非只看最终选项，其实质是把音频证据补回策略模型的思考过程。在Music-AVQA基准下，RL-CoMM的平均准确率为79.46，高于Qwen2.5-Omni-3B的54.95。该结论适用边界受限于音乐类问答、小规模混淆探针与幻觉基准，开放域噪声与大规模篡改场景尚未验证，训练在8 NVIDIA A800 GPUs硬件上完成。

🔗 开源与复现资源

• 第三方资源：https://github.com/hiyouga/LLaMA-Factory/tree/main → https://github.com/hiyouga/LlamaFactory/tree/main — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么只看画面回答声音会出错？

这篇论文的输入是同步的视频加音频，目标是回答与声音有关的问题。初学者容易以为模型把音频波形送进去就会听，实际上全模态大语言模型在大量音画同步数据上训练后，会形成视觉存在就默认有声音的绑定习惯。白话说，就是看见大提琴在拉，就默认听到了大提琴。英文名是多模态大语言模型，缩写为 MLLMs，论文特指能同时处理视频与音频输入的模型。

论文要保留的关键信息是，这种绑定在输入本身被破坏时最危险，例如某件乐器被静音，或者背景音乐被换成完全无关的鸟叫声，模型仍可能按画面编造声音。输出是一段文字回答，可能是是否回答，也可能是描述看到什么听到什么。学习这篇论文必须先接受一个前提，视觉与听觉在输入层可能不对称，评测不能只用正常同步视频。论文用一个很小的对照实验说明问题，把大提琴静音后问是否有大提琴声，多个模型仍然回答有。

把音乐改成鸟叫后问听到什么，模型虽然能提到鸟叫，但深层的不确定性仍然偏高，说明生成时还在向吉他与键盘等视觉乐器倾斜。

音频视觉混淆 × 音频视觉幻觉： 音频视觉混淆分工是描述输入本身不对称，眼睛看到物体但耳朵没有对应声音；音频视觉幻觉分工是描述模型输出与输入信号不一致，听到不存在的声音或看到不存在的物体；二者搭配的理由是混淆是诱发幻觉的一种可控实验条件，组合意义是用静音与改声构造把视觉偏置从一般幻觉中分离出来单独测量。

这一节的教学任务是建立问题意识。后续所有方法都可以理解为如何让模型在视觉很强时仍然认真检查音频证据。需要记住的动作是，先判断输入是否对称，再判断回答是否分别忠于看到的内容和听到的内容，而不是用一边的证据代替另一边。

同输入同目标的前人路线卡在哪里？

与本文同输入的工作是大音频视觉语言模型，输入同样是视频加音频加文字问题，目标同样是回答动态场景问题。论文提到视觉语言模型的桥接方法做得很精致，全模态模型则强调像人一样同时看和听。这条路线的卡点是，同步训练带来很强的跨模态补全能力，一旦一侧缺失，另一侧会过度补全。与本文同目标但监督不同的工作是专用问答模型，例如在音乐问答上表现很强的专用网络。

它们用领域内监督拟合得很好，但缺乏大语言模型的先验知识，向未见场景迁移受限。与本文同运行阶段的工作是基于人类反馈、对偶偏好优化、近端策略优化与组相对策略优化的强化学习路线。它们共同的动作是用奖励或优势去调整已训练模型的输出偏好，而不是重写整个预训练。论文的差异在于引入异构参考模型，也就是用只听音频的大音频语言模型去补充全模态模型的思考，而不是只用同一结构模型的自我比较。

另一类相关工作是幻觉研究，认为模型偏爱语言模型内部知识而忽视输入信号。论文把音频视觉混淆定位为与幻觉相近但可单独构造的缺陷，专门测试不对称音画信息下的判别能力。初学者不要把类别差异当成同条件胜负，例如专用模型在领域内分数高，不代表它在混淆场景更稳健，因为训练分布与评测分布不同。

混淆评测到底改了什么、问了什么？

论文构造的 AV-ConfuseBench 包含两种改法。第一种是音频静音混淆，做法是在多件乐器合奏场景中，把其中一件乐器的声音全程静音，画面保持完整，然后提问是否有被静音乐器的声音。问题模板是先说明这是音频损坏视频、某种乐器声音被静音，再问是否有某种乐器的声音，正确答案是没有。原文报告共收集 39 个视频，得到 73 个问答对，评价指标是准确率和回答是的比例。

第二种是音频篡改混淆，做法是把整个视频的背景声换成与主题完全不同步的环境声，收集风声、鸟叫声、雨声、电钻声、雷声 5 种声音去篡改 20 个视频的背景声，得到 100 个问答对。问题是描述看到什么和听到什么，所有正确答案人工标注，评价用人工智能辅助分别给视觉内容与音频内容的准确性打分。两种改法的教学价值不同，前者测模型能否否定视觉上存在但听觉上缺席的物体，后者测模型生成内容是否同时忠于两路真实信号。

本小节先用导读把两类错误对应到同一机制，上面是静音后仍说有声音，下面是改声后仍按画面编配器声音，右侧的不确定性热力图说明深层仍在犹豫。

看图路径： 1. 先看上面静音大提琴面板中三家模型是否都回答听到声音；2. 再看下面改成鸟叫面板中模型文字如何保留吉他与键盘等视觉乐器；3. 对照右侧分层熵热力图看深层不确定性是否仍然偏高；4. 把左右两类错误都归为视觉压过听觉的同一机制

论文图 1。原论文 Figure 1：“Examples of MLLMs confronting audio-visual confusion.”。

从像素看，上方面板是大提琴静音但三家模型都回答听到大提琴声，下面板是改成鸟叫后模型文字仍保留原声吉他与键盘等视觉线索，右侧热力图纵轴是不同层、横轴是生成词，颜色越深表示该层预测该词的不确定性越高。论文的判断是，开源模型在静音场景几乎都失败，闭源思考模型虽有提升但仍有约 30% 以上回答受视觉引导而出错，改声场景则普遍对音频不敏感、生成内容以视觉为主。这个结论支持后续必须显式补音频证据，而不是只靠全模态模型自己思考。

两阶段协作如何走完一个样本？

方法全景叫 RL-CoMM，中文可理解为基于强化学习的协作式多模型系统，基础是 Qwen2.5-Omni-3B。系统里有 2 个模型，一个是只听音频的大音频语言模型作为参考模型，另一个是看加听的全模态模型作为策略模型。另有一个轻量文本嵌入模型作为裁判，负责判断语义一致与连贯。沿一个样本走一遍，输入是视频、音频与两段指定格式提示，问题例如是否有大提琴声。参考模型先只根据音频生成面向问题的音频思考，例如音频里只有小提琴、无法确认大提琴是否在演奏。

策略模型则生成一组多条推理轨迹，每条包含音频思考、视觉思考与预测答案 3 段。裁判比较策略模型的音频思考与参考推理的相似度，以及音频思考与视觉思考的连贯度，给出奖励并计算组优势，用来更新策略模型。第一阶段优化推理，第二阶段优化答案。

全模态大语言模型 × 大音频语言模型： 全模态大语言模型分工是同时接收视频与音频并生成统一回答与推理，承担策略模型的角色；大音频语言模型分工是只听音频给出面向问题的音频推理，承担参考模型的角色；搭配理由是策略模型易被视觉带偏而参考模型不受视觉干扰，组合意义是用纯音频证据去校准多模态推理中的听觉部分。

下面导读先定位左右两大块，左侧是参考推理与策略采样的协作，右侧是答案置信度优化，中间用去掉 KL 约束连接异构模型。

看图路径： 1. 沿左侧有限数据与音视频输入找到策略模型与参考模型的分叉；2. 看中间奖励与组优势计算如何把纯音频思考指南送回策略模型；3. 确认去掉 KL 约束的标注位置与异构结构的对应关系；4. 再看右侧答案概率分布如何分成负对数似然与熵最小化两支

论文图 2。原论文 Figure 2：“Framework of RL-CoMM, where LALMs serve as the reference model and Omni-LLMs serve as the policy model.”。

从像素看，左侧虚线框是有限数据与音视频输入，参考模型被冻结图标包围并输出一段音频思考，策略模型在热身后采样多条轨迹，中间奖励框显式写出音频合理性与视听关联的组合，右侧把最终层到第 8 层的答案概率分布拆成负对数似然与熵最小化两项，并在不确定时触发阈值控制。论文明确说去掉 KL 惩罚，理由是 2 模型结构异构，直接约束分布距离不合适。整个流程的输出仍是带思考标签与答案标签的文字，训练只用有限样本，推理时策略模型独立作答。

奖励与答案优化分别算什么？

组件部分先讲数据格式。策略模型被要求输出 3 个标签，音频思考、视觉思考与答案，分别采样听觉内容、视觉内容与预测选项。参考模型根据正确答案生成面向问题的思考，避免全模态模型自带的视听关联思考混入。格式奖励只检查格式是否正确，正确得 1 否则得 0，这是为了限制输出结构。分步推理奖励包含两项规则奖励。

第一项是音频推理合理性奖励，用嵌入模型检索策略音频思考与参考推理的语义相似度，阈值设为 0.8，只有相似度超过阈值且预测答案正确才得 1，否则得 0。第二项是视听关联奖励，用嵌入模型检索音频思考与视觉思考的连贯分，答案正确时在连贯分基础上加 1，答案非空但错误时只保留连贯分，答案为空则得 0。每条轨迹总奖励是格式奖励加音频合理性奖励加视听关联奖励，再在组内归一化得到优势，即减去组均值除以组标准差。

分步推理奖励 × 答案中心置信度优化： 分步推理奖励分工是优化中间思考过程，让音频思考与视听关联思考更合理；答案中心置信度优化分工是优化最终答案片段，降低不同推理路径带来的答案不确定性；搭配理由是只改推理不稳答案、只压答案不改推理都不完整，组合意义是先把推理拉回声音证据再把答案分布收紧。

答案中心置信度优化只裁剪答案片段计算，避免在提示与思考上浪费计算。具体做法是定义答案起始位置之后的位置集合，只在该集合上做熵最小化，同时保留全序列的负对数似然以拟合标注数据。熵是答案词表分布的不确定性，越小表示模型对答案越确定。超参数控制熵项权重，默认 0.5，当预测答案不确定度超过 0.75 时权重设为 0，避免过度自信。论文没有给出梯度是否截断参考模型与裁判的细节，但按描述参考模型与嵌入裁判只提供推理与分数，不更新参数，梯度路径只经过策略模型。

组相对策略优化 × 组优势： 组相对策略优化分工是提供无价值网络的在线策略优化框架，1 次采样一组回答并比较优劣；组优势分工是把组内每个奖励减去均值再除以标准差，得到相对好坏的更新权重；搭配理由是推理奖励只有相对比较才有意义，组合意义是用组内归一化把格式、音频合理性与视听关联三项奖励转化为稳定的梯度信号。

音频推理合理性奖励 × 视听关联奖励： 音频推理合理性奖励分工是检查策略模型的音频思考是否与大音频语言模型的参考推理语义一致且答案正确；视听关联奖励分工是检查音频思考与视觉思考之间是否语义连贯并与答案正确性联动；搭配理由是前者补听觉证据后者补跨模态逻辑，组合意义是同时防止听错和把看到听到的内容生硬拼在一起。

这一节的复述要点是，奖励管思考过程是否听对并且前后逻辑连贯，答案优化管最终选项是否稳定，二者监督来源不同，前者来自外部音频参考与语义裁判，后者来自标注答案与自身分布的不确定性。

热身、策略优化与答案收紧按什么顺序训练？

训练分 3 段。第一段是热身，用有监督微调让基础模型稳定输出分步视觉推理与音频推理。原文报告热身用 100 个高质量问答对，工具链指向公开的微调仓库，当前可用状态以资源声明为准，这里只说论文给出链接而不承诺长期可达。所有热身数据遵守防泄漏规则，即不混入后续评测的问答。第二段是组相对策略优化风格的在线优化，用音乐问答与通用音视频问答中抽取的有限样本做少样本学习，论文强调只用约两成总训练样本。

第 3 段是答案中心置信度优化，进一步压低答案片段的不确定性。实验在 8 块英伟达 A800 上进行，阈值与权重按默认设置。需要指出的缺项是，论文未报告热身的学习率、轮数、批量大小，也未报告在线采样的组大小与优化步数，初学者复现时应把这些当成待补超参数，而不是默认已知。 本节导读先说明曲线对象是视听关联奖励随全局步数的变化，用来判断奖励模型是否持续给出有效反馈。

看图路径： 1. 先确认横轴是全局步数、纵轴是视听关联奖励的训练曲线；2. 观察前约 200 步快速爬升再进入波动平台的形状；3. 注意纵轴起点约 1.0 附近而平台约 1.3 到 1.4 之间

论文图 3。原论文 Figure 3：“Training dynamics of RL-CoMM with Step-wise Reasoning Optimization. The graph shows the variation of the AVC reward over global steps.”。

从像素看，横轴是训练全局步数到约 1000 步，纵轴是视听关联奖励，曲线从约 1.0 附近快速上升到约 1.3 附近，随后在 1.3 到 1.4 之间波动前行。论文的解释是奖励呈平稳上升趋势，说明组反馈不断激励模型获得更强的视听关联。结合正文，全模态模型即使在热身阶段学过双向音画生成，仍难以做出不受视觉影响的音频推理，因此需要持续的组内比较来纠偏。注意总体趋势不等于每一步都上升，波动是组采样的正常现象，不能把某一步的抖动当成训练失败。

在哪些数据与指标上比较才算公平？

实验覆盖两类任务。第一类是音视频问答，包括音乐问答、音乐问答的鲁棒扩展版与通用音视频问答。音乐问答与通用问答分别包含 9129 和 57300 个测试问答对，扩展版包含 211572 个测试问答对且直接测试不加额外训练，用来检验跨任务泛化。第二类是音视频幻觉评测，包括音频驱动的视频幻觉、视频驱动的音频幻觉与音视频匹配三项，指标为准确率、精确率与 F1，方向都是越高越好。

混淆评测的指标方向需要单独记，静音场景准确率越高越好、回答是的比例越低越好，因为正确答案都是否；改声场景音频准确性与视觉准确性在 0 到 5 分上越高越好。比较条件上，专用模型、通用多模态模型、基座加有监督微调、基座加普通组相对策略优化、基座加本方法放在同一测试划分下比较。论文在幻觉评测中明确不引入官方提供的标题输入，这个条件必须保留，否则跨论文比较会不一致。

硬件预算只报告 8 卡 A800，没有报告训练时长与推理延迟，因此不能从准确率提升推定延迟改善。 下表把论文明确报告的样本规模放在一起，目的是核对数据量级与划分，而不是比较模型好坏，阅读时先看任务类型再看数量级。

表后需要说明代价与边界。静音与改声的样本量都很小，优点是人工标注质量可控，缺点是不能代表所有乐器与噪声组合。

问答评测样本量大，优点是能看平均准确率，缺点是正常同步视频为主，不能单独证明混淆场景的稳健性。因此主结果必须分开看，问答分数高不等于混淆判断强，幻觉分数高也不等于匹配任务同样好。

主结果在问答与幻觉上提升了多少？

主结果的问题是，本方法是否在通用问答与幻觉上都超过可运行的基线。论文报告在音乐问答与通用问答上，专用模型仍强于普通多模态模型，基座本身低于专用模型，加有监督微调与普通策略优化各有提升，而本方法在所有子任务上相对基座提升 10 到 30 个百分点。扩展版上专用模型泛化不强，本方法无需额外训练数据仍能释放基座的音画推理能力。

在幻觉评测上，普通开源音视频模型接近随机且对幻觉对象过度自信，基座已更强，本方法进一步带来最高约 13.11 个百分点的准确率提升，在音频驱动与视频驱动两类幻觉上明显超过同类模型，但在音视频匹配任务上未达最优。论文把后者记为未解决项，并提出在线策略优化确实减少跨模态幻觉，但音画组合的奖励模型仍需改进。 本节先导读右侧混淆案例的输出差异，左侧是一般间断声，右侧是静音混淆，上下分别是基线与本方法的思考与答案。

看图路径： 1. 先沿左侧鼓声间断案例比较基线与本方法对是否一直演奏的判断；2. 再看右侧小提琴静音案例中基线只写视觉思考而本方法补出音频思考；3. 核对两例的标签格式是否都显式区分音频思考视觉思考与答案；4. 把改进归因到按问题类型依赖音频推理而非只看画面

论文图 4。原论文 Figure 4：“Examples of general audio-visual scenes and our designed audio-visual confusion scenes.”。

从像素看，左侧问鼓是否一直在演奏，基线只写视觉思考并回答是，本方法补出音频思考指出存在无声间隙并回答否；右侧问是否有小提琴声，基线只按画面写出 2 人分别拉小提琴与吉他并回答是，本方法先写音频中无小提琴证据、再写画面中有 2 人演奏，最后回答否。2 例都用显式标签区分音频思考、视觉思考与答案，支持论文所说的按问题类型依赖音频推理。

下面比较混淆场景下不同训练策略的实际收益，表前问题是只靠有监督微调能否解决视觉主导，指标方向是准确率提升越高越好、评分提升越高越好。

表后解释主要收益与代价。

本方法相对基座的提升约为 2 倍于小规模基座的水平，并接近闭源闪电版的性能，这是收益；代价是仍落后于更强的闭源思考模型，且有监督微调在混淆场景反而下降，说明强行拟合标注答案不能纠正视觉偏置。未胜出项必须保留，有监督微调是负结果，普通组策略优化是次优结果，不能删除不利基线来夸大收益。

分步奖励与答案收紧各自贡献了什么？

消融的问题是，两项优化是否各自有效。论文在音乐问答平均准确率上报告，基础组策略模式含格式与准确率奖励，只能小幅提升仍不如专用模型；加入音视频推理奖励后相对基线提升 19.54%，相对普通组策略提升 4.44%；再加入答案预测置信度优化后相对基线提升 26.51%。这支持两项组合能进一步增强多模态理解的稳健性。

需要注意百分点与相对百分比不同，这里都是相对基线的百分点变化，不能理解为相对比例。另一个反证是训练曲线显示视听关联奖励持续上升，但论文也承认匹配任务未达最优，说明推理奖励对问答与单向幻觉更有效，对双向匹配的组合判断仍不足。下表把消融的增量放在同一条件下比较，公平条件是同一基座与同一音乐问答评测，指标方向是平均准确率越高越好。

表后补充代价与限制。分步奖励需要外部音频参考与嵌入裁判，增加了训练链路与样本构造复杂度。

答案收紧引入熵权重与不确定度阈值，若阈值设置不当可能过度自信，论文用超过 0.75 时关闭熵项来缓解，但未报告阈值敏感性。因此消融支持有效性，不支持零成本或所有任务同样有效的推论。

哪些结论还不能下、哪些边界没有测？

论文直接报告的是，在给定数据与指标上，本方法超过基座与普通组策略优化，且在有限样本下有效。有限解释是，强迫模型反思与试错能模拟人类思考，从而解决困难音画任务，这只是对训练现象的解释，不是因果证明。未验证的推测是，更好的音画组合奖励一定能解决匹配任务，这还需实验。缺失证据不是技术错误，但必须明确边界。第一，混淆评测样本小，静音 73 对、改声 100 对，未覆盖更多乐器、语音与噪声组合，不能推广到所有不对称场景。

第二，改声评分依赖人工智能辅助打分，打分模型自身的偏置未被测量，不能把自动分当成人评。第三，论文未报告误判率、延迟、推理开销与输出帧率，不能承诺这些量得到改善。第四，超参数只给默认值，嵌入相似度阈值 0.8、熵权重 0.5、不确定度阈值 0.75 的敏感性未展开，换阈值后结论是否成立待验证。第五，资源状态只说明微调仓库链接在本次可达，不代表权重下载与完整系统可一键运行。阅读时应把总体趋势与每组表现分开，平均分提升不等于每个子任务与每一步都提升。

复现先做什么、用什么条件核对？

复现的第一步是重建混淆数据，而不是直接跑大评测。按论文动作，先收集多乐器合奏视频并把其中一件乐器全程静音，问题固定为是否有被静音乐器的声音，答案固定为否；再用风、鸟、雨、电钻、雷 5 种环境声替换另一些视频的背景声，问题固定为描述看到什么和听到什么，并人工标注正确答案。核对条件包括视频数、问答对数、静音是否全程、替换是否整体不同步。

第二步是准备模型与裁判，策略模型用 Qwen2.5-Omni-3B，参考模型用只听音频的大音频语言模型，裁判用轻量文本嵌入模型，输出格式固定为音频思考、视觉思考与答案 3 段。第三步是按热身、策略优化、答案收紧的顺序训练，热身用 100 对且严格避开评测集，策略优化只用有限样本，阈值与权重先用原文默认值。第四步是分别在问答、幻觉与混淆 3 套指标上评测，幻觉评测不加官方标题输入，混淆评测同时记录准确率与回答是的比例。

常见误解是把有监督微调当成万能起点，论文显示它在混淆场景反而下降，因此不要跳过音频参考与分步奖励直接微调。另一个误解是把去掉 KL 当成通用技巧，它只适用于异构参考与策略结构差异大的情况，同构自比较仍可能需要 KL 约束。

何时值得尝试这种协作、还需补哪项验证？

当任务同时满足 3 个条件时值得尝试，输入是视频加音频且可能不对称，错误主要来自视觉压过听觉而非单纯听不清，需要模型给出可检查的中间思考。复现时应优先验证音频参考的质量，如果参考模型本身听错，后续奖励会把错误放大，因此要先抽查参考推理与真实音频的一致性。再验证裁判的可靠性，用人工抽查语义相似与连贯打分是否与人的判断一致，避免嵌入模型把措辞相似当成证据一致。

还需要补的验证包括更大规模的混淆集、不同阈值下的敏感性、训练与推理开销的实测，以及人工评测对改声生成内容的复核。论文的价值不在于给出一个通用最优模型，而在于把不对称输入变成可测量的评测，并证明用纯音频证据做组内比较、再收紧答案分布，可以在有限数据下提升基座的问答与幻觉表现。

初学者记住的可操作链条是，先构造静音与改声对照，再让只听的模型给出参考，接着用分步奖励纠正听觉与关联推理，最后只在答案片段上降低不确定性，每一步都保留可运行的基线对照。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 aaai-2026 论文汇总