全模态大模型知道却说不出：对齐诊断与自我补述

📄 全模态大模型知道却说不出：对齐诊断与自我补述

英文题目：Omni-Modal LLMs Know More Than They Say

标签：#音视频问答 | #音频推理 | #多模态学习 | #大语言模型

评分：5.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

👥 作者与机构

• Na Min An：机构信息未能从 arXiv PDF 文本可靠映射
• Taekyung Kim：机构信息未能从 arXiv PDF 文本可靠映射
• Jaemyung Yu：机构信息未能从 arXiv PDF 文本可靠映射
• Hyunjung Shim：机构信息未能从 arXiv PDF 文本可靠映射
• Dongyoon Han：机构信息未能从 arXiv PDF 文本可靠映射

📌 核心摘要

全模态大语言模型把视觉、音频等专用编码器输出投影到共享语言模型空间，以多路非文本信号与文本问题为条件生成选项或自由文本回答。已编码的非文本信息在生成时取用不充分，文本模态对齐更强、注意力更多，该失衡随输入模态增多而加重，下游推理准确率下降而感知准确率保持。论文引入 token级模态对齐诊断含义，对每个非文本token计算其与回答token隐状态的最大余弦相似度并保留分布，用以刻画生成可及性，区分注意力分配与信息对齐。基于该诊断提出OMNI-CATALYST，先让同一模型为弱模态生成文本描述，再把原始表征与描述一并送入回答阶段精炼作答，描述起语义中介作用而不替换原始信号。与仅缩小表征差距或遮蔽原模态的做法不同，知识抽取阶段拓宽对弱模态的注意力并经文本转化，使精炼回答能利用文本化信息，TMA随之上升。在多模态基准上以推理准确率为指标，OMNI-CATALYST相比直接回答在七个Omni-LLM上平均提高7.29%，模态偏好分布更均衡。作者承认实验仅覆盖当前Omni-LLM支持的模态，失衡根源尚未查明。原文未给出延迟与吞吐实测，只说明分离生成描述带来额外推理代价。

🔗 开源与复现资源

• 代码相关资源：https://github.com/naver-ai/OmniLLM — 链接不可用（HTTP 404）

• 第三方资源：https://arxiv.org/abs/2603.21664 — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

任务的输入、目标和必须保留的信息是什么

这篇论文研究的是全模态问答。输入是一道选择题，同时给出多个感觉通道的材料，例如一段视频画面加一段音频，再加上文字问题和几个候选选项。目标是从选项中选出正确答案，要求模型真正联合使用视觉和听觉信息。必须保留的信息是各模态中与问题有关的内容，比如画面里的人物动作和音频里的人声对话，不能在推理中丢失。输出是一个选项编号或选项文本。

评价用推理准确率，答对比例越高越好。论文还同时关心模态偏好是否均衡，也就是模型是否只看好用的模态而忽略真正相关的弱模态。

全模态大语言模型 × 感知 × 生成： 全模态大语言模型指在同一语言模型下接入视觉、音频等多种编码器的系统，感知指各模态编码器把输入变成隐表示的过程，生成指语言模型据此逐词产生回答的过程，三者组合的意义在于本文区分知识是否被编码和知识在回答时是否可被取用。

对刚入门的同学，可以把任务想成开卷考试：试卷同时发了图片、录音和题干，考生要先看懂听懂，再写出答案。本文发现很多模型相当于看懂了却写不对，瓶颈不在眼睛和耳朵，而在把看到听到的东西写进答案的过程。论文把 2 模态称为多模态，把 2 模态以上称为全模态，后文的结论主要针对后者成立。

已有路线在输入目标和运行阶段上有何不同

论文把相关工作分成 3 条线。第一条是全模态大语言模型本身，从早期的视觉音频字幕文本预训练，到用混合专家投影逐步加入更多模态，再到支持任意模态间生成的模型，它们的共同点是在训练阶段把多模态对齐进语言模型。第二条是知道却说不出的现象，在纯语言模型和视觉语言模型中都有报道，例如中间激活能解码出正确答案但贪心解码答错，或者模型注意到了正确视觉证据但回答错误，这条线提示内部有知识不等于输出能用上。

第 3 条是模态不均衡，有的工作从表示对齐角度提出对齐均匀性目标、嵌入平移或标准化，有的工作从行为角度发现模型偏爱视觉而忽视音频。

论文强调表示对齐和实际使用是两回事，已有缩小表示差距的方法不一定改善问答，这正是本文要连接的两端。比较时要注意运行阶段是否相同：有的推理方法需要外部文本推理模型，有的需要多智能体规划，而本文主方法只用同一模型自我生成描述，不依赖外部大模型。因此不能把类别上的差异直接读成同条件下的胜负。

知道却说不出具体指什么失败

论文用一个例子说明失败形态。问题问男人为女儿准备了什么礼物，模型在单独被问看懂了什么、听到了什么时，能说出画面和歌词中的关键信息，但被直接问推理题时却答错。一旦把同样的模态信息以文本形式再呈现一遍，模型又能答对。这就是知道却说不出：感知层面有知识，生成层面取用不到。更关键的是模态越多问题越重，直接回答的准确率随模态数增加而明显下降，而感知准确率保持稳定，说明瓶颈在读出而不在编码。

论文还发现文本表示天然更容易被语言生成使用，即使是与问题无关、插在不同位置的文本，也比非文本表示获得更高的注意力和对齐分数，这解释了模型为何偏好文本通路。这种偏好不是说文本信息量更大，而是说文本与回答生成处于更兼容的空间。

整体流程如何从感知走到回答

方法 OMNI-CATALYST 采用先感知后推理的两段思路。第一段是知识抽取，让同一个底层语言模型为每个非文本模态生成一段描述，描述不替换原始感觉表示，而是作为补充文本与原始表示一起留下。第二段是精炼回答，模型同时看到原始视觉表示、原始音频表示、自我生成的描述和问题，再生成最终选项。论文还给出单遍变体，把描述和答案放在一次生成中联合产生，区别只在于是分两次调用还是把提示拼接后一次调用。核心思想是描述保留了任务相关的模态语义，又处于与后续回答词相同的表示空间，相当于给弱模态修了一条更顺的语言通路。

知识抽取 × 直接回答 × OMNI-CATALYST： 知识抽取指先让模型描述各非文本模态的内容，直接回答指直接根据原始多模态输入和问题作答，OMNI-CATALYST 指在保留原始感觉表示的同时补上一段自我生成的文本描述再作答，组合后多出一条处于语言生成空间的文本通路，使原来弱对齐的模态信息更容易被后续回答使用。

举例来说，假如输入是一段猫的视频加一段叫声录音，问题问猫在做什么，直接回答可能只看画面而忽视音频。按本文流程，模型会先写出音频内容的文字说明，再带着这句说明去回答，回答阶段就能同时用上看到的动作和听到的声音。这里只是帮助理解流程的例子，不代表论文给出过该样本的具体数值。

对齐诊断如何计算每个词的可及性

为定位瓶颈，论文提出 Token-level Modality Alignment，中文可理解为词级模态对齐分数。计算对象是解码器最后一层的隐状态，一部分取自模态占位位置，例如视频填充符对应的位置，另一部分取自已生成的回答词位置。对每个样本的某个模态的每个词，该分数定义为它与所有回答词表示的最大余弦相似度，越大表示该模态词与生成所用表示越兼容。样本级看一个输入内所有模态词分数的分布，数据集级再看跨样本的变化。

与已有质心距离、近邻一致性等只看输入模态之间是否对得上的指标不同，该指标直接问每个输入词与回答生成是否对得上，并保留完整分布而不只取平均或前列平均。论文还用同一层同一次贪心生成的平均注意力作为对照，区分对得上和被关注到。

Token-level Modality Alignment × 注意力权重 × 生成可及性： Token-level Modality Alignment 指每个模态词与回答词表示的最大余弦相似度及其分布，注意力权重指解码时回答查询分配给输入位置的归一化权重，生成可及性指输入表示参与后续回答生成的程度，前者量对齐空间的兼容性，后者量解码时的取用量，二者相关但分布不同，需搭配才能区分对得上和被用到。

分析发现样本内分数越高的模态词倾向于获得相对更高的注意力，但绝对注意力仍然很低，而且文本词的注意力和对齐分数系统性高于非文本词。按分数分层遮蔽词时，遮掉高分词更损伤推理准确率，但知识抽取成绩变化不大，这支持该指标刻画的是通向生成的可及性，而非信息是否存在。

模态数增加时分布发生什么变化

论文进一步按输入模态数量统计对齐分数的均值和方差。随着模态增多，均值上升，方差也上升。均值上升意味着平均来看有更多表示与回答对得上，方差上升意味着词与词之间的差异拉大，一部分变得更易用，另一部分仍难被用到。因此新模态的信息不会自动均匀进入生成，差异反而可能扩大，这与直接回答准确率随模态数下降、感知准确率保持的现象一致。

论文提醒该分数度量的是与生成回答的对齐，不是模态身份本身，无关模态若拿到高分可能只反映通用偏好，不能误读为语义接地。换句话说，分数高只说明表示形式接近回答空间，不保证内容真正回答了问题。理解这一点，才能正确使用遮蔽实验和注意力可视化。

没有新标注时如何训练描述的生成和使用

训练框架区分两个目标。推理使用目标是给定原始输入、自我生成的描述和问题，最大化选对正确选项的似然，监督来自正确选项。描述生成目标是给定原始输入和描述指令，最大化目标描述的似然。有真实描述时直接监督生成，没有时用自生成的描述作为目标并做自我训练或精炼。论文实例化了 3 种已有的自我训练策略，但把监督对象从推理链换成模态描述：STaR 保留能导出正确答案的贪心描述并微调，R3V 再加精炼器和选择器，SD-Zero 把二值奖励作为上下文做自我修正再蒸馏。每轮外循环从原始检查点重新开始。

感知训练 × 推理使用训练 × 自我训练： 感知训练指训练模型从原始输入生成模态描述的能力，推理使用训练指训练模型利用已生成的描述去选出正确选项的能力，自我训练指用模型自己生成且能导出正确答案的描述作为监督再训练，组合起来先改善描述质量再改善描述用法，二者分工不同且效果可以叠加。

实现上用低秩适配微调，训练数据来自视频音频交错数据集的子集，描述解码限制最多几十个新词，图像像素和每样本图像音频数量都有上限。需要明确的是本节讲的是可训练变体的构造过程，主结果中的免训练变体不需要更新权重，只调用已有模型生成描述再回答。原文没有报告梯度具体经过哪些投影的消融，复现时只能按证据写更新了适配参数，不从模型名字猜测内部实现。

在什么模型基准和条件下比较

免训练主实验覆盖较小的宝石系列指令模型、通义千问全模态三 B 与七 B 版本和统一多模态框架，并扩展到更大规模的全模态指令模型、其他全模态结构等，语言骨干多数来自通义千问系列。基准包括多模态推理的综合基准和真实场景基准，要求联合使用视觉和音频；模态条件推理的幻觉基准，区分感知正确和幻觉抑制；模态偏好的偏好基准，用归一化模态偏好的熵衡量偏好是否分散，熵越高越均衡；还有把单模态图文、视频、音频、惯性测量、功能磁共振、点云重构成四选一推理的任务。训练变体用九万量级样本训练，在验证集上评估。

比较条件上，基线是直接回答，竞争方法包括需要外部推理模型的思考型方法和多角色协作的链式模态方法，以及只给第二次自纠机会的自我思维链，论文强调 OMNI-CATALYST 不需要外部推理模型和复杂智能体流程。提示词敏感性实验显示换措辞仍在相近范围，描述位置放在模态前还是系统提示后结果一致，补足优于替换，也就是保留原始模态再加描述好于只用描述替换原始模态。

联合推理的主结果在何种对照下成立

在需要联合使用视觉和音频的基准上，OMNI-CATALYST 一致优于对应基线，而且在不使用外部推理模型和自适应智能体框架的条件下优于所列竞争方法。论文报告跨 7 个全模态模型的平均提升，并带来更均衡的模态偏好。细看机制对照，协作推理只带来很小的提升，而本方法带来更大的提升；只给自纠机会的自我思维链提升有限，说明增益不只是多算一次。音频描述的作用最稳定，尤其在宝石系列上对不同音频类型都有明显改善。单模态扩展中，对基线较弱的功能磁共振和惯性测量改善更显著，但显著性标记因模态而异。

下表整理论文正文直接报告的提升幅度，指标方向均为准确率越高越好，比较均在同一模型和同一基准内进行。

模态偏好 × 模态差距 × 推理准确率： 模态偏好指模型在有多个模态可选时实际依赖哪一个模态的倾向，模态差距指不同模态表示在共享空间中仍不重合的现象，推理准确率指多模态推理题答对的比例，三者搭配的意义在于本文证明只缩小表示差距不一定改变偏好和准确率，关键是信息在生成时是否可及。

上表说明主要收益来自给弱模态增加文本通路而非替换感觉信号，代价是多一次描述生成或一次更长的联合生成；提升幅度因模型和音频类型而异，大模型增益较小，不能把平均数推广到每个模型。偏好熵改善也不等于每个样本都均衡，需要结合分布看。

知识抽取阶段的表示和注意力有何变化

论文用注意力可视化和分布曲线解释增益来源。直接回答常欠关注弱模态音频，知识抽取阶段对音频的注意更分散并把其信息转成文本，精炼回答阶段就能依赖文本化的音频信息，同时把视觉注意集中到与问题有关的区域。用对齐分数中位数过滤注意力后，与回答对齐的区域更清晰，说明该分数能区分只是被分配了注意力与真正和回答对齐。聚合分布显示知识抽取选择性地提升了弱模态的对齐分数和注意力，视频变化较小。隐状态投影显示自我生成的音频描述在表示空间中更靠近音频和答案表示，而非图像，这与描述作为语义和模态中介的解释一致。

但这只是相关证据，不能证明注意力提升必然导致答对，论文也指出单靠缩小表示差距的已有方法对性能和偏好几乎无变化，而真实音频描述作为上限能带来约 10% 以上的提升，本方法沿同一方向改善但幅度更小，效果依赖于保留原始模态。失败例子显示当问题需要超出直接可观察证据的推理时，最高分词可能落在无关区域。

训练策略和描述配置的消融说明什么

把方法内化到权重时，不同训练目标都有 2% 到三左右的提升，其中只训练感知生成描述的增益大于只训练推理使用，感知加推理与自我训练方法相当。在每个训练变体上再加免训练的 OMNI-CATALYST，还能再涨 5 个百分点以上，最终都收敛到四十二到四十三附近的相近区间，最好的自我训练是 STaR。单遍训练的消融显示音频描述在推理时最稳健，无论训练时用的是音频、视觉还是全模态描述；视觉或全模态描述增益较小偶为负。用外部大模型生成描述能进一步提升，说明描述质量是瓶颈之一。思考模式下仍有提升，说明与内部思考互补。

下表整理训练相关的数字，均为论文正文直接报告的准确率变化，方向均为越高越好。

上表说明感知优先的结论只在所评估的策略和数据范围内成立，感知加 STaR 并未进一步提升推理，但在域外音频描述任务上描述质量更高；训练只用了特定子集和特定超参，换数据和全参微调结果可能不同。

结论的边界和尚未验证的范围有哪些

论文明确只覆盖当前全模态模型支持的模态，触觉、视觉里程计、嗅觉等新模态只是展望，未实测。根本成因如语言中心架构、预训练数据不均衡、异构表示难对齐等并未解决。失败例子显示当问题需要超出直接可观察证据的推理，如推断画外音意图或未来事件时，最高分词可能落在无关区域，单靠最对齐的一个词不足以作答。统计上主提升报告了显著性，但单模态扩展的部分标记较弱，需按图注区分。

自动音频描述指标的提升不等于人工听感评价，模态偏好熵改善也不等于每个样本都均衡。没有测量延迟和成本，不能承诺推理更快，只能说两遍调用增加开销，单遍变体减少一次调用但生成更长。把表示更近当成语义一定正确，以及把单次最对齐词的可视化当成充分证据，都是容易产生的误解，原文提示需结合分布和多词证据看。

复现第一步做什么与关键信息条件

复现先从免训练两遍流程做起。第一步用同一模型对音频和视觉分别生成简短描述，提示要求如实转写说话内容和非语音声，只写与问题相关的内容，不猜测因果，不提及选项；第二步把原始模态、生成的描述、问题和选项一起送入同一模型作答，不要用描述替换原始模态。关键超参和信息条件要保留：描述最多几十个新词，贪心解码，图像像素上限和每样本模态数量上限按附录设置，评估用推理准确率，偏好用归一化偏好熵。

训练复现需准备视频音频交错数据集的训练切分，用低秩适配，宝石系列与通义系列学习率不同，STaR 外循环多轮。代码可用性方面，论文正文给出代码链接，但本次来源校验显示该链接当前不可用，不能写作者已公开；第三方链接只证明论文提到，不证明开源。权重可下载与系统可运行是另外两件事，需分别确认。

什么时候值得尝试还需要补哪项验证

当你的多模态问答中弱模态常被忽略、直接回答明显差于分别描述各模态时，值得尝试先补描述再回答，尤其音频较弱时优先补音频描述。当已能拿到高质量真实描述，可把它当上限对照，判断还有多少空间来自描述质量。还需补的验证包括在你自己的数据上做按分数分层遮蔽，确认高分词是否同样关键；在你的延迟预算下比较两遍与单遍的准确率和耗时；若要训练，比较只训感知与只训使用的差异是否依然成立。

容易误解的是把平均提升当成每个模型必得的提升，把表示更近当成语义一定正确，以及把单次最对齐词的可视化当成充分证据，原文都提示需结合分布和多词证据看。总体上，进展不只取决于支持多少模态，更取决于编码的信息在生成时是否可及。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递