去掉编码器的多模态大模型，是不是在早期层又学了一个编码器

📄 去掉编码器的多模态大模型，是不是在早期层又学了一个编码器

英文题目：Encoder-Free Multimodal LLMs Learn Implicit Encoders

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

👥 作者与机构

• David Harwath：The University of Texas at Austin
• Desh Raj：NVIDIA
• Xavier Velez：Johns Hopkins University
• Sandra Arcos-Holzinger：Johns Hopkins University；The University of Melbourne
• Willie Jeng：The University of Texas at Austin
• Karen Livescu：Toyota Technological Institute at Chicago
• Leibny Paola Garcia-Perera：Johns Hopkins University
• Sanjeev Khudanpur：Johns Hopkins University

📌 核心摘要

无编码器多模态大语言模型把原始波形窗、频谱特征或图像像素块经轻量投影直接送入解码器Transformer，省去独立音频和视觉编码器，待检验的是早期层是否重新承担编码职能。论文以Gemma-4 12B和Inkling-Small为对象，先检验同一音频或图像在不同跨模态上下文下的层输出相似度，再把各模态独立编码到某一层后拼接送入后续层，对比全程联合编码的多模态问答表现。在Librispeech dev-clean抽取1000条语音配中性文本与图像、MSCOCO抽取797张图像配无说明与匹配或错配说明的对照下，以相对中性上下文参照的CKA相似度为指标，Gemma-4 12B音频与图像表示在12层前接近1.0、之后迅速下降，Inkling-Small在10层后仅轻微下降，早期跨模态不变性更持久。在包含1142组文本问题、图像、音频波形和答案四元组的OmniBench三模态问答评测设置下，以问答精度为指标，独立编码到12层左右再合并仍维持在全程联合编码基线附近（Inkling-Small基线43.8%、Gemma-4 12B基线40.4%），更深层合并后精度下降，Gemma-4 12B降至机遇水平的25%，Inkling-Small降至约37%。逐层探测比较隐式表示与声学特征、音素、词及句子语义的相似度随深度变化，发现其与WavLM和HuBERT等常用编码器表示高度相似，并呈现由低层声学到中高层音素词义的层次。把早期层输出当作冻结编码器在SUPERB和MIEB-Lite上评测时，分类等全局任务具竞争力，细粒度识别与聚类任务则落后于参数量小得多的专用编码器。结论适用范围限于这两个模型的特定输入排布和评测任务，隐式编码器并不等同于专用编码器。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

多模态大模型要解决什么输入与输出问题

刚进入语音或视觉方向的同学，可以先把任务想成输入差异很大的拼接。模型一次要读文本问题、自然图像和语音波形，输出文本回答。语音里既有说什么，也有谁说、什么情绪，图像里有物体、场景和文字，模型既要做单模态能做的转写与分类，也要做必须联合图像与音频才能回答的推理。

主流做法把分工拆开。视觉用 ViT 类编码器，音频用 Whisper、USM 或 wav2vec 2.0、HuBERT、WavLM 等预训练语音编码器，先把图像与音频变成与文本词向量对齐的 token，再用线性或轻量 MLP 连接层送入文本大模型。这种做法复用性强，但模型由分别训练的部件拼接而成。

论文研究的是另一条路线。Gemma-4 12B 和 Inkling-Small 不设专用编码器，把低层特征直接投影为输入 token，让同一个解码器 Transformer 既做编码又做推理。悬念在于，这种结构是否只是在早期层重新学了一遍编码器，以及它是否真的带来了更早的跨模态融合。

已有路线与本文的位置有何不同

要理解本文，先区分两类已有模型。第一类是带编码器的多模态大模型，例如 LLaVA、SALMONN、Qwen2-Audio 用线性或轻量 MLP 做连接器，Qwen-Omni、MOLMo、Gemini 则为音频与视觉并行放置多个编码器。它们的流程很固定，编码器与文本主干分别预训练，再拼接微调。

第二类是无编码器视觉语言模型，例如 Fuyu-8B、EVE 和 SOLO，把像素块直接送入语言模型。本文对象把这一思想扩展到文本、音频、图像 3 模态的大规模开权重模型。论文没有提出新模型，也没有训练新的问答系统，做的是对已有开权重模型的表征分析。

第三类是表征分析。语音领域发现自监督编码器随层数从声学到音素再到词，文本领域发现 BERT 不同层对应词性、句法等，近期多模态工作发现视觉 token 随深度更贴近语言。本文沿用 CKA、PWCCA 和激活补丁等工具，但对象换成无编码器结构，问题更具体，即早期层是否承担了编码器分工。

论文要回答的具体问题是什么

论文的假设很集中。既然两个被测模型从第一层就能让文本、图像、音频互相做注意力，它们是否真的从第一层就开始跨模态融合，还是前十余层仍各自独立编码，等表征足够抽象后才融合。如果是后者，这些早期层就相当于隐式编码器。

为此要回答 3 个可检验的问题。第一，固定音频或图像内容，只换跨模态上下文，各层音频或图像 token 表征是否不变。第二，把各模态独立编码到某一层再合并，能否在需要联合推理的任务上达到与全程联合编码相同的精度。第三，这些早期表征的内容演化是否像 HuBERT、WavLM 等常用编码器，以及它们作为冻结编码器在标准基准上表现如何。

这些结论成立条件很窄。结果只针对所测的 2 个模型、所用的中性上下文、所选数据集与层数，不意味着所有无编码器模型都有同样分界，也不意味着隐式编码器在所有任务上可替代专用编码器。

两个被测模型的输入与整体流程

沿着一个样本走一遍输入处理。Gemma-4 12B 是 48 层解码器 Transformer，词向量维度 3840。它把 16 kHz 波形按非重叠窗切分，每个窗用一个线性变换投影到输入空间。图像按非重叠像素块同样线性投影，再与文本 token 按文本在前、图像居中、音频在后的版式拼接。Inkling-Small 是 42 层稀疏混合专家 Transformer，token 维度 4096。

它用多层 MLP 处理图像像素块，音频则用 dMel 量化谱特征经线性投影变成 token。两者都按 5 比 1 交错全局注意力与滑窗注意力。

encoder-free × implicit encoder： encoder-free 指不设独立音频或图像编码器，直接把波形窗、像素块或谱特征投影为词向量送入 Transformer；implicit encoder 指论文提出的分工假设，即同一堆 Transformer 的前十余层实际承担编码器职责，先把各模态做模态内抽象，之后才做跨模态融合，两者组合起来才能理解为何同一套参数既要编码又要推理。

关键在于参数共享。从输入投影之后，所有模态共用同一套 Transformer 参数，不存在只属于音频或只属于图像的独立主干。论文检验的正是这种共享参数是否自发形成分工，即早期层主要做模态内编码，后期层才做跨模态推理。后续所有实验都是围绕这个分工设计的，而不是比较哪个模型问答分数更高。

如何检验早期层是否受跨模态上下文影响

第一个检验是上下文不变性。做法是先给音频或图像配一个中性上下文，得到每层参考表征，再换掉上下文重新编码，用 CKA 比较同一锚定模态在两组上下文下的层级表征是否一致。CKA 在这里衡量两组高维表征整体结构是否相似，数值越接近 1 越说明换上下文没有改变该层编码。

音频实验取 Librispeech dev-clean 的 1000 条语音，每条配同一句与内容无关的中性文本和一张黑白渐变图作为中性条件。对照条件包括转写指令、情感识别指令、MSCOCO 自然照片，以及同时替换图像与文本。图像实验取 797 张 MSCOCO 图像，比较空白条件与匹配标题、随机错配标题下的图像 token 表征。Gemma 因果注意力下图像 token 看不到后来的音频 token，因此图像部分主要比较文本上下文的影响。

cross-modal context × CKA： cross-modal context 指与被测音频或图像搭配输入的文本与图像内容；CKA 即中心化核对齐，用于比较两组表征整体几何是否相似，两者搭配把是否发生融合变成可测的层级曲线，若换上下文后 CKA 仍接近 1，说明该层尚未引入跨模态信息。

结果模式要按模型分别记住。Gemma-4 的音频与图像表征在前 12 层左右与中性参考保持很高，之后随深度逐渐下降，说明跨模态融合主要发生在较深的层。Inkling-Small 的音频表征几乎全程保持很高，仅在中间某层小幅波动和末层明显下降，图像表征在 10 层前几乎完全不变、之后轻微敏感并维持到深层。这为下一节选择 12 层附近作为合并点提供了依据。

独立编码到某层再合并能否保持推理精度

第二个检验把不变性与任务联系起来。OmniBench 有 1142 组文本问题、图像、音频波形和答案，题目设计要求必须同时用图像与音频才能回答。正常做法是 3 模态从第一层就联合编码。对照做法是把问题文本、图像、音频各做一次独立前向，编码到第 L 层时取出各模态在该层的表征，按模型版式拼接后送入之后各层。独立编码时用填充保持位置与其他模态占位不变，使 token 数与位置条件尽量一致。

activation patching × OmniBench： OmniBench 是每道题必须同时看图像和听音频才能回答的三模态问答集；activation patching 在这里指把各模态单独编码到第 L 层再拼接送入剩余层，与从第一层就联合编码对照，两者搭配检验上下文不变性是否对应任务可用的独立编码能力。

论文报告联合编码基线下 2 模型精度在 40% 左右，把合并点从浅层向深层移动时，2 模型在 12 层之前基本维持基线，之后开始下降。Gemma 下降更剧烈，最终到随机水平，Inkling 下降幅度较小。论文进一步比较联合与独立编码下内容 token 与边界 token 的相似度，发现内容段相似度全程较高，而边界 token 在 12 层后明显下降，据此推测 Inkling 把跨模态信息主要存放在模态段之间的边界 token 中。这个解释依赖于所选问答集与填充拼接方式，换任务或换拼接方式结论可能变化。

本研究没有训练大模型，蒸馏小编码器如何训练

需要先说清训练分工。本文没有训练 Gemma-4 或 Inkling，也没有微调它们做问答，主体是冻结模型的分析与探针。只有分析容量的一节训练了学生模型，即把 Gemma-4 前 12 层当教师，用蒸馏训练专用的紧凑音频编码器。

distillation × DistilHuBERT objective： distillation 指用 Gemma-4 前 12 层输出做教师，训练更小的专用音频学生编码器；DistilHuBERT objective 指逐层蒸馏的做法，两者搭配检验隐式音频编码功能是否可分离，以及它实际需要多少容量。

学生保持 12 个块、查询头与键值头数、滑窗与全局交错模式不变，只缩小模型维度与注意力头维度，得到 800M 到 100M 等不同尺寸。训练数据约 8000 小时，取自 GigaSpeech、Common Voice 英文和 AudioSet，用逐层蒸馏目标学习教师前 12 层的输出。评估时冻结学生表征，按 SUPERB 规则做加权求和与探针。这里的训练成本与数据只属于蒸馏实验，不能用来说明原大模型的训练代价。原文也没有报告蒸馏的完整超参数，复现时需要自行补齐缺口而不是猜测原值。

评测条件、探针做法与指标方向

语音编码能力用 SUPERB 评测。做法是取模型前 12 层的帧级音频向量做加权求和，冻结后接轻量探针。任务分两类，一类是每层先平均成一个向量再分类，包括关键词检测、意图分类、说话人识别、情感识别，指标是准确率，越高越好。另一类用全部帧级向量，包括音素识别、语音识别、查询词检测、槽位填充、说话人验证与分离，其中错误率越低越好，F1 与检索指标越高越好。基线包括滤波器组特征、wav2vec 2.0 与 HuBERT 的 Base 和 Large 版本。

视觉编码能力用 MIEB 精简版的纯图像任务，共 10 个，包括 8 个分类与 2 个聚类。分类看准确率，聚类看归一化互信息，都是越高越好。论文对 Gemma-4 前 12 层逐层扫描，发现第 10 层总体最好，因此用冻结第 10 层与 SigLIP2、DINOv2 比较。层级信息分析用 PWCCA 比较各层与对数梅尔滤波器组、帧级音素独热、词独热、词性、词义及句向量之间的相似度，数值越高表示该层越贴近该抽象级别。所有比较都只在原文的数据划分与冻结探针条件下成立。

作为语音编码器时哪些任务接近基线

语音部分先看整体格局。论文把 SUPERB 任务分成平均池化的分类任务和需要帧级精细信息的任务，前者衡量全局特征是否通用，后者衡量音素与识别所需的细节是否足够。公平条件是同为冻结表征加探针，错误率越低越好，准确率与 F1 越高越好。

PWCCA × SUPERB： PWCCA 即投影加权典型相关分析，用于度量某层表征与声学、音素、词等参考标签的相似度；SUPERB 是用冻结语音表征加轻量探针评测多任务能力的基准，前者看层内信息随深度如何演化，后者看这些表征能否直接迁移到下游任务。

论文报告的模式是分类任务接近而细粒度任务落后。2 模型的隐式音频编码在关键词、意图、说话人与情感等平均池化任务上与 Base 和 Large 基线大体可比，但在音素与语音识别上差距明显，帧级错误率远高于 HuBERT Large 等专用基线。蒸馏学生基本保留教师水平，但在音素与识别上仍未追上专用基线。这说明前 12 层提供了可用的全局语音特征，但帧级精细信息不足，结论限于 SUPERB 的冻结探针设置。

下表保留本文 SUPERB 冻结探针实验的完整方法和任务列，包括平均池化的分类任务、需要帧级信息的任务，以及 4 种规模的蒸馏模型。

论文另引用 Ding（2026）的 GigaSpeech 结果，作为细粒度不足的旁证：Gemma-4 12B 的词错误率为 23.9%，2B 和 4B 分别为 11.8% 和 11.1%，指标越低越好。这项被引述的识别比较与本文 SUPERB 冻结探针实验应分开理解。

这项引用比较说明隐式编码器并非在所有语音任务上都强。12B 的词错误率明显高于 2B 与 4B，与前段 SUPERB 中音素与识别落后的现象一致。但该比较只针对论文引用的 GigaSpeech 条件，不能推广为所有语料或所有解码设置下的排序。

作为视觉编码器时表现如何

视觉部分要回答隐式编码在多大程度上可替代专用视觉编码器。公平条件是同为 MIEB 精简版纯图像任务，分类看准确率、聚类看归一化互信息，都是越高越好。论文对 Gemma-4 前 12 层逐层扫描后选第 10 层比较，这个选层方式本身带来一定的事后选择成分。

论文报告的平均分显示限制比亮点更重要。Gemma 第 10 层平均分明显低于 SigLIP2-base 与 DINOv2-base。它在部分任务上接近，例如遥感与病理切片分类，但在宠物细粒度分类与聚类任务上明显落后。因此只能说早期层具备一定的视觉编码功能，不能说已达到专用视觉编码器水平，且结论只针对所测的精简任务与第 10 层选择，换层或换任务集结果会变。

下表保留 Gemma-4 12B 第 10 层冻结视觉表征与 SigLIP2-base、DINOv2-base 在 MIEB-Lite 上的完整比较，包括八项分类准确率、两项聚类归一化互信息和平均分。

复现输入也须分别核对：Gemma 将 16 kHz 音频按 640 个采样点、即 40 ms 的非重叠窗口投影，并把 48×48×3 像素块投到 3840 维 token 空间；Inkling-Small 的音频输入来自 dMel 量化谱特征，线性投到 4096 维，40×40×3 图像块经 4 层 MLP 也投到 4096 维。上述输入方式是评测条件，不应作为模型性能结果。

这些输入细节用于复现预处理。Gemma 用原始波形窗加单层线性变换，Inkling 音频起点已是谱特征、图像用了更深的 MLP，这些起点差异会影响后文声学相似度曲线的起点，比较层级演化时需要考虑这一条件差异。

合并层与问答精度的关系说明了什么

这组 OmniBench 对照要回答独立编码到哪一层仍不损失联合推理能力，指标是问答准确率，越高越好，随机猜测为 25%。公平条件是同一问答集、同一模型权重，只改变从哪一层开始合并各模态表征。

所有模态从头联合编码时，Inkling-Small 的基线准确率为 43.8%，Gemma-4 12B 为 40.4%。保持各模态独立编码、再在指定层合并时，两者在第 12 层之前仍大体接近各自基线；进一步推迟合并后，Gemma 降到 25% 的随机水平，Inkling-Small 则降至约 37%。这里的“约37%” 保留原文的近似含义。

从代价与反例看，维持基线只在 12 层之前成立，合并越晚偏离越大，Gemma 的下降幅度远大于 Inkling，说明 2 模型的后期融合强度不同。Inkling 内容 token 相似度高但边界 token 相似度低的现象提示跨模态信息可能被压缩到边界位置，若只看内容 token 会低估融合。该实验没有测试单模态精度，也没有测试换一种填充与拼接方式是否同样成立，因此不能推广为所有多模态推理都可延迟融合。

层级信息从声学到句子意义如何演化

下面这张图值得细读，它把 Gemma-4、Inkling-Small 与 wav2vec 2.0、HuBERT、WavLM 放在同一 PWCCA 框架下，比较各层与声学、音素、词、词性、词义和句子意义的相似度。横轴是模型层数，1 到 12 为线性、之后为对数，纵轴是相似度，越高表示该层越贴近对应抽象级别。先看整体布局再看每列峰值，才能理解隐式编码器的信息路线。

看图路径： 1. 先看横轴层数与纵轴 PWCCA 相似度，区分虚线基线与 Gemma、Inkling 曲线；2. 比较左上声学子图中 Gemma 从低起点上升再下降的轨迹；3. 观察中间音素与词子图的峰值层位置以及峰后快速下降；4. 最后看右下句子意义子图随层数上升并在深层维持高位

论文图 4。原论文 Figure 5:：“Layer-wise analysis of the audio token representations learned by Gemma-4 12B, Inkling-Small, and several self-supervised baselines.”。

图中可见的趋势是先声学后语言再到句子。Gemma 输入是原始波形，第 0 层与对数梅尔特征相似度很低，到第 3 层迅速升到约 0.95，说明前 3 层学出了近似滤波器组能量的变换。Inkling 输入已是 dMel 特征，因此浅层声学相似度起点较高。音素相似度在 Gemma 第 8 层、Inkling 第 7 层达到峰值，词身份在两者第 9 层达到峰值，与自监督基线峰位相近。不同的是基线在峰后维持较高音素信息，而两被测模型在峰后迅速下降。

词性与词义也随词峰一同升降，到第 10 层后句子意义相似度稳步上升并在深层维持高位。论文据此认为 2 模型经历了声学到音素到词再到句子意义的演化，但这只是相关性探针，不能证明模型在下游任务中一定按此顺序使用这些信息。

为保留可核验的峰值数字，下表整理论文正文中直接报告的 PWCCA 峰值位置。比较问题是隐式编码器的信息峰值是否与常用编码器处于相近深度，指标是相似度峰值所在层。

该表的限制在于只记录峰值层，没有记录峰值高度与统计不确定性。峰位相近支持演化路线相似的判断，但峰后保持能力的差异同样重要，不能只用峰位相等就得出编码质量相同的结论。

哪些结论还不能下，常见误解是什么

第一个限制是任务覆盖。隐式编码器在平均池化的语音分类上可比，但在音素、识别、查询词检测等细粒度任务上明显落后，视觉上平均分也低于专用基线。因此不能把上下文不变性等同于编码质量已与专用编码器相当。

第二个限制是机制解释的边界。CKA 接近 1 只说明换上下文后表征几何变化小，不证明该层完全没有跨模态注意力。激活补丁维持精度只说明在 OmniBench 与当前拼接方式下可分离编码，不证明所有推理都可如此分离。PWCCA 峰值只说明探针可解码出对应信息，不证明因果使用。

一个常见误解是认为无编码器一定实现了早期融合优势。本文实际显示的是延迟融合，即前 12 层左右很少融合，这与更早融合的动机正好相反。另一个误解是认为参数多就等于编码器强，蒸馏实验显示前 12 层大量参数的功能可用小得多的学生保留，说明容量与功能不能直接画等号。

若要复现第一步应做什么

复现应从上下文不变性开始，因为它不需训练问答探针。准备 Librispeech dev-clean 的子集与 MSCOCO 图像子集，按原文构造中性文本与渐变图、转写与情感指令及自然照片，用指令微调版 Gemma-4 12B 做前向，逐层取出音频与图像 token 输出并计算 CKA。注意 Gemma 的版式与因果掩码会影响图像可见的上下文，填充与位置处理要与原文一致。

第二步再做 OmniBench 的独立与联合编码对照。关键是独立编码时用填充保留位置与其他模态占位，拼接时恢复原文版式，并记录合并层从浅到深的准确率曲线。同时分别计算内容段与边界 token 的相似度，避免只看平均相似度而错过边界位置的作用。

第三步是冻结探针。语音取前 12 层加权求和送 SUPERB 流程，视觉对前 12 层逐层扫描后选优比较。蒸馏部分需要约 8000 小时的混合音频与逐层目标，资源不足时可先复现分析部分。关于代码与权重，原文只说打算发布分析代码，没有给出经校验的可用链接，因此不能写成已公开，复现应以论文描述为准。

什么时候值得尝试无编码器路线

综合来看，当目标是简化架构、用同一主干同时处理文本、音频与图像，并且能接受从头学习声学与视觉前端时，无编码器路线值得尝试。它的早期层确实能学出类似滤波器组、音素、词再到句子意义的层级，以及一定的分类能力，独立编码到 12 层左右也不损失所测问答精度。

但当任务依赖精细音素、识别或强视觉判别时，本文证据不支持直接用隐式编码器替代专用编码器。此时更现实的选择是论文讨论中提到的混合思路，例如用预训练编码器初始化早期层，或把编码器蒸馏作为辅助目标加速学习，但这些只是推测方向，本文没有验证它们的效果。

还需要补的验证包括更多模型与规模、更多跨模态任务、延迟与训练成本的直接测量，以及边界 token 机制的因果检验。只有在这些条件下，才能判断无编码器是真正省了编码器，还是把编码器的学习成本搬进了大模型的前十余层。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-20 语音/音乐/音频论文速递