文本挤占参数更新时，单块 LoRA 如何隐式分出模态分工

英文题目：Parameter-Efficient Adaptation for MLLMs via Implicit Modality Decomposition

会议身份：conference:cvpr:2026:conference-paper-id:Zhang_Parameter-Efficient_Adaptation_for_MLLMs_via_Implicit_Modality_Decomposition_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#LoRA #多模态学习 #音视频 #音视频问答

评分：8.0/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Mingfang Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Yunhong Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Lu Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Jiaxin Chen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

多模态大语言模型需将音频、视觉或语音等非文本输入经编码器与投影器映射至语言空间后，与文本联合送入冻结大模型完成问答推理，但标准低秩微调中文本模态主导参数更新，非文本模态贡献被系统性压制导致推理退化。隐式模态分解先在训练前将单个低秩矩阵软划分为文本专用、非文本专用与共享三类区域，并随层深渐增共享区比例，划分结果作为后续约束的结构先验进入优化。接着模态专用解耦约束要求仅用模态相关参数重构全矩阵输出以抑制跨模态干扰，其参数梯度直接注入反向传播以精细调控更新。然后模态无关对齐约束以加权余弦对齐促使共享区提取跨模态一致语义，其梯度与任务梯度及解耦梯度加权融合形成最终更新。与每模态独立矩阵的显式分解不同，该方法不增加可训练矩阵数量且保持推理时权重合并。在MUSIC-AVQA评测下，IMoD的准确率为77.31，高于LoRA的准确率73.41。该结论在音视频文本、视觉文本与语音文本任务上均成立，但其适用边界受限于依赖预对齐良好的编码器与投影器，尚未验证长尾问答、强噪声音频或未见模态组合下的外推能力，而训练成本维持与标准低秩微调相同的参数占比且推理开销无额外延迟因权重可完全合并。

🔗 开源与复现资源

• 代码相关资源：https://github.com/mmffzzz/IMoD.git → https://github.com/mmffzzz/IMoD — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决哪一步？

本文的输入是已经具备文本推理能力的大语言模型，加上视觉、音频或语音等非文本编码器输出的令牌，目标是在只动极少参数的条件下把大模型调成能联合理解多模态问答与推理的多模态大模型。必须保留的信息包括任务类型、基座是否冻结、适配参数放在哪里、评测用哪些数据集与指标，以及改进是否带来额外推理开销。输出是 1 篇能复述方法的解读，读者照着做应能说清数据如何进模型、参数如何分区、两个约束如何算梯度、训练分几个阶段。

本文只讲论文实际研究的音频视觉文本、视觉文本和语音文本 3 类问答与理解任务，教学中举的例子会明确标为例子。当前代码链接在资源状态中显示为可用，解读中涉及的仓库地址以原文给出的地址为准。全文按学习依赖展开，先讲不平衡现象与已有路线，再讲隐式分区全景，然后拆两个约束的计算，再讲训练与评测条件，最后用结果与消融回答约束是否必要。

已有路线在同输入同目标下各自卡在哪里？

第一条路线是通用参数高效微调。做法是冻结大模型主干，只训练投影器和低秩旁路，代表是标准低秩适配及其变体。它的优点是参数少、可合并、不改推理结构，缺点是当初为纯文本设计，没有为多模态分配参数归属，多路梯度挤在同一块小矩阵上时，文本更容易占上风。第二条路线是模态不平衡缓解。做法包括调采样、调各模态学习速度、对齐条件学习节奏等，输入与目标与本文相同，但大多停在数据流或优化节奏层面，没有控制可训练参数内部是谁在更新谁。

第 3 条路线是显式模态分解。做法是给每个模态各配一套适配矩阵，必要时再加交叉注意力融合，优点是隔离直接、干扰小，代价是参数随模态数线性增长，微调后的多套矩阵难以整体合并回预训练权重，还缺少专门学习跨模态公共语义的位置。本文的定位是保留第一条路线的效率与可合并性，吸收第 3 条路线的分工思想，但把物理上的多矩阵换成单矩阵内的软分区，再用约束把分工练出来。

为什么文本会挤占同一块小矩阵的参数更新？

多模态大模型的常见结构是文本直接进大模型，非文本先过编码器再过投影器变成同维令牌，然后与文本令牌拼在一起进冻结的大模型，只有投影器和低秩旁路可学。低秩旁路本身很小，却要同时承接所有模态的梯度，而大模型主干来自大规模文本预训练，对文本更敏感，文本梯度往往更大更稳定，于是更新方向被文本主导。

论文用参数级分析把这种直觉量化，做法是把费舍尔信息矩阵按模态拆成文本与非文本两部分，每个元素表示该模态对该参数更新的驱动强度，再统计非文本强度超过文本强度的参数比例，称为非文本主导率。白话说，费舍尔信息矩阵是给每个参数记一笔谁推了它一把，非文本主导率是数一数有多少参数主要是被非文本推动的。

低秩适配 × 模态不平衡学习： 低秩适配负责只用极少可训练参数去调整冻结大模型，模态不平衡学习负责描述文本梯度长期压制非文本梯度导致的参数更新偏置，二者搭配的原因是可训练参数越少，不同模态的梯度越被迫挤在同一块矩阵上竞争，组合意义在于必须在不增加参数的前提下先度量谁在主导更新，再设计分区机制让非文本也能分到稳定的更新通道。

在音乐音频视觉问答数据上的训练末段，标准方法的非文本主导率一路下滑到很低水平，说明越来越多参数只听文本的，非文本信号即使存在也难以进入决策。

非文本主导率 × 费舍尔信息矩阵： 费舍尔信息矩阵分工是按模态分别估计每个参数对文本损失和非文本损失的敏感程度，非文本主导率分工是统计非文本敏感度超过文本敏感度的参数占比，搭配理由是只看损失下降看不出是谁在推动参数，只有把敏感度拆到参数级才能量化挤占，组合意义是把抽象的模态偏置变成可跟踪的训练曲线与终点数字。

下面这张图把上述下滑过程画成曲线与末步柱状图，是理解后文为什么要分区的直接依据。图前导读是先确认对象为训练过程中可学习参数的整体分布，时间为从训练起点到三百多步，条件为同一数据集与同一基座下的两种方法对比。

看图路径： 1. 先看左图横轴训练步数与纵轴非文本主导率百分比的变化方向；2. 再对比蓝色标准方法与红色本方法两条曲线在中后段的间距；3. 最后看右图末步柱状图的两个标注数值及其差距

论文图 1。原论文 Figure 1：“Illustration on the issue of modality-imbalanced learning in standard LoRA.”。

这张图左半是训练步数从零开始到 320 步左右的变化，纵轴是非文本主导率百分比，蓝色标准方法下降更快更深，红色本方法在 80 步之后明显更平，说明约束在训练中后期稳住了非文本的更新份额。右半是末步的两个柱子，标准方法标注为 14.8%，本方法标注为 21.4%，差距说明分区加约束确实把一部分参数从文本主导拉回到非文本也能主导的状态。但这只是参数分布层面的证据，还需要后文的问答精度来证明分布改善转化成了推理改善。

隐式分解的全景是什么，一块矩阵如何分出三种活？

方法全景可以沿一个样本走一遍。假设输入是一段音乐演奏视频加问题文本，视觉帧与音频先各自过编码器与投影器变成视觉令牌与音频令牌，再与文本令牌拼接进入每一层冻结的注意力与前馈，主干权重不动，真正可学的是每层旁边的低秩矩阵。隐式分解的做法是在训练前给低秩矩阵中的下投影矩阵按比例随机指定 3 类位置，分别是文本专用、非文本专用和共享，用 3 个二值掩码标记，满足逐元素三者相加还原全矩阵。

布局是交错散点而非整块切割，深层分配更多共享位置，浅层保留更多专用位置，理由是浅层更偏模态细节、深层更偏抽象公共语义。训练时 3 类位置并非硬隔离，文本令牌理论上仍会经过全矩阵，而是靠两个约束把行为练成分工，推理时仍是单矩阵可合并。下面这张三面板对比图把标准单矩阵、多矩阵显式分解与本方法单矩阵内部分区放在一起，是记住结构差异的关键。

图前导读是先明确三者输入都是文本视觉音频 3 类令牌，输出都加回冻结主干，区别只在旁路参数如何组织与融合。

看图路径： 1. 先沿底部文本视觉音频三类令牌向上看它们进入哪一块适配参数；2. 再对比中间子图的多矩阵加交叉注意力与左右两图的单矩阵结构；3. 最后看右图虚线框内原始参数到分解参数的箭头与两类约束的位置

论文图 2。原论文 Figure 2：“Comparison of multimodal LoRA adaptation strategies.”。

左图是经典结构，3 类令牌共用同一套下上投影，没有归属信息。中图是显式分解，每类令牌各走一套下投影再经交叉注意力汇总到共用上投影，隔离清楚但矩阵数随模态数增长且合并困难。右图是本方法，仍是单套下上投影，但在下投影内部用颜色区分 3 类位置，并用两个约束从原始参数指向分解后的功能，推理时不增加分支。

显式模态分解 × 隐式模态分解： 显式模态分解的分工是给每个模态各配一套适配矩阵以实现物理隔离，隐式模态分解的分工是在同一套低秩矩阵内部用掩码划出文本专用、非文本专用和共享 3 类位置，搭配理由是前者随模态数线性涨参数且难以合并回主干，后者想保留可合并与定参数量的优点，组合意义在于用软分区加约束来逼近隔离效果而不改变推理结构。

记住这个全景后，下一节再拆两个约束各自算什么、梯度往哪里加。

解耦约束如何让整矩阵表现得像只用了相关参数？

模态专用解耦约束的白话目标是各扫门前雪。处理文本时，非文本专用参数的抖动不应明显改变文本输出，处理非文本时反之。实现上对同一份文本特征算 2 次输出，1 次只用文本加共享位置得到的结果，1 次用全矩阵得到的结果，要求两者用平方误差靠近，非文本侧同理构造另一项。关键是这两项不直接加进总损失再求 1 次大标量，而是分别对适配矩阵求梯度，再把逐参数梯度直接注回反向过程，这样每个位置收到的修正更局部。

形式上记文本相关子矩阵为全矩阵与文本加共享掩码的逐元素乘积，文本特征中非文本位置零，分别算部分输出与全量输出并求差的平方范数，非文本侧对称，最终解耦梯度是两项梯度之和。下面这张图把 2 次前向与梯度回注画得很具体，是理解软分区的核心。图前导读是先确认左侧两路输入分别为文本令牌与非文本令牌，中间是完整矩阵与掩码后矩阵，右侧是任务损失与一致性损失共同作用的示意。

看图路径： 1. 先看左侧文本令牌与非文本令牌分别指向完整矩阵与掩码后矩阵；2. 再看中间两组输出之间用双向箭头标注的一致性损失符号；3. 最后看右侧任务损失与两类一致性梯度共同指回同一矩阵的虚线

论文图 3。原论文 Figure 3：“Modality-Specific Decoupling Constraint.”。

图中上路用文本与共享掩码盖住无关位置后算出部分输出，下路对非文本同理，中间完整矩阵算出全量输出，两两之间用循环箭头标注一致性损失，右侧任务损失与两路一致性梯度用不同颜色虚线共同指回完整矩阵。观察时注意被灰色盖住的位置在部分前向中不参与，但在全量前向中参与，一致性要求正是逼全量行为向部分行为靠拢，从而让无关参数的影响变小。

模态专用解耦约束 × 模态无关对齐约束： 模态专用解耦约束分工是让文本输入只依赖文本加共享参数、非文本输入只依赖非文本加共享参数，减少跨模态干扰，模态无关对齐约束分工是让共享参数从不同模态抽出一致的高层语义，搭配理由是只解耦会让各模态各学各的而缺公共语义，只对齐又管不住专用参数互相串扰，组合意义是一个管分开、一个管拉齐，共同形成专用与共享的分工。

解耦只解决了分开，还缺公共语义，下一段讲对齐约束如何补上。

梯度级注入 × 损失项相加： 损失项相加的分工是把约束折成一个全局标量再一起反传，梯度级注入的分工是把约束对适配矩阵的逐参数梯度直接加到任务梯度上，搭配理由是论文希望约束精确作用到预先划分的 3 类位置而不被全局平均稀释，组合意义是在总更新式中用系数控制解耦与对齐的强度，同时保持主任务梯度为主路径。

对齐约束如何让共享参数抽出跨模态一致语义？

模态无关对齐约束的白话目标是让共享位置学会举一反三。例如文字说一只狗在跑，图像也是同一事件，共享参数从两边抽出的表示应该靠近。实现上先把另一模态置零，只让共享掩码后的参数分别作用于文本令牌与非文本令牌，得到两组序列表示再各自求平均，得到两个均值语义。但均值不一定可靠，长序列或语义发散时平均会被稀释，于是引入集中度来衡量每个令牌与本模态均值的平均余弦相似度，越集中说明均值越能代表整体。

对齐项用一减去 2 模态集中度之和与两均值余弦的乘积，集中时对齐更用力，不集中时放轻，梯度同样直接对适配矩阵求并注回反向。下面这张图把求平均、算集中度、算对齐的 3 条线画在一起，是理解权重调节的关键。图前导读是先确认左右输入仍是两类令牌，中间黄色为共享参数、灰色为被屏蔽位置，输出是两个均值表示与一个对齐标量。

看图路径： 1. 先看左右两侧文本与非文本令牌经共享参数得到各自序列表示；2. 再看中间求平均得到两个均值表示并计算余弦对齐项；3. 最后看上下两路集中度计算如何作为权重调节对齐强度

论文图 4。原论文 Figure 4：“Modality-Agnostic Alignment Constraint.”。

图中文本与非文本各经 1 次矩阵乘法得到序列特征，再分别求平均得到两个均值，两侧另有两条按公式算集中度的通路汇入中间的对齐节点，梯度虚线指回共享参数区。观察时注意对齐只动共享位置，不直接改专用位置，这正是分工所在。两个约束合在一起的总更新是任务梯度加上两路约束梯度分别乘系数，系数在消融中调优，下一节讲它们在训练流程中的位置与冻结关系。

训练分几段，哪些参数动，梯度从哪里来？

训练按多模态大模型常见的两段式进行。第一段是跨模态预对齐，基座大模型冻结，只更新模态投影器，投影器是查询器加两层多层感知机的结构，查询器用 32 个可学习查询来聚合模态信息，视觉分支在视频数据上训练，音频分支在音频描述数据上训练，语音分支在语音数据上训练，优化器用带余弦衰减与预热的常用设置，跑一个轮次。

第二段是指令微调，所有投影器与隐式分解模块可训练，基座大模型仍冻结，非文本编码器按原文为预训练编码器，视觉用常见视觉编码器，音频视觉场景的音频用音频编码器，语音场景用语音编码器。监督来源是主任务损失加两类约束的梯度信号，约束梯度不是先合成大损失再反传，而是各自对适配矩阵求梯度后按系数加到主梯度上，形成统一更新。

层间共享比例按层数线性增长，由初始比例加增长率乘层深除以总层数决定，剩余位置分给文本与非文本专用。原文未报告低秩秩数、缩放系数、学习率在第二段的具体取值与重置时机等细节，这些缺项在复现时需要以公开代码为准，不从模型名称推定。推理时微调后的单矩阵可整体合并回主干，不留额外分支。

在什么数据、基座与协议下比较，指标方向如何？

评测覆盖 3 类模态组合。音频视觉文本用音乐音频视觉问答与音频视觉事件定位两套数据，视觉文本用指令数据微调后在感知、综合问答、幻觉与种子榜等多套榜上评测，语音文本在语音数据上微调后在音频理解与语音榜上评测。基座包括对话版大模型、视觉指令模型与新一代大模型等，实验在多卡大显存设备上进行。

比较对象包括标准方法、多套并行方法、混合专家式、权重分解式、非对称结构、按模态独立训练以及显式分解的近期方法，表格中用适配矩阵数是否随模态数增长以及推理时能否合并来标注代价。指标方向是精度与榜单分数越高越好，参数量与延迟越低越好。公平条件的关键是同一数据集、同一基座、同一阶段下对比，显式分解类方法在精度上有竞争力，但参数与合并列显示其代价不同，不能只看精度一列就下结论。

原文对统计显著性与多次随机种子聚合未作明确交代，阅读数字时应视为单次报告的相对排序而非严格显著性判断。

主结果测了什么，谁在同条件下赢，代价是什么？

主结果要回答在保持单矩阵可合并的前提下，分布改善是否换来问答精度的实际提升。视觉文本场景的比较问题是同基座同榜单下谁的综合理解更强，公平条件是基座分别为两代大模型，指标为 4 个榜单分数越高越好。下表是原文视觉文本对比的原表选择，首列为方法与基座，其后为 4 个榜单分数，再后为矩阵数是否随模态增长，阅读时注意数值相同不代表同一指标，跨列差值不能混算。

表后解释是本方法在两个基座的 4 个榜单上都取得最高，标准方法与权重分解等单矩阵方法分数偏低，多套并行与显式分解在部分榜单接近但矩阵数随模态增长或不可合并。代价方面，本方法矩阵数仍为 1 对一且可合并，推理结构不变，这是与显式分解拉开差距的关键。

具体到音频视觉文本场景，下表用原文连续原句整理的宽表承担比较，条件是三基座 2 个数据集，指标为问答精度越高越好，比较对象保留实际可运行的标准方法、显式分解与本方法，数据格为原文裸值不追加单位。

表后解释是本方法在 6 个精度数上全面高于标准方法与显式分解，未胜出项需要指出语音榜上本方法有一项低于显式分解的情形在原文音频视觉文本表中并不存在，此处 6 个数全部领先，说明在该组合下优势没有收窄，未评测边界包括更长音频与更多模态数，这些在原文中没有证据，不能推广。

拿掉一路约束或改掉层间分配会发生什么？

消融要回答两个约束是否各自有效、合在一起是否更强，以及共享比例是否应该随层加深。比较问题是同基座同数据集下逐步加组件的精度变化，公平条件是基座固定为对话版大模型，数据集为音乐问答与事件定位，指标越高越好。下表直接复用原文消融矩阵，保留基线、单约束、双约束与加层间策略四档实际可运行配置。

表后解释是单加任一路约束都比基线明显提升，双约束再提升，层间递增共享比例进一步提升到最高，支持分开与拉齐互补、深层多放共享的判断。超参数方面在较宽范围内保持稳定，层间增长率取最优时性能最好，说明方法对调参不太敏感，但原文只报告了单数据集上的扫描。反证是系数取零即退回基座行为，说明提升确实来自约束而非随机波动。训练与部署成本上，可训练参数占比与标准方法相同，推理延迟相同，而独立训练与显式分解延迟更高，支撑了效率主张。

哪些结论有边界，什么还没有被测量？

已验证的是在给定 3 类模态组合与所列基座下，单矩阵隐式分区加两路梯度约束能同时改善参数分布与问答精度，且不增加可训练参数与推理延迟。有限解释是深层多放共享更有效，这与浅层偏细节、深层偏抽象的先验一致，但原文只用增长率扫描支持，没有逐层可视化每类位置真正学到了什么，因此只能说支持而不能说证明。

未验证的推测包括换到更多模态、更长序列或噪声更大的音频时是否仍稳定，以及集中度加权是否在所有语义发散样本上都可靠，这些都没有直接证据。缺失证据不是技术错误，但阅读时要区分报告显示与可能待验证的表述。原文未测量误判率分解、真实端到端延迟分布与训练显存峰值随序列长度的变化，因此不能承诺这些量一定改善。不同指标的差值不能混放，自动榜单分数不能当成人评，末步分布数字不能推广为全程都好，这些边界在引用时需要保留。

复现先做什么，需要哪些信息条件？

复现先做三件事。第一按原文两段式搭流水线，先只训投影器做跨模态对齐，再同时训投影器与隐式分解模块做指令微调，全程冻结基座大模型，非文本编码器用原文指定的预训练编码器，不要从模型名字自行替换实现。第二实现软分区时为每层下投影矩阵生成 3 类二值掩码，用交错随机而非整块切割，并按层深线性增加共享比例，增长率先用 0.4，解耦系数先用一，对齐系数先用万分之一，再在验证集上小范围扫描。

第三实现梯度级注入，先分别算文本与非文本的一致性输出差与共享表示的加权对齐项，再各自对适配矩阵求梯度并按系数加到任务梯度上，注意不要把约束先加成一个大损失再反传，否则逐参数的局部性会被稀释。信息条件方面，代码仓库在本次资源状态中显示可用，可对照掩码生成、掩码形状与梯度回注的具体位置，权重下载与完整超参数以仓库与原文为准，缺失的秩数与第二段学习率等细节不要猜，先跑通默认配置再补扫描。

教学例子明确标为例子，例如用狗在跑来理解共享语义，不代表原文用过该样本。

何时值得尝试，还需补哪项验证？

当你的任务满足 3 个条件时值得尝试本方法。一是基座已冻结且只能动极少参数，二是输入包含文本加一种或多种非文本且怀疑模型只看文本，三是部署要求单矩阵可合并、不接受随模态数涨参数或加分支。此时可先在验证集上看非文本主导率是否回升，再看问答精度是否跟涨，两者同向才算真正缓解。

还需补的验证包括换基座与换数据集的重复性、多次种子的方差、语音等弱势模态的细项表现，以及共享比例与系数的联合扫描，避免把单点最优当通用最优。常见误解是把隐式分区当成硬隔离，实际上同一位置在不同模态前向中仍会参与，隔离是行为层面的逼近而非物理切断。另一个误解是把可合并等同于零代价，实际上训练时多了 2 次部分前向与额外的梯度计算，省的是推理与参数，费的是训练。

把这些分工、代价与边界说清后，就能把论文从一个涨点技巧还原成一套可复述的参数分配方法。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

另有 13 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总