瓶颈里放状态空间：MambAdapter 用共享投影加 Mamba 做语音音频轻量适配

英文题目：MambAdapter: Lightweight Mamba-Based Adapters for Parameter-Efficient Transfer Learning in Speech and Audio

会议身份：conference:interspeech:2026:conference-paper-id:ali26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#Adapter #状态空间模型 #语音识别 #音频分类

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Salman Hussain Ali：机构信息未能从会议 PDF 纯文本可靠映射
• Umberto Cappellazzo：机构信息未能从会议 PDF 纯文本可靠映射
• Mirco Ravanelli：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理语音与音频基础模型的参数高效迁移问题，输入为对数梅尔频谱图分块序列或 Whisper 编码器隐状态，输出为音频类别标签或多语言转写文本，难点在于语音长上下文建模与全量微调成本高昂。方法链分为三步：首先以跨层共享的一对下投影与上投影将高维特征压缩至低秩瓶颈空间，其次在瓶颈内以轻量 Mamba 模块建模时序动态并经上投影回映射，最后以每层可学习标量加权并行叠加至冻结主干。相对每层独立投影的瓶颈适配器与依赖深度可分离卷积的 Conformer 适配器，该设计以共享投影省参数并以层特异状态空间补偿表达力。在Whisper五语言识别评测任务下，MambAdapter的WER为49.9，低于Bottleneck的WER50.7。该结论限于 Pfeiffer 与 Houlsby 并行插入、编码器端适配与分类加中等规模识别任务，未验证解码器适配与长语音外推。原文未披露优化器、学习率与训练轮数等训练成本细节。该设计适用边界受限于编码器端并行适配与中等规模语料，解码器适配与长语音外推尚未验证，推理开销上短时流式场景延迟相对较高而随序列长度与批量增大被摊薄。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么矛盾？

本文的输入是两类已经预训练好的冻结大模型加下游小数据：一类是音频谱图变换器，用于环境声音、城市声音、关键词和意图分类，另一类是耳语模型，用于低资源和中资源语言的语音识别。目标是在不全量微调主干的前提下，只训练极少量新增参数就把模型搬到新任务和新语言上。

本文要解决的矛盾是语音音频天然是长时连续信号，需要建模短时音色细节和长时语义依赖，但常用参数高效迁移方法多为逐帧的线性瓶颈，缺少显式的时序状态记忆，而直接引入强序列模型又会增加参数。本文的输出是一套可复述的适配器构造、插入位置、共享规则和在两类任务上的对照结果，读者按此可以判断何时用该方法、何时仍需全量微调。

需要保留的关键信息是冻结与可训练的边界、参数量口径、插入配置、指标方向和聚合种子数，本文后续所有结论都依赖这些条件。资源状态方面，本次未发现来源绑定且完成验证的资源，因此不得声称代码模型或数据已公开，复现只能依据正文描述的模型、数据集和超参数进行。

已有路线各自管什么，为什么还不够？

第一条路线是瓶颈适配器。做法是在每个变换器层插入先降维再升维的小模块，主干冻结，只学旁路残差。按插入密度又分为两种：只在前馈网络后插入，以及在注意力与前馈后都插入。它的分工是把任务差异压缩到低秩空间，优点是简单通用，缺点是瓶颈内多为逐位置前馈，缺少对时间连续性的显式建模。第二条路线是低秩分解，以查询与值投影矩阵的低秩更新为代表。

它直接改写注意力权重的增量，参数集中在注意力部分，对分类任务有效，但在论文的语音识别对比中表现相对弱。第 3 条路线是面向语音的卷积增强适配器，以 conformer 适配器为代表，在瓶颈内加入深度与逐点卷积构成的轻量卷积块，擅长捕捉局部声学模式，在 4 个分类任务上平均精度很强，但参数多于共享瓶颈，且在识别任务上并未同样领先。第四条路线是曼巴本身。

它用选择性状态空间递推代替自注意力，以线性时间处理长序列，并用可学习局部卷积先抓短程交互再做状态更新，已在分离、自监督和识别中显示潜力，但此前未被用作变换器内的参数高效迁移模块。本文的定位是把第四条路线的序列能力装进第一条路线的瓶颈外壳，并用跨层共享把新增参数压下来，从而同时回答长时建模与参数效率两个问题。

要回答的具体问题与适用边界是什么？

论文提出的核心问题是曼巴能否作为语音与音频的参数高效迁移技术装进变换器。具体拆成 3 个可检验的子问题：在相同或更小参数预算下，加入曼巴的共享瓶颈能否在分类与识别上达到或超过强基线；性能随瓶颈维度和曼巴超参数如何变化；在低预算区间的优势是否稳定。

适用边界在正文中有明确限定：分类侧基于在音频集上预训练的谱图变换器，识别侧只在耳语模型的编码器插入适配器而解码器保持冻结，识别语言选的是耳语零样本相对弱的 5 种低中资源语言，每种训练约 600 分钟、中央库尔德语为 484 分钟、验证与测试各 60 分钟。教学例子：可以把 1 次关键词识别想象成听 1 秒钟的上下左右指令，模型先把语谱图切块编码，再由适配器做任务修正，最后投票类别，这只是帮助理解流程的例子，不代表论文报告了该例的数值。

超出边界的推断需要待验证，例如是否适用于流式解码、是否适用于解码器端适配、是否适用于与此处不同的采样与分词设置，原文没有给出证据。

MambAdapter 整体长什么样，样本走完一遍发生什么？

从全景看，每个变换器层保留原有的多头注意力、前馈、残差与归一化，主干全部冻结，旁边并联一个轻量适配器。以前馈后的适配器为例，一个样本的表示先经过冻结的前馈得到原输出，同时同一输入进入适配器分支：先经共享下投影压到低维，再经该层独有的曼巴块做时序建模，再经共享上投影升回原维度，最后乘以该层可学习的缩放因子并加回主路径。注意力后的适配器走同样的旁路逻辑，只是监督来源是该位置的注意力输出残差。

训练时梯度只流经适配器内的共享投影、曼巴参数与缩放因子，不更新主干；推理时主干与旁路同时前向，结果相加后送入后续归一化与下一层。这种设计的搭配理由在引言与方法中写明：共享投影管参数效率，曼巴管低维时序表达，缩放因子管每层融合强度，三者共同使长上下文建模的额外开销停留在瓶颈内部。下图是理解该旁路与主路径关系的关键，阅读时先分清主干箭头与虚线旁路箭头，再看适配器内部自下而上的数据流。

看图路径： 1. 先看左侧 Transformer 块中两个虚线 Adapter 旁路分别接在注意力与前馈之后的位置；2. 再看右侧 MambAdapter 自下而上经过共享下投影、Mamba 盒、上投影到缩放因子的顺序；3. 确认蓝色 Mamba 盒内部由下层两个线性分支经卷积与状态空间再相乘汇合的结构；4. 注意上下两个线性旁标注的跨层共享说明与顶部的可学习缩放符号

论文图 1。原论文 Figure 1：“Left: A Transformer block with inserted adapter mod- ules (dashed boxes). Right: The internal structure of Mam- bAdapter, our proposed adapter.”。

左侧显示一个变换器块内注意力与前馈各配一个虚线适配器旁路，最终都汇入各自的加与归一化，右侧显示适配器内部自下而上为共享下线性、蓝色曼巴盒、共享上线性与顶部缩放圆圈，曼巴盒内下方两个线性分支分别经卷积加激活与状态空间加激活再相乘，顶部经线性输出，上下两个蓝色梯形旁均标注跨所有层共享。该图支持后文的公式含义：输入先降维再做状态递推再升维并缩放相加，共享的是两端投影，独有的是中间时序与缩放。

瓶颈投影与 Mamba 块各自算什么，为什么放在一起？

先解释术语。瓶颈适配器指先把维度从模型宽度压缩到远小于宽度的秩，再升回去的结构，英文为 bottleneck adapter。曼巴指一种选择性状态空间模型，英文为 Mamba，它把连续状态方程离散化为带输入依赖步长的递推，并等价为结构化卷积加局部卷积，复杂度随长度线性增长。状态维度决定隐状态记忆容量，扩展因子控制状态更新周围中间表示的宽度，核大小控制局部卷积看多宽的短程上下文。

在本文实现中，适配器计算可概括为旁路输出等于缩放因子乘以曼巴对降维表示建模后再升维的结果，再加上原变换器模块输出；其中下投影与上投影矩阵在所有层共享，曼巴块与缩放因子每层独立。理论依据是状态空间天然把时间信息压缩进远小于模型宽度的隐状态，因此与低秩瓶颈在压缩方向上相容，放在低维子空间仍能捕捉时间动态，且有训练中压缩研究显示状态表示对降维相对鲁棒。

瓶颈适配器 × Mamba： 瓶颈适配器负责用下投影降维和上投影升维把任务特异调整压缩到低秩子空间并保持主干冻结，Mamba 负责在这个低维空间内用选择性状态空间递推建模长短时序依赖，二者搭配的理由是降维降低参数而状态压缩弥补时序表达，组合后每层适配器既便宜又有序列记忆。

从动作上看，下投影做特征降维，上投影做维度恢复，曼巴在中间做时间压缩与选择性更新，缩放因子控制该层旁路的贡献比例。原文给出每个曼巴块约贡献 3 倍扩展因子乘以秩平方量级的参数，共享后线性投影的参数从随层数增长变为常数，因此即使加入曼巴，总量仍可低于常规瓶颈。需要指出的缺项是原文未逐层公开门控与离散化步长的具体初始化与梯度细节，复现时只能按常用曼巴默认与正文给出的秩、扩展、状态维度与核大小网格进行对照，不能从模型名称推定实现。

共享投影省了多少参数，层特异能力靠什么补？

共享的含义是所有适配器复用同一对下投影与上投影矩阵，而不是每层各学 1 对。按原文记号，若模型宽度为原维度，瓶颈秩远小于宽度，层数为注入适配器个数，则投影参数从 2 倍宽度乘秩乘层数降为 2 倍宽度乘秩，节省倍数约等于层数。代价是各层输入变换相同，表达自由度下降。补偿来自两处：每层的曼巴块参数独立，负责该层的时序选择与记忆；每层的标量缩放因子独立初始化为较小值，负责控制该层旁路强度。消融显示拿掉曼巴后在意图分类上精度大幅下降，而拿掉缩放仅带来小幅一致下降，说明时序块是主要容量来源，缩放是低成本的每层灵活性。

参数共享 × 层特异建模： 参数共享指所有层复用同一对下投影和上投影矩阵，把投影参数从随层数增长变为常数，层特异建模指每层的 Mamba 块和缩放因子保留各自时序行为，搭配原因是共享会削弱各层表达而 Mamba 用少量参数补回差异，使总体参数大幅下降而各层仍能做不同时间模式调整。

复述时要区分两类参数：共享投影是跨层常量，曼巴与缩放是逐层变量；训练时前者被所有层的梯度共同更新，后者只被本层残差监督更新。原文还指出在小数据集上共享有正则化效果，取消共享反而在部分集上略降，这与过参数化在小数据上易过拟合的解释一致，但属于有限解释而非因果证明。

冻结谁，训练谁，插入与优化如何组织？

训练组织遵循冻结主干、只训旁路的原则。分类侧冻结谱图变换器，识别侧冻结耳语整体并只在编码器插入适配器、解码器保持冻结。所有适配器实验采用并行插入而非串行插入，论文称内部比较显示并行更好，这与前人工作一致。分类侧瓶颈秩的设置是瓶颈与本方法取 16、卷积增强适配器取 12；识别侧因低秩在识别中退化，统一放大预算以对齐参数量，低秩分解秩取 32、瓶颈取 64、卷积增强取 48、本方法取 104。

优化目标是下游任务的监督损失：分类为类别交叉熵，识别为编码器加冻结解码器条件下的序列生成损失，梯度只回传到适配器参数。原文未报告优化器类型、学习率、批量大小与早停轮数的完整清单，仅说明超参数随代码提供，但本次无可用资源可核对，因此复现时必须把这些视为缺项，先按语音大脑工具包与谱图变换器常用流程搭建，再以论文给出的秩与参数量为锚点做网格核对。

并行插入 × 串行插入： 串行插入是把适配器输出直接串进主路径改变原表示流向，并行插入是把适配器作为旁路与原注意力或前馈输出按缩放相加，论文选择并行的理由是内部比较和前人工作显示并行在语音音频上更稳定，组合意义是冻结主干不受扰动而旁路只学残差修正。

Pfeiffer 配置 × Houlsby 配置： Pfeiffer 配置只在前馈网络后放适配器，Houlsby 配置在注意力和前馈后都放适配器，前者参数减半而后者每层有两个调整点，论文同时评估两者是为了检验 MambAdapter 在不同插入密度下是否都保持参数效率优势。

并行与串行、单点与双点插入的区别直接决定参数量口径与公平比较：单点配置参数约为双点的一半，比较时必须同配置对比，不能把单点的方法与双点的基线混比。本文分类结果同时报告两种配置，识别结果统一用单点配置且只插编码器，这是后文读表时核对公平性的关键。

数据、模型、基线与指标如何对齐？

分类侧沿用前人设置以保证可比，数据集覆盖 3 类任务共 4 个集合：环境声音分类、城市声音分类、语音指令关键词识别、流利语音指令意图分类，基座为在音频集上预训练的谱图变换器，它把对数梅尔语谱图切块再用标准变换器层处理。基线包括全量微调、偏置微调、提示微调、前缀微调、低秩分解、瓶颈适配器与卷积增强适配器，其中部分基线数值引自前人工作。

指标为准确率，方向是越高越好，瓶颈、卷积增强、本方法与低秩分解的结果在正文表中为 5 个随机种子的平均。识别侧在通用语音 13 的 5 种语言上微调耳语，语言为阿布哈兹语、中央库尔德语、世界语、卡拜尔语与卢旺达语，基座为在约 680,000 小时多语言多任务弱监督音频上预训练的编码器加解码器变换器，处理对数梅尔特征并自回归生成文本。基线为全量微调、低秩分解、瓶颈与卷积增强适配器，指标为词错误率，方向是越低越好，表中为 5 个种子的平均。

成本侧在英伟达图形处理器上测延迟与峰值显存，场景分为流式、中等批量与离线批量 3 种，分别对应不同批量与音频长度，每种平均 30 次前向。聚合口径必须注意：分类平均是对 4 个数据集准确率的算术平均，识别平均是对 5 种语言词错误率的平均，百分点差与相对百分比含义不同，不能混用。

分类与识别的主结果支持什么判断？

分类主结果要分配置阅读。在单点配置下，卷积增强适配器平均最高，本方法仅低约 0.35 个百分点，但参数不到前者的 1/4，且在城市声音集上反超约 0.5 个百分点；在双点配置下，本方法平均最高并在环境声音集上超过全量微调。识别主结果是在相近参数预算下，本方法平均词错误率最低，相对瓶颈降低约 0.8 个百分点，相对卷积增强与低秩分解降低更多，全量微调仍最强，但适配器只用约 0.45% 参数就把差距缩小到约 4 个百分点。

阅读时必须同时核对参数量、配置与指标方向，否则会把不同预算或不同插入密度的数字误作同条件胜负。下表整理了分类侧单点配置的关键数字，单位为百分比的准确率，参数量单位为 M，平均为四集算术平均，比较对象限定为同配置下实际可运行的策略。

表后解释：本方法相对瓶颈在平均上高约 7 个百分点，最大差距在意图分类，说明时序建模对长指令意图帮助更大；相对卷积增强平均略低但参数从 0.27M 降到 0.06M，代价是意图集上低约 1.5 个百分点而城市声音集上高约 0.5 个百分点，未胜出项恰好提示局部卷积与状态空间在不同声学分布上的互补性。

扩展到双点配置时本方法平均达 89.85 并保持 0.11M 参数，仍远低于卷积增强的 0.54M，这是参数效率主张的核心证据，但不能推广为在所有预算下都最优，后文缩放曲线会给出反例。

看图路径： 1. 先确认横轴为对数刻度的可训练参数量、纵轴为准确率及三条曲线的图例归属；2. 再比较 50k 到 500k 区间绿色 MambAdapter 相对橙色与蓝色曲线的位置高低；3. 观察 600k 之后橙色 Conformer 是否追上或超过绿色曲线的交叉点

论文图 2。原论文 Figure 2：“Scaling trend for adapter PETL methods on GSC.”。

该图横轴为对数刻度的可训练参数量从约 50k 到 1M，纵轴为关键词集准确率，3 条曲线分别为底部平稳的瓶颈、中部爬升的卷积增强与顶部开局即高的本方法。在 500k 以内本方法领先 0.5 到 4 个百分点，超过 600k 后卷积增强追上并在约 95.5 处达到最高，随后两者都趋平，瓶颈即使接近 1M 参数仍明显偏低。该形状支持低预算优先选本方法、高预算可再比较卷积增强的判断，也说明多数增益在 500k 参数前已实现，继续加参数收益递减。

识别侧的数字整理如下，指标为词错误率越低越好，平均为五语言平均，参数量相近在 1.1 到 1.4M 之间。

表后解释：本方法平均最低且在 4 种语言上领先，唯一在世界语上比瓶颈高 0.1 个百分点，这个未胜出项说明优势不是每组都成立。

低秩分解平均为 57.3 明显偏高，表明只改注意力低秩增量在该识别设置下不如瓶颈类旁路。全量微调平均为 45.18 仍最强，因此论文的表述是缩小差距而非超越，复现时应保留全量微调作为上限参照，不能用适配器间的相对胜利代替可部署收益。

拿掉哪一块会怎样，超参数如何取舍？

结构消融在 3 个分类集上比较 4 种变体：完整方法、无曼巴只留共享瓶颈与缩放、无缩放只留曼巴与共享投影、取消共享改为每层独立投影。结果是无曼巴时环境与关键词集下降 3 到 4 个百分点、意图集下降约 30 个百分点，说明复杂意图任务最依赖时序块；无缩放时各任务下降不到 2 个百分点但方向一致，说明缩放提供小而稳定的每层灵活性。

取消共享时关键词与意图集提升 1 到 2 个百分点而环境集下降约 2 个百分点，平均仅提升不到 1 个百分点但参数变为 4 倍以上，说明共享的正则化在小集上有益而在大数据上有轻微容量损失。下表为该消融的准确率整理，参数量单位为百万，平均为三集平均。

表后解释：主要收益来自曼巴，代价是增加少量参数；缩放的代价几乎可忽略但收益稳定。

取消共享的代价是参数膨胀而收益不稳定，因此在有限预算下应保留共享。曼巴超参数消融在两种语言上评估 75 种组合，结论是核增大带来一致但轻微的词错误率上升，状态维度取 20 到 40 的中段最好，过大反而冗余，扩展因子每增大一档带来约 1 个百分点的词错误率改善，因为它加宽了状态更新的中间表示。

看图路径： 1. 先确认左右两个三维曲面的横轴分别为核大小与状态维度或扩展因子、纵轴为平均词错误率；2. 再沿核大小增大的方向观察曲面颜色由深向浅的变化趋势；3. 比较扩展因子增大与状态维度增大时曲面下降幅度和最低点的颜色差异

论文图 3。原论文 Figure 3：“WER ↓averaged over expand (left) and dstate (right).”。

左右两个 3 维曲面分别以核大小与状态维度、核大小与扩展因子为底面，高度与颜色均为平均测试词错误率，颜色越深表示错误率越低。可以看到沿核增大方向曲面整体抬升，沿扩展增大方向曲面明显下沉，而状态维度方向呈中间低两端高的浅谷形，这与正文 3 条趋势一致。该图不能读出精确到小数点的最优点，像素无法精确定位每个网格的具体数值，复现时应以正文的区间建议为起点再做小网格搜索，并明确归因该图只展示两种语言的平均而非全部 5 种语言。

哪些代价与边界尚未解决？

第一是延迟形态。推理测量显示所有适配器显存增加都很小，但本方法的延迟开销在流式短句单批量下最大，因为选择性扫描的固定成本在短序列未批处理时占比高，随长度与批量增大被摊薄，因此定位更偏向离线与长句处理而非流式。第二是高预算区间的反转。缩放曲线显示超过 600k 参数后卷积增强在关键词集上超过本方法，说明本文的效率优势集中在低预算区间，总体趋势不等于每个预算点都成立。

第三是未评测边界：识别只插编码器而解码器冻结，未检验解码器端或双端适配；语言限定 5 种低中资源语言，未覆盖高资源语言；分类基座限定谱图变换器，未检验其他音频基础模型。第四是证据缺项：优化器、学习率、批量、早停与数据划分种子的完整清单未在正文给出，超参数随代码提供但本次无可用资源可验证；延迟的具体毫秒数在正文中以表格给出但 flattened 文本存在列对齐歧义，解读时只能定性引用相对排序而不硬写每格毫秒值。

区分表述很重要：已报告的是准确率与词错误率的平均改进，支持的是低预算下状态空间与共享瓶颈相容，有限解释的是共享的正则化作用，可能与待验证的是更大状态维度冗余的因果机制与流式优化后的延迟表现。

要复现先做什么，需要哪些信息条件？

先固定公平条件再跑数字。分类侧用谱图变换器在音频集预训练权重，数据集按前人划分处理 4 个集合，单点与双点配置分开比较，瓶颈秩与卷积增强秩按正文设置对齐，本方法秩取 16 并记录 0.06M 与 0.11M 两档参数量，指标用准确率并对 5 个种子取平均。识别侧用耳语模型，只在编码器按单点配置插入适配器而解码器冻结，语言选上述 5 种并保持训练、验证与测试时长口径，秩按低秩 32、瓶颈 64、卷积 48、本方法 104 对齐到约 1.1 到 1.4M 参数，指标用词错误率并对 5 个种子取平均。

曼巴网格建议从核小、状态维度 20 到 40、扩展偏大开始搜索，再向两侧扩展。需要补的验证至少包括：在高预算下重复缩放曲线以确认交叉点是否稳定，在世界语等未胜出语言上做误差分析，在流式与离线两种批量下分别测延迟与显存。关于可用性，必须写本次未能确认可达：未发现来源绑定且完成验证的资源，因此不能写代码已公开或权重可下载，复现应视为按正文描述重建系统，而非运行官方仓库。

常见误解是把共享理解为所有层输出相同，实际上共享的只是两端投影矩阵，每层的曼巴与缩放仍独立，因此各层旁路输出并不相同；另一个误解是把平均改进理解为每集每语言都赢，实际上存在世界语与高预算关键词集等反例，应逐表核对。

何时值得尝试，一句话如何收束？

当主干必须冻结、参数预算紧张、任务涉及长时序而数据量中等时，值得优先尝试本方法：它用跨层共享把投影成本压成常数，再用层独有的轻量状态空间补回时序表达，在分类与识别的低预算区间显示出稳定的效率优势。当预算充裕且任务偏局部声学时，应同时比较卷积增强适配器，因为它在高预算关键词集上反超；当目标是逼近上限时，仍需保留全量微调作为参照，因为它在识别平均上仍领先约 4 个百分点。

收束判断是：本方法不是用更大模型赢，而是用更匹配语音时间结构的压缩方式赢，代价是流式短句的扫描开销与超参数网格的额外搜索。后续若要加强结论，需要补齐优化与划分细节的可重放清单、扩展到解码器端与更多语言的对照，以及在真实流式系统中的延迟优化测量。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总