在 LLM 内部压缩音频表示：VIB-AVSR 为何只对音频 token 做瓶颈

英文题目：VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

会议身份：conference:interspeech:2026:conference-paper-id:arora26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#正则化 #大语言模型 #鲁棒性 #音视频 #音视频语音识别

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Piyush Arora：机构信息未能从会议 PDF 纯文本可靠映射
• Navlika Singh：机构信息未能从会议 PDF 纯文本可靠映射
• Umberto Cappellazzo：机构信息未能从会议 PDF 纯文本可靠映射
• Stavros Petridis：机构信息未能从会议 PDF 纯文本可靠映射
• Maja Pantic：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音视频语音识别以带噪语音与唇动视频为输入并自回归生成文本转写，难点在于大语言模型骨干仅经文本预训练且只用低秩适配微调，对音频域偏移缺乏显式约束。沿用Llama-AVSR流水线，冻结Whisper-medium编码音频、可适配AV-HuBERT编码视频，经线性投影与3倍下采样映射到Llama-3.2-1B词嵌入空间后拼接文本提示解码。在此基础上于第4层与第8层后插入变分信息瓶颈模块，仅对音频隐状态做对角高斯采样压缩并以可学习先验做KL正则。瓶颈输出以插值系数0.5与原表示混合后送入后续层，以平衡压缩与语音判别信息保留。与仅依赖数据增强或编码器端改进不同，该机制直接约束语言模型内部表示，迫使模型保留转写相关信息并丢弃噪声方差。在LRS2上叠加MUSAN babble与speech噪声评估，噪声训练下babble平均词错率从18.85%降至17.39%，-10 dB处从34.87%降至32.52%；干净训练下babble平均从23.07%降至21.09%，-10 dB处从47.03%降至40.97%，干净语音基本持平。结论限于受控加性噪声与英语广播数据，未验证混响、遮挡、跨数据集与大模型扩展性，原文未披露优化器、学习率、批量、步数、硬件与解码配置。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须留住？

这篇论文研究的任务是音视语音识别。输入是两路时间同步的信号，一路是麦克风采集的声学波形，另一路是说话人唇部及面部的视频帧。输出是一串英文转写文本，要求与说话内容逐词对应。评价用词错率，数值越低越好。初学者可以这样理解学习依赖：先要把声音变成帧级特征，把视频变成唇动特征，再把两路特征对齐到同一语义空间，最后由语言模型按顺序生成文字。

必须保留的信息是语音判别内容，也就是能区分不同音素、单词与句法结构的信息。必须丢弃的是噪声引起的方差，例如多人交谈背景声或其它说话人干扰在音频隐状态里留下的痕迹。论文强调视觉信息不受声学噪声直接破坏，因此唇动与语言上下文应当原样保留，作为解码时的补充证据。举例来说，当低信噪比下辅音被掩蔽，模型仍可依靠唇形与上文推测词序，但前提是音频分支没有把噪声特征放大到淹没解码。

音视语音识别 × 大语言模型骨干： 音视语音识别的分工是联合处理声音与唇动视频，在声音被噪声掩盖时用视觉补足；大语言模型骨干的分工是把已投影的音频 token、视频 token 与文本提示拼在一起自回归生成转写。二者搭配的理由是编码器提供多模态证据而 LLM 提供语言与上下文建模，组合意义在于转写质量同时依赖声学证据质量与语言解码稳定性，这正是本文把正则放在 LLM 内部而非只改编码器的原因。

传统编码器加解码器结构从零训练，可以在全网络中逐步形成抗噪表示。而本文讨论的大语言模型路线不同：骨干是在纯文本上预训练的，微调时只更新投影层与低秩适配参数，从未见过带噪音视语音。因此噪声带来的域偏移主要冲击大语言模型内部的音频隐状态，这是全文要解决的矛盾点。

同输入同目标的路线有哪些，本文与它们如何对照？

按同输入、同目标、同运行阶段对照，相关路线可分为 3 类。第一类是端到端音视模型与自监督表示，例如基于卷积与变换器的结构、掩码多模态聚类预训练，以及大规模自动标注流水线。它们共同特点是从零或自监督起点训练音视编码器，噪声鲁棒性分布在整个网络中学习。第二类是利用大规模预训练语音模型的做法，例如把视觉特征注入语音编码器与解码器，在噪声下已显示出较强鲁棒性。第 3 类是基于大语言模型的音视识别，把预训练音频编码器与视频编码器通过轻量适配器接到大语言模型，在干净条件下达到很强性能，但在噪声下出现明显下降。

本文的基线是其中的大语言模型代表。原文沿用了该基线的三件套：音频编码器、视频编码器、线性投影器加大语言模型骨干。音频与视频特征先降采样再投影到大语言模型嵌入空间，与文本 token 拼接后由大语言模型自回归生成转写。训练目标是标准的自回归负对数似然，只更新投影层与低秩适配模块。这种对照是公平的，因为后文的变分瓶颈方法与基线共享编码器、投影压缩率与骨干配置，差异只在于是否在骨干内部插入瓶颈层。

需要区分的是类别差异不能当作同条件胜负。本文没有重新训练上述第一类与第二类模型，也没有在相同数据与算力下横向比较它们。本文的直接报告是瓶颈方法相对于同一大语言模型基线的词错率变化，有限解释是压缩有助于泛化，未验证的推测是该思想是否同样适用于其它骨干或其它噪声建模方法。

噪声具体破坏了链路中的哪一段？

沿一个样本走一遍可以定位问题。设输入为音频、视频与文本提示，目标为转写。音频编码器与投影器先给出初始音频表示，视频与文本给出视频与文本隐状态，三者拼接进入大语言模型。理想情况下，大语言模型各层的音频隐状态应随层数逐步抽象出音素与词汇信息。当音频输入被噪声污染，音频隐状态会编码噪声特有特征，解码时语言模型把这些特征当作有效证据，导致插入、删除与替换错误增加。

论文指出，现有大语言模型路线没有显式机制约束音频隐状态的噪声方差。数据增强或只改编码器的做法把鲁棒性负担完全放在编码器一侧，大语言模型本身仍对受损输入敏感。尤其在极低信噪比下，信号被噪声主导，域偏移更大，基线退化更剧烈。因此问题被定义为表示层面的正则问题：如何在不改变整体架构、不增加训练数据的前提下，让大语言模型内部的音频表示更稳定。

这也解释了为何只对音频分支做瓶颈。视频与文本隐状态未被声学噪声直接破坏，若同样压缩可能损失唇动与语言上下文。论文的选择是选择性地对音频隐状态施加信息瓶颈目标，保留预测转写所需信息，压缩与输入相关的冗余。

总体方案如何在一个样本上走通？

总体方案是在大语言模型骨干的目标层之后插入变分信息瓶颈层。输入仍是音频、视频与文本 3 路 token。视频与文本直通，音频隐状态在经过某一变换器层后进入瓶颈模块。瓶颈模块输出压缩表示，再与压缩前表示插值，然后送入下一层继续参与注意力与前馈计算，最终由解码器生成转写。训练时采样带来随机性，推理时只用均值以保证稳定。

下图是理解该走法的关键，它同时给出系统全景与瓶颈内部细节，阅读时应先看主路径再看采样与插值回路。

看图路径： 1. 先从底部音频波形与唇动图像向上追踪编码器与投影器到 LLM 的三路输入；2. 再看 LLM 框内第 l 层与第 l 加 1 层之间插入的瓶颈层与两侧适配模块的位置；3. 然后切换到右图细看瓶颈层内部压缩分布采样与插值回路的箭头走向；4. 最后确认视频与文本分支是否经过瓶颈采样还是直通下一层

论文图 1。原论文 Figure 1：“Architecture overview of VIB-AVSR. (a) Audio and video inputs are encoded and projected into a shared represen- tation that conditions an LLM augmented with LoRA adapters and…”。

从像素可见，左面板底部是波形与多帧唇部图像，向上分别经过音频编码器与视频编码器再经过各自投影器，与任务提示汇合后进入大语言模型框。大语言模型框内画出第 l 层、瓶颈层与第 l 加 1 层的堆叠关系，瓶颈层夹在两层之间。右面板放大了瓶颈层：下方是第 l 层输出的多个音频 token，向上进入瓶颈层，再向上是高斯分布示意与采样箭头，采样后的多个 token 与原始 token 经右侧标注为插值的回路汇合，再进入第 l 加 1 层。这种画法对应正文的安排：压缩只作用于音频 token 位置，视觉与文本表示保持不变。

该设计的教学要点是位置与范围。位置是层间而非编码器输出，范围是音频 token 而非全部 token。原文通过消融确定在第 4 层与第 8 层后放两个瓶颈最有效，单瓶颈容量不足，三瓶颈则出现过正则。

瓶颈层内部做了什么计算？

瓶颈层的输入是第 l 层输出的音频隐状态，记为时间步数乘隐维度的矩阵。模块先用逐位置的两层感知机估计变分后验的高斯参数，即每个音频 token 对应一个均值向量与方差向量。感知机由线性层、激活与输出维度为 2 倍隐维度的线性层组成，输出的前半为均值，后半经变换为对数方差。这种逐 token 独立映射类似于变换器前馈子层的处理方式，只是输出被解释为分布参数。

训练时通过重参数化采样得到压缩表示，即均值加标准差逐元素乘标准正态噪声。推理时不采样，只用均值。采样表示再与压缩前表示按系数插值，论文固定该系数为 0.5。插值表示替代原隐状态向后传播。先验是每层独立的可学习对角高斯，均值与方差向量在该层内跨样本共享，使 KL 散度有闭式解。

信息瓶颈 × 变分： 信息瓶颈的分工是给出目标：保留对转写目标 Y 的信息并压缩对输入 X 的冗余；变分的分工是用可计算的变分上界与下界替代高维互信息，使该目标可在小批量上优化。二者搭配是因为原始互信息难以估计，组合意义是把抽象的压缩与预测权衡转化为一项自回归似然加一项 KL 散度惩罚，可直接加进 LLM 训练。

为何需要插值，原文给出了已验证对照：完全用采样表示替代会使表示过于有损，大语言模型难以生成；从零调度到 0.5 的方案在训练早期经历近完全压缩，恢复困难。固定 0.5 是在压缩与保留语音判别内容之间的折中，后文消融显示其平均词错率最低。

低秩适配与瓶颈如何分工又不互相覆盖？

低秩适配的作用域是变换器权重与视频编码器。原文设置大语言模型侧秩为 64，视频编码器侧秩为 16，音频编码器全程冻结。投影层与低秩适配参数参与训练，瓶颈模块与它们联合训练。每个瓶颈层有独立先验与独立感知机参数，互不共享。这种安排使任务适配与表示正则解耦：前者让模型学会把音视证据映射为文字，后者约束音频证据的分布形状。

低秩适配 × 变分信息瓶颈模块： 低秩适配的分工是以少量可训练参数让预训练 LLM 与视频编码器适应语音识别任务而不大幅改动原权重；变分信息瓶颈模块的分工是对音频隐状态估计均值与方差并采样压缩表示。搭配理由是前者负责任务适配而后者负责表示稳定，组合意义是在保持轻量微调的同时，在 LLM 内部显式抑制噪声引起的方差。

实现细节上，瓶颈只作用于音频 token 位置的隐状态，视觉与文本位置跳过采样与插值，直接保留原表示。这保证唇动与语言上下文不被压缩。音频与视频 token 的压缩率各设为 3，即编码器输出经降采样后每 3 帧合并为一个送入大语言模型的 token。该压缩率与基线完全相同，是公平比较的前提。原文还提到在编码器输出处放置瓶颈的对照，由于维度不匹配而不做插值，且该处瓶颈强度取极小值，这与大语言模型内部瓶颈的设置不同，比较时需注意条件并不完全一致。

优化目标与训练过程如何组织？

优化目标由两项组成。第一项是给定压缩后音频表示、视频输入与文本输入下的转写对数似然，鼓励保留预测信息。第二项是音频后验与先验之间的 KL 散度，惩罚偏离先验，鼓励压缩。对小批量取平均并取负后形成最小化目标，超参数贝塔控制压缩与预测的权衡。原文经消融将贝塔取为 0.1 乘隐维度，并明确贝塔过大或过小都会恶化性能。

压缩项 × 预测项： 压缩项的分工是用后验与先验之间的 KL 散度约束音频表示偏离先验的程度，从而丢弃噪声相关变化；预测项的分工是在压缩后表示下最大化转写似然，保留语音判别内容。搭配理由是只压缩会丢失内容而只预测会保留噪声，组合意义是由超参数贝塔控制二者权衡，实现既可解码又更紧凑的音频表示。

训练流程上，模型在 LRS2 数据上训练与评测。LRS2 来自英国广播公司节目片段，含英文转写。音频编码器采用预训练语音模型，视频编码器采用预训练音视表示，骨干为 1000000000 参数量级的大语言模型。训练分两种范式：干净范式训练时不加噪声，含噪范式训练时每条样本随机采样信噪比加噪声。评测时在来自噪声语料的 babble 与 speech 噪声下取多个信噪比档，并报告噪声主导区间的平均值与无噪声条件。

原文未报告优化器类型、学习率、训练步数与硬件预算，这是复现时需要补齐的缺项，不能从模型名称推定。梯度路径上，似然项经采样表示回传到瓶颈感知机与上游，KL 项约束后验参数，插值操作同时保留直通路径，但原文未给出逐层梯度消融，因此不作额外推断。

数据噪声条件与基线公平性如何保证？

数据与协议方面，训练与评测均在 LRS2 上进行。噪声来自音乐语音噪声语料中的 babble 与 speech 类型，评测覆盖负 10、分贝、负 5、负 2、零与 5 分贝 5 个信噪比档，外加无噪声条件。原文还定义噪声主导平均，即对负 10、负 5 与负 2 分贝取平均，用于衡量极端退化下的鲁棒性。指标为词错率百分比，数值越低越好。聚合对象是测试集上的转写错误平均，原文未报告置信区间或显著性检验，因此小幅差异应谨慎解读为趋势而非确定性胜负。

干净范式 × 含噪范式： 干净范式的分工是训练时不加噪声，用于检验正则本身能否泛化到未见噪声；含噪范式的分工是训练时每条样本随机采样信噪比加噪声，用于检验在已见噪声分布下瓶颈是否进一步增益。搭配理由是二者分离了数据增强的效果与表示压缩的效果，组合意义是可以判断改进来自噪声暴露还是来自压缩带来的归纳偏置。

基线是按相同配置重新训练的大语言模型音视识别系统，编码器、投影器、压缩率与骨干一致，唯一差异是是否插入瓶颈层。这种同数据、同编码器、同骨干的对照使改进可归因于瓶颈正则，而非数据或架构规模差异。但需注意，编码器输出处瓶颈对照的强度与插值设置与层内瓶颈不同，跨位置比较时条件并不严格相同。噪声类型上，babble 是多人背景声，speech 是 competing 说话人，二者对语音掩蔽机制不同，因此增益幅度不同是预期的，不能把一类噪声的结果推广到另一类。

主结果在哪些信噪比上带来增益，代价是什么？

比较问题是：在相同训练范式与相同评测噪声下，加入瓶颈是否在各信噪比上一致降低词错率，且干净性能是否保持。公平条件是共享编码器与骨干配置，指标方向是词错率越低越好。由于原文主结果大表未在本证据中给出完整逐格矩阵，这里用消融表中 babble 噪声下的行数据说明趋势，宽表要求由两张多列对照表承担。

上表比较单瓶颈放在编码器后与双瓶颈放在第 4 与第 8 层后的差异，条件为含噪训练与 babble 噪声，指标为词错率百分比，越低越好。双瓶颈在负 10、负 5 与负 2 分贝上均略低，平均从 15.03 降至 14.86。代价是增加一个瓶颈模块的参数与采样计算，但在推理时只用均值，开销可控。未胜出项是单瓶颈编码器后配置，它在单层中最好但仍不及最优双层，说明早期压缩有价值但容量不足。

原文主结果的文字报告进一步显示，在含噪训练下瓶颈在 babble 低信噪比增益更大，在 speech 噪声下增益较小且 5 分贝有个别持平或略差；在干净训练下瓶颈仍能在未见噪声上带来增益，尤其低信噪比区，而干净语音保持可比。这些结论支持压缩带来独立于数据增强的泛化，但总体趋势不等于每一档都显著最优，且原文未测量延迟与误判率分布，因此不承诺这些量同步改善。

压缩强度与插值方式如何影响性能？

消融要回答两个问题：压缩惩罚多强合适，采样表示应多大程度混入原表示。公平条件是固定双瓶颈第 4 与第 8 层与含噪训练，只变贝塔或插值系数，评测仍为 babble 多信噪比词错率，越低越好。

上表前三行比较正则强度，后三行比较插值策略。贝塔为 1 时平均升至 17.68，显著差于 0.1 时的 14.86，报告显示过大压缩会丢弃任务相关特征；贝塔 0.05 时平均为 15.29，略差于 0.1，说明过小则正则不足。插值系数为零即完全用采样表示替代时平均为 19.54，为最差，支持过正则解释；从零调度到 0.5 平均为 16.29，优于零但仍差于固定 0.5，原文解释为早期近完全压缩使大语言模型难以恢复。

未胜出项包括贝塔为 0.2 与三瓶颈配置，原文报告它们同样退化，表明堆叠过多压缩阶段会导致过正则。这些反例限定了适用条件：瓶颈数量以双层为宜，强度需围绕 0.1 倍隐维细调，不可盲目增大。

哪些边界尚未验证，哪些结论不能外推？

首先是证据边界。原文只在 LRS2 与两类噪声上报告，未评测音乐噪声、混响、远场或视觉缺失条件，也未报告跨数据集泛化。信噪比只到负 10 分贝，更低或非平稳噪声下的行为待验证。其次是统计与成本缺项。原文未给出多次随机种子的方差、显著性检验、训练时长、显存占用与推理延迟分解，因此不能把平均词错率下降等同于部署延迟下降，也不能承诺每一步解码都更稳。

其次是方法边界。三瓶颈退化与贝塔为 1 时退化表明压缩强度存在上限，但最优值可能随骨干规模、编码器与数据量变化，不宜把第 4 与第 8 层、贝塔 0.1 倍隐维当作通用最优。编码器输出处瓶颈因维度不匹配未做插值，其与层内瓶颈的比较条件不同，不能直接得出早期压缩一定优于层内压缩的因果结论。最后是归因措辞。论文直接报告的是词错率数字，有限解释是压缩促进泛化，未验证推测是噪声方差被显式丢弃的机制细节，因为原文未可视化隐状态分布或互信息估计，相关性不等于因果。复述时应保留这种分级，避免把比喻当作性质证明。

要复现应先固定什么，再调什么？

复现先做基线对齐。按原文固定音频编码器冻结、视频编码器与大语言模型用低秩适配、投影层可训练、音视频 token 压缩率各为 3 的配置，重新训练无瓶颈基线，确认干净与各信噪比词错率量级合理。再加入瓶颈模块：两层感知机估计均值与对数方差，训练时采样而推理时用均值，插值系数固定 0.5，先验为每层独立可学习对角高斯，插入位置选第 4 与第 8 层后，贝塔取 0.1 倍隐维。评测时固定噪声来源与 5 个信噪比档，并计算噪声主导平均与无噪声条件，避免只看单点。

关于代码与资源，论文正文提及实现代码位于仓库以保证可复现，但本次收到的证据中未发现经校验的可用资源绑定，因此这里不作代码已公开或可下载的断言。复现者需自行实现瓶颈层与训练循环，并补齐原文未报告的学习率、优化器、批量大小、训练轮数与随机种子。还需补做的验证包括多次种子下的均值与方差、推理开销实测、以及在未见噪声类型与视觉损坏条件下的测试。若要在新骨干上尝试，建议先做单变量扫描：固定双层位置扫贝塔，再固定贝塔扫位置，最后才尝试 3 层或调度插值，以免多变量耦合难以归因。

何时值得尝试这种层内压缩？

当系统已采用冻结编码器加大语言模型微调，且噪声主要损伤音频分支时，这种层内压缩值得尝试。它的吸引力在于改动小：不需新数据与大架构改动，只在目标层后加轻量感知机与 KL 惩罚，且推理时只用均值。预期收益是在噪声主导区间获得更明显的词错率下降，并在干净训练下仍保留一定的未见噪声泛化，同时干净语音性能基本不损。

不值得盲目使用的情形包括视觉严重缺失、噪声类型完全不同、或骨干规模差异很大的场景，此时最优层位与贝塔可能变化，需重新消融。实践中应把该方法理解为表示正则而非去噪前端：它不重建干净波形，而是约束音频隐状态的分布形状，让解码器更依赖稳定证据。记住关键信息条件：只压缩音频 token，保留视频与文本；用似然保内容，用 KL 做压缩；以噪声主导平均与干净条件联合判断，避免以外推单点增益代替整体结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总