英文题目：Bridging the Temporal Gap in Multimodal LLMs: Deeply Stacking Temporal Tokens for Audio-Visual Speech Recognition
会议身份：
conference:acl:2026:conference-paper-id:2026.findings-acl.1381
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#注意力机制 #大语言模型 #音视频 #语音 #音视频语音识别
评分：6.9/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Liyong Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Junliang Xing：机构信息未能从会议 PDF 纯文本可靠映射
- Tianyu Hu：机构信息未能从会议 PDF 纯文本可靠映射
- Jianfei Jiang：机构信息未能从会议 PDF 纯文本可靠映射
- Jihuai Zhao：机构信息未能从会议 PDF 纯文本可靠映射
- Huimin Ma：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
音视频语音识别输入为同步唇部视频与语音音频，输出为英语文本转写，难点在于唇动以多帧连续细微构音表达音素，且视觉时间语义在语言模型深层易被语言先验淹没。该方法先用AV-HuBERT提取视频帧嵌入、用Whisper提取音频最后隐藏状态并沿特征维拼接融合，形成统一多模态序列。融合序列经时间感知注意力与时间旋转位置编码增强帧间演化建模，再由因果Q-Former压缩为紧凑表征后送入Llama3.2-3B解码。解码时在早期层逐层残差叠加分层时间令牌以延续细粒度时间信息，后期层则专注语义推理与文本生成，实现编码与解码双阶段时间桥接。与仅把视听令牌作输入前缀的已有LLM范式不同，该工作显式建模唇动序列演化并缓解深层时间退化，因而在视觉语音识别上更具实际意义。在LRS3基准任务下，本方法的VSR词错率（WER）为26.30%，低于MMS-Llama基线的28.50%。结论适用边界受限于英语LRS2与LRS3离线句子级评测，对跨语言音位唇形映射与流式场景尚未验证，增加2个时间注意力块带来8.3M参数与7.56 GFLOPs计算量，训练硬件为RTX 4090。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，为什么噪声下只听声音不够？
这篇论文研究的输入是一段说话人视频加同步音频，目标是输出对应的英文句子文本。评价用词错率，英文缩写是 WER，也就是把识别文本与标准文本对齐后统计错误词数占比，数值越低越好。任务分成 3 种设置：只听声音叫音频语音识别，只看唇动叫视觉语音识别，两者都用叫音视频语音识别。
唇读的难点在于时间。一个单词不是一张静态嘴型照片能决定的，而是一串细微开合在多帧上的连续变化。教学例子：同样是嘴张开，出现在不同前后动作中可能对应不同音素，前后帧顺序一旦打乱语义就变了。
视觉线索不受声学噪声直接干扰，所以在嘈杂环境下可以补声音的缺口。传统做法用卷积或 Transformer 在编码端建模长时依赖，自监督路线用大量无标注数据学视听对齐。大模型路线把视听 token 当作前缀喂给解码器，音频识别变好但视觉识别反而掉下来。
视觉语音识别 × 音频语音识别： 视觉语音识别指只看唇动视频转写说话内容，分工是提供不受声学噪声影响的互补线索；音频语音识别指只听声音转写，分工是在干净条件下提供高精度声学证据；二者搭配的理由是噪声下音频退化而唇动仍稳定，组合成音视频语音识别后可以在融合层互相纠错，新增作用是提升噪声鲁棒性而非简单叠加两个单模态分数。
本解读的输入是论文正文证据与本次收到的官方原图像素，目标是让研究生能复述方法与实验条件。必须保留的信息包括数据集与时长、预处理、骨干与可训练参数、训练与解码设置。输出按学习依赖展开，先讲任务与路线，再讲全景与组件计算，然后讲训练与实验。
已有路线各解决了什么，又把什么问题留给了本文？
监督学习路线最早用端到端结构联合建模双流，证明了唇动在噪声下有用。后来引入时间卷积、Transformer 与 Conformer 来抓跨模态长时依赖。这类方法在标注充足时音视频识别稳定，但需要较多标注与参数。
自监督学习路线用掩码聚类预测等目标在上 1000 小时无标注数据上预训练，再微调到唇读。这类方法视觉识别强，但同样要大量数据与算力。分支工作在补低资源、合成数据与跨语言泛化，但语言推理能力仍弱于大模型。
大模型路线把大语言模型当作解码器，先做识别后纠错，再把视听表示经轻量投影映射成前缀做端到端解码。还有工作用结构化压缩减少长序列开销。这类方法音频识别好，但在视觉识别上明显落后于自监督模型。
自监督学习 × 大模型方法： 自监督学习先在大量无标注音视频上学对齐表示再用少量标注微调，分工是省标注且擅长视觉唇读；大模型方法把音视频映射为前缀 token 交给预训练语言模型解码，分工是借语言先验与长上下文做纠错；搭配比较的理由是二者在音频与视觉两端各有所长，论文同时对照两类路线才能定位所提时间模块到底补了哪一端的短板。
论文把原因归为把动态 token 当静态前缀处理，缺对动作序列与时间推进的细粒度建模。编码端没把唇动演化讲清楚，解码端又只在输入层给 1 次视觉信息。对初学者而言，记住对照维度比记住模型名字更重要。
同输入指是否都用唇部感兴趣区域视频加音频，同目标指报告的是视觉、音频还是音视频中的哪一个。同监督指标注小时数是否可比，同运行阶段指是否都是离线句子级解码。本文后文正是按这 4 个维度分组比较。
时间鸿沟具体指哪两处退化，有什么可观测证据？
论文把时间鸿沟拆成两处。第一处在视觉编码器，缺细粒度时间建模，对连续帧间口型演化刻画不足。第二处在大模型解码器内部，即使编码器给了时间特征，深层也逐渐稀释时间语义。
直觉是把视频帧顺序打乱后，如果模型真的依赖时序，深层表示应该明显不同。如果打乱前后表示越来越像，说明深层已经不太在乎顺序。论文用散点与层间相似度曲线分别展示这两点。
下面这张散点比较传统自监督或监督模型与大模型方法在音频与视觉两个轴上的位置。该图横轴是音频识别词错率，纵轴是视觉识别词错率，都是越低越好，圆点是传统路线而三角是大模型路线。
看图路径： 1. 先确认横轴为音频识别词错率、纵轴为视觉识别词错率，越靠左下越好；2. 再区分圆点传统方法与三角大模型方法在两轴上的聚集位置；3. 最后定位红色星形本文方法相对紫色与黄色三角的位置
论文图 1。原论文 Figure 1：“Comparison of ASR and VSR perfor- mance between traditional AVSR models based on self- supervised (SSL) or supervised learning (SL) (◦mark- ers) and LLM-based AVSR frameworks…”。
像素显示三角整体在横轴左侧但在纵轴偏高，意思是音频好而视觉差。红色星形本文方法落在左下附近，表明想把视觉短板拉下来而不丢音频优势。这张散点只说明现象，不证明因果，因为不同点的训练数据与骨干并不一致。
第二个证据是层间相似度曲线，做法是分别喂正常顺序与打乱顺序的视频 token。文字报告说相似度随层数递增，顶层更高，意味着时间顺序信息在深层丢失更多。下面这张曲线横轴是解码层序号，纵轴是相似度，3 条曲线对应不同规模大模型。
看图路径： 1. 先看横轴解码层序号与纵轴正常和打乱顺序表示的相似度；2. 再比较三条不同规模大模型曲线随层数上升的共同趋势；3. 最后观察最深几层相似度陡增所指示的时间语义丢失位置
论文图 2。原论文 Figure 2：“Similarity across different layers between nor- mal and shuffled video tokens orders in LLM decoder.”。
像素显示 3 条曲线都呈上升趋势，末端陡增并带有波动阴影。该形状支持渐进退化的判断，但只是诊断性观察，没有说明打乱方式与相似度度量的细节。综合两张图，问题定义就完整了：编码端要补显式时间建模，解码端要补跨层时间供给。
方法全景：一个样本如何从视频音频走成文本？
沿一个样本走全程最清楚。输入是 25 帧每秒的唇部视频与同步音频。视频经 AV-HuBERT 得到帧级视觉嵌入，音频经 Whisper 取最后隐状态得到音频嵌入。
二者按时间对齐后在特征维拼接成统一多模态序列。如果只有单模态，另一模态用等长零填充补齐，这是原文明确的处理。拼接序列进入时间感知注意力模块增强，再经因果 Q-Former 压缩。
压缩后的短 token 与文字提示一起进入 Llama3.2-3B 解码器生成英文转写。下图是全景框图，左侧是提示分词器与视听编码器，中间是时间感知注意力，右侧是逐层投影到多个解码器层的堆叠。
看图路径： 1. 先沿左侧视频与音频编码器经拼接进入中间时间感知注意力的主路径走一遍；2. 再看中间模块如何经 Q-Former 压缩后分发到右侧多个解码器层；3. 最后确认右侧浅层解码器叠加时间 token 而深层只做语言生成的分工
论文图 3。原论文 Figure 3：“Overview of the proposed AVSR framework.”。
像素显示主路径从左向右，时间信息在中间被显式增强，压缩后不是只给输入层。右侧浅层多点补充时间 token，深层专注语言生成，右下角标出 LoRA 微调。框图之后要记住分工：中间模块管把时序讲清楚，右侧堆叠管把时序送得远。
Q-Former 管把序列变短以省算力，三者对应两处退化加一个效率约束。训练目标是标准的条件语言建模，即在给定视听 token 条件下逐词预测下一个词。推理用束搜索，束宽与温度在训练节复述，先有这条主线再展开组件才不会迷路。
编码端如何显式建模时间，解码端如何跨层补充？
编码端组件叫时间感知注意力，英文是 Temporal-Aware Attention，简称 TAA。它对融合后音视频序列再做 1 次带时间意识的自注意力，让每 1 帧能参考前后邻帧。配合的是时间旋转位置编码，英文是 Temporal Rotary Positional Embedding，简称 T-RoPE。
白话说，视觉与音频采样率不同，直接用全局序号会对不齐。T-RoPE 给同一时间戳的跨模态 token 相同的时间标识，不同帧递增，再把该标识加到旋转位置的相位里。
时间感知注意力 × 时间旋转位置编码： 时间感知注意力负责在帧序列上计算谁该看谁，捕捉连续口型变化的依赖；时间旋转位置编码负责给不同分辨率的视觉与音频 token 标上可对齐的时间序号，让同一时刻的跨模态 token 共享位置标识；二者搭配是因为光有注意力权重还缺显式先后顺序，组合后注意力按相对时间调制，在同一模块内同时实现对齐与动态跟踪。
计算上先对融合特征做层归一化再投影得到查询、键、值，对查询与键施加 T-RoPE 后算注意力并残差加回。原文强调因果掩码与细粒度时间注意力，位置标识的调整量由分段函数给出。核心是把原始序号与时间项相加得到新序号，公式原文如下列独占段所示。
\[ˆn = n + It(n).\]该公式符号含义是 n 为全局位置，It 为时间调整，hat n 为注入时间后的位置。它确保同一时刻的跨模态信息在注意力中自然对齐，不同帧保持递增顺序。模块输出再投影到大模型嵌入空间，与提示的语言嵌入拼接后送入解码器。
解码端组件叫分层时间 token 堆叠，英文是 Hierarchical Temporal Token Stacking，简称 HSTT。它不把时间表示只放在输入层，而是用多个轻量投影把它映射到解码器浅层每一层。
Q-Former × 分层时间 token 堆叠： Q-Former 的分工是用一组可学习查询把长音视频序列压缩成短而保留显著信息的 token，降低大模型输入长度；分层时间 token 堆叠的分工是把这份含时间信息的表示通过轻量投影逐层加回大模型浅层解码器，防止深层语言先验淹没视觉时序；搭配理由是先压缩再多点补充，组合意义是在省算力的同时让时间线索贯穿早期解码。
记第 l 层输出为 Hl，投影得到 Hstack，再做残差相加。原文明确只在早期块堆叠，第一层不堆叠，后期块专注高层语义。理由是浅层偏底层模式、深层偏抽象语义，早期补时间更对症。
\[Hl = Dl(Hl−1) + Hstack\]该写法不是替换隐状态，而是相加，保留语言流的同时注入时间线索。下一节讲这些新增参数如何与冻结骨干一起训练，以及压缩如何与堆叠配合。
训练了什么、冻结了什么，推理与增强如何执行？
训练骨干是 Llama3.2-3B，用 LoRA 微调，秩 16，缩放 32，丢弃 0.05。视觉用 AV-HuBERT，音频用 Whisper，提示分词与编码器在框图中标为冻结。实际更新的是 Q-Former、时间感知注意力、逐层投影与 LoRA 适配器。
优化器是 Adam，1 阶矩 0.9，2 阶矩 0.98，余弦学习率调度，在 RTX 4090 上用梯度累积训练。论文未报告学习率初值、总步数与批量大小的具体数值，复述时应指出缺项。梯度路径上，冻结编码器不更新，时间模块与投影参与反传。
数据构造上，LRS2 约 224 小时 144,000 条，测试保留约 1200 条。LRS3 约 439 小时，含 12 万预训练与 3.2 万训练话语，测试 1321 条。另用 VoxCeleb2 英文子集约 1326 小时扩充训练，其伪文本由预训练音频识别系统生成。
预处理把音频重采样到 16 千赫、视频到 25 帧每秒，用 RetinaFace 裁 96×96 唇部感兴趣区域。训练时做随机增强与归一化，并加 babble 噪声提升鲁棒性。推理用束搜索，束宽 5，温度 0.37，单模态缺失时用零序列填充。
在哪些数据与条件下测，指标方向与分组是什么？
评测基准是 LRS2 与 LRS3，指标统一为词错率，越低越好。报告分视觉、音频、音视频三档，分别对应只看、只听、视听融合。比较分组很关键：监督学习、自监督学习、大模型方法分开列。
大模型内再分是否做 token 压缩，非压缩以 Llama-AVSR 为代表，压缩以 MMS-Llama 与 MoME 为代表。本文方法同时给出压缩版本与非压缩增强版本，标注小时数按 224、433、1759 三档对齐。标注小时数与可训练参数一起看才公平，本文压缩版可训练参数约 48M。
压缩倍率对音频与视觉都是 6 倍，非压缩增强版约 65.3M 参数。噪声实验用不同信噪比档，从高到低覆盖温和到极端噪声，同一模型跨档比较。消融固定在较小标注档做增量，分别看 TAA、T-RoPE 与堆叠的贡献。
复述比较时要保留实际可运行策略，事后最优需另标。本文的压缩版与非压缩版都是可运行策略，可以直接对应部署时的长度选择。伪文本扩充只用于训练，测试仍是标准集，硬件只提到 RTX 4090 与梯度累积。
主结果在可比条件下赢在哪里，代价与未胜出项是什么？
比较问题是：在相同标注小时数与分组下，本文方法相对自监督与大模型基线，在三档词错率上是否更低。公平条件是按 433 小时档对齐自监督基线，按压缩与否对齐大模型基线。下表整理论文用连续原句逐字覆盖的关键数字，保留原始精度写法。
| 比较条件与任务 | 控制变量与基线 | LRS2 词错率 | LRS3 相关词错率 | 解释与代价说明 |
|---|---|---|---|---|
| 433 小时标注视觉识别 | 自监督 AV-HuBERT 28.6% 等 | 27.5% | 27.50% 消融全模型 | 更少可训练参数下更低 |
| 433 小时训练音视频识别 | 自监督各模型偏高 | 1.02% | 1.02% 压缩 6 倍 | 报告为优于所有自监督 |
| 大模型压缩组三任务 | MMS-Llama 与 MoME | 26.3% 视觉 | 1.1% 音频 0.89% 音视频 | 超过压缩基线三档 |
| 压缩效率对照组 | 音视频均 6 倍压缩 | 2.50% 音视频 | 1.02% 音视频 | 省长度同时保持最优 |
表后解释主要收益与具体代价。收益是视觉短板明显收窄，433 小时档视觉从 28 百分点区间降到 27.5%。音视频做到 1.02%，压缩组三档做到 26.3%、1.1%、0.89%，且视听都是 6 倍压缩。代价是新增时间注意力块与逐层投影的参数与计算，需要为浅层每层维护投影。
未胜出项也要讲：监督路线中更大模型靠更多标注在视觉上更低，本文在该子项不占优。噪声极低档本文也出现反转，后文噪声分析会展开总体趋势不等于每组都成立。
词错率 × 信噪比： 词错率统计替换、删除、插入 3 类错误占参考词数的比例，越低越好，分工是衡量识别文本与标准文本的偏离；信噪比描述语音相对背景 babble 噪声的强度，单位分贝，分工是刻画测试难度档位；二者搭配才能判断鲁棒性，即同一模型在不同信噪比下词错率如何变化，组合后可区分温和噪声下的增益与极低信噪比下的失效边界。
总体判断是论文报告在可比分组下占优，支持时间建模的解释。跨组大数据比较不能直接推广，读数要同时核对数据集、基线、阶段与指标。百分点降幅不等于相对百分比降幅，不同指标差值不能混放比较。
拿掉时间模块会怎样，不同块数与注意力形状说明什么？
消融问题是每个时间部件是否带来可复现的增量，以及增量是否值得参数代价。条件固定在较小标注档的视觉识别，基线是不加时间模块的压缩模型。下表用原文连续句覆盖的数字整理增量链，保留 2 位小数与百分号。
| 配置增量与比较条件 | 控制变量与参数成本 | LRS2 词错率 | LRS3 词错率 | 解释与效率说明 |
|---|---|---|---|---|
| 基线到加 TAA | 相同压缩基线对照 | 38.91% 到 37.13% | 29.83% 到 28.23% | 改善时间依赖建模 |
| TAA 上加 T-RoPE | 增加时间位置编码 | 36.94% | 28.10% | 增强相对时间调制 |
| 再加堆叠完整模型 | 分层跨层补充 | 36.57% | 27.50% | 堆叠意义显著 |
| 2 块注意力效率点 | 8.3M 参数 7.56 GFLOPs | 36.57% | 27.53% | 相对改善 6.0% 与 7.7% |
表后看代价与形状。只加 2 个时间注意力块就明显下降，代价是 8.3M 参数与 7.56 GFLOPs。论文报告相对改善 6.0% 与 7.7%，参数效率高，支持轻量时间模块的有效性。块数从 2 到 8 的趋势不是单调最优，存在波动，不能读成每加一块必降。
下面这组可视化上排是唇部特写，下排是对应查询帧在所有帧上的注意力柱状图。像素显示每根高亮柱都落在星标当前帧处，邻柱次高，远处接近零。且高亮位置从左到右依次移动，表明用短窗动态跟踪口型演化。
看图路径： 1. 先看上排六个关键帧的口型与下标帧号的对应关系；2. 再看下排每个查询帧的注意力柱状图峰值是否落在星标当前帧附近；3. 最后比较峰值随查询帧推进是否平滑右移且远处帧权重迅速衰减
论文图 5。原论文 Figure 5：“Visualization of temporal attention in a continuous video sequence. ⋆marks the current frame.”。
该局部注意力形状与分层堆叠的动机一致，即先跟踪再把表示送入解码浅层。解释时要区分直接报告与推测，直接报告是增量数字与局部形状。有限解释是时间模块帮助了视觉动态建模，待验证的是该局部窗是否对所有语速都最优。
哪些结论不能推广，原文自己承认了什么边界？
原文在限制节明确两点。第一，只在英语音视频基准 LRS2 与 LRS3 上评测。对音素到视素映射不同或有声调特性的语言是否有效，需要进一步验证。第二，擅长离线句子级解码，实时流式部署需要连续低延迟。
分层堆叠如何适配流式是未来优化挑战。这两点决定了复述口径：跨语言与实时增益都是未验证推测。不能写成已证明，也不能从离线词错率推定延迟改善。
除原文承认的边界，还有证据缺项。训练缺学习率初值、批量、总步数与总时长，无法核算完整训练成本。解码只给束宽与温度，未给延迟与吞吐，误差分析多为分布描述。相关性不等于因果，词错率下降与时间模块同时出现，消融支持但不能排除联合影响。
总体趋势不等于每组都成立，噪声极低档与某些块数配置的波动就是反例。对初学者的提醒是，读数要同时核对数据集、基线、阶段与指标。数值相同不代表同一指标，自动词错率也不能当成人评，引用尾段小样本趋势要说明不稳定。
要复现这套方法，先做什么，需要哪些超参数与信息条件？
复现先做数据与预处理对齐。按原文把音频重采样到 16 千赫、视频到 25 帧每秒。用 RetinaFace 裁 96×96 唇部区域并做随机增强与归一化，训练加 babble 噪声。划分用 LRS2 与 LRS3 的标准测试集，扩充训练可用 VoxCeleb2 英文子集。
指标固定为三档词错率，解码固定束宽 5、温度 0.37。先跑通单模态零填充与双模态拼接两条路径，再核对文本提示与输出语言。模型搭建按全景顺序：AV-HuBERT 出视觉帧嵌入，Whisper 取最后隐状态出音频嵌入。
对齐拼接后接时间感知注意力加 T-RoPE，再接因果 Q-Former 压缩到短序列。最后经逐层投影在解码器早期块残差相加，骨干用 Llama3.2-3B 加 LoRA。建议先复现 2 块注意力的消融点，核对 38.91% 到 36.57% 量级是否出现。
资源状态是正文开源声明的唯一依据。本次收到的资源状态为 NONE，未发现来源绑定且完成验证的资源。因此不得声称代码已公开，只能写本次未能确认可达。还需补的验证包括学习率与批量扫参、流式延迟测量，以及固定随机种子的多次运行波动。
何时值得尝试这套时间堆叠，还有什么误解要澄清？
当多模态大模型出现音频好而视觉差，且打乱帧序后深层表示变化不大时，值得尝试本文路线。先加轻量时间注意力与显式时间位置，再把压缩后的时间表示多点补给解码浅层。适用条件是离线句子级英语唇读，有 AV-HuBERT 与 Whisper 特征可用。
若任务是实时流式或非英语为主，应先做小规模验证，不直接套用本文数字。教学例子：好比上课只给第一页讲义，后排听不清，本文是每隔几排再发 1 次要点提纲。比喻之后要回到真实组件：提纲就是投影后的时间 token，多次发放就是浅层残差相加。
常见误解有三。其一，把散点左下当成架构必然胜利，实则标注与参数未对齐。其二，把注意力峰值右移当成因果证明，实则只是支持时间跟踪的观察。其三，把压缩 6 倍理解为无损，实则省长度必有信息损失。真正的因果来自消融增量，而非单张可视化，压缩是用跨层补充把损失补回来一部分。
收束时回到可核对的事实。编码端用时间注意力加旋转位置把时序讲清楚，解码端用分层堆叠把时序送得远。在可比分组下视觉与音视频词错率更低，中高噪声更稳。复现从预处理、两块注意力、固定解码设置起步，补齐缺失超参数记录。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses