Cross-Modal Bottleneck Fusion for Noise Robust Audio-Visual Speech Recognition
📄 Cross-Modal Bottleneck Fusion for Noise Robust Audio-Visual Speech Recognition #语音识别 #多模态模型 #跨模态 #鲁棒性 #音视频 ✅ 7.5/10 | 前25% | #语音识别 | #多模态模型 | #跨模态 #鲁棒性 学术质量 6.0/7 | 选题价值 7.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者:Seaone Ok(首尔大学IPAI、首尔大学智能信息学系) 通讯作者:Kyogu Lee(首尔大学IPAI、首尔大学智能信息学系、首尔大学AIIS) 作者列表:Seaone Ok(首尔大学IPAI、首尔大学智能信息学系)、Min Jun Choi(首尔大学IPAI、首尔大学智能信息学系)、Eungbeom Kim(首尔大学IPAI)、Seungu Han(首尔大学智能信息学系)、Kyogu Lee(首尔大学IPAI、首尔大学智能信息学系、首尔大学AIIS) 💡 毒舌点评 该工作的核心亮点在于将“注意力瓶颈”这一高效范式巧妙移植到音视频语音识别中,通过一组可学习的紧凑令牌来调节跨模态信息流,在数据效率和噪声鲁棒性上展现出明显优势,尤其是在极端噪声(-7.5dB)下性能提升显著。然而,其最终性能天花板仍被使用海量数据预训练的模型(如Auto-AVSR)牢牢压制,表明瓶颈融合本身并不能解决AVSR对大规模数据的根本依赖,创新性更多体现在工程优化而非原理突破。 📌 核心摘要 要解决的问题:传统的音频语音识别在噪声下性能严重下降。现有的音频-视觉语音识别融合方法要么融合效果不佳,要么计算开销过大。核心挑战是如何设计一种机制,让模型在音频信号退化时能有效利用视觉信息,同时在干净语音下保持高性能。 方法核心:提出CoBRA框架,采用双流(音频/视频)Conformer编码器,并在其中层引入一组紧凑的可学习“瓶颈令牌”。音频和视频流不直接交互,而是通过这组令牌进行信息交换,从而高效且可控地融合跨模态信息。 与已有方法相比新在哪里:与传统的拼接或全注意力交叉融合相比,CoBRA通过瓶颈令牌严格调节信息流,减少了冗余和计算量。与应用于视频分类的MBT不同,本文专门针对AVSR的时序和解码特性进行了适配和深入研究,特别是系统地探索了融合层位置的影响。 主要实验结果:在LRS3数据集上,使用664小时训练数据,干净语音WER为1.6%,在-7.5dB的babble噪声下WER为11.79%,相比基线(18.58%)相对提升约36.6%。在LRS2上取得2.8% WER。消融实验表明,中层融合(第4层)和32个瓶颈令牌是最优配置。注意力分析显示,随着噪声增强,模型更多地依赖视觉线索。 数据集 方法 训练小时数 干净WER (%) -7.5dB Babble WER (%) LRS3 CM-seq2seq (基线) 596 2.30 18.58 LRS3 CoBRA (Ours) 664 1.6 (主结果表) / 1.96 (消融表) 11.79 LRS2 CM-seq2seq (基线) 381 3.7 未提供 LRS2 CoBRA (Ours) 664 2.8 未提供 注:主结果表与消融表中的基线和CoBRA数值存在细微差异,可能源于不同的实验设置或数据子集,此处一并列出。 ...