Optimal Transport-based Semantic Alignment for LLM-based Audio-Visual Speech Recognition
📄 Optimal Transport-based Semantic Alignment for LLM-based Audio-Visual Speech Recognition 标签：#音视频语音识别 #对比学习 #语音识别 #参数高效微调 #音频理解 6.9/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.9/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频语音识别 | #对比学习 | #语音识别 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Xugang Lu（日本产业技术综合研究所，AIST） 通讯作者：未说明 作者列表：Xugang Lu（AIST）、Peng Shen（AIST）、Yu Tsao（AIST）、Hisashi Kawai（AIST） 💡 毒舌点评 本文将最优传输（OT）引入LLM-AVSR进行语义对齐，思路有一定新意，并在LRS3-TED上取得了SOTA成绩，证明了其有效性。然而，该方法将成熟的OT数学工具迁移到特定任务中，创新程度属于中上。其最大硬伤在于多个核心超参数（如虚拟桶相似度边距、OT正则化系数、对齐损失权重、温度）的选择完全依赖经验网格搜索，缺乏系统的敏感性分析或理论指导，暴露了方法对调参的敏感性和工程上的粗糙，也使得论文的“可复现性”和“技术严谨性”大打折扣。 📌 核心摘要 本文解决基于大语言模型（LLM）的音视频语音识别（LLM-AVSR）中，音频、视觉模态与LLM语言嵌入空间存在表示差异，导致跨模态融合效果受限的问题。论文提出了一种基于最优传输（OT）的语义对齐框架，在多模态融合前，通过OT将音频和视觉编码器的输出与LLM的文本嵌入进行对齐。与直接融合投影特征的方法相比，其创新在于使用OT耦合矩阵作为软伪标签来监督对比学习，显式地桥接模态差距。主要实验结果表明，在LRS3-TED基准上，该方法在多种信噪比（SNR）下均优于LLaMA-AVSR、MMS-LLaMA等基线，取得了SOTA性能。实际意义在于为提升LLM-AVSR的鲁棒性提供了一个有效的特征对齐框架。主要局限性在于所涉及的多个超参数的选择完全依赖经验，缺乏系统的消融和理论分析，且实验仅在单一数据集上进行。 ...