音视频语音识别

📄 From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios 标签：#音视频语音识别 #多模态模型 #大语言模型 #模型比较 #会议转录 6.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.6/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 6.6/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频语音识别 | #多模态模型 | #大语言模型 #模型比较 | arxiv 👥 作者与机构 第一作者：Thai-Binh Nguyen（Karlsruhe Institute of Technology） 通讯作者：未说明 作者列表：Thai-Binh Nguyen（Karlsruhe Institute of Technology）、Zhaolin Li（Karlsruhe Institute of Technology）、Jan Niehues（Karlsruhe Institute of Technology）、Alexander Waibel（Carnegie Mellon University；论文中 Waibel 的邮箱显示为 zhaolin.li@kit.edu，与第二作者重复，疑似论文排版错误） 💡 毒舌点评 这篇 CHiME-9 MCoRec 系统分析把"鸡尾酒会"问题拆成目标说话人转录与对话聚类两条设计轴，给出"重叠率不能单独解释性能差异"这一反直觉结论，并指出 LLM 语义聚类在高 WER 下仍保持高 F1，对后续系统设计有实际参考价值。 但所有参赛系统都以匿名编号出现且 system paper 尚未发布；各系统在 ASD、AVTSE、AVSR、聚类多个维度上同时变化，文中对"什么策略最有效"的归因停留在相关性层面，无受控消融、无统计显著性检验，session 案例分析样本量也很小。作为挑战赛技术分析报告，定位合格，但难以支撑强因果结论。 ...

📄 DoubleHelix: Structured Cross-Modal Fusion for Audio-Visual Speech Recognition with LLMs 标签：#音视频语音识别 #多模态模型 #大语言模型 #音频理解 #Transformer 7.4/10 | 创新 1.8/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频语音识别 | #多模态模型 | #大语言模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Ziwei Cheng（东北大学软件学院，辽宁沈阳） 通讯作者：Zhenhua Tan（东北大学软件学院，辽宁沈阳） 作者列表：Ziwei Cheng（东北大学软件学院）、Zhenhua Tan（东北大学软件学院）、Zhuomin Zhu（东北大学软件学院） 💡 毒舌点评 这篇论文将音视频融合从“一次拼接”推到了“多轮迭代+自适应修复”的Level，motivation清晰且消融实验扎实，在0.68% WER和极端噪声下的提升颇有说服力。然而，作者只在单一的babble噪声上炫耀鲁棒性，不对称权重0.7/0.3和旋转矩阵的启发式选择几乎没说清楚原理，而且一丁点代码和模型都没放出来，复现只能靠“祈祷”。 ...

📄 Optimal Transport-based Semantic Alignment for LLM-based Audio-Visual Speech Recognition 标签：#音视频语音识别 #对比学习 #语音识别 #参数高效微调 #音频理解 6.9/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.9/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频语音识别 | #对比学习 | #语音识别 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Xugang Lu（日本产业技术综合研究所，AIST） 通讯作者：未说明 作者列表：Xugang Lu（AIST）、Peng Shen（AIST）、Yu Tsao（AIST）、Hisashi Kawai（AIST） 💡 毒舌点评 本文将最优传输（OT）引入LLM-AVSR进行语义对齐，思路有一定新意，并在LRS3-TED上取得了SOTA成绩，证明了其有效性。然而，该方法将成熟的OT数学工具迁移到特定任务中，创新程度属于中上。其最大硬伤在于多个核心超参数（如虚拟桶相似度边距、OT正则化系数、对齐损失权重、温度）的选择完全依赖经验网格搜索，缺乏系统的敏感性分析或理论指导，暴露了方法对调参的敏感性和工程上的粗糙，也使得论文的“可复现性”和“技术严谨性”大打折扣。 📌 核心摘要 本文解决基于大语言模型（LLM）的音视频语音识别（LLM-AVSR）中，音频、视觉模态与LLM语言嵌入空间存在表示差异，导致跨模态融合效果受限的问题。论文提出了一种基于最优传输（OT）的语义对齐框架，在多模态融合前，通过OT将音频和视觉编码器的输出与LLM的文本嵌入进行对齐。与直接融合投影特征的方法相比，其创新在于使用OT耦合矩阵作为软伪标签来监督对比学习，显式地桥接模态差距。主要实验结果表明，在LRS3-TED基准上，该方法在多种信噪比（SNR）下均优于LLaMA-AVSR、MMS-LLaMA等基线，取得了SOTA性能。实际意义在于为提升LLM-AVSR的鲁棒性提供了一个有效的特征对齐框架。主要局限性在于所涉及的多个超参数的选择完全依赖经验，缺乏系统的消融和理论分析，且实验仅在单一数据集上进行。 ...