多模态模型

📄 AuRA: Internalizing Audio Understanding into LLMs as LoRA #语音问答 #参数高效微调 #知识蒸馏 #语音识别 #多模态模型 7.5/10 ✅ 7.5/10 | 前25% | #语音问答 | #参数高效微调 | #知识蒸馏 #语音识别 | arxiv 👥 作者与机构 作者：Bo Cheng, Lei Shi, Zhanyu Ma, Yuan Wu, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He 机构：Meituan, Jilin University 💡 毒舌点评 这篇论文精准地切中了当前语音-LLM集成的一个痛点：要么重（端到端训练），要么慢（级联推理），要么不够紧密（桥接方法）。AuRA提出的“内化”思路确实巧妙，像给LLM装了个隐藏的“语音耳朵”，推理时还能把这个“外挂”拆了，效率拉满。消融实验做得相当扎实，把各组件的作用都讲清楚了。不过，这位“耳朵”目前只能听懂“字面意思”（ASR），对于弦外之音（情感、语调）怕是无能为力，论文也老实承认了。实验范围有点保守，只在英语语音问答上打转，更广泛的语音理解任务（比如情感识别、对话）还没试水，这让“通用音频理解”的宣称稍微打了点折扣。总的来说，是一篇工程实现很扎实、想法很实用的扎实工作，但离“全面理解音频”还差那么一口气。 📌 核心摘要 AuRA 是一种轻量级的语音-LLM适配方法，其核心思想是将音频理解能力“内化”到大语言模型（LLM）的内部。该方法采用教师-学生蒸馏框架：训练时，一个冻结的ASR编码器（教师）与一个插入了LoRA适配器的冻结LLM（学生）并行处理相同的语音输入。通过设计的层间蒸馏损失，将教师模型的中间表示对齐到学生LLM的浅层隐藏状态中。推理时，移除庞大的ASR教师编码器，仅保留轻量的音频嵌入模块和LoRA适配的LLM，从而实现高效的端到端推理。在SDQA和HeySquad基准测试中，AuRA在准确率上超越了级联、适配和大规模端到端基线，同时显著降低了推理延迟和内存占用。 🔗 开源详情 代码：论文中未提供AuRA的官方代码仓库链接。 模型权重： AuRA 模型权重：论文中未提及。 使用的基础模型： Qwen2.5-7B-Instruct / Qwen2.5-3B-Instruct: https://huggingface.co/Qwen/Qwen2.5-7B-Instruct 和 https://huggingface.co/Qwen/Qwen2.5-3B-Instruct。 Whisper-large-v3: https://huggingface.co/openai/whisper-large-v3。 数据集： HeySquad: https://huggingface.co/datasets/yijingwu/HeySQuAD_human。 SDQA: https://huggingface.co/datasets/WillHeld/SD-QA。 CommonVoice (用于适配训练的语音部分)：论文提及使用英文子集，但未提供特定链接。该项目主站为 https://commonvoice.mozilla.org/。 VoRA-TextQA-Mixed (用于适配训练的文本部分)：论文未提供链接，仅提及名称。 复现材料：论文附录 A 提供了详细的复现信息，包括训练数据（10K CommonVoice 和 10K VoRA-TextQA-Mixed）、音频预处理方法、LoRA 适配配置（前4层，秩256）、优化器设置（学习率 2e-4，批大小128，训练3个epoch）以及计算资源（8块 NVIDIA H20 GPU 训练约1.5小时）。 论文中引用的开源项目： Whisper: https://github.com/openai/whisper。 Qwen (包括 Qwen2, Qwen2.5, Qwen2.5-Omni): https://github.com/QwenLM/Qwen (具体模型权重见上方模型权重部分)。 BLSP: https://github.com/microsoft/BLSP。 DiVA: https://github.com/declare-lab/DiVA。 Qwen2-Audio: 模型权重链接见上文，论文未提供独立代码库链接。 Qwen2.5-Omni: 模型权重链接见上文，论文未提供独立代码库链接。 CommonVoice: https://commonvoice.mozilla.org/。 🏗️ 方法概述和架构 AuRA 的整体架构遵循教师-学生蒸馏范式（如图2所示），旨在将ASR教师的能力转移到LLM学生中，并在推理时移除教师。其核心流程包含三个关键组件：音频补丁嵌入、LoRA适配的LLM学生以及层间蒸馏机制。 ...

📄 DeRA-MOS: Optimizing Text-to-Music Evaluation via Decoupled Listwise Ranking and Modality Alignment #音乐评估 #多模态模型 8.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 🔥 8.2/10 | 前25% | #音乐评估 | #多模态模型 | arxiv 👥 作者与机构 第一作者：Chien-Chun Wang (E.SUN Financial Holding Co., Ltd.) 通讯作者：Hung-Shin Lee (United Link Co., Ltd.)， Berlin Chen (National Taiwan Normal University) 其他作者：Hsin-Min Wang (Institute of Information Science, Academia Sinica) ...

📄 From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs #语音识别 #多模态模型 6.5/10 ✅ 6.5/10 | 前50% | #语音识别 | #多模态模型 | arxiv 👥 作者与机构 Wish Suharitdamrong, Muhammad Awais, Xiatian Zhu, Sara Atito。 机构：Surrey Institute for People-Centred AI (PAI), University of Surrey, UK；Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK。 💡 毒舌点评 这篇论文在机械可解释性领域做了一个扎实的、系统性的工作，把针对视觉语言模型（VLM）和视频语言模型（VideoLLM）的信息流分析方法扩展到了音频-视觉语言模型（AVLLM）。文章结构清晰，从观察到不可靠的注意力模式入手，到使用因果干预追踪信息流，再到利用新发现提升效率，逻辑链条完整。主要贡献在于填补了AVLLM信息流动机分析的空白，并发现了任务依赖的路由机制。然而，这项工作的“音频”属性略显薄弱。虽然研究对象是多模态，但核心分析方法（注意力消除、token丢弃）和主要发现（顺序流、并行流、汇聚点）在之前的VLM/VideoLLM研究中已有类似报道。论文的增量创新更多体现在应用场景的扩展和验证上，而非方法或理论上的重大突破。此外，结论的普适性受限于所选模型和任务，作者自己也承认开放生成任务可能不同。对于寻求音频领域独有洞见的读者，本文的启发可能有限，其价值更多体现在通用多模态模型的可解释性和效率优化方向上。 📌 核心摘要 本文首次系统研究了音频-视觉大语言模型（AVLLM）内部的信息流动机制。研究者通过注意力消除这一因果干预手段，追踪了音频和视觉信号如何在网络中路由、整合以形成最终预测。主要发现包括：1) 在音频-视觉视频输入中，信息遵循单一的顺序路径：模态信息首先在早中期层进行交互并汇聚到问题token（作为聚合点），随后问题token将信息传递至最后一个token以生成预测，且各模态的贡献比例由任务需求动态调节。2) 在多个交错音视频输入的配置中，信息流动转变为两条并行路径：一条是“候选项+问题->参考项->最后一个token”，另一条是“候选项->选项字母->最后一个token”。3) 后期层的视频注意力尖峰实为由巨大激活值驱动的“视觉注意力池”工件，不传输有用信息。4) 音频、视频及非选项文本token在完成信息传递后，可被丢弃而几乎不影响模型精度，甚至略有提升。这些发现在多个模型（Qwen2.5-Omni, Video-SALMONN2 Plus）和多个数据集（AV-SpeakerBench, WorldSense, AV-Odyssey）上得到验证。基于此，论文提出了一种新的AVLLM效率优化思路：在模型中间层丢弃已传递信息的冗余token。 ...

📄 GlobeAudio: A Multilingual Multicultural Benchmark for Naturalistic Evaluation of Large Audio-Language Models #数据集 #基准测试 #多语言 #多模态模型 #低资源 7.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ✅ 7.9/10 | 前25% | #语音识别 | #数据集 | #基准测试 #多语言 | arxiv 👥 作者与机构 作者：Ryner Tan, Wenxuan Zhang 机构：Singapore University of Technology and Design (新加坡科技设计大学) 💡 毒舌点评 审稿人：一位匿名的顶会审稿人。 这论文瞄准了LALM评估中一个真实存在的痛点——缺乏自然、多语言、多文化的测试场景，这个动机值得肯定。作者们收集数据、设计问题、进行质量控制的工作看起来也相当扎实。然而，这终究是一个“评测集”工作，而非提出新的模型或算法。在当前这个“Benchmark疲劳”的时代，如果只是提供一个新的数据集，其边际贡献需要仔细掂量。论文的最大亮点或许在于“自然发生音频”和“文化根基问题”的结合，但实验分析部分（尤其是错误案例分析）的缺失，使得这种结合的优势没能被充分证明。整体而言，这是一篇稳妥的、必要的工作，但距离“令人兴奋”或“突破性”还有差距。 ...

📄 KFC-KWS: Keyframe Fusion with CTC for User-Defined Keyword Spotting #关键词检测 #多模态模型 7.6/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.6/10 | 前25% | #关键词检测 | #多模态模型 | arxiv 👥 作者与机构 作者：Jin Li, Wenbin Jiang, Ji Hu 机构：杭州电子科技大学信息工程学院，杭州电子科技大学通信工程学院 💡 毒舌点评 这篇论文的idea挺直接：CTC不是输出概率分布很稀疏嘛，干脆拿来当关键帧选择器，把最“硬”的音素帧抠出来做匹配。想法不错，属于“老工具新用”。但问题是，这个关键帧选择策略（公式4）就是个固定窗口的平均池化，简单得像课程作业，作者却觉得这就能搞定混淆音素？另外，所有实验都在一个基于LibriSpeech构建的合成短语数据集（LibriPhrase）上跑，这数据集干净得像实验室环境，拿到真实嘈杂环境里能顶用？论文里连句“在实际场景中的鲁棒性有待验证”都说得小心翼翼。结论部分更是客气，把“创新点相对集中”说成“未来工作探索自适应选择”，翻译一下就是：我们知道这个方法核心创新点有点薄。总之，一篇中规中矩、实验结果不错但深度和广度都欠缺的工作，像一道摆盘精致的家常菜，远没到满汉全席的级别。 📌 核心摘要 针对用户自定义关键词检测（UD-KWS）中音素高度混淆关键词对难以区分的问题，本文提出了KFC-KWS多模态框架。其核心创新在于利用CTC训练后模型输出的“尖峰”后验分布，自动识别并提取高置信度的音素对齐关键帧。模型架构包含两个并行分支：1）QbyOmni分支，对查询音频与各模态注册表征（音频、音素、文本）的完整序列进行拼接和自注意力匹配；2）QbyKeyframe分支，将提取的关键帧序列与全序列上下文表征通过交叉注意力进行融合。为增强鲁棒性，训练时对注册模态进行随机丢弃。在LibriPhrase基准测试中，KFC-KWS在无需复杂增强的情况下，在平衡AUC指标上（98.06%）超越所有对比方法；在使用模态丢弃增强后，其平衡AUC进一步提升至98.73%（最佳），并在最具挑战性的困难子集（LPH）上取得97.65% AUC和7.75% EER，显著优于PLCL等强基线，证明了该方法在区分混淆关键词上的有效性。 🔗 开源详情 代码：论文未提供自身模型的开源代码链接。 模型权重：论文未提供预训练模型权重下载链接。 数据集：论文引用了LibriPhrase数据集，并提供了其GitHub仓库链接：https://github.com/gusrud1103/LibriPhrase.git。 复现材料：论文详细列出了实现细节，包括： 预训练编码器：XLS-R (0.3B)， G2P（64维音素嵌入）， 多语言DistilBERT。 可训练模型参数：约2.0M（不包括冻结的预训练编码器）。 特征维度：统一投影至128维。 关键帧上下文窗口：\(w=2\)（即5帧窗口）。 QbyOmni模块：2层Transformer编码器，前馈维度512。 GRU：隐藏层大小64。 训练超参数：CTC损失权重 \(\lambda=0.2\)，模态丢弃率 \(p=0.5\)，单NVIDIA 4080 Super GPU，批次大小512，Adam优化器（lr=0.001），训练50个epoch。 论文中引用的其他开源项目： XLS-R (0.3B): 链接为 https://huggingface.co/facebook/wav2vec2-xls-r-300m 多语言DistilBERT: 链接为 https://huggingface.co/distilbert-base-multilingual-cased G2P、SpecAugment等：为通用工具/方法，论文未提供具体链接。 🏗️ 方法概述和架构 KFC-KWS是一个多模态用户自定义关键词检测框架，其核心设计思想是利用CTC训练的副作用（“尖峰”后验）来指导关键帧选择，从而在音素层面实现精细的跨模态匹配。 ...

📄 Optimizing 2D Input Representations and Sub-phase Fusion Strategies for Differential Diagnosis of Asthma and COPD Using CNN- and GRU-Based Networks #数据增强 #多模态模型 6.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 6.8/10 | 前50% | #数据增强 | #数据增强 | #多模态模型 | arxiv 👥 作者与机构 İpek Şen (伊斯坦布尔比尔吉大学电气与电子工程系), Özgür Özdemir (伊斯坦布尔比尔吉大学计算机工程系), Elena Battini Sönmez (伊斯坦布尔比尔吉大学计算机工程系) ...

📄 Profy: Interpretable Visualization of Expertise-Dependent Motor Skills Toward Supporting Piano Practice #多模态模型 #正则化微调 #音乐信息检索 #音乐理解 6.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.9/10 | 前50% | #音乐信息检索 | #多模态模型 | #正则化微调 #音乐理解 | arxiv 👥 作者与机构 Kazuki Kawamura (东京大学， 索尼计算机科学实验室), Fujiki Nakamura (东京大学), Hayato Nishioka (索尼计算机科学实验室， NeuroPiano研究所), Momoko Shioki (索尼计算机科学实验室， NeuroPiano研究所), Shinichi Furuya (索尼计算机科学实验室， NeuroPiano研究所), Jun Rekimoto (东京大学， 索尼计算机科学实验室) ...

📄 RespiraMFM: A Multimodal Foundation Model with Contrastive Audio-Language Alignment for Respiratory Disease Identification #对比学习 #多模态模型 #参数高效微调 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1.0/1 | 影响 0.6/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.5/10 | 前50% | #对比学习 | #对比学习 | #多模态模型 #参数高效微调 | arxiv 👥 作者与机构 Shakhrul Iman Siam¹, Tiantian Feng², Jiankun Zhang³, Shrikanth Narayanan², Mi Zhang¹ ¹The Ohio State University, ²University of Southern California, ³University of Chicago 通讯作者：{siam.5, mizhang.1}@osu.edu ...

📄 Spatial-Omni: Spatial Audio Understanding Integration in Multimodal LLMs via FOA Encoding #多模态模型 #大语言模型 9.4/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.4/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 9.4/10 | 前25% | #多模态模型 | #大语言模型 | arxiv 👥 作者与机构 作者：Zhiyuan Zhu, Yixuan Chen, Yiwen Shao, Wenxiang Guo, Changhao Pan, Yu Zhang, Yuxiang Wang, Wei Liu, Houhua Zhang, Chengkuan Zeng, Wenbo Cheng, Yunxi Liu, Rui Yang, Steve Yves, Liefeng Bo, Zhou Zhao 机构：浙江大学，腾讯混元 ...

📄 Speech Encoder Fusion for LLM-based Automatic Speech Recognition #语音识别 #多模态模型 #低资源 #参数高效微调 7.2/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7.2/10 | 后50% | #语音识别 | #参数高效微调 | #多模态模型 #低资源 | arxiv 👥 作者与机构 Jakob Poncelet, Hugo Van hamme KU Leuven, Department Electrical Engineering ESAT-PSI, Leuven, Belgium 💡 毒舌点评 本文的核心想法——融合多个语音编码器以提升LLM-ASR性能——直觉上合理，但技术执行和实验论证深度不足。所谓“创新”的融合架构（如Sigmoid门控）本质上是简单的加权平均或注意力机制的标准应用，缺乏针对语音-LLM交互的专门设计。实验结论在多语言和说话人分离任务上显得有些仓促，部分关键结论（如“Temporal Transformer捕捉互补信息最佳”）仅凭有限的表格数据支撑，缺乏更细致的分析。论文自述的“计算开销有限”优势在文中未提供任何实际运行时对比数据，显得空洞。整体而言，这是一项增量式的工作，将现有融合技术打包应用到语音LLM中，其技术贡献和系统性分析未达到顶会论文的典型水准。 📌 核心摘要 本文探讨了在基于大语言模型（LLM）的自动语音识别（ASR）系统中，融合多个预训练语音编码器的可能性。作者旨在利用不同编码器（如多语言的Whisper与单语言的专用模型NeLF、Wav2Vec2）的互补性来提升性能。研究提出了五种融合策略：特征拼接、Sigmoid门控、多头门控、位置Transformer和时间Transformer。实验在荷兰语、英语的单语和多语ASR任务，以及结合说话人编码器（ECAPA2）的说话人分离ASR任务中进行。结果表明，在大多数设置下，精心设计的融合方法（特别是Transformer类）优于简单的特征拼接，且计算开销增加有限。此外，将预训练ASR解码器的初步预测作为LLM的额外输入，可进一步显著提升性能，甚至在某些情况下使语音LLM接近或超越专用ASR模型。 ...