多模态模型

📄 Graph-based Modality Alignment for Robustness in Conversational Emotion Recognition #多模态模型 #语音情感识别 #对比学习 #鲁棒性 🔥 8.0/10 | 前25% | #语音情感识别 | #多模态模型 | #对比学习 #鲁棒性 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Dae Hyeon Kim（光云大学电子通信工程系） 通讯作者：Young-Seok Choi*（光云大学电子通信工程系） 作者列表：Dae Hyeon Kim（光云大学电子通信工程系）， Young-Seok Choi（光云大学电子通信工程系） 💡 毒舌点评 亮点：该论文最大的贡献在于将对话上下文、说话者关系和多模态信息统一建模在一个异构图中，并通过一种无增强的跨模态图对比学习，显式地将不同模态的嵌入对齐到共享的情感空间，这在理论上优雅地解决了传统堆叠模型的信息瓶颈和模态崩溃问题。短板：论文的实验部分虽然全面，但其鲁棒性验证主要局限于单一模态缺失的极端情况，对于现实场景中更常见的模态质量退化（如音频噪声、视频模糊）或部分缺失的鲁棒性探讨不足。此外，代码未开源，这对于一篇依赖复杂图结构和对齐目标的工作而言，无疑是可复现性上的一个显著扣分项。 📌 核心摘要 解决的问题：多模态会话情感识别（MERC）中，传统堆叠式模型容易产生信息瓶颈和冲突的归纳偏见，且缺乏显式的模态对齐，导致模型在推理时遇到某些模态缺失（即“缺失模态问题”）时鲁棒性差。 方法核心：提出了一个名为EmotionHeart的统一框架。其核心是一个异构图Transformer，它将对话（作为节点集合）和其中的关系（说话者内、说话者间、模态间）构建为一个单一的图进行联合建模。同时，引入了一种无增强的跨模态图对比学习（GCL） 训练目标，强制对齐不同模态（音频、文本、视觉）的嵌入表示。 创新之处：1）与以往“序列+图”的堆叠架构不同，采用统一的异构图结构同时编码所有信息源，避免了信息瓶颈。2）提出了跨模态图对比学习，直接对齐单个模态的特征，而非早期融合后的特征，从而更好地解决模态崩溃和缺失模态问题。 主要实验结果：在IEMOCAP和MELD两个基准数据集上达到了新的SOTA。具体而言，在IEMOCAP上加权F1（w.F1）达到73.1%，在MELD上达到69.0%，均显著优于之前的最佳模型（p<0.001）。消融实验证明了异构性和跨模态GCL组件的有效性。关键实验数据如下： 方法 年份 架构 IEMOCAP (w.F1 %) MELD (w.F1 %) BIG-FUSION 2025 混合 72.9 67.2 EmotionHeart – 统一 73.1 69.0 表2（消融实验）显示，从标准Transformer（68.99%）到完整模型（73.13%），每一步添加核心组件都带来了性能提升和稳定性改善（标准差从4.73降至1.09）。 ...

📄 HAVT-IVD: Heterogeneity-Aware Cross-Modal Network for Audio-Visual Surveillance: Idling Vehicles Detection with Multichannel Audio and Multiscale Visual Cues #音频事件检测 #多模态模型 #端到端 #麦克风阵列 🔥 8.0/10 | 前25% | #音频事件检测 | #多模态模型 | #端到端 #麦克风阵列 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xiwen Li（Scientific Computing and Imaging Institute, University of Utah） 通讯作者：Tolga Tasdizen（Scientific Computing and Imaging Institute, University of Utah; Department of Electrical and Computer Engineering, University of Utah） 作者列表：Xiwen Li（Scientific Computing and Imaging Institute, University of Utah）、Xiaoya Tang（Scientific Computing and Imaging Institute, University of Utah）、Tolga Tasdizen（Scientific Computing and Imaging Institute, University of Utah; Department of Electrical and Computer Engineering, University of Utah） 💡 毒舌点评 这篇论文的亮点在于其问题导向的系统设计，针对异质性模态融合、多尺度检测和训练不稳定这三个具体痛点，分别用Transformer、特征金字塔和解耦头给出了清晰的解决方案，实验增益显著。然而，其短板在于创新点的“组合”色彩较重，每个组件（如Transformer用于融合、FPN、解耦头）在其他视觉任务中已有广泛应用，论文的核心贡献更多是巧妙地将这些成熟模块应用于特定任务，而非提出根本性的新机制。 ...

📄 Hierarchical Tokenization of Multimodal Music Data for Generative Music Retrieval #音乐检索 #大语言模型 #多模态模型 #工业应用 #生成模型 ✅ 7.0/10 | 前25% | #音乐检索 | #大语言模型 | #多模态模型 #工业应用 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Wo Jae Lee（Amazon Music, San Francisco, USA） 通讯作者：未说明 作者列表：Wo Jae Lee（Amazon Music）、Rifat Joyee（Amazon Music）、Zhonghao Luo（Amazon Music）、Sudev Mukherjee（Amazon Music）、Emanuele Coviello（Amazon Music） 💡 毒舌点评 亮点： 论文提出的多模态分层tokenization框架思路清晰，将复杂的音乐元数据系统地转化为LLM可处理的离散序列，并在工业规模的数据集上验证了其有效性，为构建统一的多模态音乐推荐系统提供了一个不错的工程范例。 短板： 核心的RQ-VAE应用和LLM微调部分创新有限，更偏向于系统集成；而实验完全建立在无法公开的私有数据之上，如同“自说自话”，极大削弱了其学术价值和可复现性，使得其性能提升难以被外部独立验证。 📌 核心摘要 本文针对生成式音乐检索任务中如何让大语言模型（LLM）有效表示和理解多模态音乐数据的问题，提出了一种名为3MToken的多模态音乐分层离散化方法。该方法将音频、语义标签、艺术家传记等九种模态的音乐数据，通过模态特定的残差量化变分自编码器（RQ-VAE）转化为层次化的离散token序列。基于此，进一步提出了3MTokenRec，一个经过指令微调的LLM，它能够根据查询意图自适应地加权不同模态，并生成对应的3MToken序列来检索音乐。实验表明，3MToken在内容检索（CBR）任务上，Hit@5分别比最强多模态基线（K-means）高27%（CP数据集）和32%（CO数据集）；在文本到音乐检索（T2MR）任务上，3MTokenRec（带模态选择）的平均Precision@K比不带模态选择的版本高10.8%。该研究为工业级音乐推荐系统提供了新的技术路径，但其主要局限在于所有实验均在未公开的专有数据集上进行，且未开源代码与模型，可复现性差。 🏗️ 模型架构 整个系统分为两个主要部分：多模态音乐token（3MToken）的生成和基于此的生成式音乐推荐（3MTokenRec）。 ...

ICASSP 2026 - 多模态模型 共 6 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 RCAL: Reinforced Cross-Modal Alignment for Multimodal Sentim 8.5分 前25% 🥈 Mitigating Language Prior-Induced Hallucinations via Bi-Leve 7.5分 前25% 🥉 An End-to-End Multimodal System for Subtitle Recognition and 7.0分 前50% 4. Multimodal Transformer with Multiperspective Training for Pr 7.0分 前25% 5. Multimodal Fusion-Based IPCLIP Network for Mixed Reality Sur 6.5分 前50% 6. Selective Hub Fusion with Modality-Heterogeneous Experts for 6.5分 前25% 📋 论文详情 🥇 RCAL: Reinforced Cross-Modal Alignment for Multimodal Sentiment Analysis with Sparse Visual Frames 🔥 8.5/10 | 前25% | #多模态模型 | #对比学习 | #稀疏输入 #跨模态 ...

📄 Improving Multimodal Brain Encoding Model with Dynamic Subject-Awareness Routing #多模态模型 #脑信号编码 #混合专家 #动态路由 #跨被试泛化 🔥 8.0/10 | 前25% | #脑信号编码 | #混合专家 | #多模态模型 #动态路由 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Xuanhua Yin（悉尼大学计算机科学学院） 通讯作者：Runkai Zhao（悉尼大学计算机科学学院）和 Weidong Cai（悉尼大学计算机科学学院） 作者列表：Xuanhua Yin（悉尼大学计算机科学学院）、Runkai Zhao（悉尼大学计算机科学学院）、Weidong Cai（悉尼大学计算机科学学院） 💡 毒舌点评 亮点：论文巧妙地将混合专家模型中的“门控”从单一输入驱动，改造为融合了稳定“被试先验”和动态“令牌上下文”的双路径路由，这一设计在解决跨被试异质性问题上既直观又有效，且实验验证了其相对于单一路由方式的优越性。短板：整个惊人的性能提升（如在ImageBind上r从0.131提升至0.221）完全建立在“Algonauts 2025”这一个基准和仅4名被试上，在未见数据集或更多被试上效果如何存在疑问，这削弱了其宣称的“通用性”和实际影响力。 📌 核心摘要 要解决的问题：在多模态（视、听、文）fMRI脑编码任务中，相同的刺激在不同被试中会引发系统性的神经响应差异（即跨被试变异性）。传统的群体级解码器难以捕捉这种个性化差异，导致泛化能力差。 方法核心：提出AFIRE（无关多模态fMRI响应编码框架）和MIND（混合专家集成解码器）。AFIRE作为一个标准化接口，将不同多模态编码器（如TRIBE, ImageBind）的输出转换为时间对齐的后融合令牌。MIND则是一个稀疏混合专家网络，其核心是SADGate（主题感知动态门控），该门控结合了基于当前令牌的动态路由和学习的被试特异性先验，并通过Top-K稀疏选择激活少数专家进行预测。 与已有方法相比新在哪里：1) 解耦设计：AFIRE将上游多模态融合与下游解码分离，使MIND解码器可以“即插即用”于不同编码器。2) 个性化路由：SADGate首次在脑编码中引入结合了稳定被试先验和动态令牌信息的稀疏路由机制，更精细地建模了被试间差异的“静态”和“动态”成分。 主要实验结果：在Algonauts 2025数据集上，使用三种不同骨干网络（TRIBE, ImageBind, Qwen2.5-Omni）进行评估。MIND解码器在所有指标上均优于强基线。具体性能提升如下表所示（均值，跨S1-S5被试）： 骨干网络 方法 Pearson r Spearman ρ R² ISG TRIBE Baseline 0.256 0.240 0.081 0.187 w. MIND 0.273 0.259 0.092 0.241 Δ (vs. Baseline) +0.017 +0.019 +0.011 +0.054 ImageBind Baseline 0.131 0.121 0.026 0.097 w. MIND 0.221 0.203 0.064 0.162 Δ (vs. Baseline) +0.090 +0.082 +0.038 +0.065 Qwen2.5-Omni Baseline 0.125 0.130 0.025 0.103 w. MIND 0.220 0.205 0.059 0.162 Δ (vs. Baseline) +0.095 +0.075 +0.034 +0.059 消融实验证明了“令牌路由器”和“先验路由器”结合的必要性，二者单独使用效果均不佳。 5. 实际意义：提供了一个模块化、可扩展的框架，使得可以快速集成新的多模态编码器来提升脑编码性能，并为理解大脑如何个性化处理多模态信息提供了计算模型和可解释的专家路由模式。 6. 主要局限性：1) 实验规模有限（仅一个数据集，4名被试），结论的普适性有待验证。2) 性能高度依赖上游编码器输出的“后融合令牌”质量。3) 引入混合专家模型增加了推理时的计算成本。 ...

📄 InconVAD: A Two-Stage Dual-Tower Framework for Multimodal Emotion Inconsistency Detection #语音情感识别 #多模态模型 #不确定性估计 ✅ 7.5/10 | 前25% | #语音情感识别 | #多模态模型 | #不确定性估计 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Zongyi Li（南洋理工大学，跨学科研究生项目） 通讯作者：未说明 作者列表：Zongyi Li（南洋理工大学，跨学科研究生项目），Junchuan Zhao（新加坡国立大学，计算学院），Francis Bu Sung Lee（南洋理工大学，计算与数据科学学院），Andrew Zi Han Yee（南洋理工大学，Wee Kim Wee传播与信息学院） 💡 毒舌点评 亮点在于其“显式不一致性检测+选择性融合”的第二阶段设计非常精巧，直指当前多模态融合“无脑拼接”的痛点，并在实验上证明了其有效性。短板则是为了构建不一致样本，依赖了EmoV-DB数据集的人工语音-文本配对，这种合成数据构造的不一致性能否完全代表真实世界（如自然对话中的复杂讽刺、掩饰）中的不一致性，需要打一个问号。 📌 核心摘要 问题：多模态情感分析中，语音与文本信号常包含不一致的情感线索（如讽刺），现有方法依赖不完整的情感表示（如离散标签）且默认模态一致进行无条件融合，导致性能下降。 方法核心：提出InconVAD，一个两阶段双塔框架。第一阶段（Phase A）训练两个独立的、具备不确定性感知的单模态塔（语音塔、文本塔），在共享的三维情感空间（VAD：效价-唤醒-支配）中预测情感值。第二阶段（Phase B）首先用一个分类器显式检测输入语音-文本对的情感不一致性，然后仅对被判定为“一致”的配对，通过一个门控Transformer融合模块整合两塔输出，进行最终的VAD预测。 新意：区别于以往工作，InconVAD显式地将“不一致性检测”作为中间任务，并利用不确定性估计在融合前进行质量评估，最后采用选择性融合策略，避免了不一致信息在融合时造成的表示混淆。 实验结果：在情感不一致性检测任务上，InconVAD分类器在IEMOCAP+EmoV-DB构建的测试集上达到92.3%的准确率和92.2%的F1分数，显著超越了SVM (85.7% Acc)和ATEI (83.4% Acc)等基线。在多模态情感建模任务上，其融合塔在IEMOCAP数据集上的平均CCC达到0.657，优于现有方法MFCNN14 (0.642)和W2v2-b+BERT-b+L (0.618)。消融实验证明了各组件（如韵律注入、Conformer块、门控融合）的有效性。 实际意义：该工作为构建更可靠、可解释的情感计算系统提供了新思路，尤其适用于需要精确理解用户真实情感意图的场景，如心理健康监测、智能客服、人机交互。 局限性：主要依赖于特定数据集（IEMOCAP， EmoBank， EmoV-DB）构建和评估，其在更广泛语种、文化背景下的泛化能力未验证。模型的计算开销和实时性未被分析，可能限制在资源受限设备上的部署。不一致样本的构造方式（基于数据集配对）可能无法完全覆盖现实世界中的复杂情况。 🏗️ 模型架构 InconVAD是一个两阶段框架，整体架构如图1所示。 ...

📄 Inter-Dialog Contrastive Learning for Multimodal Emotion Recognition in Conversations #语音情感识别 #对比学习 #多模态模型 #跨模态 ✅ 7.5/10 | 前25% | #语音情感识别 | #对比学习 | #多模态模型 #跨模态 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 中 👥 作者与机构 第一作者：Dong-Hyuk Lee (Department of Electronics and Communications Engineering, Kwangwoon University) 通讯作者：Young-Seok Choi (Department of Electronics and Communications Engineering, Kwangwoon University, yschoi@kw.ac.kr) 作者列表：Dong-Hyuk Lee (Department of Electronics and Communications Engineering, Kwangwoon University)、Dae Hyeon Kim (Department of Electronics and Communications Engineering, Kwangwoon University)、Young-Seok Choi (Department of Electronics and Communications Engineering, Kwangwoon University) 💡 毒舌点评 亮点在于提出了“跨对话上下文”（Inter-dialog context）这一新颖维度，并设计了IDCL对比学习框架来有效利用它，为传统上仅关注对话内部的上下文建模提供了补充。短板在于方法创新的深度略显不足，核心是对比学习在模态间和对话间的应用组合，且论文缺少代码和模型细节，使得复现存在不确定性。 ...

📄 Interval-Aware Retrieval Framework For Speech-Based Automatic Alzheimer’s Detection #语音生物标志物 #检索增强生成 #多模态模型 #迁移学习 🔥 8.5/10 | 前25% | #语音生物标志物 | #检索增强生成 | #多模态模型 #迁移学习 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Mingyang Gu（天津大学智能与计算学院；中国科学院深圳先进技术研究院） 通讯作者：Gaoyan Zhang（天津大学智能与计算学院）、Jianwu Dang（中国科学院深圳先进技术研究院） 作者列表： Mingyang Gu（天津大学智能与计算学院， 中国科学院深圳先进技术研究院） Zunsheng Tan（中国科学院深圳先进技术研究院） Kai Li（中国科学院深圳先进技术研究院） Xiaobao Wang（天津大学智能与计算学院） Bin Wen（天津大学智能与计算学院） Tianrui Wang（天津大学智能与计算学院） Gaoyan Zhang（天津大学智能与计算学院， 通讯作者） Jianwu Dang（中国科学院深圳先进技术研究院， 通讯作者） 💡 毒舌点评 亮点：本文的核心思想“用健康人的说话时序作为参考标尺来衡量患者语音的异常程度”非常巧妙且符合临床直觉，RAG与CTC的结合为实现这一思想提供了有效且工程化的路径，实验也证明了其有效性。短板：论文未提供代码，对于一个依赖特定预训练模型（Whisper， HuBERT）和外部构建的健康语音时序记忆库的框架，这在一定程度上削弱了其可复现性和即时可用性，对于想快速验证或应用的读者不太友好。 📌 核心摘要 本文旨在解决基于自发语音的阿尔茨海默病（AD）自动检测中，现有方法未能充分建模和利用患者语音中特有的“时间节律异常”（如停顿、拖音、不流畅）的问题。论文提出了一种区间感知的检索增强框架，其核心包含三个部分：1）一个RAG模块，从健康人的语音数据中检索词级别的时序先验，作为判断异常与否的“归一化参考”；2）一个CTC引导的跨模态对齐模块，在无需语音-文本精确对齐标注的情况下，实现文本表示与语音帧的软对齐；3）一个区间感知增强器，通过对比当前语音的实际时序与检索到的健康先验，将偏差转化为残差权重，以突出异常的语音片段。与已有方法相比，该框架的新颖之处在于引入外部健康时序知识作为基准、采用无监督对齐技术、以及显式地将时序偏差融入特征表示。在ADReSS和ADReSSo两个基准测试集上，本文方法分别取得了94.79%和88.73%的准确率，相比此前最优方法错误率降低了13.4%和11.1%，并在所有评估指标上均达到最佳。该工作的实际意义在于提供了一种可扩展、非侵入的AD早期筛查工具，其可解释的权重可视化也能辅助临床医生进行审查。主要局限性是其性能依赖于所构建的健康语音时序记忆库的覆盖度和质量，且可能存在跨数据集、录音条件的领域偏移。 ...

📄 Investigating Modality Contribution in Audio LLMs for Music #音频大模型 #模型评估 #可解释AI #音乐理解 #多模态模型 ✅ 6.5/10 | 前50% | #模型评估 | #可解释AI | #音频大模型 #音乐理解 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Giovana Morais（纽约大学音乐与音频研究实验室） 通讯作者：未说明 作者列表：Giovana Morais（纽约大学音乐与音频研究实验室）、Magdalena Fuentes（纽约大学音乐与音频研究实验室，Integrated Design & Media） 💡 毒舌点评 亮点：首次将严谨的博弈论可解释性工具（MM-SHAP）引入音频大模型分析，量化了音频与文本模态的“功劳簿”，为“模型到底听没听”这个玄学问题提供了硬核分析框架。 短板：整个研究建立在一个被后续工作指出“测试的是LLM推理而非音频感知”的基准（MuChoMusic）上，这好比用一把可能不准的尺子去精确测量，结论的可靠性打了折扣；同时，分析结论停留在“音频贡献低”的现象描述，未能深入揭示音频信息在模型内部是如何被利用或“遗忘”的机制。 📌 核心摘要 问题：音频大语言模型（Audio LLMs）声称能理解音频，但近期基准测试表明其性能可能过度依赖文本推理，音频模态是否被有效利用存疑。 方法核心：将MM-SHAP（一种基于Shapley值、与性能无关的度量）适配到音频领域，通过掩码音频波形和文本令牌来量化计算每个模态对模型输出的贡献度（A-SHAP, T-SHAP）。 新方法与创新点：首次将MM-SHAP框架应用于音频大模型，提出了针对音频的动态掩码策略，并将分析扩展到生成式任务（通过衡量答案token的对数变化）。 主要实验结果：在MuChoMusic基准上对比了Qwen-Audio和MU-LLaMA。发现性能更好的Qwen-Audio反而更依赖文本（A-SHAP约0.23），而MU-LLaMA模态利用更均衡（A-SHAP约0.50）。定性分析显示，即使整体音频贡献低，模型也能在特定token（如“铃声”）上正确定位相关音频片段。 模型 实验设置 准确率 A-SHAP MU-LLaMA MC-PI 0.30 0.50 ± 0.02 MC-NPI 0.32 0.47 ± 0.02 QwenAudio MC-PI 0.44 0.23 ± 0.02 MC-NPI 0.47 0.21 ± 0.02 表1：两个模型在不同实验设置下的准确率和平均音频模态贡献度（A-SHAP）。 MM-SHAP计算过程示意图 图1：MM-SHAP计算流程示意图。通过掩码所有可能的输入组合（近似为随机排列），并计算基础答案（未掩码推理）的对数变化来平均得到Shapley值。 定性分析示例 图2：QwenAudio定性分析示例。展示了对于输出token“bell”，输入文本和音频各区域的Shapley值贡献，绝对值高的区域（深色）对应模型认为重要的特征。 ...

📄 Learning What to Hear: Boosting Sound-Source Association for Robust Audiovisual Instance Segmentation #音视频实例分割 #查询学习 #多模态模型 #注意力机制 #损失函数设计 ✅ 7.5/10 | 前25% | #音视频实例分割 | #查询学习 | #多模态模型 #注意力机制 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jinbae Seo（Yonsei University） 通讯作者：Jiyoung Lee（School of AI and Software, Ewha Womans University），Kwanghoon Sohn（Yonsei University, Korea Institute of Science and Technology (KIST)） 作者列表：Jinbae Seo（Yonsei University）、Hyeongjun Kwon（Yonsei University）、Kwonyoung Kim（Yonsei University）、Jiyoung Lee（Ewha Womans University）、Kwanghoon Sohn（Yonsei University & KIST） 💡 毒舌点评 这篇论文精准地指出了现有音视频实例分割（AVIS）方法中“视觉偏见”的核心痛点（均匀加法融合和纯视觉训练目标），并用两个直观且有效的模块（交叉注意力的查询生成与序数回归的计数监督）予以解决，实验增益明确。然而，其创新性相对局部，本质上是AVISM框架的“插件式”改进，且最大性能提升（Swin-L骨干）仍依赖于更强的预训练视觉模型，未能完全摆脱对视觉主导性的依赖。 ...