ICASSP 2026 - 脑信号编码
共 1 篇论文
| 排名 | 论文 | 评分 | 分档 |
|---|---|---|---|
| 🥇 | Improving Multimodal Brain Encoding Model with Dynamic Subje | 8.0分 | 前25% |
📋 论文详情
🥇 Improving Multimodal Brain Encoding Model with Dynamic Subject-Awareness Routing
🔥 8.0/10 | 前25% | #脑信号编码 | #混合专家 | #多模态模型 #动态路由
👥 作者与机构
- 第一作者：Xuanhua Yin（悉尼大学计算机科学学院）
- 通讯作者：Runkai Zhao（悉尼大学计算机科学学院）和 Weidong Cai（悉尼大学计算机科学学院）
- 作者列表：Xuanhua Yin（悉尼大学计算机科学学院）、Runkai Zhao（悉尼大学计算机科学学院）、Weidong Cai（悉尼大学计算机科学学院）
💡 毒舌点评
亮点：论文巧妙地将混合专家模型中的“门控”从单一输入驱动，改造为融合了稳定“被试先验”和动态“令牌上下文”的双路径路由，这一设计在解决跨被试异质性问题上既直观又有效，且实验验证了其相对于单一路由方式的优越性。短板：整个惊人的性能提升（如在ImageBind上r从0.131提升至0.221）完全建立在“Algonauts 2025”这一个基准和仅4名被试上，在未见数据集或更多被试上效果如何存在疑问，这削弱了其宣称的“通用性”和实际影响力。
📌 核心摘要
- 要解决的问题：在多模态（视、听、文）fMRI脑编码任务中，相同的刺激在不同被试中会引发系统性的神经响应差异（即跨被试变异性）。传统的群体级解码器难以捕捉这种个性化差异，导致泛化能力差。
- 方法核心：提出AFIRE（无关多模态fMRI响应编码框架）和MIND（混合专家集成解码器）。AFIRE作为一个标准化接口，将不同多模态编码器（如TRIBE, ImageBind）的输出转换为时间对齐的后融合令牌。MIND则是一个稀疏混合专家网络，其核心是SADGate（主题感知动态门控），该门控结合了基于当前令牌的动态路由和学习的被试特异性先验，并通过Top-K稀疏选择激活少数专家进行预测。
- 与已有方法相比新在哪里：1) 解耦设计：AFIRE将上游多模态融合与下游解码分离，使MIND解码器可以“即插即用”于不同编码器。2) 个性化路由：SADGate首次在脑编码中引入结合了稳定被试先验和动态令牌信息的稀疏路由机制，更精细地建模了被试间差异的“静态”和“动态”成分。
- 主要实验结果：在Algonauts 2025数据集上，使用三种不同骨干网络（TRIBE, ImageBind, Qwen2.5-Omni）进行评估。MIND解码器在所有指标上均优于强基线。具体性能提升如下表所示（均值，跨S1-S5被试）：
| 骨干网络 | 方法 | Pearson r | Spearman ρ | R² | ISG |
|---|---|---|---|---|---|
| TRIBE | Baseline | 0.256 | 0.240 | 0.081 | 0.187 |
| w. MIND | 0.273 | 0.259 | 0.092 | 0.241 | |
| Δ (vs. Baseline) | +0.017 | +0.019 | +0.011 | +0.054 | |
| ImageBind | Baseline | 0.131 | 0.121 | 0.026 | 0.097 |
| w. MIND | 0.221 | 0.203 | 0.064 | 0.162 | |
| Δ (vs. Baseline) | +0.090 | +0.082 | +0.038 | +0.065 | |
| Qwen2.5-Omni | Baseline | 0.125 | 0.130 | 0.025 | 0.103 |
| w. MIND | 0.220 | 0.205 | 0.059 | 0.162 | |
| Δ (vs. Baseline) | +0.095 | +0.075 | +0.034 | +0.059 |
消融实验证明了“令牌路由器”和“先验路由器”结合的必要性，二者单独使用效果均不佳。 5. 实际意义：提供了一个模块化、可扩展的框架，使得可以快速集成新的多模态编码器来提升脑编码性能，并为理解大脑如何个性化处理多模态信息提供了计算模型和可解释的专家路由模式。 6. 主要局限性：1) 实验规模有限（仅一个数据集，4名被试），结论的普适性有待验证。2) 性能高度依赖上游编码器输出的“后融合令牌”质量。3) 引入混合专家模型增加了推理时的计算成本。