Merit:让每个输入都挣得自己的那份多模态注意解码
针对鸡尾酒会中从脑电解码注意对象的问题,Merit 用去均值相关打分堵住音频捷径,用分流打乱与 Shapley 值度量每个输入的贡献,在 MAESTRO 上达到四选一 0.82 与未见被试 0.74 的准确率,同时发现加入行为信号流会让脑电的贡献几乎减半。
针对鸡尾酒会中从脑电解码注意对象的问题,Merit 用去均值相关打分堵住音频捷径,用分流打乱与 Shapley 值度量每个输入的贡献,在 MAESTRO 上达到四选一 0.82 与未见被试 0.74 的准确率,同时发现加入行为信号流会让脑电的贡献几乎减半。
该论文用 30 人 128 通道、超 25 小时的三场景“声音气泡” 听觉注意脑电数据集,把传统单干扰人范式扩展到多人群组竞争,并用行为、信号质量、Alpha 节律与 mTRF 包络重建验证了数据可用性,最强证据是注意语音重建优势 Δr 为 0.0196、单试次准确率 0.717,但绝对相关仅约 0.026 且会议场景样本更少。
论文用三名被试每人约三十小时听法语播客的全脑功能磁共振数据,把解码做成在未见会话中用脑活动检索对应音频片段的任务,基线解码器随被试内训练量持续变好但只在三人单站点法语叙事条件下成立。
本文在脑磁语音检索中发现融合后前二分差越大在局部排名靠前时更可能是被修正的错误、靠后时反而更可能是修不好的错误,并用只改变融合权重的干预和保留局部与先验分数的选择性输出证明了该反转的机制与代价。
MOV-AAD 用 50 人、64 通道脑电加眼动和外周生理同步记录移动双人对话下的注意选择,验证了包络重建和注意分类的可行性,但轨迹解码只在 Alpha 频段有限成立。
针对被动听语音脑电转波形只优化声学的问题,SENSE 用电极几何图编码加只在一致试次上对齐冻结语义空间的调节,在 N400 数据上以检索等表示层证据支持语义对应,但波形可懂度仍有限且自然语音只验证到表示层。
在 T15 同一批缓存候选上,一次返回全表概率的 Jev 调用把测试词错率降到已发表权重下 7.46% 与重调权重下 6.93%,四组配对都领先两个 7B 打分器且 95% 上界最多落后 0.20 个点,代价是托管调用与传输主导的延迟。
针对脑电噪声下普通自注意力只能稀释无关特征的问题,AFA-Net 用时空卷积提局部特征再用差分注意力做全局减噪,在 KUL 2s 窗上报告 96.8% 准确率且仅用 0.03M 参数,代价是 DTU 上整体更低且部分窗口相对最强基线无显著优势。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
MAESTRO 用 16 人同步脑电、注视、瞳孔、第一视角视频、头动 IMU 和环境音频做四选一注意说话人分类,基线报告多模态在各窗口上相对单脑电提升约 5 至 13 个百分点,但包络削波伪影需经直方图均衡去除后结果才是保守下界。
针对自然听播客时颅内脑电解码问题,BAT-CLIP 把 DIVER-1 脑编码器同时向冻结 AudioCLIP 音频锚和文本锚做双向对比对齐,在六个线性探针任务上多数超过单模态变体,但句子起始检测出现明显下降且嵌入聚类分析只覆盖单个被试。
该研究用脑磁图在 5 名健康成人朗读 5 个真实短语时检验运动后贝塔反弹是否存在并受构音复杂度调制,最强证据是高复杂度短语组在左侧口部运动皮层的反弹更强,主要代价是样本小且未做统计检验、基线可能受残留调制污染。
该研究用 25 人 fMRI 区分干净与噪声语音,提出三阶段迁移解码框架 NeuroPAS-Net,在右侧中央前回达到 79.3% 准确率,并据此导出神经指标 NeuroPAS 对两种增强排序,但相关性经校正后并不显著且样本局限于年轻正常听力者。
该研究用同一被试三种发声方式的颅内脑电分别训练声谱重建解码器并做跨条件测试,以包络相关和句子排序可分性验证共享表征,最强证据是跨条件显著高于打乱零模型,而代价是想象条件句子特异性较低且非线性高相关不等于高可分性。
论文用先听后想象的配对范式采集单人超 21 小时 EEG,以音素诱发电位与加权 Canberra 距离检验听觉感知与想象言语在音素级是否一一对应,最强证据是对角最小与分离比提升 3.37 倍,代价是单被试与弱头皮信号带来的泛化限制。
针对非侵入感知语音解码中时空表征不足与跨被试泛化难的问题,论文提出融合 MEG 与 fMRI 并显式提取被试一致成分的 SICMD,以 43.5%、82.7% 和 93.4% 的 Top-1、Top-10 和 Rankacc 报告最高性能,代价是仍需目标被试的个性化微调与双模态配对数据。
针对跨被试听觉注意解码中被试差异导致泛化下降的问题,DisenEEG-Net 用并行时空 Transformer 编码加正交分解、充分信息瓶颈、对抗对齐与重构约束做特征解耦,在 KUL、DTU、AVED 三个数据集留一被试交叉验证下取得报告的最优精度,但长窗增益有限且 DTU 与 AVED 绝对精度仍偏低。
该研究以 60 名认知正常的粤语老年人自然听故事脑电为对象,用声学、分段、音位战术三套编码模型比较皮层追踪强度,发现主观认知抱怨越重,对亚音节语言特征和平淡语体的追踪越弱,而对声学包络的追踪相对保留,但丰富韵律的代偿解释仍待验证。
针对语音神经假体中 CTC 解码依赖约 320 GB 内存的加权有限状态机问题,LightBeam 用固定间隔的延迟融合把大模型引入首遍束搜索,在两套基准上降低内存到约 10 GB 并保持实时因子小于 1,代价是更频繁地调用大模型。
论文针对静态双人语音难以反映真实移动对话的问题,构建了 50 人、64 导脑电加眼动与多路生理同步的移动对话数据集,用重复词检测、包络与轨迹重建和被试间相关验证了注意信号可用性,代价是轨迹特征弱、个体与慢生理信号差异大。