Merit:让每个输入都挣得自己的那份多模态注意解码
针对鸡尾酒会中从脑电解码注意对象的问题,Merit 用去均值相关打分堵住音频捷径,用分流打乱与 Shapley 值度量每个输入的贡献,在 MAESTRO 上达到四选一 0.82 与未见被试 0.74 的准确率,同时发现加入行为信号流会让脑电的贡献几乎减半。
针对鸡尾酒会中从脑电解码注意对象的问题,Merit 用去均值相关打分堵住音频捷径,用分流打乱与 Shapley 值度量每个输入的贡献,在 MAESTRO 上达到四选一 0.82 与未见被试 0.74 的准确率,同时发现加入行为信号流会让脑电的贡献几乎减半。
论文用三名被试每人约三十小时听法语播客的全脑功能磁共振数据,把解码做成在未见会话中用脑活动检索对应音频片段的任务,基线解码器随被试内训练量持续变好但只在三人单站点法语叙事条件下成立。
本文在脑磁语音检索中发现融合后前二分差越大在局部排名靠前时更可能是被修正的错误、靠后时反而更可能是修不好的错误,并用只改变融合权重的干预和保留局部与先验分数的选择性输出证明了该反转的机制与代价。
针对被动听语音脑电转波形只优化声学的问题,SENSE 用电极几何图编码加只在一致试次上对齐冻结语义空间的调节,在 N400 数据上以检索等表示层证据支持语义对应,但波形可懂度仍有限且自然语音只验证到表示层。
在 T15 同一批缓存候选上,一次返回全表概率的 Jev 调用把测试词错率降到已发表权重下 7.46% 与重调权重下 6.93%,四组配对都领先两个 7B 打分器且 95% 上界最多落后 0.20 个点,代价是托管调用与传输主导的延迟。
该综述把目标说话人提取组织为音频、视觉、空间、文本语义、神经五类目标线索与判别到生成建模的演进,报告了混淆与失配等条件下的定量变化,并强调无统一最优线索与范式,需按传感、同步与部署约束选择与评估。
针对脑电噪声下普通自注意力只能稀释无关特征的问题,AFA-Net 用时空卷积提局部特征再用差分注意力做全局减噪,在 KUL 2s 窗上报告 96.8% 准确率且仅用 0.03M 参数,代价是 DTU 上整体更低且部分窗口相对最强基线无显著优势。
该文针对脑电伪影污染融合表示的问题,用差分注意力抑制共享噪声并用门控对齐融合语音,在 PME4 和 EAV 上以留一被试协议取得多模态显著提升,但未直接对比已有脑电语音融合系统。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
MAESTRO 用 16 人同步脑电、注视、瞳孔、第一视角视频、头动 IMU 和环境音频做四选一注意说话人分类,基线报告多模态在各窗口上相对单脑电提升约 5 至 13 个百分点,但包络削波伪影需经直方图均衡去除后结果才是保守下界。
针对自然听播客时颅内脑电解码问题,BAT-CLIP 把 DIVER-1 脑编码器同时向冻结 AudioCLIP 音频锚和文本锚做双向对比对齐,在六个线性探针任务上多数超过单模态变体,但句子起始检测出现明显下降且嵌入聚类分析只覆盖单个被试。
该研究用脑磁图在 5 名健康成人朗读 5 个真实短语时检验运动后贝塔反弹是否存在并受构音复杂度调制,最强证据是高复杂度短语组在左侧口部运动皮层的反弹更强,主要代价是样本小且未做统计检验、基线可能受残留调制污染。
针对端到端脑电引导目标语音提取在跨试次上因试次特异结构走捷径而失效的问题,论文提出冻结编码器的两阶段框架 TRUST-TSE,用同目标说话人负采样的对比预训练加置信度加权提取,在 KUL 上达到 62.27% 选择准确率、在 DTU 上达到 70.40%,代价是仍需处理部分脑电引导模糊片段的参考切换与加权。
该研究用 25 人 fMRI 区分干净与噪声语音,提出三阶段迁移解码框架 NeuroPAS-Net,在右侧中央前回达到 79.3% 准确率,并据此导出神经指标 NeuroPAS 对两种增强排序,但相关性经校正后并不显著且样本局限于年轻正常听力者。
该研究用假词听辨加功能磁共振比较性别、年龄、口音三种判断,显示双侧颞上区是共享声音核心但口音激活更强且各自另有外延区,代价是口音准确率最低且反应时最长、样本与刺激均为特定构造。
论文用单被试五十小时听觉脑磁图预训练的 Conformer 编码器,再到十八名新被试每任务约五分钟数据上微调做语音有无检测,证明任务内小幅提升而跨听觉感知与朗读产出任务提升更大,但个体差异和仅做检测任务限制了推广。
该研究用粤语声调外在归一化双任务加脑电时频分析回答负荷下如何维持知觉恒常,发现行为准确率不受视觉负荷影响,但顶枕 alpha 同步增强与高负荷前额 delta 去同步共同支撑主动控制,代价是视觉任务准确率下降与额外抑制资源投入。
针对 4 人并发下单线索易选错人的问题,NeuroMultiSpEx 用耳脑电并行提取包络时间线索与说话人身份线索再门控融合,在 PKU 耳脑电数据上达到 9.613 dB 的 SI-SDRi 并以 82.4% 的四分类注意准确率支撑提取,代价是依赖同组说话人且试验内划分的评测条件。
该研究用同一被试三种发声方式的颅内脑电分别训练声谱重建解码器并做跨条件测试,以包络相关和句子排序可分性验证共享表征,最强证据是跨条件显著高于打乱零模型,而代价是想象条件句子特异性较低且非线性高相关不等于高可分性。
针对试内自发注意切换导致的脑电噪声与神经延迟问题,SAGE 用双候选分离加脑电引导软门控、延迟补偿与不确定性保守平滑处理,在自发切换数据集上报告 8.67 dB SI-SDR、88.24% STOI 与 2.04 s 平均切换延迟,代价是依赖同步脑电与三阶段训练。