用脑电做线索,在音频编解码隐空间里直接生成目标说话人语音
NeuroCodec 把含脑电和混合语音的提取任务改为在冻结音频编解码器隐空间中生成目标隐变量,用图卷积脑电编码加跨模态注意与 Mamba 融合,并在 Cocktail Party 和 KUL 上以可懂度和听感得分验证,同时给出因果在线扩展的精度与实时因子代价。
NeuroCodec 把含脑电和混合语音的提取任务改为在冻结音频编解码器隐空间中生成目标隐变量,用图卷积脑电编码加跨模态注意与 Mamba 融合,并在 Cocktail Party 和 KUL 上以可懂度和听感得分验证,同时给出因果在线扩展的精度与实时因子代价。
针对植入式语音脑机接口数据少噪声大、常用音素加语言大模型流水线又重又丢信息的问题,论文提出两阶段轻量框架 BEST,用分层神经编码加音素字符融合再接到小型语音翻译器,在 Brain-to-Text’24 和’25 上以远小于基线的参数取得低词错率,并证明对齐比放大模型更关键。
论文解决只有一路目标语音时如何从脑电估计注意力强弱起伏,用逐窗包络跟踪相关作证据再以两状态隐马尔可夫模型做前后文整合,在 30 人 75 分钟听课数据上把 1 秒窗平均区分度从 0.547 提升到 0.832,代价是单人转折定位仍有二十多秒误差且需要足够的专注基线。
论文把听故事时的 fMRI 解码做成片段检索,用七帧时间卷积解码器 NOEMA 对齐文本加音频加语音三路目标,在两个数据集约 2000 候选中 Top-10 准确率超过 42%,代价是约 2.5 亿参数与被试内训练。
针对鸡尾酒会中从脑电解码注意对象的问题,Merit 用去均值相关打分堵住音频捷径,用分流打乱与 Shapley 值度量每个输入的贡献,在 MAESTRO 上达到四选一 0.82 与未见被试 0.74 的准确率,同时发现加入行为信号流会让脑电的贡献几乎减半。
论文用三名被试每人约三十小时听法语播客的全脑功能磁共振数据,把解码做成在未见会话中用脑活动检索对应音频片段的任务,基线解码器随被试内训练量持续变好但只在三人单站点法语叙事条件下成立。
本文在脑磁语音检索中发现融合后前二分差越大在局部排名靠前时更可能是被修正的错误、靠后时反而更可能是修不好的错误,并用只改变融合权重的干预和保留局部与先验分数的选择性输出证明了该反转的机制与代价。
针对被动听语音脑电转波形只优化声学的问题,SENSE 用电极几何图编码加只在一致试次上对齐冻结语义空间的调节,在 N400 数据上以检索等表示层证据支持语义对应,但波形可懂度仍有限且自然语音只验证到表示层。
在 T15 同一批缓存候选上,一次返回全表概率的 Jev 调用把测试词错率降到已发表权重下 7.46% 与重调权重下 6.93%,四组配对都领先两个 7B 打分器且 95% 上界最多落后 0.20 个点,代价是托管调用与传输主导的延迟。
该综述把目标说话人提取组织为音频、视觉、空间、文本语义、神经五类目标线索与判别到生成建模的演进,报告了混淆与失配等条件下的定量变化,并强调无统一最优线索与范式,需按传感、同步与部署约束选择与评估。
针对脑电噪声下普通自注意力只能稀释无关特征的问题,AFA-Net 用时空卷积提局部特征再用差分注意力做全局减噪,在 KUL 2s 窗上报告 96.8% 准确率且仅用 0.03M 参数,代价是 DTU 上整体更低且部分窗口相对最强基线无显著优势。
该文针对脑电伪影污染融合表示的问题,用差分注意力抑制共享噪声并用门控对齐融合语音,在 PME4 和 EAV 上以留一被试协议取得多模态显著提升,但未直接对比已有脑电语音融合系统。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
MAESTRO 用 16 人同步脑电、注视、瞳孔、第一视角视频、头动 IMU 和环境音频做四选一注意说话人分类,基线报告多模态在各窗口上相对单脑电提升约 5 至 13 个百分点,但包络削波伪影需经直方图均衡去除后结果才是保守下界。
针对自然听播客时颅内脑电解码问题,BAT-CLIP 把 DIVER-1 脑编码器同时向冻结 AudioCLIP 音频锚和文本锚做双向对比对齐,在六个线性探针任务上多数超过单模态变体,但句子起始检测出现明显下降且嵌入聚类分析只覆盖单个被试。
该研究用脑磁图在 5 名健康成人朗读 5 个真实短语时检验运动后贝塔反弹是否存在并受构音复杂度调制,最强证据是高复杂度短语组在左侧口部运动皮层的反弹更强,主要代价是样本小且未做统计检验、基线可能受残留调制污染。
针对端到端脑电引导目标语音提取在跨试次上因试次特异结构走捷径而失效的问题,论文提出冻结编码器的两阶段框架 TRUST-TSE,用同目标说话人负采样的对比预训练加置信度加权提取,在 KUL 上达到 62.27% 选择准确率、在 DTU 上达到 70.40%,代价是仍需处理部分脑电引导模糊片段的参考切换与加权。
该研究用 25 人 fMRI 区分干净与噪声语音,提出三阶段迁移解码框架 NeuroPAS-Net,在右侧中央前回达到 79.3% 准确率,并据此导出神经指标 NeuroPAS 对两种增强排序,但相关性经校正后并不显著且样本局限于年轻正常听力者。
该研究用假词听辨加功能磁共振比较性别、年龄、口音三种判断,显示双侧颞上区是共享声音核心但口音激活更强且各自另有外延区,代价是口音准确率最低且反应时最长、样本与刺激均为特定构造。
论文用单被试五十小时听觉脑磁图预训练的 Conformer 编码器,再到十八名新被试每任务约五分钟数据上微调做语音有无检测,证明任务内小幅提升而跨听觉感知与朗读产出任务提升更大,但个体差异和仅做检测任务限制了推广。