跨被试想象语音为何掉到随机水平：用动态多视角图偏置加对抗去被试化补回空间结构

英文题目：Subject-Invariant Dynamic Graph Modeling for Cross-Subject EEG Imagined Speech Decoding

会议身份：conference:interspeech:2026:conference-paper-id:duraisamy26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#对抗训练 #图神经网络 #Transformer #脑信号 #言语神经解码

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Saravanakumar Duraisamy：机构信息未能从会议 PDF 纯文本可靠映射
• Luis A. Leiva：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

跨被试想象语音脑电解码以64导2秒头皮脑电为输入，输出5类想象词标签，难点在于信噪比低、空间分布弥散且被试间频谱与连接模式差异大。方法链分四步推进：预训练EEG Transformer先提取长时序表征并按电极汇聚为通道令牌以保留空间身份；滑动短窗计算空间亲和与多频段相位锁定等动态多视角连接先验并做收缩平滑；图偏置注意力将先验以可学习混合权重注入注意力logits得到窗级嵌入；注意力池化融合成trial级向量后由词分类与梯度反转被试对抗分支联合优化。与把通道视为可交换输入的普通微调范式不同，该设计显式编码神经生理拓扑与时变交互并抑制被试捷径。在数据集1严格留一被试外协议评测下，完整模型的准确率为31.20%，高于微调EEGPT基线的准确率23.60%。结论仅限于5词封闭集与64导实验室采集，更大词表、少通道与跨设备外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

想象语音解码难在哪里，为何跨被试会塌？

输入是头皮脑电记录的想象语音段，目标是在未见过的新被试上判断其内心默念的是 5 个词中的哪一个。必须保留的信息是通道数与采样长度、被试划分方式、基线是否同样经过严格留一被试验证，以及准确率的均值与跨被试标准差。本文输出是一套可复述的建模与训练流程解读，重点讲清空间身份如何保留、动态连接如何计算并注入、对抗分支如何抑制被试信息。

想象语音与运动想象或稳态视觉诱发电位不同，其神经相关微弱、空间分布广、信噪比低，细微的策略差异、默念方式与皮层组织差异都会形成被试特异的空谱特征。

论文指出两类主流做法在此失效，一是把脑电切成时间补丁做变换器建模时把通道当作可交换输入，没有利用电极对应固定皮层投影这一约束，相邻电极反映功能相关脑区相关活动的结构就被丢掉了，二是标准自注意力只靠点积相似度决定交互，不显式编码电极间的神经生理关系，任务相关语音表示容易与被试特异模式混在一起。

教学例子是把 64 个电极想象成 64 个固定座位的麦克风，时间切分只管每支麦克风录了多久，若不记录谁坐在哪个座位以及座位间的距离关系，后续就无法利用邻近座位常听到同一声源这一先验。跨被试评估因此必须用留一被试交叉验证，每折留一个被试只做测试，其余被试做训练与验证，避免被试信息泄漏。

已有路线各解决了什么，还缺哪一块？

同输入同目标的已有工作包括卷积与循环网络、时空图卷积以及近年脑电基础模型。卷积循环路线擅长捕捉空时依赖，例如脑电网与卷积加双向长短时记忆被广泛用于脑电解码，但论文在严格跨被试条件下报告它们接近随机水平，说明仅靠局部时空滤波难以克服被试间谱动态与功能连接差异。

图神经网络路线把电极看作节点、边由空间邻近或连接度量定义，在多种脑电任务上提升了解释性与鲁棒性，但已有做法多用静态连接矩阵或只在被试内评估，没有同时处理动态性与跨被试不变性。

变换器基础模型路线如脑电预训练变换器、大脑模型与神经语言模型等，通过大规模预训练与长程时序建模在运动想象、癫痫检测与睡眠分期上表现较好，但论文在想象语音的严格留一被试协议下发现它们同样退化，神经语言模型与大脑模型接近 20% 即随机水平，脑电预训练变换器相对较好但也只有 20% 出头。这说明大规模预训练本身不足以抹平想象语音的被试差异。

同监督同运行阶段的对照因此聚焦于微调后的基础模型与传统可运行基线，而不是拿不可部署的事后最优值代替。缺失的一块是同时做到保留电极空间身份、建模时变而非静态连接、在留一被试下显式降低被试可分性，本文的三件套正是对准这三点。

论文把跨被试解码拆成哪三个待验证问题？

论文把任务形式化为五分类问题，每个试次是 64 通道 1000 采样点的 2 秒想象语音段，采样率 500 赫兹，2 个数据集各 15 名被试。第一个数据集来自 2020 年脑机接口竞赛，每个词重复 80 次、每被试 400 试次，64 导按国际 10-10 系统记录。第二个数据集同时含 overt 与 covert 记录，本文只用 covert 即想象部分，每类每被试 80 试次，用 64 通道无线系统记录。需要验证的第一个问题是空间结构保留，若把补丁 token 直接送注意力而不标明来自哪个电极，模型能否学到有意义的皮层组织，论文的假设是不能，因此需要电极对齐池化。

第二个问题是连接是否需要时变，若整段只算一张邻接矩阵，能否刻画想象语音的瞬态分布式协同，论文假设不能，因此需要把每段切成窗长 100、步长 50 的约 19 个重叠子窗逐窗算连接。第 3 个问题是被试捷径抑制，若共享嵌入仍能被分类器轻易判出被试身份，词分类增益是否会被被试特异模式稀释，论文因此用梯度反转对抗分支度量并压低被试可分性。

3 个问题分别对应消融中的图先验分支、动静态对照与有无梯度反转对照，评估统一在严格留一被试下报告均值与标准差，并用配对双侧检验比较相对微调后脑电预训练变换器基线的提升。

单试次如何走完输入到词标签与被试标签？

拿一个 64 通道 1000 采样点的预处理后试次为例，先经过预训练脑电变换器编码器得到补丁 token 序列，再按电极分组平均得到 64 个通道 token 并在最前拼接一个分类 token，形成 65 个 token 的集合表示。与此同时，归一化后的脑电被切成约 19 个 64 通道 100 采样点的短窗，每个窗计算空间亲和、锁相值、谱相干与包络相关等多视角邻接矩阵并堆叠，再可选用向训练折内对应被试均值先验的收缩平滑，最后为分类 token 补零行列以对齐 65 维。

3 路输入送入动态被试条件图注意力模块逐窗得到窗嵌入，再经注意力池化融合成一个试次嵌入，分别送词分类头做五分类、经梯度反转送被试分类头做被试判别，训练目标是两项交叉熵之和。下图是理解该分叉合流结构的关键，先看文字导读再对照像素细节。

为初学者准备的读图导读是先抓 3 条纵向支路再看 1 次汇合 1 次分叉，左侧是表示主链，中间是动态先验计算链，右侧是被试条件权重链，三者在图注意力处汇合，之后又在时序融合后分叉到两个监督头，这种合流与分叉对应了结构偏置与不变性约束的两个来源。

看图路径： 1. 先从左上脑电输入沿预处理到预训练编码器再到电极对齐池化的纵向主链走一遍；2. 再看中间绿色动态先验支路如何切窗堆叠多视角矩阵并做收缩去噪；3. 再看右侧粉色被试条件支路如何从被试编号得到混合权重；4. 最后看三路如何在中间粉色图注意力汇合再经时序融合分叉到词头与梯度反转被试头

论文图 1。原论文 Figure 1：“Overview of the proposed framework.”。

对照像素可见，左列从上到下依次是脑电输入、预处理加归一化、预训练编码器、电极对齐池化与拼接分类 token，中间绿框从切窗到多视角堆叠再到收缩与补分类 token，右列粉框从被试编号到被试嵌入再到多层感知机生成的混合权重，最下方大粉框明确写出按头加权的偏置求和与注意力 logits 计算式，继续向下是窗嵌入集合与注意力池化，最底部左右分叉为词头交叉熵与经梯度反转的被试头交叉熵，左下黄框注明对抗权重从 0 ramp 到 0.5。这一布局支持后文对每个组件输入输出与梯度路径的讲解。

注意力池化时序融合 × 分类 token 读出： 分类 token 读出负责在每个窗的图注意力输出中取出对应分类 token 的向量作为窗嵌入，注意力池化时序融合负责按式 7 对约 19 个窗嵌入做可学习加权平均得到试次嵌入，二者搭配的原因是单窗只反映局部连接、需要汇总全 1000 采样点演化，组合后得到同时携带空间连接与时序演化的试次表示再送词头与被试头。

需要强调的是全流程中每个数据集独立处理以避免跨数据集泄漏，每折的收缩用先验与验证划分都只来自训练被试，测试被试不参与任何统计量估计与超参数选择。

电极身份与多视角动态先验如何构造？

预训练编码器输出的补丁 token 带有强时序上下文但丢失了明确的电极归属，电极对齐步骤按每个电极关联的 token 集合取平均得到通道向量，堆成 64 乘隐维矩阵后再拼接分类 token 得到 65 乘隐维矩阵供图模块使用。这样做保留了通道可比性，后续注意力偏置矩阵的行列才能与物理电极一一对应。

动态先验的构造分 4 步，第一步按窗长 100 步长 50 切窗，第二步在每个窗内按频带滤波到 theta、alpha、beta、gamma 后计算锁相值、谱相干与包络相关，加上由电极坐标距离经径向基衰减得到的空间亲和，共同堆成每窗多通道邻接张量，第三步可选用收缩向训练折内被试均值先验插值以降低短窗估计方差，第 4 步为分类 token 补零行列。收缩系数与先验缩放因子在论文中分别取 0.2 与 0.5 附近最优，空间衰减系数取 0.5。

教学例子是把 2 秒想象过程看作约 19 帧快照，每帧内部电极间的同步模式都可能变化，只用整段平均相当于把电影压成一张合影，会抹掉瞬态协同。

电极感知切分池化 × 预训练时序编码： 预训练时序编码负责把 64 通道 1000 采样点的长时信号转成能刻画长程时序依赖的补丁 token 序列，电极感知切分池化负责把同属一个电极的 token 按式 1 取平均得到 64 个通道 token 以保留空间身份，二者搭配的原因是直接把通道当可交换输入会丢失固定皮层投影关系，组合后后续图注意力才能对准每个物理电极做连接偏置。

该组件的输入是归一化脑电与电极坐标，输出是对齐后的通道 token 矩阵与每窗多视角邻接张量，监督尚未介入，噪声来源主要是短窗估计方差与预处理残留，这也是引入收缩平滑的直接动机。

图偏置注意力与时序融合如何计算？

图偏置注意力的计算目标是在每个窗内让注意力偏向生理上合理的连接而不丧失数据驱动灵活性。对每个头与每个窗，先用被试嵌入经多层感知机加 softmax 得到的混合权重对多视角补零后矩阵做加权求和得到偏置项，再把查询键点积除以根维度后加上缩放系数与偏置的乘积作为 logits，softmax 后做值聚合，取分类 token 对应输出作为该窗嵌入。混合权重按批次、头数与视角数组织，使不同头可以偏好不同连接视角。

时序融合把约 19 个窗嵌入按可学习向量打分归一化后加权平均，得到试次嵌入，权重反映各时间段对词判别的相对贡献。这种先分窗建图再跨窗加权的 2 级设计，对应了空间交互与时间演化的解耦建模。若去掉偏置项则退化为普通自注意力，若把多窗换成整段单图则退化为静态图对照。

多视角动态连接先验 × 图偏置注意力： 多视角动态连接先验负责在每个长 100 跳 50 的短窗内计算空间亲和、锁相值、谱相干与包络相关等多类邻接矩阵，图偏置注意力负责把这些先验按头相关的混合权重加到注意力 logits 上再做 softmax，二者搭配的原因是纯点积自注意力不显式编码神经生理关系，组合后注意力既保持数据驱动灵活性又被引导向生理上合理的电极交互。

实现上图注意力堆叠 6 层、8 头、隐维 256、前馈 1024、丢弃 0.2，偏置强度 0.5，这些取值在超参数表中给出，训练时与主干联合微调而非冻结，梯度同时来自词损失与经反转的被试损失。

被试条件混合权重起什么作用？

除动态先验外，框架还有一条被试条件支路，它把被试编号映射为低维嵌入再经多层感知机生成每个头对各视角的混合权重。这条支路的输入是被试编号，输出是批次乘头数乘视角数的权重张量，作用是让不同被试或不同头自适应地强调空间、锁相、相干或包络相关等不同视角。需要区分的是该支路提供的是注意力偏置的组合系数，而不是直接提供分类依据，最终的被试不变性仍靠梯度反转分支实现。

论文图注中将其称为头条件器，文字部分强调混合权重可学习，收缩用的被试均值先验仅来自训练折，避免测试被试信息泄漏。从复现角度看，若实现简化版可以先用均匀或可学习但与被试无关的权重替代该支路，再逐步加入被试嵌入以观察增益，但原文未单独消融该支路，因此其独立贡献属于未验证部分，不应夸大。短窗先验本身已含被试特异成分，收缩与对抗分支共同控制其方差与偏差。

损失、梯度路径与优化如何组织？

训练包含两个监督头，共享表示是时序融合后的试次嵌入。词头做五分类交叉熵，被试头先经过梯度反转层再做被试分类交叉熵，总目标为两者之和，梯度反转层的对抗权重在训练中从 0 线性 ramp 到 0.5 以保证稳定。前向时反转层恒等，反向时把来自被试损失的梯度取负按权重传回编码器与图模块，使共享编码器朝有利于词判别、不利于被试判别的方向更新，而被试头自身仍正常最小化被试分类误差，形成对抗博弈。

优化器用 AdamW，批量 32，初始学习率 2 乘 10 的负 4 次方，权重衰减 1 乘 10 的负 4 次方，余弦衰减，最多 50 轮、验证损失 10 轮不降早停，梯度裁剪 1.0。基线微调指给每个预训练变换器接线性分类头并联合优化主干与头，本文方法则联合微调主干、电极池化、图偏置注意力与对抗头，每窗动态先验在每个 epoch 按窗计算并注入 logits。验证集只从训练被试中划分，测试被试完全留出。

论文未报告硬件型号与 wall-clock 成本，也未报告推理延迟与参数量增量，因此训练与部署开销属于缺项，只能按证据说明超参数与优化流程，不从模型名推定实现细节。

梯度反转层 × 被试分类头： 被试分类头负责从共享试次嵌入预测被试编号以暴露被试可分性，梯度反转层负责前向恒等、反向把梯度乘以负的对抗权重传回编码器，二者搭配的原因是只最小化词分类损失会保留被试捷径，组合后编码器被迫在提升词判别的同时让被试头难以区分，从而学到被试不变表示。

需要记住的梯度路径是词损失梯度正常回传全网，被试损失梯度经反转后回传共享部分，被试头参数本身不受反转影响，这种不对称是实现被试抑制的关键。

数据、预处理与评估条件如何保证公平？

2 个数据集各 15 被试、64 通道、500 赫兹、五词分类，试次长度均为 2 秒即 1000 采样点，第一个数据集每被试 400 试次，第二个数据集每类每被试 80 试次即每被试 400 试次，类别平衡因此随机水平约为 20%。统一预处理为 50 赫兹陷波、0.5 到 80 赫兹带通、独立成分分析去眼肌伪迹、2 秒想象段切分、1 秒刺激前基线校正，以及鲁棒截断加基于训练统计的 z 分数归一化。论文明确指出即使经过这些步骤，残留噪声仍是固有限制，且短窗连接估计可能依赖预处理选择。

评估采用严格留一被试交叉验证，每折一被试测试、其余训练并从训练中划分验证，2 个数据集独立处理。指标为跨留出被试的平均分类准确率即均值加减标准差，方向是越高越好，显著性用相对微调后脑电预训练变换器基线的配对双侧检验。主干选择阶段在相同训练设置下比较微调后的神经语言模型、大脑模型与脑电预训练变换器，常规基线包括脑电网、卷积加双向长短时记忆与时空图卷积，均在相同留一被试下运行。

复现时必须固定每折的训练统计归一化、收缩先验只用训练折、验证不碰测试被试，否则会引入泄漏而虚高。

主结果相对可运行基线提升了多少？

要回答的核心问题是在相同严格留一被试下，本文完整模型相对微调后基础模型与传统架构是否有稳定增益。公平条件是同数据集、同被试划分、同五分类任务与同准确率指标，指标方向越高越好。下表整理主干选择与完整模型对照，数值保留原表头百分号与裸值写法，额外两列给出每行共用的被试数与类别数以满足宽表解读而不引入新数值计算。

上表显示神经语言模型与大脑模型在 2 数据集上均在 20% 附近即随机水平，脑电预训练变换器微调后达到 23.60% 与 23.80% 左右，因此被选作后续图建模主干。未胜出项本身就是重要反例，说明大规模预训练并不自动带来跨被试想象语音泛化。主结果的完整对照见下一节消融表，这里先强调完整模型在数据集 1 与数据集 2 上分别达到 31.20% 与 30.36% 左右，相对脑电预训练变换器基线提升约 7.60 与 6.56 个百分点，且跨被试方差有所下降，配对检验报告双数据集显著。

静态图先验 × 动态窗先验： 静态图先验负责在整个 2 秒试次上算一张邻接矩阵并注入注意力，动态窗先验负责在约 19 个滑动窗上逐窗计算并逐窗注入，分工差异在于前者假设连接固定、后者允许瞬态分布式协同随时间演化，搭配比较的原因是想象语音被假设为瞬态交互，组合对照能验证时间分辨建模是否必要。

重提结果时需增加适用条件，该增益是在 64 通道、2 秒窗、五词封闭集与留一被试平均意义下成立，不等于每个被试都提升，也不承诺在更大词表或少通道下同样成立。

图先验与对抗分支各自贡献了什么？

要拆解的问题是结构偏置与被试不变优化是否互补。比较条件保持主干、数据划分与指标一致，仅开关图偏置注意力与梯度反转分支，分为仅变换器基线、加图不加对抗、加对抗不加图、两者全加 4 种可运行策略。下表保留原表头单位与裸值，另附被试数与类别数列以达到五列可读性。

表后解释是 2 分支单独均能提升基线，加图分支在 2 数据集上分别到 28.30% 与 27.60% 左右，加对抗分支到 27.40% 与 26.90% 左右，全模型进一步到 31.20% 与 30.36% 左右且方差更小，论文报告相对基线与相对最强中间变体均显著。代价与反例是单分支增益小于组合增益，说明缺任一约束都会留下短板，同时即使全模型绝对值仍仅 30% 左右，距离实用仍远。

另一组特有细节是动静态对照与超参数鲁棒性，静态整段单图仅 24.86% 与 24.33% 左右，动态窗先验明显更高，先验缩放因子在 0.5 附近最优、过大则下降，收缩系数 0.2 改善短窗稳定性，这些共同支持瞬态交互假设。被试不变性验证显示无对抗时被试识别可达 18.23% 远高于 6.67% 随机水平，加对抗后降到 7.00% 接近随机，表明被试信息被有效抑制但未完全消除。

哪些边界未测、哪些推测不能做？

论文直接报告的是 30% 左右的跨被试准确率、动态优于静态、双分支互补、被试可分性接近随机，以及传统卷积循环图基线在留一被试下接近随机而本文方法显著更高。这些属于报告与显示，可用支持表达。有限解释是动态增益被解释为捕捉瞬态神经交互，收缩改善被解释为降低短窗方差，这些有对照支持但仍需更多频带与窗长扫描才能确立因果。

未验证推测包括更大词表、更少通道、不同导联排布下的表现，以及对抗之外再加被试自适应是否能进一步逼近完全不变，论文在局限中明确列出这些方向并指出绝对精度仍不实用。缺失证据不是技术错误，但不能承诺未测量的误判率、延迟、功耗或临床可用性得到改善，训练资源与推理开销也未报告，因此不能从总体趋势推广到每被试每步都成立。

预处理依赖是另一边界，短窗锁相与相干估计对滤波与伪迹去除敏感，复现时若更换独立成分分析策略或频带划分，动态先验的数值会变化，需重新调缩放与收缩。被试分类从 18.23% 降到 7.00% 虽接近 6.67% 随机水平，但仍高于随机，说明完全不变并未实现。

上表把动静态对照与被试可分性放在一起，目的是说明结构动态性与不变性约束分别解决不同失败模式，前者解决固定连接假设不足，后者解决被试捷径问题，但两者都未把问题彻底解决，绝对性能与完全不变仍有差距。

复现先做什么，需要哪些信息条件？

复现的第一步是按原文独立准备 2 个数据集的严格留一被试划分，每折留一被试测试、其余训练并从训练中划分验证，2 个数据集绝不混用，被试均值收缩先验与归一化统计只用训练折估计。预处理按 50 赫兹陷波、0.5 到 80 赫兹带通、独立成分分析、2 秒切分、1 秒基线校正与基于训练统计的归一化实现，并记录独立成分分析的伪迹剔除标准以便回溯短窗连接差异。

第二步实现电极对齐池化与切窗流程，窗长 100 步长 50 约 19 窗，通道 64 采样点 1000，隐维 256、8 头、6 层图注意力、前馈 1024、丢弃 0.2，偏置缩放 0.5、收缩 0.2、空间衰减 0.5，批量 32、学习率 2 乘 10 的负 4 次方、权重衰减 1 乘 10 的负 4 次方、余弦衰减、50 轮早停 patience 为 10、梯度裁剪 1.0、对抗权重 0 到 0.5 线性 ramp。第三步先复现 3 类可运行基线，即微调后脑电预训练变换器、传统脑电网与卷积循环时空图卷积的留一被试结果，确认基线在 20% 到 20% 三附近，再逐步加入图分支与对抗分支以复现消融阶梯。

资源状态方面，本次收到的证据中没有发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码模型或数据已公开，复现应按论文文字与超参数表自行实现并保留随机种子与划分文件。还需补的验证是窗长步长扫描、频带定义敏感性、少通道与跨数据集泛化，以及推理延迟与参数量测量，这些在原文中属于缺项。

何时值得尝试这种组合，何时不必？

当任务是跨被试脑电分类且确信电极对应固定皮层投影、交互具有瞬态性、且被试特异模式可能成为捷径时，值得尝试电极对齐加动态多视角图偏置加对抗去被试化的组合。复现优先级是先保证严格留一被试与训练统计隔离，再调通动态先验计算与偏置注入，最后加入梯度反转并监控被试可分性是否从远高于随机向随机靠近，同时观察词准确率是否同步上升。

若被试可分性下降但词准确率不升，说明不变性约束可能压掉了任务信息，需回调对抗权重 ramp 或检查融合权重。若数据是被试内评估、通道数极少或试次极短导致短窗估计方差过大，则不必强行使用多视角动态图，静态图或更强正则可能更稳。

论文特有的误解需要澄清，一是把注意力曲线向下直接当性能变差是错的，需先看纵轴是原始准确率还是被试可分性，前者越高越好、后者越接近随机越好，二是把末折最优当可部署收益是错的，必须用跨折均值与标准差以及配对检验判断，三是把对抗后被试接近随机当完全不变是错的，7.00% 仍高于 6.67% 且绝对词精度仅 30%，跨被试到实用的鸿沟仍在。

总体上该方法为想象语音跨被试解码提供了可复述的结构化连接与不变性训练范式，但其价值应在更大词表、更少通道与真实延迟测量中进一步验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总