英文题目：CAT-Net: A Cross-Attention Tone Network for Cross-Subject EEG-EMG Fusion Tone Decoding
会议身份：
conference:aaai:2026:conference-paper-id:38870
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#注意力机制 #领域适应 #多模态学习 #言语神经解码 #静默语音接口
评分：7.3/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Yifan Zhuang：机构信息未能从会议 PDF 纯文本可靠映射
- Calvin Huang：机构信息未能从会议 PDF 纯文本可靠映射
- Zepeng Yu：机构信息未能从会议 PDF 纯文本可靠映射
- Yongjie Zou：机构信息未能从会议 PDF 纯文本可靠映射
- Jiawei Ju：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
面向普通话四声调分类，输入为同步采集的脑电与面部肌电时序信号，输出为声调标签，难点在于音高相关神经信号微弱且空间弥散，而肌电与脑电存在个体差异与模态错位，静默发音时更缺乏声学监督。方法链分为三步：首先由模态独立的空间时间编码器分别提取脑电与肌电的通道组合与双向时序依赖并压缩序列，其次由双向交叉注意力让两种模态以对方键值查询互补特征并池化为统一融合向量，最后由声调分类器输出预测并经梯度反转层 Gradient Reversal Layer / GRL接域判别器学习被试不变表示。与简单拼接或单模态自注意力相比，该机制显式建模神经意图与外周构音执行的双向依赖并解耦类别与被试因素。在10人自采数据的5折交叉验证中，静默条件平均准确率达88.08%，留一被试跨被试评估仍保持85.10%，显著高于同场基线。结论目前仅限于10名健康母语者、受控实验室范式与四分类声调任务，未验证残障人群、连续语音与跨设备外推。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源：https://github.com/YifanZhuang/CAT-Net — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，今天要核对什么？
本文解读的对象是一项脑机接口语音解码研究，输入是同步采集的头皮脑电与面部肌电时间序列，目标是对普通话 4 个声调做分类，并在出声朗读与默读两种条件下都给出精度。初学者可以这样理解任务难度：4 个声调的音素可以完全相同，仅靠基频轮廓的升降与曲折区分词义，因此分类器不能依赖音素身份，必须从神经与肌肉信号中读出细微的音高控制差异。论文报告的实验规模是 10 名健康母语者，每人每种条件完成 480 个试次，全文共 4800 个脑电试次与 4800 个肌电试次，采集时使用 64 通道脑电与 5 处口面部肌电，但后续主实验只保留 20 个脑电通道加 5 个肌电通道，用以验证少通道是否可行。
本解读的输出是一份可核对的方法复述，重点保留可重放的信息：样本如何组织、每个分支做了什么计算、融合如何交换信息、训练用了哪些损失与权重、评估采用五折还是留一被试、指标是精度还是 Kappa。凡是教学用的比方都会标明为例子，不作为论文的结论。凡是论文未报告的实现细节会明确说缺项，不从模型名字反推。阅读顺序按学习依赖展开，先建立任务与相关路线，再走一遍从一个试次到预测的完整路径，然后讲训练与实验条件，最后用结果与消融反证每个组件的作用。
已有路线解决了什么，还剩下哪三处短板？
第一条路线是单模态脑电解码，常用 EEGNet 与 DeepConvNet 这类轻量卷积网络做 baseline。原文回顾指出，黎曼流形特征在普通话声调上曾报告 42.9% 的精度，端到端卷积神经网络把精度提高到 68% 左右，但脑电空间分辨率有限，对第二声上扬与第四声下降这类轮廓相近的声调仍容易混淆。这说明仅靠中枢信号做细粒度音高分类存在表征瓶颈，尤其在伪影与个体差异较大时更不稳定。
第二条路线是肌电辅助的构音解码，例如用并行 Inception 卷积网络在普通话短语分类上报告 90.76% 的精度，以及把面部表面肌电直接合成为可听语音的工作。这类工作的输入与目标与本文最接近：同为口面部肌肉信号、同为在无声或弱声条件下恢复言语信息。原文还提到把脑电与表面肌电联合起来做序列到序列语音合成的工作，在 8 名说话人上报告平均字错率 7.22%，说明多模态联合确实能提供互补信息。但这些工作多用拼接或晚融合，没有显式建模两种模态在时间上的双向依赖。
第 3 条路线是跨被试泛化，常用条件域对抗网络与深度表示域自适应等方法，思路是让特征提取器学到与被试无关的表示。原文指出把多个源域当成一个统一域可能不是最优，并引用肌电静音语音识别与非平稳脑电分类中的对抗判别器做法。本文与它们同输入、同目标、同运行阶段的对照点在于：都需要在未见被试上保持精度，而不是只在同一批人内做交叉验证。综合 3 条路线，原文归纳的剩余短板是通道数过多不便佩戴、融合机制过于简单、跨人下降严重，这正是后文方法要逐一回应的设计动机。
要解决的具体问题与必须一致的比较条件是什么？
具体问题可以表述为：在只用 20 个脑电通道与 5 个肌电通道的条件下，对出声与默读两种发音方式分别完成四分类声调解码，并要求在未见被试上精度不大幅滑落。输入的一个试次是配对的脑电与肌电记录，标签包括声调标签与说话人标签，声调取值为第一声到第四声。输出是声调预测，附加的域判别分支只在训练时起正则作用，推理时不作为输出。
公平比较需要固定 4 个要素。数据与协议方面，所有方法都应使用相同的试次划分与相同的两种发音条件，不能把出声数据训练的模型直接与默读数据测试的模型混比。模型与基线方面，不使用肌电的基线在原文中被统一处理为把脑电与肌电信号拼接后作为输入，以保证输入信息量一致。实验阶段方面，五折验证回答同一批人内的拟合与泛化能力，留一被试回答跨人泛化能力，两者不能互相替代。
指标方面，平均精度越高越好，Kappa 越高越好，F1 与召回率用于检查模型是否在某个声调上偏科。初学者常犯的错误是只看平均精度，本文后文会专门用第二声与第四声的单类精度说明偏科问题。
一个试次如何走完从信号到声调预测？
先沿一个样本走完全程。假设取出 1 名被试在默读条件下的 1 次试验，原始采样率为 1000 赫兹的脑电与肌电先被降采样到 500 赫兹并做滤波与去伪影，截取刺激前后共 4 秒的 epoch，再统一截成长度为 500 个时间点的序列。每个原始通道还计算 1 阶时间差分，用当前点减前一点来突出快速瞬变，第一点因无前一点而舍去，有效长度变为 499，同时把原始流与差分流在通道维拼接，因此特征维出现 2 倍关系。举例来说，这只是教学例子：若某通道在相邻两点电压略有上升，差分通道就记录这个增量，帮助后续网络更快看到肌肉爆发或神经峰电。
接下来两条模态分支各自独立做空间与时间编码，先用逐点卷积在每个时间步上学习通道组合，再用池化与通道注意力筛选特征，最后用双向长短期记忆网络建模声调轮廓的前后依赖。两条分支的输出进入交叉注意力模块，脑电作为查询去加权肌电的键与值，肌电作为查询去加权脑电的键与值，得到 2 个方向的交互特征后再池化、拼接并映射为 128 维融合向量。该向量一分为二，一路送入声调分类器输出 4 个声调的概率，一路经梯度反转层送入被试判别器，训练时迫使主干抹掉被试身份信息。
下图是论文给出的整体结构，可对照上述主路径理解双分支在哪里汇合。
看图路径： 1. 先沿左侧双分支从输入经时序建模指向中间线性映射，确认脑电与肌电是两条独立路径；2. 再看中间特征交互与融合框内上下两个多头交叉注意力块的查询键值箭头方向是否相反；3. 观察每个注意力块内部矩阵乘法 Softmax 再矩阵乘法与线性映射的顺序；4. 核对底部 Temporal modeling 与 Feature Interaction & Fusion 两个大标题的分界
论文图 1。原论文 Figure 1：“The architecture of our proposed CATNet.”。
从像素可见，左侧为两路时序建模框，每路标注了双向长短期记忆单元与输出形状 4800 乘 249 乘 128，中间经线性映射分别产生查询、键、值，随后进入上下两个多头交叉注意力块，每个块内依次为矩阵乘法、Softmax、再矩阵乘法与线性映射。上下两块的查询来源相反，正好对应脑电查肌电与肌电查脑电的双向设计。该图只展示特征交互与融合部分，后续分类器与域判别器在文字与算法表中交代，读图时不要把线性映射误认为分类层。
空间编码与通道注意力做了什么计算？
空间编码的第一步是对每个时间步做逐点卷积。白话解释是：同一时刻所有通道的数值被当成一个向量，与权重矩阵相乘得到新的特征向量，卷积核尺寸为 1 意味着不跨时间混合，只做通道间的线性组合加非线性。脑电与肌电各用一套独立权重，特征维分别设为 64 与 128。随后用核为 2 步长为 2 的最大池化把序列长度从 499 压缩到 249，目的是保留峰值特征并降低计算量。
\[Ht = ReLU(XtWconv) ∈R1×F\]上式中 Xt 表示 t 时刻的输入行向量，Wconv 为空间组合矩阵，Ht 为该时刻的空间特征，ReLU 提供非线性。符号与输入的关系是：输入来自原始加差分拼接后的多通道序列，输出是每个时间步的稠密特征。计算目标是学出一组通道组合方式，把分散在多个电极上的声调相关成分投影到更紧凑的特征空间。原文未给出卷积权重的初始化与正则细节，这是复现时需要核对的缺项。
第二步是借自卷积块注意力模块的通道注意力。做法是对时间维分别做全局平均池化与全局最大池化，得到平均尺度向量与峰值向量，再各自经过两层全连接与 Sigmoid 得到 0 到 1 之间的权重，相加后广播到时间维并与特征逐元相乘。平均池化捕捉整体能量，最大池化捕捉 spikes，例子是：若某特征在大多数时刻都中等激活但偶发高峰，两路池化能同时保留这两种证据。
\[˜H = s′ ⊙H ∈RT ×F\]上式中 H 为池化前的时空特征，s 撇为合并后的通道权重，波浪 H 为加权后的特征。输入是逐点卷积加池化后的序列，输出是被重新加权的同形序列。计算目标是放大信息通道、抑制噪声通道。需要区分的是，此处的通道指卷积后的特征通道，而不是原始电极通道，但论文进一步把早期脑电分支的注意力权重聚合到电极层面，用于后续选择前 20 个电极。
脑电 × 肌电： 脑电负责捕捉言语计划、音系处理与反馈相关的中枢神经活动，分工是提供意图层面的时间动态；肌电负责记录面部与颌部肌肉在声调发音中的外周执行模式，分工是提供与基频轮廓直接相关的构音证据；二者搭配的理由是中枢信号空间分辨率有限而外周信号补充了发音执行差异，组合意义在于让模型同时看到想说什么与如何用肌肉实现声调，从而改善第二声与第四声这类易混对的区分。
时序建模与双向交叉注意力如何交换信息？
时序建模采用双向长短期记忆网络，输出特征数为 64，前向与后向各 64 维拼接后为 128 维时间序列表示。白话解释是：网络从左到右读一遍序列记住上扬或下降的前文，再从右到左读一遍记住后文，拼接后每个时刻都同时看到过去与未来。选择该结构而不用完整 Transformer 编码器的理由在原文中明确为更稳定且数据效率更高，这对只有数千试次的脑电肌电数据很重要。输入是加权后的空间特征序列，输出是长度仍为 249 左右、每步 128 维的时序表示，分别记为脑电编码与肌电编码。
交叉注意力的输入是上述两个编码，每个模态各自学习查询、键、值 3 个投影矩阵，投影维度为 32 并使用 4 个头。核心操作是脑电的查询与肌电的键做相似度并经 Softmax 归一化，再加权肌电的值；反方向同理。白话例子是：当脑电在某个时间段出现与第二声相关的上升模式时，注意力会给同时段肌电中颧肌或咬肌活动更强的时刻更高权重，反之亦然。每个方向输出仍为时间序列，经层归一化稳定梯度，再分别做全局平均池化与最大池化并拼接为 256 维，经全连接压缩到 128 维用于分类。
\[C(e,m) = MHA(Q(e,m), W (m,e), K(m,e))\]上式中 Q 为查询，W 与 K 为对方模态的投影与键，上标区分方向，多头注意力负责并行学习多组不同的对齐模式。输入是双向长短期记忆网络的输出，目标是得到跨模态加权后的交互特征。原文明确给出头数为 4、键值维度为 32、输出时间维与 128 维的对应关系，未给出 Dropout 与注意力温度等细节，复现时应按代码核对。
交叉注意力 × 拼接融合： 拼接融合的分工是把两种特征向量直接连起来交给分类器，搭配理由简单但无法建模谁在何时更重要；交叉注意力的分工是让脑电去查询肌电的键与值、同时让肌电去查询脑电的键与值，搭配理由是神经与肌肉配合具有方向性和时变性，组合意义在于用动态权重实现双向信息筛选，替代了静态拼接，使融合后的表示保留跨模态协调模式。
通道注意力 × 通道选择： 通道注意力的分工是在训练中自适应地给每个特征通道加权，突出平均响应与峰值响应都强的通道；通道选择的分工是把聚合后的权重排序并只保留前 20 个脑电通道用于后续实验，搭配理由是高密度 64 通道佩戴复杂而不适合日常使用，组合意义在于用数据驱动的重要性代替人工先验，在压缩通道数的同时尽量保留额叶、中央与顶叶等与声调相关的区域。
损失如何组织，哪些参数更新，梯度经过哪里？
训练的输入是一个小批量，包含脑电批量、肌电批量、声调标签与被试标签。算法流程可复述为：先用两个结构相同但权重独立的编码器得到脑电与肌电表示，再做 2 个方向的交叉注意力并融合成 128 维向量，随后分别送入声调分类器与经梯度反转的域判别器，计算焦点损失与域交叉熵损失并加权求和后反向传播。优化器为 Adam，论文还提到用指数滑动平均更新每个类别中心，但算法伪代码与总损失公式在中心损失的写法上存在排版不一致，解读时以文字描述为准：焦点损失权重为 1，域损失权重为 0.05，另有一项与类别中心相关的加权项。
焦点损失的超参数在原文中明确为伽马等于 2，类别平衡向量为 0.2、0.3、0.2、0.3，分别对应第一声到第四声。安排理由是更混淆的第二声与第四声需要更大权重以增强区分，同时不让第一声与第三声被忽视。域判别分支的前向保持不变，反向把梯度乘以负拉姆达，从而让判别器学会识别被试而主干被迫学到被试不变表示。需要指出，原文未报告学习率、批量大小、训练轮数与早停策略，这些是复现必须补看代码的缺项，不能从模型名称推定。
域对抗训练 × 跨被试泛化： 域对抗训练的分工是通过梯度反转层让主干特征既能分清声调又难以被判别出被试身份，搭配理由是不同人的解剖、阻抗与皮层激活模式带来系统性偏移；跨被试泛化的分工是用留一被试方式检验模型在未见人上的精度，组合意义在于把减小被试特异方差变成显式优化目标，而不是只靠主干容量去硬记训练被试的分布。
焦点损失 × 域判别损失： 焦点损失的分工是监督 4 类声调的分类，对易混的第二声与第四声赋予更高的类别权重以减少误判；域判别损失的分工是监督被试判别器去识别特征来自哪一个被试，再经梯度反转反向压制主干的被试可分性，搭配理由是声调判别与被试不变性是两个不同目标，组合意义在于用加权总目标同时保持类间可分与域间混淆。
数据、范式、预处理与通道选择如何固定？
被试为 10 名 24 至 35 岁的健康普通话母语者，实验前 24 小时避免咖啡与酒精，保证睡眠并清洁头皮，签署知情同意并经伦理委员会批准。刺激为 4 个声调类别，每个类别精选 30 个汉字并平衡词频与音系特征，每个汉字重复呈现 4 次，伪随机与全平衡顺序呈现以减轻习惯化。每个试次中央呈现汉字 1.5 秒，被试按当前条件做默读或出声，试次间隔为 1.5 到 3 秒的抖动间隔以减少预期响应。全量刺激在两种发音条件下各呈现一遍，每种条件共 480 个试次，10 人合计即每种模态 4800 个试次。同步记录使用 64 通道无线脑电与 5 处口面部肌电，肌电位置包括右侧颊肌、右侧颈部斜方肌、左侧颊肌、左侧颈部斜方肌与颏肌，采样率为 1000 赫兹。
预处理方面，脑电与肌电均降采样到 500 赫兹，使用 4 阶巴特沃斯带通与 50 赫兹陷波滤波并做共平均参考。脑电额外用独立成分分析去除眼电与肌电伪影，两种信号均截取刺激前后各 2 秒的 epoch，并用刺激前 2 秒到 0 秒做基线校正。上述步骤固定了输入的时间范围与噪声抑制方式，是后续比较公平性的基础。评估分为五折交叉验证与留一被试两种阶段，前者回答同一批人内的精度，后者把 1 名被试全部留作测试、其余 9 人训练，回答跨人泛化。
通道选择依据通道注意力权重的地形图，下图展示了聚合后的电极重要性分布。
看图路径： 1. 先确认这是俯视头皮地形图并找到右侧从 0.825 到 1.230 的颜色条；2. 再对比前部 F1 与 P3 附近暖色高权重区与中央 Cz 与枕部 POz 附近冷色低权重区；3. 逐个核对 Fz FCz Cz CPz Pz 等中线电极点的标号与颜色倾向
论文图 2。原论文 Figure 2：“EEG channel weight calculated by Channel- Attention block.”。
从像素可见，暖红色高权重集中在左侧额叶 F1 附近、左侧中央 C3 附近与顶叶 P3 附近，中线中央 Cz 与枕部 POz 附近为冷蓝色低权重，右侧颜色条标注权重范围约从 0.825 到 1.230。论文文字据此总结为额叶、中央与顶叶贡献更大，并与前额与顶叶参与声调音节感知的既有研究一致，同时强调中央区的作用。基于该排序，论文比较了前 5、前 10、前 20 与全通道的精度，发现 20 通道已接近全通道，因此后续主实验固定为权重最高的前 20 个脑电通道加全部 5 个肌电通道。
主结果在什么条件下比过谁，强在哪里？
比较的问题是：在固定 20 个脑电通道与默读条件下，CAT-Net 的单类精度、平均精度与 Kappa 是否优于把脑电肌电拼接后输入的现有基线。公平条件是所有方法使用相同试次与相同输入信息量，复现的基线包括端到端卷积网络、VLAAI、EEGNet、DeepConvNet、滤波器组共空间模式加支持向量机、图注意力网络、深度表示域自适应与脑电 Transformer。指标方向为平均精度与 Kappa 越高越好，单类精度用于检查易混声调。
| VLAAI | 94.21 | 39.34 | 69.84 | 49.98 | 61.12 | 0.5515 |
|---|---|---|---|---|---|---|
| EEGNet | 98.10 | 83.15 | 84.75 | 75.62 | 85.29 | 0.8037 |
| DeepConvNet | 99.57 | 82.69 | 83.75 | 81.79 | 86.56 | 0.8125 |
| FBCSP+SVM | 87.30 | 41.01 | 39.04 | 37.24 | 51.65 | 0.3553 |
| GAT | 97.72 | 73.18 | 88.56 | 74.33 | 83.62 | 0.7888 |
| DRDA | 99.71 | 83.27 | 80.22 | 61.01 | 81.23 | 0.7802 |
表中可见 CAT-Net 在默读条件下的平均精度为 88.08% 与 Kappa 为 0.8415，均为所列方法中最高，次优为 DeepConvNet 的 86.56% 与 0.8125。单类上 CAT-Net 在第三声与第四声取得领先，第四声精度 83.10% 明显高于深度表示域自适应的 61.01% 与图注意力网络的 74.33%，这支持了交叉注意力对易混轮廓的改善。第二声上 CAT-Net 为 83.64%，略高于 EEGNet 的 83.15% 与 DeepConvNet 的 82.69%，优势较小。未胜出的反例是第一声，深度表示域自适应达 99.71% 而 CAT-Net 为 98.67%，说明模型并未在所有单类上包揽第一。出声条件在文字中报告为平均 87.83% 与 Kappa 0.8377，同样优于全部基线，但原文为简洁把出声明细表放在附录，正文只给汇总，因此跨条件对比时应注意明细缺项。
另一组 F1 与召回率比较显示 CAT-Net 在第一声与第四声的 F1 和召回率最高，第四声召回率 84.33% 高于 DeepConvNet 的 80.08%，而第二声的 F1 略低于 DeepConvNet，表明 CAT-Net 更保守、误报更少。这种保守性在高风险交互中可能是优点，但论文未测量误报代价与延迟，不能直接承诺临床可用性。
去掉融合、单模态与域判别后发生什么？
反证的问题是：精度提升究竟来自双向交叉注意力、双模态输入，还是域判别正则。论文在五折场景下逐步移除交叉注意力及其子部件，并分别只保留脑电或只保留肌电；在跨被试场景下对比保留与移除域判别器的留一精度。指标方向仍为精度、召回率与 F1 越高越好，跨被试平均精度越高越好。
| FF | DD P | R | F1 subject setting, as presented |
|---|---|---|---|
| ✓ | ✓ | sence of DD leads to a slight | |
| 77.63 | 77.62 | 77.00 | |
| ✓ ✓ | 78.42 | 78.42 | 78.41 |
| ✓ | 76.60 | 76.60 | 76.50 |
| ✓ | 76.46 | 76.46 | 76.35 |
| ✓ ✓ | 88.08 | 88.08 | 88.06 |
从该消融表可见，完整 CAT-Net 在五折下精度、召回率与 F1 均为 88.08% 左右，而移除整个交叉注意力后降至 77.63% 附近，仅保留单方向注意力或单模态时也只在 76% 到 78% 之间。这支持了双向交互不可或缺的判断，但也提示单模态基线本身远弱于融合模型，因此融合收益中既有注意力机制的贡献，也有双模态信息量的贡献，不宜把全部增益归于注意力一项。原文还提到 2 个方向各自移除时精度都在 76% 到 77%，说明 2 个方向大致同等重要。
跨被试消融用于检验域判别器的增量作用，比较问题是去掉域判别后留一平均精度下降多少，以及在异常被试上是否出现特异性改善。
| Method | S1 | S2 | S3 | S4 | Avg |
|---|---|---|---|---|---|
| CATNetw/o DD | 48.96 | 80.83 | 82.92 | 84.17 | 84.69 |
| CATNet | 53.33 | 79.58 | 82.71 | 85.00 | 85.10 |
表中可见完整模型跨被试平均为 85.10%，去掉域判别为 84.69%，平均仅下降 0.41 个百分点，说明主干本身已具备较强泛化。但具体代价与反例集中在个别被试：第一被试从 48.96% 提升到 53.33%，第七被试从 93.54% 提升到 95.00%，而第二被试反而从 80.83% 降到 79.58%，第六被试从 92.50% 降到 91.67%。这表明域判别对重度偏移的异常被试帮助更大，对已对齐良好的被试可能轻微扰动。论文的解释是数据在被试间相对平衡且少通道限制了过拟合，因此域间隙本来不大，域判别的更大价值可能出现在资源更少或异质性更强的数据集中，这属于有限解释而非已验证推测。
哪些边界尚未评测，哪些数字不能外推？
首先是被试覆盖的边界。跨被试平均精度虽高，但第一被试即使加入域判别也只有 53.33%，远低于平均 85.10%，说明模型对重度异常个体的稳定性仍不足。论文报告除第九被试外 CAT-Net 均优于次优基线平均 2.88%，但第九被试低 0.84%，这是一个明确的未胜出反例，不能忽略。其次是条件覆盖的边界，出声与默读的明细基线对比主要放在附录，正文对出声的单类行为讨论较少，因此不能把默读上第四声的改善幅度直接外推到出声。
其次是成本与部署的缺项。原文未报告训练时长、参数量、推理延迟与功耗，也未测量在线解码的帧率与实际交互延迟，因此不能从离线精度承诺实时可用。20 通道仍需佩戴脑电帽与 5 处面部肌电，舒适度与阻抗维护成本未量化，少通道只是相对 64 通道的进步，而非可穿戴产品的验证。最后是方法细节的缺项，学习率、批量、轮数、早停、随机种子与统计显著性均未在正文给出，复现时必须以开源代码为准。总体趋势是融合优于单模态、跨被试下降小于基线，但该趋势不等于每个被试与每个声调都成立，解读时应保留单类与单被试的离散性。
要重跑结果，先固定什么，再跑什么？
复现的第一步是固定信息条件。按原文准备 10 人乘每人 480 试次乘两种发音条件的数据，脑电降采样到 500 赫兹并做带通、陷波、共平均参考与独立成分分析去伪影，肌电做带通、陷波与共平均参考，统一截取刺激前后各 2 秒并用前 2 秒做基线校正。随后为每个通道构造 1 阶差分并与原始拼接，有效长度从 500 变为 499，特征维为 2 倍脑电通道数加 2 倍肌电通道数。通道方面先用注意力权重排序复现前 20 脑电通道的选择，再固定 5 个肌电通道，避免用不同的通道子集比较精度。
第二步是固定模型与训练。编码器为逐点卷积加池化加通道注意力加双向长短期记忆网络，交叉注意力为 4 头、键值维度 32，融合后为 128 维，损失为焦点损失加 0.05 权重的域损失再加类别中心相关项，焦点伽马为 2 且类别权重为 0.2、0.3、0.2、0.3。评估必须分别跑五折与留一被试，前者报告平均精度、Kappa、F1 与召回率，后者报告每名被试精度与平均值。
代码资源状态是判断可用性的唯一依据，本次收到的资源状态显示代码链接可用，状态码为 200，地址为论文给出的仓库，因此可写当前已公开可用，重跑时以该仓库的默认超参数与划分脚本为准。若仓库更新导致数字漂移，应优先核对划分种子与通道列表，而不是直接调整模型容量。
何时值得尝试这种双向融合，还需补哪项验证？
当任务同时满足 3 个条件时值得尝试：输入包含中枢意图信号与外周执行信号，发音方式覆盖出声与默读，且部署要求跨人可用而不能为每人大量校准。CAT-Net 的价值在于用双向查询显式建模神经肌肉协调，并用域对抗压制被试特异成分，在少通道下仍保持了可核对的精度。论文报告的证据强度是：同一批人内默读 88.08% 与出声 87.83%，跨人后默读 85.10% 与出声 83.27%，下降幅度小于 EEGNet 与 DeepConvNet 等基线，且在第一、第三、第四被试等异常个体上改善更明显。代价是结构与训练更复杂，消融显示去掉融合后精度下降约 10 个百分点，说明系统对融合模块依赖很重。
还需补的验证包括：更大规模与更多口音的被试池、对第九被试这类反例的误差分析、在线延迟与佩戴舒适度的测量，以及与更强的单模态基线在相同参数量下的对照。初学者复述时应抓住一条主线：先用空间卷积与注意力选出重要通道与特征，再用双向时序模型读出声调轮廓，最后用交叉注意力让两种信号互相加权，用域对抗抹掉个人痕迹。记住第一被试 53.33% 的低点与第一声并非最优这两个反例，就不会把平均精度的成功误读为所有场景的成功。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses