用可训练插值对齐脑电、以双路编码放大目标差异的目标说话人提取

英文题目：Trainable EEG Interpolation and Structure-Sharing Dual-Path Encoders for Brain-Assisted Target Speaker Extraction

会议身份：conference:aaai:2026:conference-paper-id:40514

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #脑信号 #语音 #目标说话人提取

评分：8.0/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Zhao Lv：机构信息未能从会议 PDF 纯文本可靠映射
• Haoran Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Ying Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Youdian Gao：机构信息未能从会议 PDF 纯文本可靠映射
• Xinhui Li：机构信息未能从会议 PDF 纯文本可靠映射
• Ruibo Fu：机构信息未能从会议 PDF 纯文本可靠映射
• Cunhang Fan：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

脑辅助目标说话人提取（Target Speaker Extraction）需从双人混合语音中仅凭脑电（Electroencephalogram，EEG）信号解码注意指向并重建目标波形，难点在于脑电与语音采样率严重失配且注意相关表征微弱易被干扰。所提网络TIDENet先以可训练脑电插值（Trainable EEG Interpolation，TEI）对脑电做分组转置卷积上采样以对齐语音时长，再用语音与脑电各自的结构共享双路径编码器（Structure-sharing Dual-path Encoders，SSDPE）并行提取目标相关与无关特征并经线性融合交互增强判别性，随后由卷积多层交叉注意力（Convolutional Multi-layer Cross-Attention，CMCA）实现双向模态融合，最后经双路径循环网络（Dual-Path RNN，DPRNN）分离与转置卷积解码输出目标语音。与固定插值加单路径编码器的已有范式不同，该方法让重采样核随训练优化并显式建模无关分量以反衬相关分量。在Cocktail Party数据集上，TIDENet相对最强基线M3ANet将SI-SDR从13.95 dB提升至15.63 dB，PESQ从2.58提升至2.97；在AVED上将SI-SDR从10.89 dB提升至13.31 dB，摘要声称相对提升最高达SDR 20.47%、SI-SDR 22.22%、STOI 2.91%、ESTOI 6.20%、PESQ 15.84%。该结论目前仅在两组英语叙事听觉注意数据集的离线切分评测下成立，未验证跨被试、跨语种与在线因果推理的外推能力。原文未披露训练时长与推理部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/segmentFT/TIDENet — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么需要脑电？

这篇论文研究的输入是两路同步信号。一路是单通道混合语音，由左右耳两路故事语音做均方根归一化后叠加而成，采样率在预处理后为 14.7 kHz。另一路是受试者在听混合语音时同步记录的脑电信号，在 Cocktail Party 数据集中用 128 导联以 512 Hz 记录，在 AVED 数据集中用 32 导联以 1 kHz 记录，预处理后都降采样到 128 Hz 并做重参考和去伪迹。目标是从混合波形中重建出被注意的那一路目标说话人波形，输出仍是单通道波形，长度与混合语音一致。

为什么不用预录语音、人脸或聊天记录做线索。论文在引言中交代，语音线索需要事先录好目标人且需要人工指定身份，视觉线索需要相机持续对准且怕遮挡，文本线索依赖聊天平台且受隐私限制。脑电线索的依据是听觉注意研究：被注意语音在听皮层诱发更强的神经响应，单试次脑电可以解码注意指向。因此脑电辅助的目标说话人提取就是把脑电当作身份指针，告诉分离器应该保留哪一路。初学者可以这样理解例子：例子是鸡尾酒会中你想听左边的人，模型同时拿到混合声音和你的脑电，脑电中残留了对左边故事的跟踪成分，模型用它去增强左边、抑制右边。

必须保留的关键信息是任务的监督形式。论文采用端到端时域分离范式，直接以目标干净语音为监督，用负尺度不变信失真比做损失，不再分两步先分离再用包络匹配选路。评价围绕五项指标：失真比、尺度不变失真比、短时客观可懂度、扩展可懂度和语音质量感知评估，数值越大越好。输出是本文解读的边界：只讲论文实际做的双数据集时域提取，不扩展到多通道波束形成或在线低延迟系统。

两阶段重构与端到端融合走了哪两条路线？

早期脑辅助提取分为刺激重构加语音分离 2 个阶段。第一阶段用线性回归或深度网络把脑电映射到语音幅度包络，第二阶段用传统分离方法把混合语音拆开，再把每路输出与重构包络比对以选出目标。论文提到这类方法的瓶颈在于线性模型表达力不足，而用干净语音加噪模拟脑电训练的深度重构模型又存在训练与推理分布失配。

第二条路线是端到端多模态融合，把脑电和语音当作两种模态做特征级融合，直接输出目标波形。论文梳理了这条线的演进：脑增强语音降噪器引入特征线性调制做仿射调制，后续的改进版优化了分离网络；脑辅助语音增强网络把调制换成卷积多层交叉注意力；多尺度融合网络加入多尺度卷积、双路循环神经网络和图卷积增强脑电编码器；伪自回归方案把复杂度移到脑电编码器以支持在线处理；最新的多尺度多模态对齐网络引入状态空间模型增强语音编码器，并用对比学习改善跨模态时间对齐。

本文的定位是继续走第二条路线，但指出两个未解决问题。第一是时间分辨率失配：脑电有效带宽远低于语音，融合前必须重采样对齐，已有方法多用固定插值，重复或无信息输入带来冗余。第二是单路编码器只提取目标相关特征，忽略了目标无关特征的对比价值，而图像和语音增强中的已有工作显示同时建模相关与无关并让它们交互可以提高判别力。这就引出本文的两个改进：可训练插值和结构共享双路编码器。

要解决的两个具体障碍是什么？

第一个障碍是脑电到语音的重采样质量。脑电降采样到 128 Hz 后时间点数远少于 14.7 kHz 语音，若用固定插值拉长到语音长度，每个输出点只由当前样本的邻域决定，不利用历史批次学到的全局统计。论文认为这会限制跨模态融合的精度，因为后续交叉注意力要求两路在时间维严格对齐，对齐误差会直接污染目标身份的注入。

第二个障碍是编码器的判别力。传统语音编码器和脑电编码器都是单路卷积加激活，只输出一路自认为与目标有关的特征。干扰说话人的成分没有被显式建模，也就没有机会通过对比来放大差异。论文类比了反向注意力和交互式语音噪声建模的思想：把无关成分显式表示出来，再与相关成分做交互，反而能让相关成分更干净。

把问题形式化就是：给定混合波形向量和多导联脑电矩阵，学习一个映射输出目标波形估计，使其与真实目标波形的尺度不变信失真比最大。约束是脑电与语音长度必须先对齐到同一时间步数，编码必须同时给出可比的相关与无关表示，融合必须保留通道数以便送入分离器。论文的假设是语音中的相关与无关成分本质上都是语音信号，脑电中的相关与无关成分本质上都是脑电信号，因此两路可以用相同结构以保证落在同一特征空间，这个同质性假设是结构共享的理由。

TIDENet 让一个样本走完怎样的全链路？

沿着一个 2 秒训练片段看全链路。混合语音进入语音编码器，被两条并行的卷积加激活支路分别编码为目标相关和目标无关特征图，再拼接融合为一路增强语音特征。同步的脑电先经过图卷积提取导联间关系，再经过可训练插值拉长到语音采样点数，再经过第二组图卷积、降通道卷积和残差块，同样得到相关和无关两路脑电特征并融合为一路脑电特征。两路融合特征送入卷积多层交叉注意力做双向提纯，输出再送入双路循环神经网络分离器估计掩码，最后与语音编码器的相关路输出相乘并经转置卷积重建波形。

下图是论文给出的整体架构，虚线框区分了 5 个部件，语音编码器在左上，脑电编码器在左下并包含两条结构相同的路径，中间是交叉注意力，右侧是分离器和解码器，读图时先走主路径再看汇合点。

看图路径： 1. 从左侧混合语音和脑电两个入口出发，沿箭头走到右侧目标语音出口，确认五大部件顺序；2. 对比左上语音编码器的上下两条 Conv1D 加 PReLU 支路与左下脑电编码器 Path1 和 Path2 的对应关系；3. 找到脑电 Path1 中紫色虚线框的可训练插值模块，确认它夹在前后两组 GCN 层之间；4. 查看中部拼接符号 C 与 Linear、中间交叉注意力、分离器与解码器回路的连接方式

论文图 1。原论文 Figure 1：“The overall architecture of the model.”。

从像素可见，左上绿色框内两条 Conv1D 加 PReLU 支路汇入拼接符号后接 Linear，这就是语音双路的融合点。左下蓝色大框内 Path1 依次是图卷积层、可训练插值、图卷积层、1 维卷积、逐点卷积、残差块和逐点卷积，Path2 标注为结构相同，两路再汇入拼接符号和 Linear 后向上送入交叉注意力。

中间灰色圆角框标注卷积多层交叉注意力，右侧红色虚线框内是分段、块内双向长短时记忆网络、块间双向长短时记忆网络和重叠相加，最右解码器内是线性层、激活、逐元素乘法和转置卷积，且有一条从语音编码器相关路直达乘法节点的跳连。这个跳连很关键：解码时乘的是相关路输出，而不是融合后特征，保证了波形重建锚定在原始语音编码空间。

可训练插值如何在前向固定中实现跨样本学习？

可训练脑电插值在实现上是一个 1 维分组转置卷积层，无偏置，分组数等于输入通道数。白话解释就是每个脑电通道独立学自己的上采样核，用步长、核长和输出填充把输入长度拉到与语音样本数一致。论文给出长度公式说明通过选择合适的步长、核长和填充可以保证输出长度等于语音长度，且因为输入不做填充，公式中省略了输入填充项。

关键在于训练动态。论文用公式表述了参数更新：在第几次迭代时，转置卷积的参数减去学习率乘以损失对该参数的梯度，而梯度本身是该批次脑电和语音的函数。因此更新后的参数隐含了当前批次脑电的信息，下一批次的前向输出就同时依赖当前输入和上一批次学到的参数。按迭代递推展开，当迭代数超过一个 epoch 的批次数时，输出就依赖了整个训练集处理过的脑电样本。论文据此论证，可训练插值在前向单批次内行为固定，但跨批次通过反向传播演化，相当于在插值每一步带入了历史数据中有用的新信息，这是固定插值做不到的。

可训练脑电插值 × 固定插值： 可训练脑电插值负责把低采样率脑电重采样到语音长度并在训练中优化插值核，固定插值只按当前样本做线性或最近邻填充；两者搭配的原因是跨模态融合要求严格时间对齐，而固定插值不引入跨样本信息，组合意义在于让重采样参数通过反向传播吸收全训练集的统计规律，从而给后续融合提供更干净的脑电时间轴。

需要如实说明未报告的细节。论文没有给出转置卷积核长、步长和填充的具体数值，只说按可变长度动态配置以同步采样率，也没有报告该模块的参数量和计算量增量。复现时应把该层实现为分组转置卷积并确保输出长度精确匹配语音长度，训练时与其他参数一起用同一优化器更新，不单独冻结。

双路编码怎样分离相关与无关并做交互？

语音编码器的双路结构很直观。每条路都是 1 维卷积加参数化修正线性单元，输入通道 1，输出通道数 128，核长 8，步长 4。处理单通道混合波形后得到两张相同形状的特征图，一张解释为目标相关，一张解释为目标无关。双路设计本身不产生监督标签来强制哪一路是相关，相关与无关的含义是由后续融合加分离加损失端到端塑造的，初学者不要误以为有额外的分类损失。

融合时把两路沿通道拼接成双倍通道，做层归一化后用无偏线性层压回原通道数。论文强调层归一化的非线性使线性层能学到有效与无效特征之间的非线性交互，通过自适应调整通道权重来抑制干扰、放大目标属性。脑电编码器的融合类似，只是拼接后通道处理不同：每路输出通道数为 1 半，拼接后用无偏线性层保持通道数以匹配语音编码器输出，并在融合后加参数化修正线性单元。

目标相关特征 × 目标无关特征： 目标相关特征负责编码被注意说话人的声学或神经线索，目标无关特征负责编码干扰说话人和背景的互补信息；两者搭配的原因是只看相关路容易把干扰残留当目标，而有了无关路才能做减法式对比；组合意义在于通过拼接加线性融合自适应压制干扰通道、放大目标通道，提高编码的判别力。

结构共享的含义是两条路架构完全相同。论文的理由是相关与无关信息是同质的，都是语音或都是脑电，共享结构能约束它们在同一特征空间，从而使后续拼接融合比较的是语义差异而非结构偏差。脑电每条路内部采用动态图卷积编码器：先做通道批量归一化，把邻接矩阵转成拉普拉斯矩阵，再做 3 阶切比雪夫多项式滤波，其中邻接矩阵可训练以捕捉导联间相关。第一组图卷积输出初步特征，经可训练插值拉长后，再经第二组图卷积聚合，随后 1 维卷积把通道降到一半并对齐时间维，最后经逐点卷积和 3 个残差块提纯，全程去掉池化以保持时间对齐。

融合、分离与解码如何分工完成提取？

融合模块采用卷积多层交叉注意力，共堆叠 3 层，每层有两个多头交叉注意力和两个层归一化。白话解释是语音和脑电互为查询与键值：用脑电做查询去增强语音中的目标信息，用语音做查询去过滤脑电中与听觉刺激无关的成分。初始化时输入就是语音融合特征和脑电融合特征，最终输出把初始特征和处理后特征沿通道拼接再经无偏线性层加激活压回原通道数。为降低参数，论文把标准多头注意中的线性层换成深度可分离卷积，核长 3，且只用单头。

结构共享双路编码器 × 交互融合： 结构共享双路编码器负责让相关路和无关路用相同结构提取同质的语音或脑电特征，保证它们落在同一特征空间，交互融合负责在末端把两路拼接后做归一化和无偏线性映射；搭配原因是若结构不同，两路差异可能来自结构偏差而非语义差异，组合意义在于用架构约束换来可比性，再用可学习权重实现相关与无关之间的非线性交互和增强。

分离器采用双路循环神经网络。做法是把 1 维特征图切成 50% 重叠的块，重排成块长、块数、通道数的 3 维张量，堆叠 4 个块，每个块含块内双向长短时记忆网络和块间双向长短时记忆网络，分别沿块长和块数维度建模。切块把块间网络的时间步数缩小为原来的块长分之一，有助于缓解梯度爆炸，重叠保证块内连续性，最后经重叠相加重建。解码器先用线性层把分离特征变成目标掩码，与语音编码器相关路输出逐元素相乘，再用与编码器相同核长和步长的 1 维转置卷积重建单通道波形。

卷积多层交叉注意力 × 双路循环神经网络分离器： 卷积多层交叉注意力负责让语音特征向脑电要目标身份、让脑电特征向语音过滤与刺激无关成分，分工是跨模态提纯，双路循环神经网络分离器负责把融合后特征切块并在块内块间建模长时依赖，分工是时域掩码估计；搭配原因是只融合不分离得不到波形，只分离不用脑电不知道提谁，组合意义在于先对齐身份再做长序列分离，形成从线索到波形的完整链路。

损失是目标语音与估计语音之间负的尺度不变信失真比，对两者都可微。训练时最小化该损失等价于最大化估计与目标在去除尺度影响后的信失真比，符合时域分离的常用选择。

训练如何组织，优化器与数据流是什么？

论文用 PyTorch 实现，训练 400 个 epoch，用两块英伟达 3090 显卡，批量大小 8。优化器是 Adam，采用循环学习率，每 2000 次迭代一个周期，每个周期前 40 次迭代线性热身，随后余弦衰减，峰值学习率 3.5×10−4，谷值是峰值的 1/25。完整模型与消融变体都用同一套超参数，保证消融比较的公平性。

数据流按试次划分以避免泄露。Cocktail Party 每个被试 30 个 60 秒试次，随机选 5 个做测试，2 个做验证，其余做训练，训练验证切成不重叠 2 秒片段，测试切成 20 秒片段。AVED 每个被试 16 个 152 秒试次，各随机选 1 个做测试和验证，其余做训练，只分析注意男性讲述人的试次以避免注意切换干扰。音频从 44.1 kHz 降到 14.7 kHz，左右耳信号均方根归一化后叠加。脑电经乳突平均重参考、用 EEGLAB 独立成分分析去伪迹后降到 128 Hz，Cocktail Party 再经 0.1-45 Hz 带通并送入频带耦合模型估计皮层多单元活动，AVED 经 1-50 Hz 带通加平均重参考。

一个特有细节是通道数对齐。编码器按 128 通道设计，而 AVED 只有 32 通道，论文把 32 通道片段复制四份沿通道拼接成 128 通道输入，以便用 Cocktail Party 预训练模型微调加速收敛，且刻意保持跨数据集统一架构而不缩减编码器。这种做法保留了结构一致性，但复制通道带来完全相关的输入，图卷积学到的导联相关可能部分来自复制结构，解读 AVED 增益时应记住这一条件。

在什么数据和指标上比较，基线是否可运行？

比较在两个公开数据集上进行。Cocktail Party 有 33 名正常听力被试，其中 28 男 5 女，每人 30 个试次，单耳呈现故事语音，一组只注意左耳，另一组只注意右耳。AVED 有 20 名正常听力被试，14 男 6 女，平均年龄 20 岁，每人 16 个 152 秒试次，用入耳耳机听男女声分别到左右耳的叙事，音频幅度恒定。2 个数据集的划分都在试次级随机划分，片段长度和预处理如上一节所述，复现时必须保持试次级划分而不能按片段随机分，否则同一试次的相邻片段会同时出现在训练和测试中。

基线覆盖经典与最新模型，包括脑增强降噪器、改进版、脑辅助增强网络、神经导向提取模型、多尺度融合网络和多尺度多模态对齐网络。论文说明部分基线结果引自原论文，部分在 AVED 上的结果复现自最新对齐网络论文，测试集划分在复现时保持一致。指标方向都是越高越好：失真比衡量物理信号质量且对尺度敏感，尺度不变失真比是核心物理保真度指标，短时可懂度和扩展可懂度在 0 到 1 之间反映人耳可懂性，语音质量感知评估在 0.5 到 4.5 之间预测主观质量。论文没有报告误判率、延迟、参数量和统计显著性检验，这是后续验证需要补的缺项。

代码可用性方面，论文给出代码链接，资源状态显示当前可用，已公开，复现可以直接从该仓库获取实现。权重是否提供、环境版本和预训练模型细节在正文中没有交代，复现前应先确认仓库中的脚本与超参数是否与论文一致。

主结果比最强基线好多少，分布是否更稳？

要回答的核心问题是：在相同试次划分和相同五项指标下，TIDENet 是否同时在失真、 可懂度和感知质量上超过此前最强的多尺度多模态对齐网络，以及增益在 2 个数据集上是否一致。公平条件是都以混合语音为下界，都报告五项指标且方向都是越高越好。下表整理了论文报告的关键数字，混合项标出起点，最强基线与本文方法并列以便核对增量。

上表显示本文方法在 2 个数据集的五项指标上都是最高，论文摘要中相对提升最高达 20.47%、22.22%、2.91%、6.20% 和 15.84% 分别对应五项指标。增量最大的是 AVED 的尺度不变失真比 2.42 分贝和扩展可懂度 5.09 个百分点，说明在通道复制加微调条件下仍有明显增益。但要注意百分点与相对百分比不同，这里的 STOI 增量是百分点差，不是相对变化，解读时不要混淆。未胜出项在主表层面没有，因为本文方法全胜，但早期基线如神经导向模型在 Cocktail Party 上甚至低于混合，这提醒不同架构对小数据或长测试片段的敏感度差异很大。

分布层面需要看下图，该图展示 Cocktail Party 测试集上多尺度融合网络、多尺度多模态对齐网络和本文方法的逐样本尺度不变失真比分贝分布，包含半小提琴密度、箱线图、中位线、四分位距和须线。

看图路径： 1. 先看横轴三个模型分组与纵轴 SI-SDR 分贝刻度，确认比较范围是 0 到 18 分贝；2. 对比每组左侧半小提琴密度峰位置与右侧箱线图中位线的高度，判断均值右移；3. 观察箱体高度代表的四分位距与须线长度，判断方差与鲁棒性差异；4. 注意底部远离主体的离散散点，不要把个别低分样本当作整体分布

论文图 2。原论文 Figure 2：“Illustration of SI-SDR (dB) distributions of dif- ferent models on the Cocktail Party dataset test set.”。

从像素可见，纵轴为 SI-SDR 分贝，3 组自左向右中位线依次抬高，最右侧 olive 色组箱体最高且最窄，密度峰明显右移，论文称中位数分别高约 2.7 分贝和 1.6 分贝。箱体高度代表的四分位距和须线长度在本文方法中最短，显示跨样本方差更小、一致性更好。但底部仍有延伸到 6 分贝以下乃至 2 分贝附近的离散点，说明个别困难样本仍远低于主体，不能把平均增益理解为每个样本都改善。论文没有给出显著性检验和每被试分解，因此稳健性结论是描述性的，待验证是否在被试间普遍成立。

可训练插值与双路结构各自贡献多少，能否单加？

消融要回答的是：去掉可训练插值或把某一编码器退回单路，性能掉多少，以及单加一路双路是否会干扰插值学习。基线是 1 号模型，无可训练插值且语音和脑电都是单路，用固定插值重采样。比较条件是同一 Cocktail Party 划分、同一训练超参数和同一五项指标。下表按论文编号整理了从基线到全量 8 号模型的演变，重点看尺度不变失真比和感知质量的变化。

表后解释需要同时看到收益与代价。单加可训练插值的 2 号比基线高 1.38 分贝尺度不变失真比和 0.28 感知质量分，单加脑电双路的 3 号高 1.18 分贝和 0.23 分，而单加语音双路的 4 号只高 0.18 分贝和 0.06 分，说明语音双路单独使用增益有限。5 号双编码器无插值虽然比基线高 1.21 分贝，但不如仅插值的 2 号，支持了论文的判断：没有精确对齐，跨模态融合难以发挥双路的表示能力。

6 号和 7 号在各自单双路基础上加插值都有提升，但除 7 号的扩展可懂度外都不如仅插值的 2 号，论文据此推测单侧双路可能干扰插值学习最优核。全量 8 号在除扩展可懂度外的四项上最优，扩展可懂度最优反而是 7 号的 85.07%，这是一个明确的反例，说明全量组合不是在所有维度上单调最优，存在非线性协同与权衡。复现消融时应固定随机种子和划分，单独开关 3 个因子，并同时报告五项指标而不是只看尺度不变失真比。

哪些结论还没有证据，不能承诺什么？

首先是统计与泛化边界。论文报告的是均值增量和分布箱线图，没有报告置信区间、显著性检验、被试间方差和跨数据集直接迁移结果。AVED 结果依赖 Cocktail Party 预训练微调和通道复制，不能直接推广到原生 32 通道训练或完全独立训练的场景。测试在 20 秒长片段上进行，训练在 2 秒片段上进行，这种长短失配下的稳定性只通过分布图描述，没有按时长分解。

其次是成本与部署。论文没有报告参数量、浮点运算量、训练时长、推理实时率和内存占用，可训练插值用分组转置卷积代替固定插值，双路编码器把编码分支翻倍，理论上都会增加计算，但论文未测量延迟或功耗，因此不能承诺延迟更低或更适合助听器。相关性不等于因果：消融显示全量最优，但不能反推去掉任一模块必然在所有数据上掉同样幅度，7 号在扩展可懂度上反超就是提醒。

最后是监督与标签含义。双路中的相关与无关没有独立监督，完全由最终波形损失塑造，论文将其解释为相关与无关是事后语义归因，不是训练时的显式分类。若有人误以为模型输出了干扰语音，那是误解，模型只输出目标语音，无关路只存在于中间特征。未测量主观听感测试，感知质量评估只是客观预测，不能当作人评。

要复现这篇论文，先做什么、参数如何设？

先做数据与代码准备。从公开仓库获取代码，确认当前可用状态，检查是否包含预处理、训练、消融开关和评价脚本。按论文重做预处理：音频降到 14.7 kHz 并做左右叠加，脑电重参考、去伪迹后降到 128 Hz，Cocktail Party 做频带耦合估计皮层活动，AVED 做 1-50 Hz 带通。严格按试次划分切分 2 秒训练片段和 20 秒测试片段，不要按片段随机打散。AVED 的 32 通道复制成 128 通道的步骤要原样保留，并记录是先复制再归一化还是先归一化再复制，因为这会影响图卷积的邻接学习。

再设模型与训练超参数。1 维卷积核长 8、步长 4、通道 128，交叉注意力用深度可分离卷积替代线性层、单头，分离器堆叠 4 个双路循环块、隐维等于通道数，批量 8，400 轮，循环学习率 2000 次一周期、前 40 次热身、峰值 3.5×10−4、谷值为峰值 1/25。重采样层的步长、核长和填充要按每个样本长度动态计算，保证输出点数精确等于语音点数，可用断言检查。先复现 1 号基线、2 号仅插值、8 号全量三点，核对尺度不变失真比能否回到 14.10、15.48 和 15.63 dB 附近，再补全其余消融。评价同时计算五项指标，保留混合基线和最强基线的可运行结果，不要用事后最优或 oracle 代替可部署收益。

何时值得尝试这种组合，还需补哪项验证？

当你的任务同时满足 3 个条件时值得尝试：脑电与语音采样率差异大且需要严格时间对齐，编码器有余量可以承担双路分支，融合阶段能容忍拼接加线性带来的通道交互。做法是先把固定插值换成组转置卷积并让它参与训练，再把语音和脑电编码器都扩展为结构相同的双路并在末端融合，最后用交叉注意力做双向提纯。如果只有语音端能改而脑电端动不了，预期增益可能很小，论文中单加语音双路只带来 0.18 分贝提升就是直接证据。

还需补的验证很具体：报告参数量、训练时长和推理延迟，证明可训练插值和双路的代价可接受；做被试内外的交叉验证和显著性检验，证明分布收窄不是某个划分的偶然；去掉通道复制，用原生通道加适配层重训 AVED，验证增益是否依然成立；补一轮主观听感或至少报告失败样本的误差分析，说明底部离散低分来自注意漂移、头动还是混合信噪比过低。把这些补齐后，才能判断该方法是否从实验室的均值最优走向助听器可用的稳定最优。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 aaai-2026 论文汇总