出声、默动与想象说话是否共享可迁移的神经表征

英文题目：Relating the Neural Representations of Vocalized, Mimed, and Imagined Speech

会议身份：conference:interspeech:2026:conference-paper-id:maghsoudi26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#信号处理 #模型比较 #脑信号 #语音 #言语神经解码

评分：5.5/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Maryam Maghsoudi：机构信息未能从会议 PDF 纯文本可靠映射
• Rupesh Chillale：机构信息未能从会议 PDF 纯文本可靠映射
• Shihab A Shamma：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文研究从立体定向脑电图（stereotactic EEG，sEEG）解码发声（vocalized）、默剧式空动（mimed）与想象（imagined）三种言语模式声谱图的任务，难点在于后两种模式无声学输出且缺乏外部时间对齐线索。方法链条分为三环：先以带时滞的岭回归线性解码器从神经响应重建听觉皮层模型频谱，再将各条件训练的解码器交叉施加到其余条件以检验表征共享，最后用包络相关与排序辨别力评估重建保真度与刺激特异性。与已有分条件独立解码不同，本文把跨条件泛化本身作为表征相似性的探针，并以线性与卷积循环非线性模型对照可解释性差异。在公开汉语 VocalMind 数据集上，发声训练线性解码器在发声测试上的语句排序辨别力高出随机基线 0.32，非线性模型对应值达 0.59，所有跨条件包络相关均显著高于零模型。结论限于单被试侵入式记录与离线重建评估，未验证在线脑机接口（brain-computer interface，BCI）或跨被试跨语言外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，初学者先保留哪些信息？

这篇解读的输入是论文正文提供的确定性证据，目标是让刚进入语音与脑机接口的研究生能复述方法与判断依据。你需要先保留 3 条信息。第一，任务不是做语音识别的文字转写，而是从颅内脑电重建语音的时频谱与包络，再检验不同发声方式之间能否共用解码器。

第二，数据来自同一名被试在普通话一百句话上的 3 种条件，出声是有发音动作加声音与听觉反馈，默音是有发音动作但无声音输出与听觉反馈，想象是既无明显动作也无声音，只保留内部计划与生成过程。第三，评价有两层，一层是重建包络与目标包络的线性相关，另一层是重建包络能否在全部候选句中把正确句子排到前面。后续所有数字都要同时核对训练条件、测试条件、指标与聚合对象，不能只记一个相关值就下结论。

本研究使用公开的立体定向脑电数据集，包含出声、默音与想象 3 种汉语普通话条件。原文交代该数据集包含 100 个句子，每个句子在每种条件下重复 2 次，共使用 110 个电极的预处理信号。刺激侧表示采用出声时的实际录音，并用模拟耳蜗处理的听觉模型计算时频特征。初学者容易把默音与想象混为一谈，关键动作是这样区分，默音要求做出口型与发音动作但不发出声音，想象要求连动作也不做，只在脑内想象说话。论文还提醒，想象解码缺少外部时间对齐线索，因此对齐本身就更困难。

输出方面，线性路径输出的是重建的声谱及其在频率轴平均后的包络，非线性路径输出的是重建的梅尔谱及其包络，并可进一步用声码器合成语音。解读全程只讲论文实际做的条件内训练测试与跨条件训练测试，不把听觉聆听条件或多被试推广当作已验证事实。凡是教学用的比方都会紧接着对应到真实信号与模块，不把比方当作性质证明。

此前路线做到哪里，本研究把问题推到哪一步？

在听觉被动听语音方向，前人已从听皮层活动重建语谱并识别音位特征，这是典型的以外界声音为刺激、以听觉响应为输入的解码。在出声方向，前人已从发声时的神经活动实现较高质量的重建与合成，这对脑机接口很重要，因为它涉及计划与运动执行等内部过程。在默音与想象方向，前人已证明无声构音与尝试说话仍含有可解码的结构化信息，这对无法发声人群更有应用价值。

本研究的不同在于，它不满足于在每个条件内各自训练各自测试，而是把 1 个条件上学到的声谱映射直接拿到另外 2 个条件上测试。如果跨条件仍显著高于打乱对照，就支持三者共享一部分语音表征。论文引用了出声与想象存在重叠活动的既有报道作为动机，但把验证落到可复现的操作上，即条件专属解码器加跨条件泛化加句子级排序检验。

相关工作的对照要按同输入、同目标、同监督来理解。听语音重建的输入是听觉刺激驱动的响应，目标多为声谱，出声重建的输入多了运动与反馈成分，默音与想象的输入则逐步去掉声音与动作。运行阶段也不同，出声有可用的声学目标用于训练对齐，默音与想象在测试时没有声音，只能借用同一句话在出声时的录音作为目标。因此不能把某类条件下的高相关直接当作另一类条件下的胜负，公平比较必须固定目标句集合与指标计算方式。

要回答的具体问题是什么，什么算证据？

具体问题有 4 个。第一，能否为每个条件分别拟合线性声谱重建器并在条件内取得高于零模型的结果。第二，把该重建器跨条件使用时是否依然高于零模型，以及相对顺序如何。第三，重建结果是否保留句子特异性结构，即正确句的包络是否更接近自身重建而不是其他句。第四，换成卷积加循环的非线性网络后，跨条件迁移模式是否一致，以及高相关是否自动带来高可分性。

证据标准在方法中已写死。相关层面用重建与目标语谱的线性相关，以及在频率平均后的包络相关，并与打乱试次顺序得到的零模型比较显著性。可分性层面用排序分析，对每条重建包络计算它与全部候选目标包络的相关，把正确句排进前多少名的比例画成曲线，并用曲线下面积超出机会线的部分作为指标。机会线的含义是随机猜测下前多少名命中率随名次线性增长，超出越多说明句子个性保留越好。

初学者常犯的错误是把相关等同于可分性。论文明确指出，相关度量整体相似，不直接度量刺激特异结构是否保留，因此必须补做排序分析。这个区分贯穿全文，也是理解线性与非线性对比的关键。

方法全景：一个样本如何走完输入到输出？

先沿一个样本走完全程。取某一句话在出声条件下的试次，输入是一段多通道颅内脑电时间序列，目标是同一句话出声录音经听觉模型得到的时频谱。线性方法把脑电在多个时间延迟上平移堆叠，形成带历史上下文的回归矩阵，用岭回归学到从神经活动到每个时频点的映射，再把重建语谱在频率轴平均得到包络。评估时把重建包络与目标包络做相关，同时把重建包络与全部候选句的目标包络逐一相关做排序。

出声言语 × 想象言语： 出声言语负责提供有声学输出、有发音动作和听觉反馈的完整过程，想象言语负责只保留内部计划与生成而不产生动作和声音，二者搭配的理由是可以通过共用同一句话的目标声谱来检验计划成分是否足以支撑重建，组合意义在于把跨条件泛化成败解释为计划子空间是否被共享。

跨条件泛化的操作是，训练只用一种条件的脑电与目标谱，测试时把学到的映射分别作用于同条件留出句与其他两种条件的脑电。例如用默音训练的映射去重建出声与想象的脑电，目标仍是对应句子出声录音的谱。这样做的逻辑是，如果映射依赖的神经方向在另一种条件下依然存在且携带刺激信息，重建就不会掉到零模型水平。

下图把左右两条路线放在一起，左侧是条件专属线性解码器的训练测试关系，右侧是非线性网络的模块堆叠，阅读时先分清哪条箭头是条件内，哪条是跨条件。

看图路径： 1. 先看左侧三路输入颜色与三块解码器颜色如何一一对应；2. 再看实线箭头表示条件内训练测试路径；3. 再看虚线箭头表示跨条件泛化测试路径；4. 最后看右侧卷积加循环模块如何从脑电到语谱图再到音频

论文图 1。原论文 Figure 1：“Linear and nonlinear decoding approaches.”。

从像素可见，左图顶部有 3 段不同颜色的脑电波形，分别标注出声、默音与想象，中部是 3 个对应颜色的解码器方块，实线粗箭头表示同条件输入到同条件解码器，虚线箭头表示交叉到其他解码器，底部是 3 张语谱图与包络波形。右图是单列流程，从脑电波形经卷积模块与循环模块到语谱图再到音频波形。这种画法把本文的核心对照说清楚了，线性侧强调 3 个映射之间的迁移，非线性侧强调同一架构在 3 种条件下分别训练后的表现。

线性重建器与目标谱表示各自分工是什么？

线性重建器的分工是给出可解释的映射。它的输入是通道与延迟 2 维展开的神经响应，参数是每个通道、每个延迟、每个频率的权重，优化目标是最小化重建谱与目标谱的平方误差加正则项。正则系数用网格搜索选择以防止过拟合，拟合对出声、默音与想象分别独立进行，得到 3 个传递函数。零模型保持其他计算不变，只打乱试次顺序使脑电与语谱错配，从而得到对应 3 个条件的零映射。

默音模仿 × 发音运动： 默音模仿负责在没有声音和听觉反馈时执行发音器官的动作计划，发音运动负责提供与口舌动作相关的神经成分，二者搭配的理由是默音条件恰好保留计划加动作而去掉感觉反馈，组合意义在于把它作为出声与想象之间的中间层来定位共享结构来自哪 1 级加工。

目标谱表示的分工是提供生物学动机的声学参照。论文对线性路径使用模拟耳蜗处理的时频特征，对非线性路径使用梅尔谱。初学者可以这样记，脑电侧负责提供计划、动作与反馈的混合信息，声学侧负责提供同一句话的可比目标，回归负责在二者之间架桥。桥是否通用，要看换了输入混合比例后桥墩是否还立得住。

非线性组件的分工在后文对照中展开，这里先保留它的结构事实，即卷积块做特征提取，循环块捕捉时序依赖，训练用均方误差损失，梅尔谱可用预训练声码器转成语音。论文没有报告该网络的层数、核大小、隐藏维度与学习率等细节，因此复现非线性部分时这些属于缺项，不能从模型名称推定实现。

训练与构造过程如何执行，哪些参数被更新？

线性训练没有梯度迭代，而是岭回归的闭式求解加正则系数网格搜索。数据划分为训练集与测试集，对每个条件分别求解权重矩阵。打乱对照的构造是打乱试次顺序后重新求解，其余流程相同，用于检验相关分布是否显著高于错配时的分布。论文报告所有条件的相关分布均显著高于对应零分布，这是后续讨论迁移的前提。

线性解码器 × 时滞脑电： 时滞脑电负责把多个通道在多个时间延迟上的活动堆成回归输入，线性解码器负责为每个通道、延迟和频率学一个权重并做岭回归映射到声谱，二者搭配的理由是线性映射的子空间方向可以直接解释为哪类神经成分被利用，组合意义在于跨条件测试变成检验测试活动在训练子空间上的投影大小。

非线性训练是按条件分别重新训练同一架构，损失为均方误差。论文说明训练与评估沿用前人研究的流程，并用时间循环移位后的目标谱训练零模型。原文未给出优化器类型、学习率、批量大小、早停规则与随机种子，因此不能复述梯度路径与参数冻结细节。需要明确的是，本研究没有训练听觉聆听条件的模型，也没有联合多条件训练一个通用解码器，所有跨条件结果都来自单条件训练加跨条件测试，没有做跨条件微调。

从可复现角度，线性部分的关键动作是固定电极集合、延迟集合、正则网格与训练测试划分，分别存下 3 个权重矩阵。非线性部分的关键动作是固定输入窗长、梅尔谱参数与声码器版本，否则包络相关的数值无法直接比较。论文未报告硬件预算与训练耗时，因此成本部分只能记为缺项，不做推测。

数据划分、指标与统计条件如何固定？

数据层面，同一被试的一百句话在每种条件下各重复 2 次，分析使用已发布的预处理信号与出声录音。划分层面，模型在一种条件下训练，在同条件留出句上做条件内测试，同时在另两种条件的脑电上做跨条件测试，目标谱始终是对应句子的出声声学特征。指标层面，主指标是重建与目标在语谱层面与包络层面的线性相关，辅指标是排序分析中超机会面积。统计层面，相关分布与打乱零模型比较，排序曲线与机会线比较，组间差异报告显著性与个别效应量。

公平条件需要特别说明。跨条件比较的目标句集合相同，只是输入脑电的成分不同，因此性能下降可以解释为输入中可利用成分的变化，而不是目标变难。默音与想象在测试时没有自身声音，只能借用出声录音的目标，这既是方法成立的前提，也是应用上的局限，因为真实部署时想象内容没有配对录音。

聚合对象方面，包络相关是对句子或试次形成分布后比较均值与分布位置，排序面积是对全部候选句的排序结果汇总为单个值。百分点与相对百分比含义不同，本文报告的面积是超出机会线的绝对增量，不是相对提升倍数，阅读时不要把面积零点几理解为准确率百分之几。

跨条件重建相关呈现什么顺序，支持什么判断？

线性结果的总体事实是，所有训练测试组合的相关分布均显著高于零模型，说明单条件学到的映射在其他条件下仍捕捉到共享结构。具体顺序上，出声训练的解码器在出声测试上最高，其次是默音，再次是想象，表现为去掉动作与感觉成分后迁移逐步下降。默音训练的解码器在默音与出声测试上无显著差异，但二者均高于想象测试，支持默音与出声共享较强的动作相关结构。想象训练的解码器在出声测试上最高，在想象与默音测试上相当且较低，说明出声中额外的神经过程没有淹没计划相关信息，甚至可能保留了它。

包络相关 × 排序可分性： 包络相关负责度量重建包络与目标包络在整体波形上的线性相似，排序可分性负责度量重建包络能否在全部候选句子中把正确句排进前列，二者搭配的理由是相关高不一定能区分不同句子，组合意义在于用互补指标同时回答重建像不像和分不分得清。

下图展示 6 个训练测试组合在两种架构下的包络相关分布，阅读时先看分布整体是否右移到零模型右侧，再看均值虚线的左右顺序。

看图路径： 1. 先确认每行标题是训练条件每列是线性或非线性模型；2. 再对比彩色测试分布与灰色打乱零模型分布的位置；3. 再看虚线均值线在包络相关横轴上的左右顺序

论文图 2。原论文 Figure 2：“Envelope correlation distributions for linear (left) and neural network (right) decoders.”。

从像素可见，左侧线性三行中，首行蓝色出声测试分布最靠右，绿色默音居中，橙色想象最分散且均值最低，中行绿色与蓝色分布几乎重叠且均在橙色右侧，末行蓝色略靠右而绿色与橙色相近。右侧非线性三行整体更靠右，但零模型更分散，首行蓝色峰值接近横轴高端，说明非线性在条件内拟合更强。灰色零分布在多数面板中集中在零附近，这是判断迁移成立的视觉依据。

论文用子空间投影的语言解释上述顺序。设想象活动主要为计划成分，默音为计划加动作成分，出声为计划加动作加感觉反馈成分。训练只见到其中一种混合，解码器只在该混合能预测目标的方向上有效。把它用于另一种混合时，能否成功取决于测试活动在该方向上的投影大小。例如默音训练的映射用于出声时，多出的感觉成分若在该方向投影小，则表现接近默音测试，用于想象时则因缺少动作成分而下降。想象训练的映射能否用于默音与出声，取决于动作与感觉成分在计划子空间上的平行分量大小。

句子级可分性是否保留，默音为何处于中间？

排序分析要回答的是，重建结果能否分清是哪一句话。线性结果显示，用出声测试时可分性最强，出声训练加出声测试的超机会面积最高，默音或想象训练后去测出声仍高于机会，说明出声数据中的句子个性被保留。默音训练的解码器在出声与默音测试上面积相近，在想象测试上接近零，想象训练的解码器在想象与默音测试上相近，整体低于出声测试。这种结构与相关层面的顺序一致，共同支持默音处于出声与想象之间的中间表征位置，与前者共享动作结构，与后者共享计划结构。

表后解释要同时看到收益与代价。收益是除默音训练测想象接近零外，其余线性组合均为正值，说明句子特异结构在跨条件重建中大体保留。代价是跨条件面积远小于出声条件内的 0.32，且默音到想象出现负值，说明只靠计划子空间不足以在想象测试中稳定区分句子。未胜出项是想象测试整体偏低，这与缺少时间对齐线索的困难一致，也提醒不能把相关显著高于零模型直接等同于可部署的句子识别。

下图用热力图呈现线性和非线性在 9 种组合上的超机会面积，红色越深表示高于机会越多，阅读时先找最红格再看行内变化。

看图路径： 1. 先确认横轴是测试条件纵轴是训练条件；2. 再找每张热力图中最红的格子对应的训练测试组合；3. 再比较默音训练行与想象训练行在三列上的深浅变化

论文图 3。原论文 Figure 3：“Sentence-level discriminability measured by AUC above chance for linear (left) and neural network (right) de- coders. Positive values (red) reflect performance above chance.”。

从像素可见，左侧线性热力图左上角出声训练出声测试格最红，数值 0.32，中行前两格为中等红色，右下区域颜色最浅，默音训练想象测试格接近零甚至为负。右侧非线性热力图左上角更红，数值 0.59，其余格整体偏浅，但第一列出声测试列仍相对更深。这种视觉对比说明，测试在出声上普遍更容易分清句子，而训练在出声上也更容易学到可分性强的映射。

换成非线性网络后，结论变了吗，高相关等于高可分吗？

非线性对照的事实是，所有训练测试组合的包络相关仍显著高于零模型，迁移模式与线性大体相似，但在想象训练组合上存在差异。出声训练的网络在出声上最高，在默音与想象上仍高于零但降低。默音训练的网络在默音与出声上接近，二者高于想象。想象训练的网络在出声与想象之间相当，在默音上较低。论文报告了个别组间比较的显著性与效应量，默音训练下默音与出声差异小，想象训练下出声与想象差异可忽略，这些细节支持共享结构的判断，但也显示架构会影响具体顺序。

卷积特征提取 × 循环时序建模： 卷积特征提取负责从多通道颅内信号中抽取局部时空特征，循环时序建模负责捕捉较长上下文依赖再映射到梅尔谱，二者搭配的理由是与线性时滞回归形成可比的非线性对照，组合意义在于检验跨条件迁移是线性共享子空间的性质还是换了架构依然成立。

表后解释的关键反例是，非线性在出声条件内面积高达 0.59，明显高于线性的 0.32，但在多数跨条件格上并不占优，例如默音训练默音测试仅 0.06，低于线性的 0.13。这说明更高的重建相关没有按比例转化为更强的句子区分能力。论文进一步画出平均包络相关与超机会面积的散点与拟合线，线性拟合更陡，差异经检验显著，支持在线性一侧更好地保留句子特异结构的判断。

下图展示每个训练测试对的平均相关与超机会面积关系，每个点代表一种组合，阅读时先看整体是否右上倾斜，再比较两条拟合线斜率。

看图路径： 1. 先区分圆点是线性模型方块是非线性模型；2. 再看横轴平均包络相关与纵轴超机会面积的关系趋势；3. 再定位右上角两个出声训练测试点与其他点的距离

论文图 4。原论文 Figure 4：“Relationship between mean envelope reconstruction correlation and sentence-level discriminability for linear and neural network decoders.”。

从像素可见，横轴是平均包络重建相关，纵轴是超机会面积，圆点为线性，方块为非线性，虚线为线性拟合，实线为非线性拟合。右上角孤立的深蓝方块是出声到出声的非线性点，中上位置的浅蓝圆点是出声到出声的线性点，其余点集中在中低相关区间。线性拟合线斜率更陡，相关系数标注分别为线性 0.85 与非线性 0.67，说明在线性模型中相关提升更能带动可分性提升，而非线性存在高相关但可分性偏低的点。

哪些边界尚未验证，不能推广到哪里？

第一个边界是被试数量与语言范围。证据只来自单名被试的普通话一百句话，每句重复 2 次，因此不能推广到多被试、多口音或自发对话。电极覆盖与预处理也固定为 110 个通道与低通滤波后的信号，换了植入方案后共享子空间是否成立待验证。

第二个边界是目标谱的借用假设。默音与想象没有自身声音，训练与评估都借用同一句话的出声录音作为目标。这在科学上可以检验计划成分是否投射到声学空间，但在部署上无法为任意想象内容获得配对目标。论文讨论部分明确提出，未来需要加入聆听语音的神经记录，以检验出声中听觉感觉反馈成分的假设，并建议用主成分或子空间对齐方法直接检验层级关系。

第 3 个边界是未测量的量。论文未报告误判率、解码延迟、实时帧率与计算开销，也未做消融去掉某类电极或频带后迁移如何变化，因此不能承诺这些量得到改善。非线性部分的超参数与训练成本缺项，复现时只能按缺项处理，不能从名称推定卷积核与循环维度。相关性显著高于零模型支持共享结构的存在，但不证明因果链条，也不证明默音一定是出声的子集，原文用可能与待验证的语气提出层级假设，解读中同样保留这种分寸。

要复现这套流程，先做什么，后做什么？

先做数据与目标准备。获取同一数据集的预处理脑电与出声录音，按一百句话划分训练测试集，保证跨条件测试的目标句与训练句不重叠。对线性路径，用听觉模型从出声录音计算时频谱并在频率平均得到包络，对非线性路径，按原文流程计算梅尔谱并固定声码器版本。记录电极数、采样率、延迟集合与正则网格，这些是复现线性结果的最小信息条件。

再做线性拟合与零模型。对出声、默音、想象分别求解岭回归权重，网格搜索正则系数，保存 3 个映射。用打乱试次顺序重做 1 次得到 3 个零映射，其他计算保持相同。评估时先算重建与目标的语谱相关与包络相关，再对每条重建包络与全部候选目标包络做相关排序，画出前多少名命中曲线并计算超出机会线的面积。

后做非线性对照与关系检验。按条件分别重训练卷积加循环网络，用均方误差优化，用循环移位目标训练零模型，用相同指标评估 9 种组合。最后把每种组合的平均包络相关为横轴、超机会面积为纵轴画散点，分别拟合线性与非线性两条线，检验斜率差异。复现时若发现非线性相关更高但排序面积更低，应视为与原文一致的现象，而不是实现错误。关于可用性，证据中未发现经验证的公开代码与模型链接，因此不能写代码或模型已公开，只能写复现需按上述步骤自行实现，并在报告中明确标注缺失的超参数与划分细节。

何时值得尝试这种跨条件思路，还需补哪项验证？

当你的场景缺少目标条件的大量配对数据，但有出声数据可用时，这种思路值得尝试。例如先用出声数据训练可解释的线性映射，再用少量默音或想象数据检验投影是否足够，若跨条件显著高于打乱对照且排序面积为正，说明可以借用出声目标做冷启动。当目标是句子级区分而不仅是波形像时，要同时看相关与排序面积，因为非线性可能把波形拟合得更像却没有更好地区分句子。

选择架构时，线性优先用于机制解释与小数据稳定比较，非线性优先用于追求条件内重建上限。论文的直接报告是二者都能跨条件迁移，线性在保留句子特异结构上斜率更陡。有限解释是默音处于中间表征位置，未验证推测是计划、动作与反馈 3 层层级假设，未来需用子空间对齐与聆听条件数据直接检验。

还需补的验证包括多被试重复、不同语言与自发想象内容的测试、去掉听觉反馈或运动通道后的迁移变化，以及延迟与算力的实测。只有补齐这些，才能把共享表征的科学判断转化为可部署的脑机接口收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总