不教音素也能分出音素：肌电静音语音里语音表示何时出现、何时失效

英文题目：Emergence of Phonetic Representations in EMG-based Silent Speech Interfaces

会议身份：conference:interspeech:2026:conference-paper-id:toussaint26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#Conformer #语音学与音系 #生理信号 #静默语音接口

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Guillaume Toussaint：机构信息未能从会议 PDF 纯文本可靠映射
• Deborah Pereg：机构信息未能从会议 PDF 纯文本可靠映射
• Kevin Scheck：机构信息未能从会议 PDF 纯文本可靠映射
• Tanja Schultz：机构信息未能从会议 PDF 纯文本可靠映射
• Jürgen Schmidhuber：机构信息未能从会议 PDF 纯文本可靠映射
• Michael Wand：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文研究表面肌电静默语音接口的表征语义，输入为8通道面部肌电，输出为梅尔频谱、音素序列或字符文本，难点在于标注稀缺且肌电与语音映射隐式纠缠。方法链分三步：第一步由3个残差卷积块加12层Conformer共享编码器将肌电时序编码为隐表征，其输出同时送入各任务头与后续探测；第二步以帧级均方误差回归梅尔谱、以交叉熵分类MFA音素、以CTC解码字符构成多任务监督，另设emg2vec掩码对比预训练分支先预训练再微调；第三步冻结编码器，用线性分类器探音素、线性回归器探梅尔谱并以预训练Wav2Vec2计算合成词错误率，辅以UMAP可视化以检验语义分离。与已有肌电预训练工作相比，关键差异是将线性探测首次系统用于回归型合成目标，并在统一主干下对比有监督与对比预训练的语义。在Gaddy and Klein单说话人数据集上，多任务EMG到语音加音素监督模型线性探测音素准确率含静音达84.29%、去静音达52.84%，显著高于预训练模型的37.56%与4.45%，而纯音素模型合成探测WER达100%。结论仅适用于单说话人小数据英语有声与无声对齐场景，未验证多说话人、跨电极与大规模预训练外推性。原文未披露训练时长、推理延迟与部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？为什么静音语音不能只靠声音模型？

本文输入是表面肌电信号，也就是贴在面部周围的电极记录到的肌肉电活动，目标是在没有可听声音时恢复说话内容。研究对象是刚入门语音与音频的研究生需要理解的第一件事：静音语音接口不是普通语音识别，因为测试时根本没有麦克风信号可用，模型只能从发音动作推断语言与声音。论文把任务分成 4 种：肌电到语音的频谱回归、肌电到音素的分类、两者联合的多任务，以及肌电到文本的识别。输出则对应 3 种：可听的合成语音、音素序列和字符文本。

必须保留的关键信息是数据来自单说话人的肌电与音频对齐语料，评估同时看语音学可分性与合成可懂度。本文输出是 1 篇可复述方法的技术解读，不评价产品价值，只讲表示如何形成、什么损失真正决定可懂度。

表面肌电 × 静音语音接口： 表面肌电负责从面部肌肉记录发音动作的电信号，静音语音接口负责把这类无声动作解码为文本或语音，二者搭配的理由是发音动作与语音内容存在对应关系，组合意义是即使没有声音也能恢复语言信息，但信号与声音之间隔着说话方式与电极差异，需要模型学习中间表示。

肌电信号与声音之间存在多对一与个体差异，电极位置、说话力度和静音发音都会改变波形，因此模型需要先把原始肌电变成对音素稳定的隐表示，再映射到频谱或文本。这个两步直觉贯穿全文：后文用线性探测检验第一步是否出现语音结构，用合成误差和词错误率检验第二步是否真正可用。

同输入同目标的前人做了什么？本文的对照点在哪里？

在同输入的肌电到语音路线上，前人已尝试多说话人合成、极低延迟转换和扩散模型增强自然度，本文不重复做更大合成器，而是固定同一个残差卷积加 conformer 编码器，只换训练目标来比较表示。同目标的语音识别路线上，前人用自监督对比学习在数据稀缺时改善识别，但对合成与音素分类改善很小，本文直接继承该预训练方法并追问为什么失效。

在同监督层面，数据稀缺是共同约束，公开语料远小于常见语音语料，前人提出自主动学习、置信度与合成肌电数据等办法，本文则把无监督预训练当作待检验的对照组。在运行阶段上，本文区分直接监督训练与先预训练后微调两种可运行策略，不把搜索最优或事后挑选当作收益。这样的对照使结论可归因：若同一编码器在不同目标下出现不同聚类与误差，差异来自目标与监督，而非模型容量变化。

与语音自监督和肌电合成路线如何对照而不误判？

与语音自监督的对照要按同监督比较：语音领域的掩码预测在大语料上成功，不代表小肌电语料上同样能涌现音素，本文的否定结果只在当前数据规模与对比方法下成立。与肌电合成路线的对照要按同目标比较：扩散增强与软语音单元改善的是自然度与多说话人能力，本文固定骨干比较的是表示的语音含量，二者不在同一指标上竞争。

与识别路线的对照要按同运行阶段比较：预训练对识别有效而对合成无效，说明识别与合成需要的几何不同，不能把识别增益直接推广为合成增益。教学误解常把高分类准确率当作合成好的充分条件，本文用纯音素配置的满分词错误率纠正了这一点。另一误解是把可视化聚类当作证明，正确做法是先看线性数字再看图，图只负责解释数字的方向。

要回答的三个具体问题是什么？

第一个问题是涌现问题：当训练目标里根本没有音素标签，例如只预测频谱或只预测字符时，编码器隐空间是否仍会出现线性可分的音素结构。第二个问题是合成决定因素：要得到可懂的合成语音，回归声学目标的损失是否不可替代，还是只靠音素分类特征就能线性还原出频谱。第 3 个问题是预训练失效解释：此前基于对比学习的肌电预训练为什么对合成与音素分类帮助很小，是学到的类别本来就与语音语义不对齐，还是数据量与方法不匹配。

论文把这 3 个问题分别对应到线性音素探测、线性频谱回归加词错误率，以及预训练特征的可视化与相似度比较。教学上可以把例子想成：让学生只听动作信号去画声音频谱，画得准的人是否心里已经分清了音素；反过来，只背音素标签的人是否一定能画出自然声音。论文用受控实验回答这 2 个方向。

沿一个样本走完输入到输出的主路径

取一段有声发音为例，输入是多通道肌电波形，同步记录的音频只在训练时提供目标。处理流程是肌电先经过三块残差卷积做局部降采样与特征提取，再进入十二块 conformer 建模长时上下文，最后由线性层按任务输出频谱、音素 logits 或字符 logits。有声数据的音频被转成梅尔频谱图作为回归目标，音素则由强制对齐工具与语音对齐得到；无声数据的预测频谱与音素通过动态时间规整与对应有声文本对齐，从而能在静音句子上训练。

评估时冻结编码器，只训练线性分类器读音素或线性回归器读频谱，回归出的频谱再经声码器变成波形，用预训练语音识别模型计算词错误率。这种设计把表示学习与任务头解耦，使不同任务的特征可以直接比较。若把教学例子换成静音句子，流程相同，只是训练目标来自对齐后的伪标签，推理时同样只依赖肌电。

编码器、目标与探测头各自算什么？

编码器的分工是把高采样肌电变成帧级隐向量，残差卷积负责局部肌肉协同模式，conformer 负责音节与上下文依赖。任务头的分工不同：语音头做逐帧均方误差回归，音素头做逐帧交叉熵分类，文本头做联结时序分类的字符识别，联合任务则把回归与分类按权重混合。探测头的分工是事后检验：线性分类器检验音素是否线性可分，线性回归器检验频谱是否线性可还原，二者都不更新编码器。

组合机制的关键是编码器在所有任务中结构相同，只有损失改变梯度方向，因此隐空间差异可以归因于监督信号。论文还用统一流形近似与投影做可视化，用线性中心核对齐度量不同任务特征的相似度，这些只是分析工具，不参与训练。

梅尔频谱图 × 均方误差损失： 梅尔频谱图是把声音按人耳频率尺度压缩后的声学目标，分工是规定合成应该发出什么样的声音，均方误差损失负责逐帧拉近预测频谱与真实频谱，分工是给出可微的回归方向，二者搭配是因为合成需要连续声学细节，组合后模型被迫保留与发音相关的连续变化，这正是后文可懂度的来源。

线性探测 × 音素分类： 音素分类负责判断每 1 帧属于哪个音素，线性探测负责只用一个线性层去读已训练编码器的冻结特征，分工上前者是语言标签，后者是检验工具，搭配理由是如果音素信息已经线性可分，就说明编码器自己组织出了语音结构，组合意义是把表示质量变成可比较的准确率，而不额外训练复杂解码器。

联结时序分类损失 × 字符输出： 字符输出负责把肌电帧序列变成不定长的文本，分工是给出最终可读结果，联结时序分类损失负责在没有帧级对齐时对所有可能的对齐路径求和，分工是解决长度与对齐不确定性，二者搭配使肌电到文本可以在弱对齐下训练，组合意义是模型必须自己发现语音单元边界，这为后文观察到音素聚类提供了机制解释。

理解这 3 组搭配后，就能明白后文为什么说回归损失决定可懂度，而分类准确率高不等于合成好：它们优化的是不同几何，前者保留连续声学细节，后者只保留类别边界。

四种目标与预训练如何训练？什么被冻结？

直接监督训练共 4 种配置：纯语音回归使用逐帧均方误差，纯音素分类使用交叉熵，联合任务使用两者加权和，权重由音素系数控制，文本识别使用面向字符的联结时序分类损失。论文报告语音与音素分类的学习率较高，文本识别的学习率较低，所有直接训练持续数十个轮次，优化器为带权重衰减的自适应优化器，超参数与前人工作保持一致以保证可比。

预训练阶段单独进行上 1000 轮，做法是把卷积输出的隐表示做乘积量化，对部分编码器输出加掩码后送入 conformer，用对比损失让每步预测靠近自身量化目标而远离上 100 个负样本，温度系数固定。微调时把预训练编码器接到文本或联合任务上继续训练，探测阶段则冻结编码器只学线性头。原文未逐层报告梯度是否截断或部分冻结的细节，因此复述时不推定哪几层被冻结，只按证据说探测时编码器不更新、微调时编码器继续更新。

对比预训练 × 微调： 对比预训练负责在无标注肌电上用掩码预测区分真实量化特征与负样本，分工是学习通用时间结构，微调负责把预训练编码器接到语音合成或文本识别目标上继续训练，分工是注入任务监督，搭配理由是希望通用结构能减少标注需求，组合是否成功要看预训练隐空间是否与音素和声学语义对齐，本文的否定结果正是对这一搭配的检验。

这种安排使预训练与监督的比较是公平的：骨干相同、数据相同，差别只在是否经历无监督对比阶段。

数据、划分、指标与硬件条件如何固定？

数据采用单说话人公开语料，总时长约 18 小时量级，其中有声部分约 12 小时，同步记录肌电与音频，其余为文本相同的有声与无声 utterances，用于通过规整对齐得到静音训练目标。电极数为 8 通道，音频目标为梅尔频谱，音素由蒙特利尔强制对齐器得到，数据高度不平衡且大量帧为静音，因此论文同时报告含静音与去静音的准确率。模型为三块残差卷积加十二块 conformer，训练在一块消费级图形处理器上完成，直接训练与预训练的轮次、学习率与衰减均有明确记录。

指标方向要记牢：音素探测准确率越高表示语音信息越线性可分，频谱均方误差越低表示线性还原越准，词错误率越低表示合成越可懂。论文未报告统计显著性与多人多设备泛化，因此所有结论先限定在该单说话人配置下成立。可视化只选 5 个发音模式差异大的音素以便阅读，不代表全部音素分布。

音素信息真的在没有音素监督时出现吗？

要比较的问题是：同样编码器在不同目标下，冻结特征的线性音素准确率谁高谁低，条件是否一致，指标方向如何。公平条件是骨干结构与数据相同，只有训练目标不同，探测都用线性分类器且报告含静音准确率。下表整理了 8 种配置的线性探测结果，数值越大表示音素越线性可分，最后一列提示与最佳配置的差距性质。

表后解释是：联合任务最佳且直接训练与微调基本持平，说明预训练未带来额外语音增益。

关键反例是纯语音回归达到约 70% 含静音准确率，显示只学声学系数也能分出音素，而预训练与随机仅约三成且去静音后个位数，表明对比预训练的类别与音素不对齐。文本任务虽无音素监督也达到 80% 左右，支持语音结构在字符级监督下同样涌现，但这只是线性可分性证据，不等于识别词错误率一定最低。

看图路径： 1. 先确认标题为预训练后特征，横轴为第一维，纵轴为第二维；2. 再按图例区分五个音素颜色，看同色点是否聚成独立区域；3. 最后注意不同颜色点大面积交叠，判断是否存在音素簇

论文图 2。原论文 Figure 1：“UMAP projection of features after pretraining”。

上图是预训练后特征的降维投影，导读时应先看标题与坐标轴，再按图例找 5 个音素颜色。解释是不同颜色点大面积混杂，没有形成按音素划分的独立团块，与随机基线相近，这与上表预训练准确率低一致，说明对比目标学到的邻近关系不是语音学邻近。

看图路径： 1. 先区分左图音素分类与右图语音回归两个面板；2. 再观察左图同色点是否形成紧凑大团，右图是否仍有颜色分区；3. 最后对比两图分离程度，判断回归目标是否也带来音素结构

论文图 3。原论文 Figure 2：“UMAP representations for EMG-to-speech and EMG- to-phones”。

上图左为音素分类特征，右为语音回归特征，导读时先区分面板再看颜色聚集。解释是左图同色点形成紧凑大团，分离最清晰；右图虽不如左图紧凑，但仍可见颜色分区，例如不同音素占据不同区域，这对应纯回归仍有 70% 以上探测准确率，是涌现论断的直观支撑。

中间层比最后一层更懂音素吗？

要检验的问题是语音信息在编码器深度上的分布，比较条件是同一模型的不同层输出，指标仍是线性音素准确率，越高越好。下表按层索引从浅到深整理了 5 种可运行配置的逐层探测，最后一列点明趋势是否单调。

表后解释是：文本与联合任务越深越好，符合任务相关的抽象逐层增强。

未胜出项是纯语音回归在中间层反而超过纯音素分类，例如第十层附近回归特征比分类特征更适合线性读出音素，但到最后一层因逼近声学目标而下降。这提示合成模型的中间层更通用，而末层为回归牺牲了部分线性可分性。复现时应逐层探测而非只看末层，否则会低估回归模型的语音含量。

为什么分类准不等于合成可懂？回归损失缺了会怎样？

要回答的是合成可懂度的决定因素，比较的是同一批冻结特征做线性频谱回归时的均方误差与词错误率，两个指标都是越低越好，且误差低通常对应错误率低。下表把是否包含回归损失作为分组条件，最后一列给出可懂性判断。

表后解释是：只要训练目标包含声学回归，线性探测就能把误差降到约 0.8 且词错误率降到约三 40%；一旦缺失回归损失，即使音素准确率高达七 80%，词错误率仍在 90% 以上乃至满分，纯音素配置就是最极端的反例。

这支持论文判断：音素可分性不是可懂充分条件，回归损失负责保留连续声学细节。代价是联合训练需要调权重且依赖对齐质量，文本模型的高音素准确率不能直接迁移为合成能力。

看图路径： 1. 先确认左图为直接训练的文本模型，右图为预训练后微调模型；2. 再看蓝色与黄色等颜色在左右图中的位置是否形成可辨区域；3. 最后比较两图聚类清晰度，判断微调是否改变语音对齐程度

论文图 1。原论文 Figure 3：“UMAP representations for EMG-to-text, supervised and finetuned”。

上图左右分别为直接训练与微调后的文本模型特征，导读时先确认面板标题再看颜色分布。解释是两图都出现按颜色划分的区域，蓝色与黄色等各自聚集，说明字符级监督下仍涌现音素聚类，且微调后结构未被破坏，这与两者的探测准确率接近一致。但聚类清晰不代表能合成，因为该模型训练时没有回归约束。

看图路径： 1. 先找到对角线为自身相似度为 1 的黄色格；2. 再读语音与联合任务之间约 0.9 的高相似格；3. 最后读预训练行与其他行的低相似值，判断预训练空间是否孤立

论文图 4。原论文 Figure 4：“Similarity of features between setup pairs”。

上图是不同配置特征间线性相似度矩阵，导读时先看对角线再看语音与联合任务交叉格。解释是语音与联合任务之间相似度高达约 0.9，微调与直接训练之间也高度相似，而预训练与其他配置相似度仅约 0.1 到 0.2，文本直接训练与其他语音模型也较低。这支持预训练空间孤立、微调未大幅改变监督空间的判断，也解释了为何微调收益小。

哪些结论还不能推广？缺了什么验证？

论文明确报告的局限是单说话人小数据，涌现是否在多说话人、大语料与不同电极配置下成立待验证。方法局限是线性探测与最近邻只是下游性能的平均最佳预测器之一，线性可分不等于因果可用，降维可视化只选 5 个音素且易受参数影响，不能当作全部音素的证明。指标局限是可懂度用预训练语音识别模型的词错误率代理，不是人听实验，不同指标的差值不能混放比较，含静音与去静音准确率数值相同也不代表同一难度。

资源状态方面，本次未发现来源绑定且完成验证的资源，因此不得声称代码、模型或数据已公开，只能按论文引用的公开语料名称复述来源。缺失证据不是技术错误：未测量延迟、功耗与实时帧率时，不承诺这些量得到改善；未报告多次随机种子的方差时，不把单次最优当作稳定增益。

要复现先做什么？关键超参数与检查点是什么？

先准备数据：获取单说话人肌电与音频对齐语料，音频转梅尔频谱，音素用强制对齐得到，无声句子用动态时间规整与有声对应对齐，划分与采样保持与原文一致。再搭建模型：三块残差卷积后接十二块 conformer 加线性头，4 种目标分别用均方误差、交叉熵、加权联合与联结时序分类损失，优化器与权重衰减按原文设置，直接训练数十轮、预训练上 1000 轮，掩码比例、负样本数与温度系数不要自行改动。

先跑通纯语音与纯音素两个基线，再跑联合与文本模型，最后加预训练加微调对照。检查点是：冻结编码器后线性音素准确率是否复现联合最佳、纯回归亦高的格局；线性频谱回归的均方误差与词错误率是否只在含回归组下降；逐层探测是否复现回归模型中间高末层降；相似度矩阵是否复现预训练行低相似。

若预训练增益为零，先检查量化与掩码实现，而非直接断言方法无效。

何时值得尝试这种分析？下一步还需补什么？

当你的静音语音项目出现识别好但合成差，或预训练不增益时，值得复制本文的三件套：冻结编码器的线性音素探测、线性频谱回归加词错误率、跨任务相似度与降维可视化。若中间层比末层更适合分类，可考虑从中间层引出辅助头或多任务权重；若合成不可懂，优先补回归损失与对齐质量，而非堆更多音素标注。还需补的验证包括多说话人泛化、人听可懂度、多次种子的稳定性，以及其他自监督目标学到的隐类别是否更接近语音语义。

论文提出的未来方向是探索不同自监督方法学到的隐类别，并将其推向监督学习的类别以减少标注需求。收束判断是：在本配置下，音素表示可以无监督涌现，但可懂合成离不开声学回归，而当前对比预训练的空间与语音不对齐，这三句话分别对应涌现、必要条件与失效解释，不宜简化为预训练无用或分类无用。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总