静音肌电没有配对语音时，同句有声肌电能否做中间表示目标

英文题目：Enhancing EMG-to-Speech via Silent-Voiced Representation Alignment

会议身份：conference:interspeech:2026:conference-paper-id:lee26v_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#统计分析 #迁移学习 #生理信号 #语音 #静默语音接口

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jiwon Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Injune Hwang：机构信息未能从会议 PDF 纯文本可靠映射
• Jaejun Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Eungbeom Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Dongyub Han：机构信息未能从会议 PDF 纯文本可靠映射
• Kyogu Lee：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

肌电到语音（EMG-to-Speech，ETS）以面部肌电重建可懂语音，难点是静默肌电（silent EMG）无配对声学真值且样本远少于发声肌电，导致内容映射不稳定。所提静默-发声对齐（Silent-Voiced Alignment，SVA）让同一肌电编码器同时编码静默输入Es与同话语发声配对Ev，先在输出层用声学欧氏距离与音素分布欧氏距离构造代价矩阵并以动态时间规整（Dynamic Time Warping，DTW）求解发声到静默的帧映射，再沿该路径计算输出对齐损失，并复用同一路径对各Transformer隐层施加余弦距离约束，最后以基于输出对齐误差的Sigmoid型样本权重调节辅助损失强度。与以往只迁移语音衍生声学目标的做法不同，该机制把发声肌电表征作为可达的中间教师，提供独立于语音目标的正则化。在Gaddy and Klein数据集98条静默测试上，以Whisper medium评测，Mel目标词错误率从26.75%降至25.14%，相对降低约6.0%，\(p=0.002\)；软语音单元（Soft Speech Unit，SU）目标从27.78%降至26.55%，\(p=0.009\)。Mel下Fréchet Speech Distance从6.48降至6.28且显著，SU下从8.99变为9.15且不显著。结论目前仅在单一英语数据集与两类基线编码器上验证，未证明跨被试、跨语言或病理场景外推能力，原文未披露训练与推理成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/jiwonlee-0218/SVA- — 链接不可用（HTTP 404）
• 第三方资源：https://github.com/dgaddy/silent — 链接不可用（HTTP 404） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么静音条件更难

这篇论文研究的输入是面部肌电信号，也就是贴在面部记录肌肉活动的多通道电信号。目标是从这种信号重建出可懂的语音波形，称为肌电到语音转换。论文把输入分成两种条件。有声肌电是正常发声时记录的肌电，它同时有麦克风录到的语音，可以导出梅尔谱或软语音单元等声学目标，监督关系在时间上可以直接对应。静音肌电是只做构音动作而不发声时记录的肌电，它是静音语音接口真正要用的条件，但它天然没有可听语音，因此没有直接的逐帧语音监督。

对刚入门的读者，可以把任务理解成一条链路。先用肌电编码器把肌电波形变成帧级声学表示，再用声码器把声学表示变成波形。论文沿用的编码器先用残差卷积把原始肌电降采样，再用变换器建模上下文，并同时输出音素概率与声学表示。有声数据训练这条链路比较直接，因为每 1 帧肌电大致能找到对应的语音帧。静音数据的问题是发音速度与时长会变化，帧数与目标帧数不一致，而且没有真值语音可以逐帧对照。

论文还强调了第二个困难是数据稀缺与数据不平衡。实验用的数据集包含较多有声语句和较少静音语句，静音样本明显更少。肌电本身非平稳且对随机初始化敏感，论文报告词错率在不同随机种子下标准差约为 1% 量级，这意味着只跑 1 次就报平均值容易误导。因此后文的多种子评估协议不是附加动作，而是理解这篇论文结论必须保留的实验条件。

已有路线做了什么，本文把监督放在哪里

已有肌电到语音研究主要沿着改进声学目标预测走。早期工作用静音肌电预测倒谱、梅尔谱或软语音单元，再接预训练的声码器合成语音。后续工作引入自监督预训练先学表示再微调预测梅尔谱，也有人在预训练编码器之上训练扩散模型改善对数梅尔谱质量。这些路线的共同点是监督来源都是语音导出的声学目标，即使手里有同一句话的静音与有声两段肌电，也没有把这对肌电本身当作显式表示监督。

另一类相关思路是目标迁移，也就是利用同一文本的配对有声与静音语句，把有声肌电对应的声学目标搬给静音肌电用。论文认为这种做法只做了声学目标的直接迁移，忽略了静音与有声肌电在表示层面是否一致。换句话说，它回答了拿什么当目标，但没有回答静音分支的中间表示是否走到了与有声分支相似的结构上。

本文的定位是增加一路表示层面的监督。除了继续用语音导出的声学与音素损失，作者要求同一句话的静音表示向有声表示靠拢。论文把灵感类比为知识蒸馏与半监督学习中的一致性思想，但研究对象换成了配对肌电模态。需要区分的是，论文直接报告的是这种对齐带来的可懂度提升，有限解释是它提供了更稳定可达的中间目标，至于是否真正学到了更纯粹的构音内容，属于待验证的机制解释，不宜当作已证明的因果。

要解决的具体问题与可验证的判断标准是什么

具体问题可以写成一句话。在只有少量静音肌电、且静音肌电没有逐帧语音真值的条件下，如何让静音分支的预测既对准语音目标，又在表示上与同句有声分支保持内容一致。论文把可验证标准定为 3 类指标。第一是内容可懂度，用识别模型转写合成语音后计算字错率与词错率，越低越好。第二是分布相似度，用语音特征空间中的弗雷歇语音距离度量合成语音与真值语音的分布距离，越低越好。第三是稳定性，用 10 个随机种子的均值与标准差以及配对检验的显著性来判断提升是否可靠。

举一个教学用的例子帮助理解，但它不是论文数据。假设某句话静音肌电帧数少于有声肌电帧数，语音目标帧数与有声分支接近。直接监督需要把较短的静音预测对到较长的目标上，路径不确定。本文增加的约束是先让静音预测对到有声预测上，因为二者来自同一编码器且内容相同，结构更接近，再间接帮助静音预测对准语音目标。这个例子只说明帧数不等与路径作用，不代表真实帧率与时长。

论文明确了适用边界。对齐损失只在有平行有声对照的静音输入上计算，因为只有这种样本才能定义同句对应关系。非平行有声数据仍按常规声学与音素损失训练。复述方法时必须保留这一条件，否则会误以为所有静音样本都能做静音有声对齐。

方法全景：一个平行对如何走完输入到输出

沿一个平行对走一遍流程最容易抓住全景。输入是 1 对肌电，记为有声肌电与静音肌电，二者对应同一句话但长度可以不同。它们分别通过同一个肌电编码器，得到各自的预测声学表示、音素分布以及各变换器层的隐状态序列。有声分支另外有语音导出的真值声学目标与真值音素标签，可以算常规监督损失。静音分支既要算与真值目标之间的声学与音素损失，也要算与有声分支之间的静音有声对齐损失。

训练分两个阶段。第一阶段只用有声肌电预训练编码器，学习常规声学与音素映射。第二阶段同时用有声与静音肌电微调，并在静音分支上加入对齐损失。推理时只有静音肌电，没有有声对照，也不再计算对齐损失，直接由编码器预测声学表示再经声码器合成波形。因此对齐是训练期正则，不是推理期需要的额外输入。

论文用两类声学目标验证通用性。一类是直接预测梅尔谱，合成时用相同的神经声码器把预测梅尔谱变成波形。另一类是预测软语音单元，再按已有管线经梅尔谱解码器与预训练权重合成语音。方法本身不绑定某一种目标，关键是静音表示向有声表示靠拢这一路附加监督可以接到现有框架上。

编码器与两路监督如何分工

编码器的分工是把肌电波形变成可用于合成与识别的帧级表示。按论文采用的结构，残差卷积负责降采样，得到对应不同目标的特征帧率，随后变换器负责上下文建模并通过两个输出头分别给出音素概率与声学表示。这种双头设计让内容约束与声学约束可以同时作用在同一编码器上。

常规监督的分工是把预测拉向语音真值。声学损失用欧氏距离度量预测声学表示与真值目标的差距，音素损失用交叉熵度量预测音素分布与真值标签的差距。对有声输入直接逐帧计算，对静音输入则需要先用动态时间规整找到预测帧与目标帧的对应路径，再按路径计算损失。论文给出的静音路径代价同时包含声学距离项与音素负对数似然项，并用两个标量权重平衡二者。

静音肌电 × 有声肌电： 静音肌电负责提供测试时唯一可用的无声构音输入但缺少时间对齐的语音目标，有声肌电负责提供同一句话的有声构音版本及其可推导的声学与音素表示，二者搭配的理由是同一语句下语言内容相同而有声分支更易映射到语音目标，组合意义是用有声分支的输出与隐层表示作为静音分支训练时的中间稳定目标，而不只是直接搬运声学目标。

对齐监督的分工是把静音预测拉向有声预测。输出层对齐比较静音与有声的声学表示距离与音素分布距离，隐层对齐比较各层隐状态的余弦相似度。论文强调有声表示是更可达且更稳定的中间目标，因为它与静音表示来自同一编码器且共享语言内容，比直接对准语音目标更容易优化。

声学损失 × 音素损失： 声学损失负责把编码器预测的梅尔谱或软语音单元拉向语音导出的连续目标，音素损失负责把帧级音素概率分布拉向真值音素标签，二者搭配的理由是前者约束声音质感与连续变化而后者约束语言内容离散类别，组合意义是在动态时间规整代价与总损失中同时加权两项，使静音与有声之间以及预测与真值之间的对齐路径都兼顾发音内容与声学细节。

对齐路径与多层约束按什么顺序计算

计算顺序是理解这部分的关键。第一步是对静音与有声的预测输出构造代价矩阵，每一项是声学表示欧氏距离与音素分布欧氏距离的加权和，权重在实验中都取 0.5。第二步是在该代价矩阵上做动态时间规整，得到从有声帧索引到静音帧索引的对齐路径。第三步是沿这条路径计算输出层对齐损失，即把每 1 帧有声预测与路径对应的静音预测做加权平方误差并平均。

第四步是复用同一条路径约束隐层。对每一层变换器隐状态，把有声帧隐向量与路径对应的静音帧隐向量求余弦相似度，再用一减相似度作为该帧代价并平均，得到该层对齐损失，最后对所有层平均得到隐层对齐总项。复用路径是有意的设计选择，目的是让隐层与输出层遵循同一对应关系，而不是每层各自重新对齐。

第五步是把输出层与隐层两项按权重合成静音有声对齐损失，并在样本级别乘一个软调度权重。该权重是输出层对齐误差经阈值与 Sigmoid 变换得到的，含义是对齐越好权重越大，尤其在训练早期更强调可信样本。论文把总损失中常规项权重与对齐项中输出层隐层权重都设为 1.0，属经验选择。原文没有给出阈值的具体数值与消融，这是复现时需要留意的缺项。

输出层对齐 × 隐层对齐： 输出层对齐负责约束编码器最终预测的声学表示与音素分布在静音与有声之间一致，隐层对齐负责约束各变换器层中间隐状态在同一对齐路径下余弦相似，二者搭配的理由是输出层提供直接可用的监督信号而隐层提供逐层正则，组合意义是复用同一条由输出层算出的对齐路径去约束所有隐层，避免每层各自找路径带来的不一致。

动态时间规整 × 软调度权重： 动态时间规整负责在静音帧数与有声帧数或目标帧数不等时找出帧级对应路径，软调度权重负责按当前静音与有声对齐好坏给每个样本的对齐损失加权，二者搭配的理由是对齐路径在训练早期可能不可靠，组合意义是只有当输出层对齐误差较小因而对应关系可信时才更强调表示对齐，防止错误路径主导早期优化。

训练流程、优化设置与模型选择如何执行

训练按 2 阶段执行。先只用有声肌电预训练，再用有声加静音微调并加入对齐损失。对齐损失只用于有平行有声对照的静音输入，这是必须保留的条件。优化器用权重衰减的自适应优化器，批量大小为八十，训练 200 轮，初始学习率较小并配权重衰减，并用验证性能停滞时减半学习率的调度器。论文没有报告梯度是否截断有声分支，也没有说明对齐项是否对有声表示停梯度，因此复述时只能说同一编码器处理两者并计算距离，不猜梯度路径。

模型选择流程是这篇论文与以往工作的重要区别。作者对每个配置训练 10 个不同随机种子，每个种子训练 200 轮并每 10 轮保存 1 次，按验证集词错率最低选出该种子的最优检查点，再在测试集上评估。最终报告是 10 个种子测试结果的均值与标准差，并做配对检验验证显著性。这种做法直接回应了肌电敏感与数据量小带来的波动问题。

预处理与数据配置严格跟随基线。原始 8 通道面部肌电采样率较高，先做陷波去除工频干扰与高通滤波，再按不同基线分别降采样。测试集为 98 条，去掉了不含字母数字字符的样本。复现时若降采样或滤波顺序不一致，可能直接改变帧率与对齐行为，需要先对齐这部分管线。

基线、指标与公平比较条件是什么

论文选择了两个有代表性的基线。一个是直接预测梅尔谱的改进模型，另一个是预测软语音单元再经解码器合成的多说话人模型。选择理由是二者在已有研究中常用且词错率更具竞争力，而其他编码器方法的词错率明显更高，不适合做有意义比较。比较时保持各自的数据配置与预处理管线不变，只在训练中是否加入对齐损失上做对照，声码器与解码器沿用对应基线的已有设置。

评估指标分两类。内容指标用中等规模识别模型转写合成语音，报告字错率与词错率，越低表示可懂度越好。分布指标用自监督语音特征提取器计算合成语音与真值语音之间的弗雷歇语音距离，越低表示分布越接近。论文明确按 10 个种子的测试均值报告，并在主表中给出均值加减标准差。显著性用配对检验给出概率值，这是判断提升是否可靠的依据。

需要保留的官方资源状态是，论文正文给出的方法代码链接当前不可用，第三方基线仓库链接本次也未能确认可达。写作时不能写代码已公开或可直接下载运行，只能说论文声明了代码地址但当前链接返回不可用，复现需按正文描述自行实现或等待作者修复。这一点与方法正确性无关，但决定了复现起点。

主结果测了什么，谁比谁好多少

主结果要回答的问题是，在相同声学目标下加入表示对齐后，静音测试集上的可懂度与分布相似度是否同时变好。公平条件是基线与本方法使用各自对应的目标与管线，评估都走同一识别模型与同一种子平均协议，指标方向都是越低越好。下表把论文报告的关键数字整理成可核对的形式，重点看词错率与字错率的变化，分布距离作为辅助判断。

表后需要同时讲收益与代价。梅尔谱目标下词错率相对下降约 6%，论文报告概率值为 0.002，软单元目标下词错率下降约 1.2 个百分点，概率值为 0.009，均达到统计显著，且本方法标准差更小，说明提升在不同初始化下更稳定。分布距离上梅尔谱目标从 6.48 降到 6.28 且概率值较小，支持分布一致性改善，但在软单元目标下分布距离没有显著差异，这是明确的未胜出项。因此结论应限定为内容可懂度在两条目标下都显著改善，分布改善只在梅尔谱目标下得到支持。

字错率 × 弗雷歇语音距离： 字错率与词错率负责度量合成语音经识别后内容可懂度，弗雷歇语音距离负责度量合成语音与真值语音在自监督特征空间中分布相似度，二者搭配的理由是前者只看文字对错而后者看整体声学分布，组合意义是同时报告可懂度提升与分布一致性，避免只看懂了几个词就断言语音质量全面变好。

显著性数字支持什么判断，有无未胜出项

消融之外先把显著性证据单独核对 1 次，这能避免把平均值差距误读为稳定增益。公平条件是同一测试集、同一识别模型与同一多种子协议，判断依据是配对检验概率值。下表整理论文正文连续句子中直接报告的相对下降与显著性数字，数值方向仍是越低越好，重点是区分哪一项通过显著性门槛、哪一项没有通过。

表后解释支持的判断与限制。完整对齐在两类目标下都把词错率降到更低，且概率值分别达到 0.002 和 0.009，支持内容可懂度改善不是单次随机波动。梅尔谱分布距离的概率值较小，支持分布一致性改善，但在软单元目标下分布距离差异的概率值较大，明确不支持分布改善，这是必须保留的反例。论文还称所有对齐变体都优于基线且输出层单项优于隐层单项，但原文消融表没有在正文连续句子中给出每次消融的标准差与显著性，因此不能断言每一处小差距都统计显著，这是复述时必须保留的限制。

哪些边界没有测，哪些推论不能做

第一个边界是数据依赖。方法要求静音样本有同句有声对照才能计算对齐损失，非平行静音数据无法直接受益。论文实验的数据集恰好提供了较多平行对，如果实际场景只有孤立静音语句而没有配对录音，该正则无法按原样使用。论文没有报告在平行对比例减少时的性能曲线，因此不能推测需要多少配对才能起效。

第二个边界是评估范围。论文用识别模型给出字错率与词错率，用特征空间距离给出分布相似度，但没有报告人工听感评分，也没有报告误判率之外的延迟、实时因子与训练显存开销。总体趋势成立不等于每句话都变好，论文也没有给出按说话人、按语句长度或按噪声水平的分组结果。复述时应使用报告与支持的措辞，涉及因果与机理的部分用可能与待验证表达。

第三个边界是实现缺项。软调度中的阈值、对齐路径的具体边界处理、变换器层数与隐维度在正文中没有完整展开，而是引用已有编码器结构。梯度是否流经有声分支、声码器是否参与联合微调等细节也未明确。若按论文复现，应先固定基线管线与 2 阶段流程，再补做阈值扫描与梯度路径对照，并记录每种子的验证与测试曲线，否则难以判断小幅提升来自对齐本身还是来自训练波动。

复现先做什么，需要保留哪些超参数

复现的第一步是重建数据管线。按基线分别处理 8 通道面部肌电，先做陷波与高通，再降采样到对应基线的采样率，保证帧率与原文一致。划分上训练用平行对加非平行有声语句，测试用 98 条并排除无字母数字字符的样本。任何改动采样率或测试过滤规则都会改变可比性，应先跑通基线并记录 10 个种子的词错率分布，再加入对齐损失。

第二步是实现损失。常规声学损失与音素损失按有声直接计算、静音经动态时间规整路径计算的规则实现，代价矩阵中声学与音素权重都取 0.5。对齐损失先由输出层预测算代价矩阵并求路径，再沿路径算输出层平方误差与各层余弦距离，最后把两项权重都取 1.0 并乘软调度权重。总损失中常规项系数取 1.0，对齐项只加在有平行对照的静音样本上。优化用批量八十、200 轮与验证停滞减半策略，每个种子每 10 轮保存并按验证词错率选优。

第三步是处理代码不可用问题。论文声明的方法仓库链接当前不可用，第三方基线仓库本次也未能确认可达，因此不能依赖一键运行脚本。建议把复现产物拆成可检查的中间结果，包括对齐路径可视化、输出层误差分布、隐层相似度变化以及每种子的验证曲线。若只能复现梅尔谱分支，应明确说明软单元分支因缺少预训练解码器权重对照而未验证，不把单分支结果推广为全文结论。

何时值得尝试，一句话收束

当手里有同句静音与有声肌电对，且基线已出现单次训练波动大、静音预测内容不稳时，这个方法值得尝试。它的改动集中在训练期，不改变推理输入，不需要静音测试时提供有声对照，也不绑定某一种声学目标，因此接到已有肌电到语音框架上的成本相对清晰。需要付出的代价是必须维护平行对、实现动态时间规整与多层约束，并用多种子评估证明稳定性。

对初学者而言，复述这篇论文可以抓住三句话。静音缺监督是问题的起点，同句有声表示是更易达到的中间目标，输出层路径复用到隐层是实现多层一致的关键。证据上记住两组显著的词错率下降与一组只在梅尔谱下显著的分布改善，以及完整对齐优于任一单项的消融趋势。若未来要继续验证，最需要补的是平行对数量敏感性、分组语句表现与人工可懂度评价，而不是重复 1 次平均值比较。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总