静音肌电缺语义：用识别文本在推理时纠偏扩散合成

英文题目：GETS: Guiding EMG-to-Speech Synthesis via Silent Speech Recognition

会议身份：conference:interspeech:2026:conference-paper-id:lee26r_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #生理信号 #语音 #静默语音接口

评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jiwon Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Jaejun Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Kyogu Lee：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

肌电到语音合成 Electromyography-to-Speech (ETS) 需从无声发音肌电直接生成可懂语音，难点是静默肌电欠定且无配对音频监督，单纯最小化声学重建误差不能保证语义一致。GETS 用共享肌电编码器提取静默特征与发音特征并在特征空间以动态时间规整 Dynamic Time Warping (DTW) 对齐，以对齐后特征条件训练去噪扩散概率模型 Denoising Diffusion Probabilistic Model (DDPM) 生成梅尔谱 Mel-spectrogram，推理期再用预训练静默语音识别 Silent Speech Recognition (SSR) 文本经由冻结自动语音识别 Automatic Speech Recognition (ASR) 模型的条件对数似然梯度做分类器引导修正语义。该设计把韵律交由肌电条件承担、把语义交由识别文本约束，训练无需语言标签，推理才引入文本约束。在 Gaddy and Klein 单人静默测试集上以 Whisper-medium 评估取得 11.89% 词错率 Word Error Rate (WER)，相对 25.74% 的 Gaddy and Klein 基线绝对降低 13.85 个百分点；以 DeepSpeech 评估取得 21.32%，同样领先同口径基线 10 个百分点以上。在静默测试集消融任务下，完整引导配置的WER为11.89%，低于无语义引导配置的WER 32.78%。能量打乱分析显示肌电打乱比文本打乱更严重破坏能量轮廓，证明韵律主要来自肌电而非纯文本映射。该结论适用边界受限于单说话人英语朗读语料，多说话人、电极偏移与噪声佩戴场景尚未验证。原文未披露训练、推理或部署成本

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇论文研究的输入是贴在面部的表面肌电信号，也就是说话人在不出声做口型时面部肌肉活动的电压序列，输出是可听的语音波形，中间以梅尔谱为生成目标再经声码器转波形。任务的难点在于静音肌电没有配对的声音，真值音频缺失，且同一组肌肉动作可能对应多个发音，语言信息高度欠定。

初学者可以这样走一个样本：说话人先有声读一句话并同步记录肌电与音频，再静音做同样文本的口型只记录肌电，测试时只给静音肌电，要求模型生成与文本一致且时序自然的语音。必须保留的信息有两类，一是发音的时序与强弱起伏等韵律线索，二是词序列的语义正确性，前者来自肌电波形本身，后者需要外部语言约束补足。

论文报告的核心结果是静音测试集上词错误率为 11.89%，用 Whisper-medium 评估，相比此前超过 25% 的水平有大幅下降。作者同时强调能量与对齐分析，目的是证明可懂度提升不是丢掉肌电、纯靠文本合成换来的。学习时要先接受一个前提：声学重建误差小不等于词转写正确，这是全文方法设计的起点。

同输入同目标的前人走了哪几条路线？

在相同输入与相同目标下，前人主要有直接映射到声学特征、映射到内容表征、引入扩散生成 3 类做法。早期工作用卷积加变换器编码肌电，并用动态时间规整缓解静音与有声的速度错位，再生成梅尔谱，这是声学监督路线。后续工作把监督从梅尔谱转到软语音单元等内容表示，以支持多说话人或增强编码器，例如加入压缩激励模块，这是内容表征路线。最近的扩散路线尝试用生成模型提升音质，但论文指出这些方法仍以声学重建为中心，语义保真不足。

另一条相关线是带引导的扩散语音合成。文本到语音中有用音素分类器引导无条件扩散的工作，视频到语音中有用语音识别分类器引导唇视频生成的工作，其共同点是在推理时加梯度而不重训生成器。论文明确指出这类识别引导从未在肌电到语音领域做过，这是本文的切入位置。

对照时要注意运行阶段是否一致：前人的肌电编码器与声码器多在训练时依赖有声配对数据，本文同样依赖，但新增的语义引导只在推理时启用，不需要训练时提供额外语言标签。类别差异不能当作同条件胜负，例如用不同识别引擎评估的词错误率不能直接比较，论文为此同时用两种引擎分别对照。

为什么只最小化声学误差不够？

问题可以表述为：给定静音肌电序列，要求生成梅尔谱，使其既与肌肉活动的时序能量一致，又能被识别为正确的词序列。由于静音记录没有声音，训练只能借用同一文本的有声发音音频做代理监督，而静音与有声在速度与力度上存在差异。

如果只最小化梅尔谱重建误差，模型会优先拟合能量包络等易学特征，但对易混淆的音素缺乏判别压力，例子是口型相近但词不同的情况，波形接近而文本不同，声学损失难以纠正。教学例子是：两段肌电包络相似，声学模型可能生成相近的谱，但转写后一个对一个错，这说明需要显式的文本约束。

因此论文把生成分解为两条互补约束：肌电条件负责声学与韵律 grounding，识别预测文本负责语义纠偏。前者解决像不像本人发音节奏的问题，后者解决说没说对词的问题，二者缺一不可。

双路框架如何分工又在哪里汇合？

整体框架包含肌电条件梅尔生成器与基于静音识别的语义引导两部分。前者以扩散网络为骨干，输入肌电特征生成梅尔谱；后者先用静音识别得到预测文本，再用冻结的语音识别模型在每一步去噪中计算文本似然梯度并修正生成方向。推理时两路都从同一段静音肌电出发，一路走声学条件，一路走文本预测，最后在去噪噪声估计处相加汇合。

肌电到语音合成 × 静音语音识别： 肌电到语音合成负责把面部肌电的发音动态转成可听的梅尔谱并保留时序与能量起伏，静音语音识别负责从同一段肌电预测出文本转录提供语言约束，二者搭配的理由是仅靠声学重建无法消除同形发音歧义，组合后生成过程同时受信号线索和文本似然梯度牵引。

下面先看总体数据流向，再看编码器内部的对齐细节，两张原图分别承担这两个教学任务。第一张总览图展示从单路肌电分叉到生成与识别再经梯度回路汇合的过程，适合建立全局因果链。第二张编码器图展示训练时静音与有声双路如何经共享编码器与规整模块进入解码器，适合理解监督来源。

以下导读针对总览图，帮你把文本描述与像素箭头对应起来，避免把虚线回路误读为训练梯度。

看图路径： 1. 先沿左侧同一段静音肌电的分叉箭头，分别找到上方梅尔生成器与下方静音识别分支；2. 再看下方识别输出的英文例句框与上方梅尔谱经语音识别后的箭头如何汇入语义引导模块；3. 观察虚线标示的基于梯度的语义精修回路指向梅尔生成器的位置；4. 确认梯度公式标注与两个分支汇合的因果方向

论文图 2。原论文 Figure 1：“An overview of our proposed framework, GETS. The framework consists of an EMG-conditioned mel generator and an SSR-based semantic guidance.”。

从像素看，左侧为多通道肌电波形，上方进入梅尔生成器并输出一块梅尔谱示意，下方进入静音识别并输出一个英文例句框，中间经语音识别的箭头与文本框共同进入右侧的语义引导模块，再以虚线标示的梯度精修指回生成器。这对应正文所说的推理时引导：识别文本不直接作为解码器输入，而是转化为对噪声梅尔的梯度修正。

以下导读针对编码器与对齐图，帮你区分训练时才有的规整路径与推理时的直通路径。

看图路径： 1. 先从左侧静音肌电与配对有声肌电两路输入看起，确认共享权重的编码器输出两组特征；2. 再看中间动态时间规整模块如何把静音特征变换为对齐后特征并送入解码器；3. 对照右上角训练路线图例，区分实线与虚线分别对应静音支路与有声支路；4. 最后沿解码器箭头看到输出的噪声估计与梅尔谱示意，确认条件注入位置

论文图 1。原论文 Figure 2：“Architecture of the EMG-conditioned mel generator.”。

从像素看，左右两侧分别为静音肌电与配对有声肌电波形，中间两个共享权重的编码器输出静音特征与有声特征，静音特征经动态时间规整的矩阵示意变为对齐后特征再进入解码器，有声特征则直通解码器，右上角图例明确区分两条训练路线。这对应正文的安排：训练时有声特征直接条件监督，静音特征经规整后条件监督，推理时静音特征直接编码不再规整。

编码器、对齐与扩散条件具体做什么？

编码器记为函数，把肌电序列映射为隐特征，包含卷积层提取局部肌电活动与变换器块建模长时依赖。论文说明编码器用前人工作的预训练权重初始化，再与扩散骨干联合微调。共享权重的含义是静音与有声走同一个编码器，使两者表示处于同一空间，便于后续对齐。

对齐处理只在训练时执行。先分别得到静音特征与有声特征，再计算动态时间规整路径，把每个有声帧索引对应的一组静音帧取平均，得到与有声等长的对齐后静音特征。这样扩散模型可以用稳定的条件长度监督，而不需要改动梅尔目标。推理时直接编码静音肌电，因为联合优化已鼓励编码器输出时间兼容的表示。

动态时间规整 × 静音肌电特征： 静音肌电特征是无声发音时编码器输出的时序表示，动态时间规整负责在训练时把它对齐到配对的有声肌电特征长度以匹配梅尔目标，二者搭配的理由是静音与有声发音速度不同直接监督会错位，组合后静音分支得到时间兼容的监督而推理时不再需要规整。

扩散部分沿用去噪扩散概率模型的流程。前向过程按线性噪声表逐步向目标梅尔谱加高斯噪声，去噪网络被训练去预测每一步加入的噪声，条件是肌电特征，肌电特征经上采样后在每个残差块逐元素相加。为支持灵活的引导控制，训练时以一定概率丢弃条件，同时学习条件噪声预测与空条件噪声预测，推理时按权重组合二者以调节肌电跟随强度。

扩散模型 × 分类器引导： 扩散模型负责从噪声逐步去噪生成梅尔谱并接受肌电条件，分类器引导负责用冻结语音识别模型计算转录对数似然对当前噪声梅尔的梯度并修正噪声估计，二者搭配的理由是扩散逆过程允许推理时外加梯度而不重训，组合后语义约束以加性修正项进入每一步去噪。

语义精修的计算是：在逆扩散的某一步，给定带噪梅尔与预测文本，用冻结语音识别模型估计条件对数似然，再求其对带噪梅尔的梯度，梯度方向指向更可能被识别为该文本的方向。将该梯度经归一化因子与权重缩放后，从肌电引导的噪声估计中减去，得到最终噪声估计。关键点是该机制只在推理时使用，训练不需要语言标签，且只在较早的去噪步区间启用以稳定引导。

无分类器引导 × 语义精修： 无分类器引导负责按权重放大肌电条件噪声与空条件噪声之差以增强信号保真，语义精修负责按另一权重加入识别文本的梯度项以增强语言一致，二者分工不同但共用同一个噪声估计式，搭配后可分别用两个权重控制声学跟随强度和文本纠偏强度。

训练用什么监督，哪些参数更新，推理如何组合？

训练的监督来源是有声发音的音频提取的梅尔谱，输入条件是配对的有声肌电特征与经规整的静音肌电特征。损失是对噪声预测的绝对误差，优化器用 Adam，学习率、批量、轮数与条件丢弃概率均有明确报告，扩散步数与噪声表为线性表。声码器不重新训练，直接用在 16 千赫音频上预训练的 HiFi-GAN 把生成的梅尔谱转波形。

参数状态按原文交代：肌电编码器从预训练初始化后与扩散骨干联合微调，静音识别模型与语音识别引导模型在生成训练中冻结，前者提供预测文本，后者提供梯度。梯度路径上，扩散损失只更新编码器与去噪网络，不更新识别模型；推理时的识别梯度不更新任何参数，只修正当前步的噪声估计。原文未报告编码器各层是否分层冻结或有无梯度停止细节，复现时应视为缺项而不猜测。

推理组合分两步：先按肌电引导权重组合条件与空条件噪声预测，再减去语义梯度项。论文报告的默认权重为肌电引导与语义精修的特定取值，且语义精修仅用于较早的去噪步。序列处理上，为稳定优化与批量训练，所有序列切为固定长度块，推理后再拼接或评估，这是复现时必须保留的预处理条件。

数据、划分、预处理与评估引擎是什么？

实验使用单被试的 Gaddy 与 Klein 数据集，包含有声与静音两种任务的肌电与音频记录。训练包含上 1000 对静音有声平行对与数千条非平行有声 utterance，测试为静音肌电集。肌电为 8 通道单极记录，原始采样与音频采样均有报告，预处理包括陷波与高通滤波、重采样与梅尔谱帧率设置。评估指标主要是词错误率，方向为越低越好，分别用两种识别引擎报告以对齐不同基线的原始评估条件。韵律部分用词与停顿起止平均绝对误差和对数梅尔能量均方根误差，同样越低越好。

下表整理数据规模与信号处理条件，帮你在复现时先对齐采样与分块，避免把性能差异误归于模型。表前问题的关键是：若采样、帧率或块长不一致，时序与能量误差将不可比。

表后解释：该表的价值在于锁定信息条件，平行对提供训练时代理监督的来源，非平行有声扩充声学覆盖，韵律分析特意用有声数据以保证有时间对齐的真值音频。代价是单被试限制了跨人泛化结论，未评测多被试与跨会话边界，复现时不应外推到多说话人场景。

主结果测什么，与谁比，条件是否一致？

主结果测的是静音肌电合成语音经第三方识别后的词错误率，对比对象包括直接映射、软单元预测与扩散基线等多项前人方法。由于前人分别用不同识别引擎报告，论文用两种引擎分别评估以保证公平，指标方向均为越低越好。关键数字是本方法在一种引擎下达到约 10% 出头的词错误率，而多个基线仍在 25% 以上。

下表聚焦主结果的比较问题：在静音测试集与相同评估引擎下，本方法相对各基线的绝对词错误率如何。表前公平条件是：同一测试集、同一评估引擎、同一词错误率定义，跨引擎数字不直接比较。

表后解释：从相邻证据看，本方法在该引擎下把词错误率降到约基线的一半以下，支持语义引导有效缓解欠定的判断。但代价与限制同样明确：该收益依赖静音识别预测文本的质量，原文报告识别本身词错误率约为 9% 左右，若识别错则引导可能引入错误；另一引擎下的绝对数值更高，说明跨引擎比较需谨慎，不能把单引擎最优当作普遍最优。未胜出项在韵律小节更明显，本节先保留主结果的适用条件为单被试静音集。

词错误率 × 韵律保真度： 词错误率负责衡量合成语音被第三方语音识别转写后的语义正确性，韵律保真度负责衡量词与停顿起止误差和能量轮廓误差以检验是否跟随原始肌电，二者搭配的理由是可懂度提升可能来自纯文本映射而丢掉肌电时序，组合评估才能区分协同融合与文本到语音的替代。

韵律保真度用有声数据评估，因为只有有声才有时间对齐的真值音频。时间对齐看词与停顿的起止平均绝对误差，能量看帧级对数梅尔能量的均方根误差。论文显示本方法在词级对齐上优于部分基线，在停顿精度上与另一基线各有胜负，能量一致性居中而非全面最优。这支持协同融合的解释：语义提升没有以丢掉时序为代价，但能量包络仍主要跟随肌电，文本打乱比肌电打乱的影响更小。相关性不等于因果，洗牌分析支持分工假设，但未测量基频等肌电本就缺失的信息，相关指标已明确排除。

拿掉一路引导会怎样，权重如何选择？

消融测的是两个引导权重分别取零或不同取值时的静音词错误率，目的是验证肌电声学条件与识别语义约束是否都不可或缺。实验固定其他条件，只扫描肌电引导权重与语义引导权重。指标仍为词错误率越低越好，阶段为静音测试集。

下表整理权重扫描的比较问题：在相同数据与模型下，不同权重组合的实际可运行性能如何，哪个为默认可部署策略。表前公平条件是：同一测试集、同一评估流程，仅权重不同，事后最优不代替默认策略的收益。

表后解释：主要收益是默认双路组合最优，去掉语义引导时词错误率急剧上升，去掉肌电引导时性能与对齐同步变差，这支持两路分别承担稳定重建与语言消歧的判断。具体代价是权重并非越大越好，继续增大任一权重均出现回落，说明过强引导会破坏平衡。反例是纯肌电条件在该表中最差，证明仅靠信号线索不足以解决欠定；纯文本引导虽优于纯肌电但仍明显差于双路，证明文本不能替代时序 grounding。未评测的边界包括权重在跨说话人与噪声肌电下的稳定性，原文未报告，复现时需补测。

哪些结论有边界，什么还没有被测量？

直接报告的边界包括单被试数据、依赖有声代理监督、韵律评估只用有声数据。单被试意味着跨人泛化待验证，不能把当前词错误率外推到多人场景。训练依赖平行有声对做动态时间规整，意味着采集成本仍在，推理虽不需要规整但仍需要同部位的肌电记录条件。

有限解释是协同融合的因果表述。洗牌实验显示随机肌电配正确文本比正确肌电配随机文本的能量破坏更严重，这支持能量主要来自肌电的判断，但这仍是相关性证据而非干预因果，且能量指标只是对数梅尔能量的帧级误差，不能代表自然度整体。可能待验证的是识别错误向生成的传播程度，原文未系统报告当预测文本错时合成错到什么程度。

未测量的量包括推理延迟、实时因子、显存占用与主观听感。原文给出训练批量与轮数但未给出完整硬件预算与推理开销，输出帧率与实际延迟应分别讨论，不能从趋势推定每步都更快。资源状态方面，本次未发现来源绑定且完成验证的开源资源，不得声称代码模型或数据已公开，演示链接的可达性本次也未能确认，复现应以论文文本参数为准。

复现先做什么，需要哪些信息条件？

复现的第一步是重建数据管线：按原文的滤波、重采样、梅尔帧率与固定块长处理肌电与音频，划分出平行对训练、非平行有声训练与静音测试，核对通道数与采样率。建议先用有声数据验证对齐与能量指标的计算，包括用第三方转写工具提取词与停顿边界并只在正确识别词的子集上计算对齐误差，停顿定义为有效词间超过 50 毫秒的静音段。

第二步是训练肌电条件扩散：用预训练编码器初始化并联合微调，按报告的扩散步数、噪声表、学习率、批量与条件丢弃训练，选择验证损失最低的检查点。第三步是接入冻结的静音识别与语音识别模型，固定默认的两个引导权重与语义启用步数区间做推理，再经预训练声码器转波形。调参时先固定训练，只扫描推理权重，并同时记录词错误率与对齐能量误差，避免单指标过拟合。

还需补的验证包括：跨随机种子的方差、识别文本错误时的降级曲线、肌电通道缺失或移位时的鲁棒性，以及推理延迟与显存的实测。记录时区分代码开源、权重下载与系统可运行三件事，当前证据不支持已公开的断言，复现报告应写明缺失项与替代方案。

何时值得尝试这种推理时文本引导？

当你的任务同时满足 3 个条件时值得尝试：输入信号欠定但保留时序能量线索，存在可用的识别模型能给出高层文本假设，生成器允许推理时加梯度而不重训。肌电到语音正好符合：肌电有节奏与力度但缺音素细节，静音识别可提供文本，扩散逆过程天然支持外加修正。

不值得盲目照搬的情况包括：识别质量远低于生成需求、推理延迟预算极紧、或评估只看波形距离而不看转写正确性。此时文本引导可能引入错误传播或额外计算，而收益无法在指标上体现。论文特有的误解是把可懂度提升等同于文本到语音替代，实际上洗牌与对齐证据表明肌电仍在提供时序 grounding，去掉肌电引导后对齐与可懂度同步变差。

收束时回到可核对的事实：默认双路权重下的静音词错误率与韵律误差是当前最强的可复述证据，单被试与引擎相关的限制是必须同时记住的适用条件。后续工作应先补跨被试、错误传播与成本实测，再谈助听或静音通信的部署结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总