舌头看得见却认不准：用物理一致与上下文完备治超声无声语音的抖动与粘连

英文题目：Towards Robust Ultrasound-based Silent Speech Recognition Learning Physics-Aware and Context-Rich Representations

会议身份：conference:interspeech:2026:conference-paper-id:wen26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据增强 #CNN #RNN #鲁棒性 #静默语音接口

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Hongyu Wen：机构信息未能从会议 PDF 纯文本可靠映射
• Yi Su：机构信息未能从会议 PDF 纯文本可靠映射
• Yudong Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Siwen Guo：机构信息未能从会议 PDF 纯文本可靠映射
• Qisheng Xu：机构信息未能从会议 PDF 纯文本可靠映射
• Kele Xu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

静默语音识别（Silent Speech Recognition，SSR）需从超声舌成像（Ultrasound Tongue Imaging，UTI）序列直接解码文本，难点在于探头位移与斑点噪声导致的采集变异以及协同发音带来的长程上下文依赖。本文提出物理感知与上下文丰富的表示学习框架，先以离线时间聚类将约121.5 fps的高帧率原始序列压缩为定长紧凑序列并保留关键构音事件，再经空间平移加高斯噪声加时间掩码的物理启发增强以模拟成像扰动并迫使模型利用上下文。增强后序列进入3D卷积网络提取局部时空动力学，再由双向门控循环单元汇聚全局语境并经联结时序分类解码为字符。与把帧视为独立视觉单元的二维建模相比，该链条同时强调一致性（Consistency）与完整性（Completeness），具有更强的时空归纳偏置。在UXTD儿童语料Type-A词级数据的重叠说话人划分上，词错率从0.2512降至0.1595，相对下降36.5%；在未见说话人划分上，词错率从0.1203降至0.0597，相对下降50.4%，字错率从0.0734降至0.0227，相对下降69.1%。结论目前仅限于UXTD的词级短句与儿童发音分布，尚未验证大词表连续语句或成人与临床人群的外推。原文未披露训练轮数、推理时延或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先把任务边界说清

这篇论文研究的输入是超声舌成像序列，也就是用超声探头在颏下连续拍摄舌体运动得到的灰度视频。白话说，它不是麦克风录到的声音，而是舌头怎么动的可视记录。英文名是 Ultrasound Tongue Imaging，缩写为 UTI。目标是无声语音识别，英文为 Silent Speech Recognition，缩写为 SSR，即在没有声音信号时，仅从这类生物信号解码出说话人想说的是哪句话。本文只做句子或词序列级别的文本预测，不做语音合成，也不做发音矫正。

必须保留的关键信息是成像条件与标注条件。原文使用的儿童超声数据集包含 58 名说话人，评估用的是其中词级别的 Type-A 数据，每条样本是一段超声视频对应一句文本转写。原始帧率很高，在该数据集上约为每秒 121.5 帧，因此单句序列很长且相邻帧高度相似。输出是字符或词序列，用联结时序分类解码，不要求事先给出每 1 帧对应哪个音素。

学习依赖上，这个任务成立的前提是舌运动轨迹与语言内容存在稳定对应。如果成像扰动淹没了舌轮廓，或者模型只看单帧而忽略前后协同发音，后续任何大模型都难以补救。所以后文的方法全景要先解决两个具体动作：如何在保留关键发音事件的同时压缩序列，如何让同一句话在不同采集条件下得到相近表示。

无声语音识别 × 超声舌成像： 无声语音识别负责从非声音的生物信号解码语言意图，超声舌成像负责非侵入地实时给出舌体与声道形状的图像序列，前者提供任务目标与文本监督，后者提供可观测的发音运动证据，二者搭配的理由是舌运动与音位序列存在对应关系，组合意义是把看舌头变成可训练的句子级识别问题。

同输入同目标的已有路线为什么还不够用

与本文同输入同目标的一条路线是直接把超声帧当作独立或弱相关的视觉单元，用 2 维卷积加循环或注意力做识别。这类做法能利用成熟的图像编码器，但在原文的讨论中会被协同发音现象挑战。白话说，发音不是一个个孤立口型，而是前后音互相牵引的连续运动，只看单帧容易把发音相同但上下文不同的片段混淆。

另一条相关路线是引入 3 维卷积或卷积循环结构，同时看空间与时间。原文引用了 3 维卷积学习时空特征、长短时记忆网络做唇语、超声舌视频结合卷积循环与 3 维卷积等工作。这类结构带有局部运动的归纳偏置，适合小数据与有噪声的超声序列。需要区分的是，类别差异不等于同条件胜负，本文的基线正是把这类结构在相同数据处理与优化协议下重新实现后比较，而不是拿不同数据集的文献数字直接对比。

在监督与运行阶段上，本文与语音识别常用的说话人无关评测对齐，同时保留说话人重叠评测作为补充。前者要求训练与测试说话人严格不重叠，考验跨人泛化，后者允许同一说话人的不同句子分在训练与测试，考验同一采集分布内的建模能力。理解这两种划分，是读懂后文主结果与消融的前提。

两类困难具体长什么样：采集扰动与时间依赖

第一个困难是采集相关的物理可变性。白话说，即使同一人说同一句话，2 次录制的超声图看起来也不一样。原文用同一说话人重复录制的 rap chap gap hap 的时间对齐帧举例，上半区域是声波反射干涉引起的散斑变化，表现为局部亮度纹理不同，下半区域是探头放置的轻微位移，表现为整体几何平移与深度相关的强度变化。这种差异不是说话内容变化，而是成像物理带来的。

第二个困难是复杂的时间依赖。协同发音决定了发音运动不是孤立发生的，当前舌形受到前后音的连续约束。如果把超声帧当作独立图像分类，就会丢失跨帧的长程动态依赖，导致细粒度语言单元难以区分。原文把解决思路概括为一致性与完备性，一致性针对采集扰动，完备性针对上下文建模。

下面这张图就是理解第一个困难的最直接证据，它把同一内容的 2 次采集并排放置，并用放大框指出两种扰动的位置，读图时要先分清哪处是纹理变化、哪处是位置偏移。

看图路径： 1. 对比左右两幅同一说话人同一句话的扇形舌图像整体亮度与舌轮廓位置；2. 先看上方放大框标注的反射散斑纹理差异再看下方放大框的几何偏移；3. 确认虚线框与放大图之间的对应关系以理解扰动是局部还是全局

论文图 2。原论文 Figure 2：“Acquisition-related physical variability.”。

从像素上看，左右两幅扇形超声图的舌体高亮带形状相近，但上方放大框的颗粒感与亮线连续性有差别，下方放大框的舌根暗区位置与亮斑分布也有偏移。原文据此提出增强策略要同时模拟这两种物理：平移模拟探头位移，高斯噪声模拟散斑，掩蔽则模拟上下文依赖。这个对应关系是后文组件设计的依据，不能把增强理解为通用的图像翻转或裁剪。

方法全景：一个样本如何从视频走成文本

沿一个样本走完全流程有助于建立全局坐标。输入是一句话的原始超声序列，记为每帧高宽为 H 与 W 的灰度图。第一步是离线的时间聚类降采样，把长序列按时间邻近性聚类，每类选一代表帧，再按原始时间顺序排成固定长度的紧凑序列。第二步仅在训练时做物理启发的时序增强，依次做空间平移、噪声注入与时间掩蔽，得到扰动后的序列。第三步是时空上下文建模，用 3 维卷积前端提取局部时空特征，再用双向循环层沿时间聚合全局上下文，最后用联结时序分类损失做端到端序列学习并输出预测文本。

下图把这 3 段画在同一张总览里，上方是降采样与增强，下方是建模与解码，箭头方向就是数据流向，读时先走主路径再看分支何时接入。

看图路径： 1. 先从左上原始超声经变换与整句视频再经聚类到固定帧的主路径看数据流向；2. 再看右上仅训练时启用的三项增强在何处接入主路径；3. 最后看下方三维卷积立方体到双向循环再到联结时序分类与预测文本的建模链路

论文图 1。原论文 Figure 1：“Overview of the proposed physics-aware and context-rich representation learning framework for ultrasound-based SSR.”。

解释这张图需要抓住 3 个动作。左上从长条状原始超声经变换得到扇形单句视频，再经聚类得到随时间排列的固定帧，这对应降低冗余但保留关键发音事件。右上 3 个增强模块标注为仅训练时使用，说明测试时不做扰动。下方 3 个立方体标注了高宽长输入与立方卷积核，输出的特征序列进入上下两排双向循环再到每步输出，最后与预测文本之间用双向箭头表示分类损失的对齐训练。整个框架的教学主线是先压缩再扰动再建模，压缩保上下文，扰动保一致，建模保长程依赖。

压缩怎么做：时间聚类降采样保留了什么

时间聚类降采样的操作对象是单句的全部原始帧。原文用 k 均值算法按时间邻近把序列划分成簇，每簇选一代表帧，再按原时间顺序组成固定长度序列。白话说，它不是均匀抽帧，而是让变化剧烈处与平稳处都能被代表帧覆盖，从而在大幅缩短长度的同时保留句子级的发音模式与上下文信息。

这个步骤是离线预处理，对所有实验模型统一执行，因此后文比较的性能差异不能归因于用了不同的输入长度。原文还指出，过长的输入在训练数据有限时会阻碍序列建模并增加计算成本，所以压缩同时服务于效率与可学习性。未报告的缺项是聚类数 k 的具体取值、代表帧是取簇中心最近帧还是平均帧，以及距离度量用的是像素距离还是特征距离，复现时需要把这三点当作待确认项。

物理感知增强 × 时间掩蔽： 物理感知增强分工是模拟采集端扰动，包括 2 维空间平移模拟探头位移与高斯噪声模拟散斑起伏，时间掩蔽分工是随机遮挡一段连续帧以制造局部信息缺失，二者搭配的理由是前者要求同一发音在不同成像条件下表示一致，后者要求模型在局部缺失时仍能利用长程上下文，组合意义是同时训练一致性与完备性。

扰动怎么做：平移噪声与掩蔽各自针对什么

增强按固定顺序作用于连续输入序列，先空间平移，再加噪声，再做时间掩蔽。空间平移是对每帧做 2 维平移，偏移量与图像尺寸成比例，目的是改变全局空间位置但保留舌轮廓几何，让模型学到与空间采集可变性无关的发音表示。噪声注入是对每帧加零均值高斯噪声，强度被约束为轻微起伏，不破坏主要结构，目的是降低模型对表面纹理的依赖，迫使它关注稳定的发音构型。

时间掩蔽是随机选起始位置与持续长度，把一段连续帧置零。白话说，就是故意挖掉一小段，让模型不能只靠紧邻帧推断，必须利用更远的上下文补全，这对应协同发音的建模需求。原文明确提醒，适度增强有助于鲁棒性与一致性，过度失真会遮蔽真实舌结构，因此增强幅度被小心约束。具体实现中随机空间位移为正负 5%，加性高斯噪声标准差为 0.01，时间掩蔽概率为 0.3 且随机置零连续帧。

3 维卷积网络 × 双向循环层： 3 维卷积网络分工是在高宽加时间 3 个维度上提取邻近帧的局部时空运动，双向循环层分工是沿时间前后 2 个方向汇总全局音位上下文，二者搭配的理由是协同发音既有毫秒级舌形变化又有跨音节的约束，组合意义是先得到局部运动特征再得到上下文丰富的句子表示。

训练与推理的真实计算过程：谁更新谁冻结

训练阶段的输入是经过聚类降采样并统一缩放到 64 乘 128 的固定帧，批量大小为三十二，优化器为 Adam，学习率为十的负 5 次方，并使用 0.5 的丢弃率做正则化。所有实验在单块特定图形处理器上进行。增强只在训练时启用，测试时直接用干净的降采样序列推理，这是复现时必须保持的信息条件，否则会低估或高估鲁棒性。

监督来源是句子级文本转写，通过联结时序分类损失训练 3 维卷积加双向循环的混合网络。3 维卷积负责邻近帧的细粒度运动，双向循环负责沿时间的全局上下文。原文没有报告参数冻结、梯度截断、学习率衰减与早停的具体安排，也没有说明循环层数与卷积层数，因此不能从模型名称推定具体深度，复现时应先按基线文献的常规实现搭建，再以本文报告的输入尺寸与优化超参数对齐。

时间聚类降采样 × 联结时序分类损失： 时间聚类降采样分工是用离线聚类把每句话的高帧率冗余序列压缩为固定长度且保留关键发音事件的有序帧，联结时序分类损失分工是在没有帧级对齐标注时对整句图像序列与文本转写做端到端对齐训练，二者搭配的理由是压缩后序列仍需弱对齐即可学习，组合意义是降低计算与建模难度同时保留可训练的句子监督。

实验条件：数据划分指标与基线是否可比

数据来自包含 58 名正常发育儿童说话人的语料，本文用词级别数据评估。两种划分都被报告。重叠划分是训练与测试共享说话人，每人随机取 10% 句子测试，其余训练，其中 1 名说话人因数据不足被排除。未见说话人划分是训练与测试说话人严格不交，随机选 8 人测试，其余 50 人训练，后者对应语音识别常用的说话人无关协议。

指标是词错误率与字错误率，英文为 Word Error Rate 与 Character Error Rate，均基于编辑距离衡量预测文本与真实转写的差异，数值越低越好。需要强调，词错误率与字错误率是不同聚合对象，数值相近不代表同一指标，相对百分比与百分点也不同，读表时要先确认列归属。

基线是 3 类在相同数据处理、训练策略与优化协议下重新实现的时空建模：时空门控循环、时空长短时记忆与时空 Transformer，分别遵循各自引用文献的架构思路。所有模型的输入都经过同样的聚类降采样，因此比较条件是一致的。资源状态方面，本次没有发现来源绑定且完成验证的代码或数据链接，不得声称代码模型或数据已公开。

主结果测了什么：在两种划分下谁更好

主结果要回答的问题是，在说话人重叠与说话人未见两种条件下，物理感知与上下文丰富表示是否带来一致增益。比较条件是同一降采样输入、同一优化协议与同一指标方向，指标越低越好。下表按原文报告整理 4 种方法的词错误率与字错误率，列顺序为重叠词错误率、重叠字错误率、未见词错误率、未见字错误率。

表后解释需要同时给出收益与代价。报告显示，本文方法在两个划分上都最优，重叠划分词错误率从 0.2512 降到 0.1595，相对降低约 36.5%，字错误率从 0.1497 降到 0.1009，未见划分词错误率与字错误率进一步降到 0.0597 与 0.0227，相对最好基线分别降低约 5% 10.4 与 69.1%。

代价与反例是时空 Transformer 在两划分上都明显最差，词错误率高达 0.8403 与 0.9250，这支持原文的判断，即在数据有限且有成像噪声时，增大模型容量不等于提升性能，带局部运动偏置的 3 维卷积与循环建模更有效。但这只是有限解释，原文未测量延迟与计算量，不能承诺推理更快。

拿掉哪块会变差：增强与三维卷积各自贡献多少

消融要回答的问题是，数据增强与 3 维卷积前端是否各自必要。比较条件固定了时间降采样为统一预处理，只切换是否使用 3 维卷积与是否使用数据增强，共 4 种情形。下表按原文消融整理，列为重叠词错误率、重叠字错误率、未见词错误率、未见字错误率与组件说明。

表后解释要指出具体变化与未胜出项。去掉物理启发增强后错误率显著上升，说明缺少模拟采集变化会削弱对成像噪声的适应。把 3 维卷积前端换成 2 维卷积同样退化，说明缺少局部时空动态会影响识别。值得注意的是，仅增强而无 3 维卷积的情形在重叠划分上优于仅建模而无增强，但在未见划分上反过来，这提示两组件在不同泛化压力下作用不同，不能简单排序。表示分析进一步用 6 个高频句子的质心距离热图验证，完整方法在未见划分下最小句间距离从 4.13 提升到 5.85，类间分离更大更均匀。

下图是该热图的像素证据，4 个子图分别对应上表 4 种情形，读时先看对角线再看最浅格。

看图路径： 1. 先确认四个子图都是未见说话人下六个高频句子的质心距离矩阵且对角线为零；2. 对比左上无增强无三维卷积与右下完整方法的最浅格数值变化；3. 观察右下矩阵深色格是否更多更均匀以判断类间分离是否改善

论文图 3。原论文 Figure 3：“Heatmap of representation centroid distances be- tween the 6 most frequent utterances under the unseen setting.”。

从可见内容看，右下完整方法的深蓝色格更多，左上双缺失子图的零与四之间仅为 4.13 且颜色最浅，而右下同位置为 5.85 且颜色更深，左下与右上介于其间。右侧色条从零到十表示距离，颜色越深距离越大。原文把这解读为上下文感知建模减少了时间依赖不足带来的表示模糊，这属于支持性解释而非因果证明，因为距离增大与错误率降低相关，但未做显著性检验。

还有哪些边界没有测：何时不该直接套用

首先是数据边界。实验只在儿童超声语料的词级别数据上报告，没有覆盖句子级、音素级或成人数据，也没有跨设备与跨采集点的评估，因此把结论推广到其他人群或硬件前属于待验证推测。重叠划分与未见划分的说话人数量与句子分布不同，直接比较两个划分的绝对数值高低没有意义，只能在各自划分内比较方法。

其次是增强与建模的适用条件。原文明确增强幅度需约束，空间位移、高斯强度与掩蔽比例都是小扰动，教学例子可以这样理解：如果把位移调得过大，舌轮廓会移出视野，如果噪声过强，散斑会淹没真实结构，如果掩蔽过长，上下文也无法补全，这些都是例子而非原文报告的数值。其次，Transformer 的失败只在本文的小数据与统一协议下成立，不能推广为 Transformer 不适合超声任务。

最后是未测量项。原文没有报告误判率分解、延迟、显存占用、训练时长与统计显著性，也没有提供补充材料之外的增强细节消融。资源方面没有可用链接，因此复现应按论文文字重写流程，而不是等待官方代码。

复现先做什么：按原文可重放的最小步骤

第一步是构造输入。对每句话的原始超声序列做离线时间聚类降采样，按时间邻近聚类并选代表帧，再按原顺序排成固定长度，随后统一缩放到 64 乘 128。这个预处理对所有模型相同，是保证公平的前提。需要补记的缺项是聚类数与代表帧规则，建议先固定一个长度并记录随机种子，再做敏感性检查。

第二步是训练配置。用批量三十二、学习率十的负 5 次方、Adam 优化器与 0.5 丢弃率训练 3 维卷积加双向循环网络，损失为联结时序分类损失。训练时依次启用正负 5% 的空间平移、标准差 0.01 的高斯噪声与概率 0.3 的连续帧掩蔽，测试时关闭所有增强。单卡即可运行，但原文未给训练轮数与早停策略，需要自己划分验证集监控词错误率。

第三步是评估。分别按重叠划分与未见说话人划分计算词错误率与字错误率，数值越低越好。先复现基线的相对顺序，再验证完整方法是否在两划分上同时最优，并检查去掉增强或换成 2 维卷积是否退化。如果只复现出重叠划分有效而未见划分无效，应优先检查说话人划分是否严格不交以及掩蔽是否只作用于训练。

何时值得尝试：一句话收束与下一步验证

当你的超声识别遇到同一句话多次采集长得不一样，或者长句中前后音互相影响导致单帧模型混淆时，本文的组合值得尝试：先用时间聚类把长视频压成保留关键事件的短序列，再用小幅平移加噪声模拟采集扰动并用掩蔽逼模型看长程上下文，最后用 3 维卷积抓局部运动加双向循环抓全局依赖。原文在儿童数据的两类划分上都报告了一致增益，且表示一致性从余弦相似度 0.7697 提升到 0.9630，句间最小距离也有提升，这些数字支持一致性与完备性分别起作用。

下一步验证应补三项：跨说话人与跨设备的泛化、增强幅度与掩蔽长度的敏感性曲线、以及计算开销与实时性的测量。只有在这些条件下仍保持增益，才能把本文方法当作可部署收益，否则只能当作在当前语料与协议下的有效策略。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总