舌头被挖掉模型也不差：超声到语音映射到底在看哪里

英文题目：On the Role of the Tongue Region in Ultrasound-to-Acoustic Mapping

会议身份：conference:interspeech:2026:conference-paper-id:ibrahimov26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #CNN #可解释性 #静默语音接口

评分：5.2/10 | 创新 1.0/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.6/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• Ibrahim Ibrahimov：机构信息未能从会议 PDF 纯文本可靠映射
• Gábor Gosztolya：机构信息未能从会议 PDF 纯文本可靠映射
• Csaba Zainkó：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

超声舌成像到声学映射需将单帧超声转为80维梅尔谱再经声码器合成语音，难点是帧内混杂周围组织回波、声影与成像伪影，且舌体动态细节难以从单帧静态像素中解耦。作者先以自适应阈值与时序稳定策略提取舌区掩膜并构造去舌输入，再用标准2D-CNN对比原始与去舌映射误差。接着训练双编码器以掩膜流经1x1卷积门控调制图像流并做多尺度池化回归预测，最后经HiFi-GAN合成并以MCD、PESQ与MOSnet综合评价。与已有架构微调不同，该工作把空间先验显式做成跨注意力门控加残差连接，使舌区聚焦可被Grad-CAM直接检验而非仅靠精度推测。在UltraSuite-TaL80语料测试集条件下，说话人01fi基线的MSE为0.3521 ± 0.0436，低于所提双编码器的MSE 0.4341 ± 0.0697。结论仅适用于逐帧映射与当前训练条件，未验证时序建模与跨说话人外推，缺舌仍可重建不代表舌动力学不重要。原文披露硬件与优化配置，未披露训练时长与推理延迟吞吐成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，为什么默认舌头最重要？

这篇论文研究的是无声语音接口中的一路具体任务。先用白话解释术语。无声语音接口的英文是 Silent Speech Interfaces，缩写是 SSI，它的目标是在人不能或不方便发出声音时，直接从发音器官的运动信号恢复出语音。超声舌成像的英文是 Ultrasound Tongue Imaging，缩写是 UTI，它把超声探头放在下巴下方，对舌头矢状面连续成像，图像里最亮的拱形白色回波通常被理解为舌表面。本研究的输入就是这样的超声帧序列，输出是声音的声学表示。

论文把输出定为 80 维梅尔频谱，也就是 mel-spectrogram，它是对短时频谱按人耳感知做梅尔刻度压缩后的能量表示，数值可回归、又能送给声码器合成波形。研究者要保留的关键信息是每 1 帧超声图像和同一时刻梅尔频谱的对应关系，以及说话人内训练和评测的划分。领域里长期有一个没有被严格检验的默认假设，那就是舌头轮廓是声学信息的主要来源，所以模型只要看到舌头就能把声音映射出来。

论文的起点正是怀疑这个假设，提出如果把舌区拿掉，或者强迫模型去看舌区，映射质量会不会真的变化。

无声语音接口 × 超声舌成像： 无声语音接口负责在不发出可听声音时从发音运动恢复语音，超声舌成像负责提供舌体形状和运动的实时图像输入，二者搭配的理由是超声无创、便携且能直接看到舌面，组合意义是把发音运动观测变成可供声学映射学习的图像序列。

本解读的输出是一套可以按步骤核对的方法复述。读者需要先理解任务与数据形态，再理解舌区提取、基线映射、受控遮挡实验和双编码器引导结构，最后才能理解为什么数值没有显著变化而可视化却有明显变化。论文没有声称已经解决合成自然度问题，也没有声称找到了更好的合成架构，它的核心动作是做 1 次空间贡献的证伪式检验。

同输入同目标的前人走到了哪里，还缺哪块验证？

在同输入同目标这条线上，前人已经从统计模型走到了深度卷积和残差网络。早期工作证明用静音发音数据转声学特征是可行的，后来 2 维卷积神经网络成为常用的基线，能够把单帧超声图像映射到声学参数。输入表示也有人系统研究过，例如降低分辨率仍然够用，原始扫描线和楔形表示性能接近。这些都是在同样的超声到语音的运行阶段里比较的，可以作为本论文基线合理性的背景。

另一条相关路线是超声舌图像分割，那里有人用注意力做空间引导，让网络更关注舌轮廓，本论文的双编码器思路就借鉴了这类做法，但目的不同，分割是要画出舌头，本文是要把声音映射准。还有 Conformer 等时序建模和 WaveGlow 等声码器的尝试，说明大家已经意识到单帧卷积可能有上限。缺的那块验证正是本文补的，前人都在改进架构或讨论数据量和说话人依赖，却没有直接问模型到底用了图像中的哪一块，是真的用了舌动力学，还是用了整帧像素统计。

本论文把这个问题变成两个可执行的操作，一个是把舌区从输入中可控地去掉，另一个是把舌区作为显式先验喂给网络，再看指标变不变。

要检验的问题是什么，反例长什么样？

论文把大问题拆成两个可判定的小问题。第一个问题是，如果输入里没有舌面回波，单帧 2 维卷积还能把梅尔频谱回归到同样水平吗。如果能，说明在当前训练条件下，舌区像素不是不可替代的信息源。第二个问题是，如果显式告诉网络舌区在哪里，并用门控让它聚焦舌区，合成质量能量化地变好吗。如果不能，说明聚焦舌区至少在单帧映射下不带来可测量的收益。

这两个问题的反例都很清楚。第一个实验的反例是去掉舌区后均方误差显著上升。第二个实验的反例是引导模型在均方误差、梅尔倒谱失真、语音质量感知评估和神经网络平均意见分上显著优于基线。论文实际报告的是两个反例都没有出现，这就把结论推向一个更谨慎的方向，不是舌头不重要，而是单帧 2 维卷积可能没有真正利用舌头特异性特征。

需要强调的是，这是在帧对帧映射和特定数据条件下的结论，论文明确保留了时序模型可能重新需要舌动态的可能性。

沿一个样本走完全流程：从一帧超声到一帧梅尔频谱

先跟着 1 帧超声走完全程。输入是 1 帧大小为 64 乘 128 的扫描线图像，像素值归一化到负一到一。同一时刻的监督目标是与该帧对齐的 80 维梅尔频谱向量。基线做法是把图像送入 4 层卷积加全连接的 2 维卷积网络，直接回归出 80 个数。改进做法是同时输入同一帧的二值舌区掩膜，让掩膜分支在 4 个阶段逐级生成空间注意力，去调制主图像分支的特征，最后把 4 个阶段的门控特征分别池化拼接，再经过全连接层输出同样的 80 维向量。训练时都用梅尔频谱的均方误差做损失，评测时再把预测的梅尔频谱送给预训练 HiFi-GAN 声码器合成波形，计算听感相关的客观指标。

舌区掩膜 × 交叉注意力门控： 舌区掩膜负责给出舌面回波大致在图像哪一块的二值空间先验，交叉注意力门控负责用掩膜分支生成空间权重去调制主图像分支的特征，二者搭配的理由是只给掩膜不改变主路信息流、只用门控不用硬裁剪可以保留上下文，组合意义是让网络在保留周围组织信息的同时把特征放大量化地偏向舌区。

下面这张结构图展示了双编码器从并行编码到门控再到拼接输出的完整路径，读图时重点看两条流在哪里交互、哪里保留了上下文残差。

看图路径： 1. 先沿下方主图像流和掩膜流找到左右并行的编码器块；2. 再看每阶段交叉注意力门如何把掩膜信息注入主特征；3. 确认底部全局平均池化跳连如何汇入拼接模块；4. 最后跟踪拼接后稠密层到梅尔频谱输出的箭头

论文图 2。原论文 Figure 2：“Proposed architecture to map ultrasound tongue images to mel-spectrogram.”。

从像素上看，这张图只截取到后两个阶段和输出部分，但仍能看清关键设计。橙色编码器块处理主图像，蓝色掩膜编码器块处理掩膜，紫色交叉注意力门在每阶段把二者结合，底部全局平均池化跳连把各阶段门控输出引到拼接模块，再经过稠密加丢弃层得到梅尔频谱。这种设计保证了注意力是指向舌区的加权，而不是把非舌区直接删除，因为门控后还与原始主特征做了残差相加。

舌区是怎么抠出来的，去舌帧又是怎么造的？

舌区提取是整个检验的前提，论文给的是传统图像处理加时序稳定的做法。第一步先加感兴趣区掩膜，压掉图像最上方气流伪影区和下方下巴组织区。第二步用自适应高斯阈值增强高对比结构，也就是舌表面亮带。第三步对二值图做连通域分析，取最大的非背景连通域当作舌候选区，再用 3 乘 3 结构元做形态学闭运算和开运算，去掉散斑噪声和小断裂。超声噪声大，逐帧提取会抖动，所以论文加了两个时序稳定条件。

一个是相邻帧掩膜的交并比，如果低于 0.3 就认为当前掩膜不稳定。另一个是掩膜质心的欧氏位移，如果超过 20 像素也认为不可靠。一旦任一条件触发，就直接沿用上 1 帧掩膜，保证连续性。原文说这些数值参数是按多说话人掩膜的目视检查经验确定的。

梅尔频谱 × HiFi-GAN 声码器： 梅尔频谱负责作为映射网络直接预测的中间声学目标，它压缩了频谱包络且便于计算均方误差，HiFi-GAN 声码器负责把预测的梅尔频谱再合成为波形以便做听感评估，二者搭配的原因是先在频谱域训练回归、再用通用预训练声码器补相位和细节，组合意义是同时得到可优化的训练损失和可试听的合成语音。

有了每帧的舌区，就能造出去舌帧。做法不是把舌区涂黑，而是用同一帧背景像素分布随机采样来填充舌区像素。这样做的理由写得很明确，如果直接置零，舌形剪影仍然会作为结构线索被网络检测到，而用背景纹理填充才能真正消除舌面回波，同时保留周围纹理。下面这组图直观展示了这种受控操作的效果。

看图路径： 1. 先看左中右三栏标题确认原始帧、舌区、去舌帧的对应关系；2. 再看中间栏白色拱形舌面回波的位置和完整程度；3. 对比右栏同一位置是否被背景纹理填充而拱形消失；4. 检查上下背景和底部亮带是否在左右两栏保持一致

论文图 1。原论文 Figure 1：“Demonstration of the controlled image manipulation procedure. Left: original ultrasound frame. Center: extracted tongue region.”。

从像素上看，左图是原始帧，中部有明显的白色拱形舌面回波，上下有散斑背景和底部亮带。中图是提取出的舌区，只有拱形被保留，其余全黑。右图是去舌帧，原来拱形位置被碎点状背景纹理取代，拱形轮廓基本消失，而周围组织和底部亮带保持原样。这就保证了后面性能变化只能归因于舌区信息被去掉，而不是引入了大黑块这种新的人工痕迹。

全局平均池化跳连 × 多尺度拼接： 全局平均池化跳连负责把每个编码阶段门控后的特征图压缩成该尺度的紧凑描述子，多尺度拼接负责把 4 个阶段的描述子连成 300 维向量再送全连接层，二者搭配的理由是不同深度的卷积看到不同大小的舌形和纹理，组合意义是在不展平大特征图的情况下保留从浅层细节到深层语义的全部阶段信息。

基线和双编码器各怎么训练，哪些细节被冻结？

基线架构沿用文献中的标准 2 维卷积，4 个卷积层滤波器数依次为三十、六十、九十、一百二十，卷积核都是 13 乘 13，后接 1000 个神经元的稠密层和输出 80 维的线性层。双编码器镜像了这个层级，主图像分支同样用 13 乘 13 大核抓广阔空间上下文，掩膜分支用 3 乘 3 小核处理二值掩膜，在第二和第四阶段对两条流都做 2 乘 2 最大池化下采样。

每个阶段的门控是作用在掩膜特征上的两层 1 乘 1 卷积加 Sigmoid，生成空间注意力图，与主特征逐元素相乘后再残差加回原始主特征。门控输出在每个阶段做全局平均池化，得到三十、六十、九十、120 维的阶段描述子，拼接成 300 维向量，送入一千单元的全连接层，该层用 Swish 激活、L1 正则系数为 5 乘 10 的负 6 次方、丢弃率为 0.2，最后线性输出 80 维。训练上所有模型都按说话人单独训练，输入单帧、输出单帧梅尔频谱，不建模跨帧时序。

优化器用随机梯度下降，初始学习率 0.1，批量一百二十八，最多 50 轮，基于开发集均方误差同时做学习率下降和早停，耐心都是 3 轮。统计检验用曼惠特尼 U 检验，显著性水平为 5%。论文没有报告梯度是否在掩膜分支截断，也没有给出 HiFi-GAN 是否微调，实际做法是直接用在多说话人 VCTK 上预训练的第一个公开版本做推理，因此声码器部分没有训练阶段。

数据、划分、指标和硬件条件是否一致？

实验用的是 UltraSuite-TaL80 语料中的 4 个说话人，2 女 2 男，编号为零一 fi、零二 fe、零三 mn、零四 me。超声由 Articulate Instruments 公司的 Micro 系统采集，帧率为 81.5 帧每秒。原文选用带可听语音提示标签的话语，包括 xaud、aud 和 spo，每个说话人分别得到一百八十一、一百一十八、一百七十和一百六十七句。超声扫描线原始尺寸为 64 乘 842，用双 3 次插值缩放到 64 乘 128。划分上保证跨说话人可比，十句共享朗读句即从零零四 xaud 到零一三 xaud 的录音被留作测试集，其余按 9 比 1 划为训练和开发集。

所有对比都在同一划分和同一帧对齐下进行，保证公平。指标分两层，第一层是梅尔频谱的均方误差，越低越好。第二层是合成波形指标，先用 HiFi-GAN 把预测梅尔频谱合成语音，再算梅尔倒谱失真、语音质量感知评估和 MOSNet 分数。其中梅尔倒谱失真按论文表格数值越小代表失真越小，需要结合表注方向理解，语音质量感知评估和 MOSNet 都是越高越好。论文还把原始音频的梅尔频谱同样过声码器，作为声码器上限对照。

硬件为 AMD Ryzen 7 3700X、英伟达 A100 四十吉显存、一百二十五吉内存，系统为 Ubuntu 20.04，TensorFlow 2.20 加 CUDA 12.0。需要说明的是，当前没有发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不能声称代码、模型或数据已公开。

去掉舌头和强迫看舌头，数字到底变了没有？

先看受控遮挡实验要回答的问题。在基线结构不变、只把输入换成原始帧和去舌帧的条件下，梅尔频谱均方误差有没有显著差异。指标方向是均方误差越低越好，公平条件是同一说话人内训练、同一测试句、同一基线超参数。下面这张表整理了 4 个说话人的原始帧和去舌帧的均方误差均值加减标准差以及曼惠特尼 U 检验的 p 值，表格为五列，分别为说话人、原始帧、去舌帧、p 值判断所依赖的统计量，实际呈现为说话人、原始均值标准差、去舌均值标准差和 p 值。

表后解释需要同时讲主要收益与代价。从数字上看，去舌后均值都有轻微上升，例如零一 fi 从 0.3521 升到 0.3919，但 4 个 p 值分别为 0.1041、0.3447、0.7337 和 0.4274，全部大于 0.05，也就是没有统计显著差异。未胜出项在这里就是去舌条件，它没有显著变差，这本身是一个负结果，支持了基线 2 维卷积可能依赖整帧更广泛线索而非舌特异性特征的判断。

均方误差 × Grad-CAM 可视化： 均方误差负责度量预测梅尔频谱与真实梅尔频谱在数值上的平均偏离，Grad-CAM 可视化负责回溯最后一层卷积对预测影响最大的图像区域，二者搭配的理由是数值指标回答差多少、空间热力图回答看哪里，组合意义是当数值打平时仍能判断 2 个模型是否用了不同的解剖依据做预测。

再看双编码器有没有带来可测量的合成质量提升。下面这张可视化对比了基线和改进模型的空间注意力，读图前先确认布局为两行三列，上面一行是零一 fi 的零一三 xaud 第四百二十二帧，下面一行是零二 fe 的零一二 xaud 第二百七十帧，每行从左到右依次是原始帧、基线热力图、改进模型热力图。

看图路径： 1. 先按左右列确认原始帧、基线热力图、改进模型热力图的布局；2. 再比较上下两行不同说话人舌形方向的差异；3. 观察基线红色高激活是否落在舌拱之外或图像边缘；4. 观察改进模型红色高激活是否贴合舌面白色回波

论文图 3。原论文 Figure 3：“Grad-CAM activation maps for speaker 01fi (top, 013 xaud, frame 422) and 02fe (bottom, 012 xaud, frame 270). Left: original frame. Center: baseline. Right: proposed”。

从像素上看，基线的高激活红色斑块多落在舌拱之外，例如上行基线在左右边缘和下方各有一块强激活，下行基线在右下角有一块强激活，都偏离了舌面白色回波。改进模型的高激活则贴合舌面，上行红色中心压在拱形右肩，下行红色长条沿着倾斜舌面分布。这说明交叉注意力门确实把空间焦点转到了发音相关区域，但这种可解释性的改善并没有换来指标的显著提升，代价是模型更复杂却没有量化收益。

合成语音层面：声码器上限与三项听感指标

这一节回答预测频谱变成波形后听感指标是否变化。比较对象有三方，声码器上限即原始音频梅尔频谱过 HiFi-GAN 的结果、基线预测过声码器的结果、改进模型预测过声码器的结果。公平条件是同一声码器、同一测试句，指标方向为梅尔倒谱失真越低失真越小，语音质量感知评估和 MOSNet 越高越好。下面这张表按说话人列出三方的均值加减标准差和基线对改进模型的 p 值，为满足五列可读性，把指标名、说话人、上限、基线、改进模型和 p 值拆成多行呈现。

表后解释要强调两点。第一，基线与改进模型之间除了零二 fe 的 MOSNet 的 p 值为 0.0257 且方向是基线更好之外，其余全部不显著，说明显式聚焦舌区没有转化为可测量的合成质量提升。第二，两类模型与声码器上限之间都有巨大差距，例如 MOSNet 上限在 3.2 到 3.4 之间，而两类模型多在一到 1.5 之间，语音质量感知评估上限多在 2.3 到 3.4 之间，而两类模型多在一到二之间，这与文献中映射质量远低于自然语音的观察一致。未胜出项是改进模型，它在可解释性上赢了，在客观分上没赢，这正是论文标题所指的舌区角色需要重新理解。

双编码器对比基线：均值、波动和唯一的显著项

这一节把双编码器当作 1 次结构消融来读。比较问题是，在同样单帧映射和同样测试集下，显式舌先验加门控是否优于普通 2 维卷积。公平条件是滤波器层级一致、输出维度 1 致、训练轮数和早停规则一致，指标方向仍是均方误差越低越好。下面这张表给出 4 个说话人基线与改进模型的测试集均方误差。

表后解释要指出具体代价和反例。4 个说话人里改进模型均值都略高于基线，唯一显著的是零一 fi 的 p 值为 0.0113，且方向是基线显著更好，其余 3 人 p 值分别为 0.3447、0.6776 和 0.0890，均不显著。这说明增加舌先验并没有带来可部署的回归收益，反而在个别说话人上更差。未评测边界是时序建模，本文所有模型都是帧对帧，没有利用舌轨迹和形变随时间的变化，因此不能把结论推广到循环或 Transformer 结构。

哪些结论不能下，哪些缺项不是技术错误？

首先不能下舌头不重要的因果结论。论文报告的是在单帧 2 维卷积和当前训练条件下，去掉舌区没有显著变差，这支持模型依赖更广泛图像统计的解释，但不等于舌运动本身没有声学信息。相关性不等于因果，缺失显著差异也不等于证明等价，只是现有样本和检验力度下没有发现差异。其次不能把末步结果推广到全程时序，论文明确说单帧无法捕捉舌轨迹和形变，而发音手势恰恰编码在时间变化里，所以时序感知框架可能重新需要舌区。

第三不能承诺延迟、误判率或成本改善，原文没有测量推理开销、输出帧率与实际延迟，也没有做主观听音，MOSNet 只是神经网络预测的平均意见分，不能当成人评。缺失证据要如实指出，例如舌区提取参数是目视经验确定，没有给出跨标注者一致性。掩膜质量波动时直接沿用上 1 帧，这会引入一定的标签噪声，但论文没有量化掩膜精度对映射的影响。

声码器直接用公开预训练权重，没有按本语料微调，这可能是合成上限与映射结果之间差距的来源之一，但原文没有做这组对照，因此只能记为待验证。

要复现这组检验，先做什么，后补什么验证？

复现流程从数据与划分开始。按原文用 UltraSuite-TaL80 中 4 位说话人的可听提示话语，超声缩放到 64×128 并归一化到 -1 到 1，测试集固定为 10 句共享朗读句即 004 xaud 到 013 xaud，其余按 9:1 划分训练和开发集。接着实现舌区提取，包括感兴趣区屏蔽、自适应高斯阈值、最大连通域选择、3×3 形态学开闭运算，以及交并比 0.3 和质心位移 20 像素的时序稳定逻辑，参数先按原文经验值起步，再目视检查跨说话人掩膜。然后训练基线 2D 卷积，滤波器 30 到 120、核 13×13、稠密 1000、输出 80 维，随机梯度下降初始学习率 0.1、批量 128、至多 50 轮、耐心 3 轮的下降与早停。

之后构造去舌帧，用相同帧背景分布随机采样填充舌区，而非置零，再用相同基线重训对比。随后实现双编码器，主分支 13×13、掩膜分支 3×3、每阶段 1×1 共 2 层门控加 Sigmoid、残差保留上下文、每阶段全局平均池化拼接成 300 维、全连接 1000 加 Swish、L1 正则 5×10-6、丢弃 0.2。最后合成与评估，用相同 HiFi-GAN 预训练版本合成，再算梅尔倒谱失真、语音质量感知评估和 MOSNet，并用曼惠特尼 U 检验。还需补的验证包括时序模型对照、掩膜精度消融、声码器微调对照，以及在更多说话人和噪声条件下的重复。

何时值得尝试舌先验，何时先查输入利用？

如果你的系统也是单帧超声到频谱的回归，且发现加深网络只有增量提升，那么值得先做本文的遮挡检验，而不是直接加注意力。用背景采样填充可疑区域，看均方误差是否显著变化，这能快速判断模型是否真的在用你以为的结构。如果遮挡后性能不变，说明模型可能在用阴影、周围组织或整帧统计走捷径，这时加舌掩膜门控可能只改善可解释性，不改善分数，论文的双编码器就是这个情况。

如果你的目标是可解释的临床或语言学分析，那么即使分数不涨，把激活集中到舌区仍有价值，因为它让预测有了可归因的解剖依据。但如果目标是提升合成自然度，论文的证据提示单帧先验不够，应该转向时序建模，让网络看到舌轨迹和形变。初学者容易误解为舌头不重要，正确的理解是单帧卷积没有 critically 依赖显式舌区像素，不排除舌动态在时序模型中的重要性。另一个常见误解是把 MOSNet 当成人评，它只是客观预测分，不能替代听音。

总体上，这篇论文的价值在于把一个默认假设变成可执行的输入操作和结构对照，并用统计检验和可视化同时给出数字和空间两方面的答案。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总