看不见舌头也能练反演：用语音网格合成可见发音轨迹补足电磁发音数据

英文题目：ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion

会议身份：conference:interspeech:2026:conference-paper-id:kim26f_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据增强 #发声与构音 #预训练 #语音 #语音属性识别

评分：6.3/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Hyung Kyu Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Byungchan Hwang：机构信息未能从会议 PDF 纯文本可靠映射
• Hak Gu Kim：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

声学到构音反演任务输入为语音波形信号、输出为电磁构音图记录的构音器运动轨迹，但电磁构音图采集成本高且语料仅数小时规模，一对多映射与说话人、语境差异使跨说话人泛化困难。ArtBoost先用自动语音识别将长时语音网格切分为话语级片段以对齐EMA语料结构，再跟踪上唇、下唇和下门齿对应网格区域并提取张开与前伸方向运动，经重采样构造12通道伪标签。AAI模型先在伪标签的可见通道上掩码预训练学习可见构音先验，再在真实EMA全通道上微调适配真实传感器轨迹。与已有直接EMA监督相比，关键差异在于复用大规模语音网格数据的可见运动作为可扩展弱监督，而非改进声学特征或架构。在留一说话人评测设置下，USC-TIMIT上ArtBoost模型的PCC为0.510±0.04，高于基线模型的PCC 0.351±0.10。该结论限于英语小规模EMA语料和唇颌可见构音器，未验证舌体等不可见构音器与跨语言外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么限制？

本文的输入是语音声学信号，目标是估计发音器官随时间运动的轨迹，这就是声学到发音反演，英文是 acoustic-to-articulatory inversion，缩写为 AAI。初学者可以这样理解：人说话时唇、颌、舌按特定时序运动，麦克风只记录到混合后的声音，反演就是从声音倒推回去的运动。直接测量运动的主要手段是电磁发音术，英文是 electromagnetic articulography，缩写为 EMA，它把小传感器贴在发音器官表面并记录 3 维位置随时间的变化，同时录下同步音频，于是得到成对的音频与运动真值。

本文必须保留的关键信息是：EMA 数据的采集需要专用硬件、受控实验室环境与精确的传感器 placement，规模与多样性天然受限；论文因此不改模型结构为主，而是把大规模语音网格数据转成增广的发音监督。语音网格数据原本为语音驱动 3 维人脸动画准备，提供时间对齐的语音与 3 维人脸网格序列，其中可见的唇颌运动与语音同步变化。本文的输出是 1 篇可核对的方法解读：讲清伪轨迹如何构造、2 阶段训练如何衔接、实验条件与数字如何对应，不对未测量的延迟与成本做承诺。项目页在原文中给出链接，但本次证据状态为没有完成可达验证的资源，因此不声称代码模型数据已公开。

同样缺数据时，前人改了哪里，本文换了哪条路？

在输入相同、目标相同、监督同样稀缺的条件下，前人主要有 3 类做法。第一类改进声学表示，例如引入自监督语音表示提高特征在稀缺监督下的鲁棒性；第二类改模型或约束，例如多流结构或辅助音素约束以增强泛化；第 3 类扩展反演目标的模态，例如实时磁共振成像或超声成像，以捕捉更完整的声道动态。原文明确指出，尽管有这些进展，多数方法仍受限于成对发音数据集的规模，模型多在较小且受控的语料上训练，对说话人、音素上下文与说话条件的覆盖不足。

本文换的路是换监督来源：不只改进声学端或模型端，而是把 abundant 的合成语音网格数据转成发音运动，再作为额外监督扩大有效训练空间。教学上可以做一个例子区分：前人像是把同一小块田精耕细作，本文是另找一块大地先练出对可见运动的先验，再回到小块田精修。这个例子只说明策略差异，不附带任何效果数值。需要核对的边界是：网格只编码可见发音器官，舌体舌尖等内部运动在网格中没有直接观测，因此伪监督天然不完整，这是后文通道掩码与全通道微调分开设计的直接原因。

为什么小而干净的 EMA 数据不够用？

问题可以沿一个样本走一遍。取一条话语级样本，它包含一段提示朗读的语音波形与对应的一组传感器 3 维轨迹时间序列。理想学习是让模型看到足够多说话人、足够多音素组合与语速条件后，从任意新语音推出合理的运动。但 HPRC 与 USC-TIMIT 这类实验室语料说话人少、小时数少，模型容易记住受控条件下的映射，换一个未见说话人或新的上下文就偏差增大。原文把 HPRC 描述为小而干净的实验室语料，把 USC-TIMIT 描述为规模更小的真值数据，并报告增广在真值更少时效果更明显。

从学习依赖看，瓶颈不在单条样本是否干净，而在训练分布对发音可变性的覆盖不足。EMA 的采集成本决定了不可能靠无限加传感器录音来补覆盖。于是问题被重新表述为：能否找到一种大规模、已带语音对齐、可转成运动信号的替代监督，先让模型学会可见运动的强先验，再用少量 EMA 真值把先验修正到完整发音空间。回答这个问题需要同时讲清替代数据的兼容性改造、伪轨迹的物理可解释性与 2 阶段监督的衔接方式。

ArtBoost 把语音网格变成反演监督的总流程是什么？

ArtBoost 的中文含义可理解为发音增强，它的总流程分两大段。第一大段是离线构造大规模增广轨迹：从音频对齐的 3 维人脸网格序列出发，先把长视频级录音切成话语级片段，再跟踪网格上与发音器官对应的可见锚点得到伪发音轨迹，最后把这些轨迹连同音频存成增强库。第二大段是用增强监督训练反演模型：先在伪轨迹上预训练，再在真实 EMA 轨迹上微调。原文图 1 把这两段画成上下两块，上面是增强轨迹的构造，下面是反演模型的训练。

下段导读专门对应总览图：请把图 1 看成从左到右再从上到下的两条流水线，上面解决数据从哪里来，下面解决模型怎么用这些数据。

看图路径： 1. 先看上半部分三行人脸与波形如何经 Extract 汇入右侧增强数据库；2. 再看下半部分声学信号经反演模型输出发音轨迹的主路径；3. 对照上下两部分箭头确认增强库是先离线构建再用于训练

论文图 1。原论文 Figure 1：“Overview of our ArtBoost. (a) Large-scale synthetic articulatory augmentation from audio-aligned 3D facial mesh sequences.”。

上图左侧三行分别给出不同说话人的人脸照片、3 维网格序列与语音波形，中间经 Extract 得到 3 组不同颜色的增强轨迹，再汇入右侧标为大规模增强数据库的圆柱体；下图从声学信号进入反演模型再输出 EMA 轨迹，顶部的输入箭头来自增强库，说明增强监督先进入训练。这张图不支持任何性能数值的判读，它只固定一个事实：伪轨迹是离线从网格提取的，不是反演模型在推理时从图像估计的；推理时模型输入仍然只是音频。

长录音如何切成与 EMA 兼容的话语级片段？

第一步要解决结构不兼容。语音网格数据按长连续视频级录音组织，每个被试一条很长的记录；EMA 语料按话语级组织，每条是一句提示朗读。如果不切分，批组织、目标对齐与评测协议都对不上。论文用自动语音识别引导切分，英文是 ASR-guided utterance segmentation。

白话是：先让语音识别给出每个词的起止时间，再按两个规则分组：相邻词之间的静音超过阈值就断开，或者当前组达到最大词数就断开；每组前后各外扩 0.1 秒，再按音频采样率与网格帧率换算成样本下标与帧下标，于是得到同步的话语级语音网格对。

原文实现细节是每话语至多 7 个词，外扩量固定为两侧各 0.1 秒。需要保留的理解是：切分依据只用语音端的词时间戳，不用网格的几何变化做切分，因此切分错误主要来自识别时间戳偏差，而不是网格重建误差。切分后每条话语级片段都同时有语音段与网格段，这是第二步能逐话语提取伪轨迹的前提。

声学到发音反演 × 电磁发音术： 声学到发音反演负责从语音声学信号估计发音器官运动轨迹，电磁发音术负责用贴在发音器官上的传感器直接测量 3 维位置并提供成对真值，二者搭配的原因是反演需要有时间对齐的运动真值才能学习声学到运动的映射，组合意义是用传感器真值定义学习目标、用反演模型承接推理时的纯音频输入。

网格上的可见锚点如何变成伪发音轨迹？

第二步是把几何变成运动目标。论文跟踪 3 个可见锚点：上唇、下唇与下门齿，英文分别为 upper lip、lower lip 与 lower incisor，缩写为 UL、LL 与 LI。下门齿锚点取在下颌门齿区域，用来近似颌运动。为了降低局部网格噪声，每个锚点不是取单个顶点，而是取预定义顶点区域的平均位置。随后只保留与常规 EMA 表示对齐的两个运动分量：张口方向与前伸方向，再把 3 个锚点的轨迹整合成 12 通道目标表示，其中可见锚点对应通道赋值、其余通道置零，最后经通道级插值重采样到目标发音帧率。

下段导读专门对应细化流程图：请把图 2 看成上下两块，上面是切分，下面是提取与对应，重点看可见点如何与 EMA 传感器对齐。

看图路径： 1. 先看上面长音频经切分变成多个话语级音频集合的分支；2. 再看中间人脸运动序列经提取得到三组伪轨迹曲线的过程；3. 最后看左下电磁传感器与右下网格锚点的对应箭头只连了可见点

论文图 2。原论文 Figure 2：“Illustration of our ArtBoost. ASR-guided segmenta- tion produces utterance-level clips, facial anchors are tracked to obtain articulatory trajectories, and the pseudo labels are…”。

上图上面一块从长序列音频经切分得到多个话语级音频集合；中间一块从人脸运动序列经提取得到标为 LI、UL、LL 的 3 组伪轨迹曲线；下面一块左侧画出包括舌尖舌体在内的 EMA 传感器位置，右侧画出网格上的面部锚点，箭头只把可见的唇颌点连起来。这张图固定一个关键边界：舌尖、舌叶与舌背在网格侧没有对应点，因此伪监督不可能直接教会舌的运动，后文在不可见通道上的提升只能理解为表示层面的迁移，而不是直接监督的效果。

语音网格数据 × 伪发音轨迹： 语音网格数据负责提供大规模时间对齐的语音与 3 维人脸网格序列，伪发音轨迹负责从网格表面跟踪可见锚点并转成与电磁发音格式兼容的运动目标，二者搭配的原因是网格几何中编码了与语音同步的唇颌运动，组合意义是把原本为 3 维人脸动画准备的数据转成可用于反演预训练的增广监督。

自动语音识别引导切分 × 话语级样本： 自动语音识别引导切分负责从长视频级录音中得到带时间戳的词序列并按静音间隔与词数分组，话语级样本负责把长录音转成与电磁发音语料结构一致的同步语音网格对，二者搭配的原因是反演训练协议按话语组织输入与目标，组合意义是让野外长序列数据能直接进入话语级的预训练流程。

两阶段训练各用什么监督，哪些通道参与误差？

训练分预训练与微调两步，监督来源与参与通道都不同。预训练用从语音网格提取的伪目标，只在 UL、LL 与 LI 对应通道上计算带掩码的预测误差，其余通道不参与，因为那些通道的伪值被置零，不代表真实运动。微调时换成真实 EMA 轨迹做全通道监督，让模型把先学到的可见运动先验修正到包括舌运动在内的完整空间。原文把这种安排表述为先学可见运动的强先验，再用真值轨迹精修。

需要按证据交代的实现条件：预训练的网格来自 FLAME 拓扑，UL 与 LL 锚点在空间上对应 HPRC 的传感器位置，LI 锚点取在下门齿区域近似颌运动；重采样用 3 次插值；输入特征、预处理协议与参数设置沿用已有反演工作，实验在一块 NVIDIA RTX 3090 上进行。原文未报告优化器学习率、冻结层、梯度是否截断与何时重置的具体安排，因此不能从模型名称推定哪些参数冻结，也不能补写拿掉预训练后必然怎样的因果断言，只能说论文用有无增强的对照报告了差异。

通道掩码预训练 × 全通道微调： 通道掩码预训练负责只在可见的上唇下唇与下门齿对应通道上计算预测误差，全通道微调负责在真实电磁发音轨迹的全部通道上计算误差，二者搭配的原因是伪轨迹只对可见发音器官可信而真实数据覆盖包括舌在内的完整通道，组合意义是先学可见运动先验再用少量真值修正到完整发音空间。

数据、划分、指标与基线如何保证可比？

实验用 TFHP 生成伪目标做预训练，用 HPRC 与 USC-TIMIT 做微调与评测，并按已有反演工作的预处理协议把音频与发音帧率统一到公共设置。评测采用留一说话人法做未见说话人评估，指标是皮尔逊相关系数与均方根误差，英文分别为 Pearson correlation coefficient 与 root mean square error，缩写为 PCC 与 RMSE。PCC 越高表示趋势跟随越好，RMSE 越低表示误差幅度越小，2 个方向必须一起看。

比较公平性来自三点：同一预处理协议、同一模型结构与超参数来源、同一留一说话人划分下比较有无增强。跨结构泛化用两种反演模型验证：自监督学习反演模型与说话人无关反演模型，英文分别为 SSL-AAI 与 SI-AAI。论文还用发音器官级与轨迹可视化做反证，检查伪信号是否反映物理上有意义的可见动态，而不是只看平均指标上升。

下表提出比较问题：在数据规模与采集方式不同的 3 类数据源之间，增广到底补了什么。首先看总量与结构是否互补，再看记录规格是否允许对齐训练。表后解释放在下一段，重点是增广源的小时数与说话人数远大于 EMA 真值，但它的观测维度只覆盖可见部分。

上表的主要收益是说明增广的可扩展性：TFHP 在说话人数与小时数上明显大于两个 EMA 数据集，因此适合做预训练的先验来源；具体代价是它的原始帧率与拓扑都与 EMA 不同，必须经过切分、锚点平均与重采样才能对齐。未胜出项在这里不是模型，而是数据本身：TFHP 没有舌运动真值，也没有传感器级的精度，因此它不能替代微调阶段，论文也只把它放在预训练阶段。

主结果在多大程度上支持增广有效，代价在哪里？

主结果按未见说话人组织。论文报告把 ArtBoost 用于基线反演模型后，PCC 在 HPRC 上提升 2.9%，在 USC-TIMIT 上提升 45.3%。分说话人的数字显示 HPRC 每个说话人与总体都同时出现 PCC 上升与 RMSE 下降，USC-TIMIT 的提升幅度更大，论文据此判断增广在真值更少时更有效。跨结构结果显示两种不同结构的反演模型在 2 个数据集上都出现 PCC 上升与 RMSE 下降，支持增广不只绑定某一种结构。

下段导读专门对应发音器官级雷达图：请先确认左右两张图的数据集，再看绿色相对橙色的外扩是否覆盖了未直接监督的舌部顶点。

看图路径： 1. 先确认左右两张雷达图分别对应哪一个数据集；2. 再比较每张图中绿色多边形相对橙色多边形的外扩方向；3. 重点观察可见与不可见发音器官顶点数值是否都外扩

论文图 3。原论文 Figure 3：“Articulator-wise PCC across EMA trajectories.”。

上图中左侧为 HPRC，右侧为 USC-TIMIT，橙色为无增强，绿色为有增强；两张图的绿色多边形都包住橙色多边形，右侧的外扩幅度明显更大。需要核对的细节是：伪轨迹只在可见锚点上构造，但雷达图显示包括舌尖舌体在内的多个发音器官顶点都有提升，这支持论文的解释，即增广改善的是学到的发音表示，而不只是被直接监督的通道。总体趋势不等于每条轨迹每段都更好，后文轨迹图只展示跟随总体趋势的形态，不能推广为全程逐点最优。

皮尔逊相关系数 × 均方根误差： 皮尔逊相关系数负责衡量预测轨迹与真值轨迹的线性一致趋势，均方根误差负责衡量预测误差的平均幅度，二者搭配的原因是只看趋势可能忽略幅度偏差、只看幅度可能忽略时序形状，组合意义是从形状跟随与数值偏差 2 个方向共同判断反演质量。

留一说话人数字表如何读，相对百分比与百分点有何区别？

读主数字表要同时核对数据集、模型、阶段、指标与聚合对象。论文表 1 是留一说话人结果，表 2 是跨结构结果，总体行是跨说话人平均。PCC 方向为越高越好，RMSE 方向为越低越好。原文摘要中的 2.9% 与 45.3% 是相对提升，不是百分点差值，不能直接理解为 PCC 增加了 0.029 或 0.453。数值相同也不是同一指标的证据，PCC 与 RMSE 必须分开读。

下表提出比较问题：在相同留一说话人协议下，有无增强的总体平均是否同时改善趋势与幅度。表后解释放在下一段，重点是小数据集上的相对增益更大，但绝对基线更低。

上表的主要收益是 HPRC 与 USC-TIMIT 的 PCC 都上升且 RMSE 都下降，支持增广有效；具体代价与反例是 USC-TIMIT 无增强基线明显更低，因此大相对提升部分来自基线弱，不能只看 45.3% 就认为绝对质量已超过 HPRC。论文还报告分说话人标准差，HPRC 总体标准差较小而 USC-TIMIT 无增强时波动较大，说明小数据下的基线不稳定，这也是增广价值更大的直接背景。

轨迹可视化在反证什么，能否证明伪标签物理可解释？

论文用两组可视化做轨迹级反证。第一组比较 HPRC 上的预测与真值轨迹，覆盖前伸与张口通道的多个发音器官，显示预测轨迹跟随真值的总体时序趋势，能抓住峰值运动与过渡模式，形态上是时间连贯且物理上似是而非的运动。这组图只能说明跟随趋势，不能给出逐点误差的统计结论。第二组展示伪轨迹与网格渲染的同步关系：在双唇闭合时唇开口减小反映在纵向分量，前伸相关运动出现在横向分量，网格形变与轨迹变化时间对齐。

原文据此认为网格导出的伪轨迹持续反映有意义的可见动态，支持把它当作缺 EMA 时的训练目标。这里的措辞需要分层：同步对齐与闭合时开口减小是报告的可见现象，属于直接显示；由此推出伪标签在物理上可解释属于有限解释；推出它必然带来所有音素与说话条件下的增益则属于待验证推测。未评测边界是：可视化只覆盖选定的话语句子与可见通道，没有对舌运动的直接验证，也没有量化伪轨迹本身的误差。

哪些结论不能下，缺了哪些验证？

首先，伪监督只覆盖可见唇颌，舌尖舌叶舌背没有网格对应点，因此对不可见通道的改善只能理解为表示迁移，不能理解为直接观测。其次，相对提升最大的 USC-TIMIT 恰是基线最低的数据集，45.3% 是相对百分比，不是百分点，也不能当成跨数据集的绝对胜负。第三，论文未测量误判率之外的延迟、推理开销、输出帧率与实际部署成本，也未报告训练资源随数据放大的 scaling 曲线，因此不能承诺这些量得到改善。

缺失证据不是技术错误，但必须指出具体缺项：优化器与冻结策略未交代，伪轨迹本身的定量误差未报告，统计显著性方法未说明，野外网格重建噪声如何影响伪标签未做失败条件分析。相关性也不是因果：PCC 上升与伪预训练同时出现，支持增广有用，但不能排除更大数据量本身带来的正则化效应，需要后补只加数据量而不加运动结构的对照才能更紧地归因。

要复现这条路，先做什么，需要哪些原文条件？

复现的第一步是按原文条件准备 3 类数据：用 TFHP 做伪目标，用 HPRC 与 USC-TIMIT 做微调与评测，并把音频与发音帧率统一到已有反演工作的预处理协议。TFHP 侧要做 ASR 切分，每话语至多 7 个词，每段前后各外扩 0.1 秒，再按音频采样率与网格帧率换算下标；网格侧用 FLAME 拓扑，UL 与 LL 锚点对应 HPRC 传感器位置，LI 锚点取下门齿区域近似颌运动，每个锚点取区域平均而非单顶点，只保留张口与前伸分量并重采样到目标帧率。

第二步是严格执行 2 阶段监督：预训练只在可见对应通道算掩码误差，其余通道置零且不参与；微调换成 EMA 全通道监督。模型侧沿用已有工作的输入特征、结构与超参数，不要自行改结构后再比较增广效果。评测用留一说话人协议，同时报告 PCC 与 RMSE 的总体均值与波动，不要只报相对百分比。资源层当前没有完成可达验证的绑定，因此应按不可用处理：不声称代码权重数据已公开，先按论文文字与公式重写切分、锚点平均与 2 阶段损失，再补伪轨迹质量检查与失败样本分析。

何时值得尝试这条增广路，如何一句话记住它？

当 EMA 真值少、未见说话人泛化差、但能拿到大规模语音对齐网格时，这条路值得尝试，因为它用可见运动先验补覆盖，而不是靠改模型硬记小数据。当已有充足多说话人 EMA 真值，或目标主要是舌体精细运动时，增广的边际价值会下降，因为伪监督本来就没有舌的直接观测。教学上可以记住：先用大而粗的可见运动教会模型嘴唇下巴怎么动，再用小而准的传感器数据教会它舌头与全口径怎么配合。

回到中心矛盾：传感器准但贵少，网格大但只见外形，ArtBoost 的判断是在两者之间做分工，让便宜的大数据管先验、让昂贵的小数据管修正。论文在 2 个数据集与两种结构上报告了一致的 PCC 上升与 RMSE 下降，轨迹分析支持伪信号反映可见动态，但未验证延迟成本与伪标签误差边界。下一步最值得补的验证是伪轨迹本身的质量度量、只加数据量的对照，以及更多说话人与自发语音条件下的稳定性。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总