从文字直接生成发音器官运动：STArK 用伪标签 EMA 搭起文本到调音的桥

英文题目：STArK: Towards Synthesizing Articulatory Kinematics from Text

会议身份：conference:interspeech:2026:conference-paper-id:yin26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#生成模型 #发声与构音 #语音 #文本到语音

评分：6.6/10 | 创新 1.5/2 | 技术严谨 1.1/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Xavier Yin：机构信息未能从会议 PDF 纯文本可靠映射
• Carlos Busso：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为无标注字素文本，输出为归一化模板空间下的12维电磁发音图轨迹加基频与响度，并进一步经冻结声码器可听化为波形，难点在于缺乏大规模文本配对构音数据且需解耦音色与发音内容。方法链第一步由字素转音素与前馈Conformer音素编码器将音素序列编码为上下文相关的音素表示，为对齐提供统一输入。第二步由无监督对齐器以维特比硬对齐抽取真实时长监督时长预测器，训练用对齐时长、推理用预测时长对音素表示做时长扩展实现时间调节。第三步由同构前馈Conformer构音解码器逐帧回归14维构音特征，再送入冻结SPARC声码器结合说话人嵌入合成波形。与以往需真实构音做条件的做法不同，该工作直接学习文本到构音映射，以语句中值对数归一化基频实现训练时无需说话人嵌入的多说话人泛化，推理时按目标说话人中值反归一化做音色克隆。在LibriTTS-R test-clean上基础模型词错率为6.25，高于SPARC重合成的3.31和YourTTS的4.58，自然度MOS为2.8，加入真实韵律后升至3.3。该结论适用边界受限于英语干净朗读语音，韵律建模仍是失败条件，跨语言、噪声、自发语音与真实EMA一致性尚未验证。原文未披露推理延迟与部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇论文要解决的输入是普通英文文本，目标是直接输出发音器官的运动轨迹，再由声码器转成可听语音。所谓发音器官运动，在这里特指电磁发音图记录的 12 维坐标，加上音高与响度。白话说，就是上唇、下唇、下门齿、舌尖、舌叶、舌背这 6 个点在侧视平面上的横纵位置随时间怎么动，再配上每帧声音有多高、多响。英文名是 electromagnetic articulography，缩写为 EMA。

必须保留的信息有 3 类。第一是音素内容，也就是这句话由哪些音组成，否则合成语音会读错词。第二是时间结构，也就是每个音素持续多少帧，否则舌头动作与声音对不上。第三是韵律包络，也就是音高与响度的起伏，否则语调会平。说话人音色则被刻意分离出去，不让调音轨迹去记忆音色，这样换一个说话人嵌入就能换声音。

输出有两个层次。中间输出是逐帧的调音特征序列，最终输出是经冻结声码器重建的波形。论文反复强调的可解释性就落在这里：中间轨迹可以直接画出来检查舌唇是否到位，而梅尔频谱图则难以对应到具体动作。

电磁发音图 × SPARC 特征空间： 电磁发音图负责直接记录上唇、下唇、门齿、舌尖、舌叶和舌背共 6 个点的横纵坐标运动，是可解释的生理信号；SPARC 特征空间负责把这 12 维 EMA 与音高、响度组织成与音色解耦的模板化表示，分工是前者提供测量，后者提供可跨说话人比较和可声码器重建的建模接口，组合后文本模型只需预测低维生理轨迹即可驱动语音合成。

学习这篇解读时，先跟着一个样本走完全程。输入一句文本，先变成音素序列，再变成等长的隐表示，再按时长复制成帧序列，再变成 EMA 加音高响度，最后变成波形。训练时的监督不是真实 EMA，而是用已有语音到调音模型反演的伪标签。这个设定决定了后文所有评价都是与伪标签源模型比较，而不是与真实传感器比较。

此前路线为何只做到用调音帮助合成，而不直接从文本合成调音？

同输入同目标的直接前身很少。早期有用隐马尔可夫模型把调音特征纳入参数合成，以及用文本加舌部超声图像生成语音的工作。近期思路是把调音作为条件去改进梅尔频谱图生成，例如改善多说话人下的音色与韵律。这些工作的共同假设是调音在推理时已知或可得，用来辅助语音生成，而不是从文本凭空生成调音。

同监督不同目标的另一条线是语音到调音反演。论文依赖的 SPARC 模型就是这条线的代表，它把语音音频逆变为 15 个声道参数，包括 12 维 EMA、音高、周期性与响度，再用声码器重建波形。SPARC 提出模板化调音空间，用仿射变换解释不同说话人 EMA 空间的差异，并用单独说话人编码器建模音色。STArK 直接复用这一空间，因此它的上限天然受 SPARC 反演质量约束。

同运行阶段的非自回归语音合成提供了架构模板。快速语音合成 2 与快速音高模型等用时长调节器解决文本与声学帧长度不一致问题，通常依赖外部对齐器如蒙特利尔强制对齐器。STArK 的区别是预测对象从梅尔频谱图换成调音特征，并把外部对齐换成训练中自学的无监督对齐。

这样对照后，论文的缺口陈述就清楚了：从语音合成语音已有成熟做法，从语音反演调音已有 SPARC，但从文本直接合成高质量调音仍是开放问题。补上这一块，才能从纯文本语料批量生成调音数据，供下游语音学与病理语音等任务使用。

论文把文本到调音形式化成什么可训练问题？

论文把任务定义为文本到调音的非自回归预测。给定字素文本，先经字素到音素模块得到音素序列，模型需要输出与目标语音帧数一致的 14 维序列，其中 12 维是 EMA，另 2 维是对数归一化后的音高与响度。周期性特征被明确舍去，理由是 SPARC 声码器不用它，它只用于 SPARC 说话人编码器。

为举例说明，假设输入是问候语文本，模型先得到包含空格与标点对应音素的序列，每个音素有一个隐向量。时长模块为每个音素给出持续帧数，例如首音素持续若干帧，展开后得到帧级隐序列。解码器再为每 1 帧输出舌唇坐标与韵律值。这个例子只是帮助理解流程，不代表论文报告过该句的具体数值。

训练目标被写成三项加权和。调音损失是生成特征与提取的归一化 SPARC 特征之间的均方误差，对齐损失沿用单遍对齐方法在非自回归模型中的做法，时长损失是时长预测器对数时长与对齐器对数时长之间的均方误差。权重系数是超参数，原文未给出具体数值，这是复现时需要留意的缺项。

评价被拆成两类问题。调音问题问生成轨迹与 SPARC 提取轨迹有多像，用相关系数与规整距离衡量。语音问题问重建语音是否自然、可懂且像目标说话人，用自动平均意见分、词错误率与说话人嵌入余弦相似度衡量。两类问题条件不同，后文必须分开讨论。

STArK 全景如何从文本一路走到波形？

STArK 全景可以按 5 个框理解。最左是文本编码器，负责字素到音素再到隐表示。中间是时间调节器，负责决定每个音素占多少帧并完成复制。接着是调音解码器，负责把帧级隐表示变成调音特征。左下是冻结的 SPARC 编码器，训练时提供伪标签与说话人嵌入。最右是冻结的 SPARC 声码器，负责把预测调音加说话人嵌入变成波形。

训练与推理的数据流不同。训练时时长扩展用无监督对齐器给出的真值时长，推理时只能用时长预测器的输出。训练时真实语音同时送入 SPARC 编码器得到监督目标，推理时没有真实语音，音高按目标说话人的中位音高反归一化，说话人嵌入来自目标说话人的参考语音。

下面这张模型图是理解分工的关键，先看主路径再看监督分支，注意虚线在训练与推理时的切换含义。

看图路径： 1. 先从左上输入文本经发音词典到音素编码器的主路径向右追踪到调音解码器与预测特征；2. 再看左下真实语音经 SPARC 编码器分出的两条线：虚线调音特征做监督，实线说话人嵌入送声码器；3. 区分红色训练虚线与黑色推理虚线在时长扩展处的切换位置；4. 确认三个损失箭头分别回指到预测特征、对齐器与时长预测器

论文图 1。原论文 Figure 1：“STArK model diagram showing the pipeline from text graphemes to articulatory kinematics and speech output.”。

从像素看，图中最左侧竖排输入文本示例经红色发音词典块进入黄色音素编码器，输出一叠彩色隐表示条。中间绿色时间调节器内有两个蓝色块，分别是时长预测器与时长扩展，上方黑实线表示推理用预测时长，下方红色虚线表示训练用对齐器时长。对齐器下方还有来自左下真实语音分支的红色虚线输入。右侧浅蓝调音解码器之后是蓝色框预测特征，内含多条蓝色波形，红色虚线引出调音损失。

左下紫色 SPARC 编码器分出两路，虚线调音特征向上做监督，实线说话人嵌入向右送入紫色声码器，最终输出右侧波形。火焰图标表示可训练模块，雪花图标表示冻结模块。读图时不要把火焰当成注意力或损失，要按图例理解为训练状态标记。

编码器、时长模块与解码器各自算什么？

文本编码器分两步。第一步用现成发音词典模块把字素转音素，论文明确使用基于美式英语模型的语音合成器后端实现。第二步把音素编号变成向量，再送入带旋转位置嵌入的前馈一致性模型块。白话说，旋转位置嵌入是一种给序列加顺序信息的方法，英文为 rotary positional embeddings，缩写为 RoPE。论文保留了深度可分离卷积与多头自注意力的逆序结构，并把普通卷积换成可分离卷积以精简计算。输出是每个音素的上下文表示。

文本编码器 × 调音解码器： 文本编码器负责把字素经发音词典转换为音素并编码为含上下文的隐表示，调音解码器负责把按时长展开后的帧级表示映射为逐帧 EMA 加音高响度，分工是前者解决发音内容是什么、后者解决每 1 帧舌唇在哪里，搭配理由是两者之间插入时长调节器后长度才能对齐，组合意义是形成文本到生理轨迹的非自回归直通路径。

时间调节器分 2 个阶段。第一阶段产生每个音素的时长，第二阶段按时长复制表示。时长来源有两条：无监督对齐器用单遍对齐方法从预处理的 SPARC 特征学习软对齐，再经单调对齐搜索与维特比算法得到硬对齐与真值时长；时长预测器用 3 层可分离卷积从音素编码器输出预测对数时长，推理时取指数得到帧数。关键细节是，对齐器与预测器接收的是同一份音素编码器输出，而不是原始音素嵌入，这保证了监督与预测在同一表示空间。

无监督对齐器 × 时长预测器： 无监督对齐器负责在训练时从音素表示与 SPARC 帧之间学习单调软对齐并经维特比算法得到硬时长真值，时长预测器负责在推理时仅从音素表示预测对数时长，分工是前者提供监督来源、后者提供可部署的预测能力，搭配理由是训练用真值展开保证收敛而推理只能用预测值，组合后模型摆脱外部强制对齐器依赖。

调音解码器与音素编码器同属前馈一致性模型结构，输入是展开后的帧级表示，输出是每帧 14 维调音特征。特征提取与合成部分全部冻结。SPARC 编码器与声码器参数不更新，声码器是改造后接受调音加说话人嵌入的 HiFi-GAN。音高在训练前按该句中位音高做对数归一化，推理时再按目标说话人中位音高反归一化，目的是增强调音特征的说话人无关性并支持声音克隆。梯度路径只经过文本编码器、时间调节器与调音解码器，不进入 SPARC 两端，原文未报告梯度裁剪与正则细节。

伪标签如何构造，训练实际更新什么？

训练没有真实 EMA 可用，构造过程是伪标签流水线。对 LibriTTS-R 每句音频，用冻结 SPARC 模型提取 12 维 EMA、音高与响度，同时记录该句中位音高与说话人嵌入。音高按公式做对数归一化，调音特征作为回归目标，说话人嵌入只送声码器，不送 STArK 主体。这意味着 STArK 训练时从未见过说话人嵌入，推理换音色完全依赖 SPARC 声码器的解耦能力。

伪标签 EMA × 说话人嵌入： 伪标签 EMA 负责为 LibriTTS-R 每句语音提供由冻结 SPARC 编码器反演的调音目标，解决真实 EMA 数据稀缺问题；说话人嵌入负责在声码器端携带目标音色以便做声音克隆，分工是前者管说什么动作、后者管听起来像谁，搭配理由是 SPARC 已把二者解耦，组合后 STArK 训练时不需要输入说话人嵌入也能在推理时换音色合成。

实际更新的是 73.7M 参数的基础模型，训练 32,000 步，约 96 小时，使用 AdamW 优化器，初始学习率为 2 乘 10 的负 4 次方，余弦衰减调度加 10,000 步热身，硬件为单节点 4 张 48 GB 显存的加速卡。损失是调音均方误差加对齐损失加时长均方误差。训练时时长扩展用对齐器时长，因此解码器看到的长度与监督长度一致，推理时长度由预测时长决定，这是 2 阶段不一致的主要来源。

下面这张训练与数据配置表把数据集划分、硬件预算与优化设置放在一起，便于复现时逐项核对，表中数字与单位均来自原文连续表述。

表后需要说明代价与缺项。96 小时与 4 卡是大但可复现的预算，32,000 步并不长，说明伪标签回归收敛较快。缺项是损失权重与批量大小、采样率细节未在证据中给出，音高归一化公式的完整符号定义也只有文字描述，没有可绑定的原始公式，因此不能在这里写出推导，只能按文字复述操作顺序。

用什么数据、基线与指标才能公平比较？

数据用 LibriTTS-R，一个常用的多说话人英文语音合成数据集，论文使用原始训练、验证与测试划分中的干净子集。所有音频的调音目标、中位音高与说话人嵌入都由 SPARC 生成。测试在测试干净子集上进行，语音指标在重采样到 16 千赫兹后计算。

比较设置了 3 种 STArK 条件。基础条件用预测时长，记为 Setup1；第二种提供对齐器时长，记为 Setup2；第 3 种同时提供对齐器时长与原始音高响度，记为 Setup3。后两种的目的是剥离韵律与时长误差，单独评价文本到调音的内容建模能力，不能当作可部署收益。语音基线包括真实音频、SPARC 重建与 YourTTS，其中 YourTTS 具零样本声音克隆能力，用来检验 STArK 不靠说话人嵌入训练也能克隆的说法。

指标方向需要先讲清。语音质量用 UTMOSv2 与 DNSMOS，数值越大越好，DNSMOS 还细分为总体、信号质量、背景噪声与整体分。自然度用 10 名英语熟练者对 24 个随机样本的 1 到 5 分评价，报告均值与自助法置信区间。可懂度用 Whisper 大模型转写的词错误率，越低越好。说话人相似度用说话人嵌入余弦相似度，越高越接近目标。调音相似度用皮尔逊相关系数越高越好，以及规整距离差为负表示加入对齐时长后距离减小即有改善。

协议上的限制是，自然度听评只有每模型 40 个评分，样本小，置信区间用 10,000 次自助得到；调音相关系数只在给定对齐时长的条件下报告，因为基础条件与目标长度不一致无法直接逐帧相关。

语音质量与调音轨迹分别测出什么？

语音合成的核心问题是基础 STArK 能否接近真实与 SPARC 重建，以及加入对齐与韵律后提升多少。公平条件是同一测试干净子集、同一 16 千赫兹重采样、同一自动评价与听评流程。指标方向是质量与自然度越高越好，词错误率越低越好，说话人相似度越高越好。

表后解释要同时给出收益与代价。基础 STArK 在总体质量上与真实音频持平，优于 YourTTS 的自然度预测与人评，并在说话人相似度上超过 YourTTS，论文报告这支持了靠 SPARC 解耦实现免说话人嵌入克隆的判断。代价是可懂度明显落后，词错误率（%）从 SPARC 的 3.31 升至 6.25 左右，加入真实韵律后回落到 6.01，说明韵律建模是短板。加入对齐时长后总体质量与相似度提升，但词错误率几乎不变，因此时长对齐改善的是轨迹形状而非读词正确性。未胜出项是 YourTTS 在词错误率与部分噪声指标上仍更好，不能只看质量分就宣称全面超越。

调音轨迹的比较需要先看单句可视化，再看统计量。下段导读先讲 3 条线的条件，再给出图像标记。

单句图中绿色实线是基础 STArK 的预测时长输出，橙色虚线是给定对齐器时长的输出，紫色点线是 SPARC 提取目标。横轴是时间，纵轴每行是一个通道，从上到下为上唇横纵、下唇横纵、门齿横纵、舌尖横纵、舌叶横纵、舌背横纵，再加音高与响度。观察时应逐行看形状跟随，而不是跨行比绝对值。

看图路径： 1. 先对照右上图例确认绿色实线、橙色虚线与紫色点线的条件含义；2. 逐行比较前 12 行 EMA 轨迹在前半段的重合度与后半段绿色线的漂移；3. 单独观察 Pitch 行三条线的分离程度，再与 Loudness 行的重合程度对比；4. 注意横轴为时间方向，纵轴每行是不同通道位置，不要跨行比较绝对高低

论文图 2。原论文 Figure 2：“Example comparison between generated articulatory features using STArK (green solid), STArK with aligner dura- tions (orange dashed), and extracted SPARC features from the SPARC…”。

从像素看，前半段 3 条线在多数 EMA 行几乎重合，峰谷位置一致，说明内容对应的舌唇动作已学到。后半段绿色实线出现整体时间漂移，与另两条线错开，而橙色虚线仍紧贴紫色点线，说明漂移来自时长预测误差而非动作形状错误。音高行三线分离最明显，橙色与绿色彼此接近但都偏离紫色，响度行三线重合较好。这与后文统计一致：给定对齐时长主要修复 EMA 与响度，对音高帮助很小。

动态时间规整距离 × 皮尔逊相关系数： 动态时间规整距离负责在时长不一致时衡量两条调音序列经弹性对齐后的整体距离，皮尔逊相关系数负责在给定对齐时长下衡量波形形状的线性相似，分工是前者容忍预测时长偏差、后者检验细节跟随程度，搭配后才能同时回答预测时长不准时轨迹是否仍对、给定正确时长时形状是否准。

下面这张调音统计表把相关系数与规整距离差放在同一设置下比较，评价设置与指标方向均来自原文，表中数字与单位均来自原文连续表述。

表后结论是 EMA 与响度得到报告层面的强跟随，EMA 相关达 0.905 且距离差为负 0.81，响度相关 0.796 且距离差为负 0.20，而音高相关仅 0.533 且距离差基本为零。这支持论文的判断：模型准确建模了声道运动过程，但韵律中的音高未被充分条件化。反例正是音高，它是全表未改善项，也是后文未来工作的起点。

对齐与韵律条件各自分担了多少误差？

论文用三档设置做了事实上的消融。基础到加对齐时长，只改变时间结构而不给真实韵律；加对齐到加韵律，再把真实音高响度也给足。第一步检验时长预测的贡献，第二步检验韵律预测的贡献。

结果是两步分工不同。加对齐时长后，语音总体质量从 3.71 升至 3.84，说话人相似度从 0.426 升至 0.446，调音规整距离在 EMA 与响度上明显减小，但词错误率（%）从 6.25 变为 6.30 没有改善，音高距离差也几乎为零。这说明时长主要影响听感质量与轨迹对齐，不决定读词对错与音高走势。

再加真实韵律后，自然度预测从 2.85 回升到 3.03，人评从 2.9 升至 3.3，相似度升至 0.478，词错误率（%）降至 6.01。这说明韵律是自然度与可懂度瓶颈之一，但即使给足真实韵律，词错误率（%）仍高于 SPARC 的 3.31，剩余差距来自调音内容本身的建模误差。

教学上要避免把加对齐加韵律的最优值当成可部署收益。它们是事后条件，需要目标语音才能得到，实际文本到语音只能用基础条件。论文保留它们的价值是证明模型支持细粒度时长与韵律控制，可用于重读或病理语音重建等需要外部控制的任务，而不是证明基础模型已无短板。

哪些边界没有测，哪些推论还不能下？

直接报告的限制有三处。第一是音高建模弱，相关系数与规整距离都不支持音高已解决，论文自己把改善时域特征如韵律、情感与口音列为未来工作。第二是可懂度落后，基础 STArK 词错误率明显高于 SPARC 与 YourTTS，加入真实韵律也未追平，说明不能把高质量调音形状等同于高可懂语音。第三是评价规模小，人评每模型仅 40 个评分，自动质量分虽在全测试集上计算，但仍是模型预测分而非大规模听评。

未验证的推测需要用可能表达。伪标签上限可能限制了模型，因为监督来自 SPARC 反演而非真实传感器，但论文未测量 SPARC 误差向 STArK 的传递比例，待验证。跨语言与情感泛化可能受限，因为训练仅用英文朗读语料，论文未报告其他语言或自发语音结果。推理延迟与实时性未报告，总体趋势不能推广到每步耗时，训练资源与推理开销要分开讨论。

相关性不等于因果。说话人相似度高支持了解耦表示有帮助，但不能证明相似度完全来自解耦，也可能是声码器本身的泛化。调音距离减小支持了对齐控制有效，但不能证明该控制在病理语音上同样有效，仍需下游任务验证。

要复现应先准备什么，按什么顺序检查？

复现先做三件准备。第一是数据，按原文划分准备 LibriTTS-R 的训练干净 100 小时、验证干净与测试干净子集，并统一重采样流程以匹配 16 千赫兹评价。第二是伪标签，用冻结 SPARC 模型为每句提取 12 维 EMA、音高与响度，并保存句级中位音高与说话人嵌入，注意 STArK 主体训练时不输入说话人嵌入。第三是文本前端，配置发音词典模块与美式英语后端，保证音素序列与原文一致。

训练顺序建议先跑通监督分支。用一小批数据检查 SPARC 特征形状、音高归一化前后数值范围与时长对齐长度是否一致，再训练文本编码器、时间调节器与调音解码器，冻结 SPARC 两端。优化设置按原文的 AdamW、初始学习率、余弦衰减与热身步数起步，损失权重因原文未报告具体数值，需要从小范围搜索并记录。

推理检查分两步。先用预测时长生成，检查输出长度是否随文本合理变化；再用对齐器时长与真实韵律做对照，复现 EMA 跟随好而音高偏差大的现象。若只复现出语音好但轨迹差，或轨迹好但声音差，应分别检查声码器嵌入是否用错目标说话人，以及音高反归一化是否用了正确中位值。

关于代码与权重，论文正文给出了代码仓库地址，但本次收到的资源状态中没有完成可达性验证的绑定资源，因此这里只能说本次未能确认该链接可达，不得声称代码、模型或数据已公开。复现应以论文文字与上述配置为准，缺失的权重与超参数需自行训练或搜索补齐。

何时值得尝试 STArK 思路，还需补哪项验证？

当任务需要可解释的中间表示而不仅是好听语音时，这个思路值得尝试。例如语音学分析想看舌尖何时抬起，病理语音想定位哪个动作不到位，跨语言研究想比较不同语言的舌体策略，直接预测 EMA 比看梅尔频谱图更对口。当已有语音到调音反演模型但缺文本侧数据时，用伪标签批量生成调音语料也是务实选择。

当任务首要目标是最低词错误率或最高保真克隆时，不应直接把 STArK 当成品。证据显示它的可懂度落后于 YourTTS，音高建模弱，时长预测会带来漂移。若下游对时间精度敏感，应保留外部时长控制接口；若对语调敏感，应优先补韵律建模。

还需补的验证至少两项。一是下游验证，用生成的调音数据训练发音评估或病理检测，看是否真带来增益，而不只看轨迹相似。二是更稳健的人评与多说话人细粒度分析，看自然度与相似度提升是否在每组说话人上都成立。论文自己也提出用流匹配等更新架构与改善时域特征，这些都属于待验证的改进，而不是已证明的结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总