把情感强度学成从中性出发的轨迹：ETC-TTS 如何稳定控制合成情感

英文题目：ETC-TTS: Emotion Trajectory Learning for Controllable Emotional Text-to-Speech

会议身份：conference:interspeech:2026:conference-paper-id:kim26u_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#流匹配 #向量量化 #语音 #文本到语音

评分：6.1/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Gaeun Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Jaeuk Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Joon-Hyuk Chang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

可控情感语音合成需要从文本生成语音并连续调节情感强度，难点在于推理时缩放或插值常导致强度非单调与音质退化。所提情感轨迹学习框架先用残差向量量化提取分层风格向量并以可学习情感原型锚定类别中心，再以条件整流流匹配学习从中性原型加噪出发指向目标情感的速度场，推理时按轨迹参数积分得到参考无关的中间风格并送入声学骨干合成。与仅在推理时操纵嵌入的相对属性与缩放因子方法不同，该机制在训练中显式监督中间状态，因而单调性更稳定。在 ESD 英语集上情感准确率达到 92.93%，明显高于同骨干基线并保持自然度竞争力；在 AIHub 韩语集上多档强度成对比较误差率显著下降。该结论限于韩语 7 类与英语 ESD 5 类表演性情感及有限说话人设定，未验证零样本说话人与真实自发情感。原文未披露推理积分求解器与部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么强度控制值得单独研究？

本文的输入是待合成的文本与目标情感标签，输出是带有指定情感与指定强度的语音波形。初学者需要先建立这个基本动作：文本决定说什么内容，情感标签决定以什么情感说，强度旋钮决定情感有多重。论文面向的是情感文本转语音，也就是在保证可懂度与自然度的前提下，让合成语音的情感表达可以被连续调节。

初学者容易把情感强度理解为音量或语速旋钮，但论文强调的事实是同一情感标签下的自然语音本身就存在渐变的强度差异，而现有系统在训练时只见过离散的情感终点，连续的中间状态只在推理时靠缩放或插值硬造出来。这种训练与推理失配是全文的起点：训练目标没有约束中间状态如何变化，推理时却要求用户转动强度系数就能听到单调增强的情感。

论文报告的结果是这种事后操作常导致增大系数听感不增强，甚至样本落到训练分布外而损伤自然度。因此作者把问题重新表述为在隐式风格空间中学习一条从中性到目标情感的连续轨迹，而不是学习一个静态向量再配一个标量系数。这个重新表述决定了后文为什么需要原型锚点与流匹配目标。

已有路线在何处施加强度，代价是什么？

按施加连续变化的阶段划分，已有路线可分为 3 类。第一类是相对属性方法，先学习一个标量排序值表示强度，推理时调节该值。第二类是缩放因子、向量插值与基于扩散的情感混合，在推理时直接对情感向量做乘法或与中性向量加权。第 3 类是基于坐标系的方法，预先假设情感空间具有球面等几何结构，再在该结构内移动。它们的共同输入、目标与运行阶段都是相同的：在训练好的情感表示上，于推理阶段实现连续调节。

论文对这些路线的判断是操作位置靠后且缺乏训练监督。原文明确指出这种隐式假设，即简单的隐变量操作能保证感知上一致的强度变化，并没有被训练目标强制执行，因此中间行为不稳定。教学上可以这样复述：前人把强度当作作用于静态表示的标量控制变量，本文把它当作需要在训练中显式学习的动力学过程。

这一区分决定了后文为什么要引入原型锚点与流匹配目标。前人路线把泛化压力留给了推理时刻的代数操作，本文则把中间状态的生成质量放回训练目标中显式优化。

相对属性 × 缩放因子： 相对属性负责用排序学习得到标量强度值再在推理时调节，缩放因子负责直接把情感向量乘以系数或与中性向量插值；二者共同点是都在训练后、推理时才施加连续变化，分工差异在于前者多一个排序器、后者是纯代数操作，搭配起来看正好说明本文批评的同一类训练与推理失配：中间强度从未作为训练目标被监督，因而都容易出现增大系数却听感不增强或音质下降。

要解决的失配具体长什么样？

论文把失配拆成两个可检验的现象。第一是非单调行为：增大控制系数，目标情感的感知概率不一定上升，甚至出现波动或停滞。第二是可控性与音质的权衡：把向量推到训练未见区域时，合成质量下降，表现为可懂度误差上升或主观自然度下降。

举例来说，这只是帮助理解的例子而非论文数值：用户把愤怒强度从中间挡调到高挡，期望听感更愤怒，但基线系统可能给出几乎相同的韵律，或出现发音含糊。这个例子说明单调性与音质需要同时检验，不能只看终点情感是否强烈。

因此本文的任务定义是学习中性到情感的连续过渡，使强度参数在训练时就对应轨迹上的中间状态，推理时沿同一轨迹采样即可得到稳定增强的感知与可接受的音质。评价也围绕这两点展开：一是用听辨与分类器概率检验单调性，二是用自然度、情感表达、可懂度与韵律误差检验质量是否被牺牲。

ETC-TTS 让一个样本走完怎样的全路径？

先沿一个样本走完全程。训练时，文本经文本编码器得到音素级隐表示 hp，真实梅尔谱经参考编码器与残差向量量化风格提取器得到提取风格向量 s，风格标签指明目标情感。推理时不再依赖参考语音，而是由风格预测器根据 hp 与风格标签输出预测风格向量，再与 hp 相加送入方差适配器、梅尔解码器与后处理网络，最终由声码器合成波形。图注明确说明 hp 表示文本编码器的音素级隐表示，风格标签表示目标情感标签，提取与预测的风格向量分别对应训练与推理分支，FM 指流匹配。

音素隐表示 × 风格标签： 音素隐表示 hp 负责携带文本发音内容与时长韵律骨架，风格标签 c 负责指明要合成的目标情感类别；二者搭配的理由是流模型需要同时知道说什么和以什么情感说，组合后速度场预测以 hp 和 c 为条件，使同一文本在不同情感标签下走出不同的中性到情感轨迹，避免把内容相关的韵律变化误当作情感强度变化。

整体架构由声学主干与风格模块组成。声学主干沿用快速语音合成模型第二代结构，负责把文本与风格条件转换为梅尔谱。风格模块再分为风格提取器与风格预测器：前者在训练时提供有监督的目标状态，后者在训练时学习速度场、在推理时替代提取器实现无参考控制。左上轨迹示意把思想画得很直白：多个情感方向都从同一个中性点出发，t 等于 0 为中性，t 等于 1 为目标情感，中间为待生成的强度。

以下导读帮助建立看图顺序：先看左侧从文本到波形的纵向主干如何组织，再看风格模块在何处以加法接入主干，最后看右侧风格模块内部训练与推理两条数据流如何切换，该顺序对应后文先原型后轨迹的讲解顺序。

看图路径： 1. 沿左侧从文本到梅尔谱的纵向主路确认风格模块在何处与音素隐表示相加；2. 对比训练分支取提取风格与推理分支取预测风格的开关位置差异；3. 观察右侧风格预测器中三个流匹配块与高斯噪声和中性原型的连接方式；4. 查看左上轨迹示意中从中性点出发指向不同情感的箭头与 t 标注

论文图 1。原论文 Figure 1：“Overall architecture of ETC-TTS. hp denotes the phoneme-level hidden representation of the text encoder; style tags indicate target emotion labels; s and ˆs represent extracted…”。

从本次收到的官方原图像素可见，左侧主干自下而上为文本、文本编码器、与风格向量相加的加法节点、方差适配器、梅尔解码器、后处理网络与顶部梅尔谱。风格模块以开关区分训练时取提取风格、推理时取预测风格。右侧放大图中，右侧提取器自下而上为真实梅尔谱、参考编码器、3 层向量量化与 3 层风格向量拼接，左侧预测器以高斯噪声加中性原型为起点，经 3 层流匹配块并以 hp 与风格标签为条件，自下而上输出 3 层预测风格再拼接。该图支持后文的关键实现：轨迹起点不是任意高斯分布，而是中性原型加噪声的局部源分布，终点是情感原型。

原型如何表示，轨迹如何参数化与学习？

情感原型建模是第一组动作。给定一段声学特征，残差向量量化模块把它分解为 3 层风格向量，每层码本大小固定为情感类别数，从而码向量与情感标签一一对应。码本先用声学特征的均值聚类质心初始化，再用每层的三元组损失增强情感可分性：把同类提取向量拉近该类原型，把异类提取向量推远，层间求和得到聚类损失。针对向量量化常见的码本坍缩，论文采用周期性地用高使用率条目重置非活跃码向量，随后三元组损失再把重复向量分开。原文未报告重置的周期步数与活跃度阈值的具体数值，这是复现时需要补齐的缺项，不能从模型名称推定。

情感原型 × 残差向量量化： 情感原型负责给出每个情感类别在风格空间中的锚点位置，残差向量量化负责把一段参考语音的声学特征逐层分解为可查表的风格向量；二者搭配的理由是仅用量化会得到离散码而无情感可分性，仅用连续向量又缺乏稳定的轨迹端点，组合后每层码本向量即对应一个情感原型，使中性到目标情感的轨迹有明确的起点与终点可供流匹配学习。

轨迹形式化是第二组动作。记中性原型与情感原型为 256 维向量，源状态定义为中性原型加高斯噪声，目标状态定义为情感原型，中间状态为两者的线性插值，轨迹参数 t 在 0 到 1 之间均匀采样，目标速度场为终点减起点的常向量。与通用流匹配从任意高斯源分布采样不同，这里把端点锚定到可学习的情感原型上，使强度过渡被约束在原型定义的轨迹上。

流匹配 × 轨迹参数： 流匹配负责学习从起点指向终点的速度场，轨迹参数 t 负责标定当前处于中性与情感之间的哪个中间位置；二者搭配的理由是只给 t 而不学速度场只能做直线插值，只学速度场而不暴露 t 则推理时无法旋钮式调节，组合后推理时给定 t 即可沿已学速度场积分得到对应强度的风格向量，实现训练时学过、推理时可调的连续控制。

流轨迹学习是第三组动作。对每一量化层，模型预测以 hp 与风格标签为条件的速度场，流目标是预测速度与目标速度的均方误差，对 3 层求和。训练时从参考语音提取的风格原型作为流监督的目标状态，推理时用流模型输出的预测风格替代提取风格，通过控制 t 调节强度。总体训练目标在快速语音合成模型第二代重建损失之外，再加残差向量量化损失、聚类损失、流损失与中性对齐损失，权重分别为 0.1、0.1 与 30，中性对齐损失把学习到的源状态与中性风格原型对齐以稳定轨迹起点，其中对中性原型使用了截断梯度。

三元组损失 × 码本坍缩： 三元组损失负责把同情感的提取向量拉近原型、把不同情感的向量推远原型，码本坍缩指部分码向量长期无人使用而退化；二者搭配的理由是仅重置非活跃码会产生重复向量而无情感区分度，仅用三元组损失又难以挽救已死亡的码，组合后先用高使用率条目重置非活跃码，再用三元组损失把重复向量重新分开，维持每层码本与情感类别的一一对应。

三阶段训练先冻结什么，后更新什么？

论文的训练分为 3 个顺序阶段。第一是原型初始化：在初始训练一个周期后，用均值聚类在提取的风格表示上初始化残差向量量化码本。第二是提取器聚焦训练：训练风格提取器与语音合成主干，此时冻结流预测器，以稳定情感原型。第三是联合训练：在稳定化之后联合优化所有组件。实现细节补充说明风格提取器先训练 300,000 步且风格预测器冻结，随后在剩余步数中联合优化全部模块。

优化层面，所有模型都基于相同的快速语音合成模型第二代主干，仅替换风格建模组件，其余结构与训练设置保持一致。所提模型约含 34.1M 个可训练参数，所有模型训练 500,000 步、批量大小为 32、使用自适应矩估计优化器。声码器方面，在韩语数据上微调了 22.05 千赫兹的 HiFi-GAN，在英语数据上使用了 16 千赫兹的 HiFi-GAN。

论文未报告学习率、预热策略与流积分求解器的具体步数，这些缺项在复现时需以原文代码或后续补充为准，不应猜测。资源状态方面，本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开，只能按论文文字交代数据集来源与处理链。

在哪些数据与协议下比较，指标方向如何？

实验使用两个情感语音数据集。韩语 AIHub 约 80 小时，含愤怒、焦虑、尴尬、开心、受伤、中性与悲伤 7 类情感，由 4 位说话人录制。英语情感语音数据集含 350 个平行句子、10 位说话人、5 种情感，得到 17500 条语音。所有基线都统一在相同的快速语音合成模型第二代主干下比较，以保证声学建模差异不混淆风格建模的评价。

主观评价含自然度平均意见分与情感表达平均意见分，分数越高越好。客观评价含字符错误率越低越好、基频均方根误差越低越好、UTMOS 分数越高越好、情感准确率越高越好。自然度与情感表达评价有 30 位听众参与，成对比较测试有 25 位听众参与。

下表整理论文报告的实验条件，提出的问题是两套数据的规模、类别与划分是否足以支撑跨语言结论，公平条件是同一主干与同一训练步数，指标方向按上段所述理解。下面表格的数字与单位均来自原文连续句子，保留原文精度与写法。

该表支持跨语言验证的意图：韩语大词汇量非平行数据与英语平行数据形成互补，划分数量明确，声码器采样率与对齐工具交代清楚。但它也暴露边界：论文未报告说话人无关或零样本条件下的划分方式，未报告统计显著性检验方法，听众评价的聚合方式仅给出均值与标准差而无置信区间计算细节，因此不能把小幅自然度差异直接判为显著改进，需结合后文的单调性与质量权衡一起看。

主结果在情感表达上赢了什么，自然度付出什么？

主结果的问题是所提方法是否在提升情感相关指标的同时维持语音自然度。比较对象包括真值、声码器重建、带情感标签的快速语音合成模型第二代、相对属性控制与缩放因子控制，所有可运行基线都在同一主干下训练。论文报告所提方法在情感相关指标上取得一致改进，尤其情感表达平均意见分与情感准确率，同时保持有竞争力的自然度。设计分析进一步报告把残差向量量化原型换成语音情感识别连续向量会显著降低情感识别准确率，把中性中心源换成高斯先验会降低自然度平均意见分与 UTMOS 分数。

以下导读用于阅读强度趋势图：横轴是强度从 0.0 到 1.0 共 11 个挡位，纵轴是情感分类器给出的目标情感概率，概率越高表示感知情感越强，误差棒表示标准差，重点看低强度段谁先抬升、中段谁更单调、高段谁出现波动。

看图路径： 1. 先确认横轴为强度 0.0 到 1.0、纵轴为情感分类器给出的目标情感概率；2. 对比蓝色所提方法曲线与其他三条基线在低强度段的斜率与高低关系；3. 观察各强度点误差棒长度判断中间强度段哪条曲线更稳定

论文图 2。原论文 Figure 2：“Probability of the target emotion predicted by the emotion2vec classifier [35] across emotion intensity levels.”。

从本次收到的官方原图像素可见，蓝色所提方法曲线在 0.0 到 0.5 区间抬升最快且整体保持上升，橙色缩放因子与绿色混合方法在低强度段变化平缓、到 0.8 到 1.0 才陡增，红色相对属性在 0.4 到 0.5 出现跳变且高强度段有波动。原文的文字判断与此一致：所提方法以 0.1 步长呈现更一致的强度相关变化，基线轨迹稳定性较差且部分非单调，相对属性总体上升但高强度段波动，缩放与混合在低强度段变化有限而仅在高段陡增。这支持强度应作为训练时轨迹学习的结论，但属于有限解释而非因果证明，因为分类器概率是自动指标，不能等同于人耳感知的强度排序，还需结合成对听辨比较。

强度旋钮转动时，听感排序是否单调？

单调性的测试方法是成对比较：听众比较同一文本不同强度等级的两条语音，选择感知更强的一条，选低强度样本记为错误即单调性违反，选相同不计为错误。论文报告所提模型在多数强度对上错误率更低，表明单调可控性更好。分类器概率趋势同样显示所提方法随强度更平滑上升，而基线在低段平坦、高段陡增。

需要强调的是总体趋势不等于每组每步都成立。原文表格按愤怒、焦虑与悲伤分别列出相邻强度对的错误率，所提方法在个别区间仍有十几个百分点的错误率，只是普遍低于相对属性与缩放因子。因此复述时应说支持更稳定的单调控制，而不是说已实现完全单调。

未胜出项也应保留：个别高强度相邻对上基线错误率已较低，所提方法的优势幅度变小，说明在接近饱和的情感区域，任何方法的区分度都会下降。该边界提示实际应用中不应指望在高强度端实现无限细分，而应把可辨挡位集中在中低强度段。

把强度推到两端时，音质如何变化？

可控性与质量权衡的问题是在不同强度等级下比较 UTMOS 分数与字符错误率数值。比较问题很明确：在同一强度 t 下，谁的质量更稳定。公平条件是同一英语数据集与同一主干。指标方向是 UTMOS 分数越高越好、字符错误率数值越低越好。下表用原文连续句子整理关键数字，保留原文精度，不做四舍五入与单位换算。

表后解释主要收益与具体代价。收益是所提方法在 0.0 到 1.0 全段保持相对稳定，UTMOS 分数波动范围为从 2.5187 分到 2.6033 分，字符错误率数值始终在从 0.0586 到 0.0676 的范围内。代价与反例是基线在两端暴露短板：相对属性在高强度区的 UTMOS 分数从 2.5085 分降到 2.2796 分、字符错误率数值从 0.0671 升到 0.0700；缩放因子在低强度区的字符错误率数值骤升到 0.1131，而高强度段的字符错误率数值回到从 0.0624 到 0.0869 的范围内，表明中性附近行为不稳定。未胜出项是所提方法在个别中间强度点的 UTMOS 分数并非全表最高，说明稳定不等于每点最优，实际选用时若只追求单点最高质量而非全程可调，基线在特定强度仍可能接近。

拿掉原型或换掉起点，损失的是什么？

消融要回答两个设计选择的必要性。第一是残差向量量化原型对连续情感向量：用基于语音情感识别的连续向量加流的变体，情感识别准确率显著下降，说明离散锚点对情感可分性有贡献。第二是中性中心源对高斯先验：把源换成高斯先验的变体，自然度平均意见分与 UTMOS 分数下降，说明从中性附近出发的局部先验有助于保持音质。

以下导读用于阅读风格表示可视化：左右两图为测试集提取风格向量的降维散点，颜色对应 7 个情感类别，左图为原始残差向量量化，右图为原型化残差向量量化，重点比较同色点是否聚拢、异色点是否分离，并注意中部是否仍有重叠区。

看图路径： 1. 先看左右面板标题与右侧图例确认颜色与七个情感类别的对应关系；2. 对比左图多色混杂团块与右图单色聚集团块判断哪侧类间重叠更少；3. 重点观察右图中性类与愤怒焦虑等类别是否形成独立聚集

论文图 3。原论文 Figure 3：“t-SNE visualization of extracted style embeddings from the test set (AIHUB).”。

从本次收到的官方原图像素可见，上半部分混入了强度质量表的截图像素，下半部分为两块散点面板与右侧图例，图注与正文明确将其归属为测试集提取风格向量的可视化。左图各颜色点在多个团块内混杂，右图红色、蓝色、黄色、深紫等类别各自形成更紧凑的单色聚集，中部仍有一处多色重叠区。原文的判断是原型化方法产生更紧凑且分离更清晰的情感簇，表明隐式风格空间中情感结构更一致、类间重叠减少。

这属于支持性证据而非性质证明，因为降维可视化受随机种子与超参数影响，且紧凑不直接等于可控，还需与单调性与质量表联合解读。未评测边界是该图仅展示韩语测试集，未展示英语数据的对应分布。

哪些结论尚缺证据，不能承诺？

首先区分 3 类表述。论文直接报告的是在 2 个数据集上的主观与客观指标、成对比较错误率与分类器概率趋势。有限解释的是原型约束减少非单调行为、中性中心先验有助于音质。未验证推测是把该结论推广到任意说话人、任意情感与实时部署。

具体缺项包括统计检验方法未交代，不能断言小幅自然度差异显著。训练与推理开销未量化，不能承诺延迟或成本改善，34.1M 个参数与 500,000 步训练只是规模描述而非速度结论。输出帧率与实际延迟分别缺失，不能从参数量推定推理实时性。情感准确率所用分类器与合成模型的领域匹配程度未讨论，不能把自动指标等同于人评。

此外，重置码本的时机阈值、流采样步数与声码器微调细节未完全公开，复现时需补验证。强度 t 的 0.1 步长控制在听感上是否线性可辨，论文只给出概率趋势与相邻对错误率，未给出差分可觉阈，因此不能承诺每 0.1 步人耳都可区分。总体趋势成立不等于每组每步都成立，这是阅读所有单调性结论时必须保留的限定。

要复现先做什么，需要保留哪些关键设置？

复现的第一步是重建数据链：韩语按 38334 条、1500 条、500 条划分并提取 22.05 千赫兹 80 维梅尔谱、基频、能量与音素时长，英语按 17500 条中 50 条验证、100 条测试、余下 17350 条训练，两套数据分别配对应采样率的声码器。对齐工具、声码器版本与采样率必须与原文一致，否则基频误差与字符错误率不可比。

第二步是锁定主干与训练顺序：固定相同的快速语音合成模型第二代主干，只替换风格模块。先做一个周期的初始训练再用均值聚类初始化 3 层码本，每层码本大小等于情感类别数。冻结流预测器训练提取器与主干 300,000 步，再联合优化至 500,000 步，批量为 32，总损失中残差向量量化权重为 0.1、聚类权重为 0.1、流权重为 30，并保留对中性原型的截断梯度对齐。

第三步是按原文协议评估：30 人评自然度与情感表达、25 人做成对单调性比较，同时计算字符错误率、基频误差、UTMOS 分数与情感准确率。由于本次未确认可达的公开代码与权重，只能按文字重建系统可运行版本，任何缺失超参数的补齐都应在记录中标明为待验证选择，而非原文设置。

何时值得尝试这种轨迹式控制？

当应用需要连续可调的情感强度且对单调性敏感时，值得尝试把强度学成轨迹：例如有声书、对话智能体需要从轻微到强烈的渐变，而不是只在几个离散标签间切换。尝试的前提是有中性语音作为轨迹起点，且每类情感样本足以学出稳定的原型。若数据中中性样本过少或情感标注噪声大，原型锚点本身就会偏移，此时应先补数据清洗与标注一致性验证。

本文特有的误解需要澄清。第一，t 不是音量旋钮，它控制的是风格空间中沿已学速度场的位置，改变的是韵律与音色层面的情感表达。第二，原型不是分类器标签的简单映射，而是经 3 层残差分解与三元组损失塑造的风格锚点，换成连续情感向量会损失可分性。第三，流匹配在这里不是通用语音生成器，而是以文本隐表示与风格标签为条件的分层速度回归器，起点是中性原型加噪声而非标准高斯。

记住这三点，就能复述方法的全貌：在训练中显式走完中性到情感的中间状态，推理时沿同一条路按 t 取点，从而兼顾单调可控与质量稳定。后续验证应补齐显著性检验、缺失超参数与跨说话人泛化，才能判断该稳定性能否推广到开放场景。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总