不直接学情绪，而学偏离中性的差：词级残差如何做可放缩的情绪强度

英文题目：Word-level Emotional Intensity Control in TTS via Emotion Residual Vectors

会议身份：conference:interspeech:2026:conference-paper-id:park26i_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#Adapter #韵律 #语音 #文本到语音

评分：6.5/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Ji-Hyun Park：机构信息未能从会议 PDF 纯文本可靠映射
• Nam-Seok Song：机构信息未能从会议 PDF 纯文本可靠映射
• Joon-Hyuk Chang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

情感文本到语音（Text-to-Speech，TTS）需在词级分配不同情感强度，现有词级标量控制常引发突兀音高跳变和不自然时长，损害感知自然度。该文先用蒙特利尔强制对齐器（Montreal Forced Aligner，MFA）对位与WavLM-Base第7-12层均值池化提取词嵌入，再以情感词减中性词构造情感残差向量（Emotion Residual Vector，ERV）。冻结的中性FastSpeech2主干通过残差注入模块（Residual Injection Module，RIM）学习瓶颈投影与上投影，RoBERTa-Base预测器则从文本加情感提示回归瓶颈目标，推理时以词级权重缩放注入偏移。与直接回归高维残差不同，低维瓶颈使强度缩放更平滑并简化文本到韵律预测。在英文ESD测试集上预测系统自然度平均意见分达3.83，情感分类准确率达0.71，与话语级基线相当并明显优于HED-TTS。该结论仅在平行中性-情感对、英语朗读语音和全局中性条件下验证，非平行采集、自发语音与跨语言外推尚未验证。原文未披露训练、推理或部署成本，仅声明生成式AI只用于语言润色。

🔗 开源与复现资源

• 演示资源：https://jjhh0210.github.io/EmoRes-tts-demo/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么整句给情绪不够？

本文的输入是待合成的文本加上目标情绪类别，输出是带有该情绪的语音波形，学习依赖是需要知道每个词应该偏离中性发音多少，而不是只知道整句话是什么情绪。初学者可以这样理解任务：文本转语音先要把字读对读顺，情绪合成还要决定哪里重哪里轻、音高往上走还是往下走。如果只在整句级别告诉模型开心或悲伤，模型要自己猜重音落在哪一个词上，原文指出这会导致强调错位，也就是本该突出的焦点词被压住，不该突出的词反而被抬高。

本解读的目标是让刚入门的研究生能复述这套做法：先构造词对齐的中性减情绪残差，再把残差压缩进低维瓶颈做成可加的隐状态偏移，最后训练一个文本到残差的预测器实现推理时无参考控制。必须保留的信息包括数据来源与划分、残差提取用的表征层与维度、瓶颈维度默认值、预测器优化设置、评测指标方向与关键数字，以及作者明确承认的平行语料依赖。输出是一套可核对的流程说明，凡是原文没有报告的延迟、实时率或跨数据集结论都不做承诺。

自然情绪语音本来就是词与词之间起伏不同，例子如同一句开心的话里只有最后两个词需要扬上去，其余词保持平稳。整句条件相当于给全句涂一层同样的颜色，词级控制才允许只加深其中几个词。本文要解决的矛盾正在于此：词级控制更精细，但已有词级方法容易出现音高突跳、时长不自然和目标词过分跳出的问题。于是作者把控制信号换成中性到情绪的差向量，并用瓶颈稳定放缩行为，这是全文的起点。

同任务已有路线如何做词级强度，各自代价是什么？

在同输入同目标的情绪可控合成路线里，常见做法是给每句话一个情绪嵌入，代表工作包括混合情绪建模、跨说话人情绪解耦和球面情绪向量等，这类整句条件实现简单但无法指定哪一个词更重。原文把对比焦点放在 3 条真正支持词级可调的可运行基线上，而不是把类别差异当成同条件胜负。

第一条是 EmoQ-TTS，它用与中性参考在嵌入空间中的距离导出代理强度等级，再按音素对齐注入量化码，思路是用距离代替人工标注。第二条是 HED-TTS，它预测多粒度的情绪分布并允许在话语、词或音素级直接操纵，用排序打分得到归一化强度目标做监督，特点是层级更全。第 3 条是 EME-TTS，它显式引入强调控制并通过在被遮罩的强调区域内重加权注意力来缓解情绪与强调互相干扰。三者都实现了每词可调，但原文指出它们在局部控制时可能损害感知自然度。

本文与它们的区别在于监督来源和运行阶段：不直接学习情绪绝对值或人工强度分，而是学习配对词实例在自监督表征空间中的残差，并在推理时只用文本和情绪标签预测该残差，不需要参考音频或人工韵律标注。理解这一点后，后面的瓶颈和预测器才有位置：瓶颈是为了解决残差放缩不稳定的问题，预测器是为了解决推理时没有配对中性语音可减的问题。

要建模的局部偏移是什么，难在哪里？

要建模的对象是同一个说话人读同一句话时，某一个词在中性与情绪版本之间的发音差异。操作上是先用强制对齐得到词边界，再对边界内的自监督帧级嵌入做平均池化，得到词级向量，最后做情绪减中性。这个差向量被解释为局部情绪韵律的信号，它把音素内容和说话人公共部分大致抵消，留下随情绪变化的韵律偏移。

难点有 3 个。第一，残差维度很高，原文用 WavLM-Base 第 7 到 12 层聚合得到 768 维，直接回归和直接放缩都不稳定。第二，推理时没有中性参考可减，必须从文本和情绪预测残差，而文本到韵律本来是 1 对多映射。第三，控制要连续可调，既要让调大目标词时听感更浓，又不能让目标词与上下文断裂。已有方法用标量强度乘以条件嵌入，乘大后容易出现局部基频跳变，也就是目标词突然跳出去。本文因此把强度理解为对残差偏移的放缩倍数，并用瓶颈和层归一化约束其幅度行为。

三阶段流水线如何串起提取、注入与预测？

先从一个样本走完全程有助于建立依赖顺序。假设训练集中有同一说话人读同一文本的中性版和开心版，系统先对齐得到每个词的时间区间，分别提取词级嵌入并相减，得到该词的情绪残差向量。接着把残差送进残差注入模块，压缩到瓶颈再展开成编码器隐状态上的增量，加到以中性为全局条件的 FastSpeech2 编码器输出上，解码器据此重建出开心目标语音。最后把学好的瓶颈投影当成目标，用 RoBERTa 从文本和开心标签预测每个词的瓶颈向量，推理时就不再需要真实残差。

下面这张总览图把上述 3 条分支画在了一起，读图时注意冻结与优化的区分以及训练专用与推理专用箭头的走向，图前导读帮助定位各面板分工。

看图路径： 1. 先沿左侧从文本到声码器的主路径确认中性条件在哪里加入；2. 再看中间残差注入模块中瓶颈压缩与层归一化的先后顺序；3. 对照右侧残差提取分支确认愤怒与中性语音如何配对相减；4. 区分训练专用虚线与推理专用虚线各自连接哪两个模块

论文图 1。原论文 Figure 1：“Overview of the proposed ERV-based emotional TTS framework.”。

图 1 包含 4 个面板：左侧是带残差注入模块的总体结构，中间是注入模块内部的 2 次线性映射与层归一化，右侧分别是基于 RoBERTa 的投影残差预测器和残差提取过程。像素可见顶部图例用雪花表示冻结、用火焰表示优化，蓝色虚线表示训练专用通路，绿色虚线表示推理专用通路。左侧主路径从文本经文本编码器、加法节点、方差适配器、解码器到声码器，残差注入模块从侧面把增量送入加法节点。

中间面板显示情绪残差向量先经线性层压缩到瓶颈子空间，再经线性层展开并做层归一化，最后与词到音素映射和强度放缩相乘。右侧提取分支显示愤怒语音与中性语音分别经语音自监督模型和词级平均池化后相减得到情绪残差向量，预测器分支显示情绪提示与文本词元一起进入 RoBERTa 再经线性头输出各词预测向量。这张图确立了 3 阶段的先后关系：先预训练带说话人和话语级情绪条件的主干，再冻结主干学注入模块，最后固定瓶颈投影学预测器。

残差从哪里来，瓶颈注入做了什么计算？

残差提取依赖平行语料和词对齐。原文使用情感语音数据库英语子集，该库提供同一文本在不同情绪下的平行语句，使同一说话人同一文本的中性与情绪配对成为可能。词边界由蒙特利尔强制对齐器给出，帧级嵌入来自预训练语音自监督模型 WavLM-Base，取第 7 到 12 层聚合为 768 维词级向量。每个词的残差定义为情绪词向量减中性词向量，训练集共得到 88400 个词级残差实例，每个非中性情绪 22100 个。这一步没有训练，只是构造监督信号。

情绪残差向量 × 自监督语音表征： 情绪残差向量负责记录同一个词从中性发音偏到情绪发音的方向和大小，自监督语音表征负责提供不需要人工韵律标注也能保留韵律和副语言信息的声学坐标系，二者搭配的理由是直接用情绪语音绝对值会混入音素和说话人信息，而做配对相减能把公共内容抵消掉，组合后得到的是可加、可放缩的局部韵律偏移信号。

注入计算把词级残差变成编码器隐状态上的增量。文本编码器输出长度为 T 的隐状态序列，每个词的残差先经矩阵压缩到瓶颈维度，再经矩阵展开回隐状态维度并做层归一化，得到该词的调制向量。词级强度向量中的每个分量是非负标量，通过词到音素映射矩阵广播到该词对应的字符位置上加权求和，形成每个时间步的增量。最终调制后的编码器状态等于原始隐状态加上中性条件向量再加上该增量。学习时全局情绪固定为中性，只优化注入模块的压缩矩阵、展开矩阵和层归一化参数，用标准重建损失去拟合对应的情绪目标语音。

瓶颈子空间 × 残差注入模块： 瓶颈子空间负责把 768 维残差先压缩到 32 维再展开，起到去噪和稳定放缩倍数的作用，残差注入模块负责把压缩后的向量映射成文本编码器隐状态上的加性偏移并做层归一化，二者搭配是因为高维残差直接注入幅度不稳定，组合后强度系数乘上去的变化更连续且情绪分类准确率更高。

预测器如何从文本和情绪得到各词残差？

预测器的任务是在推理时替代真实残差。它的输入序列是在起始符后插入一个可训练情绪提示嵌入，再拼接文本的子词序列。RoBERTa 给出子词级上下文表示后，按词边界对属于同一词的子词隐状态做平均池化，得到词级特征，再经线性回归头映射为该词的瓶颈向量。全部 RoBERTa 层与情绪提示嵌入和线性头一起微调，损失是词级均方误差，即预测瓶颈向量与真实残差经已学瓶颈投影压缩后的目标之间的平方距离平均。

这样设计有两个好处：一是回归目标从 768 维降到默认 32 维，更紧凑更稳定；二是双向上下文能建模词与词之间的相对起伏，而不是孤立决定每个词的强度。推理时预测器输出各词瓶颈向量，经冻结的展开矩阵和层归一化变成隐状态调制量，注入以中性为全局条件的主干，并乘以词级控制权重。训练时所有词的权重都设为 1，推理时可以把目标词设为 1.0、其余词设为 0.5，从而实现突出目标词而保留上下文。

中性条件主干 × 词级强度权重： 中性条件主干负责先保证一句话在没有情绪偏移时发音正确连贯，词级强度权重负责决定每个词上的偏移量乘多少，二者搭配的理由是把底座固定为中性后情绪只以增量形式出现，组合后可以在推理时单独调大目标词而保持上下文过渡自然。

情绪提示嵌入 × 投影残差预测器： 情绪提示嵌入负责告诉文本编码器当前要生成哪一种情绪，投影残差预测器负责结合双向上下文为每个词回归出瓶颈空间中的残差，二者搭配是因为同一个词在不同情绪下偏移方向不同，组合后模型不用听到参考音频也能从文本和情绪标签推断各词应偏多少。

词到音素映射矩阵 × 加性隐状态偏移： 词到音素映射矩阵负责把词级控制量广播到该词包含的每个编码器时间步，加性隐状态偏移负责在对应位置上把偏移向量加进原始隐状态，二者搭配的理由是声学模型按帧或按音素工作而控制按词给出，组合后才能实现词粒度可调而声学粒度可执行。

三阶段中谁冻结谁更新，监督从哪里来？

第一阶段预训练声学主干。结构遵循 FastSpeech2，编码器和解码器各用 4 个前馈变换块，隐状态维度 256，注意力头数 2，滤波器尺寸 1024，卷积核尺寸为 9 和 1。优化器用 Adam，参数为贝塔 1 等于 0.9、贝塔 2 等于 0.98、艾普西隆为 10 的负 9 次方、权重衰减为 0，训练 200000 步，批量 64。声码器用在情感语音数据库上训练的 iSTFTNet，采样率 16 千赫，梅尔谱用跳长 192、窗长 768、傅里叶点数 768、80 通道梅尔滤波器组提取，主干带说话人和话语级情绪条件。

第二阶段冻结主干并把全局情绪固定为中性，只训练残差注入模块的压缩矩阵、展开矩阵和层归一化参数。监督是对应的情绪目标语音的重建损失，输入的残差是第一步从平行配对中算出的真实残差。这一步学到的是瓶颈投影，也就是后文预测器的回归目标所用的压缩矩阵。默认瓶颈维度为 32，消融中会变化该维度。

第 3 阶段构造投影目标并训练预测器。先用已固定的瓶颈投影把每个真实残差压缩成目标向量，再微调预训练 RoBERTa-Base 编码器，用 AdamW 训练 20 轮，批量 8，RoBERTa 参数学习率 5 乘 10 的负 5 次方，预测头学习率 3 乘 10 的负 4 次方。梯度路径只更新预测器侧，不再回传到声学主干或语音自监督模型。推理时声码器冻结，主干保持中性条件，强度权重由用户指定。

数据划分、基线条件与指标方向如何保证可比？

数据使用情感语音数据库英语子集，包含 10 个说话人和 5 种情绪，分别为中性、愤怒、开心、悲伤和惊讶。该库提供相同文本跨情绪的平行语句，使同说话人中性与情绪配对可行。划分沿用先前工作在该库上的切分，训练 14900 句、验证 950 句、测试 1550 句。残差实例从训练平行对中提取，共 88400 个词级实例。声学特征与声码器配置如训练节所述，评测在测试集合成样本上进行。

基线包括 3 条可运行策略：自家主干加标准话语级情绪嵌入、支持词级强调条件的 EME-TTS、预测层级情绪分布做词和音素级控制的 HED-TTS。为公平比较话语级情绪渲染，本文方法在主结果中把所有词的控制权重设为 1。主观评测请 15 名听众按 5 分制打自然度平均意见分和情绪平均意见分，客观评测用 UTMOS 预测分和用 Emotion2vec-plus-large 模型算出的情绪分类准确率。自然度类分数越高越好，情绪准确率越高越好，消融中的词错率越低越好。

词级可控性另做偏好测试，给定本文模型与词级可控基线的配对样本，听众选哪一个把高亮词读得更自然，结果按胜平负报告，胜指偏好本文方法的试次占比。强度放缩分析把强度因子从 0 调到 2，观察平均音高随强度变化的趋势，训练时强度为 1，推理时允许大于 1 以检验方向一致性。官方演示页当前可用，链接状态为可达，音频样例可在线听，但本文解读仍以正文数字为准。

整体质量与情绪表达是否保住了，强度放缩是否听话？

主结果要回答的问题是：在加入词级残差调制后，整体自然度和情绪表达是否下降。比较条件是同一测试集、同一声码器族、主结果中控制权重全为 1，指标方向为自然度平均意见分越高越好、情绪平均意见分越高越好、UTMOS 越高越好和情绪分类准确率越高越好。下表把真值、声码器重建、自家主干、两条词级基线和本文方法放在同一口径下。

上表显示本文方法自然度主观分 3.83 分与自家主干自然度主观分 3.81 分基本持平，本文方法情绪主观分 3.56 分与自家主干情绪主观分 3.61 分接近，本文方法 UTMOS 3.77 分与自家主干 UTMOS 3.70 分接近，本文方法情绪准确率 0.71 与自家主干情绪准确率 0.70 接近。同一表中层级控制基线自然度主观分 2.75 分明显低于本文方法自然度主观分 3.83 分，层级控制基线情绪准确率 0.54 明显低于本文方法情绪准确率 0.71。未胜出项也要说明：真值自然度主观分 4.73 分和声码器重建自然度主观分 4.56 分仍高于所有合成系统，本文方法情绪主观分 3.56 分略低于主干情绪主观分 3.61 分，说明残差调制没有带来整体质量跃升，作用是保住整体质量的同时获得词级可调性。

强度放缩趋势进一步支持控制信号按情绪方向工作，读图时先确认横轴为强度系数、纵轴为平均基频，单位为赫兹，再看各情绪曲线的升降方向，图前导读明确横纵轴含义。

看图路径： 1. 先确认横轴强度系数从 0 到 2.00 与纵轴平均基频的单位和范围；2. 再逐条比较开心与惊讶上升、悲伤下降、中性基本平坦的走向；3. 观察愤怒曲线先升后平的拐点位置与其它情绪的区别

论文图 2。原论文 Figure 2：“Average pitch tendency for each emotion as the inten- sity factor α increases.”。

图 2 像素显示横轴强度从 0.00 到 2.00，纵轴平均音高约 200 赫兹到 360 赫兹以上。惊讶曲线上升最陡，从约 245 赫兹升到约 360 赫兹附近后略有回落，开心曲线从约 243 赫兹稳步升到约 345 赫兹，愤怒曲线先升到约 269 赫兹附近后基本走平，中性曲线在约 242 赫兹到 250 赫兹之间轻微波动，悲伤曲线在 0.25 之后持续下降到约 205 赫兹。原文报告训练时强度为 1，但推理时强度大于 1 仍保持方向一致，这支持强度系数确实学到了按情绪区分的韵律走向，而不是只放大音量。需要注意总体趋势不等于每一步都单调，惊讶在末端略有下降，愤怒在后段几乎不变。

词级强调时谁更自然，基频曲线给出了什么证据？

词级评测要回答的问题是：当只加强句中某几个高亮词时，哪一版听起来更像自然的重读。比较条件是同一目标情绪、同一句话、目标词给高权重而其余词给低权重，原文示例把目标词设为 1.0、其余词设为 0.5。指标是 15 名听众的偏好选择，按胜平负报告，胜指偏好本文方法的比例。下表是偏好结果，表前问题是高亮词自然度由谁胜出。

表后解释需要同时看到收益与代价。对 EME-TTS 一组偏好本文方法占比 55.3% 高于偏好基线占比 28.0%，无偏好占比 16.7%，对 HED-TTS 一组偏好本文方法占比 87.1% 高于偏好基线占比 5.4%，无偏好占比 7.5%。收益是本文方法在两组对比中都被更多听众选为更自然，尤其对层级控制基线优势很大，支持残差增量加中性底座的过渡更平滑。代价是第一组仍有偏好基线占比 28.0% 和无偏好占比 16.7%，说明不是所有句子和听众都一致认为本文方法更好，词级自然度仍有样本差异。未评测边界是该测试只覆盖高亮词在句中的自然度，没有报告长句多焦点词或跨情绪混合时的表现。

基频轮廓给出机制层面的对照，读图时注意上下两行时间轴长度不同，不能直接比绝对时长，只看目标区内外的起伏形态，图前导读强调只看形态不比时长。

看图路径： 1. 先确认上下两行分别为 HED-TTS 与本文方法的基频轮廓及时间轴；2. 再看黄色高亮区最后两个词 foul 与 pool 附近曲线的起伏幅度；3. 对比非目标词区域曲线的毛刺数量与过渡是否连续

论文图 3。原论文 Figure 3：“F0 contours for an utterance synthesized by HED-TTS and the proposed method under the same target emotion. The last two words (“foul”, “pool”) are highlighted.”。

图 3 像素显示上行为 HED-TTS 的基频曲线，下行为本文方法的基频曲线，黄色底为最后两个词 foul 与 pool 所在的目标区域，非目标区标有 how、I、hate、this 等词。上行在目标区内出现大幅上扬并伴随多处尖峰，非目标区也有较陡的跳变，下行在目标区内呈先高后缓降的连续走向，非目标区波动相对细碎但整体过渡更连贯。原文据此解释本文方法在目标词附近抬高音高的同时保持了与周围上下文的平滑衔接，而对照方法在该样本中出现了局部跳变从而削弱了韵律连贯性。这是一个单样本可视化，不能推广为所有句子都如此，但它与偏好结果方向一致，为自然度差异提供了可检查的韵律证据。

瓶颈要多宽，预测器带来了什么？

消融要回答两个问题：瓶颈是否必要以及多宽合适，预测器是否比直接注入真实残差更有效。实验分 3 组：去掉瓶颈只学一个从真实残差到编码器隐空间的直接投影，瓶颈维度在 4、16、32、64、128 之间扫描并注入测试集真实残差，以及选定 32 维后训练预测器并注入预测向量做完整系统。指标方向为词错率越低越好，UTMOS 越高越好和情绪准确率越高越好，词错率用 Whisper 语音识别模型测得。表前问题是瓶颈容量与预测器各自贡献多少。

表后解释先看主要收益。无瓶颈条件词错率 7.53 低于瓶颈 32 维条件词错率 8.22，但无瓶颈条件情绪准确率（%）0.55 低于瓶颈 32 维条件情绪准确率 0.62，说明高维直接注入保住了可懂度却没有给出更有效的情绪控制信号。加入瓶颈后瓶颈 4 维条件情绪准确率 0.47 最低，瓶颈 32 维条件情绪准确率 0.62 达到饱和，瓶颈 64 维条件情绪准确率 0.61 与瓶颈 128 维条件情绪准确率 0.61 基本不变，说明过小容量不够用，超过 32 维后额外容量收益有限，因此默认选 32 维。

完整预测器条件情绪准确率 0.71 为最高，完整预测器条件 UTMOS 3.75 分与各瓶颈条件 UTMOS 3.71 分到 3.75 分接近，完整预测器条件词错率 8.03 与瓶颈组相当。原文解释这是预期的，因为预测器按目标情绪生成向量，而仅注入的设置把全局情绪固定为中性。

也要看到代价和置信区间。UTMOS 在 3.71 分到 3.75 分之间波动且多数组的置信区间重叠，说明瓶颈设计主要影响情绪渲染而非整体质量。词错率在瓶颈组中略高于无瓶颈组，瓶颈 32 维条件词错率 8.22 高于无瓶颈条件词错率 7.53，提示压缩可能带来轻微可懂度代价。不同指标的差值不能混放比较，情绪准确率的提升不能直接读成自然度提升，自动指标也不能当成人评。

哪些条件没满足就不能用，哪些结论还不能下？

作者明确承认的局限是依赖平行且词对齐的中性与情绪配对来提取残差。如果新数据没有同一说话人读同一文本的平行句，就无法按本文原样构造监督信号，这是复现前必须先确认的信息条件。把残差控制扩展到非平行或弱约束数据被列为未来工作，当前结果不支持直接推广到无平行语料的场景。

未验证的推测需要单独标出。瓶颈子空间被解释为更稳定的调制信号，证据是情绪准确率随瓶颈变化而 UTMOS 基本不变，但这只是支持而非证明因果，也没有测量推理延迟、显存占用或输出帧率，因此不能承诺该方法更快或更省。强度大于 1 时的方向一致性是趋势观察，不等于每句话都单调可控，也没有报告误判率或极端强度下的失真边界。

相关性不是因果的提醒同样适用。平均音高随强度按情绪方向变化支持残差携带了韵律信息，但不能反推所有韵律变化都来自残差，时长和能量等维度在正文中没有同等细粒度的对照。缺少的证据不是技术错误，只是使用时要补验证：换说话人、换语言或换录音条件前，先检查强制对齐质量和自监督表征层的选择是否仍然成立。

要复现先准备什么，按什么顺序跑？

复现的第一步是数据与对齐。准备情感语音数据库英语子集并按训练 14900 句、验证 950 句、测试 1550 句切分，确认同一说话人同一文本跨情绪的平行关系可用。用蒙特利尔强制对齐器得到词边界，用 WavLM-Base 第 7 到 12 层聚合出 768 维帧级嵌入，在词区间内平均池化后做情绪减中性，得到词级残差。先统计残差数量是否接近每个非中性情绪 22100 个，若明显偏少应先查对齐失败或文本归一化问题。

第二步是主干与注入。按隐状态 256、前馈块各 4 个、注意力头 2、滤波器 1024、卷积核 9 和 1 搭建 FastSpeech2 并带说话人和话语级情绪条件，声码器用 iSTFTNet 并保持 16 千赫与 80 通道梅尔配置一致。冻结主干且全局情绪固定为中性，只训练压缩矩阵、展开矩阵和层归一化，瓶颈先用 32 维跑通，再复现 4 维到 128 维的扫描以确认情绪准确率从 0.47 到 0.62 的变化区间。

第 3 步是预测器与控制。固定瓶颈投影生成目标，用 RoBERTa-Base 加情绪提示嵌入和线性头回归瓶颈向量，优化器用 AdamW，20 轮，批量 8，学习率分别用 5 乘 10 的负 5 次方和 3 乘 10 的负 4 次方。推理时把所有词权重设为 1 先复现主结果，再把目标词设为 1.0、其余词设为 0.5 复现词级强调。评测保留自然度与情绪双轨，主观用 5 分制，客观同时看 UTMOS、情绪准确率和词错率，避免只看单一指标下结论。代码与权重方面，正文只给出演示页链接，当前可用，不等于训练代码和权重已公开，复现前需确认本次可达状态并补齐缺失的工程细节。

何时值得尝试这套残差思路，还差哪项验证？

当任务同时满足 3 个条件时值得尝试：有平行或可配对的中性与情绪语音，能拿到可靠的词边界，需要在保住整句自然度的前提下只加强个别词。此时把情绪学成增量而不是绝对值是有吸引力的，因为底座保持中性连贯，强度只控制增量的放缩倍数，调大目标词时上下文不易断裂。瓶颈维度可从 32 起步，若情绪准确率明显偏低再向上试，但按本文结果超过 64 后收益有限，不必一味加宽。

还需要补的验证包括非平行数据的残差构造、多说话人和跨语言下的稳定性，以及极端强度下的可懂度和失真边界。教学上容易误解的两点要澄清：一是预测器情绪准确率高于直接注入真实残差，不代表预测比真值更准，而是因为直接注入时全局情绪被固定为中性，缺少目标情绪条件；二是平均音高趋势向情绪方向走，不等于每句话的每一步都听话，单样本曲线只能作为机制示例。把握住差向量、瓶颈稳定、文本预测这 3 步分工，就能复述全文方法并知道下一步该测什么。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总