特征调制

📄 Beyond Global Emotion: Fine-Grained Emotional Speech Synthesis with Dynamic Word-Level Modulation #语音合成 #情感语音合成 #特征调制 #流匹配 #多任务学习 #数据集 ✅ 7.5/10 | 前25% | #语音合成 | #特征调制 | #情感语音合成 #流匹配 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Sirui Wang（哈尔滨工业大学） 通讯作者：Tiejun Zhao*（哈尔滨工业大学） 作者列表：Sirui Wang（哈尔滨工业大学）、Andong Chen（哈尔滨工业大学）、Tiejun Zhao（哈尔滨工业大学） 💡 毒舌点评 亮点：论文首次在LLM-TTS框架中实现了单词级的情感动态控制，概念清晰，并通过构建专用的FEDD数据集和详实的消融实验，有力地证明了其方法的有效性，实验设计相当规范。短板：然而，整个框架严重依赖于一个未完全公开细节的预训练模型（CosyVoice2），且代码和模型均未开源，这使得其“可复现性”大打折扣，更像是在现有强大基座上添加了一个精巧的模块，而非一个能独立复现和推广的完整解决方案。 📌 核心摘要 本文针对现有情感语音合成（E-TTS）方法大多依赖句子级全局情感控制（如标签、参考音频或提示）无法捕捉句内情感动态变化的问题，提出了Emo-FiLM框架。该方法的核心是：1）利用预训练的emotion2vec模型提取帧级情感特征，并通过一个轻量级Transformer模型将其对齐到单词，生成单词级的情感类别和强度标注；2）在预训练的LLM-TTS（CosyVoice2）框架中引入一个情感特征线性调制（E-FiLM）模块，将单词级的情感信息映射为文本嵌入的缩放和偏移参数，从而实现对语音生成过程的细粒度调制。为评估动态情感合成能力，论文构建了首个包含情感转折标注的Fine-grained Emotion Dynamics Dataset (FEDD)。实验表明，在FEDD数据集上，Emo-FiLM在情感动态匹配（DTW）指标上比最强基线（CosyVoice2）提升了9.1%（从54.57降至49.62），在主观情感相似度（EMOS）和自然度（NMOS）上也取得最佳成绩（4.19和4.23）。消融实验证实，单词级数据监督、情感损失和FiLM调制层均为关键组件。该工作为生成更自然、更具表现力的合成语音提供了新的方向，其主要局限在于依赖特定预训练模型且未开源代码，限制了复现与推广。 🏗️ 模型架构 Emo-FiLM框架整体分为两个核心阶段（如图2所示）： 细粒度情感标注模块： 输入：语音波形及其对应的转录文本。 核心组件： Emotion2Vec特征提取器：一个预训练的自监督模型，用于从语音中提取高维的帧级情感特征序列。 Montreal Forced Aligner (MFA)：用于获取文本单词与语音帧的精确对齐。 轻量级Transformer模型：接收对齐后的帧级特征序列，通过多头自注意力机制建模上下文依赖，输出增强的帧级表示。 掩码平均池化层：将每个单词对应的可变长度帧级特征序列聚合为一个固定维度的单词级情感向量。 双输出头：一个分类头预测离散情感类别（如快乐、悲伤），一个回归头预测连续情感强度（归一化到[0,1]）。 输出：每个单词对应的动态情感注释（类别和强度）。 关键设计：此模块将传统句子级标签“提升”到单词级，为生成模块提供了精细的控制信号。 情感调制生成模块： ...