📄 DAIEN-TTS: Disentangled Audio Infilling for Environment-Aware Text-to-Speech Synthesis

#语音合成 #流匹配 #零样本

🔥 8.0/10 | 前25% | #语音合成 | #流匹配 | #零样本

学术质量 7.5/7 | 选题价值 6.0/2 | 复现加成 0.5 | 置信度 高

👥 作者与机构

• 第一作者：Ye-Xin Lu（中国科学技术大学 国家语音与语言信息处理工程研究中心）
• 通讯作者：Yang Ai（中国科学技术大学 国家语音与语言信息处理工程研究中心）
• 作者列表：Ye-Xin Lu（中国科学技术大学 国家语音与语言信息处理工程研究中心）、Yu Gu（未说明）、Kun Wei（未说明）、Hui-Peng Du（中国科学技术大学 国家语音与语言信息处理工程研究中心）、Yang Ai（中国科学技术大学 国家语音与语言信息处理工程研究中心）、Zhen-Hua Ling（中国科学技术大学 国家语音与语言信息处理工程研究中心）

💡 毒舌点评

亮点在于将语音-环境分离与流匹配音频填充相结合，首次在零样本框架下实现了对时间变化背景环境的独立控制，思路清晰且实验验证充分。短板是高度依赖预训练的语音-环境分离（SES）模块的性能，且推理时要求提供“纯”环境提示音频的假设在真实场景中可能较难满足，限制了其通用性。

📌 核心摘要

1. 问题：现有的零样本语音合成（TTS）系统难以在合成语音时，独立且可控地改变背景声学环境（如从安静房间切换到嘈杂街道），特别是对于时间变化的环境。
2. 方法核心：本文提出DAIEN-TTS，一个基于解纠缠音频填充的环境感知零样本TTS框架。其核心是引入一个预训练的语音-环境分离（SES）模块，将带环境音的语音分解为干净语音和环境音频的梅尔谱。在训练时，对两者分别进行随机掩码，以干净语音谱、环境谱（部分掩码）和文本为条件，通过流匹配模型填充被掩码的完整环境语音梅尔谱。推理时，可使用任意说话人提示和任意环境提示进行合成。
3. 创新点：a) 首次提出一个能独立控制音色和时间变化背景环境的零样本TTS框架。b) 设计了基于交叉注意力的环境条件注入方案，并在推理时采用双无分类器指导（DCFG）和信噪比（SNR）自适应策略来增强可控性。c) 实验表明该方法在自然度、说话人相似度和环境保真度上均表现良好。
4. 主要实验结果：在SeedTTS测试集上，当使用静音环境提示时，DAIEN-TTS的词错率（WER）为1.93%，说话人相似度（SIM-o）为0.60，自然度（MOS）达3.84。当使用背景环境提示合成环境语音时，WER为2.83%，SIM-o为0.55，MOS为3.78，环境相似度（ESMOS）为3.65，均接近或达到人类录音水平。关键结果如下表所示（摘自论文Table 1）：

5. 实际意义：该技术为有声读物、虚拟现实、游戏等需要生成特定背景环境语音的场景提供了新的解决方案，增强了合成语音的表现力和沉浸感。
6. 主要局限性：a) 框架性能严重依赖预训练SES模块的分离质量，若分离不佳会直接影响合成效果。b) 训练和评估均基于预设的“干净语音-环境音频”配对数据，对于现实世界中无法获得纯净环境音的复杂场景，其适用性有待验证。c) 推理时要求提供纯环境音频提示，这在实际应用中可能不便获取。

🏗️ 模型架构

DAIEN-TTS的整体架构如图1所示，包含训练（左）和推理（右）两个流程。

图1: DAIEN-TTS 训练与推理流程]

1. 语音-环境分离（SES）模块：
   • 功能：将输入的环境语音 y 分解为干净的语音梅尔谱 c_spk 和环境背景音频梅尔谱 c_env。
   • 结构：如图2所示。首先对 y 进行短时傅里叶变换得到幅度谱 |Y|。然后，通过一个Transformer掩码网络预测两个掩码 |M^S| 和 |M^E|。通过 |Y| ⊙ |M^E| 得到语音幅度谱 |Y^S|，通过 |Y| ⊙ |M^S| 得到环境幅度谱 |Y^E|。最后，通过梅尔滤波器组将两者转换为梅尔谱。
   • 设计动机：在幅度谱层面进行分离，可以更直接地建模声学成分，且Transformer能捕捉长时依赖。

图2: SES模块结构]

2. 条件准备与掩码：

   • 训练：从环境语音 x1 和其分解得到的 c_spk、c_env 出发。分别对 c_spk 和 c_env 应用随机长度的掩码 m_spk 和 m_env，得到未掩码部分 (1-m_spk)⊙c_spk 和 (1-m_env)⊙c_env，模拟不同长度的提示条件。
   • 推理：给定说话人提示 y_spk 和环境提示 y_env。用SES模块分别从 y_spk 中提取干净语音成分作为说话人条件 c_spk，从 y_env 中提取环境背景成分作为环境条件 c_env。对环境条件的幅度谱 Y^E_env 应用SNR自适应缩放（详见02节）。

3. 核心生成模型（基于F5-TTS）： 基础：采用流匹配（Flow Matching）框架。输入为对目标环境语音梅尔谱 x1 添加噪声后的版本 ψ_t(x0) = (1-t)x0 + tx1，其中 x0 是高斯噪声，t 是采样时间步。

   • 关键修改：在F5-TTS的每个Diffusion Transformer (DiT) 模块中，插入一个多头交叉注意力层。该层接收 未掩码的环境梅尔谱 (1-m_env)⊙c_env 作为键值对，将环境条件信息注入生成过程。同时，将 未掩码的语音梅尔谱 (1-m_spk)⊙c_spk 和 扩展的文本序列 z 进行拼接，作为DiT块的主条件输入。
   • 训练目标：最小化预测速度场 v_t 与真实目标 (x1 - x0)⊙m_spk 之间的均方误差（公式1）。模型仅学习填充被掩码的环境语音部分 m_spk⊙x1。
   • 设计动机：交叉注意力机制能更灵活、更专注于地融合时变的环境条件，避免了简单拼接可能导致的特征混淆。

4. 推理生成：

   • 从纯噪声 x0 开始，使用ODE求解器根据学习到的速度场 v_t 进行积分，生成目标梅尔谱 x1。
   • 双无分类器指导（DCFG）：为增强可控性，将指导拆分为两部分：说话人/文本指导（α_speech）和环境指导（α_env），分别控制合成语音在说话人特征和背景环境上的偏向强度（公式3）。
   • 后处理：丢弃生成的梅尔谱中对应说话人提示 c_spk 的部分，仅保留生成的环境语音部分，通过声码器转换为波形。

💡 核心创新点

1. 解纠缠音频填充（Disentangled Audio Infilling）框架：这是本文最核心的创新。它将环境语音的合成问题，转化为在条件掩蔽下同时填充干净语音和环境背景两个成分的问题。通过引入预训练SES模块进行解纠缠，并对两者分别施加掩码，模型能够学习到独立控制这两个成分的能力。之前方法的局限：如UmbraTTS虽然也试图解纠缠，但要求提供等长的纯语音和纯环境音频提示，不切实际；且其将条件直接拼接的方式对环境建模能力有限。
2. 基于交叉注意力的环境条件注入：在DiT块中增加专门的交叉注意力层来处理环境梅尔谱条件。之前方法的局限：简单的条件拼接（如UmbraTTS和本文消融版本w/o CA）难以有效建模复杂、动态的环境信息，容易导致环境重建失真。收益：实验表明，该设计显著提升了环境保真度（ESMOS从3.49提升至3.65）和整体自然度（MOS从3.68提升至3.78）。
3. 双无分类器指导（DCFG）机制：将传统的单一CFG扩展为针对语音成分和环境成分的两个独立引导强度。作用：在推理时，可以分别调节合成语音对说话人提示的忠诚度和对环境提示的模仿强度，提供了更精细的控制粒度。
4. 信噪比（SNR）自适应策略：在推理时，根据说话人提示语音的SNR，对提取的环境条件谱进行缩放，使合成语音的SNR与环境提示的SNR对齐。作用：确保了生成的语音在“清晰度”和“环境沉浸感”之间达到与环境提示一致的平衡，增强了可控性和自然感。

🔬 细节详述

• 训练数据：使用LibriTTS语料库（580小时干净语音）。通过与DNS-Challenge数据集（68k环境音频片段）混合来模拟环境语音。混合信噪比（SNR）在-5 dB到15 dB之间均匀采样。采用动态混合策略，TTS训练时50%概率混合环境音，50%概率混合静音，以利于文本-语音对齐学习。
• 损失函数：条件流匹配（CFM）损失（公式1），目标是预测速度场。损失仅作用于被掩码的环境语音部分 m_spk⊙x1。
• 训练策略：SES模块和TTS模块分别训练600k步。使用24块NVIDIA V100 32G GPU。批大小为102,800音频帧。优化器等具体设置遵循F5-TTS。
• 关键超参数：
  • SES模块：Transformer层数K=8，注意力头数=16，嵌入维度=1024，FFN维度=2048。
  • TTS模块：DiT块中的交叉注意力层也配置为16个注意力头。
  • 推理：DCFG强度α_speech和α_env均设为2.0。
• 训练硬件：24块NVIDIA V100 32G GPU。
• 推理细节：使用ODE求解器进行采样。通过SNR自适应对环境条件谱进行缩放。最终使用声码器（未指定具体型号）生成波形。
• 正则化或稳定训练技巧：论文中未明确提及额外的正则化技巧，主要依赖于与F5-TTS相同的训练策略。

📊 实验结果

实验分为两个场景评估：1）使用静音环境提示合成干净语音，评估环境分离能力；2）使用背景环境提示合成环境语音，评估环境重建能力。

主要基准与数据集：评估使用SeedTTS test-en集，并为其附加了来自SoundBible的环境音频（SNR 0-20 dB）。

主要指标：

• 客观指标：词错率（WER，由Whisper-large-v3计算，越低越好）、说话人相似度（SIM-o，基于WavLM-large模型的余弦相似度，越高越好）。
• 主观指标：自然度MOS、说话人相似度MOS（SSMOS）、环境相似度MOS（ESMOS）。

关键对比结果与消融实验：

表1的完整结果如下：

关键结论：

1. 环境分离能力（静音提示场景）：与使用环境说话人提示的F5-TTS相比，DAIEN-TTS在所有指标上大幅提升（WER从2.87%降至1.93%，MOS从3.09升至3.84），证明SES模块有效分离了环境干扰。甚至优于使用干净提示的F5-TTS，可能得益于数据增强效应。
2. 环境重建能力（环境提示场景）：DAIEN-TTS的MOS（3.78）和ESMOS（3.65）与人类混合录音（3.86，3.72）非常接近，表明其能高质量重建时间变化的环境。
3. 消融实验（交叉注意力）：移除交叉注意力层（w/o CA）后，在环境提示场景下，环境保真度（ESMOS）从3.65显著下降至3.49，自然度（MOS）也从3.78降至3.68，证明了交叉注意力对环境建模至关重要。在静音场景下，两者性能接近，说明交叉注意力主要服务于环境条件。

⚖️ 评分理由

• 学术质量：6.0/7。论文提出了一个结构清晰、逻辑自洽的解决方案，首次在零样本TTS中解耦并独立控制时间变化的背景环境。技术路线（分离+解纠缠填充+DCFG+SNR适应）正确，实验设计合理，包含充分的消融研究和主客观评估，证据可信。扣分点在于核心创新更多是模块组合与流程设计（如交叉注意力、SNR缩放），而非基础理论的突破，且高度依赖预训练SES模块。
• 选题价值：1.5/2。环境感知语音合成是TTS领域一个有价值且活跃的分支，在有声内容创作、元宇宙、游戏等领域有明确的应用需求。论文专注于“时间变化环境”这一更难但更实际的子问题，具有较好的前沿性和潜在影响力。扣分点在于任务相对垂直，与广泛的语音技术读者相关性中等。
• 开源与复现加成：0.5/1。论文提供了示例页面链接（https://yxlu-0102.github.io/DAIEN-TTS），这有助于了解效果。文中描述了模型结构、训练数据、部分超参数和硬件信息，但未明确提供完整的代码仓库、预训练模型权重、详细的配置文件或训练脚本。复现所需的关键信息（如SES模块预训练细节、声码器具体型号与训练）不够完整。

🔗 开源详情

• 代码：论文中未提供明确的代码仓库链接。仅提供了一个用于试听音频样本的示例页面。
• 模型权重：未提及是否公开模型权重。
• 数据集：训练使用了公开的LibriTTS和DNS-Challenge数据集。评估集使用了公开的SeedTTS test-en集并添加了SoundBible的环境音频。
• Demo：提供了在线演示页面：https://yxlu-0102.github.io/DAIEN-TTS。
• 复现材料：论文提供了一定的训练细节（数据集、步骤、硬件、批大小、模型部分参数），但缺少完整的训练脚本、优化器配置、声码器训练细节等，信息不算充分。
• 论文中引用的开源项目：论文基于F5-TTS框架，并引用了Whisper-large-v3用于WER评估，WavLM-large用于说话人嵌入提取。

← 返回 ICASSP 2026 论文分析