📄 CosyAccent: Duration-Controllable Accent Normalization using Source-Synthesis Training Data

#语音转换 #流匹配 #语音合成 #数据增强 #非自回归

✅ 7.8/10 | 前25% | #语音转换 | #流匹配 | #语音合成 #数据增强

学术质量 7.8/7 | 选题价值 7.5/2 | 复现加成 0.8 | 置信度 高

👥 作者与机构

• 第一作者：Qibing Bai（香港中文大学（深圳）数据科学学院、腾讯天籁音频实验室）
• 通讯作者：Shuai Wang（南京大学智能科学与技术学院，标注†）
• 作者列表：Qibing Bai（香港中文大学（深圳）数据科学学院、腾讯天籁音频实验室）、Shuhao Shi（香港中文大学（深圳）数据科学学院）、Shuai Wang（南京大学智能科学与技术学院）、Yukai Ju（腾讯天籁音频实验室）、Yannan Wang（腾讯天籁音频实验室）、Haizhou Li（香港中文大学（深圳）数据科学学院、深圳市大数据研究院、香港中文大学（深圳）高等金融研究院）

💡 毒舌点评

亮点在于“源合成”数据策略的构思巧妙——通过合成非母语语音来使用纯净母语语音作为目标，从根本上规避了TTS伪影污染，这一思路颇具启发性。短板则是其宣称的“无需真实L2数据”在泛化到真实、多样且含噪声的L2语音时可能面临挑战，且模型在说话人相似度上略逊于基线。

📌 核心摘要

这篇论文针对口音归一化（AN）中训练数据稀缺和时长建模生硬两大挑战，提出了一种新的解决方案。核心方法包括：1）提出“源合成”训练数据构建策略，使用强大的提示式TTS（CosyVoice2）从大规模母语语料中合成非母语语音，从而在完全不使用真实L2数据的情况下，构建以高质量母语语音为目标的平行训练对。2）提出了CosyAccent模型，一个基于流匹配的非自回归（NAR）系统，它通过隐式韵律建模保证自然度，并引入“位置缩放”技术实现对输出总时长的显式控制。实验结果显示，尽管未使用真实L2数据训练，CosyAccent在内容保持（WER降至12.96% vs. 基线16.21%）和自然度（主观NAT评分64.62）上显著优于使用真实数据的基线模型。该工作证明了合成数据策略的有效性，为减少对稀缺口音数据的依赖提供了新途径。其主要局限性在于合成数据可能缺乏真实L2语音的声学复杂性和副语言特征。

🏗️ 模型架构

CosyAccent是一个非自回归的口音归一化模型，整体架构包含四个核心模块：语音编码器、CTC投影头、时长预测器和语音解码器。

1. 语音编码器与内容表征：输入的L2源语音首先通过一个冻结的Whisper-medium编码器前端提取特征，然后送入一个Transformer语音编码器，提取高层特征。为了确保这些特征能稳健地表示语言内容，编码器输出后接一个线性投影头，并施加CTC损失进行辅助监督。
2. 语音解码器：采用基于DiT（Diffusion Transformer）的解码器，通过流匹配（Flow Matching）训练，生成梅尔频谱的速度场。每个解码器层包含自注意力、交叉注意力和前馈网络（FFN），每个模块后都接有自适应层归一化（AdaLN），其参数由时间嵌入调制。编码器输出的内容表征通过交叉注意力作为内容条件注入解码器。
3. 时长控制机制：这是模型的关键创新。它结合了隐式和显式的时长控制：
   • 隐式韵律建模：解码器本身不严格对齐源和目标的逐帧位置，允许生成更自然的节奏。
   • 显式总时长控制（位置缩放）：在交叉注意力中，使用旋转位置编码（RoPE）。与传统绝对索引不同，论文将源内容特征的位置索引进行归一化缩放，使其终点与目标梅尔频谱长度的终点对齐。这种“位置缩放”技术在源和目标之间建立了粗对齐，确保模型在目标长度被手动指定时（如配音场景需保持时长），仍能正确映射语音的开头、中间和结尾。
4. 总时长预测器：为了灵活性，模型引入一个总时长预测器，用于预测一个缩放比例（目标长度/源长度）。该预测器由DiT骨干网络、注意力池化层构成，并通过流匹配训练。在推理时，可以选择使用预测的比例来确定输出长度，或直接继承源语音的时长。
5. 说话人条件：由于冻结的Whisper编码器可能抑制了源语音的音色信息，模型显式地使用预训练说话人编码器（Resemblyzer）提取说话人嵌入向量作为条件，以确保高保真的音色模仿。解码器的输出受三个输入条件化：带噪样本x_t、时间t、内容特征序列c和说话人嵌入向量s。推理时采用双向Classifier-Free Guidance（CFG）来分别控制整体生成过程和对语言内容的遵循程度。

图2展示了CosyAccent的整体架构，包含语音编码器、CTC头、时长预测器和基于流匹配的语音解码器，并显示了通过位置缩放进行时长控制的机制。

图1展示了“源合成”训练数据构建流水线：从LibriTTS-R（L1）和L2-ARCTIC数据集出发，经过子集划分、口音强度评分筛选、数据配对，最终通过CosyVoice2合成带有L2口音的语音，同时保留L1说话人的音色。

💡 核心创新点

1. “源合成”训练数据构建策略：
   • 是什么：不直接合成目标L1语音（目标合成），而是合成源L2语音。使用大规模高质量母语语料（如LibriTTS-R）作为内容和音色的真实来源，利用强大的提示式TTS（CosyVoice2）从母语音频中合成出带有指定口音的L2语音，从而构建平行训练对。
   • 之前局限：传统“目标合成”方法受TTS生成伪影的限制，AN模型会继承这些伪影，导致性能天花板。
   • 如何起作用：确保了训练目标（target）是真实的、无伪影的母语语音，而训练源（source）虽然是合成的，但其内容、说话人身份与目标严格对齐，且不依赖真实L2数据收集。
   • 收益：消除了对TTS生成目标质量的依赖，摆脱了对真实L2数据的依赖，实验表明其训练出的模型在内容保持和自然度上超越了使用真实数据训练的基线。
2. 时长可控的非自回归（NAR）模型：
   • 是什么：CosyAccent作为一个NAR模型，通过设计同时解决了韵律自然性和时长可控性的矛盾。
   • 之前局限：逐帧模型（如FramAN）时长僵硬；序列到序列模型灵活但缺乏显式控制；一些NAR模型只关注逐token时长。
   • 如何起作用：模型隐式地建模节奏以获得自然度，同时通过“位置缩放”技术和可选的总时长预测器，实现对输出语音总时长的显式控制。
   • 收益：模型既能在口音转换任务中保持自然韵律，又能满足配音等场景下对输出时长进行精确约束的需求。
3. 基于位置缩放的粗对齐技术：
   • 是什么：在交叉注意力机制中，对源内容特征的位置索引进行线性缩放，使其与目标序列长度对齐。
   • 之前局限：NAR模型在处理源目标长度不等时，需要有效的对齐机制。
   • 如何起作用：这是一种轻量级的启发式对齐，为解码器提供了粗略的起点、中点和终点映射，尤其在手动指定目标长度时，能稳定模型的生成。
   • 收益：论文中消融研究表明，移除此技术会导致训练不稳定和模型崩溃，证明了其对稳定训练至关重要。

🔬 细节详述

• 训练数据：
  • 基础语料：目标语料使用LibriTTS-R（大规模母语语音）。合成源语料使用L2-ARCTIC（公开非母语英语）。
  • 合成过程：利用CosyVoice2 TTS模型。输入为文本，使用两个提示：一个L2口音样本（用于设定口音）和对应的原始L1语音（用于保留说话人音色）。最终生成与L1目标在内容和说话人上对齐的合成L2语音。
  • 规模：L2-ARCTIC被划分为50句验证集、80句测试集（确保测试句子不在训练中出现）。从L2-ARCTIC中筛选出每个说话人至少200个高口音强度的样本用于提示。
• 损失函数：
  • 主损失：语音解码器使用流匹配损失（具体公式未在文中给出）。
  • 辅助损失：CTC损失，作用在语音编码器输出上，用于监督内容表征的学习。
  • 时长预测器：同样使用流匹配损失进行训练。
• 训练策略：
  • 优化器、学习率、Batch size、训练步数等未说明。
  • 推理策略：使用32步Euler采样器。采用双向Classifier-Free Guidance（CFG），权重w1和w2均设为1.0。
• 关键超参数：
  • 语音编码器前端：冻结的Whisper-medium。
  • 语音解码器：基于DiT架构，具体层数、隐藏维度等未说明。
  • 说话人编码器：Resemblyzer。
  • 声码器：使用CosyVoice2中的HiFTNet将梅尔频谱转换为波形。
• 训练硬件：未说明。
• 正则化或稳定训练技巧：
  • 使用CTC辅助损失稳定内容编码器训练。
  • 使用“位置缩放”技术稳定非自回归解码器训练。
  • 采用Classifier-Free Guidance（CFG）进行推理。

📊 实验结果

论文在扩展的L2-ARCTIC测试集（覆盖7种口音）上进行了全面的主观和客观评估。以下为表1的完整内容：

关键结论：

1. 内容保持（WER）：CosyAccent（12.96%/13.26%）显著优于所有基线（FramAN 21.54%，TokAN约16.5%）。分口音WER（表2）显示，CosyAccent在除中文和越南语外的其他口音上均有明显优势。
2. 自然度（NAT, UTMOS）：CosyAccent-1（64.62/3.04）在主观和客观自然度上均达到最佳。
3. 口音减轻（ACT, ∆PPG）：CosyAccent与TokAN表现相当，均显著优于源语音和FramAN。∆PPG从源语音的0.51降至0.37/0.38。
4. 说话人相似度（SIM, SECS）：CosyAccent的主观相似度（SIM）优于TokAN-2，但客观相似度（SECS，0.8213-0.8291）略低于TokAN（0.8563-0.8613）。论文解释可能是TokAN输出的夸张韵律损害了人类感知。
5. 消融研究（表3）：移除CTC损失导致WER大幅上升（13.26% -> 15.61%）；移除说话人嵌��导致SECS大幅下降（0.8291 -> 0.6524）；移除位置缩放导致模型崩溃。证明了各组件的必要性。

图示可能对应表2或表3，展示了消融实验或分口音结果。由于无法直接查看图片内容，此处用文字描述关键结论：消融实验表明CTC损失、说话人嵌入和位置缩放技术对模型性能至关重要。

⚖️ 评分理由

• 学术质量：5.5/7：创新性好，提出了有效解决数据稀缺和时长控制问题的方法。技术实现正确，基于成熟的流匹配、Transformer和Whisper等组件。实验设计严谨，与强基线对比，并提供了详尽的消融实验和分口音分析，证据可信。主要不足是模型架构的具体超参数未公开，且未与更多最新的SOTA方法对比。
• 选题价值：1.5/2：口音归一化是语音技术的一个实际应用方向，尤其在国际交流和内容本地化中。该工作提出的“无需真实L2数据”的范式具有启发性，可能降低相关应用的开发门槛。对语音合成和转换领域的研究者有明确参考价值。
• 开源与复现加成：0.8/1：论文提供了明确的代码仓库（GitHub）和在线Demo链接（示例网址），复现的关键信息（数据构建流程、模型模块、训练策略如CFG）描述清晰。扣分点在于未明确公开合成的数据集权重，且未提供训练超参数、硬件等细节。

🔗 开源详情

• 代码：提供了GitHub代码仓库链接：https://github.com/P1ping/CosyAccent。
• 模型权重：论文中未明确提及是否公开预训练模型权重。
• 数据集：论文中描述了使用LibriTTS-R和L2-ARCTIC构建合成数据集的方法，但未明确说明是否公开最终的合成数据集。
• Demo：提供了在线演示链接：https://p1ping.github.io/CosyAccent-Demo。
• 复现材料：论文详细描述了模型架构、数据构建流水线、关键训练技术（CTC损失、位置缩放、CFG）。但未提供训练的具体超参数（如学习率、Batch size）、训练硬件信息和检查点。
• 论文中引用的开源项目：
  • CosyVoice2 [19]：用于合成L2语音的提示式TTS模型。
  • Whisper [27]：用作冻结的语音编码器前端。
  • Resemblyzer：用于提取说话人嵌入。
  • HiFTNet [34]：用作声码器。
  • 其他基准模型代码：FramAN [13], TokAN [18]。
• 论文中未提及开源计划的其他方面：如合成数据集权重。

← 返回 ICASSP 2026 论文分析