📄 SynParaSpeech: Automated Synthesis of Paralinguistic Datasets for Speech Generation and Understanding

#语音合成 #数据集 #数据增强 #语音活动检测

✅ 7.5/10 | 前25% | #语音合成 | #数据增强 | #数据集 #语音活动检测

学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高

👥 作者与机构

• 第一作者：Bingsong Bai（北京邮电大学人工智能学院）， Qihang Lu（北京邮电大学人工智能学院）， Wenbing Yang（北京邮电大学人工智能学院）（论文标注为并列第一作者）
• 通讯作者：Ya Li（北京邮电大学人工智能学院）， Jun Gao（Hello Group Inc.）
• 作者列表：
  • Bingsong Bai（北京邮电大学人工智能学院）
  • Qihang Lu（北京邮电大学人工智能学院）
  • Wenbing Yang（北京邮电大学人工智能学院）
  • Zihan Sun（Hello Group Inc.）
  • Yueran Hou（Hello Group Inc.）
  • Peilei Jia（Hello Group Inc.）
  • Songbai Pu（Hello Group Inc.）
  • Ruibo Fu（中国科学院自动化研究所）
  • Yingming Gao（北京邮电大学人工智能学院）
  • Ya Li（北京邮电大学人工智能学院）
  • Jun Gao（Hello Group Inc.）

💡 毒舌点评

这篇论文的亮点在于构建了一条颇为精巧的“副语言数据自动化工厂”流水线，把ASR投票、LLM“加标点”、语音转换“换音色”等技术模块组装得很有条理，并通过扎实的实验证明了用这套流水线生产出的数据集确实好用。其短板在于，这条流水线本身是“站在巨人肩膀上”的工程集成，核心的算法创新性相对有限；而且，用合成数据训练的模型，其生成的“副语言”是否真正捕捉到了人类情感的细微之处，可能还需在更复杂的交互场景中打个问号。

📌 核心摘要

1. 要解决的问题：现有副语言（如笑声、叹息）数据集存在规模小、标注不精确、不公开或分布不平衡等问题，限制了更自然语音生成和副语言事件检测技术的发展。
2. 方法核心：提出一个自动化的两阶段合成框架。第一阶段：使用多个ASR模型投票和VAD获得带精确时间戳的转录文本，再用大语言模型自动插入副语言标签。第二阶段：从公开音效库中选取对应类别的音频，通过语音转换技术调整其音色与目标说话人一致，然后将这些处理后的副语言片段插入到根据时间戳切分的正常语音片段中，合并成完整的语音。
3. 与已有方法相比新在哪里：首次提出全自动、可扩展的大规模副语言数据集构建方法，摆脱了对昂贵人工标注或性能受限的ASR模型的依赖。合成的数据集（SynParaSpeech）规模大（118.75小时）、标注精确、类别相对平衡，且全部来源于自然对话语境。
4. 主要实验结果：
   • 语音合成（Paralinguistic TTS）：在CosyVoice2和F5-TTS模型上的实验表明，使用SynParaSpeech进行微调（SFT）相比于基线模型和在NVS数据集上微调，能显著提升副语言质量（PMOS得分提升0.95~1.42分），同时保持自然的音质和说话人相似度。采用直接偏好优化（DPO）训练策略能进一步提升性能。
   • 事件检测（Paralinguistic Event Detection）：使用SynParaSpeech对Kimi Audio和Qwen 2.5 Omni进行提示调优，能有效提升模型对副语言事件的检测准确率（Acc.）和F1分数，且存在最优的提示样本数量（约5个）。
5. 实际意义：为语音生成领域提供了宝贵的高质量公开数据资源，有助于训练出合成声音更生动、对话更自然的TTS模型；同时也为语音理解领域提供了有效资源，可提升模型对非语义声音事件的感知和推理能力。
6. 主要局限性：数据集是通过自动化流水线合成的，其自然度和情感真实性可能与真实人类表达存在差异，可能引入数据偏差。此外，方法在合成过程中依赖了多个外部模型（ASR、LLM、VC），其性能上限可能受这些组件制约。数据集主要覆盖6类副语言事件，其他类别尚未涵盖。

🏗️ 模型架构

本文的核心贡献并非一个单一的预测模型，而是一个自动化数据集构建与验证流水线（Pipeline），其整体架构如图1所示，包含五个阶段：

1. Stage I: Labeled Text Synthesis（带标签文本合成）：
   • 输入：原始自然对话语音。
   • 流程：并行进行（1）使用三个ASR模型（Whisper Large V3, SenseVoice, Paraformer）通过投票获得句子级转录；（2）使用VAD对音频分段。为确保VAD分割点准确，采用了一种验证机制：在候选分割点将音频左右分割，分别转录并与全句转录对齐（基于编辑距离），要求字符错误率（CER）低于0.1。最后结合VAD结果和ASR结果，利用Stable Whisper工具生成带精确时间戳的文本片段。
   • 添加标签：将上述转录文本输入大语言模型（Deepseek V3），让其在文本边界处自动插入[laugh], [sigh]等六种副语言标签中的最合适标签，同时不改变原文。
2. Stage II: Audio Synthesis（音频合成）：
   • 输入：带标签和时间戳的文本、原始语音。
   • 流程：对于每个副语言标签（如[laugh]），从对应的公开音效库中随机选取一段音频。使用零样本语音转换模型（SeedVC），以选中的副语言音频为源（保持其副语言特性），以原始对话音频为目标（提取其说话人特征），生成音色一致的副语言语音。同时，根据时间戳将原始对话语音切片。最后，将生成的副语言语音片段插入到对应时间戳的语音切片之间，按时间顺序合并成最终音频。
3. Stage III: Verification（人工辅助验证）：邀请专业人士对合成音频的自然度、副语言质量、音频质量和时间对齐准确性进行评估和筛选，保留合格的音频。
4. Stage IV & V: Application（应用）：将构建好的SynParaSpeech数据集应用于语音合成（通过SFT/DPO微调TTS模型）和语音理解（通过提示调优增强MLLM的检测能力）。

图1：SynParaSpeech 自动化合成与应用流程概览。左上展示了Stage I（文本标签合成）和Stage II（音频合成）的细节，右下展示了Stage IV（合成）和Stage V（理解）的应用方式。

💡 核心创新点

1. 首个自动化大规模副语言数据集构建框架：之前的方法要么依赖昂贵的人工标注，要么使用性能有限的ASR模型进行自动标注，导致数据集有偏差或规模有限。本文的创新在于设计了一套全自动的、基于多模型协同（ASR投票、LLM标注、语音转换）的合成流水线，实现了高效、可扩展的数据生产。
2. 解决时间戳对齐与副语言插入的关键技术：通过ASR投票与VAD分割点验证相结合，确保了文本与音频时间戳的精确对齐。通过语音转换技术，解决了从独立音效库中插入的副语言音频与目标语音在音色上不匹配的核心难题，保证了合成语音的自然度。
3. 发布高质量、大规模的SynParaSpeech数据集：填补了中文领域公开、大规模、带精确时间戳和多类别副语言语音数据集的空白。数据集规模达118.75小时，包含6个类别，来源于自然对话语境。
4. 验证数据集在生成与理解双任务上的有效性：通过在CosyVoice2/F5-TTS上的微调实验，证明了该数据集能显著提升TTS模型的副语言生成质量；通过在Kimi Audio/Qwen 2.5 Omni上的提示调优实验，证明了该数据集能增强模型对副语言事件的检测能力。实验设计全面，包含了模型对比、训练策略对比（DPO）和提示数量消融。

🔬 细节详述

• 训练数据：
  • 合成数据集：SynParaSpeech，6个类别（sigh, throat clearing, laugh, pause, tsk, gasp），总计118.75小时，79,986个片段。数据来源于自然对话语音（论文未指明具体来源）和公开音效库（AudioSet, ESC-50, VocalSound, Nonspeech7k）。
  • 微调数据：使用SynParaSpeech训练，保留2%作为验证集。与NVS数据集（131小时）进行对比。
• 损失函数：
  • SFT：标准的监督微调损失（论文未给出具体公式）。
  • DPO：直接偏好优化损失，公式为Ldpo = -Ey[log σ(β·log (πθ(µp|y)πref(µo|y) / (πθ(µo|y)πref(µp|y))))]。其中，µp（选择样本）为SynParaSpeech合成的带副语言语音，µo（拒绝样本）为原始不带副语言的语音，β=0.01为温度系数。
• 训练策略：
  • CosyVoice2：
    • SFT: Adam优化器，学习率1×10^-5，训练50 epochs，早停（patience 10），梯度裁剪（阈值5），梯度累积（2步），动态批次（最大2000帧）。预热：2500步线性预热。
    • DPO: 在SFT后进行（DPO-Staged）或同时进行（DPO-Joint），优化器与SFT相同。
  • F5-TTS：训练400 epochs，学习率1×10^-4，余弦退火调度（1000步预热），基于帧的批次大小为30,000/GPU。副语言新token初始化使用CLAP模型的RoBERTa文本编码器嵌入，并通过插值对齐维度。
• 关键超参数：CosyVoice2的学习率1×10^-5；F5-TTS的学习率1×10^-4；DPO的β=0.01。
• 训练硬件：论文中未明确说明。
• 推理细节：论文中未明确说明。
• 正则化或稳定训练技巧：CosyVoice2训练中使用了梯度裁剪、梯度累积和动态批次大小。DPO训练中使用了参考模型πref。

📊 实验结果

主要结果表：

表3：副语言TTS实验结果。关键发现：SynParaSpeech SFT在所有模型上都能大幅提升PMOS（副语言质量），且通常优于NVS SFT。CosyVoice2+DPO-Joint在PMOS和QMOS上取得最佳综合表现。

事件检测结果表：

表4：副语言事件检测结果。关键发现：SynParaSpeech提示调优对两个模型均有提升，且在提示样本数为5时达到最优效果，更多上下文（7）反而可能导致性能下降。

⚖️ 评分理由

• 学术质量（6.0/7）：
  • 创新性：提出了首个完整的自动化副语言数据集合成流水线，解决了数据标注中的关键痛点（时间戳、音色一致性），并开源了数据集，属于高质量的系统贡献。
  • 技术正确性：流水线各模块选用成熟技术，组合逻辑合理，没有明显技术漏洞。
  • 实验充分性：在合成与理解双线任务上验证，实验设置包括多基线对比、模型对比、策略消融和参数（上下文数）消融，证据链完整。
  • 证据可信度：主观MOS实验有置信区间，客观指标明确。局限在于合成数据本身的“天花板”可能影响最终应用的上限。
• 选题价值（1.5/2）：
  • 前沿性：副语言合成与检测是提升人机交互自然度的前沿方向。
  • 潜在影响：提供的数据集和自动化方法可直接推动社区在相关领域的研究。
  • 实际应用空间：对智能客服、虚拟人、有声读物等需要自然语音交互的场景有直接价值。
  • 读者相关性：对于语音合成与理解领域的研究者，尤其是关注数据与表征学习的读者，具有高相关性。
• 开源与复现加成（0.8/1）：
  • 代码：提供了GitHub仓库链接。
  • 模型权重：未提供微调后的模型权重。
  • 数据集：提供了开源版本链接，并说明了完整版与开源版的差异。
  • 训练细节：提供了关键超参数、训练配置和框架选择，复现信息充分。

🔗 开源详情

• 代码：论文中提供了代码仓库链接：https://github.com/ShawnPi233/SynParaSpeech。
• 模型权重：论文中未提及公开发布微调后的TTS或检测模型权重。
• 数据集：SynParaSpeech数据集公开可用（“Public version is subject to licensing policies”），链接在上述GitHub仓库中。论文说明开源版本（56,001个样本）小于完整版本（79,986个样本）。
• Demo：论文中未提及在线演示。
• 复现材料：论文详细描述了数据合成流水线的每一步（Stage I-V），并提供了TTS和检测任务的训练超参数、优化器设置等，复现指导性强。
• 论文中引用的开源项目：Whisper, SenseVoice, Paraformer, Stable Whisper, Deepseek V3, CAM++, SeedVC, CosyVoice2, F5-TTS, CLAP, RoBERTa, MMSU等。

← 返回 ICASSP 2026 论文分析