📄 Emilia-NV: A Non-Verbal Speech Dataset with Word-Level Annotation for Human-Like Speech Modeling

#语音识别 #语音合成 #数据集 #零样本

✅ 7.5/10 | 前25% | #语音识别 | #数据集 | #语音合成 #零样本

学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度中

👥 作者与机构

第一作者：Huan Liao（The Chinese University of Hong Kong, Shenzhen）（论文注明与Qinke Ni同等贡献）
通讯作者：未明确说明（论文中未明确指出通讯作者）
作者列表：Huan Liao（The Chinese University of Hong Kong, Shenzhen），Qinke Ni（The Chinese University of Hong Kong, Shenzhen），Yuancheng Wang（The Chinese University of Hong Kong, Shenzhen），Yiheng Lu（The Chinese University of Hong Kong, Shenzhen），Haoyue Zhan（Guangzhou Quwan Network Technology），Pengyuan Xie（Guangzhou Quwan Network Technology），Qiang Zhang（Guangzhou Quwan Network Technology），Zhizheng Wu（The Chinese University of Hong Kong, Shenzhen）

💡 毒舌点评

亮点在于系统性地填补了普通话副语言词级标注数据的空白，并提出了一个可扩展的标注流水线，为“类人”语音建模提供了急需的燃料。短板在于TTS部分的创新更多是“应用验证”而非“方法突破”，且文中对模型训练的关键细节（如超参数）披露不足，让想复现的同行感到些许乏力。

📌 核心摘要

本文旨在解决现有语音处理系统（ASR和TTS）忽略副语言线索（如笑声、呼吸声、语气词）的问题，这些问题对于表达自然情感和意图至关重要。为此，作者提出了Emilia-NV，这是首个大规模（573.4小时）的普通话数据集，对18种副语言发声进行了词级标注。方法核心是首先构建一个高质量人工标注子集（Emilia-NVhuman），然后基于此训练一个副语言感知的ASR模型（NVASR），利用该模型自动标注海量无标签数据以扩展数据集。与已有工作相比，其新意在于首次实现了大规模、多类别、词级的副语言与词汇内容联合标注，并提供了配套的识别与可控合成验证。实验表明，在开放域测试集上，NVASR在副语言检测F1分数上达到0.85；基于Emilia-NV微调的零样本TTS模型（CV2@Emilia-NV）在主观听测中，相比基线模型获得了75.4%的偏好率，且能有效保持词汇内容的准确性（CERw/o para为5.73%）。该工作的实际意义在于为构建更自然、表达更丰富的人类语音交互系统奠定了数据与方法基础。主要局限性包括：数据源部分依赖于游戏语音和合成数据，可能无法完全覆盖真实世界的所有对话场景；TTS实验主要依赖已有模型微调，创新性有待提升。

🏗️ 模型架构

论文主要围绕数据集构建和两个下游任务（ASR和TTS）展开，其核心模型是NVASR，这是一个用于副语言感知语音识别的端到端模型。

NVASR模型架构：

输入：语音音频信号 x ∈ R^(T×F)。
流程：论文指出NVASR基于SenseVoice-Small模型。模型为输入的音频添加一个任务嵌入 e_ASR，形成 X = concat(e_ASR, X_speech)（见公式2）。编码器（结构未详述）将音频映射为上下文表示。最后通过一个线性投影层和Softmax函数，直接输出包含词汇字符和18种副语言标签（如[Laughter]）的文本序列。
训练：模型在Emilia-NVhuman数据集上进行微调，采用CTC损失（见公式1）进行端到端训练，学习将语音波形直接映射到包含副语言标签的转录文本。
设计选择与动机：该设计的核心是将传统的语音识别（只输出词汇）任务，扩展为同时输出词汇和副语言标签的联合识别任务。通过简单的词汇表扩展和微调，使得ASR模型能够“看见”并转录这些非语言声音，为后续的可扩展自动标注和可控TTS提供基础。

系统级流水线架构：论文图2展示了整体流程。图2] 该图清晰地展示了从数据收集、人工标注、NVASR训练、大规模自动标注，到最终用于TTS微调的完整闭环。步骤1：收集音频并由人工插入副语言标签。步骤2：用步骤1的数据微调NVASR模型。步骤3：将微调后的NVASR应用于海量未标注数据，生成大规模自动标注数据集。步骤4：将自动标注数据集用于微调TTS模型（如CosyVoice2），实现可控合成。

💡 核心创新点

首个大规模、词级标注的普通话副语言数据集（Emilia-NV）
- 之前局限：现有副语言数据集大多缺乏词级对齐（只有句级标注），类别少，或中文覆盖不足。
- 如何起作用：定义了18类副语言发声，构建了包含48k人工标注和174k自动标注（共573.4小时）的语料库，每个标签都与词汇转录文本在词级对齐。
- 收益：为训练和评估副语言感知模型提供了前所未有的细粒度监督信号，建立了新的研究基准。
可扩展的副语言感知标注框架（NVASR）
- 之前局限：人工标注成本高昂，难以大规模扩展；传统ASR无法识别副语言内容。
- 如何起作用：提出NVASR，一个能同时转录词汇和副语言标签的ASR模型。利用少量人工标注数据微调该模型，再用它对海量未标注数据进行自动标注，实现了标注数据的规模化。
- 收益：高效地将标注能力从数万条扩展到数十万条数据，显著降低了数据构建成本，同时保持了较高的标注质量（实验证明自动标注数据训练效果可比甚至超过人工数据）。
副语言可控的零样本语音合成验证（CV2@Emilia-NV）
- 之前局限：TTS系统对副语言的控制有限，且通常依赖闭源资源。
- 如何起作用：在CosyVoice2模型的词汇表中扩展副语言标签，并使用Emilia-NV数据集进行微调。推理时，可以在文本中插入指定的副语言标签（如“辛苦了！[Breathing]”），实现token级的精细控制。
- 收益：实验证明，微调后的模型能自然地合成指定的副语言发声（召回率最高达63%），且不损害语义清晰度（CERw/o para保持低水平），主观听测偏好率高达78.7%。

🔬 细节详述

训练数据：
- Emilia-NVhuman (人工标注)：源自游戏《原神》和《崩坏：星穹铁道》的中文语音子集，补充了来自Nonspeech7k的咳嗽和哭泣音频，以及用CosyVoice2合成的罕见类别音频。由10名标注员进行词级标注，Cohen‘s kappa > 0.85。
- Emilia-NV (自动标注)：包含(1)上述游戏数据的未标注部分；(2)来自Emilia数据集的中文自发语音（脱口秀、访谈、辩论等）；(3) Nonspeech7k中的非言语片段。使用NVASR模型自动转录生成。具体预处理步骤未说明。
损失函数：NVASR训练使用CTC损失（公式1）。TTS微调使用的损失函数未说明。
训练策略：NVASR：在Emilia-NVhuman上微调，具体优化器、学习率、batch size等未说明。TTS：在三个子集（Emilia-NVhuman， Emilia-NVauto48k， Emilia-NV）上对CosyVoice和CosyVoice2进行微调，具体超参数未说明。
关键超参数：NVASR基于SenseVoice-Small，其具体模型大小、层数、隐藏维度等未说明。词汇表扩展：为ASR和TTS模型都添加了18个副语言标签。
训练硬件：未说明。
推理细节：NVASR解码策略未说明。TTS采用零样本合成，推理时在文本中插入标签即可控制副语言发声。
正则化或稳定训练技巧：未提及。

📊 实验结果

论文通过ASR和TTS两个任务验证了数据集和方法的有效性。

副语言感知ASR性能 (Table 2)

方法	CERwith para (域内)	CERw/o para (域内)	Para Det. Rate (域内)	F1-score (域内)	CERwith para (开放域)	CERw/o para (开放域)	Para Det. Rate (开放域)	F1-score (开放域)
Whisper	14.18%	11.14%	84.8%	0.71	19.41%	16.41%	71.3%	0.50
Paraformer	4.67%	2.26%	96.1%	0.78	7.81%	5.30%	74.6%	0.72
Qwen-Audio	5.47%	2.62%	94.5%	0.65	10.06%	6.74%	91.0%	0.54
NVASR	4.61%	2.11%	93.4%	0.83	3.79%	3.16%	93.4%	0.85

关键结论：NVASR在域内测试集上取得了最佳的CERwith para和F1分数。更重要的是，在开放域测试集上，NVASR显著超越了所有基线，在所有指标上均领先，尤其F1分数（0.85）远高于第二名Paraformer（0.72），证明了其强大的泛化能力和数据集标注的有效性。

图4展示了各模型在18种副语言类别上的详细F1分数。图4] NVASR在多数类别上（尤其是Breathing, Crying, Laughter等）的F1分数显著高于其他模型，进一步证实了其广泛的识别能力。

副语言增强TTS性能 (Table 3 & Fig. 5)

模型	域内 CERw/o para ↓	域内 SIM ↑	域内 Recall ↑	开放域 CERw/o para ↓	开放域 SIM ↑	开放域 Recall ↑
CosyVoice (CV)	7.42%	0.727	-	10.44%	0.743	-
CV@Emilia-NVhuman	4.21%	0.736	0.46	6.71%	0.748	0.43
CV@Emilia-NVauto48k	4.07%	0.736	0.47	6.12%	0.750	0.47
CV@Emilia-NV	4.05%	0.733	0.62	5.84%	0.747	0.62
CosyVoice2 (CV2)	3.13%	0.710	-	7.91%	0.722	-
CV2@Emilia-NVhuman	3.86%	0.709	0.35	5.57%	0.719	0.29
CV2@Emilia-NVauto48k	3.77%	0.704	0.59	5.45%	0.710	0.57
CV2@Emilia-NV	3.73%	0.700	0.55	5.73%	0.703	0.63

关键结论：

使用完整自动标注数据集（Emilia-NV）微调的模型，在副语言召回率（Recall）上取得了最高值（CV@Emilia-NV在域内0.62， CV2@Emilia-NV在开放域0.63），表明能有效生成指定的副语言发声。
同时，词汇错误率（CERw/o para）保持在较低水平，说明副语言控制并未牺牲语义清晰度。
图5展示了人类偏好测试结果。图5] 在A/B对比中，经过副语言增强的CV和CV2模型分别获得了78.7%和75.4%的偏好率，证明合成的语音更自然、更受青睐。

主观评估 (Table 4)
模型 Recall↑ NMOS↑ QMOS↑
CV@Emilia-NV 0.604 3.9 ± 0.20 4.04 ± 0.15
CV2@Emilia-NV 0.619 4.0 ± 0.16 3.96 ± 0.14

模型	Recall↑	NMOS↑	QMOS↑
CV@Emilia-NV	0.604	3.9 ± 0.20	4.04 ± 0.15
CV2@Emilia-NV	0.619	4.0 ± 0.16	3.96 ± 0.14

关键结论：两个模型在自然度（NMOS）和音质（QMOS）上都获得了良好分数（接近4分），同时保持了合理的副语言召回率（约60%），验证了生成语音在控制性、自然度和音质上的平衡。

⚖️ 评分理由

学术质量（5.5/7）：创新性体现在提出了首个大规模词级副语言数据集及配套的自动化标注-合成流水线，系统性地解决了数据稀缺问题。技术方案（CTC-based ASR，微调TTS）正确且有效。实验设计全面（多数据集、多模型对比、多指标、消融研究），并提供了具体数值。扣分点在于：1) TTS部分的创新深度有限（主要是微调）；2) 多处关键训练细节（超参数、硬件）缺失，影响了可复现性的评估。
选题价值（1.5/2）：副语言建模是语音AI走向“拟人化”和“情感智能”的关键一环，选题具有前沿性和明确的实用价值（人机交互、虚拟人、内容创作）。数据集专注于普通话，填补了空白，但应用范围相对聚焦于中文语音处理领域。
开源与复现加成（0.5/1）：积极方面是提供了数据集链接和在线Demo，极大方便了社区验证和使用。负面方面是未开源模型代码和权重，也未提供完整的训练配方，使得研究者难以完全复现其NVASR和微调的TTS模型。

🔗 开源详情

代码：论文中未提及代码链接。
模型权重：未提及是否公开。
数据集：公开提供。论文明确指出数据集和音频演示可访问：https://nvspeech170k.github.io/。
Demo：提供。上述网址包含音频演示。
复现材料：论文给出了模型架构概述（如NVASR基于SenseVoice-Small）、评估指标定义、数据集构建流程。但未提供具体的训练超参数（学习率、batch size等）、训练日志、模型检查点或附录中的详细配置。
论文中引用的开源项目：论文提及或基于以下开源项目：
1. SenseVoice-Small (NVASR的基础模型)
2. Paraformer (对比的ASR模型)
3. Qwen-Audio (对比的ASR模型)
4. Whisper (对比的ASR模型)
5. CosyVoice & CosyVoice2 (用于TTS微调的基础模型)
6. Nonspeech7k (数据集来源之一)
7. Emilia (数据集来源之一)

← 返回 ICASSP 2026 论文分析

📄 Emilia-NV: A Non-Verbal Speech Dataset with Word-Level Annotation for Human-Like Speech Modeling#

👥 作者与机构#

💡 毒舌点评#

📌 核心摘要#

🏗️ 模型架构#

💡 核心创新点#

🔬 细节详述#

📊 实验结果#

⚖️ 评分理由#

🔗 开源详情#