📄 会“呼吸” 的语音大模型：对话中非言语发声的建模
英文题目：Speech LLMs That Breathe: Modeling Non-Verbal Vocalizations in Dialogue
评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5
👥 作者与机构
- Heyang Liu：机构信息未能在本次解析中与作者逐人可靠绑定
- Lixin Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
- Jiayi Huang：机构信息未能在本次解析中与作者逐人可靠绑定
- Ziyang Cheng：机构信息未能在本次解析中与作者逐人可靠绑定
- Yuhao Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Ronghua Wu：机构信息未能在本次解析中与作者逐人可靠绑定
- Qunshan Gu：机构信息未能在本次解析中与作者逐人可靠绑定
- Yanfeng Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Yu Wang：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
研究对象是语音大模型在共情安慰单轮交互和多轮角色扮演对话中如何产生叹息、笑声、呼吸、应答词等非言语发声。困难在于这类事件稀疏且高度依赖上下文，随机插入破坏自然度，完全回避则显生硬，需要同时决定是否出现、在何处出现和选择哪一类。处理过程是先用普通话真实语音训练判断上下文是否适合出现特定发声的文本预测器，再用该预测器筛选合成对话语料，接着让对话模型学习生成带特殊标记的文本回复，最后用奖励优化调整事件选择并训练语音生成。文本到文本监督微调使模型学会输出标记，NVV感知的组相对策略优化用合理性、数量、一致性、分布和格式奖励抑制滥用安全类别，语音到语音训练则把标记还原为可听发声。与只支持固定词表但不建模位置合理性的已有做法不同，该工作把出现与否、位置和类别选择作为联合学习目标，并对比单码本与多码本两种语音重建路线。在共情交互评测中，VocalNet词元级合理性经NVV感知组相对策略优化从92.5%升至96.8%，高于仅经文本到文本监督微调的同一模型。在6,034条录音、约317K个候选位置、约7K个真实发声的预测器评测中，真实位置的中位预测概率高于非NVV位置，为其75.0倍，判断是否应出现事件的AUC-ROC为0.7635；结论适用于普通话合成对话场景，在真实多轮噪声对话和未覆盖发声类型上尚未验证，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音交互缺了什么：从字到呼吸声
这篇论文研究的输入是用户的语音指令，目标是模型返回连贯的文本回复和语音回复，且语音里要包含人在对话中自然带出的非言语声音。必须保留的信息有三层：字面语义不能错，说话人音色与情绪不能丢，对话意图与共情态度要通过叹气、笑、吸气、嗯啊等表达出来。输出是带发声标记的文本序列，以及能把这些标记真正读出声音的波形。
已有语音交互偏向把字说对、把情绪做浓，但对叹气、笑声、认同声放在哪里、用哪一种研究很少。原因很实际：真实对话中发声短促、类别不均衡、与正文很少重叠，标注稀缺，直接训练容易学偏。论文把范围明确为呼吸、情感、话语 3 类共 13 种发声，解决何时出现、在文本中插在哪里、选哪一类 3 个耦合问题。
非言语发声 × 话语间隙词： 非言语发声指笑、哭、叹气、吸气、咳嗽等不承载字面语义但传达情绪和意图的声音，话语间隙词指嗯、啊这类组织话轮的口头成分，本文把后者中的认同、疑问、惊讶、不满、迟疑等也归入发声体系，二者分工是前者偏呼吸与情感表达，后者偏话轮管理，组合后才能覆盖自然对话中何时出声、放在哪里、用哪一种的完整规范。
已有路线为什么还不够自然
级联式做法是先识别再用大模型回文本最后合成语音，信息损失与延迟累积较明显，本文不走这条路。直接语音交互有两条代表路线：一是 VocalNet、LLaMA-Omni 采用的单流语义 token，大模型只生成一路语义语音 token，再结合音色提示经流匹配等外部模块合成语音；二是 Qwen3-Omni、VITA-Qinyu 代表的多码本做法，同时解码重建所需的全部 token，包含残差向量量化带来的细粒度声学细节。
两类模型都能顺畅对话，但原文指出它们普遍缺少符合人类习惯的发声特征。JoyAI-Talker 虽然引入了几种发声 token，但没有研究位置恰当性，也没有跨架构验证可行性。于是本文的比较是公平的：同样用 Qwen3-8B 作骨干，在 VocalNet 与 VITA-Qinyu 上做同样的发声数据与训练，只改变语音重建范式，看谁能既选对发声又读好发声。
语音大模型 × 单码本 × 多码本： 语音大模型指直接接收语音指令并生成文本与语音回复的大语言模型，单码本指大模型只自回归生成一路语义语音 token 再靠外部声码器补足音色，多码本指同时解码多路包含语义与声学细节的 token，二者分工在于前者结构简单、易保留语言能力，后者保留更细的声学信息，本文对比它们正是要看新加入的发声细节在哪种重建范式下能被高质量发出。
任务的具体定义与难在哪里
给一个例子：用户说这周又轮到我值班，白天在家晚上单位睡，感觉被撕成两半。模型若只回注意作息的干巴巴文本，就少了共情。自然的回复可能先有一个迟疑声嗯，再接值班确实辛苦，中间配一次呼吸声过渡。问题是迟疑声放在句首还是句中、配呼吸还是叹气、出现一次还是多次，都会影响听感。
难点在于分布差异大：呼吸这类与上下文关系弱的发声很安全，模型容易滥用；叹气、哭笑这类强上下文依赖的发声稀少但关键，学不好就不敢用。评价也难：同一问法可以有多种合理的发声安排，不能只看与某一条参考是否逐字相同。因此论文同时用恰当性与一致性两个视角，并用发声预测器来判断合理而非死记参考。
整体流程：先学会判断，再学会说话
全流程沿一个样本可以这样复述。先收集带发声标注的真实语音，统一标签为 13 类，对孤立单轮用 DeepSeek-V4-Pro 补 2 到 3 句 plausible 上下文，训练一个基于文本的发声预测器，它能判断某位置出现某发声是否自然。另一路把线上聊天与角色扮演对话改写为口语单轮或多轮，插入发声标记，再用预测器做自然度检查，留下合理的数据。
接着是 3 段训练：先做语音到文本监督微调，让模型输出带发声标记的文本；再做发声感知的 GRPO 强化学习，优化发声的恰当性与分布；最后做语音到语音微调，让标记真正变成可听的声音，其中还用开源发声数据先做文本到语音训练补足声学表示。下图把数据管线、13 类划分、4 段训练、5 个奖励与两类对话示例放在一张总览里，建议按输入到输出的主路径阅读。
读图说明：下面这张官方总览图是理解分工的关键，它把数据来源、预测器训练、对话合成、奖励设计与最终语音生成画在同一张图里，请重点看各模块的输入输出与汇合点。
看图路径： 1. 先看左上面板真实语音如何统一为 13 类再扩展上下文训练预测器；2. 再看左下面板 13 类如何分成呼吸口腔、情感、话语三组；3. 中间面板对照语音到文本、强化学习、语音到语音四个阶段的输入输出变化；4. 右中面板看五个奖励分别约束恰当、数量、一致、分布与格式
论文图 1。原论文 Figure 1:：“Method overview. (a) Construction pipeline for speech datasets with NVVs; (b) Covered 13 NVV types; (c) NVV-centric multi-stage training; (d) Reward design for NVV-aware GRPO;…”。
这张图确实可见 5 个面板：左上是真实语音经统一、上下文扩展到 Qwen3-8B 再到预测器，左下是在线聊天经改写插入发声再经质检到语音合成；中下把 13 类画成呼吸口腔、话语、情感 3 组；中间画出语音到文本、强化学习、文本到语音、语音到语音的输入输出变化；右中画出恰当、数量、一致、分布、格式 5 个奖励的示意；右侧给出共情与角色扮演的带发声回复实例。它帮助理解本文不是只加标记，而是一路判断合理性、一路实现声音，两路在训练阶段汇合。
发声预测器学到了什么
发声预测器，原文叫 NVV Predictor，是用统一标签后的真实语音训练的 Qwen3-8B，能在普通文本旁生成发声 token。它的对象是文本上下文与候选发声位置，解决的困难是区分自然出现与随机插入。训练用了 200,000 实例，评估集是 6034 段录音、31.7 万多个 token 位置，其中约 7000 处真实发声。
效果上，它在每个位置预测是否出现发声的 AUC-ROC 为 0.7635，真实发声位置的中位预测概率是无发声位置的 75.0 倍。按类别看，真值标签落入前 10 预测的概率为 92.2%，一半以上排进前 2。论文还放宽了稀有类的阈值做校验：在真实对话与随机插入的负采样对比中，接受 88.6% 的真实对话，拒绝 91.3% 的不自然插入。这个预测器后文既做数据过滤器，又做奖励裁判。
两类对话数据是怎么合成的
共情交互数据取自 LCCC，用 DeepSeek-V4-Pro 按话题与用户意图构造带不同情感倾向的单轮交互；多轮角色扮演对话保留开源语料中的口语话轮，同样用 DeepSeek-V4-Pro 插入发声标记，再用预测器验证合理性。也就是说，大模型负责改写与插入，预测器负责按上下文质检，不合理的会被滤掉。
语音侧用 Minimax-HD 2.8 合成高质量语音回复。论文明确合成数据的说话人多样性与规模有限，因此在语音训练阶段先用开源发声数据做文本到语音训练，学到一般性的发声表示，再用合成对话数据继续训练。这样文本位置知识来自合成对话，声音实现能力部分来自更大范围的开源发声数据，二者互补。
第一步：让模型先能输出发声标记
因为绝大多数发声短促且与正常语音不重叠，论文把对应特殊 token 扩进词表，做合成对话上的监督微调。输入是用户语音，目标是带发声标记的文本回复。VocalNet 与 VITA-Qinyu 都用同一 Qwen3-8B 骨干，先做 3 轮语音到文本微调。这一步不直接优化声音，只让模型学会在文本中放发声，并为后续强化学习提供起点。
语音到文本微调 × 文本到语音训练 × 语音到语音微调： 语音到文本微调指给定用户语音只训练模型输出带发声标记的文本回复，文本到语音训练指用带发声的文本学习把标记读成声音，语音到语音微调指输入语音直接输出语音，三者分工是先学会发声的文本位置与类型，再学会发声的声学实现，最后把两段能力接成完整对话，组合后才能同时保证位置恰当与听感自然。
第二步：用五个奖励纠正发声习惯
只做监督微调，模型容易学到省事策略：多用呼吸这类安全的发声，或少放发声以躲避错误。为此论文引入发声感知的 GRPO，只用 3000 个样本做强化，奖励由五项加权组成，总奖励衡量一次回复的发声质量。
\[\displaystyle\mathcal{R}_{nvv}={}\]上式是要约束的东西：总奖励是恰当、数量、一致、分布、格式五项的加权和。每项针对一种具体毛病，组合后既鼓励选对类型，又控制数量与整体分布，还保证格式合法。
\[\displaystyle\mathcal{R}_{\mathrm{format}}=\begin{cases}-1&\text{undefined NVV tokens, unclosed tags, etc.}\\ 0&\text{otherwise}.\end{cases}\]格式奖励最直接：出现未定义的发声 token 或未闭合标签等记负 1，否则记 0。它保证输出能被后续解析与合成，不让模型发明新标记。
恰当性奖励依赖预测器：若某上下文中该 token 的预测概率在全部候选中排第一，且不是呼吸这类上下文无关 token，得 1 分；若排第一但是呼吸这类，得 0.5 分；否则 0 分。最终对回复中全部发声取平均，若全部发声都得满分且含强上下文依赖 token 再给额外加成。这就压住了滥用安全 token 的倾向。
\[\displaystyle\mathcal{R}_{\mathrm{count}}=\max\left(0,\,1-\frac{|{}n_{\text{pred}}-n_{\text{ref}}|{}}{\max(n_{\text{ref}},\,2)}\right)\]数量奖励比较预测发声数与参考发声数，差距越大分越低，分母取参考数与 2 的最大值，避免参考为零或过小时惩罚爆炸。它同时罚贪多与罚装哑。
\[\displaystyle\mathcal{R}_{\mathrm{consist}}=\frac{\text{pred}\cap\text{ref}}{\text{pred}\cup\text{ref}}\]一致性奖励是预测集合与参考集合的类别层面交并比，更看重与参考准确重合。分布奖励用总变差距离衡量预测类别分布与训练语料自然分布的差异，预测为空时记 0，否则用 1 减去该距离，且参考分布用全量训练集构造，避免继承强化训练集过采样带来的偏置。这样模型不能只押注某一类顺眼的发声。
第三步：把标记真正读成声音
最后做语音到语音微调，输入语音直接输出语音，目标是流畅地发出发声。做法是先做 1 轮文本到语音训练，再用与文本阶段相同的数据做 3 轮语音到语音训练，对应语音由 Minimax-HD 2.8 合成。关键区别在参数更新：VocalNet 只微调语音生成器，保留骨干能力；VITA-Qinyu 因原生架构会动到更多大模型参数，原文报告出现一定程度的性能回落。这为后文单码本与多码本的讨论埋下伏笔。
怎么测：恰当、一致与听感分开看
评价分三块。文本侧主要测恰当性，标准与语料过滤一致：token 级看每个发声是否合理，response 级看整条回复是否只含合理发声；一致性作补充，承认同一问法可有多种自然答法。语音侧请 5 名评分人按 NV-MOS 方式对发声质量打 1 到 5 分，用 UTMOS 报告整体语音质量，用 Qwen3-ASR-1.7B 转写后算语言内容的字错率，计算时排除话语间隙词对应文本，避免发声转写干扰语言评价。
训练与评估条件在 2 模型间保持一致：同一骨干、同一文本数据、同一合成语音。GRPO 只用 3000 样本，体量不大，适合观察强化阶段的增量。需要提醒研究生：恰当性越高不等于与参考越像，语音分高也不等于字没读错，3 组指标要分开读。
预测器与监督微调先带来什么
监督微调后，2 个模型都已能生成符合习惯的发声，完整回复中只含合理发声的比例在 85% 以上，多轮角色扮演上更强。这说明发声位置知识主要来自第一步的文本监督与预测器过滤，预测器先判断插入位置是否合理，再留下自然的合成对话供模型学习。
发声感知的 GRPO 强化阶段在共情对话上带来稳定提升，VocalNet 的词级恰当性从 92.5% 升到 96.8%，2 个模型在该场景的回复级恰当性都超过 90%。与之相比，与参考标注的一致性出现波动，原文解释这主要来自回复风格变化，因为同一问句可以对应多种自然发声选择。
语音到语音微调对 2 个模型影响不同，VocalNet 只微调语音生成器从而保留骨干能力，VITA-Qinyu 因自身结构暴露了更多语言模型参数，出现一定程度的性能回落。这也说明文本阶段学到的位置选择，还需要在语音阶段保持住。
恰当性 × 一致性： 恰当性指生成的发声标记在当前上下文中是否合理，由发声预测器按上下文打分判定，一致性指预测的发声集合与参考标注在类别层面交并比有多高，二者分工是前者承认同一问法可以有多种自然答法，后者衡量与某一条人工参考的重合，组合起来才能避免把合理但不同的发声误判为错误。
多阶段训练是否让发声更恰当
下表比较的问题是：在共情交互与角色扮演两类对话上，从语音到文本微调到发声感知 GRPO 再到语音到语音微调，发声的恰当性与参考一致性如何变化。公平条件是同一骨干与同一数据，指标方向都是越高越好，但恰当性代表合理，一致性只代表与某条参考重合。
| Base Model | Phase | Token (%) | Response (%) | Token (%) | Response (%) | Token (%) | Response (%) | Token (%) | Response (%) |
|---|---|---|---|---|---|---|---|---|---|
| VocalNet | S2T-SFT | 92.5 | 85.2 | 55.9 | 22.4 | 97.1 | 96.8 | 38.5 | 25.3 |
| VocalNet | NVV-GRPO | 96.8 | 93.5 | 55.2 | 21.3 | 97.5 | 96.9 | 34.1 | 25.8 |
| VocalNet | S2S-SFT | 98.0 | 96.0 | 55.5 | 20.2 | 97.2 | 97.0 | 43.8 | 32.2 |
| VITA-Qinyu | S2T-SFT | 94.6 | 89.6 | 51.3 | 17.2 | 95.2 | 94.5 | 40.9 | 30.0 |
| VITA-Qinyu | NVV-GRPO | 95.2 | 91.0 | 52.5 | 17.0 | 96.2 | 96.0 | 44.1 | 33.0 |
| VITA-Qinyu | S2S-SFT | 92.2 | 84.6 | 52.9 | 18.1 | 95.6 | 95.0 | 41.5 | 27.0 |
从数字看，GRPO 带来一致的恰当性提升，尤其在共情交互上：VocalNet 的 token 级恰当性从 92.5% 升到 96.8%，response 级从 85.2% 升到 93.5%，2 个模型在该集 response 级都超过 90%。角色扮演上基线已高达 95% 以上，GRPO 仍有小幅上探。代价是参考一致性出现波动，例如 VocalNet 共情 token 一致性从 55.9% 到 55.2%，角色扮演从 38.5% 到 34.1%，原文解释为回复风格变化所致，这恰好说明恰当与一致不是同一回事。语音到语音阶段 2 模型分化：VocalNet 只调生成器而保持了骨干能力，共情 response 恰当性到 96.0%，角色扮演一致性升到 43.8% 与 32.2%；VITA-Qinyu 因动到更多大模型参数，共情恰当性回落到 92.2% 与 84.6%。未胜出项也要看到：一致性整体约为 20% 多到 50% 多，说明与单条参考逐字相同仍然很难，但这不否定恰当性的提升。
发声能否被自然地读出来
下表比较的问题是：最终语音回复的发声自然度、整体音质与语言可懂度如何，是否以牺牲音质为代价加入发声。条件是同样的合成管线与转写工具，NV-MOS 与 UTMOS 越高越好，字错率越低越好。
| Model | NV-MOS | UTMOS | CER (%) | NV-MOS | UTMOS | CER (%) |
|---|---|---|---|---|---|---|
| VocalNet-NV | 3.78 | 2.85 | 1.20 | 3.94 | 3.04 | 1.78 |
| VITA-NV | 3.84 | 3.54 | 1.18 | 4.08 | 3.64 | 1.70 |
VITA-NV 在三项上都优于 VocalNet-NV：角色扮演 NV-MOS 达到 4.08，共情为 3.84，说明发声听感高度自然流畅；UTMOS 在两类对话上为 3.54 与 3.64，而 VocalNet 只有 2.85 与 3.04，整体音质差距明显；两者字错率都低于 2%，分别为 1.20% 与 1.78%、1.18% 与 1.70%，说明加发声没有读错周围文字。限制是 UTMOS 只是客观估计分，不能替代大规模主观整体测评，且合成数据说话人多样性有限，结论只在该合成评估条件下成立。
NV-MOS × UTMOS × 字错率： NV-MOS 是 5 名评分人只针对发声片段自然流畅程度打的 1 到 5 分主观分，UTMOS 是针对整句语音整体质量的客观估计分，字错率是用语音识别转写后计算的语言内容错误率，三者分工是分别回答发声像不像、整句好不好听、加了发声有没有读错字，组合后才能判断发声建模是否以牺牲可懂度和音质为代价。
结论在什么条件下才成立
首先，恰当性裁判本身就是本文训练的预测器，用它既过滤数据又算奖励再算指标，存在自循环风险，换一套独立人工标准结果可能打折。其次，强化只用了 3000 样本，分布奖励依赖的自然分布来自训练语料，若真实场景类别比例不同，防坍缩的效果需要重估。
其次，语音质量结论依赖 Minimax-HD 2.8 合成的有限说话人数据，以及 5 人小规模 NV-MOS，不能推广到任意音色与真实录音场景。单码本在本文评估下表示新发声能力有限、多码本重建更有效，但这是在 VocalNet 只调生成器、VITA 动更多参数的具体训练安排下观察到的，不能直接断言单码本原理上不行。
如果要复现，第一步做什么
值得尝试的时机是：你已有一个能做语音到文本与语音到语音的中文对话模型，想让回复带笑声叹气但又怕位置怪异，且能接受先加文本标记再学声音的两段代价。复现第一步不是直接训语音，而是复刻发声预测器：统一 13 类标签，补上下文，训练文本模型判断发声合理性，并用真实对话接受率与随机插入拒绝率验证它，再用它清洗合成对话。
关键信息要保留：骨干 Qwen3-8B，文本微调 3 轮，发声感知 GRPO 训练用 3000 样本，语音侧 1 轮文本到语音加 3 轮语音到语音，5 个奖励分别看重恰当性、数量、一致性、分布和格式，其中呼吸类会被降权，数量奖励分母取参考数与 2 的最大值。还需要补的验证是：换独立人工标注重测恰当性，在更多说话人与真实录音上重测发声自然度评分，并报告推理延迟与计算开销，原文未测量这些，不能承诺更快更便宜。
来源方面，本次未能确认作者代码、模型、数据资源已公开可取，复现需按论文描述自行搭建管线。
一句话总结与易误解之处
总的来说，本文用预测器定规范、用合成数据教位置、用五项奖励纠偏好、用 2 阶段语音训练学发声，在共情与角色扮演上把发声恰当性推到 90% 以上 response 级，并在多码本架构上获得更好的发声与整体音质，同时保持字错率低于 2%。
容易误解的是把一致性低当成失败，其实原文已说明同一问法允许多种自然答法，一致性只是补充；把 GRPO 的提升当成通用语音能力提升也不对，它主要改善发声选择，语言能力还受后续语音微调影响；把多码本胜出当成架构定论更不妥，它只是在本文数据量、参数冻结方式与评估集下的直接报告，换数据与训练预算仍需重新验证。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses