词对了还不够：非言语发声的可控性为何与语音质量脱钩

英文题目：NVV-SuperBench: Beyond Words, Beyond Quality—Benchmarking Nonverbal Vocalizations in Speech Generation

会议身份：conference:interspeech:2026:conference-paper-id:xue26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #基准设计 #多语言 #语音 #语音合成

评分：7.7/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：数据集与基准

👥 作者与机构

• Liumeng Xue：机构信息未能从会议 PDF 纯文本可靠映射
• Weizhen Bian：机构信息未能从会议 PDF 纯文本可靠映射
• Jiahao Pan：机构信息未能从会议 PDF 纯文本可靠映射
• Wenxuan Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Yilin Ren：机构信息未能从会议 PDF 纯文本可靠映射
• Boyi Kang：机构信息未能从会议 PDF 纯文本可靠映射
• Jingbin Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Ziyang Ma：机构信息未能从会议 PDF 纯文本可靠映射
• Shuai Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Xinyuan Qian：机构信息未能从会议 PDF 纯文本可靠映射
• Hung-yi Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Yike Guo：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该基准面向含非言语发声的语音生成，输入为带内联标签文本或带发声描述的字幕，输出为词与发声融合的连续语音，难点在于发声类型多、低信噪比口腔音易被掩蔽、长时哭泣类情感轨迹难维持连贯。方法链先按产生机制与交际功能建立45类6大类统一分类体系并调研已有系统与数据集的覆盖偏斜，再从双语富有表现力人声语料挖掘高置信种子以锚定真实分布并校准生成提示。接着用大模型按单类型约束批量生成四字段中英文本与字幕，再经模式校验与人工跨字段核验并对不足50例的类型迭代补采形成每语言2250例评测集，并对生成语音并行施加客观识别、人工听测与大模型多评分者评测。与仅测整体质量或窄标签集合的已有评测不同，该协议将言语可懂度与信号质量同发声类型正确性、放置精度及感知显著性分离，并统一兼容标签式与提示式两种控制接口。在中文标签式系统人工听测评测下，ElevenLabs的Overall Expression得分为3.98±0.12，高于CosyVoice 2的Overall Expression得分3.28±0.16。低信噪比口腔细节与长时情感仍是共性瓶颈，其结论适用边界受限于45类内平衡语料与15系统快照，跨语言自发交互与未覆盖发声类型的外推尚未验证，极端噪声与长时情感连贯存在明确失败条件。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://lmxue.github.io/NVV-SuperBench/ — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/2noise/ChatTTS — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/boson-ai/higgs-audio — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/nari-labs/dia — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

任务是什么：为什么只测字对不对和好不好听不够？

输入是带有非言语发声需求的语音生成请求，目标是输出词内容正确、信号干净，同时在要求的位置发出要求的那种笑、哭、呼吸或口腔声音。本文研究的新手可复述要点是：必须保留的信息包括 45 类统一分类、中英双语评测集、标签与提示两种控制接口，以及把一般自然度与非言语发声的可控性、位置与感知显著性分开的多轴评估。输出是一套可对比 15 个系统的基准与诊断结论，不是单个新语音合成模型。

白话先讲术语。非言语发声，英文为 nonverbal vocalizations，缩写为 NVVs，指笑、叹息、抽泣、咳嗽、唇音、耳语等不承载词义但承载情感与社交信号的声音。语音质量指信号是否干净、有无噪声失真；自然度指听起来像不像人、韵律是否流畅；可控性指是否按指令发出目标类型并放在大致正确区域。初学者易误以为质量高就等于非言语发声做得好，本文恰要拆开这两件事。

举一个教学例子，明确标为例子而非论文数据：输入文本是你好久不见，标签版在句尾加[laugh]，提示版另给一句话描述说 1 位女性带着短促笑声说。理想输出是词可懂、底噪小，且笑声类型正确、位置正确、听得清楚又不破坏前后语音。若系统只把话说得很清楚但没有笑，或发出了哭而非笑，或笑声淹没在语音里听不见，都算非言语发声失败，即使语音质量分很高。

补充背景：呼吸与喉音为何也算评估对象？

初学者常只把笑哭当作非言语发声，但本文把呼吸、喉生理与口腔杂项也纳入，因为它们承担情感强度、犹豫不适注意与话语流畅功能。原文从产生机制与交际功能组织分类：呼吸类关乎情绪强度控制与自然调制，喉生理类捕捉半自主生理反应，情感发声提供态度上下文，口腔类弥合词间空隙以提升交互流畅。这些声音能量低、易被掩蔽，恰是传统质量评估看不见的部分。

理解这一点才能明白为何基准要做到 45 类而非只测笑哭。若只测高显著突发事件，多数系统都会显得不错；加入低信噪比与长时类型后，系统边界与泛化才被真正探到。这也是后文覆盖缺口大、暗列集中的原因，不是数据刁难，而是任务本身要求从离散事件到持续风格都要可控。

已有路线走到哪里：识别、数据与评测各缺哪一块？

同输入同目标的直接相关工作是非言语发声合成评测。原文指出已有工作开始做这类合成基准，但细粒度覆盖、双语评估、多种控制接口，以及可控性、位置与显著性等专用属性仍未被充分探索。另一条同运行阶段的工作是更广的超语言评估，原文提到评测已从传统语音质量走向超语言方面，但同样没有把生成侧的非言语发声类型正确性与位置一起标准化。

同监督与同数据侧的对照是标签与数据集盘点。原文整理了代表性标签系统的支持类型与近年数据集的标注类型，发现已有系统与数据集只覆盖有限且高度偏斜的子集，标签碎片化且有时不一致。例如有的系统只支持笑声，有的支持笑、哼、咳等少数几类，数据集也多集中在呼吸、笑、哭、咳、叹等常见类。这说明类别差异不能当作同条件胜负：支持 1 类与支持十几类的系统若只比正确率是不公平的，必须同时看覆盖。

识别与定位侧的工作如事件语音识别主要面向检测而非生成，原文明确区分其目标不同。因此本文的定位不是再做一个识别器，而是在同一分类、同一数据与同一评价标准下锚定所有系统，实现跨控制接口的公平比较。学习依赖是：先理解分类不统一会导致结果不可比，再理解本文为何要先统一 45 类空间再谈系统好坏。

补充对照：生成评测与识别评测为何不能混用？

识别评测回答有没有、是什么、在哪里，输入是音频，输出是标签与时间戳；生成评测回答按要求做出来了没有、像不像、融不融洽，输入是文本或描述，输出是语音。原文明确其覆盖的识别类工作主要面向事件语音识别而非语音生成，因此不能把识别准确率高直接当作生成可控性强。

同理，超语言理解基准回答模型能否听懂情感与风格，生成基准回答模型能否发出目标声音与风格，二者监督来源与运行阶段不同。对照时应按同输入、同目标、同监督与同运行阶段分组：生成侧只在同接口同语言内比，识别侧只作数据与分类参考。这种分组能避免把类别差异或任务差异误读为系统胜负。

要回答什么问题：发对了吗、放对了吗、听得见吗？

论文把问题拆成三问。第一问是类型可控性：要求的笑是否真发成笑，而不是哭或咳嗽，也不是漏发或多发无关声音。第二问是位置：非言语发声是否出现在文本索引容差允许的附近，而不是句首的要求被放到句尾。第三问是感知显著性：即使类型与位置在机器层面算对，人听是否觉得清楚、像人且与前后语音融合自然。

约束条件包括双语与双接口。双语指英文与中文都要测，因为不同语言的可懂度工具、发音与提示描述方式不同。双接口指标签控制把标签直接插进文本，提示控制把要求写进自然语言描述，前者约束强但受词表限制，后者覆盖广但约束弱。问题难度来自两类瓶颈：低信噪比口腔线索如咂嘴、吞咽、气音容易被浊音掩蔽；长时情感发声如哭、啜泣、哀嚎需要在时间上保持韵律、音色与音质的一致调制。

复述时不要把词错误率当作非言语发声分数。词错误率与字错误率回答词是否可懂，感知质量分回答信号是否干净，而本文新增的可控性、位置与显著性才回答非言语发声本身。主结论提前锚定：可控性常与语音质量脱钩，好听的系统未必按要求发出目标声音。

全景如何走通：从输入到三路评估的主路径是什么？

先沿一个样本走完全程。输入是一条待说的话及其非言语发声要求：标签路径输入带标签文本，提示路径输入纯文本加一条描述说话人与非言语发声的说明。候选语音生成系统据此合成一段语音。评估从 3 个互补视角看同一段输出：自动客观指标算可懂度、信号质量与描述语音一致性；人工听音打自然度、质量、指令跟随与感知效果；大模型多评分者用同样量表做可扩展的重复比较。

下段是该总览图的导读，读完再看图，图后另有解释形成闭环。左侧是统一分类与双语集这一数据地基，中间是两种控制形态的输入写法差异，右侧是生成与 3 路评估的分流，关键是质量轴与非言语发声专用轴在评估端被显式分开。

看图路径： 1. 先看左侧数据集框确认 45 类分类与双语评测集是输入基础；2. 再对比标签控制与提示控制两个输入框的文字形态差异；3. 接着沿箭头看语音生成系统如何汇出带非言语发声的语音；4. 最后看右侧三路评估分支如何分开质量与可控性

论文图 1。原论文 Figure 1：“Overview of NVV-SuperBench. ity from NVV-specific controllability, placement, and percep- tual salience.”。

该图显示数据集框在上，标签控制与提示控制两个输入框在下并排，箭头共同指向语音生成，再分出客观、主观与大模型评估。教学价值在于一眼看清公平比较的来源：所有系统 grounded 在同一分类、同一数据与同一标准下，只是输入接口不同。标签示例把[laugh] 直接缀在句后，提示示例把简短笑声写入人物描述，这种形态差异决定了后文覆盖度与正确率必须分开读。

非言语发声 × 标签控制： 非言语发声负责要发什么非词声音，例如笑、叹息、咳嗽；标签控制负责在文本指定位置插入如[laugh] 来命令系统在该处实现，二者搭配的理由是把内容与位置显式绑定，使可控性可以按类型正确性和位置误差分别度量，组合意义是把含糊的像人一样转为可核对的是否发对与放对。

非言语发声 × 提示控制： 非言语发声仍是目标声音事件，提示控制则用自然语言描述如带有短促笑声的女性来间接约束音色、情感与事件，二者搭配的理由是覆盖标签词表之外的 45 类全空间，组合意义是测泛化但代价是约束更弱，易出现提示泄露与过度演绎。

本节收束学习依赖：先记住主路径是输入接口、生成、评估 3 段，再进入组件与计算，后文所有指标都是为主路径上的某一问服务的。

方法取舍：为何用条件验证而非开放检测？

开放检测让模型自由听出所有事件，自由度大但易幻觉微弱或不存在的事件，并在声学相似类间混淆。条件验证把问题收窄为每次只验证一个目标类型是否存在并定位，把开放题变为判断加单点编辑，从而得到确定性预测位置。这种取舍的代价是每次只能回答一类，需要逐条调用，但收益是类型与位置可联合计分且虚假非目标可计入误报。

另一取舍是种子锚定而非纯合成。从真实富有表现力录音中先得高置信种子，再以其校准生成提示，能减少纯合成样本的系统性伪影与事件分布错配。代价是种子需 3 人独立审核加第四人仲裁，规模小；收益是后续大规模受控生成的话语用法更真实。这两处取舍共同服务于可核对：约束越强，分数越可复述。

分类与指标组件：45 类如何划分，正确与放对如何计算？

分类组件是六大类 45 细类。原文给出呼吸类、喉与生理类、笑声谱系、哭声谱系、情感发声、口与杂项 6 个顶层。设计理由是按产生机制与交际功能组织，并在只有当差异在感知上显著且在已有数据集或控制接口中常见时才做细分子类，例如笑声按强度与社交功能细分，而咳嗽喷嚏等生理反射保持较粗粒度以减少稀疏并保持跨数据集一致。

客观组件分两层。一般层用词错误率与字错误率测可懂度，用感知质量预测量表的信号、背景与总体分测信号质量，提示系统另用音频文本对齐分测描述与语音的语义一致。专用层只用于标签系统：覆盖度、精确率、召回率、综合值与归一化标签距离。原文把每个非言语发声表示为类型与文本位置二元组，真值与预测在类型相同且位置差不超过固定容差时才算匹配。

验证计算用条件验证法。直接让大模型开放检测不可靠，会幻觉与混淆相似类，因此每次只给合成语音、不变参考文本与目标类型，要求输出目标是否存在，若存在则在参考文本中插入恰好一个行内标记得到预测位置，还可上报少量非目标类型作为虚假预测计入误报。该设计把类型正确性与位置准确性绑在一起计分，同时惩罚漏发与多发。

感知显著性 × 位置误差： 感知显著性回答人是否清楚听到且融合自然，位置误差回答预测插入点与真值点在文本索引上差多远，二者搭配的理由是放对但太弱等于失败、响亮但放错也等于失败，组合意义是用主观显著性与客观归一化标签距离互相约束。

覆盖度 × 精确率与召回率： 覆盖度回答系统词表支持 45 类中的多少类，精确率与召回率回答在支持范围内做对多少并计入位置容差与虚假非目标事件，二者搭配的理由是防止只做少数容易类刷高分，组合意义是形成覆盖感知的正确性视角。

主观组件用五点量表，目标缺失或几乎听不见时非言语发声专用项记零分，以显式捕捉完全失败。提示系统另评总体指令跟随与非言语发声指令跟随，标签系统另评非言语发声准确性与总体表达，两类系统都评总体自然度、总体质量与感知效果。大模型评估沿用同样指标与量表，并加匿名随机、低温固定种子、多轮划分与多评分者相对打分等控制以减少方差。

有没有训练模型：本研究训练了什么、调用了什么？

本研究没有训练新的语音合成模型，必须明确说明无训练阶段，不能把评测当作模型训练。15 个被测系统是外部已有系统，分为 7 个提示系统与 8 个标签系统，涵盖商业与开源。提示侧包括谷歌与开放人工智能的商业系统以及若干开源描述控制系统，标签侧包括表中列出的开源系统与一家商业系统。论文的真实计算是基准构建与评估执行，不是梯度更新。

基准构建的 3 阶段是本节的方法职责。第一阶段从富有表现力的人声中挖掘高置信种子而非从零凭空编造，以锚定真实声学模式与话语用法。原文选用一个中英双语高表现力语料为种子源，因其录音富有表现力且附自由描述。第二阶段按 45 类用大模型生成受控候选，统一四字段模式并强制单类型约束，允许同一目标在句中自然出现多次，通过变换话语场景与风格促进多样，并做大小写不敏感精确去重。

第 3 阶段是自动一致性检查加人工质控与缺额补充，过滤模式不符、类型不符、标记不一致、上下文不合理或感知弱的样本，并对易与语气词混淆的类型筛除含显式感叹词的文本，直至每类每语言达到目标配额。

调用与标注过程按原文交代：用多模态大模型做音频、转录标记与描述改写，用大模型做受控文本生成与合成语音验证，用人工审核种子显著性与候选跨字段一致。原文未报告被测系统的内部参数冻结、梯度路径或训练超参数，本解读不从模型名称推定实现，缺项即记为未报告。资源状态依据本次核对：基准页当前可用，已公开；所列开源仓库链接当前可用。

实验条件如何对齐：数据量、重复次数与评分规模是多少？

数据划分与采样按原文交代。最终每类每语言 50 条，每语言 2250 条，中英合计 4500 条，类别均衡且每类等量。种子阶段仅得约英文 80 条与中文 30 条实例，用于校准提示与作为范例，规模有限但作用是锚定而非直接评测。主观听音每语言随机抽 450 条，每类 10 条。客观指标由 3 次独立合成计算以看稳定性，主观与大模型评估因成本只做 1 次运行。

为比较公平性与指标方向，先提出问题：不同接口与不同语言能否直接比大小。公平条件是同一分类、同一数据与同一标准，但控制接口天然不同，因此提示与标签结果分块报告，英文与中文分开报告。指标方向是词与字错误率越低越好，感知质量分与对齐分越高越好，覆盖度与精确率召回率综合值越高越好，归一化标签距离越低越好，主观与大模型量表越高越好，零分专用于目标缺失。

下表把规模与参与者条件集中呈现，表前问题是基准是否做到类别均衡与多路评估，公平条件是配额与抽样规则公开，指标方向不适用于此表，只看数量口径是否一致。

该表的主要收益是可复述配额：45 乘 50 等于每语言 2250，双语 4500，主观每语言 450 条对应每类 10 条，97 人参与听音。代价与边界是种子仅约英文 80 条与中文 30 条，主观与大模型只覆盖 1 次运行，客观 3 次运行的方差小但仍需注意提示泄露等系统性偏差不能被重复次数消除。未胜出项在此是种子规模本身，它不用于排名，只用于校准。

被测系统覆盖标签与提示两类，客观含可懂度、信号质量与对齐，专用含覆盖与位置，主观与大模型含自然度、质量、跟随与显著性。硬件预算与推理开销原文未系统报告，本解读记为缺项，不承诺延迟或成本改善。

主结果显示什么：谁可懂、谁好听、谁做对了？

客观提示结果呈现可懂度与质量分裂。英文中某开源提示系统词错误率最低且语义对齐最高，另一商业系统在感知质量三项领先并在对齐上紧随其后；中文延续同一模式，前者字错误率最低，后者在感知质量与对齐领先。这支持提示条件下词可懂、对齐与信号质量可由不同系统分别占优。反例是某商业系列感知质量有竞争力且主观自然度不差，但词与字错误率明显更差，定性检查指向内容边界违规：提示泄露、超出目标文本的幻觉、重复输入或过长非词段被识别为重复拟声，从而推高错误率，即使听感仍自然。

客观标签结果呈现广度与正确性权衡。覆盖最低的系统仍可在支持子集上取得有竞争力的匹配性能，中文甚至在精确率召回率综合值上居前，提示其只在极小子集上准确跟随，多由单一类型主导，因而会抬高正确性分数。英文中另一开源系统在精确率与综合值最强且召回与位置误差有竞争力，而商业系统以较高覆盖兼顾较强正确性，并在标签系统中可懂度最好。另一些系统匹配能力有限或位置误差相对较大，说明可懂或好听不蕴含目标类型被可靠实现。

主观听音显示偏好权衡。英文提示中某商业大模型在总体自然度、质量、描述匹配、非言语发声跟随与显著性全面居前，其同系列另一版本紧随；中文提示中某开源系统在总体自然度、质量与描述匹配居前，而商业系统在非言语发声跟随与显著性更强，但其预设音色未必符合描述，导致总体描述匹配偏低，且更激进的实现有时损害自然度。标签主观中商业系统跨语言总体居前，自然度、质量、显著性、正确性与总体表达多项居首；某开源系统在英文客观正确性强且主观仍有竞争力，但综合偏好仍需兼顾覆盖、自然度与质量。

下段是分类型显著性热图的导读，读完再看图，图后解释覆盖缺口与难度分化。左右为英文与中文，上半为标签系统因词表限制而稀疏，下半为提示系统因可描述全类而稠密，颜色越亮表示该系统该类型的平均感知效果越高。

看图路径： 1. 先确认左右面板分别为英文与中文、上下分别为标签与提示系统；2. 再看白色缺失格主要集中在标签上半区以判断覆盖缺口；3. 对比笑声与呼吸等亮色列与口腔低信噪比列的明暗差异；4. 最后按行比较头部系统与尾部系统的整行亮度与方差

论文图 2。原论文 Figure 2：“NVV perceptual effect heatmaps for EN (left) and ZH (right) under tag-based (upper) and prompt-based (bottom) systems.”。

该图可见标签上半区大片白色缺失格，对应标签系统通常只实现 45 类中的约 1 至 13 类；提示下半区稠密但行间亮度差异大，头部提示系统整行更亮，开源尾部系统多暗格。列方向上笑声、呼吸、咳嗽喷嚏叹息等突发高显著事件更亮，而咂嘴、气音、吞咽、含糊与哭泣哀嚎等低信噪比或长时情感列更暗，且标签侧常见类型因在多词表中出现而更易获得高分，但长时情感即使被支持仍只获中等分，说明频率有帮助但不充分。

可控性 × 语音质量： 可控性回答是否按要求出现目标非言语发声并放在容差内，语音质量回答信号是否干净自然，二者搭配评估的理由是好听不等于做对，组合意义是揭示脱钩现象，需要同时优化保真与覆盖感知的正确性。

重提结果时增加适用条件：比较必须在同接口同语言内进行，跨接口的正确率不可直接比大小；自动指标会被非词段惩罚，人听可能仍觉得自然，因此需要人听与显著性共同裁决。

结果再读：频率优势为何只是部分成立？

频率优势指在多词表中常见的笑、咳、叹、吸气等更易获得高显著性，稀有口腔点击与摩擦音既少被支持也难被实现。原文热图支持这一趋势，但同时给出反例：持续情感即使被支持，仍因连贯性要求只获中等显著性。这说明数据量是必要非充分条件，建模需另补时长与强度轨迹控制。

系统差异也支持部分成立。覆盖最广的开源标签系统类型方差大，中等覆盖系统每类区分度不均，覆盖稀有口腔的系统仍难做好，提示头部系统靠高覆盖加常见类高显著取胜，尾部受限于最小词表。这种行列交叉 pattern 提示诊断应看两个正交轴：词表覆盖回答能控什么，每类实现回答控得有多显著，二者缺一不可。

加与不加非言语发声：表达提升的代价是什么？

消融问题是显式非言语发声控制是否值得。做法是配对比较：提示侧用含非言语发声描述与去掉该线索但保留命题内容的中性描述合成配对样本；标签侧用纯文本与同一文本插入标签合成配对样本。客观以不带非言语发声条件为灰行对照，主观用比较平均意见分，正值偏好带非言语发声样本，负值偏好不带样本，维度含自然度、质量与表达。

下表集中呈现该配对消融的比较平均意见分，表前问题是同一系统加非言语发声后表达、自然度与质量如何变化，公平条件是除是否显式控制外设置匹配，指标方向是正值表示带非言语发声更优。

该表显示通道依赖的反差：标签商业系统在双语中表达、自然度与质量均为正，提示商业大模型在表达上几乎无增益且自然度与质量为负。结合客观对照，加非言语发声会抬高词与字错误率，因为非词段会被 unaware 的识别器与通用质量预测器惩罚。对提示系统，客观变差与主观下降一致，说明仅靠描述提示会增加生成负担而无可靠感知收益；对标签系统，客观变差但主观为正，说明标准指标与带非言语发声语音不完全对齐，需要非言语发声感知的评估工具。未胜出项是提示消融本身，它是负结果而非失败的实验，恰好证明接口选择 matters。

大模型多评分者作为可扩展补充，总体跟踪人听：提示侧某商业版本在跟随与非言语发声相关项居前，某开源系统在英文总体质量居前但这不蕴含可控性强；标签侧商业系统双语居前，开源系统在准确性、表达与质量间排名分化，再次支持可控性是部分可分离维度而非保真度的副产品。

边界在哪里：哪些类型与哪些度量仍不可靠？

类型边界是低信噪比口腔线索与长时情感。原文报告难的类型包括气音、咂嘴、吞咽、含糊等易被掩蔽的高频细节，以及哭、啜泣、哀嚎、呜咽等需要持续时长与强度轨迹控制的情感。标签侧扩展词表有必要但不充分，建模仍需掩蔽鲁棒的高频细节与持续情感的连贯性控制，针对稀有微妙类型的数据策划可能是关键驱动。

度量边界包括识别器惩罚非词、通用质量预测器不感知非言语发声、开放检测易幻觉，以及提示泄露与重复导致错误率虚高。原文用条件验证、零分完全失败、匿名多评分者与比较打分缓解，但未测量误判率、延迟与成本时不承诺这些量改善。总体趋势不等于每组每步成立：支持频率与显著性的部分关联存在反例，长时情感即是被支持但显著性仍中等的例子。

下表把与可复现性相关的抽样与规模边界集中呈现，表前问题是哪些数字不能推广为系统排名，公平条件是区分校准集、评测集与听音子集，指标方向不适用，只核对口径。

表后解释：种子约 80 与约 30 是小规模校准，不能当作覆盖 45 类的证据；主观每语言 450 条与 97 人是大努力但仍是子集与单次运行，结论需以客观 3 次运行的稳定性与大模型重复比较共同支撑。未评测边界包括训练资源、推理开销与输出帧率，原文未给，复现时需另行测量。

复现先做什么：数据、接口与评分如何一步步重放？

先做数据重放。按 45 类每类每语言 50 条理解配额，检查四字段是否齐全：纯文本、带标签文本、带非言语发声描述、标签列表，且标签列表恰含一个与目标一致的标签。自动检查模式合规、标签与目标一致、行内标记可归一回纯文本，再人工检查三字段跨字段一致，剔除上下文不合理、推测性描述与含显式感叹词的易混样本，缺额类型触发补充生成直至配额。

再做接口重放。标签系统用带标签文本字段生成，提示系统用纯文本加描述字段生成，保留原文实际可运行策略，不用事后最优或 oracle 代替可部署收益。客观重放用英文大模型识别与中文专用识别分别转写算错率，用感知质量三分量与音频文本对齐分，标签侧另算覆盖、精确率召回率综合值与归一化距离，客观做 3 次合成看方差。主观重放用每语言 450 条、每类 10 条的随机子集，五点量表加零分完全失败，大模型侧用低温固定种子、多轮划分与匿名相对打分。

信息条件与可用性按本次核对写：基准页当前可用，已公开；所列开源仓库链接当前可用。区分代码开源、权重下载与系统可运行：本文提供的是基准与评估流程，不是被测系统的统一可运行包，复现商业系统需各自合规调用并固定音色与采样设置，否则描述匹配分会受预设音色影响。

何时值得尝试：给刚入门者的行动清单是什么？

当你的任务需要笑、哭、叹、咳等声音真实出现且位置可控时，值得用该基准先诊断再改模型。若只关心词可懂与底噪干净，用传统可懂度与质量工具即可；一旦加入非言语发声，就必须同时报告覆盖、类型位置正确性与人听显著性，否则会被少数容易类的高分误导。

行动清单按学习依赖排序：先复述 45 类六大顶层与双接口差异，再重放配额与 3 路评估，最后才对比系统。优先做两件论文特有验证：一是覆盖感知的正确性，把支持类数与正确率放在一起读，警惕低覆盖高正确；二是加与不加的配对比较，确认表达提升是否以自然度或质量为代价。建模方向按报告排序：先给稀有口腔类型补定向数据，再做高频细节的掩蔽鲁棒性，最后做长时情感的时长与强度轨迹控制。

常见误解用自然段澄清：错误率高不一定代表话说得差，可能是提示泄露与重复拟声被识别器惩罚；质量分高不代表非言语发声做对，可能是信号干净但目标缺失；提示能描述全类不代表全类都能实现，显著性热图的暗列即是反证。带着这 3 条去读任何新系统的宣传，才能把好听与做对分开。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总