MS-Bench：按条件分层的多说话人语音识别评测

📄 MS-Bench：按条件分层的多说话人语音识别评测

英文题目：MS-Bench: A Condition-Stratified Multi-Speaker ASR Benchmark

评分：6.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Chunjiang He：机构信息未能在本次解析中与作者逐人可靠绑定
• Zheng Zi：机构信息未能在本次解析中与作者逐人可靠绑定
• Bingshen Mu：机构信息未能在本次解析中与作者逐人可靠绑定
• Yurun Li：机构信息未能在本次解析中与作者逐人可靠绑定
• Jingyi Wang：机构信息未能在本次解析中与作者逐人可靠绑定
• Zhonghua Fu：机构信息未能在本次解析中与作者逐人可靠绑定
• Lei Xie：机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

多说话人自动语音识别的输入是包含两人以上的连续录音，输出是每句话的文字、说话人编号和起止时间，难点在于重叠语音互相遮蔽、相似音色容易混淆、轮次切换快以及声学环境多变。已有评测多按会议或对话数据集报告平均分，难以说明系统在哪种条件下失效。MS-Bench先从公开和内部来源收集录音并按说话人交互、声学条件和录制元数据标注说话人数、重叠率、说话人相似度、轮次间隔和声学质量五个维度条件，再按条件覆盖、多难条件共现、条件多样性和来源多样性筛选子集，最后用说话人分离标注错误率、排列词错率和时间受限排列词错率评估系统。重叠等分析把录音来源、声学环境和输入切分固定在同一推理单元内比较，关键差异是从按数据集评价转向按条件分层评价，并把词错率分解为词汇误差和切分误差、把归属误差单独计算。在32.72小时MS-Bench上以推理单元为评分单位的总体评估中，MOSS-Transcribe-Diarize-Pro的WER为22.49%，低于MOSS-Transcribe-Diarize的25.02%，但仍有15个推理单元因接口或时间戳无效被排除。在MS-Bench上保留同时含无重叠与重度重叠话语的同一推理单元内比较时，重度重叠话语的指标词汇误差Elex比无重叠话语高27.2-38.6 pp，说明鸡尾酒会式场景仍不可靠。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://aslp-lab.github.io/MS-Bench/ — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

多说话人转写要回答什么问题

多说话人语音识别的输入是一段包含 2 人或更多人的连续录音，可能是会议、客厅晚餐、车内对话、播客或影视对白。系统要输出的不是一堆无主文字，而是谁在何时说了什么：每句话的文字、说话人标签和起止时间都要对齐。

这比单人语音识别难得多。鸡尾酒会式的场景里经常出现两个人同时开口、快速抢话、音色相近的人轮流发言，以及混响、噪声、远场麦克风带来的声学退化。即使文字听对了，只要说话人挂错，会议纪要里赞成和反对就可能颠倒，含义也会被扭曲。

初学者容易把说话人日志和多说话人识别混为一谈。日志只管分段和聚类，回答谁何时在说话；识别还要把字听写出来。传统做法把两者和切分做成串联流水线，一个环节错了会传到下一环。近年基于语音大语言模型的端到端系统试图一次直接生成带说话人和时间的转写，但在重叠严重、轮转很快的条件下是否可靠，还缺少细粒度的证据。

已有评测为什么看不清短板

论文点名的常用评测各有侧重。AISHELL-4、AliMeeting 和 AMI 主要覆盖会议，MagicData-RAMC 和 MLC-SLM 偏向日常对话。它们确实推动了 DiaScriber、VibeVoice-ASR、SoulX-Transcriber、MOSS-Transcribe-Diarize 等系统的发展，但每个数据集内部条件分布不均。

更关键的是，它们没有按关键条件系统分层。说话人数、重叠比例、说话人相似度、轮转间隔、声学质量这 5 个维度，在原有数据里是混在一起的。一个系统总分高，可能是因为它测的那批录音重叠少、音色差异大、环境干净，换一批难例就可能露馅。只看数据集平均分，很难定位是听不清、挂错人还是时间标不准。

MS-Bench 的定位不是再做一个更大的会议数据集，而是把来自公开和内部的多种录音统一刻画到同一个 5 维条件空间，再按条件取样。这样不同系统可以在相同难度档位上比较，失败模式才能归因到具体条件。

论文要解决的具体困难

论文要解决的是评测分辨率不足。现有基准覆盖的条件范围窄、场景单一，无法回答在不同说话人数、不同重叠严重度、不同相似度和声学质量下，系统的词汇识别、说话人归属和时间预测各会坏在哪里。

为此作者提出条件分层评测：对每条录音计算 5 个维度的指标，再划分档位，保证最终 32.72 小时的子集覆盖全部预设工作范围，同时平衡场景、语言和设备。评测对象包括商用、开源端到端和串联系统，指标同时看日志、带归属转写、带时间约束转写和与说话人无关转写，外加输出鲁棒性。

需要强调，这篇论文不训练新识别模型，它的产品就是基准本身和用基准对 7 个代表性系统做的诊断。结论的适用范围限于被测系统和 MS-Bench 覆盖的条件，不能直接推广到所有语音大模型。

MS-Bench 是如何搭起来的

整个流程可以沿一条录音理解。先收集录音，再刻画它的交互、声学和元数据特征；接着把连续特征划分成可比较的档位，形成统一条件空间；然后在条件空间里挑候选，避免某个数据集的密集区主导；最后用效用函数选出紧凑但覆盖广的子集，并人工检查音频、文本和时间戳。

下图把这四步画成从左到右的流水线，第二框给出 5 个维度的具体分档，第三框示意按条件画像取样，第四框给出最终各档占比。先看主路径，再对照分档数值，就能明白每条录音是如何被贴上条件标签并被选入的。

看图路径： 1. 从左到右看四个大框的输入输出关系；2. 看第二框中 P、O、S、T、N 五个维度的分档取值；3. 看第四框右下角 P/O/S/T/N 各档占比条形

论文图 1。原论文 Figure 1:：“Overview of the MS-Bench construction pipeline.”。

从像素看，第一框列出公开来源如 AISHELL-4、AliMeeting、AISHELL-5 和内部播客、直播、影视，第二框明确 P0 为 2 人、P3 为 9 人及以上，O0 为 0 重叠、O4 为 0.4 到 1.0，S、T、N 也各有四档，第四框显示 P、O 相对均衡而 S、N 偏向困难档。这说明基准不是随机堆录音，而是有意保留了难例。

录音从哪里来，如何刻画

来源分两路。公开路包括 AISHELL-4、AliMeeting、AISHELL-5 等代表性多说话人基准；内部路包括播客、直播、影视等，用来补充会议之外的场景。最终覆盖会议、自发对话、影视、播客、晚餐聚会、教育、直播、车内和智能眼镜交互，语言以中英为主，兼有葡萄牙语、日语、泰语、意大利语和西班牙语，设备包括麦克风阵列、车内录音系统和移动设备。

刻画分 3 类。说话人交互方面，从标注中提取说话人数、重叠率、说话人相似度和轮转间隔。相似度用 CAM++ 嵌入实现：每人取 3 到 5 段长于 2 秒且互不重叠的语音求嵌入，再算两两余弦相似度。轮转间隔只算连续非重叠轮转之间的间隔，避免重叠区干扰。声学方面用 DNSMOS P.835 和 NISQA 打分，元数据记录场景、语言和设备。

多说话人语音识别 × 说话人日志： 多说话人语音识别指同时转写出说了什么、是谁说的、在何时说的；说话人日志只解决谁在何时说话，不负责文字内容。两者搭配时，日志提供说话人边界和身份假设，识别提供文字，二者对齐后才得到带说话人标签的转写，错位任一环节都会同时影响可懂度和归属。

这样每条录音都有了可比较的画像。例如一条录音可能被标记为 4 人、加权平均重叠较高、某 2 人音色接近、轮转很快、噪声较大，后续划分档位和取样都依赖这些数值，而不是数据集名字。

五个条件维度如何分档

说话人数按预设人数段分组，图上 P0 是 2 人，P1 是 3 到 4 人，P2 是 5 到 8 人，P3 是 9 人及以上。重叠率按严重度人工划分以保留可解释性，O0 是 0，O1 是 0 到 0.1，O2 是 0.1 到 0.2，O3 是 0.2 到 0.4，O4 是 0.4 到 1.0。

其余连续量按经验分位数划分以保证每档样本足够。相似度取录音内最大两两余弦相似度，抓住最易混淆的那 1 对，S0 到 S3 从 0.00 到 1.00 切成 4 段。轮转间隔取 25 分位数，刻画偏快的切换，同时减少长停顿和极端值影响，T0 为 0.45 秒以上，T3 为 0.00 到 0.06 秒。声学质量把 DNSMOS 和 NISQA 先转成百分位 pD 和 pN，再平均为 Q，退化分定义为 dN 等于 1 减 Q，越大表示越差，N0 到 N3 对应 0.00 到 1.00。

重叠率 × 词汇识别误差： 重叠率指目标话语被其他说话人语音覆盖的时间比例，词汇识别误差指替换、插入、删除中归因于听不清或听错的部分。重叠越大，同一时刻混合声学特征越难分离，声学模型更容易漏字或错字，因此重叠是直接推高词汇误差的物理原因。

说话人相似度 × 归属误差： 说话人相似度用说话人嵌入余弦相似度衡量音色接近程度，归属误差指文字正确但挂到错误说话人名下的比例。音色越像，系统越难用声纹区分是谁，文字本身不受影响，但说话人标签容易混淆，所以相似度主要推高归属误差而非词汇误差。

分档的意义是让比较有共同尺度。后文分析重叠时只比无重叠和重叠比例不小于 0.5 的话语，分析相似度时只看完全无重叠话语，都是为了把档位含义固定下来。

如何选出最终 32.72 小时

如果按数据集身份随机抽样，数量大的数据集会淹没条件空间。作者先建中间候选池，按条件画像找候选，覆盖 5 个维度的不同档位，同时避免密集区过度代表，并兼顾来源多样性。

最终子集用效用函数选。每条候选 i 的效用为 0.40 的条件覆盖贡献加 0.25 的多难条件共现加 0.20 的条件空间多样性增益加 0.15 的欠代表来源加成，在子集大小、预设工作范围最小覆盖和来源分布约束下最大化总效用。之后人工检查音频完整性、文本、说话人标注和时间戳，不合格的用条件画像相近的候选替换。

cpWER × tcpWER： cpWER 是在最优说话人置换下计算的带归属词错率，只看文字和说话人对应是否正确；tcpWER 进一步加上 5 秒时间窗约束，还要求时间位置对得上。两者搭配可以区分是单纯挂错人名，还是连时间都对不齐，后者对长录音和切块推理更敏感。

结果是总时长 32.72 小时，单条时长 1.38 到 159.07 分钟，中位数 16.50 分钟，说话人数 2 到 14 人，加权平均重叠率 21.87%，且覆盖全部预设档位。这组数字说明它是一个中等规模但条件跨度大的诊断集，不是用来刷平均分的训练集。

本文没有训练模型，实际算了什么

这篇论文没有训练新的声学或语言模型，也就没有梯度更新、参数冻结或优化器设置需要复述。它的计算集中在基准构造和评测分析两部分。

构造侧的计算包括 CAM++ 嵌入提取与余弦相似度、非重叠轮转间隔统计、DNSMOS 和 NISQA 打分转百分位再平均、5 维分档、候选池搜索和带约束的效用最大化选择。评测侧的计算包括用 0.5 秒容差算日志错误率，用最优置换算 cpWER，用 5 秒容差算 tcpWER，以及把 WER 分子拆成词汇部分和切分部分。

无训练不等于结果确定。被测的商用和开源系统内部仍是 learned 模型，输出受解码和接口限制影响，论文还报告了因拒识、超长截断、非法时间区间和语言不匹配而剔除的单元，以及可解析但退化的单元，说明评测本身也受工程边界约束。

测了哪些系统，用什么指标

被测 7 个系统包括 MOSS-Transcribe-Diarize-Pro、MOSS-Transcribe-Diarize、VibeVoice-ASR、SoulX-Transcriber、Doubao-ASR 2.0、Qwen3.8-Omni-Flash，以及 pyannote 说话人日志加 Qwen3-ASR 的串联系统。类型上覆盖端到端语音大模型、商用服务和串联流水线。

指标方向都是越低越好。DER 衡量日志好坏，容差 0.5 秒；cpWER 找最优说话人置换后的词错率，衡量文字加归属；tcpWER 再加 5 秒时间约束，衡量文字加归属加时间；WER 去掉说话人标签，只衡量文字。诊断时进一步把 WER 拆成词汇误差 Elex 和切分误差 Eseg 之和，归属单独用归属误差 Eattr 表示挂错说话人的话语比例。

推理单元指一次独立请求提交的音频跨度。超长录音按系统上限切块，MOSS 系列至多 90 分钟，VibeVoice 至多 60 分钟，SoulX 按 5 分钟切，其余尽量保持原录音。块与块之间说话人编号不必一致，按对应参考窗独立打分。条件比较时只用同时包含两种条件的同一推理单元，并用录音级聚类自助法估计 95% 置信区间，以减少录音间混杂。

词汇误差 × 切分误差： 词汇误差指语音被检测到但听写错的部分，切分误差指因误检、漏检或丢弃语音段而凭空多出或丢失的内容。两者相加等于与说话人无关的 WER，分开后能判断系统是听不准还是切不准，对应改进声学建模还是语音活动检测。

总体上谁最好，代价是什么

先看总体平均分。下表只截取系统名、DER 和 WER 两列，数值和单位保留原文写法，DER 和 WER 均以百分比报告，越低越好。完整七系统的 cpWER、tcpWER、剔除数和退化数见原文大表，这里聚焦最能区分听和分能力的两端。

表中 MOSS-Pro 的 DER 为 10.96%，WER 为 22.49%，都是七者最低；MOSS 基础版 DER 为 12.74%，WER 为 25.02%，排第二；Qwen3.8-Omni-Flash 的 DER 为 17.97%，WER 为 27.86%，文字部分紧随其后。这与原文 MOSS-Pro 全面最低、MOSS 基础版次之、Qwen 在 cpWER 和 WER 上排第三的描述一致。

但最好不等于最稳。原文报告 MOSS-Pro 有 15 个剔除单元，其中 3 个被接口拒绝、12 个含非法时间戳，而 MOSS 基础版和串联系统剔除数为 0。Qwen 有 5 个剔除和 2 个软退化，VibeVoice 有 10 个剔除和 12 个软退化，Doubao 和 SoulX 的软退化分别达 26 和 30。这说明精度和鲁棒性并不总同向，选系统时要同时看分数和可解析输出覆盖率。

下图把 WER 拆成词汇和切分两部分。读图时先确认横轴是 WER 百分比、系统按 WER 从好到坏排列，再比较每条中前 3 段词汇误差与后两段切分误差的长度。

看图路径： 1. 横轴 WER 排序确认系统从好到坏的顺序；2. 比较每个条形中词汇部分与切分部分的长度比例；3. 注意 SoulX 中间橙色插入段特别长的例外

论文图 2。原论文 Figure 2:：“Error composition by processing stage, the first three segments form E_lex and the last two E_seg, whose sum is WER (labelled at the right of each bar).”。

像素显示所有条形的词汇部分都远长于切分部分，SoulX 最下一条中间橙色插入段异常长。原文量化为词汇部分跨 19.27% 到 38.17%，切分部分仅 1.32% 到 6.02%，MOSS-Pro 相对基础版主要是词汇部分从 23.48% 降到 19.27%，代价是切分部分从 1.54% 升到 3.22%，SoulX 则以 15.5% 的词汇插入为主。这支持总体误差主要来自听不准，但不同系统的失误构成不同，不能只看 WER 总数。

重叠和音色相似如何破坏转写

重叠分析只比较同一推理单元内无重叠话语和重叠比例不小于 0.5 的话语，把录音来源、声学环境和输入上下文固定住。下表整理原文报告的跨七系统的成对差异范围，单位为百分点，数值为重叠减无重叠，越大表示重叠伤害越大。

上表说明重叠同时推高两类误差，词汇增量在 27.2 到 38.6 个百分点，归属增量在 4.2 到 19.1 个百分点，7 个系统全部显著。原文进一步看重叠区内部：只有 39.9% 到 85.3% 的重叠边界能在正负 0.5 秒内被定位，71% 到 93% 的重叠语音至少被某个说话人覆盖，但只有 31% 到 63% 被正确说话人覆盖。这意味着系统多半能察觉有声，但画不准重叠边界，更常挂错人。

相似度分析限定在完全无重叠话语，计算两说话人相似度与混淆率的 Spearman 相关，七系统相关系数在 0.248 到 0.323 之间且全部显著。也就是说，即使没有重叠，音色越像，A 的话越容易被记到 B 名下。这是一个与重叠独立的归属混淆来源。

两个结论的成立条件要记牢：重叠结论依赖同一单元内配对和录音级自助区间，相似度结论依赖无重叠子集和有序说话人对定义。它们支持重叠伤文字又伤归属、相似度主要伤归属，但不等同于因果证明，也不承诺在单句短音频上同样幅度。

声学变差、快速轮转和人多会怎样

声学分析限定在无重叠且远离轮转边界的话语，用录音级退化分 dN 与误差做相关。下表把原文的跨系统范围整理成诊断表，相关为 Spearman 系数，正表示越差误差越大，时间比为假设语音总时长除以参考总时长。

上表说明声学退化主要推高词汇误差，七系统词汇相关在 0.181 到 0.569 之间全部显著，归属相关则弱且仅一系统显著。同时 6 个系统的时间比相关显著为负，即环境越差，预测的语音总时长越短。原文把这解读为系统性时间收缩，而非整体平移，因为时间比只衡量总时长范围，对均匀偏移不敏感。

轮转分析在非重叠切换边界两侧各扩 0.5 秒，比较贴近切换的话语与远离切换的话语。七系统归属误差都显著上升 1.51 到 4.17 个百分点，而词汇和切分部分在任一系统都不显著，换 0.25 秒和 1.0 秒窗口结论定性相同。这说明快速交接主要让人挂错，不让人听错。

人数分析最需谨慎。9 人及以上组全部来自同一数据集，直接看组间趋势会混入数据集效应。作者去掉该组并去掉切块导致说话人不全的 SoulX，在同一数据集内中心化后再算残差相关。6 个系统中五者在控制数据集后显著为正，四者在再控制重叠后仍显著。这支持人多增加归属难度，但原文明确说不蕴含因果，且结论只在控制数据集和重叠的条件下成立。

这些结论的边界在哪里

第一，总分会掩盖失败。MOSS-Pro 平均最好，但剔除 15 个单元和切分误差上升说明它在时间和接口鲁棒性上有代价；串联系统 DER 与 Qwen 相近，但 cpWER 高得多，说明日志好不等于端到端转写好。只报 WER 或 DER 中的一个都会误导选型。

第二，条件结论依赖受控子集。重叠用单元内配对，相似度用无重叠子集，声学用无重叠且远离切换子集，人数用去极端组加数据集中心化。换了窗口、换了切块方式或换了数据集构成，数值会变。特别是人数效应，原文已说明 9 人以上组来源单一，不能读成人数越多必然越差的单调因果。

第三，未测量的不能承诺。论文没有报告延迟、实时率、算力成本和人工可懂度，也没有做去某模块的消融，因此不能从分数推出哪个模块是瓶颈，也不能承诺在其他语言、其他设备或更长录音上同样排序。Doubao 高达 39.52% 的 DER 和 SoulX 的大量软退化提示商用接口和切块策略本身就是变量，复现时必须记录切块和剔除规则。

想复现第一步做什么

第一步不是跑模型，而是复刻条件标签。按原文用 CAM++ 嵌入取每人 3 到 5 段长于 2 秒的非重叠语音算最大两两余弦相似度，只用连续非重叠轮转算间隔 25 分位数，用 DNSMOS P.835 和 NISQA 转百分位后平均再取 1 减 Q 得到退化分，再按图 1 档位把每条录音落到 P、O、S、T、N。

第二步复刻评测规则。DER 用 0.5 秒容差，tcpWER 用 5 秒容差，推理单元按系统上限切块，MOSS 至多 90 分钟、VibeVoice 至多 60 分钟、SoulX 按 5 分钟，其余尽量整条。块间说话人编号不强制一致，按参考窗独立打分。输出无法可靠打分才剔除，包括接口拒识、超长截断、结束早于开始的非法区间和语言不匹配；可解析的重复或坍缩保留并计为软退化。

资源方面，论文给出演示页链接，第三方可达，但这只证明论文提到了该链接，不证明作者已开源代码或权重。复现前要区分代码开源、权重可下载和系统可运行三件事，缺任何一项都要先补齐切块脚本、打分脚本和置换逻辑，并保留剔除清单，否则分数无法对齐。

什么时候值得用 MS-Bench

当你的目标是定位多说话人系统在何种条件下挂错人、听错字或标错时间，而不是只比平均分时，MS-Bench 值得尝试。它的价值在于 5 维分层和单元内配对、数据集中心化等控制，能把重叠、相似度、声学、轮转和人数的影响分开看。

还需补的验证包括：更多 9 人以上来源以解耦人数与数据集，统一切块长度下的对比以解耦时间建模与输入长度，以及延迟和成本测量以评估可部署性。在此之前，最稳妥的表述是：被测系统在鸡尾酒会式难例下尚不可靠，重叠鲁棒识别、准确归属和忠实时间建模仍是值得投入的方向，而任何单指标的领先都不应被夸大为全面可用。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-20 语音/音乐/音频论文速递