先给标签、后建质心：延迟承诺如何稳住多说话人在线跟踪

英文题目：Delayed-Commitment Online Speaker Tracking for Robust Many-Speaker Diarization

会议身份：conference:interspeech:2026:conference-paper-id:kwon26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#无监督学习 #在线推理 #语音 #说话人分离标注

评分：6.7/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Youngki Kwon：机构信息未能从会议 PDF 纯文本可靠映射
• Hee-Soo Heo：机构信息未能从会议 PDF 纯文本可靠映射
• Minjae Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Han-Gyu Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Bong-Jin Lee：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

在线说话人日志需在音频流到达时即时输出谁在何时说话，其难点在于新说话人判决不可回退，且单次噪声嵌入易污染质心并引发虚假新类注册。所提系统先由语音活动检测切分语音段，再用一点五秒滑动窗口以零点五秒步长提取说话人嵌入，最后由延迟承诺在线说话人追踪逐嵌入标注并实时输出标签。其中追踪模块对远离已注册质心的嵌入先赋予暂定标签并存入缓冲，待累积至多个候选后取中心代表生成高质量质心，同时用随注册数线性增长的自适应阈值抑制虚假注册。与到阈即建新类的常规在线聚类不同，该方法将标签输出与质心注册解耦，使输出延迟保持零点五秒而不等待质心承诺，从而兼顾质心质量与低延迟的实际意义。在VoxConverse评测设置下，本系统的Std(Δ)指标为2.04，低于DIART的Std(Δ)指标4.14。其结论仅适用于多说话人中等重叠野外场景，未验证高重叠会议和单缓冲混入多说话人的失败边界。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/juanmc2005/diart — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

在线日志要解决的到底是什么难事？

说话人日志要回答音频流中谁在何时说话，是会议转写的前置步骤。白话说，就是把连续声音先切出有人说话的片段，再给每段贴上说话人编号，且同一人在不同时刻出现时编号要一致。英文叫 speaker diarization，常用指标是日志错误率，英文为 Diarization Error Rate，缩写为 DER。在线版本要求音频边到边判，不能等整场录音结束再回看全局做聚类，每来一段就要在有限延迟内给出标签，且一旦给出就很难收回。论文把难点归为两件纠缠的事。

第一是新说话人检测，即判断新嵌入属于已见过的人还是新来的人，固定门限在已注册人数增多时容易把远距离误判为新人，造成过度切分。第二是质心质量，即为新人建立代表向量时若只用单个可能带噪的嵌入，后续所有距离比较都会被带偏，且说话人越多需要建的质心越多，累积出错概率越大。直接加长嵌入提取窗可以平均噪声，但会增大延迟并把多人的声音装进同一窗。理解这两点，才能看懂后文为何把输出标签和建立质心解耦。

附录：关键术语速查与易混点

质心指说话人的代表向量，暂定标签指缓冲期的临时编号，已确认标签指建质心后的永久编号。自适应阈值指随人数提高的新人门限，延迟承诺指输出不等缓冲、建质心等缓冲。DER 越低越好，虚警指把非话判为话，漏检指把话判丢，说话人混淆指把甲判成乙。系统语音活动检测指用模型实际检测而非人工边界。易混点是暂定标签不是最终错误，而是占位。

实时率低不等于延迟为零；全局 DER 好不等于多人组也好，需看一致性。

已有路线按如何做增量身份决策划分有何不同？

论文按增量身份决策方式把已有方法分成 3 类。第一类是聚类法，英文为 clustering-based methods，来一段说话人嵌入就和已累积的质心比距离，按需注册新人，结构上不设人数上限，但此前没有专门为说话人数增多时保持准确而设计和评测。第二类是固定容量法，英文为 fixed-capacity methods，用固定数量输出节点联合分类帧级多人活动，能自然处理重叠但同时说话人数被限制在很小的常数，典型为 4。

第 3 类是容量扩展法，英文为 capacity-extended methods，在固定容量范式上用全局与局部吸引子、在线吸引子解码或目标说话人条件把上限抬高，但每块限制或训练时人数分布仍隐含约束可靠处理的人数。论文还指出评测习惯加剧了盲区，常用基准集中在少说话人区间，难以检验多说话人鲁棒性，之前在线系统多在低人数主导的基准和非系统语音活动检测条件下评测。

本文选择聚类路线，正是因为它在架构上开放人数，再针对其在线质心跟踪的两处弱点做改进，而不是换到固定容量路线。

附录：与最接近工作的条件对照

与 DIART 同为聚类在线跟踪，但 DIART 用端到端局部分割加增量聚类并在单嵌入超界时即注册，本文延迟到多个观测并用类中值，条件同为 0.5s 延迟可比。与 Sortformer 同为在线低延迟，但后者为固定容量每块最多 4 人，本文无显式人数上限，比较反映整系统在多说话人分布下的差异。与离线优胜系统相比，对方有重叠检测且可看全局，只能当上限，不能当同条件胜负。所有对照都需注明前端模型不同，整系统对比不能精确归因到单一模块，论文用换公开分割模型的对照部分缓解该问题。

为什么选多说话人加系统检测条件做考场？

论文要检验的是人数变多时准确率是否还能稳住，且条件要接近部署。白话说，不只看平均分，还要看从 1 人到 10 多人每个分数段是否都稳定。为此作者放弃以双人为主的基准，转向会话分布更散的野外音频。两个基准分别最多包含 21 人和 28 人，其中 11 人以上的会话分别占一定比例，而另 1 基准有 61.4% 的会话集中在双人组。所有评测都用系统语音活动检测而非人工给定的 oracle 边界，英文为 system voice activity detection，缩写为 system VAD，目的是反映真实前端会漏检和虚警的情况。

论文同时声明范围是多说话人、中等重叠条件，不宣称覆盖强重叠场景，且系统本身不设专用重叠处理模块，重叠段只归给单个说话人。这意味着漏检部分误差是预期内的，也为后文把离线优胜系统只当上限参考埋下伏笔。

三模块流水线如何把延迟压到 0.5 秒？

系统由 3 段串起。第一段是语音活动检测，英文为 voice activity detection，缩写为 VAD，负责标出哪里有人声。第二段是说话人嵌入提取，用 1.5s 滑窗按 0.5s 步长取嵌入，填满首窗后每 0.5s 产出一个新嵌入，这就决定了系统延迟为 0.5s。第 3 段是延迟承诺在线说话人跟踪，英文为 Delayed-Commitment Online Speaker Tracking，缩写为 DC-OST，负责给每个嵌入贴标签并维护质心。沿一个样本走一遍有助于建立直觉。

假设某时刻 VAD 给出一段语音，提取器从最近 1.5s 音频算出一个 256 维嵌入，DC-OST 拿它和已确认质心算余弦距离，若足够近就归给最近的人并更新质心，若太远就先给暂定新编号并放入缓冲，缓冲满后才生成正式质心。输出从不等待缓冲，标签每步都发，只是质心在内部延迟建立。

在线说话人日志 × 延迟承诺在线说话人跟踪： 在线说话人日志负责在音频流到达时立刻回答谁在何时说话，延迟承诺在线说话人跟踪是其中负责维护说话人身份的模块；前者要求低延迟不等待，后者把立刻输出标签和延迟建立质心分开，前者保延迟，后者攒够多个观测再建高质量质心，组合后既不拖输出又减少单次噪声建错质心。

下面先看流水线与标签推进的示意图，再进入两个关键组件。 本段导读覆盖从音频输入到标签输出的主路径，以及下半部分随时间推进的嵌入与标签对应，重点是区分暂定与已确认两种方框和缓冲进度点的累积含义。

看图路径： 1. 先沿顶部音频到语音活动检测再到嵌入提取最后到延迟承诺跟踪的主箭头走一遍；2. 再看下半部分嵌入序号与说话人标签行的对应关系；3. 对比空心暂定标签方框与红色已确认标签方框出现的位置；4. 数承诺进度行的圆点如何随缓冲累积到提交点

论文图 1。原论文 Figure 1：“(a) Proposed pipeline:”。

图中上半部分显示音频依次经过语音活动检测、嵌入提取和延迟承诺跟踪后输出标签，嵌入提取下方标注了窗长与步长。下半部分按时间展开多个嵌入，每个嵌入下方对应一个说话人标签方框，空心为暂定，红色为已确认，承诺进度行的圆点随缓冲累积而增多并在提交点转正。例子中前几个嵌入先拿暂定编号，攒满后同一人的后续嵌入直接拿已确认编号，而另一组嵌入则开启第二个人的新缓冲。这种画法把立刻输出与延迟建质心的解耦变得可见。

自适应阈值与延迟缓冲各自管什么计算？

先讲何时怀疑新人。自适应距离阈值对每个新嵌入算它到所有已确认质心的最小余弦距离，若小于阈值就归给最近质心，否则视为潜在新人。阈值随已注册人数线性提高并设上界封顶，原文思想是注册人数越多固定阈值越容易误注册，因此要求更强证据才建新人。归给老人时还做 1 次在线层次聚类映射，把可能为同一人建出的多个相似质心归组，并选组内累计分配次数最多的质心标签作为输出，再用累积滑动平均加 L2 重归一化更新被选质心。

再讲如何建成靠谱的新质心。当距离超过阈值，系统不立刻用这一个嵌入建质心，而是把它放入缓冲并立刻输出暂定标签，编号为当前人数加一。缓冲攒满 K 个候选后，用类中值生成一个正式质心，暂定编号转正为永久身份。若缓冲混入多人的嵌入，类中值挑的是到其他缓冲样本总距离最小的真实观测样本，因此天然抑制离群点。默认 K 取 5，阈值参数取基值 0.55、斜率 0.005、上界 0.8，聚类映射阈值取 0.6。

暂定标签 × 已确认标签： 暂定标签是缓冲未满时先发给每个新到达嵌入的临时身份，已确认标签是缓冲攒满并生成质心后转正的永久身份；前者分工是保住实时输出不断流，后者分工是提供可参与距离比较的稳定代表，二者搭配的理由是新说话人证据不足时先占位后验证，组合意义是输出延迟不变而质心质量提升。

自适应距离阈值 × 延迟承诺缓冲： 自适应距离阈值管何时怀疑来了新说话人，随已注册说话人数线性提高门限以抑制误注册，延迟承诺缓冲管如何建成新质心，要求攒满 K 个候选才用类中值生成质心；前者解决检测时机过松，后者解决单样本建质心过脆，组合后分别对应论文所说的挑战一和挑战二，形成先收紧入口再保证质量的闭环。

质心 × 类中值： 质心是已注册说话人在嵌入空间的代表点，用于和新嵌入算余弦距离做归属判断，类中值是从缓冲多个嵌入中选出到其他缓冲样本总距离最小的真实观测样本；前者分工是参与每步比较，后者分工是在缓冲可能混入离群点时挑出最具代表性的真实样本，搭配原因是平均易被离群点拉偏，组合意义是用真实样本做质心天然过滤噪声。

举个教学例子帮助复述，不代表论文数值。假设已确认 1 人，阈值按人数算出某值，新来嵌入距离为 0.7 超过阈值，则输出暂定标签 2 并入缓冲；再来 4 个远距离嵌入同样拿暂定标签 2，缓冲满 5 个后选类中值建质心，标签 2 转正；之后同人的嵌入距离变小，直接拿已确认标签 2。这个例子只演示流程，不添加效果承诺。

本研究训练了什么，又直接用了什么现成模型？

本研究没有为跟踪模块本身报告神经网络训练过程，DC-OST 是无参数学习的在线规则与聚类计算，不存在梯度更新、损失函数或训练集划分。需要交代清楚的是前后端现成模型的来源与调用方式。语音活动检测用卷积循环神经网络加滑窗起止判决，描述与引用的已有工作一致。说话人嵌入用在 VoxCeleb1 与 2 上训练的 256 维模型，带角度间隔 softmax，细节指向已有文献，推理时按 1.5s 窗、0.5s 步长提取。DC-OST 的参数是经验设定的阈值与缓冲大小，不是训练学出的权重。

消融中改变的是缓冲大小 K 与是否启用自适应阈值，属于推理时配置切换，不是重新训练。因此复现时重点不是调训练超参，而是保证嵌入模型、检测前端与跟踪参数一致，并按流式顺序逐嵌入更新质心与缓冲。由于未报告随机种子、优化器或梯度路径，不应从模型名称推定实现细节，缺项应明确记为未报告。

数据、基线与指标如何保证可比？

数据选 VoxConverse 和 VoxSRC-23 的测试集，特点是野外音频、人数跨度大，分别最多 21 人和 28 人。评测用系统语音活动检测，指标为 DER 及其分解的虚警、漏检和说话人混淆，外加 Jaccard 错误率，评测领统一取 0.25s。基线选两条有公开可运行实现的在线系统，一条是聚类路线的 DIART，用作者推荐的 VoxConverse 优化参数并跑在 0.5s 延迟，另一条是固定容量的 Sortformer，用官方检查点跑在 1.04s 低延迟配置。由于 Sortformer 训练数据包含 VoxConverse，论文认为基线在该集上并不吃亏。

所有在线基线结果都是在同一评测流程下实际运行官方实现得到，而非引用已发表数字，以保证条件一致。为剥离前端影响，还报告了把自家检测换成公开 pyannote 分割模型的结果，并把 VoxSRC-23 挑战赛优胜单系统当作离线上限参考，该离线系统带显式重叠检测，与在线系统条件不同。第三方代码仓库当前可用，状态码为 200，可作为复现入口，但可用性不等于权重与环境完全可运行。 为理解为何这两个集适合考多说话人，先看说话人数分布图，重点是双人占比与尾部分布的差异。

看图路径： 1. 先确认横轴为占比纵轴为说话人数及三色图例对应的数据集；2. 比较说话人数为 2 时绿色条与其他两色条的长度差异；3. 查看说话人数为 11 以上时红色与蓝色条是否仍有可观长度而绿色为零

论文图 2。原论文 Figure 2：“Speaker-count distribution per session across three benchmarks.”。

图中横轴为会话占比，纵轴为说话人数，红蓝绿分别对应两个多说话人集与以双人为主的基准。可见绿色在人数为 2 处显著长于其他，标注约 61.4%，而在 11 人以上处绿色为零，红蓝仍有约 12.6% 和 15.5%。这种对比说明若只在双人为主的集上评测，无法暴露随人数增多的退化，因此后文按人数分组报告 DER 并计算一致性是必要的。读图时只认图例与轴含义，不猜具体录音内容。

主结果在一致条件下赢在哪里，又输在哪里？

要回答的核心问题是，在相同系统检测与流式延迟下，新系统是否整体更准，且提升是否主要来自说话人混淆下降。指标方向是 DER 越低越好，分解中说话人混淆越低说明身份跟踪越稳。比较条件是各在线系统带各自前端的整系统对比，外加换统一公开分割模型的对照以剥离前端差异。 下表整理整体 DER 与可比基线的关键数字，离线优胜仅作上限参考，不视为同条件对手。

表前已说明比较问题是整系统在系统检测下的 DER 高低，公平条件是运行官方实现并统一评测流程，延迟分别为 0.5s 与 1.04s，指标越低越好。表中延迟信息在正文另行交代，数值单位保留原文百分号写法。 表后解释如下。论文报告本方法在两集上分别取得 9.53% 和 9.12%，而两条在线基线在 VoxConverse 约为 17%，在另一集分别为 17.46% 和 20.79%，提升主要由说话人混淆下降驱动，论文举例在 VoxConverse 上混淆项为 5.20 对 11.40 和 12.86。换公开分割模型后仍为 10.74% 和 10.63%，支持增益来自跟踪模块而非自家检测。

代价与反例是系统无专用重叠处理，重叠段只归单人，剩余漏检难以消除，且离线优胜的 4.49% 和 5.32% 仍明显更低，差距反映流式与无重叠处理的固有约束。未胜出项是漏检项和离线上限，边界是强重叠未评测。

日志错误率 × 一致性指标： 日志错误率衡量整体谁在何时说话的错误比例，包含虚警、漏检和说话人混淆，一致性指标衡量按说话人数分组后每组错误率相对全局的偏离的标准差；前者分工是报告绝对好坏，后者分工是报告随人数增多是否稳定，搭配原因是多说话人鲁棒性既要低误差又要不随人数漂移，组合后能区分全局好但多人组崩盘和全区间平稳两种情况。

按人数分组的进一步分析显示，基线的分组偏离随人数上扬，而本方法的偏离相对平坦，在 VoxConverse 上一致性标准差为 2.04，对比基线的 4.14 和 9.14，另一集趋势相同。这支持多说话人下更均匀的结论，但总体趋势不等于每组都单调成立，个别人数 bins 仍有波动，阅读时应看整体离散而非单点胜负。

附录：数字阅读时的单位与聚合提醒

阅读数字时注意单位与聚合对象。DER 与分解均为百分比，延迟为秒，实时率为比值，人数分布为占比。全局 DER 是对全集按时长加权的官方协议结果，分组 DER 是按参考说话人数分 bins 后的组内结果，偏离是组 DER 减全局 DER，一致性是偏离的标准差。百分点差与相对百分比不同，不能混用。不同指标的差值不能并入模型列，自动指标不能当人评。若表头与正文冲突应标注冲突，本解读中整体数字以正文连续句为准，表格仅整理连续句中实际出现的数字，未在连续句出现的格记为未报告。

延迟与自适应各自贡献多少，缓冲多大合适？

消融要回答两个机制是否互补，以及缓冲 K 过小或过大会发生什么。基线是从固定阈值加立即建质心起步，相当于 K 为 1。比较条件是同一数据与同一前端，只切换跟踪配置，指标仍是 DER 越低越好。 下表整理缓冲大小切换时的关键数字，K 取值含义在表后解释，数值保留原文写法。

表前已提出问题是缓冲大小与阈值是否各自有效，公平条件是同集同前端只改跟踪，指标越低越好。表中过大行的 VoxConverse 格因原文连续句未给出对应数字而记为未报告，不自行填补。 表后解释如下。论文报告每个组件单独加都降 DER，两者合用最低，支持延迟管质心形成、自适应管何时建新人的互补分工，且消融显示延迟缓冲是更大贡献者。

缓冲过小用单样本建质心，DER 为 10.59% 和 10.62%；缓冲过大则长期缓冲易混入不同人，质心纯度下降，在另一集 K 为 13 时回升到 9.84%；K 在 5 到 11 区间 consistently 最低，默认取 5 是为了在强性能下最小化缓冲需求。未胜出项是固定阈值加 K 为 1 的起点，以及过大 K 的退化点，说明 K 并非越大越好。仍需补的验证是多缓冲扩展，因为当前为单缓冲假设。

哪些误差与假设是原文明确承认的？

论文明确列出两处局限。第一是无显式重叠处理，重叠段只归单个说话人，这直接留下漏检误差，离线带重叠检测的系统因此仍是上限。第二是单缓冲假设，即每次只为一个潜在新人攒缓冲，若多新人交织或缓冲混入多人，类中值虽能抑制离群但不能彻底解决，未评测的强重叠与多缓冲并发是未来工作。计算上流水线在全部 642 条录音约 103h 上平均实时率为 0.043，跟踪模块跑在 CPU 且除 0.5s 处理步长外不增加额外延迟，但训练资源、输出帧率与实际端到端延迟是分开的概念，不应把低实时率直接等同于零延迟。此外一致性指标是组内标准差，只反映均匀性不反映绝对好坏，读数时需与全局 DER 一起看。

要复现应先固定什么，再跑什么？

复现先固定信息条件。前端用论文所述的卷积循环检测与 256 维嵌入模型，嵌入窗 1.5s、步长 0.5s，延迟 0.5s；跟踪参数取基值 0.55、斜率 0.005、上界 0.8、缓冲 5、聚类映射阈值 0.6。数据用两集测试集并采用系统检测与 0.25s 领，不能换成 oracle 边界，否则条件不一致。基线必须运行官方可用的 DIART 实现与 Sortformer 检查点，参数按论文给出的推荐值与低延迟配置，而不是引用旧论文数字。

先跑整系统 DER 与分解，确认本方法在两集约为 9.53% 和 9.12% 且混淆项下降，再切公开分割模型验证增益是否仍在 10.74% 和 10.63% 附近，以剥离前端影响。接着按说话人数分组算每组 DER 与相对全局的偏离标准差，检验均匀性。还需补的验证包括强重叠集、多缓冲实现与不同嵌入模型的敏感性，这些在原文未报告。第三方仓库链接本次可达，但仍需核对权重版本与环境依赖才能称为系统可运行。

何时值得尝试这种延迟建质心的思路？

当任务是在线、人数未知且可能很多、延迟预算在半秒量级、前端为系统检测时，这种先给暂定标签、攒够样本再用类中值建质心，并随人数调高建新人门限的思路值得尝试。它的适用前提是中等重叠而非强重叠，且能接受重叠段只归 1 人的漏检。若场景是离线可回看全局或必须精确切分重叠，则应选带重叠检测的离线或固定容量方案。

初学者复述时可按输入到表示到组件到目标到输出的顺序：语音经检测与嵌入得到流式向量，跟踪用距离与阈值决定归属或暂存，目标是低 DER 且随人数稳定，输出是每步标签加延迟确认的质心。记住论文直接报告的是 DER 与一致性提升，有限解释是两组件互补，未验证的是多缓冲与强重叠下的表现，不应把相关性说成因果或承诺未测量的延迟与成本改善。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总