📄 跨会记住谁说了什么：用全局身份图把说话人错误变成可复述的代价
英文题目：Who Said What, and Will It Be Remembered? Evaluating Persistent Speaker Attribution Across Meetings
标签：#多说话人语音识别 | #评测协议 | #会议转录 | #模型评估
评分：6.4/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Shantanu Vispute：Foyer
- Aditya Mishra：Foyer
- Siddhartha Saxena：Foyer
📌 核心摘要
本文处理会议语音转写作为长期记忆时的持久归属问题，输入为单通道远场会议音频，输出为跨会身份稳定的词级转写，难点是重叠语音污染声纹证据与同一人在多会间分裂或串户。重叠修复先以日志标注单人段与双人重叠区并仅对双人区做分离，避免全量分离引入伪影，分离流经嵌入匹配与门控筛选剔除污染通道。筛选后的合格证据按说话人拼接为单流并插入静音后送识别与强制对齐，恢复词级时间戳再映射回会议时间线。拼接证据再经相似度匹配复用跨会身份并按门限更新声纹库，原始重叠与被拒通道永不入库以抑制身份漂移。与逐词单说话人级联的关键差异是转写用音频与建库用证据分离选择，且重叠可见可修。在129个会议全面板评测条件下，ThyVoice的SI-cpWER为47.13，低于次优系统的SI-cpWER 54.75。适用边界限于英语单通道与固定顺序串行建库，未验证多日复现与语序鲁棒性。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为何要跨会记住人？
这篇论文的输入是单通道会议音频，输出是带全局稳定说话人身份的词序列。目标读者是刚进入语音与会议转写的研究生，需要先建立一个判断：词对了不等于记录可用。论文开场交代的环境是长期记忆与环境助手，助手要回答谁承诺了什么、这个人上周决定了什么。此时转写层必须同时保留词与人，且同一个人跨多次会议保持同一个身份，否则跨会检索会把事实连到错误的人。
作者明确区分两种错误的后果：漏词降低召回，归属错误则把事实、偏好或承诺安到错误的人身上。输出因此不是单会匿名说话人标签，而是跨会一致的身份命名空间，且在评测中从空库开始在线发现，不允许预先注册名单。本文没有公开代码、模型或数据的可用声明，证据中明确写未发现来源绑定且完成验证的资源，因此复述时只讲方法与评测动作，不承诺可下载运行。
学习时要保留的关键信息是任务定义、全局评分如何构造、噪声与远场条件如何固定、系统在身份层做了什么门控，以及主结果与反例各自的适用边界。
附录表格导读：身份数量表如何读？
下表是原表直接选择的持久身份数量，参考在 NOTSOFAR 为 12 人、CHiME-6 为 8 人，计数不含显式未知标签。表前问题是：在词加权误差之外，身份增殖是否可见，哪个系统更接近参考人数。表中 ThyVoice 在干净为 14、噪声为 21、CHiME-6 为 17，ElevenLabs 在干净为区间 14 到 16、噪声为 23 到 28，AssemblyAI 接近参考，PyannoteAI 与 OpenAI 出现数十到上百。表后解释是：计数接近参考不等于无合并，ThyVoice 在干净最接近且噪声下显著少于多数系统，但仍高于参考，说明碎片仍存在；PyannoteAI 与 OpenAI 的高计数对应更大的持久误差风险，但完整碎片分析需看局部分片、合并、纯度与覆盖，不能只看计数。该表满足原表选择要求，数字与单位保留原文写法，不做四舍五入与单位追加。
| System | Clean identities (ref. 12) | Noisy identities (ref. 12) | CHiME-6 identities (ref. 8) |
|---|---|---|---|
| Reference | 12 | 12 | 8 |
| ThyVoice | 14 | 21 | 17 |
| ElevenLabs | 14–16 | 23–28 | 27 |
| PyannoteAI | 75 | 101 | 80 |
| AssemblyAI | 14 | 22 | 20 |
| Deepgram | 26 | 26 | 16 |
| OpenAI | 71 | 124 | 62 |
| SE-DiCoW | 24 | 32 | 34 |
| WhisperX | 20 | 22 | 23 |
读完该表应记住：身份数量是持久层的必要非充分信号，最终判断仍回到全局映射的词错误率。
三条谁说了什么路线各把错误藏在哪里？
论文把现有说话人归属识别分成 3 类。第一类是按时间戳对齐的级联，先独立做识别与 diarization，再把词与说话人轮次对齐，例子是 WhisperX 与 PyannoteAI 的编排。它的风险在对齐边界：独立产生的词时间轴与说话人时间轴需要事后调和，重叠处容易错位。第二类是先分段再识别，先做 diarization 得到每人掩码或音频，再对每人做识别，例子是 Diarization-Conditioned Whisper 及其说话人增强变体。它的风险在前端截断：分段边界可能切掉词，重叠掩码质量直接决定识别输入。
第 3 类是把归属折进识别器，用多流、说话人标记或结构化生成 1 次输出，例子包括置换不变训练、序列化输出、Sortformer 与相关端到端系统。它的风险在序列化与重叠线性化，不同说话人同时说话时必须排成一个序列。论文还梳理重叠与注册安全：神经 diarization 从聚类走向逐帧多说话人活动预测，但混合语音若被当成单人证据入库，会污染声纹。PyannoteAI 因此建议注册音频只含目标说话人。
持久身份的经典做法是已知名单的 profile 系统，而环境采集必须在线发现并跨会稳定，错误表现为把 1 人拆成多人或把多人并成 1 人。开放级联如 pyannote.audio 与 WhisperX 暴露可替换阶段，托管 diarized-STT 多暴露固定流水线。本文的对照策略是保留各系统暴露面，只在词、局部说话人、单会归属与持久归属 4 个证据层分离诊断。
持久归属任务如何定义，两个提问是什么？
持久归属任务要求同一个人在多次录音中保持同一个身份标识。评测从空身份命名空间开始，按固定顺序逐个处理会议，模拟录音随时间到达。第一个被接受的注册会初始化声纹，其质量影响后续匹配，因此顺序改变可能改变后续分配与分数。论文提出两个评测问题。第一，要求一个持久身份映射后，系统排序相对单会归属是否改变。
第二，哪些词、局部说话人与身份失败解释了持久归属结果。主要指标是说话人标识的拼接最小置换词错误率。做法是在整个语料库上用一个全局一一映射计算拼接词错误率，而不是每会重排。标题级 cpWER 用会前局部标签每会重排，SI-cpWER 用会后持久标签全局统一映射。两者之差概括从会前到会后表面的净分数变化，正值表示新增错误，接近零表示净变化小，小的负值可能来自身份层把局部分片合并后再全局评分。
每会重排的 cpWER × 全局映射的 SI-cpWER： 每会重排的 cpWER 只在单个会议内为假设说话人与参考说话人选择代价最小的一一对应，分工是衡量本会词与局部归属；全局映射的 SI-cpWER 把同一套假设身份与参考身份的对应固定到整个语料库，分工是同时惩罚词错误与跨会身份漂移；二者搭配的原因是前者能拿高分而后者仍可能崩塌，组合意义是把可复用的长期记忆从单会转写中分离出来直接度量。
理解时沿一个样本走一遍：输入是一会音频与参考词加参考人，系统输出每词的假设人与词，全局匈牙利算法在累加各会词编辑代价后选总代价最小的全局人映射，样本边界不跨会拼接，说话人数量不等时用哑元处理，未匹配参考人计删除，未匹配假设人计插入。
评测全景如何保证同一标尺下比较八个系统？
评测对象是 ThyVoice、5 条商用先 diarization 后识别的级联、两条开放学术基线。5 条商用链路是 ElevenLabs、PyannoteAI、AssemblyAI、Deepgram 与 OpenAI，每条先由提供方产出带局部说话人簇的 diarized 转写，再经共享 PyannoteAI 声纹层解析为持久身份。声纹库跨所有会议共享且串行运行，身份必须跨录音持久。每个局部簇用匹配阈值 50 在 0 到 100 置信度上查询，若无声纹达阈且有足够合格音频，则用最多 30 秒该说话人音频注册新声纹，否则保持未知。词继承其簇的解析身份。
Pyannote 栈用重叠感知的标准 diarization 去掉任一他人同时活动的区间后再拼接注册，ElevenLabs 栈因输出是每词 1 人且无同时活动面，直接用其簇区间拼接。学术基线是 SE-DiCoW 与 WhisperX，同样经共享声纹后端解析持久身份，只有 diarization 与识别不同。ThyVoice 端到端在原始会议音频上评测，用 Qwen3-ASR 做识别并用强制对齐恢复词时间戳，配置跨条件固定。所有系统在相同指标下一起报告，主结果表中的平均是干净、噪声与 CHiME-6 3 个条件错误率的算术平均。
重复性方面，对标题级差距接近的 ElevenLabs 在每个 NOTSOFAR 条件做了 3 次全量 129 会抽取，主结果报告其均值，附录记录每次抽取，其余条件格多为单次接受观察，不做全组方差排序。
ThyVoice 的门控证据流水线如何走完一会音频？
ThyVoice 被作者称为参考系统，含义是用于展示持久归属评测的端到端实现，不是标准基线。它的中心原则是门控说话人证据：在入库前检测或修复重叠，拒绝含混证据，只用合格说话人证据建库与更新。流程与近年会议系统一致：先 diarization 标活动与有界重叠，只在检测到重叠处做分离，识别消费干净或可信恢复的每人音频。组件包括 DiariZen md-v2 做重叠感知的说话人活动与临时会内标签，MossFormer2 分离有界双人区，WeSpeaker SimAM-ResNet100 做分离流重匹配与持久身份，Qwen3-ASR 识别拼接后的每人音频。
沿一会走完：会议波形进入局部说话人活动，干净区间直接使用，原始重叠不入库；有界双人重叠经分离后，每个分离流被嵌入并与干净局部证据做余弦匹配，阈值 0.25，通过才回到该说话人池，静音、复制、含混或匹配差的流被拒绝。每个局部说话人把干净单人段与通过门的分离流拼成一路，段间插静音并保留拼接时间到会议时间的映射，独立识别后再由强制对齐把词时间映射回会议轴。持久匹配用余弦相似度至少 0.5 复用旧身份，否则合格证据可建新身份。
把匹配向量并入旧身份需要至少 0.7 相似度且为干净或可信分离语音、有效语音活动且非重复流，原始重叠与被拒分离通道永不入库。最终输出是原时间轴上的常规会议转写，词挂到全局一致身份。
看图路径： 1. 从顶部会议波形沿箭头向下追踪到局部说话人活动与重叠分支；2. 对比单说话人区间直送拼接与重叠区间经分离加流重匹配再进入拼接的差异；3. 观察声纹库的读出与门控写入如何同时连接身份判决与转写输出；4. 确认被拒绝的分离流以虚线标出不再进入下游
论文图 1。原论文 Figure 1:：“ThyVoice’s gated speaker-evidence pipeline.”。
上图是 ThyVoice 门控说话人证据流水线。导读后需要解释：单说话人区与重叠区在局部活动后分叉，重叠经 MossFormer2 分离再经 WeSpeaker 重匹配门控，只有被接受的段进入每人拼接；拼接同时分出转写与身份两路，身份路读写先前已接受向量的声纹库，匹配复用与无匹配新建分开，更新门限高于匹配门限；转写路经识别加对齐后与身份汇合成带词、时间与持久身份的归属转写。公式上先看局部归属的拼接词错误率定义，符号中 S、D、I 是说话人对齐后的替换、删除与插入，N 是参考词数，下标 local 表示会内映射下的计数。
\[\mathrm{cpWER}=\frac{S_{\mathrm{local}}+D_{\mathrm{local}}+I_{\mathrm{local}}}{N}.\]再看持久归属定义，分子换成全局身份映射下的替换、删除与插入，下标 global 表示同一全局人映射在全库累加后的计数。
\[\mathrm{SI\text{-}cpWER}=\frac{S_{\mathrm{global}}+D_{\mathrm{global}}+I_{\mathrm{global}}}{N}.\]诊断用的断言错误率只保留替换与插入，除以参考词数，用于把遗漏与错误断言分开，但它不度量全局身份漂移。
\[\mathrm{IAR}=\frac{S_{\mathrm{local}}+I_{\mathrm{local}}}{N}.\]三式共同说明分母相同而对齐与计数范围不同，因此不能跨指标相加，只能在层内比较。
局部说话人活动 × 持久声纹库： 局部说话人活动由 diarizer 在本会时间轴上标出谁在何时说话，分工是提供可入声纹的干净区间与重叠位置；持久声纹库跨会保存已接受的说话人向量，分工是把新会局部簇匹配到旧身份或注册新身份；搭配理由是局部错误会污染入库证据，组合意义是用门控只让可信证据读写声纹库从而减少跨会漂移。
重叠修复 × 门控入库： 重叠修复指对有界双人重叠做分离并把分离流与干净局部证据做余弦重匹配，分工是抢回可用的重叠语音；门控入库指只有通过相似度、语音活动与去重检查的向量才能新建或更新声纹，分工是拒绝含混混合证据；搭配原因是分离可能输出静音或复制伪影，组合意义是转写可用与身份可用被当成两次独立决策。
本研究训练了什么，没有训练什么，真实计算是什么？
本研究没有报告训练任何新声学或语言模型，因此该节必须明确说明无训练阶段，不能把系统组装说成模型训练。ThyVoice 调用的是已有组件：DiariZen md-v2 做 diarization，MossFormer2 做有界分离，WeSpeaker SimAM-ResNet100 做嵌入，Qwen3-ASR 做识别加 Qwen 强制对齐。论文未给出这些组件在本研究中的梯度路径、参数冻结或更新细节，也未报告学习率、优化器或训练预算，缺项应如实指出，不从模型名称推定实现。真实计算是推理与评测构造：对每会单通道音频做 diarization、条件分离、嵌入重匹配、每人拼接识别、声纹匹配与门控更新，再做全局匈牙利映射评分。
噪声条件是确定性增强构造，不是部署采集：WHAM 环境噪声、MUSAN 语音 babble 与 MUSAN 瞬态事件按能量份额合成，babble 低通到 2 kHz 并加混响使其为闷糊间接竞争语音，瞬态 onset 按每分钟 4 事件的泊松过程抽取，每会目标信噪比从均值 10 方差 9 的正态抽取并截到 3 到 18 分贝，全部随机选择由种子固定。CHiME-6 把超 2 小时的整会按约 300 秒切块串行送入共享声纹库，切点向参考词边界对齐且不切开参考词，两个会话说话人集合不交但声纹库共享以增加难度。
数据、条件与指标如何固定，比较是否公平？
数据用 CHiME-8 NOTSOFAR 官方含真值评估集，自然办公室会议、重叠对话、房间设备音频与带说话人参考，其参与者别名跨会持久，满足全局身份评分要求。NOTSOFAR 评估语音约三成重叠，参考在话语级给时间，词级时间在话语内均匀插值。标题结果与身份计数用全部 129 会，消融用原生顺序前 20 会，不按难度挑选，该子集是 5 人常驻阵容以便解释局部分数与全局碎片。干净条件是每会按固定种子选一路非近讲单通道设备录音，不做多通道波束形成与设备融合，所有系统收同一路流。
噪声条件保持转写、词时间戳与说话人标签不变，只对干净音频做固定增强，因此两条件差异隔离声学退化而非标注变化。CHiME-6 用 S01 与 S21 两评估会话的单通道远场晚餐派对语音，每会话 4 人、重叠重、非摆拍，绝对错误率天然高，官方非分割基线在多通道加去混响波束形成下约 78% cpWER，而本评测每系统只给一路原始通道，因此只能横向比较。
指标方向都是越低越好：WER 看词，DER 与 JER 看局部说话人时间，零 collar 且含重叠，原生时间轴不变，词标签输出用固定 0.25 秒最大间隔重建成轮次后再评，该参数只影响 DER 与 JER，不改变已接受的 cpWER 与 SI-cpWER。
词错误率 WER × 说话人错误时间 DER： 词错误率 WER 只看词序列对错不看说话人，分工是定位识别层天花板；说话人错误时间 DER 按时间度量漏检、虚警与说话人混淆，分工是定位局部说话人层证据质量；搭配原因是两层约束最终归属记录的不同侧面，组合意义是解释 SI-cpWER 恶化究竟来自词丢还是人错。
聚合上主表平均是 3 条件错误率算术平均，重复运行只对 ElevenLabs 做 3 轮全量，其余多为单次观察，因此不能做全组稳定性排名。
持久身份要求是否改变排序，谁在何处付出代价？
主结果要回答的比较问题是：在相同单通道串行协议与相同全局映射下，持久归属的排序是否不同于单会归属，指标方向都是越低越好。论文报告 ThyVoice 在全部 3 个条件下商用 SI-cpWER 最低且全组平均最低，SE-DiCoW 在两个 NOTSOFAR 条件下全组领先而 ThyVoice 在 CHiME-6 全组领先。ElevenLabs 则呈现反差：它商用单会 cpWER 每条件最低，但持久 SI-cpWER 被反超，在 CHiME-6 上 SI-cpWER 比其局部 cpWER 高约 30.0 个百分点，而 ThyVoice 仅高约 1.5 个百分点，说明强局部转写与归属不保证持久身份。SE-DiCoW 的 NOTSOFAR 领先到 CHiME-6 的 cpWER 阶段已消失，早于持久识别再加误差，但这些运行未分离声学原因。
身份解析既可能因局部簇切分或合并错误而加误差，也可能把多簇解析到 1 人而修复局部分片，因此 cpWER 到 SI-cpWER 的变化不是单调的。下表先看持久身份数量，它是词加权 SI-cpWER 之外的可见增殖信号，计数不含显式未知标签，越接近参考越好但不能揭示合并与语音分布。表前已交代公平条件，表后将解释主要收益与具体代价。
身份计数显示 ThyVoice 在干净条件下接近 12 人参考，噪声下增殖显著少于多数系统，而 PyannoteAI 与 OpenAI 出现数十到上百身份，说明阈值、证据选择与更新策略在噪声下分化。未胜出项必须保留：SE-DiCoW 在干净与噪声 SI-cpWER 全组领先，ElevenLabs 在单会 cpWER 与词错误率商用领先，Deepgram 与 OpenAI 在部分条件下错误率高，这些都是理解持久层代价的对照。词层上 ElevenLabs 在所评发射词序列每条件 WER 最低，与其 cpWER 领先一致，但该领先未延续到持久归属，识别错误仍会带入 SI-cpWER，因此改进词层可能改善最终归属分数。局部说话人层上 ThyVoice 的 DiariZen md-v2 在所评输出面上每条件 DER 与 JER 最低，为证据门控提供更强起点，但词与身份错误仍约束最终转写。
可核对的数字关系：平均与跨层增量
下表把论文用完整句子直接报告的平均关系整理成可核对形式，比较问题是全组平均谁最低、下一个是谁，指标方向越低越好。论文报告 ThyVoice 在 3 个条件下商用 SI-cpWER 最低且全组平均最低，平均 47.13 对下一个系统 54.75。该表只有平均一层，不含 3 条件分项，分项需回原文大表核对。
| 比较维度 | ThyVoice 全组平均 | 下一系统全组平均 | 指标方向 | 适用范围 |
|---|---|---|---|---|
| SI-cpWER 平均 | 47.13 | 54.75 | 越低越好 | 3 条件全组面板 |
| 商用级联排名 | 商用最低 | 高于 ThyVoice | 越低越好 | 全部 3 个条件 |
表后代价是该平均仍高达 40% 以上，说明持久归属远未解决，且 SE-DiCoW 在 NOTSOFAR 两条件全组领先，ThyVoice 的平均领先主要含 CHiME-6 优势，不能读成每条件全组最低。
下表整理单会到持久的增量反例，比较问题是强局部是否保证持久，公平条件是同一 CHiME-6 串行协议。ElevenLabs 的 SI-cpWER 比其局部 cpWER 高约 30.0 个百分点，ThyVoice 仅高约 1.5 个百分点，且 ElevenLabs 商用单会 cpWER 每条件最低。这支持持久身份必须直接评的判断，限制是不同声学可能有贡献但这些运行未分离原因。
| 比较维度 | ElevenLabs 增量 | ThyVoice 增量 | 局部 cpWER 排名 | 持久含义 |
|---|---|---|---|---|
| CHiME-6 局部到持久增量 | 约 30.0 个百分点 | 约 1.5 个百分点 | ElevenLabs 商用每条件最低 | 强局部不保证持久 |
| 跨表排名对比 | SI 排名落后 | SI 排名更稳 | 与 SI 排名相反 | 必须直接评持久身份 |
两表都是从逐字连续原句整理的宽表，数字与单位保留原文，不做差值重算与百分比转换，百分点与相对百分比在此严格区分。
重叠与注册音频的对照支持什么，不支持什么？
消融要区分重叠用于转写与用于身份是 2 次选择。实验在同一 20 会干净子集上用 pooled 注册比较 4 种重叠策略：分离加 rematching 把可信分离流同时给识别与身份，省略重叠把时长合格的重叠区同时排除在识别与身份之外，两种混合识别都把重叠混合保留给每人识别但身份分别用干净或混合证据。论文报告分离加 rematching 在所测策略中 cpWER 与 SI-cpWER 最低，保留混合给识别相对省略能改善 cpWER，但两种混合策略会前 cpWER 相近而混合身份证据的 SI-cpWER 显著更高。这支持转写音频与身份证据分开选择，不分离出具体是声纹漂移还是其他内部失败。
拼接注册 × 最长轮次注册： 拼接注册把一个局部说话人的多段合格音频拼到 30 秒做声纹，分工是增加音素与声学覆盖；最长轮次注册只用最长一轮，分工是减少混入隐藏重叠的机会；搭配原因是噪声下拼接可能放大混合语音，组合意义是在同一匹配规则下检验入库音频量与纯净度的权衡。
注册音频消融显示 ThyVoice 用 pooled 相对最长轮次在干净约好 0.5 个百分点、噪声约好 2.4 个百分点，但该比较不分离各声纹门的作用。对照级联的拼接相对最长轮次在 10 格中 9 格改善，PyannoteAI 在干净到噪声方向反转，且 ElevenLabs 对比含运行间波动，这些是单次非配对描述性对照，不是方差受控结论。重提结果时新增的适用条件是：拼接能否收益取决于隐藏混合语音是否被放大，ThyVoice 只拼通过重叠与合格门证据，而 API 受限的对照级联拼的是暴露面音频，二者不是同一种拼接。下表整理可复述的数字关系，表前问题是持久增量与注册收益是否只在特定证据下成立，表后将说明代价与未评测边界。
代价是噪声主要降低重叠召回而精度保持高位，合并率上升，纯度下降，说明更多混合区间从定时上不可见。未评测边界包括更长多日重现、录音顺序鲁棒性、多语与语码切换，以及归属错误对检索事实与行动项归属的任务级伤害，这些在局限节展开。
可核对的消融与数据规模关系
下表整理注册与重叠的方向性证据，比较问题是 pooled 相对最长轮次在 ThyVoice 子集上改善多少，适用条件是同一 20 会干净与噪声子集。论文报告 pooled 在干净约好 0.5 个百分点、噪声约好 2.4 个百分点，且 NOTSOFAR 评估语音约三成重叠，说明重叠不可忽略。
| 比较维度 | Clean 改善 | Noisy 改善 | 重叠背景 | 适用条件与限制 |
|---|---|---|---|---|
| pooled 相对最长轮次 | 约 0.5 个百分点 | 约 2.4 个百分点 | 评估语音约三成重叠 | 同一 20 会子集方向性证据 |
| 对照反例 | 改善不分离各声纹门作用 | PyannoteAI 上随噪声反转 | 重叠不可忽略 | 不能把拼接当无条件收益 |
表后代价是该比较不分离各声纹门作用，且对照级联的 pooled 方向在 PyannoteAI 上随噪声反转，因此不能把拼接当无条件收益。
下表整理数据规模，比较问题是全量与消融子集各多大。标题与身份计数用全部 129 会，两 CHiME-6 会话有 56886 参考词，子集与会话细节回原文核对。
| 统计范围 | 会议与会话 | 参考词规模 | 说话人与子集 | 泛化限制 |
|---|---|---|---|---|
| 全量标题与身份计数 | 全部 129 会 | 129 会全量 | 全部会议 | 前 20 会只提供方向性证据 |
| CHiME-6 评估会话 | 2 会话 S01 与 S21 | 56886 参考词 | 2 会话说话人集合 | 只有 2 会话需补更广声学 |
以上 4 张整理表加一张原表选择共 5 张，其中两张整理表达到五列，原表宽度不足时由有完整逐字证据的整理表承担宽表要求，所有数字可回原文连续句核对。
哪些结论不能从当前证据推出？
纵向有效性受限：NOTSOFAR 会议是单次会话，持久性靠固定顺序串行共享声纹库模拟，不是跨日重现，因此结果度量该固定序列下的身份一致性，不建立更长时间尺度校准与顺序鲁棒性。
诊断可比性受限：词与局部说话人诊断评的是各系统可用的组件或提供方输出面，不是统一接口，带说话人标签的托管输出词错误率不同于纯识别器词错误率，原生 diarization 时间轴不同于词重建轮次，普通词错误率还可能惩罚重叠语音的合法序列化差异，因此这些值只用于诊断暴露证据面，端到端归属仍以 cpWER 与 SI-cpWER 为准。数据集覆盖受限：评测是英语单通道，噪声是确定性增强而非部署采集，CHiME-6 只有两远场评估会话，因此不建立多语、语码切换与更广设备声学的泛化。
缺失证据不是技术错误，相关性不是因果，未测量误判率、延迟与成本时不承诺这些量改善。总体趋势不等于每组每步成立，单次观察格不能做全组方差排名。
复现应先固定什么，再跑什么？
复现先固定信息条件：从空身份库开始，按同一固定顺序串行处理，不预注册说话人；干净每会选同一单通道非近讲设备流，不加波束形成；噪声用同一份种子固定的 WHAM 验证切分、MUSAN 语音做 babble、MUSAN 噪声做瞬态且不用音乐，babble 低通与混响、瞬态泊松率与信噪比抽取截断都要一致；CHiME-6 按约 300 秒切块并对齐到参考词边界，共享声纹库跨 2 会话。身份协议先固定：匹配阈值、最多 30 秒拼接注册、声纹库超 50 条时分批检索再选最佳达阈匹配、词继承簇身份、未知标签保留在标题分内。
局部 DER 与 JER 用零 collar 含重叠，原生轴不变，词标签输出用 0.25 秒最大间隔重建，合并间隔敏感性另做扫描但不改主结果。ThyVoice 门限先固定：分离流重匹配余弦 0.25，持久匹配 0.5，新建与更新分离，更新要求 0.7 相似度加干净或可信分离、有效语音活动与去重。先跑前 20 会子集验证重叠策略与注册方向，再跑全量 129 会与两 CHiME-6 会话。由于本次未确认代码可用，复现应视为按文重建流程与评分，而非下载运行原系统。
何时值得尝试门控证据，何时先补验证？
当应用需要跨会按人检索事实、总结与行动项，且只能拿到单通道环境音频时，值得尝试把转写音频与身份证据分开门控：重叠先检测，能修则经分离加余弦重匹配后使用，不能确信则宁可省略也不入库；注册用多段拼接增加覆盖，但只拼去重叠与通过门证据；匹配与更新用不同阈值，更新更严。当单会词错误率已是瓶颈时，先改善识别，因为识别错误会直接带入 SI-cpWER。当局部 diarization 暴露面是每词 1 人时，不要指望仅从定时去除隐藏重叠，需在流程上承认该面信息不足。
还需补的验证是真实多日重现、顺序打乱、误判代价与延迟成本，以及多语与语码切换下的识别、对齐、匹配与注册。常见误解是把单会 cpWER 高等同于长期记忆可用，本文反例是 ElevenLabs 单会领先但持久层被反超；另一个误解是把拼接注册一律当收益，噪声下隐藏混合可能放大收益方向会反转。记住一句话：漏词降召回，错人连错事实，因此持久归属必须直接评，不能用单会分数代替。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses