流式多说话人识别的四条路：不微调也能跑，微调才更准

英文题目：Pushing the Boundaries of Streaming Multi-Speaker ASR: A Systematic Study of Architectural Trade-offs

会议身份：conference:interspeech:2026:conference-paper-id:park26e_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#Conformer #模型比较 #流式处理 #语音识别 #说话人分离标注

评分：6.6/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Taejin Park：机构信息未能从会议 PDF 纯文本可靠映射
• Ivan Medennikov：机构信息未能从会议 PDF 纯文本可靠映射
• Kunal Dhawan：机构信息未能从会议 PDF 纯文本可靠映射
• Weiqing Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Jagadeesh Balam：机构信息未能从会议 PDF 纯文本可靠映射
• Boris Ginsburg：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

流式多说话人自动语音识别需以在线低延迟转写重叠语音并归属说话人，输入为长会话远场混叠音频，输出为带说话人标签的词序列，难点在于长上下文漂移与训练短测试长的失配。该流水线第一步由流式Sortformer v2.1输出到达序说话人缓存与帧级分离标注，第二步将该缓存经说话人内核嵌入送入共享Nemotron Speech流式编码器或用于掩蔽分支，第三步由RNN-T解码器按单实例序列化或多实例条件方式解码，前者输出合并转写，后者为各说话人分别解码，级联分支则将词时间戳映射到分离标注logits完成归属。机制差异在于词级序列化输出训练以单实例端到端建模重叠并依赖排列不变动态时间规整解决短片段转写与标注错位，而说话人自适应以多实例条件解码保留单说话人精度，前者免多实例开销但需微调，后者精度高但依赖准确分离与算力。在CH109、Mixer6与AMI会议转录（Meeting Transcription）共4个条件上的级联最小排列词错率（Concatenated Minimum-Permutation Word Error Rate，cpWER）显示，SSA在oracle平均16.18%与diar平均23.36%均领先，WL-SOT diar平均33.46%略优于掩蔽输入的34.77%。结论边界是该优势依赖准确流式分离标注与多实例算力，重叠严重与远场单麦克风下增益明显收缩，WL-SOT规模化仍待验证。原文未披露训练时长、推理吞吐与部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

流式多说话人识别到底难在哪里？

这篇解读的输入是论文正文与官方原图像素，目标是让刚进入语音领域的研究生能复述 4 种架构的做法与取舍。必须保留的信息包括统一使用的基座模型、是否多实例、是否微调、评测数据集与指标方向，输出是一套按学习依赖展开的中文讲解。

流式多说话人语音识别要同时做三件事，而且是在线做。第一是把声音变成文字，第二是判断每一句话是谁说的，第三是在延迟受限下不断输出，不能等整场会议结束再算。用白话说，模型像一边听直播一边做会议纪要，还要标注发言人。难点首先是重叠语音，两个人同时说话时声学特征混在一起，单说话人模型通常假设一段只有一个主导说话人，就会漏掉或串词。

其次是长上下文，会议可能持续几十分钟，模型要在训练只见过十几秒片段的情况下，推理时维持说话人身份一致，这就是论文提到的训短测长问题。最后是工程约束，实际部署时可能只有识别接口而拿不到参数，可能没有微调数据，也可能内存放不下多个模型实例。

初学者容易把字错率低等同于一切都好，但在多说话人场景还要看说话人归属是否正确。论文用拼接最小置换词错率，也就是 cpWER 来衡量，它允许对系统输出的说话人编号做最优置换后再算词错率，避免因为把说话人 1 和说话人 2 的名字叫反了就判全错。方向是越低越好。单说话人退化是另一条线，意思是为多说话人改了模型之后，在原来擅长的单人朗读任务上掉了多少，这关系到一个模型能否同时服务两种场景。内存占用和训练复杂度则是部署侧的代价，不能只看精度。

前人走过哪几条路线？

按同输入、同目标、同运行阶段来对照，前人路线大致有 3 类。第一类是离线多编码器或多注意力头分离加识别，早期工作用多个编码器处理重叠，思路直观但流式化困难。第二类是串行输出训练，简称 SOT，把多说话人的文字按时间顺序串成一个序列，中间插入说话人切换标记，让注意力机制自己学声学到文字的对齐。它的流式变体 t-SOT 把标记做到词或 token 级别，但论文指出这类方法多在 LibriCSS 这类仿真混合数据上验证，训练片段短，难以泛化到真实长会话。

第 3 类是日志加识别的模块化路线，先用说话人日志系统切分谁在何时说话，再用单说话人识别转写，必要时叠加引导声源分离估计谱掩码。这类系统在挑战赛离线条件下很强，但缺乏在统一基座下量化架构取舍的研究。

论文与前人的区别不在于提出某一个单点模型，而在于控制变量。4 个系统都从同一对开源流式模型派生，流式识别用基于循环神经网络 transducer 与 FastConformer 编码器的 Nemotron Speech 流式识别模型，流式日志用带到达顺序说话人缓存的 Streaming Sortformer v2.1。这样比较时基座能力相同，差异只来自是否用多实例、是否微调、日志信息在何处介入。教学上可以把这理解为 1 次消融到架构层面的对照实验，而不是 4 个独立论文的数字拼盘。

论文把设计空间切成哪四个问题？

论文把流式多说话人识别的集成方式归纳为 4 个范式，判据是日志与识别如何交互。第一个问题是如果 2 个模型完全不交互，只在输出端对齐，能否满足最低可用。第二个问题是如果把日志变成特征掩码，在输入端做软分离，能否不重训就改善重叠。第三个问题是如果只用一个识别实例端到端输出带说话人标记的序列，能否兼顾效率与精度，长会话身份如何维持。第 4 个问题是如果允许微调并为每个说话人跑一个实例，且把日志作为显式条件，精度上限有多高，代价是什么。

举一个教学例子帮助理解，例子不代表论文数值。假设 2 秒内说话人 A 说你好，说话人 B 同时说谢谢，单通道波形是叠加的。级联做法是识别先输出你好谢谢 4 个字的时间戳，再看日志在这段时间更相信 A 还是 B，若时间戳不准则可能把谢谢也算到 A 头上。掩码做法是日志告诉识别前半段 A 能量强、后半段 B 能量强，识别跑 2 次，1 次屏蔽 B 听 A，1 次屏蔽 A 听 B。SOT 做法是单个模型直接输出 A 标记你好、B 标记谢谢。

条件做法是跑两个带说话人指向的实例，各自只听目标人。例子说明信息介入点不同，错误来源也不同。

四种架构的全景与取舍坐标是什么？

从样本走一遍可以看清全景。输入都是多说话人录音的流式音频帧。级联分支让识别与日志并行跑，最后按词时间戳查日志 logit 最大值挂说话人。掩码分支让日志先产生活动掩码，作用到声学特征上，再并行跑多个识别实例。词级 SOT 分支只跑一个识别实例，但编码器状态里注入了日志的说话人核，输出是交替的说话人标记加词。

日志条件分支跑多个经过微调的识别实例，每个实例被日志嵌入显式指向一个说话人。输出都是带说话人归属的文字，只是实例数与训练需求不同。

要理解精度与代价的相对位置，先看论文给出的权衡示意图，它把错误率画在纵轴，工程代价画在横轴，圆点面积代表内存占用，并用背景区分是否需要微调。

看图路径： 1. 先看横轴工程代价与纵轴错误率的方向，确认右下为理想区；2. 再看绿色单实例椭圆与蓝色多实例椭圆各包含哪两个点；3. 最后比较圆点面积代表的内存占用，找出面积最大的两个点

论文图 1。原论文 Figure 1：“Trade-offs: Error Rate vs. Engineering Cost and Memory Footprint.”。

这张图报告的内容是 4 个点的相对布局。左上小圆点是级联，错误率高但工程代价低且无需微调。左中大圆点是掩码输入，错误率中等，仍无需微调但因多实例内存大。右中深色小圆点是 SOT，单实例内存小但需要微调，错误率介于级联与掩码之间。右下深色大圆点是日志条件，错误率最低但工程代价与内存都大。

绿色椭圆圈住单实例两条路线，蓝色椭圆圈住多实例两条路线。读图时不要读出具体数值，像素没有标刻度，只能做相对排序。它的教学价值是把后文表格的数字趋势先变成直觉，精度、内存、微调三者不可兼得。

级联与掩码：不重训的两条路如何工作？

先讲级联。白话是各干各的，最后对表。识别模型输出词与时间戳，日志模型输出按帧的说话人活动，两者没有任何中间交互。说话人归属靠映射完成，对每个词看其时间戳区间内哪个说话人 logit 最大就归给谁。优点是工程开销最小，不重训任一模型，特别适合只有识别接口的生产线。缺点有两条，论文明确写出，一是重叠段通常假设单说话人主导，难以转写重叠，二是词时间戳不准则边界错位，直接导致挂错说话人。

级联的数据流在原图中表现为底部同一波形分两路，右上是词条与日志条的对照表，红色虚线是切分边界，左上是挂好标签的输出。下面这张图就是该过程的可视化。

看图路径： 1. 先沿底部音频同时指向识别模型与日志模型的分叉箭头看；2. 再看右上词与时间戳行和日志结果行的红色虚线对齐位置；3. 最后看左上输出中说话人标签是如何挂到词串上的

论文图 3。原论文 Figure 2：“Cascaded approach: The two ASR and diariza- tion systems do not have any interaction.”。

这张图可见的关键是两条独立绿色模块，左侧识别模型与右侧日志模型都以雪花标记表示冻结，底部波形同时送入两者。右上白框内上排是 hi how are you I am good thanks 的词块，下排是 speaker_0 与部分重叠的 speaker_1 横条，红色虚线把词块切给不同说话人。教学动作是沿波形到 2 个模型的箭头确认无交互，再看虚线位置理解时间戳误差会如何让 you 与 I 归属抖动。

再讲掩码输入。白话是在特征层戴上降噪耳机。日志输出的说话人相关掩码作用到声学特征上，得到每个说话人的掩码特征流，再并行跑多个识别实例，每个实例 1 次只转写一个说话人。优点是部分分离了并发说话人，不直接依赖识别时间戳做切分，无需重训即可复用单说话人模型，对数据稀缺语言有吸引力。缺点是重叠识别仍落后于专门微调的系统，且多实例带来随说话人数增长的计算与内存代价。

掩码路径在原图中表现为左侧日志模块输出条带，箭头指向右下声谱图上的蓝色遮挡块，上方堆叠的识别模型输出两行带标签文本。

看图路径： 1. 先看左侧流式日志模型输出的说话人活动条带；2. 再看箭头如何指向右下声谱图上的蓝色掩码块；3. 最后看堆叠的流式识别模型如何输出带说话人标签的两行文本

论文图 2。原论文 Figure 3：“Masked Input Approach: Diarization information is provided at the audio feature input level.”。

这张图可见的是左侧 Streaming Diarizer 模块与顶部活动条带，中间箭头把活动信息送到右下特征图，特征图上有两块蓝色掩码分别压住不同时频区，上方堆叠的 Streaming ASR 模型输出 spk0 与 spk1 两行。观察时先确认掩码块与活动条带的对应关系，再看堆叠模型表示多实例并行，而不是单个模型依次输出。

说话人日志 × 自动语音识别： 说话人日志负责回答谁在何时说话，给出按时间展开的说话人活动；自动语音识别负责回答说了什么，给出词序列。两者搭配的原因是流式多说话人任务同时需要内容与归属，组合意义在于用时间对齐把词挂到说话人上，级联是事后挂靠，掩码是事前分离，条件与 SOT 是把日志信号写进编码过程。

掩码输入 × 多实例解码： 掩码输入负责用日志得到的说话人掩码在声学特征层压制非目标说话人；多实例解码负责为每个说话人并行跑一个识别实例。两者分工是前者做特征级分离，后者做实例级并行，搭配理由是不依赖词时间戳做硬切分，组合意义是部分缓解重叠语音，同时复用单说话人模型而不重训。

单实例 SOT 与多实例条件：精度从哪里来？

SOT 路线只用一个识别实例，靠序列化解决多说话人。论文的流式词级 SOT 在编码器与循环 transducer 解码器之间注入日志预测，做法是把日志的到达顺序说话人缓存经说话人核机制嵌入编码器状态。这样模型在长会话中有一个外部身份锚点，缓解训短测长问题。训练时短片段来自长会话的截断，前文语音会溢出到目标段，导致文字中的说话人标记与 RTTM 时间标注错位，到达时间排序会进一步放大标签错乱，这就是后文 PI-DTW 要解决的。

日志条件路线以自说话人自适应识别为实现，同样基于 Nemotron 流式模型，但做了专门微调以接入说话人条件。推理时日志预测孵化出多个识别实例，每个实例锁定一个说话人。优点是重叠语音最好，且因按说话人解码，单说话人精度退化很小。缺点是需要微调，内存随说话人数增大，计算成本高。原图显示底部多说话人录音同时进特征提取与日志模型，日志产生活动预测，再生成批量掩码特征送入堆叠的 Fast Conformer 编码器与 RNN-T 解码器，最终批量输出每个说话人的文字。

串行输出训练 × 到达顺序说话人缓存： 串行输出训练负责把多说话人文字串成一个带说话人标记的序列，让单个解码器依次输出；到达顺序说话人缓存负责在流式日志中按说话人首次出现顺序维持长期说话人身份。搭配理由是长会话推理时端到端模型容易丢失跨段身份，组合后日志缓存为编码器状态提供稳定的说话人锚点，使短片段训练的模型能在不定长推理中维持监督。

日志条件 × 自说话人自适应： 日志条件指把日志预测作为显式条件送入识别模型；自说话人自适应是论文采用的具体实现，让每个识别实例锁定一个目标说话人解码。分工是日志提供谁在说话，适配机制决定如何只听目标人，搭配理由是重叠段需要比特征掩码更强的说话人指向性，组合后在重叠上精度最好，代价是需要专门微调与更大内存。

PI-DTW 如何把错位的词与时间对上？

训练部分先交代两条线的真实计算过程。词级 SOT 线用 AMI 语料的头戴混合、领夹混合与麦克风阵列第一通道，加上 ICSI、DipCo 与 Fisher 英文语料，按已有清洗方法生成含 1 到 4 个说话人的短句。编码器用 Nemotron 模型的 FastConformer 权重初始化，RNN-T 解码器随机初始化。先在 8 到 12 秒短段上训 50,000 步，再用 10 到 55 秒变长截断段以 2 乘 10 的负 4 次方学习率微调 20,000 步，单节点 8 卡 A100，其他配置沿用 SSA 论文设定。日志条件线沿用 SSA 训练方法，额外加入 Granary 单说话人数据与 AMI、ICSI、NOTSOFAR-1，分词器、优化器与调度与 SSA 研究相同。论文没有给出梯度是否截断到日志模型，图中日志模块标雪花表示冻结，应理解为监督来源是 RTTM 与文字，具体冻结范围以图标为准，未报告处不推定。

PI-DTW 要解决的是短片段中说话人置换不定。记号先说清，N 是说话人数，T 是帧数，K 是词数，A 是来自 RTTM 的 T 乘 N 说话人活动矩阵，s 是每词说话人编号序列，w 是词序列，置换映射把文本说话人编号映到 RTTM 列。局部代价衡量文本说话人独热与置换后活动的失配，并除以该帧同时活跃人数以处理重叠，单人匹配时代价为 0，2 人重叠且命中其中之一时代价为 0.5，文本说话人未活跃时代价为 1。再做逆频率加权，让每个说话人贡献均衡，权重为总词数除以该说话人词数。

累积代价允许垂直、斜向、水平 3 种转移，分别对应多词对 1 帧、1 对一、一词跨多帧，边界条件按动态规划处理。频率代价另算两边说话时长比例的 L1 距离，文本侧用字符数代理时长，RTTM 侧用真实时长，两者相加选最小置换。论文用批量计算同时评估所有置换，外层在词与帧上的循环因动态规划依赖保持串行。

下图是 SOT 模型在推理与训练中的位置，右侧日志注入是理解 PI-DTW 监督从何而来的关键。

看图路径： 1. 先看底部同一音频同时进入编码器与流式日志模型的路径；2. 再看右侧日志输出如何横向注入编码器与解码器之间的状态；3. 最后看顶部输出中交替出现的说话人标记与词的排列方式

论文图 4。原论文 Figure 4：“Serialized Output Training Approach: A single ASR instance and a streaming diarization model support long-term speaker cache management.”。

这张图中央是 Streaming ASR 模型大框，内部上方 RNN-T 解码器与下方编码器都标火焰表示可训练，中间小色块是说话人状态。右侧 Streaming Diarizer 标雪花表示冻结，其输出横向注入色块。底部同一波形同时送编码器与日志模型，顶部输出是带 s0、s1、s2 标记的交替词串。读图时先确认可训练与冻结的标记差异，再看日志箭头注入的位置不是音频输入端而是编码器状态，这解释了为什么训练标签错位会直接污染编码表示。

动态时间规整 × 说话人频率代价： 动态时间规整负责在词序列与帧级说话人活动之间找一条单调对齐路径，处理语速与停顿差异；说话人频率代价负责比较文本侧按字数估计的说话时长比例与 RTTM 侧真实时长比例。搭配原因是前者在双方说话量接近时准，后者在一方主导时区分度强，两者相加选最优置换，解决短片段截断导致的转录与 RTTM 标签错位。

在什么数据与指标上比较才算公平？

评测问题分两层，多说话人精度与单说话人退化。论文强调与前人不同，不只报 LibriCSS 仿真混合或离线结果，而是在严格流式约束下测真实多说话人录音。数据集包括 CallHome 美式英语的两说话人子集 CH109 共 109 个文件、Mixer6、AMI 会议语料的头戴混合与单远场麦克风条件。指标多说话人侧用 cpWER，方向越低越好，同时给出用真值日志的 oracle 列以剥离日志误差，用估计日志的 diar 列反映可部署性能。单说话人侧用 Hugging Face OpenASR 榜单数据集上的词错率，同样越低越好。基座统一为 Nemotron 流式识别与 Streaming Sortformer，延迟一栏中流式系统标 1.04 秒，离线系统标无穷大，模型尺寸以 1000000000 参数计。

公平条件需要逐项核对。对开源的 VibeVoice 与 DiCoW，论文用相同音频与标注重测，脚注说明结果可能与原文章不同。对自家四系统，oracle 与 diar 两列的音频与标注相同，差异只来自日志是真值还是估计。硬件与训练预算按上节交代，SOT 与 SSA 的数据构成不同，这一点在解读收益时必须记住，不能把数据增量全部归因于架构。资源状态方面，本次未发现来源绑定且完成验证的资源，不得声称代码、模型或数据已公开，只能按论文文字讨论方法可复述性。

多说话人精度：谁最好，谁垫底？

比较问题是 4 个可运行策略在相同真实会话上的多说话人 cpWER 谁最低，公平条件是同一音频与标注下比较 diar 列，oracle 列另行标注为去除日志误差的上限参考，指标方向越低越好。下表把论文表 1 的估计日志列按数据集整理，数值保留原文 1 位或 2 位小数写法。

表后解释需要同时讲收益与代价。报告显示日志条件 SSA 在 4 组估计日志上全部最低，平均 23.36，相对掩码输入的 34.77 与级联的 42.27 优势明显，支持其在重叠上最强的判断。词级 SOT 平均 33.46 略优于掩码输入，但在 CH109 上 32.29 差于掩码的 24.27，说明趋势不是每组都成立。级联平均最差，且在远场单麦上达 54.83，印证其单说话人假设在重叠与远场下失效。未胜出项中掩码输入虽无需重训，但在 Mixer6 与远场上仍落后微调路线，负结果是免微调的上限。

还需注意 oracle 列中 SSA 平均 16.18 仍最好，但掩码与 SOT 的 oracle 并未同步大降，说明除日志误差外，架构本身的分离能力仍是瓶颈。离线 DiCoW 在论文重测下平均 15.11，但它是离线系统，不与流式策略做同条件胜负，只作背景参考。

单说话人退化：改了多说话人，老本行掉了吗？

比较问题是为多说话人改动后，单说话人任务掉了多少，公平条件是同一 OpenASR 榜单子集与同一流式延迟下比较，指标方向越低越好。下表整理基座与两条微调线的部分结果，数值保留原文 2 位小数。

表后解释要区分两条线的不同命运。报告显示 SSA 平均 7.44 与基座 7.16 基本持平，在 AMI 上 11.62 对 11.58 几乎无退化，支持按说话人解码保留单人能力的判断。词级 SOT 平均 16.95 显著恶化，在 Earnings 类数据上达 37.25，在干净朗读上也从 2.31 掉到 9.31，说明单个解码器同时承担内容与说话人标记后，单人分布被扰动。这是选择架构时的具体代价，如果系统要同时服务单人听写与多人会议，SOT 需要额外缓解退化的措施，而 SSA 更接近即插即用。离线大模型如 Canary 与 Whisper 平均更低，但延迟为离线且参数量大，不构成同运行阶段的胜负。

oracle 与估计日志的差距说明了什么？

把 oracle 列与 diar 列并排看，可以分离两类误差。级联在 CH109 上 oracle 为 38.9 而 diar 为 30.72，出现估计好于真值的反常，论文未解释，可能与时间戳映射在真值边界更严格或评测抖动有关，解读时应标注为冲突而非强行解释。掩码输入在 AMI 远场上 oracle 为 36.18 而 diar 为 48.75，差距约 12 个点，说明远场下日志误差放大多实例的掩码偏差。SOT 在 AMI 头戴上 oracle 为 23.8 而 diar 为 31.38，差距同样显著，说明即使有缓存锚点，日志质量仍影响编码器状态。SSA 在远场上 oracle 为 20.27 而 diar 为 39.91，差距最大，恰恰因为它最依赖日志条件，日志错则指向错。

这组对照的教学意义是精度上限与可部署精度要分开表述。oracle 是事后参考，不能代替可部署收益。实际选型时若日志在目标场景的日志错误率高，多实例路线的理论优势会被侵蚀，此时免微调的掩码或级联可能因简单而更稳。论文还报告流式日志的日志错误率（%）在 CH109 为 5.09，在 Mixer6 为 20.34，在 AMI 头戴为 16.67，在远场为 20.57，这与各系统在远场差距拉大的趋势一致，支持日志质量是主要限制之一，但相关性不等于因果，未做干预实验前只能说支持。

还有哪些没测到与不能承诺的？

首先是数据与泛化边界。训练与评测集中在英文会议与电话域，AMI、ICSI、Fisher、Mixer6、CallHome 都是英语，论文未报告数据稀缺语言上的数字，因此不能承诺掩码路线在小语种上一定有效，只能说它因无需重训而有吸引力，待验证。其次是说话人数与时长。训练短句含 1 到 4 个说话人，评测以两到多人的会议为主，对更大说话人数下内存随实例数增长的具体曲线未给出数字，只能定性说多实例成本随人数增长。

其次是延迟与算力的缺项。论文给出流式延迟 1.04 秒与模型尺寸，但未报告实时率、首词延迟分布或不同并发下的内存峰值，不能承诺最低错误率的系统同时延迟最优。训练资源只给到单节点 8 卡 A100 与步数，未给总时长与能耗，复现预算只能按步数与数据量估算。最后是方法细节缺项。PI-DTW 中字符数代理时长的合理性、说话人核的具体维度、SSA 条件注入的层数与梯度路径，原文未完全展开，复现时需回到引用的 SSA 与 Sortformer 论文核对，不从模型名推定实现。缺失证据不是技术错误，但写结论时要用报告显示表达已测结果，用可能待验证表达外推。

要复现，先做什么，后补什么验证？

复现的第一步是搭出可运行的级联基线，因为它不需要训练。调用流式识别得到词与时间戳，调用流式日志得到帧级活动，按词区间取最大 logit 挂说话人，先在 CH109 两说话人子集上算 cpWER，确认流程与 oracle、diar 两列的含义。第二步是加掩码输入，同样不重训，把日志活动转成特征掩码后跑多实例，观察重叠段是否改善，同时记录内存随实例数变化。第三步才是微调线，先复现 PI-DTW 的数据准备，用短截断段生成词级 SOT 标签，跑置换搜索解决 RTTM 错位，再按短段预训加变长微调的顺序训练，最后复现 SSA 的条件微调。关键超参数要保留，SOT 是 8 到 12 秒预训 50,000 步、10 到 55 秒以 2 乘 10 的负 4 次方学习率微调 20,000 步，编码器用 Nemotron 权重初始化、解码器随机初始化。

值得尝试的时机很具体。当只有识别接口且无微调数据时，先试级联与掩码。当有重叠多、远场多的会议需求且能承担微调与多实例内存时，试日志条件 SSA。当追求单实例低内存且能接受单人退化时，再探索词级 SOT，并把 PI-DTW 作为数据准备的必备步骤。还需补的验证包括在目标场景测日志错误率与 cpWER 的联合曲线、在单人榜单上回归测试、记录不同说话人数下的峰值内存与实时率，避免把平均收益推广到每一组或每一步。

如何一句话记住四条路的选择？

回到开头的直播做纪要比喻，级联是听完再对名单，简单但重叠必错。掩码是先戴耳机再听，不用学新手艺，重叠好一些但人多则累。SOT 是一个人同时记内容与人名，省人但容易把老本行记差，需要 PI-DTW 先把错位的名单对齐。日志条件是给每个人配一个专属记录员，最准且不丢老本行，但要提前培训并付更多人力。论文的价值在于用同一基座把这四句话量化，diar 平均从级联 42.27 到掩码 34.77 到 SOT33.46 再到 SSA23.36，单人平均从基座 7.16 到 SSA7.44 基本不掉、到 SOT16.95 大掉。选型时先看有无微调条件与内存预算，再看是否需兼顾单人任务，最后用 oracle 与 diar 的差距判断日志在目标场景是否拖后腿。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总