一句输出谁、何时、说了什么：SDR-LLM 用先进先出序列统一说话人、文本与毫秒时间戳

英文题目：SDR-LLM: Speech-LLM Based End-to-End Speaker Diarization and Recognition with Sentence-Level Temporal Modeling

会议身份：conference:interspeech:2026:conference-paper-id:yu26g_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#端到端学习 #多任务学习 #音频大模型 #语音识别 #说话人分离标注

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Renjie Yu：机构信息未能从会议 PDF 纯文本可靠映射
• Yixuan Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Shun Lei：机构信息未能从会议 PDF 纯文本可靠映射
• Xiang Li：机构信息未能从会议 PDF 纯文本可靠映射
• Runchuan Ye：机构信息未能从会议 PDF 纯文本可靠映射
• Yikai Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Guoyang Zeng：机构信息未能从会议 PDF 纯文本可靠映射
• Zhiyong Wu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

说话人分离标注与识别（Speaker Diarization and Recognition，SDR）要求从多人对话音频同时输出谁在何时说了什么，级联系统存在分割误差向识别传导，重叠下轮转建模困难，多数端到端方案只输出语序文本而缺毫秒级时间戳。本文提出SDR-LLM统一语音大模型框架，输入16 kHz单通道对话切片与自然语言提示，输出含说话人标识、量化起止时间与文本的结构化标记序列，一次自回归解码同时完成分离标注与识别。语音前端并行使用FireRedASR-LLM-L内置Conformer编码器提供声学语义表示与WavLM-Large编码器经多层融合补充说话人判别线索，对齐至80 ms后拼接输入Qwen2-7B-Instruct。输出采用先进先出（First-In-First-Out，FIFO）序列化，重叠语句按绝对起始时间排序并保证先开始者整句完整输出。训练采用两阶段策略：第一阶段用单语句语料合成时间感知、说话人判别、对话模拟三任务预训练，第二阶段用真实会议微调。在AliMeeting测试集上连接字错率（concatenated minimum-permutation Character Error Rate，cpCER）为29.51%，优于级联最强基线Sortformer加FireRedASR的34.67%与Pyannote加FireRedASR的47.13%；在AISHELL-4上分离标注错误率（Diarization Error Rate，DER）为11.83%，与Pyannote前端的11.82%基本持平但转写优势明显。结论限于2至4人、20至30秒切片的中英文会议播客场景，4人与低重叠下时间精度优势收窄，未验证长时与任意人数外推。原文未披露推理时延与部署成本，承诺未来开源但本稿无可获取产物。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么研究生要关心这篇？

这篇论文的输入是一段最长按 30 秒处理的会议或播客录音，里面有 2 到 4 个人轮流说话，偶尔同时开口。目标是 1 次输出三件事：谁说的、说的文字内容、每句话从几秒几毫秒开始到几秒几毫秒结束。研究生需要保留的关键信息是任务名说话人日志与识别联合建模、输出必须带句子级时间戳、训练分仿真预训练与真实微调 2 个阶段、评测同时看转写、归属转写与分割 3 类指标。本文的输出是 1 篇可核对的方法复述，不做超出原文的优劣断言，所有数字都回到原文表格与正文描述。

传统做法是级联：先用语音活动检测加说话人聚类切分音频，再把每段送给识别模型转写。这种分工清晰，但前段切错或把两个人混在一起，后段只能在错误切分上转写，误差会累积。另一类端到端做法只给说话人顺序与文本，不给毫秒级时间戳，落到会议纪要就无法定位。SDR-LLM 想同时解决这两个缺口：用一个语音大模型自回归生成带时间的完整句子序列，既避免 2 阶段硬切分，又补上细粒度对齐。

理解本文需要先建立学习依赖：先分清说话人日志与识别各自的输入输出，再看模型如何把两路语音特征与提示词拼成大模型输入，再看输出序列如何用符号表示身份与时间，再看 3 类仿真任务如何补数据，最后看评测条件是否公平。本文严格只讲论文实际研究的最多 4 人、每段 20 到 30 秒的句子级联合任务，举例会明确标为例子，不虚构效果数字。

同类路线有哪些，各自解决了什么、留下了什么？

在同输入同目标的维度上，级联路线以 3DSpeaker 与 Pyannote Audio 为代表，用神经分割加说话人嵌入提取做前端，再接识别后端。原文指出这类工具在真实会议上稳健，但属于分段逻辑，难以刻画高度动态对话中的说话人时间关联，重叠时容易出现时间偏移或说话人混淆。Sortformer 引入按首次出现顺序的排序损失解决排列模糊，META-CAT 把日志监督拼接到识别特征，都在向统一架构靠近，但仍保留模块边界。

在端到端路线上，SpeakerLM 把语音特征与说话人嵌入映射到统一空间，直接生成说话人顺序与文本，属于粗粒度联合建模，不输出句子级时间戳，也因此不评分割错误。VibeVoice-ASR 用超低帧率编码器处理最长 60 分钟音频，解决切块上下文碎裂，但依赖大规模高质量标注。TagSpeech 用语义流与说话人流解耦加交错时间锚点，统一内容、身份与精确时间戳，但原文指出其训练数据相对有限，性能竞争力不足。

本文与上述工作的对照点是监督与运行阶段相同：都是在会议类音频上同时做日志与识别。区别在于输出粒度与数据假设：SDR-LLM 要求输出毫秒级起止时刻，同时假设精标注真实数据稀缺，必须靠单句语料仿真补齐。因此后文比较是否公平，关键看训练数据量是否接近约 100 小时量级，以及基线是否同样输出时间戳。不能把类别差异直接当胜负，例如拿不输出时间戳的模型比较分割错误就没有意义。

任务难在哪里，论文把问题形式化成什么？

难点有 3 个。第一是排列问题：模型输出的说话人编号与真实编号没有固定对应，必须按出现顺序重排后才能算对，这就是后文用说话人归属错误指标的原因。第二是时间精度：要求毫秒级起止，若只输出文本就无法定位，级联系统靠切分模块给时间，端到端必须自己学会时间感知。第三是数据稀缺：同时带准确时间戳、说话人标签与文本的多人对话很难标注，真实语料只有 100 小时量级，远少于单人识别语料。

论文把问题形式化为序列生成：给定 30 秒音频与一条文字提示，生成由说话人符号、开始符号加量化时刻、文本词元、结束符号加量化时刻组成的序列。多句话按先进先出原则按绝对开始时间排序，重叠时先开始的句子先完整生成。评测时去掉说话人与时间符号算纯转写错误，保留归属关系算归属错误，用误报加漏检加混淆算分割错误。

说话人日志 × 自动语音识别： 说话人日志负责回答谁在何时说话，给出语音活动与说话人边界，自动语音识别负责把语音内容转成文字，二者搭配的理由是完整复述会议需要把文字挂到正确说话人与正确时间上，SDR-LLM 的组合意义是让同一个自回归模型依次生成说话人编号、起止时间与文本，避免先切分后识别的误差传递。

比如一个例子：0.00 秒说话人 0 说 Hi，1.68 秒说话人 1 说 OK，两句重叠，目标序列就是先输出说话人 0 的完整四元组，再输出说话人 1 的四元组，各自保留自己的起止时间。这不是无源推测，而是原文给出的重叠处理示例结构，后文方法节会展开符号定义。

方法全景：一个样本如何从波形走到带时间的文本？

先沿一个 30 秒样本走完全程。波形以 16 千赫重采样后同时送入两路编码器：一路是 FireRedASR 的 Conformer 编码器，给出 80 毫秒分辨率的声学表示；另一路是 WavLM-Large 编码器，经线性融合多层隐状态，再经 1 维卷积下采样到 80 毫秒并投影到大模型隐空间。两路输出记为 Ec 与 Ew，与提示词嵌入 Ep 拼接成模型输入 Xin，大模型基于 Xin 自回归生成目标序列 ET。训练只在目标词元上算交叉熵，推理只给语音嵌入与提示嵌入，逐词生成日志与转写。

这段导读对应总体架构图，帮你把双分支、提示词与目标序列的位置关系先定位，再看文字解释。

看图路径： 1. 先沿底部语音箭头向上看两路编码器与适配器的分支走向；2. 再看中间提示词与目标序列如何与两路语音嵌入拼接后进入大模型；3. 最后对照顶部输出示例确认说话人符号与起止符号的位置顺序

论文图 1。原论文 Figure 1：“Overview of the Proposed Framework - Model Architecture and Input/Output Schematic.”。

从像素可见，底部同一语音分叉到左侧 Conformer 编码器与右侧 WavLM-Large 编码器，各经适配器得到 Ec 与 Ew，中间提示词得到 Ep，右侧目标序列得到 ET，4 组隐向量一起送入顶部大语言模型，顶部逐块输出说话人符号、起止符号、文本与结束符。图例用火焰标可训练、用雪花标冻结：两个适配器与大模型的 LoRA 部分可训练，两路编码器主体与大模型主体冻结。这种安排的理由是保留 FireRedASR-LLM-L 约 8,300,000,000 参数主干的识别能力，只用增量参数学说话人区分与时间生成。原文未报告梯度是否截断到编码器的细节缺项，这里不从模型名推定，只按图例说明冻结与更新的边界。

输出序列与重叠机制：符号如何表示身份与毫秒？

输出符号分 3 类。时间戳沿用 Whisper 式量化：30 秒切成 375 个离散词元，步长 80 毫秒，从 0.00 到 30.00。开始时间用 1 对限定符包裹，结束时间用另 1 对限定符包裹。说话人用 4 个符号表示最多 4 人，编号按段内出现顺序重排，有效覆盖评测集的多数场景，也有利于稳定训练与控制词表。单句模板是说话人符号、开始限定加开始时刻、文本、结束限定加结束时刻。

重叠处理不做声源分离，而是靠排序适配自回归：按话语绝对开始时间串行化，先开始的句子先完整输出，再输出后开始的句子。原文示例是先输出 0.00 开始的 Hi 到 2.00 结束，再输出 1.68 开始的 OK 到 2.32 结束，两句各自保留真实边界，生成顺序保证语义完整。这种设计在重叠率升高时有助于保持说话人归属的连续性，但代价是输出长度随说话轮数增长，自回归延迟也会增加。

Conformer 编码器 × WavLM-Large 编码器： Conformer 编码器分工是提供 FireRedASR 主干的声学语义表示，保留原有识别能力，WavLM-Large 编码器分工是经多层融合提供说话人判别线索，二者搭配的理由是单一识别编码器对音色不敏感，组合意义是沿时间维拼接后同时送入大模型，使同一帧既有内容信息又有身份信息。

时间戳量化 × 说话人编号： 时间戳量化分工是把 30 秒切成 375 个步长 80 毫秒的离散时刻并用开始与结束限定符包裹，说话人编号分工是用 4 个符号区分最多 4 路说话人，二者搭配的理由是大模型只能生成离散词元，组合意义是每句话形成说话人、开始时刻、文本、结束时刻的完整四元组，可直接计算分割错误与归属错误。

先进先出排序 × 重叠语音： 先进先出排序分工是按话语绝对开始时间决定生成顺序，重叠语音是两路说话同时发声的输入条件，二者搭配的理由是自回归只能逐句输出不能并行输出两路，组合意义是先完整输出先开始的一句再输出后开始的一句，用各自起止时间保留重叠关系，维持语义完整与时间可对齐。

需要提醒的边界是模型限定最多 4 人与有限时长，动态增人或超长会议需要滑动窗切分与重排，这会引入跨窗编号不一致，后文复现节会给出原文的切分与过滤协议。

两阶段训练：仿真任务如何构造，真实数据如何切分？

第一阶段用单句语料构造仿真任务，语料选 AISHELL-1、AISHELL-3 与 LibriSpeech 以兼顾中英文，所有音频去首尾静音以准确估计时长用于时间监督。第二阶段用真实对话微调，语料为 AISHELL-4、AliMeeting 与播客电话英文集，采用官方划分，训练与测试独立处理。长音频用滑动窗切成 20 到 30 秒片段，段内说话人按出现顺序重排，只保留 2 到 4 人片段，段首尾 1 秒内不允许重叠以防边界残留干扰，同说话人间隔不足 1 秒的两句合并，首句仅为语气词的片段剔除。文本去标点与特殊字符，英文转小写。

3 类仿真任务定义为语音、提示、目标三元组，用不同提示词隔离。任务一增强时间感知：单句随机嵌入 30 秒静音背景，要求输出起止量化时刻与转写。任务二增强说话人区分：取 3 到 4 人话语切成多子段交错排布，相邻子段属不同说话人，允许最多 1 秒重叠，目标只含说话人编号与起止时间，不含转写，以聚焦解耦。任务三模拟对话：取 1 到 3 人语音随机时移嵌入静音背景，允许最多 1 秒重叠，目标为完整四元组联合建模。

这段导读对应三任务示意图，先看音频条带排布再看提示与目标的差异。

看图路径： 1. 先对比三个任务音频条带中单段、碎片交错与整句交错的排布差异；2. 再对照每行提示词确认任务一重转写加时间、任务二只给身份加时间；3. 最后看目标序列中说话人符号与文本是否同时出现以区分联合建模

论文图 2。原论文 Figure 2：“Stage 1 Training Tasks.”。

从像素可见，任务一音频条带只有一段高亮居中，起止标为 5.04 与 16.00，目标只含起止与文本。任务 2 条带为多色碎片交错铺满 30 秒，目标为多组说话人编号加起止、无文本。任务 3 条带为 3 段较长色块部分重叠，目标同时含说话人、时间与 3 段文本。优化用 AdamW，初始学习率 1e-6 经前 10% 步数线性热身到 5e-6 峰值，再按余弦退火。第一阶段在 8 卡 H100 上跑 120000 步、每卡批量 4，第二阶段跑 6000 步、每卡批量 2。原文未报告是否对编码器解冻的逐层细节与损失权重，复现时应视为缺项，不自行假设。

实验条件：数据、基线、指标与运行方式是否可比？

评测固定在第二阶段 3 套数据的测试集。纯转写用中文字符错误率与英文词错误率，计算前移除说话人与时间符号，只看内容。归属转写用修正的字符与词错误率，对所有说话人排列取最小总误差，同时罚认错人与认错字。分割错误为误报加漏检加说话人混淆除以总时长，原文给出公式定义。指标方向都是越低越好，但百分点差值与相对百分比不同，后文只报百分点差值，不换算相对提升。

基线分两类。级联类用 Pyannote 与 Sortformer 做前端切分，再把切分段送 FireRedASR-LLM 做后端识别，记为两条流水线。端到端类选 SpeakerLM、Gemini-2.5-pro 与 TagSpeech，其中 SpeakerLM 因源码与私有预训练数据不可复现，直接引用原文在可比数据量下的结果。原文验证了 Pyannote 前端的分割错误与官方接近，说明实验搭建有效。需要保留的可运行策略是两条级联流水线与 TagSpeech、Gemini 的实测值，引用值另行标明，不能用引用最优代替可部署收益。

仿真预训练 × 真实微调： 仿真预训练分工是用单句语料拼出大量带时间监督的 30 秒训练样本，解决精标注对话稀缺问题，真实微调分工是用会议播客长音频的切分片段适应真实混响轮转与重叠，二者搭配的理由是先学边界与音色再学真实交互，组合意义是在有限真实数据下同时提升时间感知与说话人区分能力。

硬件与预算按原文交代：2 阶段都在 8 卡 H100 上执行，超参数与切分协议见上节。资源状态方面，本次未发现来源绑定且完成验证的代码模型数据资源，不得声称代码模型已公开。原文结尾称未来计划释放代码模型，在本次证据下只能写计划，未能确认可达。

主结果：在相同量级数据下谁赢了，代价是什么？

比较问题是：在输出句子级时间戳的前提下，本方法相对可运行的级联流水线与端到端模型，是否同时改善归属转写与分割。公平条件是同测试集、同切分协议、端到端训练量为约 100 小时量级。指标方向均为越低越好。下表整理 3 数据集上的关键数字，单位为百分比，裸值保留原文写法，表头单位即百分比。

上表显示，本方法在 3 套数据的归属转写上全面低于两条级联流水线与 TagSpeech，在 AISHELL-4 上分割错误与级联持平，在英文播客集上优于级联，但在 AliMeeting 上分割错误高于级联。这就是主要收益与具体代价：联合建模减少了切错导致的整句丢失，尤其在重叠多的会议上归属错误下降明显，但分割精度在高动态会议上仍不及精细工具链。未胜出项必须指出：AliMeeting 分割落后，以及四说话人时长尾问题，后表继续展开。引用对比显示本方法在 AISHELL-4 归属错误上优于更大数据量的 SpeakerLM 引用值，但因非同机复现，只能表述为报告显示，不作同条件胜负断言。

这段导读对应重叠率分组曲线，帮你判断先进先出在不同重叠下的行为是否与主表一致。

看图路径： 1. 先确认横轴为重叠率、上下两排纵轴分别为归属错误与分割误差；2. 再跟踪紫色本方法曲线在重叠率增大时与其他颜色曲线的相对位置；3. 最后对比低重叠与高重叠两端哪一类误差反超以理解先进先出的适用边界

论文图 4。原论文 Figure 4：“Performance under different overlap levels on Al- imeeting.”。

从像素可见，上排归属错误随重叠率上升先升后略降，本方法紫色曲线在各重叠桶多为最低，尤其高重叠端明显低于蓝色级联曲线。下排分割误差随重叠率单调上升，低重叠端级联蓝橙曲线低于紫色，高重叠端紫色追平或反超，绿色大模型曲线整体偏高。结合主表可判断：趋势支持重叠越高联合建模收益越大，但不能把末桶结果推广为全程，也不能把曲线向下直接读成性能变差，需先确认纵轴为原始错误率、越低越好。像素不能精确辨别的中间桶数值不硬写，只讲相对位置与走向。

消融：三个仿真任务各自补了什么，有无反例？

消融问题是：去掉第一阶段或只加部分任务，归属与分割如何变化。条件是第二阶段微调相同，只变第一阶段组合。基线为无第一阶段，其余为加任务一、加任务一加二、加任务一加三与完整三任务。下图按数据集分排展示纯转写、归属转写与分割 3 组柱，完整配置在分割组多为最低。

看图路径： 1. 先按数据集分三排确认每排三组柱分别对应纯转写、归属转写与分割误差；2. 再在每组内从左到右比较基线到完整配置的柱高变化方向；3. 最后重点看分割误差组中完整配置是否为最低以判断时间建模收益

论文图 3。原论文 Figure 3：“Ablation study of different training tasks on three datasets.”。

从像素可见，AISHELL-4 与 AliMeeting 的右组分割误差柱从左到右总体下降，完整紫色柱最低。中间组归属错误在加入任务二后多有下降，支持说话人区分减少归属错误。左组纯转写柱高变化很小，说明仿真主要改善时间与归属，而非单句认字。反例是 AliMeeting 上任务一加 2 组合的纯转写略差于基线，原文指出识别与非识别任务在该场景可能互相干扰，但完整三任务仍取得总体最优，表明三者互补。另一边界是英文集纯转写随任务增加微升，同样说明时间身份监督不必然提升认字，需按数据集分别看。

为复述说话人数的影响，另整理 AISHELL-4 上分说话人数的归属与分割数字，单位为百分比，裸值保留原文，表头已注明百分比。

表后解释是：理想切分给出级联上界，随人数增加保持稳定，而级联实测随人数增加快速恶化，显示误差累积。本方法在 2 到 3 人分割与级联相当、4 人分割偏高，但归属错误在所有人数下都明显更低，支持联合建模提升识别鲁棒性的判断。去掉第一阶段后两类误差全面上升，且人数越多差距越大，支持 2 阶段策略在复杂多人下有效的结论。未评测边界是超过 4 人与超长连续对话，原文未给数字，不能外推。

哪些结论还不能下，原文自己指出了什么局限？

原文讨论节明确指出三点局限。第一是固定人数与有限时长：当前假设最多 4 人、有限段长，真实动态增人与长会议需要流式版本加全局说话人注册与连续对齐，这在本文未实现。第二是自回归计算复杂度：逐词生成延迟高，不适合低延迟会议电话，包括 SpeakerLM、TagSpeech 在内的同类架构都有此问题，未来可探索并行或非自回归推理，但本文未测量延迟，不能承诺改善。第三是数据规模与泛化：仅在有限公开集上评测，领域覆盖受限，换语言或更多样人群可能退化，需更大更多样对话与跨域评测验证。

从证据等级看，主表的数字属于论文直接报告，可表述为报告显示。机制解释如先进先出保持连续性属于有限解释，表述为支持。涉及未测量的误判率、延迟、成本与超 4 人表现属于待验证，只能用可能表述。缺失证据不是技术错误，相关性不是因果，总体趋势不等于每组每步成立，例如分割随任务增加总体下降，不等于纯转写每组都下降，上节反例已说明。

要复现这篇，先做什么、关键参数与数据协议是什么？

复现先做数据协议而非直接调模型。按原文把长音频用滑动窗切成 20 到 30 秒，保证段内 2 到 4 人并按出现顺序重排编号，段首尾 1 秒禁重叠，同说话人短间隔合并，仅语气词首句剔除。音频重采样到 16 千赫，文本去标点特殊字符、英文小写。仿真阶段用单句语料按三任务模板生成 30 秒样本，时间监督来自去静音后的准确时长，量化步长 80 毫秒、375 个时刻。

模型侧以 FireRedASR-LLM-L 为骨干，约 8,300,000,000 参数，Conformer 与 WavLM-Large 主体冻结，适配器与 LoRA 可训练，输入为两路语音嵌入加提示嵌入拼接，目标为四元组序列，损失只算目标词元交叉熵。训练超参数保留原文：AdamW，初始 1e-6、10% 步数热身到 5e-6 峰值后余弦退火，第一阶段 120000 步每卡批量 4，第二阶段 6000 步每卡批量 2，均在 8 卡 H100 上执行。评测时先去符号算纯转写，再按排列取最小算归属，最后按误报漏检混淆算分割。

还需补的验证是跨域与超 4 人测试，以及推理延迟与显存实测。资源方面，本次无可用验证的开源链接，只能写本次未能确认可达，不写已公开。原文称未来计划释放代码模型，复现前应先确认该计划是否落地，再谈系统可运行。

何时值得尝试这种方案，一句话如何带走？

当你的会议数据同时需要文字与可定位时间戳、且精标注真实对话不足时，值得尝试本文路线：用单句语料仿真补时间与身份监督，再用少量真实切分片段微调，以一个模型直接生成带时间的归属文本。这种方案在重叠较多、人数 2 到 3 人的会议播客上收益更明显，表现为归属错误大幅低于级联切分后识别，同时分割接近或优于级联。

但在低重叠且工具链成熟的场景，级联分割仍可能更准；4 人以上、超长或需实时输出的场景，本文的固定人数、有限时长与自回归延迟会成为瓶颈，应先补流式与全局注册验证。带走的一句话是：先进先出四元组加 2 阶段仿真让语音大模型同时学会说什么、谁说的、何时说的，用可比数据量换来归属精度与时间对齐的平衡，但高复杂度多人与实时性仍待验证。

常见误解是把归属错误下降等同于认字能力提升，实际上纯转写变化很小，收益主要来自减少切错与挂错人。另一误解是把引用模型的数字当同机胜负，SpeakerLM 为引用值且数据不同，只能作参考。复现应从切分协议与三任务仿真做起，保留关键超参数与指标方向，再谈部署。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总