英文题目：Grounding Spoken LLMs in Multi-Speaker Audio via Diarization Conditioning

会议身份：conference:interspeech:2026:conference-paper-id:polok26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#模型融合 #音频大模型 #音频问答 #目标说话人提取

评分：8.3/10 | 创新 1.6/2 | 技术严谨 1.3/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

  • Alexander Polok：机构信息未能从会议 PDF 纯文本可靠映射
  • Samuele Cornell：机构信息未能从会议 PDF 纯文本可靠映射
  • Sathvik Udupa：机构信息未能从会议 PDF 纯文本可靠映射
  • Honza Černocký：机构信息未能从会议 PDF 纯文本可靠映射
  • Shinji Watanabe：机构信息未能从会议 PDF 纯文本可靠映射
  • Lukáš Burget：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理远场多说话人音频的说话人归属转写与理解，输入为重叠混合语音加说话人活动信息，输出为按目标说话人分离的文本及其问答与摘要，难点在于重叠干扰与长时多轮推理。方法链分三步推进：外部说话人分离标注模型先输出帧级活动概率并折算为静音目标非目标重叠四态掩码；带帧级条件变换的Whisper编码器在各层调制声学表示以抽取目标说话人嵌入；冻结的大语言模型解码器经适配器接收该嵌入并按文本提示生成转写或答案。与序列化输出训练改词表改解码器的做法不同，本方法保持解码器与词表不动，把多说话人归一化前移到编码器。在4个多说话人数据集转写评测下，Dixtral的cpWER为15.4%，低于Gemini 3.0 Flash的cpWER 44.4%。该结论的适用边界限于英语会议类远场数据且依赖外部分离标注质量，重叠严重或标注错误时抽取会退化并构成失败条件。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

🧭 深度解读

输入是什么，要输出什么，哪些信息不能丢？

这篇论文的输入是远场多说话人会议录音，典型情况是几个人围着远距离麦克风自然交谈，存在重叠说话、混响和噪声，输出则要求按说话人归属给出每个人说了什么，并进一步回答关于某位说话人提到的内容和副语言属性的问题，以及为该说话人做摘要。初学者容易把这件事理解成把整段音频丢给口语大模型再让它直接生成全部文字，论文要解决的恰恰是这种直觉做法的困难。

必须保留的信息有 3 类。第一是文字内容本身谁说了哪句话，第二是说话人身份与时间的对应关系，也就是哪一段是谁在说话、何时重叠，第三是只存在于声音里的副语言线索，例如感知到的情绪和性别，这些在纯文本转写流水线里会被丢掉。输出形式因此不是一段混在一起的文字，而是按目标说话人分别生成的单人转写、针对该说话人的问答答案和摘要。

本文解读默认只依据论文原文证据写作，不引入外部评价。后续先讲已有路线为什么难以直接搬到大模型解码器上，再沿一个会议样本走完从波形和日志掩码到编码表示、再到冻结解码器生成文字的全过程，最后交代训练条件、评测条件、主结果与反例，以及复现时要先准备什么。代码当前可用，地址为 https://github.com/BUTSpeechFIT/Dixtral，数据集当前可用，地址为 https://hf.co/datasets/popcornell/NSF-QA，本文只陈述这两个链接在本次核对中可达，不对其长期有效性做承诺。

已有路线为什么把压力放在了解码器上？

多说话人识别里最常用的大模型路线是序列化输出训练，白话说就是把多个说话人的文字按说话开始时间排队，拼成一条长序列，中间插入特殊的说话人切换标记，解码器 1 次把所有人的话都生成出来。这种做法在传统编码器加解码器结构里是有效的，因为解码器本来就是为这种任务从头训练的。

把它搬到指令微调过的大语言模型解码器上会出现两个具体困难。第一是结构改动，特殊切换标记需要扩大词表并至少重训部分参数，第二是分布不匹配，交错排列的多人序列与大模型预训练时见过的结构化单人格式差异很大，要弥合就需要用大量多说话人数据微调解码器，而这又会带来灾难性遗忘，也就是推理、摘要和问答能力被转写训练冲掉，而这正是人们想用大模型的原因。

另一类路线是目标说话人识别，白话说就是 1 次只抽一个目标说话人来识别。已有实现大致分 3 种，借助辅助说话人向量、直接注意目标说话人的注册语音、利用日志掩码引导注意力。论文选择第 3 种，理由是它不需要改词表，也更贴近大模型预训练时的单人生成分布。

序列化输出训练 × 声学编码器条件化： 序列化输出训练的分工是把多人的转写按说话起始时间拼成一条带说话人切换符的长序列，声学编码器条件化的分工是先把音频按目标说话人分离再逐人解码，二者搭配的理由是前者要求改词表和微调解码器因而偏离指令微调大模型的单人分布，后者把多说话人负担前移到编码器，就新增了保持解码器冻结和词表不动的作用。

论文把多说话人问题重新定义成什么可操作任务？

论文把远场多人转写重新定义为给定音频加给定目标说话人，生成该说话人的单人文字。举例说明，这只是一个教学例子，不代表原文数据：假设 3 人会议中第二位说话人先后提到遛狗公园和水景，任务就是只为第二位说话人生成他实际说过的句子，而不生成另外 2 人的句子，也不生成说话人切换符。问答和摘要同样按目标说话人定义，例如问这位说话人提到的城市例子是什么，或总结这位说话人在会上说了什么。

这种定义把原来长度为多人总长的联合解码，拆成每个说话人长度为单人长度的多次独立解码。论文明确给出复杂度对比的论证：联合生成多人长序列的自回归代价随总长平方增长，而逐人独立生成多次短序列的总代价更低，随着大模型主干变大，解码开销的节省会超过多次运行较小声学编码器的成本。这里的复杂度写法是论文的理论表达，原文没有给出实测延迟数字，因此不能把它读成在所有硬件上都更快。

任务成立依赖一个前提条件，即外部已经给出每帧谁在说话的概率。论文用现成的日志系统提供这个信号，模型本身不负责从零做日志。如果日志错了，后续抽取就会跟错，这是理解所有结果时必须记住的边界。

Dixtral 的全景管线如何走完一次目标说话人推理？

Dixtral 的全景可以按一个样本的流动来理解。输入是远场混合波形和对应的日志概率，输出是针对某位目标说话人的文字。中间经过 3 步，先由日志条件化的声学编码器抽出目标说话人的声学表示，再由模态适配器把声学表示映射到语言模型的嵌入空间，最后与文本提示拼接后交给冻结的大模型解码器自回归生成。

下面这张结构图是理解分工的关键，先看导读再看图。左侧是音频与日志的来源，中间是可训练的编码器，右侧是冻结的解码器与任务切换，箭头方向就是数据流向，颜色区分了训练与冻结。

看图路径： 1. 先从左下音频波形出发，沿 DiariZen 向上看四行 S T N O 掩码的黑白块如何随时间变化；2. 再看中间橙色编码器内每个 Transformer Block 下都垫着一个 FDDT 模块的重复结构；3. 接着沿 Henc 箭头向右看 Adapter 与 Text Embed 如何汇入 Voxtral-LLM decoder；4. 最后对照底部三行提示与顶部三行输出，确认同一管线支持转写问答和摘要三种任务

原论文 Figure 1：Dixtral architecture with external DiariZen diarization conditioning.

论文图 1。原论文 Figure 1：“Dixtral architecture with external DiariZen diarization conditioning.”。

从像素可见，左下是条形波形，向上进入浅蓝色 DiariZen 模块，再向上分出四行标为 S T N O 的黑白块掩码，黑色表示该帧属于静音、目标、非目标或重叠中的某一类。中间橙色大块是 Whisper 编码器，自下而上依次是 Conv1D、Transformer Block 0 加 FDDT 0，直至最顶层的 Transformer Block L-1 加 FDDT L-1，左侧还有一条音频直连箭头进入编码器底部。编码器顶部输出的 Henc 向右进入浅蓝色 Adapter 得到 EA，与旁边 Text Embed 得到的 EQ 一起进入更大的 Voxtral-LLM decoder，底部标注了转写、问答和摘要 3 类提示写法，顶部标注了对应的 3 类输出示例。橙色与浅蓝色的区分对应图注所说的仅编码器训练、日志模型与适配器和大模型冻结。

DiCoW 编码器 × Voxtral 解码器： DiCoW 编码器的分工是携带逐层的帧级日志依赖变换来输出目标说话人声学表示，Voxtral 解码器的分工是提供已对齐好的音频投影和指令跟随的语言生成能力，二者搭配的理由是同为 Whisper 结构因而初始化摩擦小，把 DiCoW 的编码能力接到 Voxtral 的跨模态对齐上，就新增了远场混合音频也能做转写问答和摘要的作用。

动态任务切换是全景里的一个实用设计。如果要抽特定说话人，就按公式推导出的 4 类概率提供掩码，如果要对整段多人音频做全局推理或输入本来就是单人音频，就把目标概率在所有帧置为 1、其余置为 0，让编码器处理全局声学上下文，监督也可以依赖外部语音活动检测。这种切换不需要改解码器，只改掩码取值。

日志掩码如何在编码器每一层执行过滤？

先说白话。说话人日志给出每帧每个说话人是否活动的概率，记为 d(s,t)，其中 s 是说话人编号，t 是时间帧。对于选定的目标说话人，模型把每 1 帧归为 4 种情况之一：静音、只有目标在说、只有非目标在说、目标与他人重叠，分别记为 S T N O。这 4 类概率不是直接把波形静音，而是作为权重去调制编码器每一层的内部表示。

具体做法是帧级日志依赖变换。编码器的每一层都配有 4 组可学习的对角仿射变换参数，分别对应 S T N O，输入到该层的第 t 帧表示会先经过 4 组变换，再按该帧的 4 类概率加权混合成新的表示，然后再进入正常的 Transformer 计算。因为调制发生在每一层，模型可以在浅层做声学分离、在深层做语义提炼，而不是只在输入端做 1 次硬掩码。

说话人日志 × 目标说话人抽取： 说话人日志负责逐帧给出每个说话人是否在说话的概率，目标说话人抽取负责按指定目标把混合声学表示过滤成单说话人表示，二者搭配的理由是日志提供帧级选择信号而抽取提供执行过滤的位置，把日志放在编码器每层做调制，就新增了让冻结解码器始终只看到单人分布的作用。

经过全部层之后，编码器输出目标说话人的高级声学表示 Henc。论文强调这个中间表示本来就是为了交给标准 Transformer 解码器而优化的，因此它也适合接到 Voxtral 的管线里。适配器随后用两层线性加 GELU 非线性把它映射到大模型的嵌入维度，并把序列长度压缩到 1/4，记为 EA。文本问题或指令经词嵌入得到 EQ，最终前缀是二者的拼接，解码器在此基础上逐词预测，交叉熵损失只算提示之后的生成词，不算提示本身。

模态适配器 × 文本提示： 模态适配器的分工是把编码器输出的声学维度映射到大模型的词嵌入维度并做 4 倍下采样，文本提示的分工是给出转写指令或具体问题，二者搭配的理由是音频和文字必须拼成同一前缀序列才能自回归生成，把投影后的音频块和提示词向量拼接，就新增了同一套管线在转写和全局推理之间动态切换的作用。

训练时冻结谁、更新谁，初始化从哪里来？

训练安排是这篇方法能成立的关键。论文在微调阶段冻结大语言模型解码器和模态适配器，只更新声学编码器层和其中的帧级变换模块。梯度路径因此只进入编码器侧，解码器的推理和问答能力不被转写梯度直接改写。原文没有报告解码器侧是否加了额外的可学习提示或部分解冻之外的细节，解读时只按已报告的冻结范围陈述。

初始化利用了 Voxtral 和 DiCoW 共享 Whisper 结构的兼容性。因为 Voxtral 在冻结 Whisper 编码器时学好了投影器，而 DiCoW 在冻结解码器时学好了帧级变换参数，把二者拼起来时的结构摩擦较小。论文试验了两种起点，一是把整个声学编码器换成 DiCoW 预训练权重，二是只把帧级变换参数注入 Voxtral 原编码器并保留原编码器权重。消融显示完整替换收敛更快，但长训练后保留原编码器权重更能维持跨模态对齐，这一点在结果节还会用数字展开。

训练预算按学术可用资源设计。主体转写训练在 8 张 24 GB A5000 上进行，训练 20,000 步，峰值学习率 6e-5，5 1,000 步预热后余弦衰减到零，配合梯度检查点、bfloat16 精度和 4 步梯度累积达到全局批量 32，可处理 2 分钟话语。超出预算的两处是 AMI 解码时按日志 pauses 切成 5 分钟段，以及问答和摘要微调因长音频放不下而改用 H100。所有训练与推理脚本已开源，这是复现时可直接核对的依据。

在哪些数据上测，用什么指标，和谁在同条件下比？

转写评测覆盖 4 套多说话人数据。NOTSOFAR-1 是远场会议，AMI 是会议室多麦克风会议，LibriSpeechMix 是用朗读语音人工混合的重叠语音，Mixer6 用于检验域外泛化且未参与训练。指标是拼接最小排列词错误率，白话说就是把各说话人的转写拼接后允许说话人顺序置换再算词错误率，数值越低越好。日志统一用 DiariZen 系统提供，DiCoW 与 Dixtral 的结果都在该日志条件下得到，论文同时说明对该特定日志系统的敏感性已有另文研究。

基线包括专用多说话人模型和通用口语大模型。专用侧有 DiCoW v3.3、VibeVoice 和 Voxtral Mini Transcribe V2，通用侧有 Gemini 3.0 Flash。比较时需要注意模态差异，Dixtral 跑的是远场混合，而它的父模型 Voxtral 本来没有多说话人能力，因此问答对比中 Voxtral 跑的是近场每人独立音频，Gemini 在远场则用位置性文字描述指定说话人，例如从开头数第三个开始说话的人，因为它不接受日志条件。

问答与摘要基准是新建的 NSF-QA，基于 NOTSOFAR-1 构建。内容问答包括实体、主题、是否和细节 4 类，可仅从文字回答，副语言问答包括情绪和性别，需要听声音，情绪题把目标说话人转写与 emotion2vec 从近场按真实切分抽出的 9 类情绪标签一起交给 Gemini 生成，性别标签来自会话元数据。问答用 Gemini 2.5 Flash 做二值裁判并报告准确率，论文明确承认用 Gemini 同时生成参考和做裁判可能带来循环偏向，并指出这反而可能偏向 Gemini 生成的输出，使 Dixtral 超过 Gemini 的结论更保守。摘要要求 50 词以内总结目标说话人说了什么，每人用 Gemini 基于真实转写生成 5 条参考，系统输出取与多条参考的最大 ROUGE-L，数值越高越好。问题都不含时间戳，系统必须在整场会议里定位相关信息。

转写主结果在多大程度上支持编码器条件化？

比较的问题是明确的：在同一日志条件下，谁的带归属转写错误更低。公平条件是 Dixtral 与 DiCoW 共用 DiariZen 日志，指标方向是 cpWER 越低越好。下表整理论文正文连续句中直接报告的数字，保留原文百分号写法，不做四舍五入，表头单位即原文写法。

条件与指标Dixtral 本方法Gemini 3.0 FlashVibeVoiceVoxtral MTv2 / DiCoW 参考
宏平均说话人归属转写 cpWER15.4%44.4%35.2%31.4%
NOTSOFAR-1 cpWER29.1%39.1%35.8%54.4%
AMI cpWER19.8%未在同句报告未在同句报告18.6%

表后解释需要同时看到收益与代价。收益是 Dixtral 在 NOTSOFAR-1 上达到 29.1%，明显低于 VibeVoice 的 35.8%、Gemini 的 39.1% 和 Voxtral MTv2 的 54.4%，在 AMI 上达到 19.8%，接近专用声学模型 DiCoW 的 18.6%，同时还保留零样本下游任务能力，这是纯专用模型不具备的。域外 Mixer6 的结论在正文中也有报告，Dixtral 超过所有基于大模型的系统，但具体分通道数字需要回到原表核对，本文整理的上表只覆盖正文连续句能逐字支撑的部分。

远场混合音频 × 近场单人音频： 远场混合音频的分工是检验模型在重叠和混响下按说话人分离并理解内容的能力，近场单人音频的分工是提供无重叠的上限参考，二者搭配比较的理由是只有对照才能判断冻结解码器是否保留了能力，把 Dixtral 跑远场与 Voxtral 和 Gemini 跑近场放在同一问答集上，就新增了区分声学难度和推理保持程度的作用。

未胜出项必须指出。在 AMI 上 Dixtral 仍略高于 DiCoW，说明冻结解码器换来通用能力的同时，在纯转写上还没有完全追平专用模型。在 LibriSpeechMix 这类人工混合朗读集上各模型差距很小，不能用来证明远场方法的优劣。总体判断是报告级别：在所测 4 套数据的平均口径下编码器条件化优于所比的口语大模型，但这不等于在任何日志质量或任何重叠率下都成立。

问答与摘要是否证明冻结解码器保留了能力？

这一节测的是超出转写的能力。比较的问题是只做转写训练、不做问答微调时，远场 Dixtral 能否接近近场单人系统的理解水平。条件并不完全同声学，Dixtral 跑远场混合，Voxtral 跑近场每人音频，Gemini 跑远场或近场作为参考，指标方向是问答准确率越高越好、ROUGE-L 越高越好。下表同样只整理正文连续句中出现的数字。

条件与指标Dixtral 远场零样本Voxtral 近场参考Gemini 远场参考备注
内容问答准确率54.6%68.3%55.1%远场更难
情绪问答准确率25.4%25.5%未在同句报告基本持平
摘要 ROUGE-L24.424.1未在同句报告基本持平
性别问答加 LoRA 后准确率73.3%49.7%74.1%摘要降至 15.4

表后解释要区分两层结论。第一层是保持能力的证据，仅经转写训练的 Dixtral 在远场混合上，情绪问答与近场 Voxtral 基本持平，摘要也基本持平，内容问答虽低于近场 Voxtral，但与远场 Gemini 相当，论文将其解读为冻结解码器保留了通用能力，这个解读有对照支持，但受限于远场与近场的声学不对等。第二层是显式微调后的潜力，经 NSF-QA 微调后，远场 Dixtral 在所有类别上超过跑近场的 Voxtral 与 Gemini，包括级联流水线无法回答的情绪与性别题，论文报告了 73.0% 内容问答、47.6% 情绪、95.5% 性别和 41.4 摘要分，但这些数字来自表格而非正文连续句，本文不将其填入上表，复现时应以原表为准。

反例是给解码器加 LoRA 做转写微调的做法。它把性别问答推高到与 Gemini 相当，却把摘要从 20 多降到 15.4，因为模型偶尔直接输出逐字转写而不做摘要。这说明转写最优不等于指令跟随最优，也是下一节消融要展开的权衡。

换整个编码器还是只换变换参数，哪种更稳？

消融在 oracle 日志条件下 isolate 结构选择，也就是用理想日志排除日志误差，先看结构本身的差异。论文报告在严格算力预算下，完整替换编码器收敛最快，2 1,000 步时 NOTSOFAR-1 已到 32.0%，而仅注入变换参数为 37.7%，随机初始化为 38.8%。但训练到更长步数后，随机初始化或只换变换参数反而更好，原因是保留 Voxtral 原编码器权重可以避免下游嵌入漂移，维持稳定的跨模态对齐。

给解码器加低秩适应的结果是双刃剑。它在转写上取得最好数字，NOTSOFAR-1 为 21.3%，AMI 为 16.4%，理由是它吸收了细微的语言分布变化而不把破坏性大梯度传回声学编码器。但同一改动在上一节已显示会损伤摘要的指令跟随，说明评价必须分任务看，不能只看词错误率。

进一步为问答摘要微调会损伤纯转写，最明显的是 Mixer6 从 14.5% 退到 26.1%，因为编码器转向优化推理而牺牲逐字精度。论文提出联合训练转写与问答摘要可能缓解，但留作未来工作，这里只能报告为未验证的可能方向，不能承诺联合训练一定解决权衡。

哪些边界没有测，哪些结论不能推广？

首先是日志依赖。所有远场结果都以外部日志为条件，论文用 DiariZen 且未在本研究内联合训练日志，日志错误会直接传导到抽取。若换日志系统或重叠极高，数字会变化，原文没有给出误判率与最终问答的定量关系，因此不能承诺日志质量无关紧要。

其次是评测的循环性。问答参考与裁判都用了 Gemini 系列模型，论文已承认可能偏向 Gemini 输出。在此条件下 Dixtral 仍能匹配或超过 Gemini，这支持结论偏保守，但不能反过来把自动裁判分数当成人评，也不能把 ROUGE-L 的提升等同于摘要真实可用性的提升。

第三是成本与语言边界。论文给了训练硬件与步数，但没有报告逐步延迟、实时率或多人逐人解码的总耗时，逐人解码的复杂度分析是趋势论证，不等于每组会议都更快。未来工作明确列出端到端联合训练日志、多语言评测以及任务、模型规模和数据规模的扩展，这些都是当前未评测的边界。多语言和更大模型的结论属于待验证，不能从现有 4 套英语会议集直接推广。

要复现 Dixtral 先准备什么，按什么顺序跑？

复现的第一步是拿对基座。需要 Voxtral Mini 3B 的管线，它包含 Whisper large-v3 声学编码器、模态适配器和 Ministral 3B 解码器，以及 DiCoW 的日志条件化权重和 DiariZen 日志系统。论文的实例化特意选了共享 Whisper 结构的两套预训练，正是为了能直接替换或注入权重，换用其他结构的编码器需要重写对齐，不能默认照搬。

第二步是准备数据与日志。转写侧准备 NOTSOFAR-1、AMI、LibriSpeechMix，域外检验留出 Mixer6，问答摘要侧获取 NSF-QA。先用 DiariZen 对远场音频跑日志，再按目标说话人算出 4 类概率。AMI 长会话按日志 pauses 切成 5 分钟段，转写训练用 A5000 即可，问答微调的长音频需要 H100 显存。

第 3 步是按冻结规则训练。冻结大模型与适配器，只训编码器与帧级变换模块，峰值学习率 6e-5、5 1,000 步预热、余弦衰减、20,000 步、全局批量 32 为起点。若预算只够短训练，可先试完整编码器替换以快速收敛，若要长期训练则优先只注入变换参数以保持对齐。评测时转写看 cpWER 越低越好，问答看准确率越高越好，摘要看 ROUGE-L 越高越好，并保留 oracle 日志与实际日志两档结果，前者是结构上限，后者是可部署收益，不能用前者代替后者报成绩。

何时值得尝试这种只动编码器的方案？

当任务同时需要多人分离和大模型推理时，这条路线值得优先尝试。具体信号是已有单人管线可用，但远场重叠导致级联系统丢掉副语言线索，或者直接用序列化输出微调解码器后发现问答摘要能力下降。此时把改动限制在编码器侧，用日志掩码逐人抽取，可以在不改词表的情况下复用冻结解码器的指令能力。

不适合的情况也要明确。如果没有可靠日志，或者部署时不允许逐人多次解码，或者目标就是把词错误率压到极限而不关心问答，那么专用模型或解码器微调可能更直接。论文在 AMI 上 DiCoW 仍略优就是提醒，通用能力的代价是纯转写上限的让步。

回到初学者的复述要点。输入是远场混合加日志，编码器按 4 类概率在每层做加权过滤，适配器对齐维度，冻结解码器按提示逐人生成。证据支持的是在所测条件下的转写平均优势和零样本能力的保持，以及微调后的全任务超越。还需补的验证是联合优化日志与编码器、多语言与更大规模下的稳定性，以及逐人解码在真实部署中的耗时与成本核算。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1
  • 评分模型：muse-spark-1.3-contributor
  • 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总