临床印地-英语混说下谁在说话：DiariZen 为何要解冻 WavLM 才跟得上

英文题目：Adapting Speaker Diarization to Code-Switched Medical Conversations: AUDIAS-UAM at the DISPLACE-M Challenge

会议身份：conference:odyssey:2026:conference-paper-id:barahona26_odyssey

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#医疗音频 #领域适应 #半监督学习 #多语言 #说话人分离标注

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Sara Barahona：机构信息未能从会议 PDF 纯文本可靠映射
• Laura Herrera-Alarcón：机构信息未能从会议 PDF 纯文本可靠映射
• Juan Ignacio Alvarez-Trejos：机构信息未能从会议 PDF 纯文本可靠映射
• Alicia Lozano-Diez：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为移动设备采集的十六千赫单通道双人印地语英语临床对话，需输出支持重叠的说话人时间边界，难点在于自发语音、轮转不均、医患风格差异与代码切换声学失配。方法链先由局部端到端分割预测帧级多人活动，再由说话人嵌入提取器将语音段映射为向量。随后跨窗约束聚类统一全局说话人身份，最后对多系统帧级概率校准融合输出，前一步的活动预测与嵌入直接作为后一步聚类与融合的输入。相对传统模块流水线，混合结构将局部重叠建模与全局聚类解耦，预训练语音编码器加 conformer 提供大规模自监督表征以缓解域失配。在dev2验证集条件下，六系统DOVER-Lap融合的DER为8.48%，低于最优单系统S6的DER 8.57%。结论的适用边界仅限双人低重叠临床对话与给定数据划分，尚未验证多人、高重叠或非印地语场景的外推能力，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些关键信息？

本文解读的对象是 DISPLACE-M 挑战赛第一赛道的 1 篇参赛系统论文，任务是 Hindi 与 Indian English 自然语码切换的医疗对话说话人日志。输入是手机麦克风在诊所、家庭和健康营等真实条件下以 16 kHz 采集的双人对话波形，输出是谁在何时说话的时间边界，允许重叠段同时标出两个人都活跃。必须先保留的信息包括录音平均约 10 分钟、说话轮次短、重叠率低但存在、医生与患者说话风格差异大、语言在轮次内和轮次间切换。

解读的目标是让刚进入语音领域的研究生能复述方法：从一段样本走完输入到表示再到组件到目标到输出，讲清 3 个系统如何做域自适应、半监督数据如何使用、融合如何组合。输出是 1 篇可核对的技术解读，不做营销式判断，所有数字回到原文证据核对。本次没有收到代码与模型可用性验证，因此不声称代码、模型或数据已公开。

论文报告的场景不是播客或广播那样的受控录音，而是社区健康工作者与求诊者围绕医疗主题的目标导向对话，录音中有方言差异、自然轮替和不均匀的发言分配。转写本身不够，病历记录和诊疗决策需要把每句话归因到医生或患者。传统在单语受控数据上训练的日志系统到这里会遇到声学与语言双重失配，而标注需要逐段精确切分与身份标记，成本很高，可用的有标注域内训练数据只有 dev1 约 14.53 小时。理解这一点，后面关于微调、伪标签、平均教师和融合的选择才有学习依赖。

已有路线分几支，各自解决了什么又留下什么？

论文把已有方法放在两条互补路线下对照。第一条是模块化流水线，依次做语音活动检测、说话人向量提取和聚类，优点是分工清晰，缺点是各阶段独立训练带来误差传播，且若无专门重叠检测，通常假设每帧只有一个说话人，无法处理重叠。第二条是端到端神经日志，把日志重构为帧级多标签分类，直接建模重叠。论文回顾了从双向长短时记忆网络到自注意力的 SA-EEND，再到用编解码吸引子动态估计说话人数的 EEND-EDA，以及 Diaper 用感知器结构替代编解码吸引子以更灵活处理多说话人。

在同输入、同目标、同运行阶段的对照下，论文还回顾了混合路线 EEND-VC：短重叠窗上用局部端到端模型输出说话活动，再提取窗级说话人向量并在全局聚类，从而把局部活动建模与全局身份分配解耦。Pyannote 3.1 是该路线的代表，用轻量分割主干联合训练语音活动、说话人切换和重叠检测，再做凝聚层次聚类。DiariZen 延续同一框架，但把局部分割主干换成预训练 WavLM 编码器加 Conformer 网络，并以幂集目标把多标签问题转为单标签多分类，从而在固定说话人容量内显式建模重叠。相关工作的对照意义在于后文比较不是跨任务的胜负，而是同一临床混说输入下 3 种可运行策略的域自适应效果。

要测的具体问题是什么，难在哪里？

论文要回答的问题是低资源临床 Hindi-English 混说条件下，哪种日志范式经域自适应后误差更低，以及额外无标注相关域数据和系统融合能否进一步降低误差。难点有 3 层。第一层是域失配：训练多来自受控或广播语音，而目标是自发临床对话，麦克风、环境、说话风格都不同。第二层是语码切换带来的可变性，同一说话人在 Hindi 与 English 间切换，系统不能把语言切换误判为说话人切换。第 3 层是标注稀缺与重叠处理：域内有标注量小，模拟混合数据又难以复现真实对话的声学复杂性，而系统必须在帧级同时输出两个说话人的活跃状态。

举一个教学用的例子而非原文数据：假设一段 10 分钟录音中医生问诊 3 分钟、患者断续回答并夹杂英语药名，若系统把英语片段都归给另一个说话人，就会产生说话人错误；若把咳嗽与静音判为说话，就会产生虚警；若把患者小声回答漏掉，就会产生漏检。这 3 类错误相加即日志错误率，论文用无领的日志错误率在 dev2 上选模型，并在提交的系统上报告评估集结果。例子只用于理解指标构成，不添加任何效果数值。

三条路线如何各走完一次样本，全景是什么？

先沿一个样本走完 DiariZen 这条主路径。输入是一段双人临床录音，先切分为短重叠窗。每个窗的波形进入 WavLM 编码器，所有层的输出以可学习加权求和融合，再经投影进入 Conformer 网络，输出该窗每帧的说话活动概率，训练用幂集损失实现重叠建模。接着从语音帧提取固定维度说话人向量，所有窗的向量在全录音上做约束凝聚层次聚类，保证同一窗的两个向量不进同一簇，最终得到全录音的说话人时间边界。

端到端神经日志 × 混合向量聚类： 端到端神经日志负责在短窗内直接输出每帧多人是否说话，能处理重叠，混合向量聚类负责把各短窗的局部说话活动和说话人向量在全录音上聚类对应起来，二者搭配的理由是前者解决局部重叠建模、后者解决长录音身份一致性，组合意义是把局部检测与全局分配解耦。

Pyannote 3.1 走的是同一混合流程，但局部分割模块是轻量任务专用主干，同时负责语音活动、说话人切换和重叠检测，计算更高效但表示能力弱于 WavLM 加 Conformer。Diaper 走的是另一条全端到端路径：帧编码器以自注意层把输入特征变为上下文表示，基于感知器的吸引子解码器产生说话人表示并逐帧逐说话人做二分类，中间层吸引子逐步调节表示，训练用置换不变目标与辅助损失，推理时在整段录音上预测固定数量吸引子以决定谁活跃，因录音时长有限而无需向量聚类。论文的全景是比较这 3 种可运行策略在同一域自适应协议下的表现，再研究向量提取器替换、半监督数据使用与融合带来的变化。

分割、向量与聚类各自算什么，如何搭配？

局部分割组件的计算目标是每窗每帧每个说话人是否活跃。DiariZen 的实现是 WavLM 多层加权求和加投影加 Conformer，论文还描述了 3 阶段训练与压缩管线：先在日志框架内微调预训练 WavLM 主干，再以微调模型为固定教师做结构化剪枝加知识蒸馏，剪枝对象包括卷积核、注意力头与前馈矩阵的行列并以随机门控实现可微稀疏，最后对剪枝模型再微调恢复性能，经验结果显示先剪枝再微调比先微调再剪枝更有效。本次参赛比较主要使用基座与大模型两种配置，重点是微调时是否解冻 WavLM 以及学习率如何设置。

说话人向量 × 约束凝聚层次聚类： 说话人向量负责把一段语音映射为固定维度的身份表示，约束凝聚层次聚类负责按向量距离把全录音的窗级向量归到两个说话人且不把同一窗的两个向量归入同一簇，二者搭配的理由是向量提供可比的距离、约束提供同一窗互斥的先验，组合意义是完成跨窗的说话人对应。

说话人向量组件的计算目标是把语音段映射为可比的固定维度向量。论文回顾了基于时延神经网络的 ECAPA-TDNN、多尺度聚合与通道注意力、基于 2 维时频表示的 ResNet 系列、非对称步长更重视时间分辨率的 Gemini-DF-ResNet，以及以时序统计池化或注意统计池化聚合帧级特征的做法。训练分 2 个阶段：先在大规模说话人标注数据上以可加角度间隔损失预训练，再以更长片段与更大间隔做大间隔微调。论文在 DiariZen 管线内现成调用 WeSpeaker 工具包的多种提取器而不做目标域微调，因为在 dev1 伪说话人上自适应并未带来提升。

WavLM 编码器 × Conformer 网络： WavLM 编码器负责从原始波形提供经大规模自监督预训练的多层语音表示并以可学习加权求和融合，Conformer 网络负责在投影后的表示上建模局部卷积与全局自注意的时序依赖并以幂集目标输出说话活动，二者搭配的理由是前者提供通用声学语言表示、后者提供面向日志的局部多说话人判别，组合意义是构成 DiariZen 比轻量分割主干更强的局部分割模块。

聚类与融合组件的计算目标不同。聚类是把窗级向量对应到全录音身份，融合是把多个系统的输出合为一个更稳的输出。论文探索了概率融合加校准与 DOVER-Lap，前者先平均帧级概率再校准以聚焦高置信模型，保留不确定性，后者在片段级硬判决上投票，支持重叠但丢失帧级不确定性。理解这种分工，才能理解后文为何概率加权融合在系统数少且性能差异大时优势明显，而 DOVER-Lap 随系统数增加而稳步提升。

冻结与更新、监督来源与停止时机如何安排？

论文的训练安排以 dev1 为训练、dev2 为模型选择，训练至收敛并以 10 epochs 无提升做早停，保留在 dev2 上 DER 最低的检查点，默认学习率为 1 × 10−4。数据增强是在干净音频上以各 50% 概率加 MUSAN 噪声与音乐，并随机采样信噪比。DiariZen 的关键变量是 WavLM 是否解冻以及两组学习率如何配合：基座模型先冻结编码器只调后段，再比较不同学习率；大模型进一步解冻编码器并给编码器单独设置更小的学习率，如 2 × 10−5 或 2 × 10−6，而后段保持 1 × 10−3 或 1 × 10−4。论文报告最显著增益来自解冻编码器并仔细调小其学习率，这对应让预训练表示适应目标域的声学与语言特性。

伪标签训练 × 平均教师： 伪标签训练负责用已适应的模型给无标注相关域数据生成硬标注再与有标注数据混合继续训练，平均教师负责用学生权重的指数滑动平均构造缓慢变化的教师并以一致性损失约束学生与教师在不同增强下输出一致，二者搭配的理由都是利用无标注数据但监督来源不同，前者是硬标签、后者是软一致性，组合意义是论文得以对比哪种弱监督更适合不同主干。

半监督的监督来源分两路。伪标签路是先在 dev1 上适应 DiariZen，再用该系统给 20 个 YouTube Hindi-English 混说播客生成标注，播客多与医疗话题相关但属相关域而非域内，统计上单条更长、轮长标准差更大，然后把原始有标注数据与伪标注数据混合继续训练。

平均教师路是把模型复制为学生与教师，教师不经反向传播而以学生权重的指数滑动平均更新，学生同时优化有标注数据的分类损失与无标注数据上学生教师预测均方误差的一致性损失，一致性权重为 2，学生与教师接收不同增强版本以鼓励声学条件不变性。DiariZen 的师生从同一检查点初始化，从零初始化教师会导致灾难性遗忘；Diaper 则利用多检查点让教师早于学生以引入噪声。

论文未报告梯度在 WavLM 加权求和与剪枝门控中的逐层细节缺项之外的完整链路，因此复述时只讲原文明确的冻结更新与监督来源，不从模型名推定未说明的实现。

数据、划分、指标与运行条件是否一致？

实验数据包括 DISPLACE-M 的 dev1、dev2 与无标签评估集，以及外部 20 个 YouTube 播客构成的无标注相关域数据。论文说明开发集带完整标注可用于训练与调参，评估集盲测经排行榜评估。录音均为双人对话，平均约 10 分钟，轮次短、重叠率低，开发集重叠率约 4.7% 与 5.3%，伪标签集约 6.4%。评估指标是无领的日志错误率，越低越好，并分解为漏检、虚警与说话人错误以定位问题。模型选择在 dev2 上进行，提交系统再报告评估集。3 个系统的微调协议一致，都是 dev1 训练、dev2 选型，但主干容量与是否解冻编码器不同，比较时需注意容量差异带来的公平性限制。

运行与成本方面，论文未给出完整的硬件预算与推理延迟，相关工作计算资源来自大学与超算中心，复现时应把训练资源、推理开销与输出帧率分开记录。向量提取器对比全部现成调用而不微调，保证分割模块是唯一变量。半监督对比中，伪标签与平均教师使用同一批 YouTube 数据，但一个经硬标注转换、一个直接作无标注一致性训练，因此二者的标签噪声形态不同，不能简单视为同条件。融合对比固定 6 个候选系统，比较平均概率融合、按错误率倒数加权的概率融合与 DOVER-Lap 在不同子集上的表现。

主结果在什么条件下测得，最强证据与代价是什么？

主结果要回答的是微调前后 3 种范式的排序。比较的问题是同一 dev2、无领日志错误率下，未微调与经 dev1 微调的 Pyannote 3.1、Diaper 的 10 吸引子与 20 吸引子版本、DiariZen 基线谁更低，公平条件是都以 dev2 选检查点，指标方向是错误率越低越好。下表直接复现原文的模型比较，保留漏检、虚警与说话人错误分解，基线与可运行微调策略兼备。

上表显示的主要收益是 DiariZen 即使不微调已低于另外两条路线，微调后进一步降至 9.78%，且说话人错误与虚警显著更低，支持混合路线中强分割主干在该任务上的优势。具体代价是其漏检高于未微调的 20 吸引子 Diaper，提示语音活动更激进。未胜出项是 Pyannote 3.1 与 Diaper：Pyannote 未微调优于 Diaper，但微调后差距被 10 吸引子 Diaper 追近；Diaper 的 20 吸引子版本微调后反而略差于 10 吸引子版本，说明吸引子数量不是越大越好。论文进一步报告 DiariZen-large 解冻 WavLM 后的开发与评估结果，最佳单系统在开发测试集达 8.57%，融合后达 8.48%，这是全文最强的可运行证据，但大模型解冻带来调参与计算代价。

概率融合 × DOVER-Lap： 概率融合负责在帧级连续概率上先平均再校准以保留不确定性，DOVER-Lap 负责在片段级硬判决输出上做多数投票以支持重叠，二者搭配的理由是分别利用连续置信与离散决策的互补信息，组合意义是论文验证帧级不确定性保留与片段级投票在不同系统数量下的增益差异。

为核对最佳单系统与融合的数值关系，下表整理原文连续句子中实际出现的开发集与融合结果，不引入新基线，只呈现可运行策略的数值对应。

上表后需说明主要收益与限制。收益是融合在最佳单系统上再降约 0.09 个百分点，评估集上解冻大模型达 7.56%，支持域自适应加融合的有效性。代价与反例是融合需要运行 6 个系统，部署成本远高于单系统，且评估集为盲测，开发集最优配置不必然在评估集最优。百分点差值与相对百分比含义不同，这里只报告百分点差值，不换算为相对提升以免误读。

向量提取器、增强与半监督的对照支持什么，不支持什么？

消融要回答两个问题：DiariZen 管线内换向量提取器是否显著改变误差，以及增强与半监督在不同主干上是否一致有效。向量对照的公平条件是固定最佳 DiariZen 分割配置，只换 WeSpeaker 中的 ECAPA-TDNN、ResNet 系列、Gemini-DF-ResNet 与 SiAMResNet，指标仍是 dev2 无领日志错误率。下图展示参数量与误差的散布，是判断容量与架构效应的关键证据。图前导读如下：该图横轴是参数量百万数，纵轴是 DER 百分比，颜色区分 4 个家族，每个点标注具体模型与是否大间隔微调，观察时应先看整体趋势再看家族内差异。

看图路径： 1. 先看横轴参数量与纵轴 DER 的整体散布，确认是否存在随参数增大而单调下降的趋势；2. 再按图例颜色区分 ResNet、SiAMResNet、DF-ResNet 与 ECAPA-TDNN 四个家族的点群位置；3. 最后定位最低点 ResNet221-LM 与 Gemini-DF-ResNet114-LM，读出其纵轴约 8.61 至 8.62 区间的相对位置

论文图 1。原论文 Figure 1：“Impact of speaker embedding architecture and model size on DER (%) for the best DiariZen configuration.”。

上图可见的事实是所有点落在约 8.61% 至 8.67% 的窄带内，横轴从约 6 百万到约 50 百万并无单调下降，支持论文的判断即向量提取器不是该双人任务的瓶颈。最低点为 ResNet221-LM 与 Gemini-DF-ResNet114-LM，但领先幅度极小。大规模 VoxBlink2 预训练的 SiAMResNet 并未显著优于 VoxCeleb 预训练模型，大间隔微调在不同架构上时好时坏。这些反例说明在只有两个说话人且聚类相对简单的条件下，进一步打磨向量家族与尺寸的回报有限，瓶颈更可能在局部分割质量与域失配。像素不能精确辨别的中间数值不硬读，只报告原文明确的窄带范围与最优点名称。

半监督与增强的对照显示模型依赖性。Diaper 的两个版本都从数据增强受益，20 吸引子版本提升更大，但增强加伪标签合用反而变差，伪标签单独用优于初始微调基线，而平均教师直接利用无标注一致性取得最好结果，提示对该主干一致性训练比硬伪标签更有效。下表整理 DiariZen-large 在同一 dev2 上的 3 组实际可运行策略，均来自原文连续句子，以核对方向而非复述全部组合。

上表后解释主要收益与代价。收益是伪标签无增强达 8.57%，比增强基线 8.66% 再降 0.09 个百分点，支持即使不确定的伪标签增加也能帮助强预训练模型。代价是平均教师在 DiariZen 上最差达 9.02%，可能因在 WavLM 强特征上加一致性目标需要更精细调参，论文将其列为待验证而非定论。未评测边界是 YouTube 数据与临床对话在轮长方差与话题上的差异未被量化，伪标签质量本身也未报告，因此不能把增益推广到任意相关域。

哪些结论有限，哪些验证还缺？

论文直接报告的是开发集上的排序与融合增益，有限解释的是向量瓶颈与半监督模型依赖性，未验证推测的是平均教师在 DiariZen 上失败的具体调参原因。缺失证据不是技术错误，但复述时要用报告显示表达已测结果，用支持表达有限解释，用可能待验证表达推测。相关性不是因果：参数量与误差无单调关系不能推出容量无用，只能说在当前分割与双人聚类条件下向量容量不主导误差。融合增益不能承诺延迟与成本改善，因为论文未测量每系统推理开销与总体帧率，六系统融合的实际延迟需另测。

另一个限制是公平性。DiariZen-large 解冻编码器带来容量与可调参数双重优势，与轻量 Pyannote 的比较不是等容量比较，只能作为可运行策略选型参考。评估集盲测下开发集最优的伪标签与融合配置是否持续最优，论文留待第二阶段验证。数据方面，YouTube 播客虽语言与话题相关，但录音设备、房间、交互目标与临床对话不同，且伪标签由最佳 DiariZen 生成，存在自确认偏置，论文未报告伪标签错误率，因此不能把 8.57% 的增益视为无代价的数据红利。

要复现先做什么，需要保留哪些超参数与信息条件？

复现先做数据与协议对齐。准备 dev1 训练、dev2 选型，指标用无领日志错误率并记录漏检、虚警、说话人错误三分量，聚合对象是全录音而非单窗，早停耐心为 10 轮，保留 dev2 最低点。音频为 16 kHz 波形，增强用 MUSAN 噪声与音乐各 50% 概率并随机信噪比。基线先跑 Pyannote 3.1、Diaper 10 与 20 吸引子、DiariZen 基座冻结编码器，核对微调前后方向，再跑 DiariZen-large 解冻编码器，编码器学习率取 2×10 的负 5 次方或 2×10 的负 6 次方，后段取 1×10 的负 4 次方或 1×10 的负 3 次方，默认后段 1×10 的负 4 次方。向量提取器先用现成权重不微调，覆盖 ECAPA、ResNet、Gemini 与 SiAM 系列以验证窄带现象。

半监督复现分两支。伪标签支先用 dev1 适应的 DiariZen 给外部相关域数据生成硬标注，再与 dev1 混合继续训练，对比加与不加增强。平均教师支复制师生、教师指数滑动平均、一致性权重取 2、幂集置换对齐后算均方误差，DiariZen 师生同检查点初始化，Diaper 教师用更早检查点引入噪声。融合复现固定六系统，比较平均概率融合、按错误率倒数加权再校准、DOVER-Lap 在不同子集上的结果，记录单系统与融合的百分点差值。信息条件上，本次未确认代码与权重可达，因此复现应先补权重下载与运行环境验证，再补推理开销与伪标签质量统计，才能判断增益是否值得部署成本。

何时值得尝试这套做法，一句话如何收束？

当任务是双人、自发、带语码切换的临床对话，且有标注量小但能拿到语言话题相关的无标注数据时，值得优先尝试 DiariZen-large 解冻 WavLM 的全端到端适应，再以伪标签扩充训练，最后做加权概率融合或 DOVER-Lap。当录音说话人数多、重叠更高或设备差异更大时，本文双人低重叠下的向量非瓶颈结论可能不再成立，需重测向量与分割的相对贡献。当部署预算只允许单系统时，应选最佳单系统而非六系统融合，并接受约 0.09 个百分点的差距。

收束时回到可复述的方法链：短窗 WavLM 加 Conformer 做局部多说话人检测，说话人向量加约束聚类做全局对应，dev1 微调加 dev2 选型，相关域数据以伪标签或平均教师利用，加权融合保留不确定性。论文以第 2 名的成绩支持这条链在 DISPLACE-M 第一赛道上的有效性，同时以模型依赖的半监督结果提醒没有一招通吃。后续值得补的验证是伪标签错误率统计、平均教师在强预训练特征上的调参扫描，以及训练与推理成本的完整记录。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 odyssey-2026 论文汇总