不用真标签做说话人确认：用多层一致挑出可信伪标签，再把不可信样本当无标签蒸馏

英文题目：Self-supervised Speaker Verification with High-Confidence Pseudo-Label Selection and DINO-Style Self-Distillation Based on Pre-trained Models

会议身份：conference:interspeech:2026:conference-paper-id:li26ca_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#知识蒸馏 #自监督学习 #预训练 #语音 #说话人验证

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yishuang Li：机构信息未能从会议 PDF 纯文本可靠映射
• Yi Yu：机构信息未能从会议 PDF 纯文本可靠映射
• Wanli Dong：机构信息未能从会议 PDF 纯文本可靠映射
• Weihao Gan：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

自监督说话人验证（Self-supervised Speaker Verification，SS-SV）输入为无标注语音段，输出为说话人嵌入与验证得分，难点在于聚类伪标签含噪且低置信样本难以利用。方法链分三步推进：先在验证试验上按层等错误率筛选最具说话人判别力的预训练模型层并独立聚类，再经匈牙利匹配对齐簇标识并保留跨层一致样本为高置信集，其余划为无标注集，最后对高置信集用标签噪声校正损失做伪监督，同时对无标注集用指数滑动平均教师提供软目标并施加双视图一致性约束。与仅用单层伪标签训练相比，该设计以跨层共识过滤噪声，并以自蒸馏复用低置信数据而非丢弃或强制硬标签。在VoxCeleb2 dev无标注训练并在VoxCeleb1-O评测时，4轮迭代后等错误率达1.09%，相对预训练模型加标签校正基线1.25%降低约12.8%。该结论目前仅在VoxCeleb系列近场英语场景验证，未覆盖跨语言、强噪声与短时等外推条件。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

说话人确认要解决什么，为什么无标签版本更难？

输入是两段语音，目标是判断它们是否来自同一说话人。研究生刚进入这个领域时容易把任务理解成声音分类，但说话人确认是开放集合的比对问题，测试时出现的说话人往往不在训练集中出现过，因此系统不能只记住训练说话人的名字，而要学出能比对任意两段语音的嵌入表示。常用做法是先把每段语音映射成定长说话人嵌入，再用余弦相似度打分，相似度高于阈值判为同一人。评价用等错误率，等错误率越低越好，论文还同时报告最小归一化检测代价，同样越低越好。

本文只研究自监督说话人确认，也就是训练阶段不使用任何真实说话人标签。训练数据是 VoxCeleb2 开发集，包含大量无标签语音，测试在 VoxCeleb1-O 上进行。必须保留的信息条件是：第一轮挑选预训练模型层时用到的验证试次只用于计算各层等错误率，不参与任何模型参数更新；训练时每条语音被切成无重叠的 2 秒块，并做在线增强；推理评估用余弦打分。输出是一套经过多轮精炼的学生模型。

无标签版本难在监督信号要自己造。常见迭代框架分两步走，先用自监督目标训练编码器或直接用现成表示，再聚类产生伪标签，然后按伪标签做有监督训练并反复迭代。伪标签一旦有错，下一轮就会把错误放大。对初学者来说，关键直觉是：数据量不是瓶颈，标签可信度才是瓶颈。本文的工作就围绕如何挑出可信伪标签，以及如何不浪费不可信样本展开。

已有路线各自卡在哪里？

第一条路线是对比学习。它为每个样本构造正负样本对，把同一条语音的不同增强拉近，把不同语音推远。问题在于无标签时负样本可能恰好来自同一说话人，这种假负样本会误导训练。论文把这类方法与后续的无负样本路线做了区分，学习时要注意同输入同监督条件下的比较才有意义。

第二条路线是无负样本的自蒸馏，以 DINO 为代表。它用教师网络给学生提供目标，避免显式构造负样本对，已有工作显示出明显收益。但原文指出，伪标签质量仍然关键，噪声伪标签会注入错误监督并损害判别性。此前有工作观察到低损失样本更可靠，于是用损失门控及其动态变体过滤不可靠样本。

第 3 条路线是借助语音预训练模型。例子如 HuBERT、UniSpeech-SAT、WavLM，它们在大规模无标签语音上学到通用表示。已有 PTM-LC 工作用预训练表示聚类得到更强的初始伪标签，并做标签校正。原文提出的开放问题是：在完全无标签条件下，如何利用预训练模型分层表示构造更可靠监督，同时抑制伪标签噪声又不牺牲数据效率。这一定位决定了后文既要做选择，也要做蒸馏，而不是只做其中一端。

论文把什么定义为待解问题，输入输出是什么？

待解问题可以复述为：给定无标签集合与一个验证试次表，如何选出高置信伪标签子集并有效利用剩余低置信样本，使最终说话人确认模型在 Vox1-O 上达到可比当前最好方法的性能。输入是无标签语音集合、验证试次、预训练模型、聚类算法、候选层数、迭代轮数、置信阈值、损失权重与滑动平均衰减。输出是训练好的学生模型。

论文把样本分成两类。高置信集合带伪标签，用于伪监督学习；低置信集合不带硬标签，被当作无标签数据，用于教师软目标蒸馏与一致性正则。划分依据是多层聚类是否一致，外加簇内样本数过少的簇直接划入无标签。教学例子：假设同一条语音在第 10 层被分到簇 A，在第 11 层对齐后也被分到簇 A，则保留。

若两层分到不同簇，则不给硬标签。这个例子只是帮助理解一致性定义，不代表真实簇编号或效果。

需要区分论文直接报告与待验证推测。论文报告的是在给定数据集与配置下该划分能提升伪标签质量并降低等错误率，支持该设计有效；但未测量误判率以外的延迟、算力上限或跨数据集泛化，因此不能把该结论推广为在所有语音条件下都成立。

整体流程如何沿一个样本走通？

先沿一个无标签样本走完第一轮。波形进入预训练模型的卷积特征提取器，再逐层经过变换器层，每层输出帧级表示。论文对每层做时间池化得到 utterance 级嵌入，然后在验证试次上用余弦打分计算每层的等错误率，选出等错误率最低的前 K 层。对该样本而言，它在每个选中层都有一个嵌入向量，分别参与各自层的独立聚类，得到 K 个伪标签。

随后进入对齐与选择。以第一层结果为基准，用共现矩阵统计基准簇与另一层簇的重叠样本数，再用匈牙利算法求使总一致数最大的映射，把其他层的簇编号映射到基准坐标系。只有 K 层映射后完全一致的样本才进入高置信集合，其余进入无标签集合。高置信样本走伪监督分支，无标签样本做两种增强后走教师学生蒸馏分支。训练结束后做离线标签校正并重训，从第二轮起改用当前模型嵌入做单套聚类，再校正重训直到收敛。

下图是论文给出的整体架构，左侧是波形与多层表示，中间是选层聚类与对齐选择，右侧是学生教师训练闭环，阅读时先看主数据流再看损失回路。

看图路径： 1. 从底部波形经特征提取器到多个变换器层的向上箭头，确认表示来源；2. 看中部自上而下选择层、聚类、对齐选择的纵向主链路；3. 看右侧学生与教师之间增强视图、软目标与蒸馏损失的闭环；4. 看左侧虚线框内可学习加权求和与下游网络的汇合位置

论文图 1。原论文 Figure 1：“Overall architecture of the proposed self-supervised speaker verification method.”。

从像素可见，底部是波形与特征提取器，向上是多个变换器层输出，中部有两个纵向条块分别对应选层与聚类，再向右是标签对齐选择，分出高置信与低置信两路。右侧上方蓝色框为学生，内含编码器与分类器，并引出噪声校正损失；右侧下方为教师，教师输出经平滑与掩码后与学生输出计算蒸馏损失，学生两个增强嵌入之间还有一致性损失，教师参数由学生经指数滑动平均更新。

左侧虚线框显示学生编码器由预训练子网络与下游网络组成，多层表示经可学习加权求和后送入下游网络。该图支持前文样本走通的描述，低置信样本确实没有进入硬标签分支，而是进入增强与蒸馏分支。

预训练模型 × 高置信伪标签选择： 预训练模型负责提供多层通用语音表示，高置信伪标签选择负责从中挑出跨层一致的可靠监督，二者搭配的原因是单层表示都含说话人信息但也含噪声，组合意义是只把多层都同意的样本当作有标签数据，其余降级为无标签，避免把不可靠硬标签强加给模型。

多层聚类一致性如何挑出高置信样本？

白话解释：变换器不同层捕捉不同抽象级别的信息，有的层更关注说话人，有的层更关注内容或信道。英文对应是 speaker-discriminative layers 与 high-confidence pseudo-label selection。做法分 3 步。第一步是选层，对每层 utterance 嵌入在验证试次上算等错误率，取最低的 K 层。第二步是独立聚类，对每个选中层提取全量无标签数据的嵌入并用 Infomap 聚类，得到 K 套伪标签。第 3 步是对齐与过滤，以第一套为基准建共现矩阵并用匈牙利匹配求映射，再保留跨层完全一致的样本。

Infomap 是一种基于图的聚类方法，它把每条语音嵌入看作节点，按余弦相似度连边，通过最小化随机游走描述长度发现说话人社区。它不需要预先指定说话人数，适合开放集合场景。论文还规定簇内样本少于 5 的簇直接划入无标签集合，避免过小簇带来极不可靠监督。

多层聚类 × 标签对齐： 多层聚类负责对每个选中层独立做 1 次聚类得到多套伪标签，标签对齐负责用共现矩阵与匈牙利匹配把不同层的簇编号映射到同一坐标系，二者搭配的原因是簇编号本身是置换不变的、不能直接比较，组合意义是先对齐再比较一致性，才能定义跨层一致的高置信集合。

该组件的已验证对照在后文结果中给出：单层聚类质量相近，而两层一致与 3 层一致能明显提升高置信子集的归一化互信息与 F1，同时低置信子集分数很低。这支持一致性过滤确实把可靠与不可靠样本分开了。但也要看到代价：一致性越严格，高置信样本量越小，3 层一致时高置信段数少于两层一致，剩余更多样本只能走无标签分支，因此需要后文蒸馏机制承接，否则会浪费数据。

学生编码器与教师如何搭建，参数谁更新谁冻结？

白话解释：学生模型是真正要训练和最终使用的模型，教师模型是为无标签数据提供软目标的影子模型。英文对应是 student model、teacher model 与 exponential moving average。学生由编码器加分类器组成，编码器又由预训练子网络加 ECAPA-TDNN 组成。预训练子网络只保留前若干层，具体是保留到验证等错误率最低的那个层为止，例如 WavLM 取前 10 层变换器。各层表示经可学习加权求和后送入 ECAPA-TDNN。教师与学生结构相同，只做前向推理，不接受梯度更新，其参数按指数滑动平均从学生参数缓慢更新。

训练分两个阶段。第一阶段更新除预训练子网络之外的所有参数，第二阶段微调整个网络。论文给出 2 阶段最大学习率与轮数，优化器用 AdamW 并配合循环学习率。梯度路径按原文可复述为：伪监督损失、蒸馏损失与一致性损失都只更新学生，教师分支有停止梯度标记，教师参数只通过滑动平均公式更新。验证试次不更新任何模型，这是必须保留的信息条件。

一个常见误解是把教师当作更大的预训练模型。本文教师不是更大的外部模型，而是与学生同结构、参数滞后于学生的平均版本，其作用是提供更平滑的软目标并稳定无标签分支。原文未给出教师初始化之外的更多细节时，不应从模型名称推定额外实现。

三个损失如何分工，阈值与权重起什么作用？

训练目标是 3 个损失的加权和。高置信集合用标签噪声校正损失，记为伪监督损失；无标签集合用知识蒸馏损失与嵌入一致性损失。权重系数控制后两项相对伪监督的比重。

标签噪声校正损失同时看伪标签与模型自身预测。随着训练轮次增加，置信权重逐渐从伪标签转向模型预测，缓解高置信集合中仍存在的残留噪声。论文设置最终权重与总迭代数相关，具体数值在实验配置中给出。无标签分支先对每个样本做两种增强得到两个视图，教师在第一个视图上输出经温度平滑的分布，取最大概率为置信度，只有置信度高于阈值的样本才参与蒸馏损失。

学生分布同样经温度平滑，蒸馏损失只在被选中的置信索引上计算，并乘以温度平方。一致性损失则在整个无标签小批量上计算两个学生嵌入的余弦距离，不受置信掩码影响，目标是让同一说话人在不同增强下嵌入不变。

伪监督学习 × DINO 式自蒸馏： 伪监督学习负责在高置信集合上用标签噪声校正损失学习说话人分类，自蒸馏负责在低置信集合上让学生跟随指数滑动平均教师的软分布并保持双增强视图一致，二者搭配的原因是前者需要干净监督、后者不需要硬标签，组合意义是同时吃掉可靠标签和不可靠样本的信息而不引入新的硬标签噪声。

阈值的作用是控制参与蒸馏的样本量与质量。阈值过低会引入不可靠软目标，过高则可用无标签数据太少。权重的作用是平衡有标签监督与无标签正则，过大压制伪监督，过小浪费无标签信息。后文消融用具体数字验证了这种权衡。

知识蒸馏损失 × 一致性损失： 知识蒸馏损失负责让学生在同一增强视图上逼近教师经温度平滑后的类别分布，一致性损失负责让学生对同一无标签样本的两个增强视图输出相近的说话人嵌入，二者搭配的原因是一个管类别层面的软监督、一个管嵌入层面的视图不变性，组合意义是既传递教师的判别知识又约束表示本身稳定。

离线标签校正发生在训练之后。它把每条语音切块并在块级别预测，若某一标签在超过一半块中出现，则把该标签赋给整条语音，否则视为模糊样本丢弃。随后用校正后标签做有监督重训。该步骤与迭代精炼配合，构成从第二轮起的单套聚类加校正重训循环。

数据、增强、评价与模型配置是否可复述？

研究用 VoxCeleb2 开发集训练，该集合包含 5994 个说话人与大量语音，训练时不使用真实说话人标签。每条语音被切成无重叠 2 秒块，并用 MUSAN 与 RIR 做在线增强，包括波形丢弃、速度扰动、加噪与加混响。评估在 VoxCeleb1-O 上进行，指标为等错误率与最小归一化检测代价，后者目标先验概率设为 0.01。两个指标都是越低越好。

模型方面评估 3 种预训练大模型，分别为 HuBERT、UniSpeech-SAT 与 WavLM，每种包含 7 层卷积特征提取器与 24 层变换器。选层依据验证等错误率，论文报告 WavLM 在第 10、11、9 层取得 3 个最低值，并据此采用前 10 层变换器作为预训练子网络。训练超参数按原文为：噪声校正最终权重、蒸馏温度、置信阈值、损失权重与滑动平均衰减分别取给定值，2 阶段最大学习率与轮数也已给出。资源状态方面，本次未发现来源绑定且完成验证的开源代码、模型或数据链接，因此不能声称代码或权重已公开，只能按论文文字复述配置。

下图展示不同预训练模型各层验证等错误率随层数的变化，阅读时先看坐标含义再比较低谷。

看图路径： 1. 先确认横轴为层编号、纵轴为等错误率，数值越低说话人判别性越好；2. 比较三条折线在中间层附近的低谷位置，找出最判别层；3. 观察深层与浅层等错误率回升的趋势，理解为何只取前部层

论文图 2。原论文 Figure 2：“2”。

从像素可见，横轴为层编号 0 到 24，纵轴为等错误率百分比。蓝色 WavLM 与粉色 UniSpeech-SAT 在中间层附近明显下探，绿色 HuBERT 整体偏高。3 条曲线都呈现中间低、两端高的趋势，WavLM 低谷最深，大致落在第 10 层附近，这与正文采用前 10 层作为子网络的决定一致。该图不能读出精确到小数点的数值，教学时只需确认选层依据是验证等错误率最低，而不是默认取顶层或底层。

高置信选择是否真的提升伪标签质量？

要回答的问题是：在同样的无标签数据上，跨层一致筛选是否比单层聚类得到更纯的伪标签。比较条件是同一 Vox2 开发集上的聚类质量，指标为归一化互信息、F1、精确率与召回率，方向都是越高越好，同时报告簇数与段数以显示数据量变化。

表后解释需要同时讲收益与代价。收益是高置信子集质量大幅提升，两层一致已明显高于单层，3 层一致进一步提升，而低置信子集分数很低，说明筛选确实分离了可靠与不可靠样本，支持把低置信部分当无标签数据。代价是高置信样本量减少，3 层一致只保留约 710,000 段，剩余约 370,000 段进入无标签集合；簇数也从单层的约 2 万变为高置信的约 11,000，说明严格一致会合并或丢弃部分簇。未胜出项是低置信子集本身不能直接用于硬标签训练，这正是后文蒸馏要解决的问题。

离线标签校正 × 迭代精炼： 离线标签校正负责把每条语音切块预测、多数块一致才保留 utterance 标签，迭代精炼负责用当前模型重新提取嵌入、重新聚类并重训，二者搭配的原因是单轮伪标签仍有残留噪声，组合意义是通过校正加多轮重训逐步提升标签纯度与模型判别力。

第一轮与多轮迭代的确认性能如何？

要回答的问题分两层：第一轮内各组件带来多少可运行收益，多轮迭代后最终达到什么水平。比较对象都是原文实际可运行的策略，不用事后最优值代替。指标为 Vox1-O 上的等错误率与最小检测代价，越低越好。

表后解释要给出增量含义。相对复现基线，两层一致与 3 层一致分别降低等错误率，3 层一致更严格因而监督更稳；再引入自蒸馏后进一步下降，最好的 3 层加蒸馏相对基线降低约 20.5%。这支持论文判断：对低置信样本强加硬标签会放大噪声，而当作无标签做蒸馏与一致性正则能在不引入不可靠监督的情况下提升表示。同时要指出未胜出项：仅用一致性而不用蒸馏时仍高于完整模型，说明数据效率尚未吃满。 多轮迭代趋势如下图所示，阅读时先确认起点再看收敛。

看图路径： 1. 先确认横轴为迭代轮次、纵轴为等错误率，越向下越好；2. 对比本方法折线与其他方法折线在第 1 轮起点的相对位置；3. 跟踪第 2 到第 4 轮各折线的下降幅度，判断迭代收益是否收敛

论文图 3。原论文 Figure 3：“EER (%) of different methods across iterative refine- ment on Vox1-O.”。

从像素可见，横轴为迭代轮次 1 到 5，纵轴为等错误率（%）。本方法起点最低，第 1 轮约为 2.10%，随后第 2 轮降至 1.38%，第 3 轮降至 1.11%，第 4 轮为 1.09%，曲线逐步变平。其他方法如 PTM-LC、LGL 等起点更高且下降较慢，PTM-LC 在第 5 轮约为 1.25%，IPL 需要 11 轮才到 1.14%。该图支持论文报告的迭代效率优势，但也显示第 3 到第 4 轮收益已很小，提示继续迭代可能进入平台期。最终论文报告 4 轮后在 Vox1-O 上等错误率为 1.09%，相对 PTM-LC 基线的 1.25% 降低约 12.8%，该判断受限于同一数据集与同一评估协议，不能直接推广到其他测试集。

蒸馏与一致性各自贡献多大，阈值权重如何取舍？

要回答的问题是：在第一轮默认配置下，去掉某一项或改变超参数会发生什么。比较条件固定为高置信 3 层加无标签分支，指标仍为等错误率与最小检测代价。

表后解释需区分主次。去掉一致性只引起小幅退化，去掉蒸馏则带来更大下降，说明置信门控蒸馏是主要贡献，一致性是互补稳定项。阈值过低会引入噪声软目标，过高则减少可用无标签数据，0.6 是二者折中。权重过大压制伪监督，过小削弱蒸馏与一致性效果，因此 0.5 附近更平衡。未评测边界是论文未报告不同温度或不同增强组合下的完整扫描，也未测量阈值随迭代是否应调整，因此复现时应先固定原文值，再小范围验证。原文未给出的梯度细节不猜，只按已报告的掩码与加权方式实现。

哪些结论有边界，什么还没有被验证？

论文直接报告的是在 VoxCeleb2 训练、Vox1-O 测试下的伪标签质量与等错误率变化，这些数字支持方法有效。有限解释是把低置信样本当无标签能提升数据效率，这一解释被第一轮对照支持，但未分解增强、教师质量与数据量各自的贡献，因此只能说联合有效，不能断言某一项单独必然带来同样增益。

未验证推测包括跨信道、跨语言或噪声更重场景是否同样有效，以及迭代轮数继续增加是否稳定。原文未报告训练时长、显存占用、推理延迟与输出帧率，因此不能承诺这些成本得到改善。总体趋势不等于每组都成立，例如 3 层一致优于两层一致是在平均指标下成立，不代表每个说话人簇都被更准地划分。

另一个边界是验证试次的使用。虽然它不更新参数，但选层依赖它，若验证分布与训练分布差异大，选出的层可能不是最优。论文未报告更换验证集后的敏感性，复现时应保留该信息条件并记录所用试次表。表格与曲线在算术上没有发现互相冲突，但像素图不能精确读出小数点后数值，引用时以正文报告的数字为准。

要复现应先做什么，需要哪些具体配置？

复现先做三件事。第一，按原文切分与增强准备数据：无重叠 2 秒块，在线加入 MUSAN 噪声与 RIR 混响，并保留速度扰动与波形丢弃；训练全程不使用真实说话人标签。第二，复现选层与聚类：对 24 层变换器逐层算验证等错误率，选最低 K 层，分别聚类后做共现加匈牙利对齐，只保留完全一致样本为高置信，簇内少于 5 样本的簇划入无标签。第三，按 2 阶段训练学生教师：先冻结预训练子网络训练下游，再全网微调，教师用滑动平均更新并停止梯度。

关键超参数按原文保留：噪声校正最终权重、蒸馏温度 2.0、置信阈值 0.6、损失权重 0.5、滑动平均衰减 0.999，2 阶段最大学习率分别为 5×10-4 与 1×10-5，轮数分别为 10 与 5。评估用余弦打分在 Vox1-O 上算等错误率与最小检测代价。

还需补的验证是：记录每次聚类的簇数与高低置信段数是否与论文量级一致，检查阈值附近参与蒸馏的样本比例，以及多轮后性能是否在第 3 到第 4 轮收敛。若起点明显偏高，优先检查增强强度与选层是否正确，而不是直接调大损失权重。由于本次未确认可达的开源资源，不得声称代码已公开，一切以论文文字与上述配置为准。

何时值得尝试这种组合，如何一句话记住它？

当你有大量无标签语音、有一个可用的语音预训练模型，但直接聚类伪标签噪声大、又不想丢掉低置信数据时，值得尝试该组合。它的记忆点是：多层一致做减法，只留下都同意的硬标签；自蒸馏做加法，把不同意的样本用软目标与一致性再利用一遍。

对研究生而言，可核对的复述是：第一轮用验证等错误率选层，独立聚类后对齐筛选，高置信做噪声校正伪监督，低置信做置信门控蒸馏加双视图一致性，之后离线校正并迭代重训。最强证据是第一轮相对复现基线降低约 20.5%，4 轮后达到 1.09%，且比需要 11 轮的对照更省迭代。主要代价是流程更重，需要多次聚类、对齐、教师前向与重训，且选层依赖验证试次。

使用生成式人工智能的声明按原文保留：作者说明曾用生成式工具润色英文与排版，未用于生成科学主张或实验结果。这一信息不影响方法复述，但提醒读者把语言流畅度与证据强度分开看待。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总