各客户端说话人互不重叠时，用第二个分类头把全局知识带回本地

英文题目：A Federated Learning-Based Speaker Recognition Method with Dual Classification Heads

会议身份：conference:interspeech:2026:conference-paper-id:meng26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#联邦学习 #隐私保护 #语音 #说话人验证

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Ying Meng：机构信息未能从会议 PDF 纯文本可靠映射
• Zhihua Fang：机构信息未能从会议 PDF 纯文本可靠映射
• Liang He：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

说话人识别以语音波形或声学特征为输入，输出说话人嵌入供试听对判决，实际难点在于各机构说话人互不重叠且受隐私约束无法集中语音，本地分类头仅见局部标签导致嵌入缺乏全局可分性。FedDCH先下发全局嵌入提取器与全局分类头，客户端以全局头与本地头联合监督同一前向嵌入并加权优化，使本地反向传播即引入跨客户端类别知识。随后客户端按说话人字符串标识将本地头参数回写到全局头对应位置再上传，服务端对提取器按数据量加权平均、对全局头按说话人归属加权聚合后重新下发迭代至收敛，与滞后平均的FedAvg形成提前监督差异。在VoxCeleb与CN-Celeb四客户端联合训练的评测设置下，FedDCH在VoxCeleb1上的EER为1.12%，低于FedAvg的EER 1.18%。在VoxCeleb2按说话人切分为4个客户端的设置下，平均等错误率（Equal Error Rate，EER）相对本地训练改善46.5%，相对联邦平均（Federated Averaging，FedAvg）改善7.6%；在VoxCeleb与CN-Celeb四数据集各作一客户端的跨域设置下，相对本地训练平均改善68.8%，相对FedAvg改善5.4%。结论限于说话人互斥且全局标签可通过标识精确对齐的横向联邦，对开放集难例与大规模类别扩展尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决哪一步？

本文的输入是各机构私有的说话人语音数据，输出是用于说话人验证的嵌入向量和基于该嵌入的验证判决。目标读者是刚进入语音领域的学生，需要先建立的事实是：说话人识别分为辨认是谁和验证是否为同一人 2 个任务，本文实验主要按验证任务评估，用等错误率和最小检测代价衡量。

在深度学习框架下，系统先把语音转成声学特征，再由嵌入提取器得到能区分说话人的向量，训练时靠分类损失塑造该向量，测试时通常丢弃分类头直接比对嵌入。论文指出，大规模高质量数据对性能起决定作用，但单个机构收集大规模声纹数据既要投入经济与技术资源，又面临隐私合规压力。

因此本文的目标不是提出新的声纹网络结构，而是解决协作训练中的一步：在不共享原始语音的前提下，让拥有互斥说话人集合的多个机构联合训练出比各自本地训练更好的嵌入提取器。必须保留的信息是客户端被定义为拥有一定规模数据的组织或公司，而非单台终端设备，这直接决定了后文的数据异构假设。

联邦学习 × 说话人识别： 联邦学习负责在不共享原始语音的前提下组织多方协作训练，分工是下发全局模型、收集本地模型并聚合；说话人识别负责把语音变成能区分是谁的嵌入向量，分工是提供嵌入提取器和说话人判别目标；二者搭配的原因是声纹具有隐私敏感性且单个机构难以凑齐大规模多说话人数据，组合意义是让各机构只上传模型参数就能联合学到更具判别力的声纹表示。

本解读默认从原文独立写作，事实只来自论文正文证据与本次收到的官方原图像素。资源状态方面，未发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开，只能按论文描述的训练与评估条件复述方法。

已有联邦学习路线为什么在互斥说话人下会受限？

论文把相关路线分成两类。第一类是通用联邦异构优化方法，包括联邦平均、联邦近端正则、模型对比联邦学习和跨轮次差异感知聚合。它们的共同输入是各客户端的本地模型，目标是通过更好的本地正则或服务端聚合减轻非独立同分布带来的性能下降。

第二类是已有联邦说话人识别方法，论文列举了面向端侧设备的隐私保护说话人识别、个性化持续联邦学习等工作。它们的共同点是把客户端看作持有少量说话人数据的个人终端，依赖用户授权与终端算力。论文认为这种设定不现实，也不符合组织级数据规模。

论文对这些路线的判断是：多数优化方法仍在本地分类头指导下训练本地模型。本地分类头只能看到当前客户端的私有数据，对全局数据分布没有显式感知，跨客户端知识只能在后续模型聚合时间接获得。这种机制限制了知识的有效融合，尤其当各客户端说话人类别互斥时，聚合带有不同分布特征的模型可能损害最终模型。

教学上可以这样理解：已有方法相当于每个学生只按自己手里的习题答案改作业，交上去后再由老师平均；本文要做的是给每个学生再发一份包含全部题目编号的参考答案目录，让修改作业时就意识到全局题型。本文没有重新证明已有方法的收敛性质，只是把它们作为基线在相同嵌入提取器下比较。

数据异构在这里具体指什么分布？

论文设定的数据异构不是简单的口音或信道差异，而是说话人标签空间互斥。设有 K 个客户端，第 k 个客户端的本地数据记为 Dk，其中包含 Nk 条语音。每条语音有语音信号、本地标签和全局标签。本地标签是在该客户端内部的编号，类别数为 Ck；全局标签是按说话人字符串标识映射后的全局编号，总类别数为所有客户端类别数之和。

举例说明，假设客户端 1 有 100 个说话人，客户端 2 有另 100 个说话人，且两组说话人没有重叠，则本地分类头分别只需做 100 分类，而全局分类头需要做 200 分类。这个例子只是帮助理解标签空间大小关系，不是论文的实际数据划分。

在这种分布下，本地模型在某个说话人类别上学到的程度与该说话人在本客户端出现的频率正相关。若直接平均聚合嵌入提取器，来自不同标签空间的更新方向可能互相干扰。论文要解决的正是如何在本地训练阶段就让模型直接获得全局知识，而不是等到聚合时再间接混合。

需要明确的边界是：论文没有声称解决了所有类型的异构，例如语种、信道、年龄分布差异未被单独建模；实验中 VoxCeleb 与 CN-Celeb 的联合场景确实引入了语种与采集差异，但论文仍主要用说话人互斥来描述异构，没有给出各类异构因素的分解度量。

双分类头方法全景：一个样本走完全流程

先沿一个样本走完流程。假设客户端 k 收到一条语音，先由本地嵌入提取器得到一个嵌入向量。该向量同时送入两个分类头：本地分类头把它分成 Ck 类，计算本地损失；全局分类头把它分成 C 类，计算全局损失。两个损失按平衡系数加权求和，再反向传播更新嵌入提取器和两个分类头。

全局分类头 × 本地分类头： 本地分类头只把嵌入分成当前客户端的 Ck 类，分工是拟合本地说话人边界；全局分类头把嵌入分成全部客户端的 C 类，分工是保留跨客户端的全局说话人结构；搭配的原因是只靠本地头时本地模型只能在聚合时间接获得他方知识，组合意义是让嵌入提取器在本地反向传播阶段就同时受到全局分布和本地分布的直接约束。

本地训练持续若干个回合后，每个客户端把本地嵌入提取器参数和更新后的全局分类头参数上传到服务端。服务端对嵌入提取器做按数据量比例的加权平均，对全局分类头做按说话人标识的加权聚合，再把新的全局嵌入提取器和全局分类器下发给各客户端，进入下一轮。重复该过程直到收敛或达到最大聚合轮数。

下图是理解该闭环的关键，它同时画出了本地双头监督、参数上传下发、服务端两路聚合三部分，阅读时不要只看左侧网络形状，要把左右两侧的通信箭头与聚合公式对应起来。

看图路径： 1. 先从左侧 Local Training Phase 看 D1 到 WK 的数据与嵌入路径，再看 psi_g,k 与 psi_k 如何汇入同一后端网络；2. 再看中间 w_k 与 psi_g,k 上传、w_g 与 psi_g 下发的双向箭头，确认每轮通信包含哪两组参数；3. 最后看右侧 Server 上下面板，区分上面嵌入提取器的加权聚合与下面全局分类器的按说话人加权聚合；4. 重点读右下角 p_i 求和公式与 W 矩阵，确认优势因子 mu 只作用于拥有该说话人的客户端

论文图 1。原论文 Figure 1：“An Overview of the FedDCH. At the k-th client, ψg,k represents the global classifier parameters, ψk denotes the local classifier parameters, and wk corresponds to the local…”。

从像素可见，左侧分为上下两个客户端面板，分别标出本地数据集、嵌入模块、两条分类头分支以及指向后端网络的反向箭头，顶部标出加权损失形式；右侧分为上下两个服务端面板，上面是嵌入提取器的加权聚合示意，下面是全局分类器的按分量聚合示意，右下角给出按说话人加权的求和公式与权重矩阵形态。该图支持的判断是：嵌入提取器与全局分类器在服务端走的是两条不同的聚合路径，前者按客户端数据量，后者按说话人归属，这正是后文训练节要展开的细节。

三个组件各自存什么参数，推理时用哪部分？

客户端本地模型由 3 组参数组成。第一组是本地嵌入提取器参数，论文实验统一采用通道数为 1024 的 ECAPA-TDNN，输入为 80 维对数梅尔谱图，输出为 512 维说话人嵌入。第二组是本地分类器参数，可以看作每个本地说话人类别对应一个映射向量。第 3 组是全局分类器参数，可以看作每个全局说话人类别对应一个映射向量。

服务端维护两组全局参数：全局嵌入提取器和全局分类器。全局分类器在下发时被各客户端复制为各自的全局分类头起点，本地训练后再被收集回去聚合。权重矩阵维护在服务端，用于记录哪个客户端拥有哪些说话人。

嵌入提取器 × 分类头监督： 嵌入提取器负责把 80 维对数梅尔谱图映射为 512 维说话人嵌入，分工是承载可迁移的声纹表示；分类头监督负责把嵌入映射到说话人标签并计算损失，分工是给出梯度方向；搭配的原因是验证阶段丢弃分类头只用嵌入做比对，组合意义是双头损失共同塑造嵌入空间，使其同时在本地类别和全局类别上可分。

关于推理，论文的评估做法是用训练好的本地模型提取嵌入，在 Vox-O、Vox-E、Vox-H 或 CN-Celeb 评估集上做验证试验。分类头只在训练时提供监督，验证指标基于嵌入比对。原文没有给出验证时阈值选择或打分归一化的额外步骤，因此复述时不应补充无源的打分细节。

需要保留的符号对应关系是：小写 w 表示嵌入提取器，psi 表示分类器，带下标 g 表示全局，带下标 k 表示第 k 个客户端，C 表示全局总说话人数，Ck 表示客户端 k 的说话人数。理解这套下标是读懂后文聚合公式的前提。

本地如何联合训练，服务端如何分两路聚合？

本地训练阶段，每个客户端 k 接收服务端的全局嵌入提取器和全局分类器，然后在本地数据上优化加权损失。损失由全局损失和本地损失组成，平衡系数记为 alpha。本地损失用本地分类头输出与本地标签比较，全局损失用全局分类头输出与全局标签比较，损失函数类型在不同实验中有交叉熵、加性间隔 Softmax 和加性角度间隔 Softmax 3 种选择。

本地训练持续 l 个回合，论文实现中 l 为 5。训练完成后，客户端按说话人字符串标识更新全局分类器参数。具体做法是：若全局类别 i 与本地类别 j 对应同一说话人标识，则把该全局分量与对应的本地分量按系数 beta 做滑动平均；不对应的分量保持本地训练后的值。这种更新让全局分类头中属于本客户端说话人的分量得到本地知识的直接刷新。

加权聚合 × 优势因子： 加权聚合负责在服务端把各客户端上传的参数按权重合成为全局参数，分工是决定谁的知识占比更大；优势因子负责标记某客户端是否拥有某说话人 i 的数据，分工是有该说话人时取较大的 mu、无则取 1；搭配的原因是不同说话人在各客户端出现频率不同、训练充分程度不同，组合意义是让在该说话人上训练更充分的全局分类头分量在聚合中占更大比重，从而保留其判别信息。

中央聚合阶段分两路。嵌入提取器采用常见的数据量加权平均，权重为各客户端数据量占总数据量的比例。全局分类器采用按说话人标识的加权聚合：对第 i 个说话人分量，把各客户端的对应分量按权重矩阵的第 i 列归一化后加权求和。若客户端 k 拥有说话人 i 的数据，则权重矩阵对应位置取较大的优势因子 mu，否则取 1。论文在 VoxCeleb2 划分实验中取 mu 为 1，在 VoxCeleb 与 CN-Celeb 联合实验中取 mu 为 5。

超参数方面，VoxCeleb2 实验取 alpha 为 0.4、beta 为 0.4，联合实验取 alpha 为 0.2、beta 为 0.1，最大聚合轮数 T 为 20，初始学习率为 0.001 并按每回合 0.97 衰减，优化器为 Adam。原文未报告梯度是否在某些分支截断，也未报告分类头学习率是否与主干不同，因此不应推测额外的冻结或解冻安排。

数据划分、模型配置与评估条件是否可比？

数据方面，VoxCeleb1 开发集包含来自 1211 个说话人的 148642 条语音，测试集 Vox-O 包含来自 40 个说话人的 4000 余条语音；VoxCeleb2 开发集包含来自 5994 个说话人的 1092009 条语音；Vox-E 和 Vox-H 是从 VoxCeleb1 开发集抽取的测试对，且与 VoxCeleb2 无说话人重叠；CN-Celeb1 开发集包含来自 800 个说话人的 111260 条语音，测试集包含来自 200 个说话人的 18849 条语音；CN-Celeb2 开发集包含来自 2000 个说话人的 529485 条语音。

划分上有两种协议。第一种是把 VoxCeleb2 按说话人标识随机均匀切分为 4 个子集，分别作为 4 个客户端的私有数据，评估用 Vox-O、Vox-E 和 Vox-H。第二种是更贴近现实的跨数据集协议，把 VoxCeleb1、CN-Celeb1、VoxCeleb2、CN-Celeb2 分别作为 4 个客户端的私有数据，前两者规模较小、后两者规模较大，评估时用 Vox-O 评估来自 VoxCeleb 的模型，用 CN-Celeb 评估集评估来自 CN-Celeb 的模型。

等错误率 × 最小检测代价： 等错误率负责报告误接受与误拒绝相等时的错误水平，分工是给出与阈值无关的总体判别能力；最小检测代价负责在目标先验概率为 0.05 时报告加权检测代价的最小值，分工是反映实际检测工作点的代价；搭配的原因是单一阈值点不能完整刻画验证系统，组合意义是同时从错误平衡点和应用代价角度检验联邦协作是否真正改善了本地模型。

模型与基线方面，所有实验统一用 ECAPA-TDNN 作为嵌入提取器，本地损失统一用加性间隔 Softmax。比较对象包括仅用私有数据训练的本地基线，以及联邦平均、联邦近端正则、模型对比联邦学习和跨轮次差异感知聚合。评估指标为等错误率和目标先验为 0.05 时的最小检测代价，数值越小表示越好。公平性上，同一协议下各方法共享数据划分和主干结构，差异主要在本地正则与聚合方式，但原文未报告通信量、训练时长和硬件预算，因此不能比较成本。

主结果：在两种协议下相对谁改善了多少？

要回答的比较问题是：在相同的嵌入提取器和数据划分下，引入全局分类头的方法是否比只用本地数据训练更好，是否比联邦平均等可运行的联邦基线更好。指标方向是等错误率和最小检测代价越小越好。论文直接报告的平均改善结论是理解主结果的入口。

下表整理论文摘要中直接报告的平均等错误率改善幅度。阅读时注意这是平均改善的相对百分比，不是某 1 次评估的绝对等错误率，也不是百分点差值。

表后解释需要同时看到收益与限制。该表显示，在 VoxCeleb2 均匀切分协议下，双头方法相对本地训练有大幅平均改善，相对联邦平均仍有正向改善。这支持联邦协作能帮助客户端提升本地模型的判断，也支持全局分类头在联邦平均之上带来了额外增益。但该表没有给出每个测试集、每个客户端的绝对误差，也没有给出统计显著性，因此不能把平均改善推广为每个客户端在每个测试集上都成立。

第二个比较问题是：当客户端数据来自不同语种与采集来源时，结论是否仍然成立。下表整理跨数据集联合训练下直接报告的平均改善。

表后解释要强调条件变化。该协议下各客户端私有数据特征差异更大，本地训练基线更弱，因此相对本地训练的改善幅度更大；相对联邦平均的改善幅度仍为正，但小于前一协议下的数值含义不能直接跨协议比较绝对性能。论文正文还报告了各客户端在 Vox-O、Vox-E、Vox-H 以及 CN-Celeb 评估集上的具体等错误率与最小检测代价，其中在较难的 Vox-H 上有部分客户端不是最优，这是一个明确的未胜出边界，说明方法在困难验证集上仍有优化空间。未报告的边界包括跨年龄、跨信道的细粒度分析，以及每轮通信字节数与 wall-clock 时间。

只用全局头、只用本地头与双头各差多少？

消融要回答的问题是：性能提升究竟来自全局分类头的引入，还是仅仅来自更长的训练或不同的损失。论文在 VoxCeleb2 数据上做了对照：只用本地损失、只用全局损失、同时用两者。评估统一用 Vox-O。

原文描述的趋势是：只用本地分类头指导的本地模型表现较差；单独用全局分类器指导也能改善本地模型；两者联合指导时本地模型取得最好性能。该对照支持双头协作的必要性，而不是其中某一路单独起作用。

另一组对照是全局损失函数类型的影响。论文在相同框架下分别用交叉熵、加性间隔 Softmax 和加性角度间隔 Softmax 作为全局损失，报告各客户端在 Vox-O 上的等错误率与最小检测代价。原文的表述是方法在这些实验中始终取得有利性能，表明对全局损失的选择具有稳定性。但原文没有给出不同损失下每个客户端都最优的结论，因此不应写成某种损失全面胜出。

从复述角度看，消融的代价是本地训练时需要维护两个分类头的前向与反向，参数量和计算量大于单头基线；论文未量化这部分额外开销，也未报告去掉按说话人加权聚合后性能下降多少，因此不能把优势因子的贡献说成已消融验证，只能说它是聚合设计的一部分。教学例子：如果把全局头比作目录，消融相当于比较只看正文、只看目录、两者都看 3 种复习方式，论文显示两者都看最好，但没有测量看目录多花了多少时间。

哪些结论有证据，哪些还只是待验证？

论文直接报告的是：在两种协议下，双头方法的平均等错误率优于本地训练和联邦平均，且在多个测试集上对多数客户端有效。这属于有证据的报告，可以用报告或显示来表述。

有限解释的是：全局分类头让本地模型更直接地获得全局知识，从而缓解数据异构的影响。论文给出了机制设计与性能对照，但没有直接测量嵌入空间中全局可分性的变化，也没有分解语种、信道与说话人互斥各自的影响，因此该解释只能用支持来表述，不能写成因果证明。

未验证的推测包括：该方法是否能降低推理延迟、减少误判率的实际业务成本、减少通信轮数。原文没有测量延迟、没有报告误判率的人工复核、没有报告达到相同性能所需的通信量，因此不应承诺这些量得到改善。训练资源、推理开销、输出帧率与实际延迟需要分别讨论，总体平均趋势不等于每组、每步都成立。

另一个限制是评估范围。Vox-H 上的部分客户端未取得最优，说明在困难说话人对上仍有波动；跨数据集协议虽然更真实，但仍只有 4 个客户端，没有测试客户端数量更多、数据量更不均衡或中途加入退出的情况。原文表头与正文在部分数字描述上需要仔细核对数据集、模型、阶段、指标与聚合对象，数值相同不能默认是同一指标，相对百分比与百分点也不能混用。

要复现先准备什么，关键超参数如何设置？

复现的第一步是准备数据与划分。VoxCeleb2 协议需要按说话人标识随机均匀切分为 4 份，保证说话人互斥；跨数据集协议需要分别准备 VoxCeleb1、CN-Celeb1、VoxCeleb2、CN-Celeb24 个私有集，并按论文指定用 Vox-O 评估前者、用 CN-Celeb 评估集评估后者。划分的随机种子与具体说话人名单在证据中未给出，这是明确的缺项，复现时只能说明按描述重新随机划分，不能声称与原文完全一致。

第二步是搭建模型。嵌入提取器用通道数 1024 的 ECAPA-TDNN，输入 80 维对数梅尔谱图，输出 512 维嵌入；本地损失固定用加性间隔 Softmax，间隔为 0.2、尺度为 30；全局损失在 VoxCeleb2 实验中比较 3 种选择，在联合实验中与本地损失相同。优化器用 Adam，初始学习率 0.001，每回合按 0.97 衰减，本地回合数 l 为 5，最大聚合轮数 T 为 20。

第三步是实现双头逻辑。每轮下发全局嵌入提取器与全局分类器，本地按 alpha 加权两种损失训练，训练后按 beta 更新属于本客户端说话人的全局分类头分量，上传嵌入提取器与全局分类头，服务端分别按数据量比例和按说话人权重聚合。VoxCeleb2 实验取 alpha 为 0.4、beta 为 0.4、mu 为 1；联合实验取 alpha 为 0.2、beta 为 0.1、mu 为 5。

关于可用性，由于未发现完成验证的资源绑定，不得声称代码、模型或数据已公开。复现者应从公开数据集渠道自行获取语音数据并实现上述流程，同时记录通信量与训练时长以补足原文未报告的成本信息。

何时值得尝试这种双头联邦，还需补哪项验证？

当你的场景满足 3 个条件时值得尝试：多个组织各有一定规模的私有语音且说话人基本不重叠；不能集中原始语音但可以交换模型参数；评估目标是提升各自本地模型的验证性能而非训练一个统一的云端模型。此时在本地分类头之外增加一个全局分类头，并让服务端对全局分类头做按说话人加权聚合，是论文验证过的可行路径。

当场景是单机数据充足、说话人高度重叠或终端算力极弱时，不应默认该方法带来同样收益。论文的客户端是组织级，本地能承担 ECAPA-TDNN 的训练；若换成个人终端，需要重新评估计算与通信可行性。

还需补的验证包括：更大客户端数量与更不均衡数据量下的稳定性；在困难验证集上波动的原因分析；去掉优势因子或改变 alpha 与 beta 后的敏感性；通信字节数、训练时间与推理开销的完整记录。只有补足这些，才能把平均等错误率改善转化为可部署的收益判断。

回到方法本质，本文的增量不是更强的声纹主干，而是让本地优化在每一步都能看到全局标签空间。记住这个分工，就能在复述时不夸大：双头带来的是更直接的全局监督，而不是对所有异构问题的通用解。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总