语言变了人不该变：用冻结再解冻的预训练前端做跨语言说话人确认

英文题目：Cross-Lingual Speaker Verification with Self-Supervised Pre-Trained Models

会议身份：conference:interspeech:2026:conference-paper-id:peng26f_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#模型集成 #自监督学习 #跨语言 #说话人验证

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Jinghan Peng：机构信息未能从会议 PDF 纯文本可靠映射
• Yu Zheng：机构信息未能从会议 PDF 纯文本可靠映射
• Weiqiang Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Jian Liu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

跨语言说话人验证输入为注册与测试两段语音，输出为是否同一说话人的二值判定，难点在于说话人生理行为特质与语言相关声学内容相互纠缠，注册与测试语言失配时性能骤降。本文构建自监督预训练模型前端加说话人嵌入后端加分数融合的流水线：以w2v-BERT 2.0提取全部隐藏层表征，经独立适配器投影到统一维度，再经多尺度特征聚合融合成帧级特征。聚合特征经注意力统计池化压缩为话语级表示并投影为256维嵌入，其输出进入三阶段渐进训练，先冻结主干训练下游模块再解冻微调最后大间隔微调。该链条复用143种语言无标注语音学到的通用表征以解耦身份与语言，相对从零训练更能泛化到未见语言，最终与ReDimNet轻量系统分数平均融合完成判定。在TidyVoice2026的tv26 eval-A部分失配与tv26 eval-U完全未见38种语言划分上，融合系统等错误率分别为2.21%与2.99%，单预训练系统在eval-U上为2.84%反超同数据ReDimNet-B6的3.43%。结论仅在该基准验证，未证明向其他语种、信道、时长与噪声的外推能力，未报告训练与推理成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么跨语言会变难？

这篇工作研究的输入是一段待验证语音与一个声称的说话人注册语音，目标是判断两者是否来自同一人，输出是相似度分数与是否接受的判定。对于刚入门的读者，可以把说话人确认理解为声纹比对：注册时留下一段某语言的语音，测试时再来一段语音，系统计算两个嵌入向量的距离。难点在于人的音色与语言的声学实现缠在一起，换一种语言时，音素库存、韵律节奏、发音习惯都会变化，模型容易把语言差异误读为说话人差异。

论文把中心矛盾明确为在注册与测试语言不一致时保持身份表示不变，同时不丢失区分不同人的细节。学习这篇工作需要先接受一个前提：仅在单一语言或匹配语言上训练的声纹模型，遇到未见语言时阈值与分数分布都会漂移，因此需要能复述的跨语言评测与能分离语言因素的表示方法。本文后续按任务路线、方法全景、组件计算、训练过程、实验条件、结果反证与复现步骤展开，所有数字均以原文报告为准，教学举例会明确标注为例子。

已有路线如何处理语言不匹配，预训练方法属于哪一条？

传统跨语言说话人确认路线大致有 3 类。第一类是从零训练说话人网络，例如时延神经网络及其变体，直接在有标签说话人数据上学习嵌入，优点是结构轻、训练目标直接，缺点是训练数据语言覆盖有限时，模型会把语言线索当作身份线索。第二类是显式解耦或域适应，希望在训练中去掉语言信息，但需要语言标签或配对数据，复现时数据构造负担较重。第 3 类是借助大规模预训练模型做前端，再接轻量说话人后端，这正是本文所属路线。

原文回顾了用可学习权重平均所有隐藏层后送入 ECAPA-TDNN 的做法，也回顾了用 Whisper 编码器做部分多尺度聚合，以及用 w2v-BERT 2.0 做多尺度拼接的做法。这些工作的共同输入是原始波形或滤波器组特征，共同目标是得到更鲁棒的说话人嵌入，共同监督是说话人分类损失，区别在于前端预训练数据的规模与语言覆盖、取哪几层表示以及如何融合。

本文的选择是把 w2v-BERT 2.0 作为前端，并系统比较不同融合方式与训练策略，因此相关工作的对照重点不是谁的网络更大，而是前端语言覆盖、融合粒度与训练阶段划分是否一致。

要解决的具体问题是什么，不解决什么？

本文要解决的具体问题是在 TidyVoice2026 定义的跨语言条件下做说话人确认。评测包含两种不匹配程度：部分语言不匹配，即注册用已见语言、测试用未见语言；完全泛化，即注册与测试都用训练与开发阶段未见过的语言。模型必须输出对语言变化不敏感、但对说话人变化敏感的嵌入。论文不解决语音识别或语种识别本身，也不承诺降低延迟或减少存储，只是把预训练表示的泛化能力迁移到声纹任务。

举例来说，这好比让一个听过上 100 种语言发音的人去辨认熟人的嗓音，例子仅用于理解任务，原文没有给出该比喻的效果数字。一个关键澄清是：语言无关不等于去掉所有语言信息，而是指在不同语言下同一说话人的嵌入距离仍然小于不同说话人的嵌入距离，这个性质需要用跨语言试验对来度量，而不是用单语言准确率来代替。

方法全景：一个样本如何从波形走到分数？

沿一个样本走完全流程有助于建立整体依赖。输入一段语音，先提取对数梅尔滤波器组这类声学特征，再送入预训练的语音模型主干，该主干由多层变换器或卷积增强结构堆叠而成。每一层的隐藏表示都被取出，各自经过一个两层多层感知机实现的适配器，统一投影到 256 维。所有适配后特征进入多尺度特征聚合模块，得到帧级融合表示，再经过注意力统计池化压缩为 utterance 级表示，最后经嵌入投影层得到 256 维说话人嵌入。

验证时计算注册嵌入与测试嵌入的相似度，再经后端校准得到最终分数。下面的示意图展示了左侧的前端加后端结构与右侧的 3 阶段训练划分，读图时先看主数据流，再看冻结与可训练标记的变化。

自监督预训练模型 × 说话人嵌入： 自监督预训练模型负责提供在大量无标注多语言语音上学到的通用声学与音素表示，分工是做前端特征提取；说话人嵌入负责把变长语音压缩为固定维度的身份向量，分工是做后端判别；二者搭配的理由是前端已经见过多种语言的声学变化，后端只需在该表示上学习与语言无关的身份边界，组合后新增的作用是让身份建模不再从零学习语言相关的底层声学。

以下导读帮助你在看图前明确要找的 3 条线：前端层级线、聚合与池化线、训练阶段冻结线，图中用不同颜色与图标区分冻结与可训练，右侧三列分别对应预训练、微调与大间隔微调，音频波形示意长度的变化对应训练分段长度的变化。

看图路径： 1. 先沿左侧从音频经特征提取与投影到 Layer 1 至 Layer N 的主路径看表示如何逐层加深；2. 再看每个 Layer 输出如何经各自 Adapter 汇入多尺度特征聚合模块；3. 接着看聚合后经注意力统计池化与嵌入投影层得到说话人嵌入的后端链路；4. 最后对照右侧三阶段图，确认预训练模型与说话人模型在各阶段是冻结还是可训练

论文图 1。原论文 Figure 1：“Model architecture and training paradigm of the speaker verification system based on self-supervised pre-trained models.”。

图中左侧可见音频先经特征提取与特征投影，再进入第 1 层至第 N 层，每层输出各自接一个适配器后汇入多尺度特征聚合，随后依次经过注意力统计池化与嵌入投影层得到说话人嵌入，右侧可见第一阶段仅预训练模型被冻结而说话人模型与分类器可训练，第二阶段全部解冻，第 3 阶段继续全量训练但使用更长分段，这种左右对照说明了表示学习与身份判别在不同阶段的分工切换。

前端与聚合做了什么计算，为什么需要逐层适配？

前端的核心操作是逐层取表示而非只取最后一层。直观原因是浅层更接近声学细节，深层更接近内容与语义抽象，说话人线索分布在不同抽象级别，直接用最后一层会丢失音色细节。原文的做法是对每一层输出接一个专用适配器，用两层多层感知机把原始维度映射到统一的 256 维，这样不同层的特征才能在同一空间比较与融合。举例来说，这类似于把不同分辨率的照片先缩放到同一尺寸再叠加，例子仅为帮助理解对齐动机，不代表原文做过图像实验。

聚合模块考察了 6 种机制：平均融合、对每层学一个标量权重的层级加权融合、对每个通道学权重的通道加权融合、沿通道拼接、沿时间拼接，以及以最后一层为查询与其余层做交叉注意力再加自注意力的层级交叉注意力融合。其中通道拼接不引入额外可训练参数，只是把各层 256 维向量拼成更长的帧向量，后续池化层负责消化增加的维度。

适配器 × 多尺度特征聚合： 适配器负责把每一层预训练表示从原始维度投影到统一的 256 维，分工是对齐异构层特征；多尺度特征聚合负责把所有层的适配后特征融合成 1 帧级表示，分工是综合浅层声学细节与深层语义抽象；搭配的原因是不同层维度与抽象级别不同，直接融合会错位，组合后新增的作用是得到同时保留音色细节与语言不变性的帧序列。

池化与投影如何把变长语音变成定长身份向量？

聚合后的帧序列长度随语音时长变化，不能直接比对，因此需要池化。注意力统计池化为每 1 帧学一个权重，加权计算均值与标准差，把变长序列压缩为定长统计量，权重大的帧对身份判定贡献更大。随后嵌入投影层把该统计表示映射为 256 维说话人嵌入，训练时用附加角间隔 Softmax 损失优化网络参数，推理时只用嵌入向量打分。轻量对比系统采用另一条路线：直接用 ReDimNet 结构输出 192 维嵌入，并用 SphereFace2-C 损失训练，目的是在相同训练数据下检验预训练前端是否带来跨语言泛化增益。

两条路线的输入都是原始音频的增强版本，输出都是定长嵌入，区别在于前端是否借助大规模无标注多语言预训练，以及后端损失的具体间隔形式。复述时要注意区分嵌入维度：预训练主系统为 256 维，轻量系统为 192 维，不能混用。

注意力统计池化 × 嵌入投影层： 注意力统计池化负责把变长帧序列加权汇总为定长的 utterance 级均值与方差表示，分工是处理时长可变并突出身份相关帧；嵌入投影层负责把该表示映射为最终 256 维说话人嵌入，分工是固定输出空间以便打分；搭配的原因是池化输出维度仍偏大且未针对说话人判别优化，组合后新增的作用是形成可直接余弦或校准打分的身份向量。

三阶段训练如何划分冻结、数据与间隔？

预训练主系统的训练分为 3 个阶段，划分依据是稳定性与域适应的折中。第 1 阶段冻结语音主干，只训练适配器、聚合、池化、投影与分类器，使用第 2.1 节描述的全部训练数据，训练 60 轮，每条语音截取 2 秒，批量为 16384，附加角间隔从 0 在第 20 至 30 轮之间渐增到 0.2，学习率先暖机 6 轮从 0.1 起步再衰减到 5e-5，选在开发集上等错误率（%）最低的检查点进入下一个阶段。第二阶段解冻主干，用全量数据再训练 20 轮，仍用 2 秒分段，间隔固定为 0.2，批量保持 16384，学习率暖机 2 轮后从 1e-4 衰减到 1e-6。

第 3 阶段只用 TidyVoiceX 训练集做大间隔微调，训练 6 轮，改用 6 秒长分段，间隔设为 0.5，批量降为 512，学习率在首轮线性升到 1e-4 再衰减到 1e-6。轻量 ReDimNet 遵循原文献的 2 阶段协议：预训练阶段用全量数据 2 秒分段 60 轮，间隔在第 10 至 20 轮从 0 增至 0.2，学习率暖机 6 轮从 0.8 衰减到 8e-4；大间隔微调阶段只用 TidyVoiceX 训练集，6 秒分段 6 轮，间隔 0.5。所有阶段均不做变速扰动，噪声增强概率为 0.6，预训练主系统用 AdamW 优化器且权重衰减为 2e-5，轻量系统用带动量的随机梯度下降。

附加角间隔 Softmax 损失 × 大间隔微调： 附加角间隔 Softmax 损失负责在训练时要求同说话人夹角更小、异说话人夹角拉开一个间隔，分工是定义身份分类的监督目标；大间隔微调负责在最后阶段用更长语音与更大间隔继续训练，分工是调整决策边界适应目标域；搭配的原因是前期小间隔稳定收敛、后期大间隔强化泛化，组合后新增的作用是让嵌入在跨语言试验对上更可分。

数据、增强、开发集与评测指标如何保证跨语言条件一致？

训练数据采用多语大规模组合以覆盖语言多样性，包括含 3666 个说话人、40 种语言的 TidyVoiceX 训练集，含 5994 个说话人的 VoxCeleb2 开发集，含 111284 个说话人的 VoxBlink2 个数据集，含 2793 个中文说话人的 CN-Celeb 第一版与第二版训练集，经清洗后含 35285 个说话人的 WenetSpeech 子集，以及含 10000 个中文说话人且覆盖方言变化的 3D-Speaker 训练集。开发集用含 808 个说话人、40 种语言的 TidyVoiceX 开发集，提供 12,000,000 对试验，覆盖不同语言与说话人不匹配场景，仅用该开发集做模型选择、阈值调整与分数校准，保证与评测的跨语言条件一致。

评测在 TidyVoiceX2 上进行，分为部分不匹配与完全泛化两张表，前者注册用已见语言、测试用未见语言，后者注册与测试均用 38 种未见语言。在线增强在每条语音上按概率施加：混响概率 0.3，使用模拟房间冲激响应；无伴奏音乐混合概率 0.1，信噪比 5 至 15 分贝；普通噪声概率 0.1，信噪比 0 至 15 分贝；人声嘈杂概率 0.1，信噪比 10 至 30 分贝。

主要指标为等错误率，数值越低越好，次要指标为目标先验 0.01、漏检与误检代价均为 1 时的最小检测代价函数，同样越低越好。计算量在 2 秒分段上用 THOP 库度量，用于对照轻量与大模型的部署代价。

主结果：在公平数据下预训练系统赢在哪里，输在哪里？

比较的问题是：在相同训练数据下，预训练大模型与轻量模型在已见语言开发集与未见语言评测集上的表现如何，指标方向均为越低越好，校准前后分开看以保证公平。下表整理了原文报告的评测集等错误率，包含未校准与经质量度量函数校准后的结果，以及最终融合系统的表现，表头中的评测条件与指标单位按原文保留。

表后解释需要同时看到收益与代价。原文报告显示，w2v-BERT 2.0 主系统未校准时在开发集为 1.03%、评测集部分不匹配为 3.34%、完全泛化为 4.59%，经校准后降到 2.73% 与 2.84%，轻量系统中较强的 ReDimNet-B6 经校准后为 2.52% 与 3.43%。这支持一个判断：在完全未见语言的评测上，预训练系统的泛化更好，但在部分不匹配的评测上轻量系统反而更低，说明大模型优势并非在所有条件下成立。

最终对所有校准后系统做分数平均融合，在评测集上得到 2.21% 与 2.99%，融合在部分不匹配上最好，但在完全泛化上略高于单一预训练校准系统的 2.84%，这是一个需要保留的反例：融合不保证在每个子集上都单调改进。未胜出项是 ReDimNet-B5，其校准后为 3.47% 与 4.84%，明显弱于 B6，说明在相同数据与损失下模型容量仍影响结果。

质量度量函数校准 × 分数层融合： 质量度量函数校准负责利用开发集作队列对原始相似度分数做后端校准，分工是修正跨语言条件下的分数偏移；分数层融合负责把多个系统的校准分数取平均，分工是综合不同前端的互补错误；搭配的原因是单一系统在未见语言上仍有偏差，组合后新增的作用是在不重训嵌入网络的情况下降低评测集等错误率。

换前端会怎样，哪种聚合在开发集上更稳？

消融要回答两个问题：换预训练前端是否改变开发集等错误率，以及固定前端时不同聚合方式的差异，测试条件是仅用 TidyVoiceX 训练集微调并在开发集上不做分数校准评测。原文比较了 Whisper Large-v3 编码器、XLS-R 系列、MMS 系列与 w2v-BERT 2.0，均采用通道拼接聚合。报告显示 w2v-BERT 2.0 取得开发集 2.09% 与最小检测代价 0.7063，为其中最好，Whisper Large-v3 为 3.15% 左右，XLS-R 与 MMS 的 300M 至 2,000,000,000 参数版本均在 2.9% 至 3.4% 区间，参数更大并未带来单调提升，这反驳了越大越好的简单推断。原文指出该 w2v-BERT 2.0 含 580M 参数，在覆盖 143 种语言的无标注语音上预训练。

聚合消融固定使用 w2v-BERT 2.0，6 种方法差异相对较小：平均融合为 2.21%，层级加权为 2.19%，通道加权为 2.18%，通道拼接为 2.09%，时间拼接为 2.32%，层级交叉注意力为 2.15%。通道拼接等错误率最低且不引入额外参数，层级交叉注意力在最小检测代价上最好为 0.6478，最终提交选用通道拼接是出于等错误率与结构开销的折中。未评测的边界是这些消融均未报告评测集校准后结果，因此不能把开发集排序直接推广到未见语言评测。

三阶段的每一步带来了多少可复现的增益？

另一个消融固定前端为 w2v-BERT 2.0，逐步叠加 3 阶段训练，评测条件仍为开发集无校准，指标越低越好。下表把阶段、数据与开发集指标放在同一行，便于复述冻结与解冻的贡献，最后一列标注主干状态以防误读。

表后解释要给出机制与限制。第一阶段冻结主干只训下游，得到 1.54% 与 0.66，说明预训练表示本身已具判别基础；第二阶段解冻全量微调降到 1.14% 与 0.63，说明让主干适应说话人目标是主要增益来源；第 3 阶段在目标域用长分段与大间隔微调进一步降到 1.03% 与 0.61，支持渐进适应的有效性。但需注意该消融使用全量数据训练的前 2 阶段与仅目标域的第 3 个阶段，增益中混入了数据切换的影响，且最小检测代价的下降幅度小于等错误率，不能理解为两指标同速改善。未胜出或未验证的是时间拼接聚合与更大参数前端在该 3 阶段下的表现，原文未给出交叉组合，因此不能断言通道拼接加 3 阶段是全局最优。

哪些结论有边界，哪些代价没有被测量？

首先是证据边界：主结果的评测集数字依赖开发集做队列的质量度量函数校准，阈值与校准参数与开发集语言分布绑定，换到全新语言分布时是否保持需要额外验证，原文未报告无校准融合与跨队列校准的对比。其次是成本边界：w2v-BERT 2.0 前端为 580M 加 13.7M 下游参数，在 2 秒分段上为 58.43 GMACs，而轻量系统为 9.2M 与 15M 参数、9.87 与 20.27 GMACs，大模型的泛化增益伴随明显的推理开销，原文未报告实际延迟与内存占用，因此不能承诺延迟也得到改善。

第三是数据边界：训练组合包含大规模网络媒体与中文方言数据，清洗流程引用了前人方法，复现时若缺少其中任一子集，结果可能偏移。第四是指标边界：原文未报告按语言分组的误判率、公平性或统计显著性，总体趋势不等于每种语言都成立。缺失证据不是技术错误，但在引用时应使用支持而非因果表述，例如可以说结果支持预训练表示有助于未见语言泛化，但不宜说预训练必然导致语言无关。

复现先做什么，需要保留哪些超参数与信息条件？

复现应先准备数据划分与评测协议，而非先调模型。第一步按原文 собрать训练组合与开发集试验对，确保开发集仅用于选择与校准，评测集的两种语言不匹配定义不被混淆。第二步实现前端流程：提取滤波器组特征，加载 w2v-BERT 2.0 权重，取出所有层表示，各接两层多层感知机到 256 维，再做通道拼接、注意力统计池化与嵌入投影到 256 维。第三步按 3 阶段超参数执行：第一阶段 2 秒分段、批量 16384、间隔渐增至 0.2、暖机 6 轮；第二阶段解冻、2 秒分段、间隔 0.2。

第 3 阶段切到目标域 6 秒分段、批量 512、间隔 0.5。第四步用开发集做队列实现质量度量函数校准，再对多个系统做分数平均融合。需要保留的关键信息是分段长度切换、批量大小变化、间隔调度与优化器选择，任何一项改变都会影响分数分布。关于可用性，原文未提供经验证的代码、模型或数据链接，本次也未能确认可达，因此应写为当前不可用，不得声称已公开或可下载，复现者需自行实现流程并准备合规数据。

何时值得尝试这种方法，如何一句话记住它？

当注册与测试语言可能不一致，且手头有一定量目标域说话人标注数据可做最后阶段微调时，值得尝试冻结再解冻的预训练前端路线，因为它把语言多样性留给前端，把身份边界留给后端与大间隔损失。当部署预算极度受限或目标语言完全固定时，轻量 ReDimNet 可能是更经济的选择，原文显示它在部分不匹配评测上甚至更优。一句话记住：先用大规模多语言表示对齐各层，再用 3 阶段从冻结到大间隔逐步收紧身份边界，最后靠校准与融合修正跨语言分数偏移。

下 1 次补验证应优先补按语言分组的错误分析、无校准条件下的排序稳定性，以及推理延迟与内存的实测，以便把泛化收益与部署代价放在同一张表上讨论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总