跨语言说话人确认：用自监督预训练模型提取与语言无关的声纹

📄 跨语言说话人确认：用自监督预训练模型提取与语言无关的声纹

英文题目：Cross-Lingual Speaker Verification with Self-Supervised Pre-Trained Models

标签：#说话人验证 | #自监督学习 | #跨语言 | #多语言

评分：6.3/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Jinghan Peng：机构信息未在 arXiv HTML 中可靠披露
• Yu Zheng：机构信息未在 arXiv HTML 中可靠披露
• Weiqiang Wang：机构信息未在 arXiv HTML 中可靠披露
• Jian Liu：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

说话人验证要求判断两段语音是否来自同一说话人，跨语言场景的难点是注册与测试使用不同语言时，说话人特征会被语言相关的声学内容干扰。本文输入为语音波形提取的对数梅尔滤波器组等声学特征，输出为固定维度的说话人嵌入向量，验证时比较两个嵌入的相似度。系统先将该特征送入w2v-BERT 2.0，取出全部隐藏层表示，以复用在大规模多语言无标注语音上学到的声学与音素知识。各层表示再经两层多层感知机适配器统一到256维，并用通道拼接做多尺度融合，得到融合后的帧级特征。融合特征经注意力统计池化汇聚为话语级表示，再经嵌入投影层得到256维说话人嵌入，用加性角度间隔Softmax损失优化。训练分三阶段衔接：先冻结主干只训下游模块，再解冻全量微调，最后仅在TidyVoiceX_Train上用6秒长语音大间隔微调，逐步适配声纹任务。在相同训练数据下，w2v-BERT 2.0系统经质量度量函数校准后在全未见语言的tv26_eval-U上等错误率（Equal Error Rate，EER）为2.84%，优于ReDimNet-B6的3.43%；三系统分数融合后在tv26_eval-A和tv26_eval-U上EER分别为2.21%和2.99%。结论适用于TidyVoice2026定义的部分失配与完全失配划分，尚不能推广到其他跨语言基准。原文未披露训练时长与硬件，推理代价以2秒语音、用THOP统计的58.43 GMACs报告。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

说话人确认要解决什么输入输出问题

说话人确认的输入是两段语音，一段是注册时留下的目标说话人语音，另一段是测试时声称同一身份的语音，系统要输出二者是否来自同一人的判决分数。理想情况下分数只反映声带形状、发音习惯等与说话人绑定的生理与行为特质，而与说了哪句话无关。

跨语言场景打破了这个假设，当注册用一种语言、测试用另一种语言时，音素库存、韵律节奏和发音方式都会变化，模型容易把语言的声学线索误当成说话人的差异，导致同一人在不同语言下得分偏低、不同人在相似语言下得分偏高。本文要解决的就是这种语言失配下的性能下降，目标是学到与语言无关的说话人表示，即内容变了但说话人判别依据不变。

评价时用的是大量真假试次对，统计等误率和最小检测代价，错误率越低说明在语言变化下仍能保住说话人信息。

已有路线为什么想到借用大规模预训练

过去十年说话人确认在同语言基准上进步明显，但多语言部署时仍受语言失配困扰。TidyVoice2026 基准正是为此建立，提供多语言数据与跨语言试次划分，推动可复现的比较。另一条线索是音频自监督学习的突破，Wav2Vec 2.0、XLS-R、MMS、HuBERT、WavLM、w2v-BERT 与 w2v-BERT 2.0 等模型在数百万小时无标注多语言语音上学习分层表示，浅层偏声学、深层偏音素甚至语义。原文的核心假设是这类通用表示比从零在有限语言相关数据上训练更适合做跨语言声纹的基础。

文中回顾的 3 条同类做法输入目标与运行阶段相同，都是把预训练模型当特征前端、后端接说话人建模：在 VoxCeleb 与 CN-Celeb 上，有工作用可学习权重平均所有隐藏层后送入 ECAPA-TDNN，有工作用 Whisper Large-v2 编码器并做部分多尺度聚合，有工作用 w2v-BERT 2.0 并拼接所有层。本文延续第 3 条路线，但在前端选择、聚合方式与训练策略上做了系统比较，评测条件统一到 TidyVoice 的跨语言划分，而不是把不同基准上的数字直接对比胜负。

语言失配具体难在哪里

难点在于说话人身份与语言声学线索在波形与频谱上纠缠在一起。举例说明，同一个人在中文与英文中元音分布不同，模型若只记住某种语言的高频音素，就会在换语言时丢失判别依据。论文把要保留的信息定义为跨语言稳定的说话人特质，把要去掉的信息定义为语言相关的内容变化。

输入处理上，系统先从波形提取对数梅尔滤波器组等声学特征，再送入预训练模型，目的是让后续网络站在已见过 40 种以上语言、多样信道与口音的表示上做减法，而不是从零猜测何为语言无关。输出仍是定长说话人嵌入，注册与测试的嵌入做相似度打分。例子仅为教学示意，不代表原文测量了某音素的贡献，原文也没有给出语言与说话人解耦程度的直接度量，只能从跨语言试次上的错误率间接判断。

整体流程如何从波形走到说话人嵌入

整体管线分为前端、聚合与后端 3 段。对一个样本，先提取声学特征并送入 w2v-BERT 2.0 这类由多层 Transformer 或 Conformer 堆叠的骨干，取出每一层的隐藏表示。每层表示经过各自的两层多层感知机适配器统一到 256 维，再由多尺度特征聚合模块融合成一组帧级特征，之后经注意力统计池化压缩为语句级表示，最后经嵌入投影层得到 256 维说话人嵌入。训练时用加性角度间隔 Softmax 损失约束同一说话人聚拢、不同说话人分开。轻量对照分支用 ReDimNet-B5 与 B6，输出 192 维嵌入，用 SphereFace2-C 损失训练，用于比较与后续分数融合。

w2v-BERT 2.0 × 说话人嵌入网络： w2v-BERT 2.0 指在大规模多语言无标注语音上预训练的骨干，负责提供通用的声学与音素表征；说话人嵌入网络指其后的聚合、池化与投影模块，负责把帧级特征压缩为区分说话人的定长向量，二者搭配的意义在于前者提供跨语言的泛化基础，后者学习在该基础上剥离语言内容、保留生理与行为特质。

下图左侧展示从音频到嵌入的主路径，右侧展示 3 阶段训练中哪些模块冻结、哪些可训练，读图时可先看主路径再看训练阶段的变化。

看图路径： 1. 先沿左侧从音频经特征投影到 Layer 1 至 Layer N 再到 Adapter 的主路径看数据流向；2. 再看中间多尺度特征聚合、注意力统计池化与嵌入投影层如何逐级压缩为说话人嵌入；3. 对照右侧三阶段方框，确认预训练模型与说话人模型在各阶段是冻结还是可训练

论文图 1。原论文 Figure 1:：“Model architecture and training paradigm of the speaker verification system based on self-supervised pre-trained models.”。

从像素可见，左图虚线框内是预训练模型，特征投影与 Layer 1 至 Layer N 纵向连接，每个层输出横向接入 Adapter 0 至 Adapter N，再汇入纵向的多尺度特征聚合条，之后依次经过注意力统计池化与嵌入投影层输出说话人嵌入。右图 3 阶段从左到右为预训练、微调与大间隔微调，输入波形示意从短到长变化，第 1 阶段预训练模型上方标为冻结雪花符号，后 2 阶段变为可训练火焰符号，说话人模型与分类器在 3 阶段均为可训练，箭头表示逐阶段继承 checkpoint 继续训练。

多层特征为什么要聚合与六种做法有何不同

只用最后一层会丢掉浅层的说话人细节，只用浅层又缺少对内容的鲁棒性，因此需要融合多层。原文考察 6 种机制。平均融合是把所有层直接平均，无额外参数。层级加权融合是给每层学一个标量权重再加权求和。通道加权融合细化到每层每个通道学权重。

通道拼接是把所有层沿通道维拼接，保留全部信息但增加后端维度。时间拼接是沿时间维拼接，改变序列长度。分层交叉注意力融合分两步，先以最后一层为查询对之前所有层的键值做交叉注意力整合多尺度信息，再做 1 次自注意力精炼上下文。所有适配器输出已统一到 256 维，这是拼接与加权能直接操作的前提。最终提交选用通道拼接，原文给出的理由是在开发集上等误率最低且不引入额外可训练参数，分层交叉注意力在最小检测代价上最好，但等误率略高。

多尺度特征聚合 × 适配器： 适配器指每个预训练层后接的两层多层感知机，把不同层的异构维度统一到 256 维；多尺度特征聚合指把所有层适配后的特征融合成一组帧级特征，二者搭配是因为不同层携带不同抽象层级的信息，适配器先对齐维度，聚合再决定是平均、加权还是拼接，从而保留浅层声学细节与深层内容无关性。

池化与投影如何处理变长语音

聚合后仍是帧级序列，时长随语音长短变化，不能直接比对。注意力统计池化为每帧学一个重要性权重，再按权重计算加权均值与标准差，把变长序列变为定长统计量，这样静音或噪声帧权重低、富含说话人信息的浊音帧权重高。语句级表示再经嵌入投影层线性映射到 256 维，便于用余弦或后端校准打分。ReDimNet 分支的对应设计是直接输出 192 维嵌入，参数量分别为 9.2M 与 15M，在 2 秒片段上计算量分别为 9.87 与 20.27 GMACs，而 w2v-BERT 2.0 分支为 580M 加 13.7M 参数、58.43 GMACs，说明精度收益伴随明显的推理开销。

教学上可以把池化理解为按重要性投票后的总结，但投票权重是网络学到的，不是人工规则，原文未报告去掉池化会怎样，因此不能断言其必要性大小。

注意力统计池化 × 嵌入投影层： 注意力统计池化指对变长帧级特征按学到的权重计算均值与标准差等统计量，得到定长的语句级表示；嵌入投影层指再把该表示映射为 256 维的说话人嵌入，二者分工是前者解决时长不定与帧重要性不等的问题，后者给出适合打分与余弦比较的紧凑向量。

三阶段训练如何冻结与更新参数

预训练模型分支采用 3 阶段策略，梯度去向与监督来源在各阶段不同。第 1 阶段冻结自监督骨干，只训练适配器、聚合、池化、投影与分类头，用第 2.1 节的全部训练数据训练 60 轮，输入截为 2 秒，批量 16384，加性角度间隔从 0 在第 20 至 30 轮渐增到 0.2，学习率预热 6 轮后从 0.1 衰减到 5e-5，选开发集等误率最低的 checkpoint 进入下一个阶段。第二阶段解冻骨干，全部参数一起训练 20 轮，仍用全部数据与 2 秒片段，间隔固定 0.2，学习率预热 2 轮后从 1e-4 衰减到 1e-6。

第 3 阶段只用挑战域内 TidyVoiceX_Train 做大间隔微调，训练 6 轮，输入增至 6 秒，间隔增至 0.5，批量降为 512，学习率首轮线性升至 1e-4 再衰减到 1e-6。优化器为 AdamW，权重衰减 2e-5。ReDimNet 沿用原文 2 阶段协议，预训练 60 轮间隔 0 至 0.2，域内微调 6 轮间隔 0.5、6 秒片段，优化器为带动量的 SGD。全程未用变速扰动，噪声增强概率 0.6，在线增强还包括混响、音乐、噪声与人声嘈杂 4 类，各自概率分别为 0.3、0.1、0.1、0.1，信噪比区间按原文设定。

数据划分与评测条件如何对应跨语言难度

训练用大规模多语言集合，包括 TidyVoiceX_Train 的 3666 人 40 种语言、VoxCeleb2 开发集 5994 人、VoxBlink2 的 111284 人、CN-Celeb1 与 2 的 2793 名中文说话人、清洗后 WenetSpeech 的 35285 人，以及 3D-Speaker 的 10000 名中文多方言说话人，在线增强模拟混响与加性噪声。开发用 TidyVoiceX_Dev 的 808 人 40 种语言，提供 1200 万试次覆盖不同语言与说话人失配组合，仅用它做模型选择、阈值与分数校准。评测在 TidyVoiceX2 上，分 tv26_eval-A 部分语言失配与 tv26_eval-U 完全泛化两张试次表，前者注册为见过语言、测试为未见语言，后者注册与测试均用训练与开发未见的 38 种语言，后者更难。主指标等误率越低越好，次指标最小检测代价在目标先验 0.01、漏检误检代价均为 1 下越低越好。计算量在 2 秒片段上用 THOP 库测量。

等误率 × 最小检测代价： 等误率指误接受率与误拒绝率相等时的错误率，越低越好，是本文主指标；最小检测代价指在目标先验为 0.01 且漏检与误检代价均为 1 时的加权代价，越低越好，是次指标，二者搭配可以同时看到平衡点性能与偏向低误接受工作点的代价。

主结果在什么条件下成立且代价是什么

比较问题是相同训练数据下预训练大模型与轻量模型在跨语言试次上的错误率高低，公平条件是都经过域内大间隔微调与基于开发集 cohort 的质量度量函数校准，指标方向均为越低越好。下表为原文完整结果，通道拼接用于多尺度聚合，计算量按 2 秒片段测量，融合指平均所有经质量度量函数增强系统的已校准分数。

表中可见，未校准时 w2v-BERT 2.0 分支在开发集 1.0255%、评测 A 3.3382%、评测 U 4.5895%，经校准后评测 A 降至 2.7320%、评测 U 降至 2.8389%。ReDimNet-B6 经校准后评测 A 2.5163%、评测 U 3.4344%，在评测 A 上优于单个 w2v-BERT 分支，但在全未见语言的评测 U 上不如后者，支持预训练分支泛化更强的判断。融合后达到评测 A 2.2097% 与评测 U 2.9909%，为提交最好成绩，但该成绩依赖开发集做校准 cohort 与多系统平均，单系统部署时不能直接获得。代价是参数与计算量高出一个数量级，且校准与融合增加后端复杂度。

质量度量函数 × 分数层融合： 质量度量函数指 WeSpeaker 工具包中以后端校准分数的方法，本文以 TidyVoiceX_Dev 做 cohort 进行分数校准；分数层融合指把多个已校准系统的分数直接平均，二者搭配的意义是先修正单个系统在跨语言试次上的分数偏移，再利用预训练大模型与轻量模型的互补性得到更稳的最终判决。

融合前后数字如何解读与有何限制

为便于复述关键数字，下表把正文中连续句子报告的等误率整理为同一单位下的对照，条件均为原文报告的最终训练与校准设置，融合指平均已校准分数，指标越低越好。

表后解释是，校准带来大幅下降，例如 w2v 分支在评测 U 从 4.59% 到 2.84% 附近，说明跨语言分数偏移是主要误差来源之一。限制是开发集与评测集语言分布不同，校准参数在开发集上调优，能否迁移到 38 种全未见语言取决于 cohort 的代表性，原文未报告去掉校准的融合在评测集上的数字，也未给出置信区间，因此 2.21% 与 2.99% 应理解为在该基准与该校准条件下的单点结果。未胜出项是 ReDimNet-B5 在两张评测表上均高于 B6 与 w2v 分支，说明容量与预训练知识在跨语言下都有作用。

换预训练前端会发生什么

比较问题是在相同后端与仅用 TidyVoiceX_Train 微调、通道拼接聚合、无分数校准的条件下，哪个前端在开发集上错误率更低，指标越低越好。下表整理原文连续句子报告的要点，参数与语言数保留原文写法，训练条件统一为仅用域内数据微调。

表中 w2v-BERT 2.0 的 2.09% 为 7 个前端中最低，高于该值的 XLS-R-300m 约 2.94%、MMS-1b 约 3.46% 等均未胜出。限制是该消融只在开发集、无校准、仅域内数据下进行，参数量更大并不单调更好，例如 XLS-R-2b 达 2.16B 仍高于 2.09%，说明语言数与规模不是唯一决定因素，预训练目标与表示结构同样重要。原文未报告这些前端在评测 A 与 U 上的数字，因此不能把开发集排序直接推广到全未见语言。

聚合方式与训练阶段各自贡献多少

聚合消融同样固定 w2v-BERT 2.0 前端、仅用 TidyVoiceX_Train 微调、在开发集无校准下比较，原文报告通道拼接等误率 2.0927% 最低，平均融合 2.2134%、层加权 2.1856%、通道加权 2.1771%、时间拼接 2.3210%、分层交叉注意力 2.1543%，差异相对较小，而最小检测代价上分层交叉注意力最好为 0.6478，通道拼接为 0.7063，说明不同指标下的最优不同。训练阶段消融显示逐阶段递进：仅训练下游时 1.5411%、全量微调后 1.1380%、再加域内大间隔微调后 1.0255%，最小检测代价对应从 0.6636 到 0.6250 再到 0.6085。

表后解释是，解冻骨干带来约 0.4 个百分点的下降，大间隔长时微调再带来约 0.11 个百分点的下降，支持渐进适配有效的结论。限制是该表为开发集结果，且第 3 阶段只用域内数据，若目标域变化则增益可能不同。时间拼接最差提示盲目增加时间维度不如保留通道信息，但原文未做显著性检验，也未报告去掉适配器或池化的对照，因此只能说在已测 6 种内通道拼接兼顾精度与无额外参数，不能断言其对所有语言对最优。

结论的边界与尚未验证的范围

直接报告的是在 TidyVoice2026 划分下的错误率，证据只支持在该数据分布、该增强与该校准条件下预训练分支在全未见语言上泛化更好的解释。尚未评测的范围包括开发集之外的信道、远场混响强度超出增强区间、注册时长极短或试次语言对极不平衡时的表现。原文未测量误判率随阈值的完整曲线、延迟与内存之外的部署成本，也未报告多次随机种子的方差，因此不能承诺实际产品中的误接受率或实时性会同等改善。

相关不等于因果，例如评测 U 上 w2v 分支优于 ReDimNet-B6 与预训练语言覆盖相关，但也可能来自容量、损失函数与增强交互，原文未做剥离语言覆盖的对照。来源方面，本次未发现可验证的作者代码、模型或数据公开链接，不能声称系统可一键运行，复现需自行实现管线。

复现第一步做什么与关键超参数

复现应先按原文重建数据与评测条件，再搭模型。第一步是准备第 2 节的全部训练集与 TidyVoiceX_Dev 的 1200 万试次划分，保持增强概率与信噪比区间一致，固定 2 秒与 6 秒两种输入长度与批量 16384 与 512 的对应关系，优化器与权重衰减按分支区分。关键超参数包括适配器输出 256 维、说话人嵌入 256 维、ReDimNet 嵌入 192 维，加性角度间隔第 1 个阶段 0 渐增至 0.2、第二阶段固定 0.2、第 3 个阶段 0.5，学习率 3 阶段分别为 0.1 到 5e-5、1e-4 到 1e-6、1e-4 到 1e-6。校准时用开发集做 cohort 的质量度量函数，融合时平均已校准分数。

训练资源、推理开销与实际延迟需分开记录，2 秒片段的 GMACs 已报告，但训练时长与硬件预算原文未给出，复现时应补测。还需补的验证是去掉校准的单系统在评测集上的表现、多种子方差，以及在另一跨语言基准上的迁移，以确认增益不只来自特定 cohort。

什么时候值得尝试与还需要补哪项验证

当注册与测试语言不一致且有一定多语言训练数据时，值得尝试用 w2v-BERT 2.0 做冻结前端起步，再解冻微调并做域内大间隔长时微调，聚合优先试通道拼接以省参数，若关注检测代价可再试分层交叉注意力。轻量部署或算力受限时可考虑 ReDimNet-B6，其在部分失配的评测 A 上经校准后有竞争力，但在全未见语言上预期弱于大模型，需接受精度换效率的折中。复现第一步是跑通前端多层提取、适配器统一维度与注意力池化到嵌入的端到端前向，再对齐 3 阶段的学习率与间隔 schedule。

最需要补的验证是跨基准泛化与校准稳健性，即换一组未见语言与 cohort 后融合增益是否还在，以及报告置信区间与失败语言对，从而明确该方法在真实多语言部署中的适用边界。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递