语言一变就认错人？在嵌入、后端和打分三处消解语言干扰

英文题目：Effectiveness of Language Variability Compensation in Speaker Verification

会议身份：conference:interspeech:2026:conference-paper-id:mosner26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#对抗训练 #多语言 #语音 #说话人验证

评分：6.9/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Ladislav Mošner：机构信息未能从会议 PDF 纯文本可靠映射
• Sara Barahona：机构信息未能从会议 PDF 纯文本可靠映射
• Sandro Cumani：机构信息未能从会议 PDF 纯文本可靠映射
• Johan Rohdin：机构信息未能从会议 PDF 纯文本可靠映射
• Jin Li：机构信息未能从会议 PDF 纯文本可靠映射
• Oldřich Plchot：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理多语言说话人验证（Speaker Verification，SV），输入为不同语言的注册与测试语音，输出为是否属于同一说话人的判定，难点在于语言线索会纠缠说话人嵌入并在跨语言试验中造成系统性偏移。方法链分为四步：先用大规模预训练前端抽取语句级嵌入，再在前端以语言分类分支施加对抗约束以剥离语言信息，接着以解耦说话人与非说话人变异的后端建模剩余变异，最后经校准融合与语言相似度质量调制得到验证分数。相对已有做法的差异在于同时比较嵌入层不变表示、后端显式补偿与分数层补偿，揭示三者效果可相互替代而非简单叠加。关键证据是在 tv26 eval-A上双系统融合以等错误率（Equal Error Rate，EER）2.53%显著优于基线9.06%，方向为语言补偿带来一致增益。结论边界在于开发集仅覆盖训练可见的40种语言，未见38种语言与标签可疑子集上的行为尚未充分验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这次解读要交付什么？

本次解读的输入是论文原文的文字证据和两张官方原图像素，目标是让刚进入语音、音乐、音频领域的研究生能复述方法、核对实验条件、理解结论边界。必须保留的信息包括任务定义、补偿发生的 3 个位置、关键数据规模、训练与评估划分、主要超参数和主结果数字，输出是 1 篇按学习依赖展开的中文技术解读。说话人确认，简单说就是判断两段语音是不是同一个人说的，英文常称说话人验证。

初学者容易把它理解成把声音丢给模型直接分类，但实际流程是先把不定长语音变成定长向量，再比较向量相似度或用后端模型打分。语言多样性会干扰这个流程，因为同一人说不同语言时发音、节奏变化很大，不同人说同一种语言时又可能共享口音线索。如果模型把语言当成认人的捷径，跨语言试验就会系统性变差。本文研究的就是如何在这种语言多变的场景下做补偿。

后续各节先讲任务背景与相关路线，再给出方法全景，然后沿一个样本走完输入到输出，接着讲训练、实验条件、结果与反证，最后讲复现要点。凡是教学举例都会明确标为例子，不引入无来源的数值。

已有路线把说话人和信道分开，语言为何是特殊信道？

说话人和信道可变性建模是长期问题，白话说就是人声里既有谁在说，也有在哪录、用什么设备录的影响，传统做法靠后端模型把这两部分分开。论文把语言看作一种值得单独处理的信道，因为在多语言数据里，说话人标签和语言标签是纠缠的，网络可能靠语言线索降低训练损失。相关工作一侧是概率线性判别分析、球面判别分析及其变体等后端，另一侧是域不变与对抗训练，例如用梯度反转促进跨任务的不变性，已在说话人识别、情感识别等任务中被尝试。

数据集一侧，VoxCeleb、VoxBlink2、CN-Celeb 规模大但以单语或宽带为主，美国国家标准与技术研究院的说话人识别评测则以电话窄带为主，近年才引入多语言试验，但同时混入了注册与测试来源不匹配等混淆因素，难以孤立语言的影响。TidyVoice 2026 挑战与 TidyVoiceX 数据集的定位就是补上这一块，聚焦语言多样性对说话人验证试验的影响。论文的贡献正在于系统比较嵌入层、后端层和打分层的语言补偿，并分析额外多语言数据在微调中的作用。

要解决的判断题是什么，难在哪里？

要解决的问题是语言多变的说话人验证，白话说就是注册语音和测试语音可能语种相同也可能不同，系统都要正确判断是否同人。英文对应跨语言试验。难点有 3 层。第一，训练集只有 40 种语言的有标注数据，评估集还有额外 38 种未见语言，泛化压力大。第二，TidyVoiceX 训练数据说话人数量尚可但总时长有限，模型容易记住语言捷径。

第三，评估不仅看等错误率，还看小目标先验下的最小检测代价，论文采用目标试验概率为 0.01 的定义，对同语冒充试验非常敏感。举例说明：假设注册是英语、测试是西班牙语，即使同人，声学分布也会偏移；反之，不同人说同一种语言，冒充分数可能偏高。论文把开发集试验拆成 4 个子集来暴露这种机制：目标同语加冒充异语、目标同语加冒充同语、目标异语加冒充异语、目标异语加冒充同语，其中最后一组最困难，最能检验语言不变性是否真正生效。

理解这个四分法是读懂后面结果的前提。

三处补偿的全景：前端净化、后端解耦、打分校准

论文把补偿放在整条流水线的 3 个位置，学习顺序是先看全景再看细节。第一处是嵌入提取器层，目标是直接学到语言无关的表示，手段是带梯度反转的对抗训练和基于不确定性建模域偏移的特征扰动。第二处是后端层，用本身就能解耦说话人与非说话人变化的模型消化残留语言影响，并用线性判别分析投影掉主导语言方向。第三处是打分层，把语言相似度作为质量度量去校准验证分。

一个样本的旅程是这样的：波形或声学特征进入主干网络得到帧级特征，池化成话语级表示，再投影成说话人嵌入，最后由余弦相似度或后端模型给出试验分数。语言补偿就是在这条路上分别动手术，前端让嵌入本身少带语言，后端让打分对语言不敏感，打分层再做 1 次与语言相似度有关的修正。下图是前端对抗分支的结构示意，读懂它就能理解多任务目标中说话人损失与语言损失如何相互牵制。

本段为图 1 的导读，图中左侧是声学输入进入前端主干，上方是说话人分支，下方是带梯度反转的语言分支，顶部和底部分别标注说话人标签监督与语言标签监督，请按此结构观察主路径与对抗分支的汇合点。

看图路径： 1. 先从左侧声学输入沿主干到池化，再分叉到上方说话人头和下方语言头；2. 确认梯度反转层只插在池化之后、下方语言分支的投影之前；3. 对照顶部说话人标签监督 Ls 和底部语言标签监督 Ll 的两个闭环箭头；4. 观察语言分支明确不做嵌入归一化，而主分支要投影到说话人嵌入空间

论文图 1。原论文 Figure 1：“A scheme of incorporating a gradient reversal layer (GRL) into an embedding extractor with a language classifier.”。

上图显示输入先经过绿色前端主干，再经黄色池化模块得到话语级特征，随后分叉，上路经投影到说话人头并受说话人标签监督，下路先经橙色梯度反转层再经投影到语言头并受语言标签监督。正向传播时语言头努力识别语种，反向传播时梯度反转让主干朝不利于语言识别的方向更新，从而净化说话人嵌入。需要强调的是语言分支明确不做嵌入归一化，这是原文直接给出的实现细节，复现时不应自行添加归一化。

前端如何用对抗与扰动去掉语言味？

前端补偿包含两种机制，先讲需要语言标签的对抗，再讲不需要语言标签的扰动。说话人嵌入，英文为 speaker embedding，是把一句话压缩成的定长向量。语言标签，英文为 language label，是这句话所属语种的标注。

说话人嵌入 × 语言标签： 说话人嵌入负责把一段语音压缩成能区分是谁说的向量，语言标签负责指出这段话说的是哪种语言，二者搭配的原因是同一说话人会说多种语言，网络为降低训练损失可能同时记住口音和语种线索，组合意义在于用语言标签做对抗监督，把语言可判别信息从嵌入中挤出去，留下更纯粹的说话人信息。

梯度反转层，英文为 gradient reversal layer，缩写为 GRL，是在正向保持不变、反向把梯度乘以负系数传回的特殊层。ArcFace 损失，英文为 ArcFace loss，是带角度间隔的说话人分类损失，促使类内紧凑、类间分离。

梯度反转层 × ArcFace 损失： ArcFace 损失负责让同一说话人的嵌入聚拢、不同说话人分开，梯度反转层负责在语言分类分支反转梯度方向，二者搭配的原因是主分支要学好说话人判别、语言分支要能识别语言但又不让主干保留语言特征，组合意义在于形成多任务对抗：语言头越努力识别语言，主干就越被迫变得语言不可分。

具体计算是池化后的共享特征同时送往两头，上头计算说话人损失，下头计算语言交叉熵损失，总目标写成二者相加。论文明确给出多任务目标为二者之和，语言分支插入梯度反转层，共享主干因此被推向语言不可分。域偏移不确定性建模，英文为 Domain Shifts with Uncertainty，缩写为 DSU，是在训练时对卷积内部特征的通道均值和标准差做扰动，以模拟未见域偏移的方法，实现上按批次估计分布再采样扰动，推理时关闭。

DSU × 梯度反转： DSU 负责在训练时扰动卷积特征的通道均值和方差以模拟未见过的域偏移，梯度反转负责用显式语言标签抑制语言信息，二者分工不同但都作用于前端，搭配理由是前者不需要语言标签、后者需要语言标签，组合意义在于论文发现二者可叠加使用，对 SimAMResNet100 同时使用时优于单独使用。

论文对 SimAMResNet 尝试把 DSU 插在初始卷积之后和每个残差阶段之后共 6 种变体，选开发集最优者报告。对 w2v-BERT 2.0 也试过 DSU，但效应可忽略，因此未列出数字，这是一个明确的负结果，说明扰动位置与架构有关，不能默认处处有效。

后端与打分层如何消化残留的语言影响？

即使前端已净化，后端仍可能进一步解耦，论文选了两类后端。成对支持向量机，英文为 Pairwise Support Vector Machine，缩写为 PSVM，是在向量空间做成对判别训练的后端，目标隐式偏好说话人丰富的子空间。球面高斯变体，英文为 Spherical-Gaussian TPSDA，缩写为 SG-TPSDA，是把环面概率球面判别分析中的球面似然换成各向同性高斯似然的变体，实验中只用单个说话人子空间。

PSVM × SG-TPSDA： PSVM 负责通过成对判别目标隐式找到富含说话人信息的子空间，SG-TPSDA 负责用显式的说话人和通道可变性子空间建模，搭配比较的原因是二者都是能解耦说话人与非说话人变化的后端，组合意义在于论文分别把它们接在两种前端之后，检验强后端能否直接消化语言纠缠的嵌入。

线性判别分析，英文为 Linear Discriminant Analysis，缩写为 LDA，在这里的用法是先估计语言判别子空间，再把嵌入投影到其补空间，维度在开发集上调优。打分层补偿的思路是语言相似度会影响验证分，因此训练一个 ResNet18 语言分类器，取其嵌入做带均值相减的余弦相似度得到语言比较分，再把该分作为质量度量与说话人验证分一起训练逻辑回归校准模型。

LDA 补空间投影 × 语言比较打分： LDA 补空间投影负责先估计语言判别方向再把嵌入投影到其正交补空间，语言比较打分负责用独立语言分类器的余弦相似度作为质量度量去校准验证分，二者分工在后端之后和打分之后，搭配理由是都不需要重训前端，组合意义在于提供轻量补偿，但论文报告打分层补偿只对未做前端补偿的系统有明显增益。

关键区别是后端补偿不需要额外的语言打分，而打分层补偿需要额外训练语言分类器并划分数据做校准。论文把开发集随机分成两个各 10 万试验且说话人不重叠的部分，一部分用于均值相减和训练校准，另一部分评估，这保证了校准参数不偷看测试说话人。

前端从哪里出发，哪些参数更新，数据如何配？

训练起点是利用外部预训练再微调，不是完全从零训练。w2v-BERT 2.0 加多尺度特征聚合，英文为 Multi-scale Feature Aggregation，缩写为 MFA，编码器本身在 143 种语言、4,500,000 小时语音上自监督预训练，论文使用的起点是已在 VoxCeleb2 上做过大间隔微调的版本。微调时只有代表 TidyVoice 说话人原型的权重从零初始化，并用 5 倍于其余权重的学习率更新，其余权重用从 10 的负 3 次方到 5 乘 10 的负 5 次方调度的学习率训练 5 个轮次，ArcFace 间隔 0.3、尺度 32，输入片段 2 秒。

SimAMResNet100 是带简单注意力模块和注意力统计池化的残差网络，起点是在 VoxBlink2 上预训练的模型，微调 6 个轮次，学习率从 5 乘 10 的负 5 次方指数衰减到 1 乘 10 的负 5 次方，片段 6 秒，间隔在前 3 个轮次从 0 指数上升到 0.3，论文明确说固定较大间隔在开发集上更差。后端与 LDA 补投影都在 TidyVoiceX 训练集上训练。后端超参数按开发集选择，PSVM 用长度归一化，SG-TPSDA 不用长度归一化。

VoxCeleb2 本身没有语言元数据，做语言补偿训练时论文用在 VoxLingua107 上训练的 ECAPA-TDNN 生成语言伪标签，并给出伪标签来源链接，但资源状态证据显示本次没有可验证的公开资源，因此不能声称代码或模型当前可用。

数据、划分、指标与基线如何保证可比？

实验条件按数据、协议、指标 3 层交代。数据层包含目标域与扩展域，目标域是 TidyVoiceX，扩展域是电话信道的 NIST SRE CTS Superset 和 VoxCeleb2 开发集，电话数据上采样到 16 千赫以兼容目标域。挑战允许外部数据与预训练模型，但排除 Mozilla Common Voice。下表把论文正文连续句子中直接报告的规模信息整理成五列，便于核对说话人数量、时长与语种覆盖，避免把不同数据集的数字混为一谈。

下表提出的问题是各训练源的规模与多语属性是否可比，公平条件是均采用原文连续句中的原始计数，指标方向是说话人越多、时长越长、多语覆盖越广，越适合支撑语言鲁棒性分析。

上表的主要收益是看清为何要扩展数据，TidyVoiceX 目标域匹配但时长有限，CTS 以时长和多语说话人见长但域不同，VoxCeleb2 规模大但语言标注缺失。代价是引入域失配与伪标签噪声，论文后文显示不同前端对同一扩展数据的反应并不一致，这是未胜出项的重要伏笔。评估指标为等错误率与小目标先验下的最小检测代价，数值越小越好。基线是挑战官方的余弦相似度系统，后文所有补偿方法都应与无补偿的同前端余弦或同嵌入后端对比，而不是跨前端直接比绝对值。

前端补偿是否让最难的跨语言试验变好？

结果按 4 个子集组织，测的是语言奇偶性对分数分布的影响。无补偿模型在目标同语加冒充异语时异常的好，因为目标同语让嵌入更相似、冒充异语让嵌入更不相似；最难的是目标异语加冒充同语。引入梯度反转后，两种前端都显示最难子集显著改善，而最易子集反而变差，论文解释为嵌入中帮助最易子集的语言信息被去掉了，这恰好证明语言味变淡。DSU 不使用语言信息，趋势与梯度反转不同，在各子集上保持不降或小幅提升。下图是 w2v-BERT 2.0 加 MFA 在有无梯度反转下的 4 组分数分布，虚线为原始模型，实线为梯度反转模型，左侧曲线多为冒充试验，右侧为目标试验。

本段为图 2 的导读，四幅子图从左到右对应 4 种语言奇偶组合，每幅横轴为余弦打分、纵轴为密度，橙色系为冒充分布、绿色系为目标分布，请重点比较冒充峰与目标峰的重叠变化以及第二峰的位置。

看图路径： 1. 先确认每幅子图横轴是余弦打分、纵轴是密度，虚线是原始模型、实线是 GRL 模型；2. 对比最左和最右子图：同语目标加异语冒充与异语目标加同语冒充的分离难度差异；3. 观察 GRL 后非目标分布在困难子集中向左移动是否更明显；4. 注意第二和第四子图非目标分布的第二峰，这是原文提示可能存在标签问题的证据

论文图 2。原论文 Figure 2：“Score distributions for tv26 dev sublists obtained with w2v-BERT 2.0 w/ MFA (w/ or w/o GRL) and cosine similarity scoring.”。

上图显示梯度反转后目标与冒充分布的重叠在困难子集中减小，尤其是最右子图的冒充分布向左移动更明显，说明同语冒充的高分尾部被压制。同时第二与第四子图的非目标分布出现第二峰，导致同语冒充子集的最小检测代价接近 1，论文明确提示这可能与部分标签问题有关，不能简单解读为模型完全失效。像素不能精确读出的密度数值不硬写，结论只用到分布分离方向与第二峰的存在性。未评测边界是这些分布分析基于开发集的可见语言，评估集未见语言下的行为在投稿时因缺少标签而未展开。

提交系统与打分层补偿的实际收益是多少？

主结果看提交融合与打分层校准。提交系统是 SimAMResNet100 加 PSVM 与 w2v-BERT 2.0 加 SG-TPSDA 的融合，融合权重在开发集上用目标先验 0.5 的先验加权逻辑回归估计。论文报告最佳单系统与融合均在全部试验名单上一致优于基线，最终提交在 tv26 eval-A 上达到 2.53% 等错误率。打分层补偿的对照更干净，因为它固定前端与后端，只改变是否加入语言比较分。下表把原文连续句中直接报告的两个数字对照整理成五列，保留原始百分号与小数精度，不做四舍五入或相对百分比换算。

下表提出的问题是在固定前端下语言打分校准是否带来可部署增益，公平条件是同一前端、同一划分的第二部分评估，指标方向是等错误率越低越好。

上表显示未做前端补偿的系统能从语言打分校准中获得约 0.18 个百分点的改善，而已做对抗补偿的系统几乎无增益，这支持语言信息已被前端去除的解释。提交系统的 2.53% 是跨库评估结果，不能与开发集第二部分的 1.10% 直接比大小，因为数据集、模型与聚合对象都不同。百分点与相对百分比不同，这里只报告百分点差值，不换算成相对提升。

换微调数据与换后端维度，增益还成立吗？

消融按两个问题组织，一是微调数据，二是补偿位置的相互作用。微调数据方面，只用 TidyVoiceX 训练集能在开发集上改善两前端，但在 VoxCeleb1-hard 上变差，原因是语言与领域失配。加入 VoxCeleb2 后 SimAMResNet100 在开发集上大幅改善，而 w2v-BERT 2.0 反而变差，论文解释为前者受益于说话人数量增加，后者因在大规模多语预训练后又在以英语为主的数据上微调而受损。再加入 CTS 后 SimAMResNet100 继续改善，w2v-BERT 2.0 相对不利组合有所恢复，说明时长与多语说话人多样性有价值，但收益与起点有关，不是单调叠加。后端维度方面，LDA 与 SG-TPSDA 的子空间维度在无语言补偿嵌入上调优，下表整理原文直接报告的后端配置，便于复现时对齐归一化与维度选择。

下表提出的问题是后端补偿的可运行配置是什么，公平条件是均在 TidyVoiceX 训练集上训练并在开发集上调优，列方向是维度与归一化开关决定了解耦强度。

上表的主要收益是给出可直接照抄的配置，代价是这些维度是在无补偿嵌入上调优的，当嵌入换成梯度反转加 DSU 版本后，同样的后端补偿效果减弱，甚至需要把 LDA 维度大幅降到 5 维才有好结果。对 w2v-BERT 2.0 而言，前端补偿加后端补偿在开发集上相对余弦打分出现退化，说明前端去语言化可能丢掉一部分可由强后端利用的说话人信息，这是本文最重要的反证。

哪些结论有边界，哪些缺项不是错误？

需要区分直接报告、有限解释与未验证推测。直接报告的是梯度反转与 DSU 各自有效且可叠加，强后端对语言纠缠嵌入有效，打分层补偿对无补偿系统有效，融合提交达到 2.53% 等错误率。有限解释的是 VoxCeleb2 对两前端影响相反的原因，论文用预训练语言覆盖与说话人数量做假设性解释，措辞为可能，应视为待验证。未验证的是评估集 38 种未见语言下的子集行为，因投稿时缺少评估试验标签而未展开。

缺失证据不是技术错误，例如论文未报告训练耗时、推理延迟与硬件预算，也未测量误判率之外的成本，因此不能承诺这些量得到改善。另一个限制是最小检测代价在同语冒充子集接近 1，论文归因于非目标分布的第二峰并提示标签问题，在标签核查前不应把该指标直接当成模型排序依据。总体趋势不等于每组都成立，前端补偿在最易子集上变差就是反例。

复现先做什么，需要保留哪些信息条件？

复现按依赖顺序先做数据与起点，再做前端，最后做后端与融合。先准备 TidyVoiceX 训练与开发划分，CTS 上采样到 16 千赫，VoxCeleb2 语言伪标签用 VoxLingua107 训练的 ECAPA-TDNN 生成并记录版本，因为伪标签质量直接影响对抗分支。前端起点不要随机初始化，w2v-BERT 2.0 加 MFA 从大间隔微调版本出发，SimAMResNet100 从 VoxBlink2 预训练出发，并保留原型权重 5 倍学习率、片段时长与间隔调度等细节。后端在 TidyVoiceX 训练集上训练，LDA 取 15 维、SG-TPSDA 说话人子空间取 120 维、PSVM 正则取默认值乘 5，PSVM 做长度归一化而 SG-TPSDA 不做。

打分层校准需复刻说话人不重叠的两分与 10 万试验规模，先做均值相减再训练逻辑回归。关于可用性，原文虽给出个别权重与伪标签链接，但本次资源状态为未发现可验证的公开资源，因此只能写本次未能确认可达，不能写代码或模型已公开。复现还需补的验证是评估集未见语言的子集拆分、标签第二峰核查，以及同一扩展数据下固定随机种子的重复实验。

何时值得尝试这种补偿，如何一句话记住它？

何时值得尝试取决于试验中是否存在可利用的语言捷径。如果注册与测试语种经常不一致，且训练数据有多语说话人并带有语言标注，优先尝试前端梯度反转，因为它在最难子集上改善最直接。如果没有可靠语言标注，可尝试 DSU 这类无须语言标签的特征扰动，并在开发集上搜索插入位置。如果前端已做强去语言化，后端补偿的维度需要重调，不宜沿用在纠缠嵌入上调好的大维度，否则可能退化。

如果前端未做补偿，强后端与打分层校准仍能带来可比增益，说明补偿位置可以独立选择。一句话记住，语言会同时抬高同语冒充分并拉开异语冒充差距，好的补偿不是让所有子集都变好，而是让最难的异语目标加同语冒充变好，同时接受最易子集因失去语言捷径而变差。初学者复述时应沿输入到表示到组件到目标再到输出的顺序讲清梯度路径与监督来源，遇到未报告的实现细节应明确指出缺项，而不是从模型名称推定。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总