固定条件缺语种、开放条件模型太重：I4U 用多嵌入与虚拟说话人补齐 SRE24

英文题目：I4U’s Official and Streamlined Audio Systems for NIST SRE24

会议身份：conference:odyssey:2026:conference-paper-id:colibro26_odyssey

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#数据增强 #模型集成 #语音 #说话人分离标注 #说话人验证

评分：7.5/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.2/1.5

排名：前25% | 文档类型：系统技术报告

👥 作者与机构

• Daniele Colibro：机构信息未能从会议 PDF 纯文本可靠映射
• Claudio Vair：机构信息未能从会议 PDF 纯文本可靠映射
• Youzhi Tu：机构信息未能从会议 PDF 纯文本可靠映射
• Junjie Li：机构信息未能从会议 PDF 纯文本可靠映射
• Zilong Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Yijia Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Kong Aik Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Man-Wai Mak：机构信息未能从会议 PDF 纯文本可靠映射
• Jagabandhu Mishra：机构信息未能从会议 PDF 纯文本可靠映射
• Vishwanath Singh：机构信息未能从会议 PDF 纯文本可靠映射
• Xi Xuan：机构信息未能从会议 PDF 纯文本可靠映射
• Manasi Chhibber：机构信息未能从会议 PDF 纯文本可靠映射
• Oguzhan Kurnaz：机构信息未能从会议 PDF 纯文本可靠映射
• Tomi Kinnunen：机构信息未能从会议 PDF 纯文本可靠映射
• Suyeon Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Chaeyoung Jung：机构信息未能从会议 PDF 纯文本可靠映射
• Kihyun Nam：机构信息未能从会议 PDF 纯文本可靠映射
• Joon Son Chung：机构信息未能从会议 PDF 纯文本可靠映射
• Shuai Wang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

NIST SRE24要求以可变时长注册语音判断测试语音身份是否一致，输入混合电话语音与视频伴音并含阿拉伯语、法语与英语，输出为说话人是否相同的检测分数，实际难点在于短测试段、多说话人干扰与固定训练语料缺失目标语种及视频信道。方法链首先以对数梅尔谱与语音活动检测前端接Multi2dCoTNet等深度嵌入提取器输出说话人向量，其次经白化、判别降维与长度归一化后由神经PLDA或神经对向量机打分并送入自适应归一化，随后对含多说话人的视频伴音测试段做基于滑窗嵌入聚类的说话人分离标注，最后经融合与质量因子校准输出代价最优分数。关键机制差异在于Multi2dCoTNet在训练期对三个深度的嵌入施加附加间隔损失与两两余弦对齐约束而推理仅用首个嵌入，Mixed-Norm则拼接多说话人短块构造虚拟说话人扩充归一化队列，从而兼顾判别性与信道鲁棒性。在SRE24开发集与评测集条件下，Multi2dCoTNet单嵌入模型的minCPrim在评测集为0.276，高于开发集的minCPrim 0.263。开放条件简化系统以窄带Multi2dCoTNet融合自监督模型替代五系统融合，保持相近精度同时大幅降低部署负担。该结论适用边界受限于SRE24性别、语种与信道划分，测试净语音短于5秒与跨源试验下性能显著恶化尚未验证，而简化方案将计算量从15.5 TFLOPs降至约4.8 TFLOPs，推理开销明显下降。

🔗 开源与复现资源

• 数据相关资源：https://catalog.ldc.upenn.edu — 链接可访问（HTTP 200）
• 数据相关资源：https://datasets.appendata.com/datasets — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/zhenghuatan/rVAD — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/wenet-e2e/wespeaker — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/luferrer/ConfidenceIntervals — 链接可访问（HTTP 200） 预印本/扩展版链接未在会议页展示；会议版来源见页首官方记录与 PDF。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？要解决的验证任务难在哪里？

本文面向刚进入语音领域的读者，先把任务说死。输入是 1 对语音：一段注册语音声称是某说话人，一段测试语音待验证是否为同一人。系统输出是一个检测分数，分数越高越支持同一人假设。NIST SRE24 是这个任务在 2024 年的公开评测，包含纯音频、纯视频、音视频 3 条赛道，本文只讲纯音频。音频来自两种源：视频伴音与电话对话语音，语种覆盖阿拉伯语、法语和英语。

与往年相比，论文点名 3 个新难点：注册时长可变、测试段更短、一段录音可能含多名说话人。 固定训练条件只允许用 NIST 指定的电话语音超集、2016 年评测集、2021 年评测与开发集、JANUS 多媒体数据集，论文明确说这些数据说话人数量有限、不含阿拉伯语和法语、以电话语音为主。开放训练条件允许用外部与私有数据。开发集只有 20 个说话人，用于融合、校准和分数归一化。

理解这个约束很关键：后文所有关于虚拟说话人、归一化 cohort 选择、宽窄带模型取舍的动作，都是被这个数据约束逼出来的，不是通用技巧堆砌。

已有路线提供了哪些现成部件？

论文没有从零发明说话人验证，而是把已有路线拼成可复现系统。第一条路线是时频图加残差卷积做嵌入，例如 ECAPA-TDNN、ResNet、ERes2NetV2、ReDimNet、GeminiDF-ResNet，输入多为对数梅尔频谱图，输出定长说话人向量。论文在固定与开放条件都保留了这些基线，作用是锚定新模型的真实增益。第二条路线是自监督语音表征加后端，例如 WavLM 与 XLSR-Wav2Vec2，前端在大规模无标注语音上预训练，后端接因子化时延神经网络或上下文多头注意力池化。论文的 WavLM-FTDNN 与赛后 XLSR-CAMHFA 都属此类，特点是参数大但对宽带与多语种更友好。

第 3 条路线是后端与归一化：从白化、线性判别分析、长度归一化、类内协方差归一化，到概率线性判别分析、神经概率线性判别分析、成对支持向量机，再到自适应对称归一化与自适应数据归一化。论文的贡献不在单点，而在固定数据受限下把这 3 条路线组装、校准并做减法。

论文把哪两个矛盾当主线？

第 1 对矛盾是固定条件下目标域缺失与归一化需要目标域的矛盾。评测含阿拉伯语、法语和视频伴音，但固定训练几乎全是电话英语数据，开发集又只有 20 个说话人。若直接用训练集做归一化 cohort，会与评测域错位；若不用归一化，信道与语种偏移会直接进入分数。第二对矛盾是开放条件下精度与部署成本的矛盾。

官方开放提交用了 5 个子系统融合，含多个 Multi2dCoTNet 变体与一个 WavLM-FTDNN，论文给出其 30 秒语音约 15.5 TFLOPs。若再把新自监督模型直接并入官方提交变成六系统，算力涨到约 16.8 TFLOPs，论文直说这对真实部署不实用。于是论文分两步回答：先交官方多系统成绩，再赛后做两系统精简并按性别、声源、语言、时长拆解误差。

从一段语音到一个分数，系统走哪条链路？

沿一个样本走全程最清楚。输入波形先过语音活动检测，去掉非语音帧。固定条件用 Kaldi 语音活动检测与 rVAD，开放条件还允许用一个训练了 11 类多语种音素含非语音类的混合隐马尔可夫与神经网络私有检测器。保留的语音帧算成对数梅尔频谱图，进入嵌入网络得到一个或多个定长向量。向量依次过白化、线性判别分析、长度归一化、类内协方差归一化，再进概率线性判别分析类或神经精调后端，对注册与测试向量对打分。

分数先做自适应数据归一化，再按电话对电话、电话对视频伴音等 4 种条件做均值方差归一化，最后线性融合与校准输出提交分数，校准还加入与注册测试时长有关的时长质量项，开放条件再加基于 Whisper large-v2 语言识别的语言是否匹配质量项。 下图是新模型 Multi2dCoTNet 的总览，训练走全图 3 路嵌入，推理只走第一路，读图时先分清上下两条箭头代表的阶段。

看图路径： 1. 从左侧梅尔频谱图沿灰色箭头向右跟主干，看五个残差块如何串起来；2. 对照左上图例，分辨黄色深度可分离二维卷积层与蓝色上下文 Transformer 层在每个块内的交替；3. 看训练时从第三、四、五块分别引出的三路嵌入，再看推理时只保留第一路的箭头范围差异

论文图 1。原论文 Figure 1：“Multi2dCoTNet architecture.”。

图中可见输入是梅尔频谱图，主干是 5 个残差块串联，每个块内黄色与蓝色小层交替。训练阶段从第三、第四、第五块各引出一路嵌入向量，分别记为第一、第二、第三嵌入；推理阶段箭头只覆盖到第一路，意味着后两路训练分支被裁掉。这种训练宽、推理窄的设计是理解后文多嵌入损失与推理算力的关键，像素上也能看到下方蓝色训练箭头贯穿全图、上方黄色推理箭头同样贯穿但引出头只在前三块之后开始分叉。

新主干与后端各自解决什么？为何拼在一起？

Multi2dCoTNet 是论文最准的主干，约 70,000,000 参数。实现上是五块残差网络，残差层用深度可分离 2 维卷积做骨干以撑起更多通道而不爆显存与算力，再按上下文 Transformer 文献的思路把上下文 Transformer 块与 2 维卷积节点交替放置。训练时在第三、第四、第五块末端各取一个嵌入，每个嵌入各有一个加性角间隔 Softmax 损失，另加 3 路嵌入两两余弦距离的一致性约束，目标是让 3 路对同一训练说话人的方向估计对齐。推理时只算第一路嵌入，所以结构被精简。

对照实验显示，同样在 3 个深度各单独训练单嵌入模型，最好的单路仍不如多嵌入训练后的第一路；若把 3 路在分数层融合，论文报告提升很小，解释是方向对齐约束降低了 3 路正交性。

说话人嵌入 × 概率线性判别分析： 说话人嵌入负责把变长语音压成定长向量，保留说话人身份而抑制内容与信道变化；概率线性判别分析负责在嵌入空间里为注册与测试向量对打分，建模说话人内与说话人间方差。两者搭配的原因是嵌入只管表示，不管判决阈值与信道补偿，概率线性判别分析补上白化、降维、长度归一化后的成对判决，组合后形成从波形到验证分数的完整链路。

后端方面，论文比较了类后验对数余弦、成对支持向量机与神经成对支持向量机。神经成对支持向量机从预训练的线性判别分析、白化、类内协方差归一化与成对支持向量机矩阵出发，用平滑 NIST 检测代价做梯度微调，目标概率取 1% 与 0.5%，平滑因子取 30，漏检与误检代价都取 1.0。固定条件最准 Multi2dCoTNet 上的对照显示该后端明显好于其他后端，开放条件也有类似趋势。

自适应数据归一化 × Mixed-Norm： 自适应数据归一化负责在嵌入域做分数归一化，用与当前试验最相似的 cohort 均值做中心化以抑制域偏移；Mixed-Norm 负责在只有 20 个说话人的开发集不够用时，用多说话人短片段拼接造出虚拟说话人，扩充归一化 cohort。搭配理由是归一化需要目标域的阿拉伯语、法语、AfV 与 CTS 样本，而固定条件不允许直接拿外部数据训练，虚拟说话人正好补上目标域 cohort，组合后让归一化在固定条件下仍有足够参考。

深度可分离 2 维卷积 × 上下文 Transformer： 深度可分离 2 维卷积负责在时频图上抓局部细粒度模式，用更少参数堆更深通道；上下文 Transformer 负责建模长时依赖与全局结构。搭配理由是纯卷积视野有限，纯注意力对短语音局部细节不够稳，论文在 5 个残差块里交替放两类层，组合后让同一主干同时有局部与全局表达，这也是 Multi2dCoTNet 能加深而不爆显存的原因。

神经成对支持向量机 × 成对支持向量机： 成对支持向量机负责在白化、线性判别分析、长度归一化与类内协方差归一化后的嵌入对上做判决；神经成对支持向量机负责以预训练好的上述矩阵为起点，用平滑的 NIST 检测代价做梯度微调。搭配理由是直接训练神经分类器容易偏离已验证的线性基线，而在基线矩阵上做神经精调能保留结构并对准评测代价，组合后得到比余弦和普通成对分类更贴 SRE 代价的后端。

归一化方面，多数系统用自适应数据归一化。它与自适应对称归一化一样，先按与当前试验对的相似度从大全集中选子集，但它在嵌入域做中心化：注册与测试嵌入各减去各自相似子集的均值后再打分。论文用 L2 距离选最多 500 个最相似段。这种做法把信道补偿提前到表示层，对短语音与跨源试验更直接。

数据、增强与多说话人处理如何构造？

训练数据分两档。固定条件只能用 NIST 指定集，论文因此只用 8 kHz 窄带嵌入模型，因为宽带语音在允许数据里极不平衡。开放条件用了约 18030 名说话人、约 397473 条录音的电话与宽带混合表，另用 VoxBlink2、VoxLingua、VoxTube 收集的阿拉伯语、英语、法语 YouTube 语音只做分数归一化，不用来训练嵌入与分类器，以避免把模型偏置到麦克风宽带条件。增强对所有训练数据用 MUSAN 噪声音乐与房间脉冲响应，多个系统还加了本为防伪造设计的 RawBoost 来模拟麦克风与传输失真。

Mixed-Norm 是论文为固定条件造目标域归一化数据的关键动作，步骤可照做：先用语音活动检测去掉开发集全部非语音；再分别造 1500 条视频伴音拼接段与 1500 条电话拼接段；每条从 4 到 10 个随机说话人各取一个相关条件文件，各截 2 到 5 秒拼接；共 3000 条虚拟说话人段进归一化集。打分时动态剔除拼接中含当次试验说话人的段，以压住在开发集上校准的偏置。

固定条件最终用 3000 条虚拟段加 3000 条许可数据集段组成 6000 条归一化集，开放条件用 12000 条多语种真实文件加同样 3000 条虚拟段。

说话人日志 × 最优边选择： 说话人日志负责把一段可能含多人的 AfV 测试切成两个候选说话人段，用滑动窗口嵌入加聚类指派窗口；最优边选择负责对两个候选段分别打分再取较高分并做小补偿。搭配理由是 SRE24 明确出现一段测试含多说话人的情况，若直接整段提嵌入会混入干扰人，日志先分离，最优边再选贴近注册的一边，组合后才有多说话人试验的完整处理。

日志实现细节是：1.6 秒滑窗、1 秒重叠提嵌入，用神经成对支持向量机打分聚成候选说话人，每窗指派 1 人；系统恒生成两段，先判两段是同一人还是 2 人，开发集调阈值；若判为多人，对两边各打 1 次分取高分并做小补偿。论文说该流程在主要代价上提升很小，但在等错误率上收益更明显。

评测按什么条件切分？指标与统计口径是什么？

评测分开发集与评估集两轨，指标是等错误率与最小主要代价，方向都是越低越好。论文还报实际主要代价以检验校准是否贴近最小值。融合权重与校准偏置用 FoCal 工具在开发集上估计，送入前先按 4 种声源组合做均值方差归一化，再加入时长质量项与开放条件的语言质量项。赛后细分析把评估试验按性别、声源匹配与否、语言是否匹配、最小时长 4 维切分。最小时长按测试净语音分成小于 5 秒、5 到 10 秒、10 到 20 秒、大于等于 20 秒四档。

声源分源匹配电话、源匹配视频伴音、源失配 3 组。最小主要代价按 SRE24 纯音频协议在 NIST 定义的 8 个分区上平均，时长分析则只取满足时长门限的试验再跨八分区平均。置信区间用 2000 次自助重采样在分区均衡后的分数池上做试验级重采样，取 2.5 与 97.5 百分位，论文图 3 柱顶的短线就是该区间。硬件预算按 30 秒语音的 TFLOPs 报告，不直接等同延迟，但可比相对部署负担。

官方多系统与两系统精简方案各交出什么成绩？

先看部署账本，这是论文精简动机的直接证据。官方开放提交是五系统融合，30 秒语音约 15.5 TFLOPs；两系统精简是最佳 Multi2dCoTNet 加 XLSR-CAMHFA，约 4.8 TFLOPs；若把新模型并入官方提交变成六系统，则约 16.8 TFLOPs。两系统相对官方提交有 69% 算力下降，同时相对最小主要代价还有 2.5% 相对下降。

六系统相对官方有 7.4% 相对下降但算力最高。读表时注意算力与精度是两列不同指标，不能把算力下降当成精度提升。

表后要算清代价。两系统的便宜来自只跑两个嵌入器，且 Multi2dCoTNet 推理只算第一路；六系统的贵来自 5 个旧嵌入器全保留再加一个约 1,000,000,000 参数级的 XLSR 前端。

论文明确说六系统不实用，所以可部署的结论只能给两系统，不能拿六系统的 7.4% 当可部署收益。未胜出项是单个 XLSR-CAMHFA，它比最佳 Multi2dCoTNet 差约 16%，单独用并不可取。 再看误差随条件的拆解，图 3 把性别、声源、语言、时长放在同一纵轴下，绿色两系统融合柱在多数分组最低。

看图路径： 1. 先看四个子图标题，确认比较维度是性别、声源类型、语言是否匹配和最小时长；2. 在每个分组内比较红色、蓝色、绿色三根柱子的高低与误差线，确认融合是否始终最低；3. 重点看最小时长子图从大于等于 20 秒到小于 5 秒的纵轴爬升幅度

论文图 3。原论文 Figure 3：“SRE24 minCPrim results on the considered test conditions.”。

从像素看，左上性别图女性组三柱高于男性组，说明女性更难；右上声源图源失配组最高，源匹配电话组最低；左下语言图失配高于匹配；右下时长图从大于等于 20 秒到小于 5 秒单调爬升，小于 5 秒组误差线也最长，说明短语音不仅差而且不稳。后文两张数字表把这种目测落到具体最小主要代价上。

时长与声源失配到底带来多大损失？融合何时最值？

时长是最大影响因素，比较问题是同一融合系统在不同净语音长度下最小主要代价如何变，公平条件是同系统、同协议、只按时长过滤试验，指标越低越好。

表后解释要抓住两点。

主要收益是融合在所有时长档都低于单系统，尤其短段两单系统都差时融合仍能压到 0.452 以下，论文说两者精度接近时互补最大。具体代价是短语音的损失量级远超其他因素：小于 5 秒相对全长上升 91.5%，5 到 10 秒仍有 0.312，而 10 到 20 秒已回到 0.244 接近基线。未评测边界是小于 5 秒内更细的 1 秒、2 秒切分未报告，不能把 0.452 推广到极短语音。 声源、性别、语言的排序比较问题相同，公平条件是同两系统融合在评估轨的分区平均。

表后解释要保留论文的两个归因并标为有限解释。

论文认为视频伴音匹配不如电话匹配，一是视频伴音可能含多人增加目标确认难度，二是电话有 3 段注册拼成更稳说话人模型的扩展条件。这两个解释有数据支持但未做因果干预，所以只能写支持，不能写证明。反例是当注册与测试都是视频伴音宽带时，XLSR-CAMHFA 单系统反超窄带 Multi2dCoTNet，这是全篇唯一单系统逆转，说明宽带前端在宽带对宽带时有域匹配红利。

哪些结论还不能下？缺了什么验证？

第一，固定条件最准 Multi2dCoTNet 上的后端与归一化对照不能直接搬到开放宽带模型。论文说开放条件也有类似趋势，但没有给出同等完整的消融表，因此神经成对支持向量机在宽带自监督嵌入上是否同样大幅领先属于待验证。第二，Mixed-Norm 的虚拟说话人只验证了对归一化 cohort 的增益，论文报告固定条件相对无归一化下降超 10%，但虚拟段本身是否引入虚假说话人结构、是否影响校准偏置，只靠动态剔除当次试验说话人来压制，没有更细的虚假接受率拆解。

第三，日志加最优边选择在最小主要代价上提升很小，主要改善等错误率，若应用只看最小主要代价，就不应为日志付出额外嵌入与聚类开销。第四，时长与声源分析是观察性切分，短语音本身可能同时伴随更多多人、更多噪声与更少注册语音，论文未做控制混杂的回归，所以短与失配是强相关因素，不是已证因果。第五，所有算力都是浮点运算计数，未实测延迟、显存峰值与批处理吞吐，不能把 4.8 TFLOPs 直接翻译成毫秒级延迟承诺。

要复现先搭什么？关键参数与数据从哪来？

先按条件备数据。固定条件只用 LDC 的电话超集与指定评测集，采样率统一 8 kHz；开放条件再加论文所列电话与宽带混合表，归一化 cohort 可加 VoxBlink2、VoxLingua、VoxTube 的多语种文件，但训练嵌入与分类器时要剔除这些 YouTube 宽带数据以免偏置。语音活动检测固定条件用 Kaldi 与 rVAD，rVAD 代码在本次收到资源中当前可用，开放条件才用私有混合隐马尔可夫与神经网络检测器，复现时若无私有模型应明确记为缺项而非用其他检测器冒充。

增强用 MUSAN 与房间脉冲响应，MUSAN 在本次收到资源中当前可用，RawBoost 论文链接当前可用，可按原文作为增强加入。 再搭链路。嵌入从对数梅尔频谱图起步，主干复现五块交替结构时先保证训练三嵌入加余弦对齐、推理只取第一路；后端按白化、线性判别分析、长度归一化、类内协方差归一化顺序实现，再用平滑检测代价微调成神经成对支持向量机，目标概率 1% 与 0.5%、平滑因子 30、代价 1.0 不要改。归一化用嵌入域自适应中心化，L2 选最多 500 个最相似段。

Mixed-Norm 按 1500 加 1500、每条 4 到 10 人、每人 2 到 5 秒、共 3000 条的规格重造，下表是构造规格与数据规模的核对表。

表后提醒复现坑。虚拟段必须先过语音活动检测再拼接，否则非语音会稀释说话人信息；归一化时必须动态剔除含当次试验说话人的虚拟段，否则开发集校准会乐观。

融合前必须按 4 种声源组合分别做均值方差归一化，否则跨源分数不可比。精简两系统复现需同时拿到 Multi2dCoTNet 窄带与 XLSR-CAMHFA 宽带，缺其一只能复现单系统基线，不能声称复现融合增益。

何时值得用这套做法？一句话收束

当你的训练数据以电话英语为主、却要在视频伴音与多语种上做归一化，且开发说话人很少时，Mixed-Norm 加自适应数据归一化值得先试，因为它不动嵌入训练只扩归一化 cohort，成本低且论文在固定条件验证了超 10% 的相对增益。当你已有最强窄带卷积模型、想补宽带与多语种短板又不想维护五系统时，两系统融合值得试：窄带 Multi2dCoTNet 保电话与短时稳定性，宽带 XLSR-CAMHFA 补视频伴音对视频伴音，论文显示该组合以约三分之一算力达到官方五系统水平。

但若场景全是小于 5 秒或跨源试验，不要指望融合能抹平 91.5% 量级的损失，应优先加长注册语音、做声源匹配采集或显式多人处理。收束成一句：论文用多嵌入训练换单路推理效率，用虚拟说话人换目标域归一化，用两系统融合换可部署精度，而时长与声源仍是决定上限的条件。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

另有 5 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 odyssey-2026 论文汇总