语音能验身份，笑声咳嗽就不行：用条件蒸馏保住语音，再用专家分流学会非言语声

英文题目：Speaker Identity in Non-Verbal Vocalizations: Conditional Distillation and Mixture of Experts Approach

会议身份：conference:interspeech:2026:conference-paper-id:wei26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#对比学习 #知识蒸馏 #混合专家模型 #说话人验证

评分：7.8/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Tzu-Chieh Wei：机构信息未能从会议 PDF 纯文本可靠映射
• Yi-Cheng Lin：机构信息未能从会议 PDF 纯文本可靠映射
• Huang-Cheng Chou：机构信息未能从会议 PDF 纯文本可靠映射
• Kuan-Yu Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Hsin-Yen Sung：机构信息未能从会议 PDF 纯文本可靠映射
• Shrikanth Narayanan：机构信息未能从会议 PDF 纯文本可靠映射
• Hung-yi Lee：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为待验证语音段与非言语发声试次，输出为余弦打分决定的同一说话人判定，难点在于非言语发声缺乏音素结构且10类声学异质性大，单一表征通道难以同时兼容模态语音与笑声、爆破音等非音素信号。方法链第一步由冻结Data2Vec前端提取帧级表征并经可训练适配器逐层传递，其输出进入第二步的层间残差混合专家模块，由门控按声学域分流至语音与非言语专用专家以解耦建模。第三步将专家路由后的特征送入ECAPA-TDNN池化为192维说话人嵌入，训练期以事件内一致与事件间分离约束塑造路由分工，以条件蒸馏仅对语音样本对齐冻结教师、以监督对比损失拉近同说话人跨域嵌入。与直接微调把全域压入单一语音流形不同，该设计训练期按模态选择性正则、推理期无需模态标签由门控自主路由，从而缓解灾难性遗忘并统一身份流形。在NonverbalTTS测试集18043条NVV到语音（NvS）试次上，等错误率（Equal Error Rate, EER）从零样本WavLM基线的38.93%降至22.66%，10764条语音到语音（SvS）EER经蒸馏从13.17%恢复至9.24%。该结论仅在该数据集划分、Montreal Forced Aligner切分与剔除短于0.25秒utterance条件下成立，对合成NVV与跨库未见事件的零样本外推尚未验证。原文未披露训练时长、推理延迟与部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/wiizzz/nonverbal-sv — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先把任务边界说清楚

这篇论文的输入是两类录音，一类是我们日常说话的模态语音，另一类是非言语发声，也就是论文反复列举的笑、咳嗽、呼吸、叹气、清嗓、打呼、喷嚏、哼声这类没有音素序列的声音。目标是说话人确认，也就是判断两段录音是不是同一个人说的，常用做法是分别提取说话人嵌入再算余弦相似度，超过阈值判为同一人。必须保留的信息是评估条件不能混为一谈，论文把试验分成 3 类，语音对语音、非言语对语音、非言语对非言语，因为跨域的难度和应用含义完全不同。

输出是这篇解读要让你能复述的完整链路，从数据切分到主干冻结策略，再到混合专家放在哪里、蒸馏只对谁生效、对比损失正负样本怎么组、评测用多少试验和什么指标。先说一个学习用的例子，例子是指同一位说话人的一句朗读和一段笑声，系统要给出高相似分，而这位说话人的笑声与另 1 位说话人的朗读要给出低相似分，这个例子只是帮你理解跨域打分，不代表论文报告了该个案的分数。

论文的动机来自富有表现力的语音合成与声音转换，系统开始生成笑声和呼吸声来提高自然度，此时如果只在语音段验身份，合成的非言语段是否还像同一个人就没有客观标尺，人工听辨又做不到大规模可扩展。于是论文要回答的是现代说话人表征能否直接泛化到声谱和时序结构都差异很大的多类非言语声，如果不能，直接在非言语数据上微调又会付出什么代价。

已有路线走到哪里，为什么还缺一块系统性评估

当前主流说话人确认范式是自监督学习前端加判别式后端，前端例如 WavLM 与 HuBERT，后端例如 ECAPA-TDNN，在 VoxCeleb 这类标准语料上表现很强。白话说，自监督学习前端是指不依赖说话人标签、先从大量无标注语音学会通用声学表示的网络，英文是 self-supervised learning，缩写 SSL，后端是指把帧级特征聚合成说话人嵌入并用分类或度量损失训练的网络。

已有非言语相关工作大多只看孤立事件，例如用咳嗽做说话人识别、用含笑声的语音学鲁棒表示，或者用 Voc2Vec 这类面向非言语的基础模型，但没有在统一协议下覆盖多达 10 种非言语类型的系统性评估。另一条相关路线是持续学习中的知识蒸馏，也就是用旧任务教师约束新模型不要偏离太远，以及混合专家，也就是用门控把不同输入分给不同子网络处理。

论文的判断是语音有共享的音素结构作为表征锚点，而不同非言语类型各自声学签名差异大，没有统一结构处理框架，强行让单一通路同时处理语音和非言语会出现表征瓶颈。直接微调看似能弥合域间隙，但论文指出它会严重损伤正常语音对语音的性能，而这一点在以往非言语文献中 largely 被忽视。本文要补的正是同输入指波形、同目标指跨段身份一致性、同运行阶段指大规模自动评估下的多域对照，而不是把类别差异直接当成同条件胜负。

域间隙与灾难性遗忘具体指什么现象

域间隙在这里指同一说话人的语音与非言语在嵌入空间不够靠近，而不同说话人的跨域打分又与同说话人跨域打分大量重叠。论文用 20,000 个试验来量化这一点，在 NonverbalTTS 测试划分上均匀构造 4 种条件各 5,000 对，分别是目标与非目标乘以域内语音对语音和跨域非言语对语音，并排除短于 0.25 秒的语句以保证特征稳定，再用有代表性的预训练 ECAPA-TDNN 提嵌入并画余弦相似度分布。

结果显示最强的零样本 wavlm-base-plus-sv 在标准语音对语音上等错误率是 5.60%，但在非言语对语音和非言语对非言语上分别退化到 38.93% 和 39.13%，几乎接近随机猜测附近的高误差区。灾难性遗忘指为学新域而更新模型后，旧域语音对语音性能大幅下滑。论文的自训练基线都共享 ECAPA-TDNN 后端并在 17 小时的 NonverbalTTS 上训练，结果语音对语音误差普遍在 10% 到 11% 量级，明显差于零样本教师的 5.60%，论文把这归因于 VoxCeleb2 与 NonverbalTTS 训练数据规模的巨大差异，并明确说大规模联合训练仍是未来工作。

也就是说问题有两个，一是零样本直接泛化失败，二是朴素适配会拆东墙补西墙。本文的解决思路因此定为分流加守锚，分流用混合专家让语音和非言语走专门通路，守锚用条件蒸馏只在语音上对齐教师。

方法全景：一个样本走完全程

先沿一个样本走完输入到输出，假设输入是一段咳嗽和一段朗读。两段波形先进入冻结的 Data2Vec 前端得到帧级表示，接着按所选设计经过混合专家适配，再进入 ECAPA-TDNN 聚合成 192 维说话人嵌入，最后用余弦相似度打分。训练时还有两条辅助线，一条是冻结的基于 WavLM 的说话人模型作为教师，只对批次中的语音样本计算与学生的余弦距离，另一条是监督对比损失，把同说话人的跨域语音与非言语拉成正对、把不同说话人当负例。推理时不需要语句类型标签，门控网络自主路由。下面这张总览图把两种混合专家放法、教师虚线和联合损失都画在一起，读图时先看主路径再看辅助约束。

看图路径： 1. 先从顶部非言语与语音两个输入框出发，沿黑色实线看它们如何同时进入下方两条 Data2Vec 通路；2. 对比左侧后融合只有底部一个黄色 MoE，右侧层间在每个 Transformer 层后都有黄色 MoE 加残差；3. 沿紫色虚线看语音如何进入右上教师模型，再向下汇入底部训练损失；4. 确认底部汇合后经过 ECAPA-TDNN 到说话人嵌入再到联合损失的顺序

论文图 1。原论文 Figure 1：“Overall pipeline of proposed method.”。

这张图左侧蓝色框是后融合混合专家，做法是让 Data2Vec 从 Transformer 第 0 层到第 12 层保持冻结，做加权求和之后再过一个黄色混合专家模块，右测红色框是层间残差混合专家，做法是在每个冻结 Transformer 块后都接一个黄色混合专家并用加号做残差回传，再做加权求和，两条路最后都汇入绿色 ECAPA-TDNN 得到紫色说话人嵌入，底部是联合训练损失，右上紫色教师模型只从语音用虚线接入损失。理解这张图的关键是冻结与可训练的边界，Data2Vec 主体冻结，可训练的是混合专家、加权求和权重与 ECAPA-TDNN，教师全程冻结不更新。论文最终主推的是层间残差版本，记作 MoE-2 或 IR-MoE，因为它在保持语音性能的同时跨域误差更低。

主干为什么选冻结 Data2Vec 加 ECAPA-TDNN

主干由前端和后端组成，前端选 Data2Vec，后端固定为 ECAPA-TDNN。白话说 Data2Vec 是一种不做离散聚类、直接预测连续隐表示的模态无关自监督模型，英文是 Data2Vec，论文选择它的理由写得很明确，是要避开基于聚类的语音模型中的音素离散化瓶颈，这类瓶颈把表示压向音素单元，可能不适合没有音素结构的笑声和咳嗽，而 Data2Vec 在表 1 的非言语验证对照中经验上更好。

后端 ECAPA-TDNN 的多尺度聚合能同时捕捉局部与全局特性，论文认为这正好对应非言语从短促咳嗽到 протяжённого 笑声的多样时序结构，卷积帧层用 1024 通道，输出 192 维嵌入。训练时前端冻结，后端与适配器更新，这样既保留通用声学知识，又让说话人判别与跨域桥接只发生在可训练部分。需要提醒的是论文没有报告把 Data2Vec 解冻会怎样，也没有给出前端逐层学习率或解冻时机的消融，因此不要从模型名字推定冻结就一定最优，只能说在本文的对照里冻结加适配是实际可运行且被验证的方案。

自监督学习前端 × ECAPA-TDNN 后端： 自监督学习前端负责把波形变成帧级声学表示，ECAPA-TDNN 后端负责把帧级表示聚合成定长说话人嵌入；二者搭配的原因是前端提供跨内容的通用声学细节，后端提供多尺度通道注意与统计池化来强调说话人线索，组合意义是冻结前端保留通用性、只训练后端与适配器来学跨域身份流形。

这座概念桥把前端通用表示与后端说话人聚合绑在一起，前端管声学细节的保真，后端管说话人线索的加权与池化，冻结前端加训练后端的组合让跨域学习集中在门控、适配与嵌入空间，而不破坏已学好的通用声学流形。

混合专家把门控、专家与路由约束拆开看

混合专家这个术语白话说就是多个小前馈子网络加一个门控，门控决定每个输入帧走哪几个专家，英文是 Mixture of Experts，缩写 MoE。给定帧级表示向量，门控先算线性加 softmax 再取 TopK，论文所有实验取 k 等于 2，输出是被选专家输出的加权和。

门控本身不直接知道语句类型，训练时用三项路由约束来引导专门化，第一是批量级负载均衡损失，做法是最大化平均路由分布的熵，防止所有输入坍缩到同一个专家，第二是域内一致性，用训练时事件标签为每类声学事件维护指数滑动平均路由原型，再用 KL 散度把同类输入的路由分布拉向该原型，第三是事件间分离，用余弦相似度加 margin 的损失把不同事件原型推开，阈值设为 0.5。推理时不需要事件标签，门控自主路由。

两种集成策略在上一节总览图中已对比，后融合只在加权求和后做 1 次晚期适配，层间残差在每层都适配并向前传播，论文的消融显示后者跨域更好。原文没有给出门控温度、专家隐层宽度等全部细节，缺项就明确记为缺项，不猜实现。

混合专家 × 条件知识蒸馏： 混合专家负责按声学域把特征分流给不同子网络做专门变换，条件知识蒸馏负责只在语音样本上把学生嵌入拉向冻结教师的语音嵌入；二者搭配的原因是分流解决语音与多种非言语声共用一条通路的表征瓶颈，蒸馏解决学新域时遗忘旧域的问题，组合意义是中间层分离、语音锚点保留、非言语表示仍可自由适应。

这座桥把分流机制与守锚机制绑在一起，混合专家管中间层按域分离变换，条件蒸馏管语音嵌入不偏离教师，二者缺一不可的理由是只分流不守锚仍可能遗忘语音，只守锚不分流则单一通路仍要兼顾差异巨大的声学统计，组合后形成论文所说的中间分离、最后经对比损失统一的 divide-and-conquer 策略。

两种混合专家放法到底差在哪里

后融合混合专家记作 Design 1 或 MoE-1，做法是冻结 SSL 各隐层先加权求和成 1 帧一向量，再过单个 MoE 层，优点是参数少、训练稳、只做晚期修正，缺点是深层表示在求和前没有机会按域修正。层间残差混合专家记作 Design 2 或 IR-MoE，做法是在每个冻结 Transformer 块后插入可训练 MoE 适配器，适配输出与原块输出残差相加后再送入下一层，最后再加权求和，优点是逐层解耦、让语音与非言语在不同深度都有专门通路，代价是训练目标更多、需要渐进式调度来稳定优化。

论文表 1 报告在 4 专家配置下，后融合的非言语对语音误差是 23.95%，层间残差是 22.66%，语音对语音分别是 9.00% 与 9.24%，说明层间版本用 0.24 个百分点的语音代价换来约 1.29 个百分点的跨域收益。教学上可以这样记，后融合是考完再改卷，层间是每道题做完就分科辅导。从复现角度看，如果算力或稳定性有限，先跑通后融合再升级到层间是更稳的顺序，但最终要对齐论文最强数字必须用层间 4 专家配置。

层间残差混合专家 × 后融合混合专家： 层间残差混合专家负责在每个冻结 Transformer 块之后插入可训练适配并残差回传，逐层修正表示，后融合混合专家负责在冻结前端加权求和之后只用一层混合专家做晚期适配；二者搭配比较的原因是检验适配应该发生在深层逐层还是只在输出层，组合意义是论文用对照说明逐层解耦对语音对非言语更有效。

这座桥把两种放法绑在一起比较，它们的分工都是桥接冻结前端与 ECAPA-TDNN，但搭配理由不同，后融合假设域差异只在输出层可纠正，层间假设域差异贯穿深层表示，组合比较的意义是证明非言语异质性需要更早、更细的分流，而不是只在末端加容量。

联合损失与渐进训练如何组织监督来源

总损失由四项组成，标准说话人分类用 AAM-Softmax，margin 设 0.2、scale 设 32，路由约束记作 MoE 损失包含均衡、域内与域间三项，权重分别是 0.1、0.05 与 0.05，条件蒸馏权重设 10，监督对比权重设 0.3，对比温度设 0.07，批量 128。条件蒸馏只对批次中语音下标集合计算学生与教师嵌入的余弦距离，非言语样本不计入该项，这就是条件二字的含义，目的是保留模态语音的结构知识，同时允许非言语表示无约束适应。

监督对比的正对不仅包含域内同说话人，还显式包含跨域同说话人的语音与非言语对，负例来自不同说话人，批构造采用说话人均衡采样，每批 16 个说话人每人 8 条语音与非言语混合，若某锚点没有跨域正对则回退到域内正对。优化器用 Adam，权重衰减 1 乘 10 的负 4 次方，学习率从 5 乘 10 的负 3 次方按余弦退火到 1 乘 10 的负 4 次方。

针对混合专家多目标难稳定的问题，论文用渐进调度，先只优化说话人损失热身，再引入 MoE 路由并用较高均衡权重防早期坍缩，最后逐步放大事件正则的域内与域间权重。梯度路径上原文没有逐项给出是否对教师或原型做停止梯度，但按描述教师冻结、原型是滑动平均，可知教师不接受梯度，原型是统计量而非反传更新，缺失的门控细节不做推测。

监督对比损失 × 条件蒸馏损失： 监督对比损失负责把同一说话人的语音与非言语样本在嵌入空间拉近、把不同说话人推远，条件蒸馏损失负责只对语音子集保持与教师一致；二者分工是前者建跨域统一的说话人流形，后者守住模态语音的结构知识，搭配原因是既要桥接域间隙又不能把非言语硬压进不合适的语音流形，组合后形成中间分离、最后统一的训练目标。

这座桥把拉近跨域与守住语音绑在一起，监督对比管跨域统一流形，条件蒸馏管语音锚点不漂移，前者需要跨域正对充分，后者需要只看语音子集，二者权重相差一个量级也说明守锚是强约束、桥接是辅助约束，组合后才出现消融中同时改善跨域与语音的现象。

数据、切分、试验构造与指标方向如何保证可比

实验用 NonverbalTTS 数据集，总计 17 小时，按说话人不重叠划分训练 1314 人、验证 46 人、测试 147 人，标注覆盖 10 类非言语，样本分布极不均衡，呼吸 3102 条、笑 953 条、咳嗽 194 条、嗅闻 186 条、叹气 140 条、呻吟 111 条、清嗓 104 条、打呼 11 条、喷嚏 9 条、咕哝 7 条，呼吸占全部非言语的 67% 以上，这是理解小类别专家专门化困难的关键。为得到混合专家路由与条件蒸馏所需的分离数据流，论文用 Montreal Forced Aligner 做词级对齐，把每条语句切成孤立非言语片段与语音段。

试验构造上测试段与所有可用的同说话人正例比对，再随机选 30 个不同说话人负例，最终得到非言语对语音 18043 个试验、非言语对非言语 18398 个、语音对语音 10764 个，另在 4.1 节为量化域间隙单独构造 20000 个试验，4 种条件各 5000 对。基线共 7 个且都共享 ECAPA-TDNN 后端，包括 Fbank 传统特征、WavLM、Data2Vec、Voc2Vec 3 个单前端，以及 3 种双前端融合，保证后端一致下的前端对照，所有微调基线与所提模型共享相同的基目标即 AAM-Softmax 加对比损失，所提模型额外加条件蒸馏。

评测用余弦打分，指标是等错误率与最小归一化检测代价，目标先验 0.05，两个指标都是越低越好。代码当前可用，官方仓库链接状态码 200，地址是 github 上的 nonverbal-sv 项目，这意味着方法可重放，但权重下载与完整可运行状态仍需按仓库实际说明核对。

主结果：跨域大幅下降的同时语音守住了多少

先看分布层面的证据再看数字，跨域目标分布与非目标分布重叠越大，误拒与误识的权衡就越难。下面这张余弦相似度分布图把域间隙画得很直观，读图时先按图例确认 4 条曲线再看重叠。

看图路径： 1. 先对照图例确认四条分布：目标语音对语音、非目标语音对语音、目标语音对突发声、非目标语音对突发声；2. 观察横轴余弦相似度从负到正、纵轴密度下各峰的位置与重叠区；3. 重点比较橙色虚线目标跨域分布是否落入绿色与粉色非目标峰的重叠区；4. 再看蓝色实线目标语音对语音右侧高相似峰与跨域分布的分离程度

论文图 3。原论文 Figure 2：“Cosine similarity distributions illustrating the domain gap between speech and vocal bursts.”。

这张像素图横轴是余弦相似度从负 0.2 到 1.0，纵轴是密度，蓝色实线目标语音对语音在右侧 0.6 到 1.0 形成高峰，尤其在 1.0 附近尖锐上扬，绿色实线非目标语音对语音与粉色虚线非目标语音对突发声都挤在 0 附近成峰，而橙色虚线目标语音对突发声的主峰也在 0 附近并向右拖尾到 0.5 左右，与非目标峰大量重叠，这正是跨域目标容易被判成非目标、阈值难设的视觉证据。

回到数字比较问题，在相同后端与相同基目标下，所提方法相对零样本教师与自训练基线是否同时改善跨域与语音，指标方向都是越低越好。

表格显示本方法把语音对非言语从 38.93% 降到 22.66%，把消融内语音从 13.17% 恢复到 9.24%，同时自训练最强基线 Data2Vec 加 ECAPA-TDNN 的跨域是 23.33%，说明混合专家与蒸馏在可运行基线上还有增益。

但代价与边界同样清楚，所有微调配置的语音对语音都差于零样本教师的 5.60%，论文明确归因于数据规模差异，未胜出项是教师在纯语音上的优势依然不可撼动，负结果是呼吸主导分布下小类别如打呼 11 条、喷嚏 9 条、咕哝 7 条几乎无法充分训练专家专门化。

消融：蒸馏与专家数各自贡献了什么

消融要回答两个可操作问题，第一是拿掉条件蒸馏会怎样，第二是专家数从少到多如何权衡。下面这张专家数曲线把容量与数据量的矛盾暴露出来，读图时左右两幅要分开判断好坏，因为纵轴都是 EER 越低越好。

看图路径： 1. 先看左图非言语对语音随专家数变化的折线，确认最低点对应的横轴刻度；2. 再看右图语音对语音随专家数增加是否总体下降；3. 对比左右两图在 4 专家与 8 专家处的取值差异；4. 注意左图 2 专家处的上凸与右图 0 专家起点的较高误差

论文图 2。原论文 Figure 3：“Effect of IR-MoE expert count on verification perfor- mance. The 4-expert configuration achieves the best NvS EER, while SvS EER continues to decrease with more experts.”。

像素显示左图非言语对语音随专家数 0、1、2、4、8 变化，纵轴约 22 到 24，在 2 专家处上凸到接近 24，随后在 4 专家处掉到最低并用红色大圆点标出 22.66，8 专家处小幅回升，右图语音对语音随专家数增加总体下降，从 0 专家约 10.8 经 1 专家约 10.1、2 专家约 9.0 附近波动，到 8 专家用红色方块标出更低值，论文正文补充 8 专家语音为 8.96% 而跨域回升到 23.05%。这支持 4 专家是跨域与语音的平衡点，超过 4 专家后跨域变差而语音继续变好，原因是 17 小时数据分给每个专家后样本不足，容量增加反而隔离了语音表示、削弱了非言语专门化。

再看损失消融的数字对照，条件是否一致很关键，对比的两个 IR-MoE 只差有无蒸馏项，其他基目标相同。

表后解释是蒸馏同时改善 3 类试验，跨域降低 2.29 个百分点，语音降低 3.93 个百分点，且论文用 paired bootstrap 估计 95% 置信区间为严格正，报告为统计显著。

但未胜出项是 8 专家跨域不如 4 专家，说明容量不是越大越好，未评测边界是专家数与事件类别数的对应关系没有逐类路由准确率支撑，不能断言某个专家就对应笑或咳嗽，只能说整体路由约束引导了分离。

哪些结论还不能下，缺项与冲突在哪里

论文直接报告的是在 NonverbalTTS 上的 3 类 EER 与 mDCF 变化，以及蒸馏与专家数的消融方向，这些是有数字支撑的。有限解释是把 Data2Vec 优于 WavLM 归因于避开音素离散化瓶颈，把 8 专家跨域回升归因于每专家样本不足，把语音差距归因于 VoxCeleb2 与 NonverbalTTS 数据规模差异，这些解释与数据分布一致但没有因果干预实验证明。未验证推测是中间分离、最后统一的表征动力学，论文自己也把理论分析列为未来工作，因此只能表述为可能或待验证。

数据局限很突出，10 类中呼吸占 67% 以上，而打呼、喷嚏、咕哝只有个位数到十余条，任何关于小类别的泛化结论都要谨慎。方法缺项包括门控网络的具体宽度与初始化、专家网络的具体结构、指数滑动平均原型的更新动量、负载均衡损失的具体实现形式都没有完整披露，复现时只能按仓库代码补齐，不能从名字猜。指标上原文同时报告 EER 与 mDCF，但解读正文为聚焦篇幅主要用 EER 组织比较，mDCF 方向同样越低越好，引用时不要把 EER 差值说成 mDCF 收益。

原文没有测量误判率分解、延迟、推理开销与训练算力预算，因此不能承诺这些量得到改善，总体趋势不等于每组每步都成立。没有发现表头与正文算术上的硬冲突，但试验数在 3.1 节与 4.1 节是两套构造，引用时必须注明是 18043 对的主评测还是 20000 对的域间隙分析，不能混用。

要复现先做什么，超参数与信息条件清单

复现的第一步是拿到数据与切分，先下载 NonverbalTTS 并按论文的 1314、46、147 人划分核对说话人不重叠，再用 Montreal Forced Aligner 做词级对齐并切出孤立非言语片段与语音段，因为路由约束与条件蒸馏都依赖这两条数据流。第二步是准备冻结模型，Data2Vec 前端冻结，WavLM 教师冻结，ECAPA-TDNN 按 1024 通道帧层与 192 维嵌入搭建，损失权重按蒸馏 10、对比 0.3、均衡 0.1、域内 0.05、域间 0.05 设置，对比温度 0.07、余弦 margin 阈值 0.5、AAM margin 0.2、scale 32、批量 128、每批 16 说话人每人 8 条混合采样、Adam 加 1 乘 10 的负 4 次方权重衰减、学习率 5 乘 10 的负 3 次方余弦退火到 1 乘 10 的负 4 次方。

第三步是按渐进调度训练，先只训说话人损失热身，再加 MoE 路由并保持较高均衡权重，最后逐步放大事件正则，专家数先跑 4 专家的层间残差版本，TopK 取 2，评测用余弦打分并按 18043、18398、107643 套试验分别算 EER 与 mDCF。代码层面仓库当前可用，状态码 200，但要区分代码开源、权重下载与系统可运行是三件事，必须按仓库实际文件核对教师权重、Data2Vec 版本与对齐脚本是否齐备。

何时值得尝试是当你的合成系统开始大量生成笑声、呼吸与咳嗽且需要客观验身份一致性时，这个框架提供了可直接套用的分流加守锚模板，还需补的验证是跨合成器生成的零样本非言语、跨语言与跨信道下的稳定性，以及小类别的均衡采样或增强策略。

收束：记住一条可复述的方法链

用一句话复述全文，语音模型在非言语上失效是因为单一通路假设了音素结构输入，微调能学新域却遗忘旧域，论文用混合专家分流加只对语音蒸馏守锚，再用跨域对比统一流形来同时改善跨域与语音。沿样本再走一遍，咳嗽与朗读进冻结 Data2Vec，层间混合专家逐层按域修正，ECAPA-TDNN 聚成嵌入，训练时语音对齐 WavLM 教师、跨域同说话人拉近、不同说话人推远，推理时门控自主路由、无需类型标签。

数字上记住两组，跨域从 38.93% 到 22.66%，消融内语音从 13.17% 到 9.24%，以及 4 专家是平衡点、8 专家跨域回升到 23.05% 而语音继续到 8.96%。边界上记住教师纯语音 5.60% 仍最好、呼吸主导分布、小类别样本极少、理论动力学待验证。下次读到新的非言语说话人工作时，先问三件事，试验是语音对语音、跨域还是非言语对非言语，比较的后端与基目标是否一致，蒸馏是否只对语音生效，这三问能帮你快速判断收益是来自架构、监督还是评估口径。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总