过自信伪标签不可信时：用残差离散度加权与弱掩蔽恢复语义

英文题目：Weakly Masked Residual Reliability Learning for Unsupervised Domain Adaptation in Speech Models

会议身份：conference:interspeech:2026:conference-paper-id:li26aa_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#领域适应 #正则化 #语音 #语音识别 #语音翻译

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.6/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yuan Li：机构信息未能从会议 PDF 纯文本可靠映射
• Yonghe Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhenjie Gao：机构信息未能从会议 PDF 纯文本可靠映射
• Feilong Bao：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaodong Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Bo Pang：机构信息未能从会议 PDF 纯文本可靠映射
• Yandong Guo：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

无监督领域适应要求仅用预训练语音模型和无标注目标域语音完成适配，输入为噪声、口语交互与口音语音，输出为词序列或翻译文本。难点在于域偏移下模型过自信导致的伪标签噪声，以及降权不可靠词元后决策边界附近监督不足。弱掩码残差可靠性学习 Weakly Masked Residual Reliability Learning先对每个词元联合建模最大置信度和残差离散度得到词元权重以抑制不可靠词元。接着对高可靠词元施加弱置信掩码部分降权以迫使模型从不可靠上下文恢复语义。随后用多扰动一致性正则在utterance级过滤低质量样本并用保留样本微调两轮。相比仅用置信度、间隔或熵加权的伪标签方法，该机制显式利用非极大类概率形态区分可靠与过自信预测，并以部分掩码替代直接丢弃保留边界信号。在 CHiME-4真实测试集、SLURP测试集和CORAAL测试集上相对 Whisper-medium 基线分别取得13.8%、25.0%和15.7%的词错率 Word Error Rate 相对下降，在 CoVoST2 爱沙尼亚语、印尼语和威尔士语翻译上 BLEU 分别达到10.5、41.8和13.6。该结论仅在3个英语识别域、3个翻译语言和 Whisper 系列上验证，未覆盖流式、低资源强口音与多次运行统计显著性，原文未披露训练推理成本与延迟。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些信息？

本文解读的对象是 1 篇面向语音模型无监督域自适应的论文，输入是已经预训练好的语音模型与少量无标注的目标域语音，目标是在不获取目标域人工标注的前提下，通过自训练提升模型在噪声、人机交互口令、口音等新声学条件下的识别与翻译稳定性。必须保留的信息包括任务边界、监督来源、基线是否可运行、指标方向与实验条件，输出是一套可核对、可复述的方法与证据链。

初学者常以为把声音丢给大模型就能直接转写，实际情况是端到端语音识别依赖大规模参数与训练数据，在已见分布上表现很强，一旦遇到未见过的噪声、房间混响、口音或人机交互的自然口令，性能会明显下降。传统做法需要目标域带标注数据重新做全监督训练，但高质量标注成本极高，还受隐私与数据共享限制。因此论文把问题限定为只有预训练模型加有限无标注目标域语音可用，如何通过自训练获得目标域鲁棒性。

自训练 × 无监督域自适应： 无监督域自适应负责界定输入条件为只有预训练语音模型和少量无标注目标域语音，自训练负责用模型自身生成的伪标签继续微调，二者搭配的原因是目标域无人工标注时只能靠自身监督，组合意义是把域鲁棒性问题转化为如何提高伪标签质量与利用效率。

在这个设定下，伪标签质量决定成败。模型先对无标注语音做解码得到伪转写，再用这些伪转写当作监督继续微调。如果伪标签本身含有大量噪声，直接使用会误导模型甚至降低性能。更棘手的是域偏移下的过自信现象，模型倾向于给出过于集中的高置信预测，传统固定阈值或简单按置信排序的筛选策略因此不可靠。只压低不可靠 token 的权重，又会导致决策边界附近与复杂声学区域的训练信号不足。所以后文的方法要同时解决两个矛盾，可靠与过自信的区分，以及筛选带来的监督偏置。

已有路线在相同输入下做了什么，为何还不够？

在同输入、同目标、同无监督阶段下，已有工作主要沿伪标签与一致性正则两条路线展开。伪标签路线关注如何估计置信度与不确定性，包括熵与能量指标、提示依赖、注意力方法，以及通过约束输出分布锐度间接评估可靠性。这些方法能减少部分噪声，但受置信分数可分性低的限制，容易产生有偏的监督信号。

一致性正则路线遵循平滑假设，希望模型对同一输入的不同扰动给出一致预测。一类工作利用不同解码策略的不确定性施加一致性约束，另一类训练额外的置信估计网络来评估伪标签。在图像领域，多扰动一致性已较成熟，语音领域此前多用蒙特卡洛采样或高斯噪声注入，这类扰动主要作用在模型层面，对语音层面的谱掩蔽、时间裁剪、片段替换、混响与滤波探索不足，因此过滤低质量伪标签的能力有限。

论文的对照思路是有源的，不是把类别差异当胜负。实验把置信度、间隔、熵等 token 级加权方法与波束搜索采样、STAR、轻量不确定性网络等放在同一自训练框架下比较，并进一步区分模型层面扰动与数据层面多扰动的效果差异。这为后文消融提供了公平基础，也点明了本文的增量位置，在语音层面做多样扰动，并用残差结构区分可靠与过自信。

要解决的具体矛盾是什么？

论文要解决的不是一般意义的识别精度，而是域偏移下伪标签加权与筛选的可靠性问题。第一个矛盾是置信度与可靠性的错位，高置信不等于正确，域偏移会放大过自信，使高置信区域掩盖错误。第二个矛盾是筛选与偏置的权衡，持续排除不确定区域能让训练更稳定，但会使模型偏向简单模式，削弱对复杂声学与语义上下文的学习。第 3 个矛盾是扰动充分性，过于单一的扰动无法暴露不稳定预测，导致过滤器放行低质量样本。

为此作者提出弱掩蔽残差可靠性学习框架，简称 WMR2L。它的输入是未扰动语音经冻结或待微调模型得到的 logits 与伪标签序列，输出是每个 token 的权重与是否保留该样本的决策。方法全景可概括为两条线，上线做 token 级加权与弱掩蔽，下线做多扰动一致性过滤，两线在过滤器处汇合，再以加权交叉熵微调语音模型。举例来说，这里的例子仅为教学示意，不代表论文数值，假设某句话中功能词预测很自信且其余类别概率彼此接近，框架可能给予全权重，而某个人名处虽然最大概率也高但次优类别紧咬，框架会压低其权重并在训练时要求从上下文恢复。

框架如何走完一个样本的全过程？

沿一个样本走一遍有助于建立依赖关系。输入是一段无标注目标域语音波形，记为输入语音信号。模型先做 1 次未扰动前向，得到每个位置的词表概率分布与伪标签序列。接着对每个 token 计算最大预测置信度，再计算非最大值类别的均值概率与残差离散度，后者在话语内做归一化后与置信度共同决定该 token 的权重。权重接近话语均值以上的可靠 token 保留全权重，偏离者被高斯核压低。随后对高置信 token 以一定概率做弱掩蔽，不是删除而是将其损失贡献乘以一个保留系数，迫使模型利用不可靠区域的上下文。

另一条线处理样本级筛选。对同一语音施加多种语音扰动，每种做多次推理，得到多个扰动转写。将每个扰动转写与未扰动预测比较词错误率，并统计去重后的不同假设个数，两者相乘得到一致性分数。分数越低说明扰动下越稳定，排序后取最低的前一定比例样本参与训练。该筛选只在伪标签生成阶段执行 1 次，不在迭代训练中反复执行。

下段先给出框架图的导读，帮你带着问题看像素，再在图后解释可见结构。

上半部分呈现伪标签生成与 token 级加权，下半部分呈现经由数据扰动的一致性正则与过滤逻辑，右侧区分冻结与微调的语音模型，点积符号与训练标记需要先对照图例确认。

看图路径： 1. 先沿左上语音库到语音模型的箭头，区分输出的两条支路：词表 logits 与伪标签序列；2. 再看中上 WMR2L 权重与掩蔽如何与伪标签做点积后进入过滤器；3. 再看左下多扰动分支如何经同一语音模型产生多个伪标签并汇入一致性打分；4. 最后看右侧可微调语音模型与交叉熵的位置，确认哪部分冻结、哪部分更新

论文图 1。原论文 Figure 1：“The figure illustrates the WMR2L framework.”。

从像素可见的结构可以这样对应，上方浅色区域从语音库经语音模型分出两路，一路是 logits 进入残差可靠性模块得到权重，另一路是伪标签序列，权重再分出一路进入掩蔽模块，三者在点积符号处汇合后进入过滤器。下方浅色区域从语音库经多扰动模块再经语音模型展开多个伪标签，汇入以词错误率与假设数为核心的一致性打分模块，该模块向上输出到过滤器。右侧黄色区域是待微调的语音模型与交叉熵目标，图例明确区分点积、训练与冻结标记。整体形成先加权再过滤最后加权微调的闭环，这与正文公式与训练目标的叙述一致。

残差可靠性加权与弱掩蔽如何计算？

先讲符号与输入。设输入语音为时域信号，伪标签为长度与词表大小决定的序列，每个位置有一个经 softmax 得到的词表概率分布，token 级损失是该分布与伪标签之间的交叉熵。最大预测置信度是该分布的最大值，非最大值类别的均值概率由一减去置信度再除以词表大小减一得到。残差离散度刻画所有类别概率相对该均值的偏离程度，能反映非主类别的分布结构。

预测置信度 × 残差离散度： 预测置信度负责度量最大类概率有多高，残差离散度负责刻画去掉最大值后其余类别概率是否拉开差距，二者搭配的原因是高置信可能是过自信，只有当非主类别也呈现分散结构时才更可信，组合后形成对每个 token 的可靠性加权，抑制偏离话语级均值的不可靠 token。

计算目标是给每个伪标签 token 一个权重。做法是在同一话语内对置信度与离散度分别做均值方差归一化，得到偏离程度，再用高斯核将偏离大的 token 压低。原文用平滑参数控制加权函数的平滑程度。为了保留高度可靠预测，对高于平均可靠性的 token 直接赋全权重，只有其余 token 才保留核函数给出的权重。这种设计抑制在域偏移下可能不可靠的偏离 token，同时不惩罚真正可靠的预测。

弱置信掩蔽 × 伪标签偏置： 伪标签偏置指只保留高置信 token 会使模型偏向简单模式，弱置信掩蔽负责以小概率对高置信 token 降权而不完全删除，二者搭配的原因是要在保留可靠监督的同时逼模型从不可靠上下文恢复语义，组合意义是缓解选择性伪标签带来的监督偏差。

弱掩蔽的输入是上述权重，输出是每个 token 的随机掩蔽变量。对于权重等于一的高置信 token，以一定概率将其损失贡献降权为原来的保留系数，而不是完全置零，其余 token 保持不变。最终训练目标是所有位置交叉熵乘以可靠性权重再乘以掩蔽变量的求和。需要指出，原文未单独报告梯度是否截断到伪标签生成路径，但按自训练常规理解，伪标签视为固定监督，梯度只更新待微调的语音模型，未报告的反向细节不做推定。

多扰动一致性过滤与整体训练如何组织？

多扰动一致性正则的输入是同一段语音的多种扰动版本，输出是一致性分数与保留决策。具体做法是对每种扰动类型做多次推理，总试验次数为类型数乘以每种次数，将每个扰动转写与未扰动预测比较词错误率并平均，再乘以去重后的不同假设个数。平均词错误率大说明扰动下变化大，假设数大说明结果发散，两者相乘后越小越稳定。按分数排序后取最低的前一定比例样本用于训练。

多扰动一致性正则 × 伪标签过滤： 多扰动一致性正则负责对同一语音施加谱掩蔽、时间裁剪、混响与滤波等多种扰动并比较输出是否稳定，伪标签过滤负责按一致性分数只保留最稳定的样本，二者搭配的原因是单次解码无法暴露不稳定预测，组合后实现在伪标签生成阶段 1 次性的数据驱动筛选。

一致性分数 × 词错误率： 词错误率负责度量扰动后转写与未扰动预测之间的差异，去重假设数负责度量扰动导致了多少种不同结果，二者相乘构成一致性分数，搭配原因是既要差异小又要多样性低才算稳定，组合后按分数从低到高排序并取前比例样本参与训练。

整体训练分为伪标签生成与加权微调两个阶段。生成阶段用当前模型做未扰动解码与多扰动解码，完成 token 权重计算与样本过滤，只执行 1 次。微调阶段用过滤后的样本，以加权交叉熵为目标更新语音模型。原文报告的优化配置是微调 Whisper-medium，学习率、批量大小、梯度累积与训练轮数均有明确记载，扰动默认采用时频掩蔽、随机缩放裁剪与均衡 3 种，每种做 3 次试验。比较方法包括置信度、间隔、熵加权，波束搜索与采样假设，STAR 与高斯噪声注入，以及轻量不确定性网络过滤，这些都是实际可运行的策略，不是事后最优值。

在哪些数据与条件下验证，指标方向是什么？

论文在多个跨域语音识别任务与语音翻译任务上验证。识别部分包括带噪声的 CHiME-4、在真实通道子集上训练并在真实与仿真开发集测试集上评估，带口音的 CORAAL（取自非洲裔美国英语语料，分为训练验证测试），以及真实人机交互口令的 SLURP。翻译部分使用基于 Common Voice 的 CoVoST2，涉及爱沙尼亚语、印尼语与威尔士语。指标方向是词错误率越低越好，翻译质量以 BLEU 越高越好。

下表整理训练配置的关键超参数，帮你复现前先对齐优化与筛选条件，表中数字与单位均来自原文连续记载。

表后需要说明代价与边界。该配置批量很小但靠梯度累积维持等效批量，训练轮数只有两轮，说明方法偏向轻量自适应而非从头训练。保留比例在较大范围内变化对结果影响有限，但这不等于所有超参数都不敏感，后文消融显示平滑参数与掩蔽强度仍需仔细选择。硬件预算与统计显著性在现有证据中未报告，复现时需自行记录多次随机种子的波动。

基线条件也需要对齐。冻结的 Whisper-medium 作为起点，自训练后的 Whisper 作为直接对照，全监督微调作为上限参考。多扰动正则在对照中记为 MP，高斯噪声注入记为 No，波束与采样等仅改变不确定性来源而不改变数据扰动。这些命名在结果表中保持一致，比较时不会混放不同模型规模，放大模型的可扩展性单独用另一组实验报告。

主结果测了什么，相对谁有多大改进？

主结果要回答的是，在相同无标注目标域数据下，联合残差加权与多扰动过滤是否稳定优于已有 token 加权与单扰动方法。比较条件是同一基座模型与同一目标域划分，指标是词错误率，方向是越低越好。基线包括冻结模型、自训练、STAR，以及置信度、间隔、熵各自结合多扰动的版本，还有仅改变一致性来源的采样、波束、不确定性网络与高斯噪声版本。

下表提炼论文直接报告的相对词错误率降低幅度，帮你先抓住跨域收益的全貌，表中百分比为相对降低而非百分点差值。

表后解释主要收益与具体代价。报告显示完整方法在 3 个识别任务上均取得最佳，SLURP 上的相对降幅最大，口音与噪声任务也有 2 位数相对改善。代价是需要对每个样本做多种扰动各多次推理，伪标签生成阶段的计算量明显高于单次解码。未胜出项也值得注意，STAR 虽引入一致性约束但过滤能力不足，置信度、熵与间隔结合多扰动仍因对非最大值类别不敏感而次优，仅用模型层面不确定性的采样与波束版本同样不如数据驱动的多扰动版本。

翻译任务提供另一类证据。自训练已能提升多数语言，完整方法进一步缩小与全监督的差距。下表整理翻译质量的关键数字，帮你核对可运行策略之间的递进关系。

表后需补充限制。翻译数字支持方法可迁移到语音翻译，但原文未报告翻译任务的扰动细节是否与识别完全一致，也未给出显著性检验。放大模型上的可扩展性实验显示在大规模基座上仍有降低，但只报告了部分数据集，不能推广到所有口音与噪声都成立。

拿掉掩蔽或换掉扰动会发生什么？

消融要回答的是，弱掩蔽与多扰动各自是否必要，以及超参数是否脆弱。论文比较了无掩蔽、强掩蔽与弱掩蔽，分别记为相应变体，并观察是否结合多扰动。报告显示强掩蔽会使词错误率上升，弱掩蔽取得一致改进，与多扰动结合后达到最低。这支持弱而非强的设计选择，即对高置信区域只做轻微降权，完全遮蔽会丢失信息内容。

扰动策略的消融更细。候选包括时频掩蔽、随机缩放裁剪、均衡、修剪尾帧、帧替换、变速、房间脉冲混响与随机多带参量均衡等。报告显示时频掩蔽与随机缩放裁剪的组合持续优于其他策略，再加入均衡后在口音测试集上达到最低。混响、修剪与替换表现较差，变速与随机缩放裁剪重叠而无额外收益。这说明时间扰动能暴露不稳定预测，谱变化提供互补的稳定性检验。

下段先导读超参数与扰动消融图，明确 4 个面板的观察顺序，再在图后结合可见趋势解释。

4 个面板分别呈现扰动组合的柱状对比，以及平滑参数、掩蔽比例、掩蔽强度 3 条词错误率曲线，每个面板都区分开发集与测试集，需要先确认纵轴是词错误率且越低越好，再比较谷底与两端的变化。

看图路径： 1. 先看左上柱状图各扰动组合在开发集与测试集上的词错误率高低，确认最低的两组；2. 再看右上平滑参数曲线在何处取得谷底，两条曲线是否同趋势；3. 再看左下掩蔽比例与右下掩蔽强度曲线，确认过小与过大时的变化方向

论文图 2。原论文 Figure 2：“Ablation Study of Perturbation Methods, Smoothing Parameter α, Masking Ratio r, and Masking Strength λ”。

从像素可见，左上柱状图中时频掩蔽与随机缩放裁剪组合的蓝色柱最低，加入均衡后的深色柱在测试集上进一步降低，其余组合普遍更高。右上平滑参数曲线在中间取值处形成明显谷底，两端均上升，说明过小与过大都会损害加权。左下掩蔽比例曲线在中间区间较低，两端偏高，右下掩蔽强度曲线随强度增大而明显上升，说明掩蔽过强会带来代价。这些趋势支持原文选择的中间取值，但像素不能精确读出每一步的完整数值，复现时应以原文记载的取值起点做网格验证。

还有哪些未验证与不能承诺的事？

论文直接报告的是识别与翻译精度的改进，有限解释是残差离散度有助于区分可靠与过自信，弱掩蔽缓解选择性伪标签的偏置。未验证的推测需要用可能与待验证表达，例如残差结构在其他解码器或语言上的普适性尚未充分验证，多扰动组合的最优集可能随声学条件变化。

缺失证据不是技术错误，但不能承诺未测量的量。原文未报告误判率、延迟、推理开销、输出帧率与实际部署成本，因此不能声称这些量得到改善。多扰动需要多次推理，训练资源与推理开销应分别讨论，总体趋势不等于每组每步都成立。不同指标的差值不能混放，百分点与相对百分比也不同，引用降幅时应明确是相对基线的相对降低。

另一个边界是资源可达性。现有证据中未发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开。原文虽给出匿名链接，但按本次可核对要求只能视为本次未能确认可达，不作为已公开依据。复现前应先确认数据许可与基座权重获取方式，再谈系统可运行。

复现先做什么，需要保留哪些细节？

复现的第一步是对齐基座与数据划分。用 Whisper-medium 作为基线模型，CHiME-4 用真实通道子集训练并在真实与仿真开发测试集上评估，CORAAL 按两千训练、五百验证、五百测试划分，SLURP 保持人机交互口令的原始任务，翻译用 CoVoST2 的 3 个语言。不要自行编造划分或聚合口径，原文表头或算术若有冲突应明确标注冲突。

第二步是实现加权与掩蔽。按原文公式先算最大置信度与非最大值均值，再算残差离散度并在话语内归一化，用高斯核得到权重并对高可靠 token 赋全权重，随后按掩蔽概率与保留系数生成随机掩蔽变量，最终以加权交叉熵为目标训练。关键超参数保留原文记载，包括保留比例、掩蔽概率、保留系数与平滑参数，以及每种扰动多次试验的设置。

第三步是组织扰动与过滤。默认从时频掩蔽、随机缩放裁剪与均衡开始，每种做 3 次推理，计算平均词错误率与去重假设数的乘积并排序保留。筛选只在伪标签生成阶段做 1 次，微调阶段不再反复过滤。记录开发集与测试集的词错误率与 BLEU，并保留基线、对照与完整方法的三方对比，以便区分加权与过滤各自的贡献。

何时值得尝试，如何一句话记住它？

当你只有预训练语音模型和少量无标注目标域语音，且观察到高置信伪标签仍有明显错误时，值得尝试这种先用残差结构加权再用多扰动过滤的思路。它不依赖目标域人工标注，两轮轻量微调即可验证，适合噪声、口音与人机交互等声学偏移明显的场景。如果目标域本身已接近源域，或计算预算无法承担多轮扰动推理，则应先评估收益是否覆盖成本。

一句话记住它，可靠不只看最大值有多高，还要看其余类别是否拉开差距，对高置信只做轻微掩蔽并用多样扰动留下最稳定的样本。如果要继续验证，建议补做多次随机种子的显著性、不同基座与语言的普适性，以及扰动推理开销与延迟的实测，这样才能把精度收益转化为可部署的结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总