先排可信度再渐进学，还要记住说话人：老年语音半监督识别的伪标签提纯路线

英文题目：Confidence Score Guided Incremental and Speaker Adaptive Pseudo-Labeling for Semi-Supervised Elderly Speech Recognition

会议身份：conference:interspeech:2026:conference-paper-id:deng26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#课程学习 #提示学习 #半监督学习 #语音识别

评分：6.4/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Chengxi Deng：机构信息未能从会议 PDF 纯文本可靠映射
• Xurong Xie：机构信息未能从会议 PDF 纯文本可靠映射
• Shujie Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Jiajun Deng：机构信息未能从会议 PDF 纯文本可靠映射
• Mengzhe Geng：机构信息未能从会议 PDF 纯文本可靠映射
• Youjun Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Huimeng Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Haoning Xu：机构信息未能从会议 PDF 纯文本可靠映射
• Guinan Li：机构信息未能从会议 PDF 纯文本可靠映射
• Xunying Liu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

老年语音识别需将声学输入转写为文字，难点在于标注稀缺、基础模型解码错误率高、说话人之间构音与语言退化程度差异大。方法链分四步推进：先在少量标注数据上微调Whisper-medium与轻量置信度估计模块Confidence Estimation Module / CEM，对无标注语音生成伪标签并打分；再按说话人内排序把伪标签分成由高到低的多个子集，形成课程学习Curriculum Learning轨迹；随后从高置信子集起迭代微调并用新模型重标下一子集，逐步累积可靠监督；最后在每轮引入可学习说话人提示Speaker Prompt做说话人自适应训练Speaker Adaptive Training / SAT，以解耦说话人特性并提升后续解码质量。相对直接过滤低置信样本或随机划分增量训练，该设计保留全部说话人覆盖并持续修正伪标签而非一次性丢弃，同时用自适应缓解异质性。在DementiaBank Pitt评估集全部说话人上相对半监督基线词错误率Word Error Rate / WER降低1.45个百分点，在JCCOCC MoCA上全部说话人字错误率Character Error Rate / CER降低2.27个百分点，均通过MAPSSWE显著性检验；老年被试子集上降幅分别为2.12和1.88个百分点。结论限于英语痴呆访谈与粤语认知评估两类数据及10%标注说话人默认设置，未验证自发对话、重度病理或其他语种的外推能力。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么困难？

本文的输入是少量带人工转写的老年访谈语音，加上大量只有录音、没有转写、但说话人编号已知的老年访谈语音。目标是在英语痴呆银行 Pitt 和粤语 JCCOCC MoCA 两套老年认知评估语音上，把自动语音识别的词错误率与字错误率降下来。输出是经过半监督微调后的 Whisper 识别系统，以及可用于测试说话人的自适应提示。

需要保留的关键信息是实验条件与比较口径。默认半监督模拟是只取 10% 训练说话人当标注集，其余当无标注集，且标注与无标注说话人不重叠，开发集与评估集说话人与训练集也不重叠。主结论的对照是半监督基线，也就是用全部伪标签加标注数据训练、不用置信度排序增量也不做说话人自适应的系统。

对刚入门的读者，白话解释是：老年语音难在发音含糊、语言组织退化、个体差异大，标注又需要临床经验所以很贵。常见做法是先用小标注集训练模型，再让它去猜无标注语音的文本，这种猜出来的文本叫伪标签。伪标签是把无标注数据变废为宝的手段，但猜错的部分会误导下一轮训练。本文要回答的是如何挑出相对可信的伪标签，如何按从易到难逐步使用，以及如何记住每个老人的说话特点来减少猜错。

已有半监督路线做了什么，本文为什么还要加排序与说话人建模？

同输入、同目标的已有路线主要有 3 类。第一类是伪标签自训练，用标注数据训练的模型去解码无标注语音，再把伪标签当监督继续训练，Noisy Student 与迭代伪标签是代表。第二类是基于置信度的过滤，只保留高置信度伪标签，丢掉低置信度部分。第 3 类是增量或迭代重训，把伪标签分成多份，多轮更新模型并重写标签。

本文指出把这些做法直接搬到老年语音会有 3 个局限。第一，过滤式做法假设低置信度等于不可用并直接丢弃，没有去改善低质量伪标签，还可能把发音严重退化的说话人整个丢掉，进而伤害后续说话人建模。第二，已有增量做法切分时不考虑可靠性，早期混入低质量标签会污染模型，再用污染后的模型重写后续标签会造成误差累积。第三，已有做法多用说话人无关模型直接解码，没有利用已被证明对老年语音有效的说话人建模，因此伪标签起点质量偏低。

同运行阶段的对照是测试时无监督自适应。已有自教导识别器等工作也用伪标签做测试适配，但本文的差异是把说话人提示同时放进训练阶段的增量重标注和测试阶段的个性化，形成统一的说话人自适应训练加测试时自适应的闭环。理解这层关系才能看懂后文为什么既报告增量说话人无关系统，也报告增量说话人自适应系统。

老年语音的三个挑战如何转化为方法设计约束？

论文把老年语音挑战归纳为标注稀缺、自动标注不可信、说话人异质性强。标注稀缺意味着不能指望大量人工转写，只能用 5%、10%、30% 等小比例标注说话人去驱动学习。自动标注不可信意味着 Whisper 即使在域内小标注集上微调过，解码老年语音仍有高错误率，直接全量使用伪标签会引入噪声。说话人异质性意味着口音、性别之外还有不同程度的发音与语言退化，统一模型难以兼顾。

这些挑战转化为 3 个设计约束。第一，需要一个轻量且不依赖解码器输出概率的置信度估计器，因为端到端模型的输出概率存在过度自信。第二，排序与切分要在每个说话人内部进行，再把同名次跨说话人合并，保证每个说话人都被保留，避免严重说话人被整体过滤掉。第三，增量过程不能只做数据累加，还要在每轮用更强的模型重写下一批标签，并用说话人提示捕捉个体特征，为解码更难数据提供更好的起点。

举个教学例子帮助理解，不代表论文数值：假设有 3 位老人，甲说话清晰，乙中等，丙含糊。若全局按置信度取前 80%，可能把丙全部丢掉；若按每人内部排序再取同名次合并，则甲乙丙的最好部分先一起训练，中间部分第二轮再学，最难部分最后学。这样既保留了丙的信息，又不让最难样本过早干扰模型。

方法全景：一个样本如何走完排序、增量与自适应？

先沿一个无标注样本走完全程。它的录音先被初始 Whisper 模型解码成初始伪标签，同时置信度估计模块给出整句置信度分数。该样本在其说话人内部按分数排名，被分到某个名次组，例如第二难组。训练开始时模型只用标注数据加第一组最高置信度数据训练，得到更稳的模型；然后该模型去重解码第二组，改写出质量更高的新伪标签，再与标注数据和第一组合并训练。

依此类推直到覆盖选定的数据比例。在使用说话人自适应的版本中，每轮训练还会为每个训练说话人学一组提示向量，解码下一组时带上对应提示以提高准确率。

下图把上述 3 段分工画在一起，左中右分别对应排序、增量与自适应，适合对照正文反复核对数据流向。

看图路径： 1. 先看 a 栏从标注数据训练 m1、解码无标注数据、再经 CEM 排序切分为 Rank1 到 Rank3 的纵向流程；2. 再看 b 栏上半 Finetune/SAT 与下半 Pseudo-Label Update 之间黑箭头与橙色合并箭头如何交替推进；3. 再看 c 栏底部 Log-Mel 经 Whisper-CNN 到语音嵌入，与左侧说话人提示拼接后进入 Whisper 模型的位置；4. 对照图例确认火焰为可训练、雪花为冻结，区分 LoRA 与主干的更新范围

论文图 1。原论文 Figure 1：“Examples of confidence score guided pseudo-labeling with 3 iterations (a) & b)) and speaker adaptive training (c)).”。

该图显示 a 栏完成从标注数据训练 m1、解码无标注得到伪标签、再经置信度模块排序为多个名次组的过程；b 栏上半绿色框是逐轮微调或说话人自适应训练，下半蓝色框是伪标签更新，黑色箭头表示模型推进，橙色箭头表示数据集累积合并，最终输出 m_out；c 栏显示底部对数梅尔谱经 Whisper 卷积前端得到语音嵌入，与左侧可学习的说话人提示拼接后进入 Whisper 主体，上方用转写文本做监督，LoRA 为可训练而主干冻结。这种画法把课程顺序、标签重写与说话人建模放在同一张图里，读图时要分清模型版本 m1、m2、m3 与数据版本 U1、U2 的对应关系，不要把模型箭头误读成数据合并。

Whisper × LoRA 微调： Whisper 负责提供多语种语音基础模型的编码器与解码器结构，分工是声学到文本的生成能力；LoRA 微调负责只训练注意力中查询、键、值与输出投影上的低秩增量，分工是以小参数量适配老年域。二者搭配的理由是全量微调大模型代价高且标注少易过拟合；组合意义是冻结主干、只调轻量增量与说话人提示，从而在小标注加大量伪标签条件下稳定训练。

置信度模块与数据排序具体算什么、怎么切分？

白话先讲术语。置信度估计模块，英文为 confidence estimation module，简称 CEM，是一个判断伪标签每个词有多可信的小分类器。话语级置信度，英文为 utterance-level confidence score，是把一句内除特殊符号外所有词的分数平均后得到的整句分数。

具体计算是 3 层残差前馈网络，隐层维度为 64，带批归一化、丢弃与末端 sigmoid 门。输入是解码器每个词的输出向量拼接该词前 10 个最大 logits，输出是该词的可信概率。训练时把假设转写与真实参考按编辑距离对齐，对上的词目标为 1，替换或插入的词目标为 0。推理时对无标注数据的伪标签逐词打分再句内平均。论文明确说直接用端到端模型解码概率会有过度自信问题，因此专门设计这个轻量模块来给出更可靠的排序依据。

排序与切分规则是关键。先在标注集上微调 Whisper 得到 m1，并训练 CEM 得到 M1。用 m1 解码无标注集得到初始伪标签，用 M1 打分。对每个说话人内部按分数从高到低排序并等分为 K 组，再把所有说话人的第 1 组拼成 Rank1 跨说话人集合，第 2 组拼成 Rank2，依此类推。实验默认 K 为 5，每步多纳入 20% 伪标签数据。

伪标签 × 置信度估计： 伪标签负责把无标注语音变成可训练的监督信号，分工是提供文本目标；置信度估计负责判断每个伪标签有多可信，分工是排序与筛选。二者搭配的理由是老年语音解码错误率高，若不加区分全部使用会放大错误；组合意义是先用置信度把数据从易到难排好，让伪标签按可靠顺序进入增量训练，而不是 1 次全用或直接丢弃。

增量伪标签 × 课程学习： 增量伪标签负责分多轮逐步纳入无标注子集并用新模型重写后续子集标签，分工是迭代提纯；课程学习负责规定从高置信度到低置信度的学习顺序，分工是控制任务难度。二者搭配的理由是早期模型不稳定，若先学难样本会误差累积；组合意义是先用可靠子集把模型带稳，再靠变强的模型去纠正更难子集的标签。

这种每人内部排序再跨人合并的做法，原文给出的理由是避免直接全局过滤把特定困难说话人整体丢掉，从而保护后续说话人建模的数据完整性。

说话人提示与自适应训练如何改变解码与模型更新？

白话先讲术语。说话人提示，英文为 speaker prompts，是为每个说话人学的一小段向量，长度在本文设为 4。说话人自适应训练，英文为 speaker adaptive training，简称 SAT，是同时优化共享 LoRA 参数与各说话人提示的过程。说话人无关，英文为 speaker-independent，简称 SI，是不区分说话人的对照做法。

沿样本再走 1 次自适应分支。某训练说话人的对数梅尔谱经卷积前端得到语音特征后，与该说话人的提示向量拼接，形成加长后的隐状态，再进入 Whisper 编码器与解码器。训练目标仍是交叉熵，优化对象是共享 LoRA 参数与该说话人提示。解码下一批更难数据时，带上对应说话人的提示可以给出更贴合其发音的伪标签。测试时对未见说话人则冻结主干与 LoRA，只为该测试说话人优化一组新提示，监督来自说话人无关系统先产生的伪标签。

说话人自适应训练 × 说话人提示： 说话人自适应训练负责在共享模型之外学出区分说话人的参数，分工是吸收口音与发音退化等个体差异；说话人提示负责为每个训练说话人提供一小段可学习的向量并与语音特征拼接，分工是携带说话人身份信息。二者搭配的理由是老年说话人异质性大，纯说话人无关模型解码质量低；组合意义是用提示建模个体、用共享参数建模共性，从而在解码下一批低置信度数据时得到更准的伪标签。

论文把增量 SI 系统中每轮的普通微调替换为 SAT，就得到增量 SAT 系统；若在增量过程中用已优化的提示去重解码下一子集，则称为说话人自适应重标注。最终学到的规范模型既吸收了共性，又保留了用提示做个性化的能力，为无监督测试时自适应提供起点。原文未报告提示初始化方式与测试时优化轮数等细节，复现时应把这些当作缺项去原文代码或附录核对，不从模型名推定实现。

训练与推理分几步走，哪些参数更新、哪些冻结？

训练起点是在小标注集上微调原始 Whisper-medium 并训练 CEM。论文采用 LoRA 微调，只作用于注意力中的查询、键、值与输出投影，秩为 8，alpha 为 16。CEM 是独立的 3 层残差前馈二分类器。得到 m1 与 M1 后，解码全部无标注语音得到初始伪标签并打分排序。

增量训练按课程顺序推进。第一轮用标注数据加 Rank1 训练得到 m2；第二轮用 m2 重解码 Rank2 得到更新标签，再与标注加 Rank1 合并训练得到 m3；依此类推，每轮都把已累积的高置信度子集与新重写的当前子集合并。在 SAT 版本中，每轮的训练操作换成说话人自适应训练，同时更新共享 LoRA 与各训练说话人提示，解码下一子集时使用对应提示。

测试时自适应 × 说话人自适应重标注： 测试时自适应负责为未见过的测试说话人只优化其提示参数，分工是推理阶段的个性化；说话人自适应重标注负责在增量训练中先用已学到的提示去重解码下一子集，分工是训练阶段的标签提纯。二者搭配的理由是都依赖先由说话人无关系统产生初始伪标签作为监督；组合意义是把说话人建模同时用于训练迭代和测试适配，使最终的规范模型更适合做无监督的测试时调整。

推理分两种。普通评估直接用最终模型解码。测试时自适应则先用说话人无关系统为测试说话人产生伪标签，再只优化该测试说话人的提示，最后用带提示的模型重解码。论文把是否做测试时自适应、是否做自适应重标注作为对照维度，消融表中分别列出。需要指出，原文未给出每轮训练的轮数、学习率与早停策略，复现时只能先沿用 Whisper-medium 加 LoRA 的常规设置，并把缺失超参数记为待确认项。

数据、划分、基线与指标如何保证可比？

数据方面，DementiaBank Pitt 含 33 小时、292 次阿尔茨海默评估访谈录音，训练集 688 人，经静音去除与增强后为 58.9 小时，开发集 119 人约 2.5 小时，评估集 95 人约 0.6 小时。JCCOCC MoCA 含 32.4 小时、256 次认知评估访谈，训练集 369 人，增强后为 156.9 小时，开发与评估各 49 人，分别约 3.5 与 3.4 小时。两套数据的训练说话人与开发评估说话人均不重叠。默认取 10% 训练说话人当标注集，Pitt 为 68 人，MoCA 为 36 人，且调查员与被试老人各占一半，无标注集说话人身份已知但无转写。

模型与基线方面，主干统一为 Whisper-medium 加 LoRA。对照包括只用 10% 标注直接微调、半监督基线用全部伪标签、随机采样保留固定比例、随机划分增量、置信度过滤、置信度排序加增量，以及是否叠加 SAT、自适应重标注与测试时自适应。增量默认等分 5 份，最多 5 步。指标方面，英语用词错误率，粤语用字错误率，越低越好，并用 MAPSSWE 在显著性水平 0.05 下检验相对半监督基线的改进。

资源状态需要如实说明。本次未发现来源绑定且完成验证的开源资源，因此不得声称代码、模型或数据已公开。复现时应以论文正文与表格条件为准，不假设存在官方权重下载或一键可运行仓库。

主结果：在相同标注比例下谁更好，好多少？

比较问题是：在都只用 10% 标注说话人加其余无标注语音的条件下，置信度引导的增量 SAT 是否优于不用排序增量与说话人自适应的半监督基线。公平条件是同为 Whisper-medium 加 LoRA，同数据划分，同用 MAPSSWE 检验。指标方向是词错误率与字错误率越低越好。

表后解释需要同时讲收益与代价。收益是本方法在两套语言上都取得统计显著改进，且 Pitt 老人评估集上与 100% 监督的 20.68% 词错误率差距明显缩小，说明小标注加大量伪标签已接近全监督在老人语音上的表现。代价是仍需保留 80% 伪标签并跑 4 轮增量 SAT，训练成本高于 1 次全量训练；且改进集中在老人被试语音，对调查员清晰语音的增益较小，部分调查员子集甚至出现波动。未胜出项也要指出：随机划分增量与纯过滤基线在多处弱于置信度排序增量，说明不考虑可靠性的切分与直接丢弃都不是最优。 下图按标注比例展开，适合判断方法在不同资源下的稳定性。

看图路径： 1. 先确认横轴为标注说话人比例 5%、10%、30%，纵轴为 WER(%)，越低越好；2. 再对比每组内黄色仅监督、绿色半监督基线、蓝色增量 SI、橙色增量 SAT 四根柱子的高低顺序；3. 最后看红色虚线 20.43 对应的 100% 监督上界，与 30% 标注时橙色柱 21.07 之间的剩余差距

论文图 2。原论文 Figure 2：“Performance of baseline systems and proposed meth- ods across varying labeled speaker proportions.”。

该图显示横轴 5%、10%、30% 三档下，4 种策略的柱子高度总体从左向右降低，红色虚线 20.43% 为 100% 监督上界。在 5% 极低资源下橙色增量 SAT 为 23.43%，仍明显低于黄色仅监督的 26.04%；在 30% 时橙色降至 21.07%，与上界仅差 0.64%。这支持论文的判断，即方法在不同标注比例下一致最优，但也表明标注越少绝对误差越高，不能把单点最优推广为已解决低资源问题。

消融：排序、增量与说话人建模各自贡献多少？

第一个消融问题是置信度过滤是否真的优于随机采样。公平条件是同保留比例、同不做增量与自适应。结果是 80%、60%、40% 三档下置信度过滤一致优于随机采样，说明 CEM 排序能挑出更高质量子集。但过滤本身不如增量，因为过滤把低置信度直接丢掉，而增量会重写它们。

该分布说明增量与说话人自适应主要修复中低置信度区间，高置信度区间本身已稳定，低置信度区间虽绝对误差仍高但相对改善最显著，这与课程式由易到难逐步重写的设计一致，也解释了为何保留全量说话人比分档丢弃更有利。

哪些边界没有测，哪些结论不能夸大？

论文直接报告的是在两套老年评估语音、Whisper-medium 加 LoRA、说话人标识已知条件下的误差下降与显著性检验。这些是报告级事实，可以复述。有限解释是课程顺序缓解误差累积、说话人提示缓解异质性，这些有消融趋势支持，但属于机制解释而非因果证明。

未验证的推测需要明确标为可能与待验证。可能的原因是低置信度组改进大与高置信度组先行训练有关，但原文未做打乱顺序的反向课程对照，因此不能断言顺序是唯一原因。待验证的是更长的提示、其他主干规模、说话人标识未知或含重叠时的表现，以及推理延迟与训练算力的定量成本，原文未测量这些量，不承诺延迟或成本改善。

缺失证据不是技术错误，但复现时要补。例如每轮训练的学习率、轮数、早停、CEM 在 MoCA 上的阈值迁移性、测试时自适应对每个测试说话人的数据量要求，都未完整交代。总体趋势不等于每组每步都成立，调查员子集的波动就是提醒。引用总体 6.21% 与 6.98% 相对降幅时，必须同时说明这是相对半监督基线的总体口径，而百分点与相对百分比含义不同，不能混用。

要复现这套流程，先做什么、按什么顺序检查？

先准备数据与划分。按 Pitt 68 人、MoCA 36 人取 10% 标注说话人且调查员与被试各半，其余为无标注，保证说话人不重叠，并记录静音去除与增强后的时长。对无标注只保留音频与说话人编号，不使用人工转写。

再训练起点模型与 CEM。用标注集微调 Whisper-medium 的 LoRA 部分，秩 8，alpha 16，同时训练 3 层残差 CEM，输入为词解码向量拼接前 10 logits，目标按编辑距离对齐生成。用起点模型解码无标注得到初始伪标签，用 CEM 计算除特殊符号外的词平均句分数。

然后做每人内部分组与增量训练。每人内部按分数降序等分 5 份，跨人合并为 Rank1 至 Rank5。第一轮用标注加 Rank1 训练，第二轮起用新模型重写下一组再合并累积训练，SAT 版本每轮同时更新共享 LoRA 与各人提示，提示长度为 4。保留 80% 即 4 轮的设置在 Pitt 上最优，可先作为默认。评估时分被试、调查员与总体分别报告词或字错误率，并用 MAPSSWE 做显著性检验。

复现时以该表逐项核对执行过程与验收信号是否一致：先确认起点模型与分组增量流程完整，再确认说话人条件与显著性检验的分工落实，任一环节缺失都会偏离原文设置，需补齐记录后重新评估。

何时值得尝试这套方法，如何一句话记住它？

当手头只有少量老年标注语音，但有大量带说话人编号的无标注访谈录音，且直接用小模型解码伪标签错误率高、说话人之间差异大时，值得尝试这套先排序再渐进学、并用提示记住说话人的路线。它用很小的额外模型去判断哪句伪标签更可信，用课程顺序避免早期被难样本带偏，用说话人提示为每个人留一点个性化空间。

一句话记住它是：可信的先学，难的等模型变强再重写，写难句时带上说话人的提示。实际采用时建议从 80% 保留加 4 轮增量 SAT 起步，分被试与调查员看效果，若清晰说话人占多数则预期增益会变小。若说话人编号未知或需要严格控制训练成本，则要先补做说话人聚类与算力评估，再决定是否引入多轮 SAT。

回到全文起点，输入是小标注加大无标注老年语音，目标是降低老年被试语音的识别误差，输出是增量 SAT 后的规范模型与可测试自适应的提示。最强证据是两套语言上相对半监督基线的统计显著下降，主要代价是多轮训练与对说话人标识的依赖。记住这个条件判断，就能在复述方法时不夸大、不遗漏关键前提。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总