边解码边适应：用跨句音频文本提示做老年语音零样本在线说话人适配

英文题目：Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition

会议身份：conference:interspeech:2026:conference-paper-id:deng26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #提示学习 #零样本 #语音 #语音识别

评分：6.0/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.5/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Chengxi Deng：机构信息未能从会议 PDF 纯文本可靠映射
• Xurong Xie：机构信息未能从会议 PDF 纯文本可靠映射
• Shujie Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Mengzhe Geng：机构信息未能从会议 PDF 纯文本可靠映射
• Tianzi Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Youjun Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Huimeng Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Haoning Xu：机构信息未能从会议 PDF 纯文本可靠映射
• Jiajun Deng：机构信息未能从会议 PDF 纯文本可靠映射
• Xunying Liu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

老年语音识别需将含构音不清与选词组句障碍的语音转写为文本，难点在于说话人异质性大、数据稀疏且切分为短句后长程上下文丢失。本文基于 Whisper-medium 构建边解码边适应的在线链条：先对训练说话人做说话人自适应训练得到离线提示目标，再用冻结 Whisper 卷积与分词器抽取当前句及至多 3 轮历史语音与文本嵌入，经双重跨模态融合与基于查询压缩器的模块生成紧凑在线说话人提示并拼接到编码器输入参与解码。与仅用声学向量或批量伪标签微调的批量测试时自适应不同，该方法在解码同时利用跨句音频与文本互补信息并冻结主干加低秩适配。在 DementiaBank Pitt 评测集与 JCCOCC MoCA 评测集上相对说话人无关基线分别获得 0.61%词错误率与 1.22%字错误率的绝对下降且通过显著性检验，推理实时率相对批量提示自适应加速达 9.83 倍。该结论限于英语痴呆访谈与粤语认知评估两类受试者无关划分，未验证噪声、重度障碍或长时对话漂移下的稳定性。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决哪一个卡点？

本文的输入是老年人在认知评估访谈中的连续语音，输出是对应的文字转写。目标读者是刚进入语音识别的研究生，需要先建立一个基本判断：老年语音不是在干净朗读条件下加一点噪声，而是发音控制与语言组织同时退化。论文在引言中把挑战归纳为说话人异质性、数据稀疏、发音与语言缺损、长程跨句上下文缺失 4 个方面。

其中最直接影响建模的是前两点叠加：训练集中能覆盖的老年说话人很少，测试时又几乎都是未见过的说话人，模型不能指望为每个测试说话人事先存好适配参数。另一个卡点是常规做法为了识别而把长音频切成短句，句间的话题与说话人线索被切断，后续即使想做说话人建模也缺少上下文。

本文要解决的卡点可以表述为：在测试说话人零样本、推理必须低延迟的条件下，如何利用已经解码的历史语音与历史文本，即时生成紧凑的说话人条件，帮助当前句识别。输入条件必须保留：历史文本在训练时用真实转写，在推理时用贪心搜索已解出的文本；历史语音与当前语音用同一编码方式得到特征后在时间维拼接。输出必须保留：方法作用在 Whisper 编码器侧生成在线说话人提示，再拼到当前语音特征上参与解码。

论文明确声明没有公开代码模型数据的可用链接，因此本解读只讲论文报告的流程与数字，不承诺可下载复现。

初学者易混淆的术语如何一次讲清？

说话人无关模型指不带任何测试说话人条件的通用识别模型，是所有适配的起点；说话人相关参数指随测试说话人变化的那部分条件，本文中就是在线提示。伪标签指用基线系统先解码测试语音得到的临时文本，用于批量适配的监督，质量取决于基线好坏。贪心搜索指解码时每步只保留概率最高的词，速度快但不如束搜索准，本文用它来保证在线速度。编码器与解码器分别负责把语音变成特征与把特征变成文字，提示拼在编码器侧意味着先偏置声学表示再生成文字。把这些术语固定下来，后续阅读融合、压缩与损失时就不会把监督来源与更新位置混淆。

同任务同阶段的已有路线为何不够用？

与本文同输入同目标的工作包括基于适配器的老年语音适配、混合专家结构处理说话人多样性、以及仅用跨句语音上下文增强识别的研究。论文指出这些路线在运行阶段与监督来源上存在三处缺口。第一是延迟结构：批量测试时适配需要先用说话人无关系统解码全部待测语音生成伪标签，再为每个说话人训练一组提示，这个等待与反向传播过程不适合需要实时交流的老年用户。

第二是模态割裂：多数方法只做声学层适配，或把声学变化与语言缺损分开建模，没有把历史语音与历史文本放在 1 次融合中联合估计说话人参数。第三是文本上下文缺失：已有跨句方法多只用语音上下文，没有显式引入跨句文本，无法保证话题一致性，而话题一致性在早期神经认知障碍检测中被认为重要。理解这三点才能理解本文为何同时强调在线、音频文本双模态、跨句三件事。

教学上可以把例子设为：同一位老人在描述同一幅图时，前两句提到男孩、凳子、饼干，第三句的用词与发音习惯应与前两句互相约束；若只用声学向量而不看前两句解出的词，就丢掉了话题线索。这只是一个帮助理解的例子，不代表论文用该例子做定量验证。

与仅用语音上下文的工作有何本质区别？

仅用语音上下文的工作把历史语音当作声学补充信息，目标是让当前句的声学编码更稳，但不显式建模说话人身份，也不引入文本话题。加入文本后模型能同时看到发音方式与用词选择，相当于把声纹线索与话题线索放在同一表示中。论文的对比显示去掉文本的音频单模态提示弱于双模态，且降维可视化中双模态更紧凑，这支持文本提供了声学之外的互补信息。但这只是论文两套数据上的报告，不能理解为文本在任何任务上都有增益；在正常朗读语音中话题重复度低时，文本历史的作用可能会减弱，需要重新做消融才能下结论。

零样本在线适配的操作定义是什么？

本文的零样本指训练说话人与开发集评估集说话人没有重叠，测试时模型没有见过当前说话人的任何有监督数据。论文在实验部分明确写出 2 个数据集都满足该划分条件。在线指对测试语音按时间顺序逐句处理，处理第 n 句时只能用第 n 句之前的历史语音与已解码文本，不能偷看未来句，也不能等待整个说话人的全部语音到齐后再统一训练。基线对照是说话人无关模型加低秩微调，以及离线批量提示适配。

评价方向是错误率越低越好，速度用实时率加速比衡量，加速比越高说明在线方法相对批量方法越快。需要区分的概念是绝对下降用百分点描述，相对下降用百分比描述，二者不能混写。论文报告的绝对下降与相对下降是配套出现的，解读时应同时保留。

为什么老年语音需要单独讨论适配？

老年语音的难点在于退化是双通道的：神经运动退化导致语速慢、含糊与不流畅，神经认知退化导致选词与组句困难。通用基础模型多在正常成人语音上训练，对这两类退化同时出现的分布覆盖不足。加上采集困难导致数据稀疏，模型很难靠增加老年训练数据解决问题，只能靠测试时适配弥补。此外老年评估多为连续访谈，切句识别丢掉的跨句信息恰好包含说话人习惯与话题线索，这也是本文选择跨句音频文本提示的任务动机。理解这一点就能明白为何传统说话人向量效果有限：它们多为正常语音设计，对发音与语言同时退化的联合分布表达不足。

边解码边适应的全景路径如何走通？

沿着一个测试样本走一遍有助于建立全景。假设当前要识别第 n 句语音，系统已经保存了前若干句的语音波形与对应的贪心解码文本。第一步是将历史语音送入与当前语音相同的编码前端得到历史语音特征，并与当前语音特征在时间维拼接；同时将历史文本送入分词器得到历史文本特征。第二步是将两路特征送入融合模块与 Q-Former，输出固定长度的在线说话人提示。

第三步是将该提示拼到当前语音特征前面，送入带低秩适配的 Whisper 编码器与解码器，生成当前句的识别结果，该结果又会成为下一句的历史文本。这就是标题中边解码边适应的含义：适配用的文本监督来自解码过程自身，而不是外部提供的伪标签迭代。训练阶段则分为两步：先为每个训练说话人做标准的说话人自适应训练得到离线提示，再训练在线分支去拟合这些离线提示并同时保证识别与说话人分类性能。

下面的图把训练、在线、批量 3 种数据流放在同一版式中，便于对照监督来源与可训练部分的差异。

本段为图 1 的导读，图 1 包含左中右 3 个面板，分别对应说话人自适应训练、在线音频文本提示适配、批量测试时适配，箭头表示从对数梅尔输入到文本输出的主路径与拼接位置。

看图路径： 1. 先从最左侧对数梅尔输入向上看说话人自适应训练支路的拼接与监督位置；2. 再看中间在线分支下方历史文本与历史语音如何分别进入分词器与编码器；3. 接着跟踪中间融合与 Q-Former 箭头如何生成在线说话人提示并拼到当前语音；4. 最后对比右侧批量分支用伪标签训练固定提示的闭环差异

论文图 1。原论文 Figure 1：“Examples of (a) the speaker adaptive training, (b) the online audio-textual prompts adaptation, and (c) the batch-mode speaker prompts test-time adaptation.”。

图 1 显示左侧训练分支用真实转写做监督并更新提示与低秩参数，中间在线分支下方明确画出历史文本例句与多段历史语音谱图，分为适配与解码两个子区，右侧批量分支用伪标签做监督。可见在线分支的可训练部分集中在融合与 Q-Former，而编码前端与主干保持冻结，这种冻结与更新划分是理解梯度路径的关键。

融合与压缩组件各自做什么，为何要组合？

先解释术语。说话人提示是用白话说的一小段可学习向量，拼在语音特征前面告诉编码器当前是谁在说话；低秩适配是加在注意力查询键值与输出投影旁的小参数旁路，英文为 LoRA，只训练旁路不动主干。历史语音与历史文本的含义如前所述。融合模块有 4 种候选：早期融合先拼接再过变换器，晚期融合各自编码再拼接，单向跨模态融合以语音为查询文本为键值，双向跨模态融合让 2 模态互为查询与键值。Q-Former 压缩是用可学习查询向量对变长融合特征做自注意力与交叉注意力，再经前馈与残差得到固定长度提示。

说话人提示 × 低秩适配： 说话人提示是一组拼在语音特征前面的可学习向量，负责携带当前说话人的发音与用词偏好；低秩适配是在 Whisper 注意力矩阵旁加小秩旁路，只更新旁路而不动主干，负责把老年语音整体分布搬到基线附近。二者搭配的理由是提示提供随说话人变化的条件，低秩适配提供全局稳定的底座，组合后模型在推理时既保留通用识别能力，又能按提示动态偏置编码器。

跨句历史语音 × 历史文本： 跨句历史语音负责提供音色、语速、含糊与停顿等声学层面的说话人痕迹；历史文本负责提供话题、用词重复与句式偏好等语言层面的说话人痕迹。老年语音同时存在构音退化与选词组句退化，单看一声学不足以判断说话人，搭配的理由是让声学变化与语言缺损互相印证，组合后得到同时约束发音与话题的说话人表示。

双向跨模态融合 × Q-Former 压缩： 双向跨模态融合负责让语音去查询文本、文本也去查询语音，在 3 层双向交叉注意力中对齐两种模态；Q-Former 压缩负责用一组可学习查询向量对变长融合特征做交叉注意力，取出固定长度的紧凑提示。搭配的理由是融合解决模态不对齐，压缩解决历史长度不定，组合后无论历史是一句还是多句，都输出长度固定的在线说话人提示。

本段为图 2 的导读，图 2 用 4 个小面板分别画出早期融合、晚期融合、单向跨模态融合与双向跨模态融合的拼接点与注意力块堆叠方式，下方标注文本与拼接语音特征的入口。

看图路径： 1. 对比左上早期融合先拼接再过变换器与右上晚期融合先各自编码再拼接；2. 观察左下单向跨模态以语音为查询文本为键值的箭头方向；3. 观察右下双向结构中两路查询与键值交叉的对称连接

论文图 2。原论文 Figure 2：“The proposed different fusion strategies for audio and textual information: (1) Early Fusion; (2) Late Fusion; (3) Cross-Modality Fusion (CMF); and (4) Dual Cross-Modality Fusion…”。

图 2 显示 4 种融合都以文本特征与拼接语音特征为输入，以融合表示为输出，区别在于拼接发生在变换器之前还是之后，以及是否引入查询键值交叉注意力。双向结构在右侧面板中有两路对称的查询键值连接，这是论文最终选用的结构。结合正文可知所有融合后都接同一个 8 块 Q-Former 结构，因此消融比较的是融合方式本身，而不是压缩容量差异。

训练分几步走，哪些参数更新，监督从哪里来？

训练按论文描述分为两步。第一步是说话人自适应训练：为每个训练说话人初始化一组可训练提示，与低秩参数一起用交叉熵识别损失优化，输入是对数梅尔谱，监督是真实转写。第二步是在线分支训练：历史语音用与当前相同方式编码并拼接，历史文本在训练时用真实转写编码，推理时用已解码文本；融合与 Q-Former 为可训练部分，编码前端与主干保持冻结。

在线分支用 3 个损失联合训练：识别交叉熵保证转写正确，说话人分类交叉熵保证提示能区分说话人身份，均方误差保证在线提示与第一步直接估计的离线提示对齐。论文给出联合损失权重与分类头结构：分类前先做时间平均，再经多层线性、丢弃与激活后做 softmax；权重按经验设置。

需要指出的缺项是论文未报告优化器类型、学习率、训练轮数与批量大小，也未给出分类头中说话人类别数在 2 个数据集上的具体训练细节之外的完整超参数表，因此复现时只能保留已报告的冻结划分与损失构成，不能从模型名称推定未写明的训练实现。

在线适配 × 批量测试时适配： 在线适配负责在解码当前句的同时，用前面已解出的历史句即时生成提示，不等待全量说话人数据；批量测试时适配负责先用基线系统解码全部待测语音得到伪标签，再为每个说话人单独训练一组提示。搭配比较的理由是二者监督来源与延迟结构不同，组合对照能说明在线方法用贪心解码历史代替伪标签迭代，在损失少量精度的条件下省去多轮反向传播等待。

推理时不存在反向传播，流程是前向生成提示再前向解码当前句。历史文本的错误会传播到下一句的提示，这是边解码边适应必须承担的代价，论文用贪心搜索降低延迟，也是用精度换速度的一种取舍。

数据、基线与指标的比较条件是什么？

实验用两套老年语音数据。英文 DementiaBank Pitt 包含数百位受试者与研究者的访谈，训练、开发、评估说话人不重叠，经过静音切除与增强后训练约数十小时，开发与评估各为数小时量级。粤语 JCCOCC MoCA 包含数百位说话人的认知评估访谈，训练集与开发评估集同样无说话人重叠。基线从弱到强包括原始 Whisper 直接推理、加低秩微调的说话人无关模型、批量编码器提示与编码器加解码器提示、以及 i 向量、x 向量与 ECAPA 时延神经网络特征适配。

论文采用 Whisper 中等规模多语模型，并在注意力查询键值与输出投影上加秩为 8 的低秩适配，在此强基线上再做在线适配。指标方向是词错误率与字错误率越低越好，实时率加速比越高越好，显著性用配对检验在 0.05 水平判断。

词错误率 × 字错误率： 词错误率负责在英文 DementiaBank Pitt 上按词统计替换删除插入错误，反映英文识别可用性；字错误率负责在粤语 JCCOCC MoCA 上按字统计错误，反映中文方言识别可用性。二者搭配的理由是两种语言切分单位不同，不能混用同一指标，组合后论文能在两种老年评估任务上分别报告可比的主结果。

需要保留的信息条件是提示拼接位置在 2 个数据集上不同：一个在编码器之后，一个在卷积前端之后；历史取 3 对语音文本、提示长度取 8 是消融后的选用值，具体消融见后文表格。

主结果在公平条件下支持什么判断？

比较的问题是：在同一低秩微调强基线之上，在线音频文本提示能否同时在英文词错误率与粤语字错误率上取得显著下降，并比批量适配更快。公平条件是所有适配方法都基于同一说话人无关基线，测试说话人均为零样本未见，指标分别按语言选用词或字错误率。指标方向为错误率越低越好，加速比越高越好。

表后解释需要同时讲收益与代价。收益是论文报告在线音频文本提示相对说话人无关模型在两套数据上均达到统计显著下降，且与批量编码器加解码器提示性能可比，但推理加速最高达 9.83 倍。代价与限制是历史文本来自贪心解码，若历史解码错误则提示会被污染；论文还报告音频单模态提示弱于音频文本双模态，说明去掉文本会损失语言线索。

传统 i 向量与 x 向量在老年数据上表现不稳定，部分系统甚至差于基线，这支持紧凑提示比传统说话人向量更适合老年语音，但不能推广为在所有正常语音上都成立。本段为图 3 的导读，图 3 为 2 位评估说话人的降维散点，颜色区分音频文本提示、音频单模态提示与传统向量，括号内为协方差行列式。

看图路径： 1. 先确认左右两幅分别对应女性与男性两位评估说话人的点云范围；2. 对比红色音频文本提示点团与其他颜色点团的聚集紧密度；3. 读出每类特征旁括号内协方差行列式数值以判断离散程度

论文图 3。原论文 Figure 4：“T-SNE visualization of the Audio-Textual Prompts (A-T Prompts), Audio-Only Prompts (A-O Prompts), i/x-vectors (i/xvec) and ECAPA-TDNN (ECAPA) features (Table 1, Sys.5-9) for 2…”。

图 3 显示红色音频文本提示点团明显更集中，括号内行列式数值更小，而黄色 i 向量与棕色 x 向量点团更分散，绿色 ECAPA 也有较大散布。这与表格中在线提示优于传统向量的一致，但降维可视化只是辅助证据，不能代替错误率数字，行列式小只说明同说话人表示更紧凑，不直接证明识别必然更好。

提示长度、历史数量与融合方式哪一个真正起作用？

消融要回答 3 个操作问题：提示多长合适，历史用几句合适，4 种融合哪种合适。论文在 DementiaBank 上固定其他条件逐一扫描，评价仍用词错误率越低越好。

表后解释需要讲清未胜出项。论文报告仅用当前语音时提示长度取 8 最优，过短容量不足，过长则引入冗余；历史用 3 对语音文本最优，用 1 对信息不足，用 5 对则增益饱和甚至轻微回落；4 种融合中双向跨模态融合优于早期、晚期与单向跨模态，说明让 2 模态互为查询比单向查询或简单拼接更能对齐声学变化与语言偏好。未评测的边界是历史超过 5 句、提示远大于 32、以及用束搜索代替贪心搜索提供历史文本的效果，论文没有给出这些条件的数字，因此不能断言历史越多必然越好。本段为图 4 的导读，图 4 横轴为适配数据量从单句到全量，纵轴为词错误率，包含批量与在线多条曲线。

看图路径： 1. 先确认横轴为适配数据量从单句到全量纵轴为词错误率百分比；2. 对比橙色与绿色批量曲线随数据增加而下降的斜率；3. 观察红色与蓝色在线水平虚线与基线虚线的相对位置

论文图 4。原论文 Figure 3：“4”。

图 4 显示批量编码器与编码器加解码器曲线随数据增加而持续下降，在全量时可超过在线水平虚线；但在单句与少量数据区批量曲线明显高于在线水平线，说明批量方法依赖数据量，而在线方法对数据量不敏感。这种不变性是以峰值精度换来的：当允许用全量数据做离线迭代时，批量仍可能略优，选择时应按延迟预算决定。

哪些结论尚未被验证，不能直接承诺？

首先是误差传播未被量化：在线历史文本来自贪心解码，论文没有单独报告历史文本错误率对当前句的影响曲线，因此不能承诺在历史质量很差时仍有增益。其次是延迟与成本的口径：论文报告最高 9.83 倍实时率加速，但未给出硬件型号、批量大小、并发条件与端到端首包延迟，训练资源与推理显存也没有完整预算，因此加速比应理解为论文特定条件下的相对值，不能直接换算为部署延迟。

第三是泛化边界：实验只覆盖英文与粤语老年评估访谈，没有覆盖正常成人、自发对话、远场噪声等条件，显著性只针对说话人无关基线成立，不能推广为对所有基线都显著。第四是资源可用性：本次收到的证据中没有完成验证的代码模型数据链接，只能写当前不可用，不能声称已公开。缺失证据不是技术错误，但在复现前必须补齐这些验证。

若要复述与复现，先做什么，后做什么？

复述方法时建议按样本级数据流先走一遍：取连续访谈中的相邻三句，前两句的波形与贪心文本作为历史，第三句波形作为当前，分别编码、拼接、融合、压缩得到 8 长度提示，再拼到当前特征上解码。核对点包括历史在训练与推理时的监督来源不同、提示拼接位置在 2 数据集上不同、低秩只加在查询键值与输出投影且秩为 8、Q-Former 为 8 块结构、融合选用双向跨模态。复现时先复现低秩微调强基线，再实现音频单模态在线提示作为下界，最后加入文本模态与双向融合。

每一步都应在开发集上固定历史为 3 对、提示为 8 做对照，避免同时改多个变量。还需补做的验证是记录历史文本质量、统计不同说话人上的增益分布、以及在相同硬件上测量实时率与显存，以确认加速比在自身环境中是否成立。

何时值得尝试这种边解码边适应？

当任务同时满足 3 个条件时值得尝试：测试说话人基本未见过、推理要求低延迟不能等待全量数据、语音中同时存在发音退化与用词偏离。此时用历史语音加已解码文本生成紧凑提示，比存传统说话人向量或做批量伪标签迭代更贴合需求。若测试允许离线处理且有充足适配语音，批量编码器加解码器提示仍可能是精度更高的选择。

若历史解码质量不可靠，或话题切换频繁导致历史与当前弱相关，则应先验证历史窗口与融合方式，否则在线提示可能引入噪声。总体上本文的贡献在于把说话人建模从单句声学向量扩展为跨句音频文本联合提示，并用压缩结构保证在线可用，其增益与加速数字在论文条件下成立，迁移到新场景前需要补充延迟、分布与误差传播三项测量。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总