流式之下还要对准每个音素：MPA-KWS 如何统一文本与音频注册

英文题目：MPA-KWS: Multi-Modal Phoneme-Level Alignment for Streaming Open-Vocabulary Keyword Spotting

会议身份：conference:interspeech:2026:conference-paper-id:zhang26fa_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据增强 #对比学习 #CTC #流式处理 #关键词检测

评分：6.5/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jue Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Guibin Zheng：机构信息未能从会议 PDF 纯文本可靠映射
• Jiarui Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Jiqing Han：机构信息未能从会议 PDF 纯文本可靠映射
• Chenhao Jing：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

开放词汇关键词检测需在仅给定文本或少量音频注册条件下，从连续语音流中判断目标短语是否出现，难点是易混淆词的细粒度区分与流式低延迟约束。该方法先由因果声学编码器提取帧级声学特征并经交叉注意力注入关键词文本先验，再用 W-CTC 强制对齐将连续帧加权聚合为音素级声学嵌入，随后对音频文本对施加非对称代理损失、对音频音频对施加对称 InfoNCE 约束，最后由验证器基于拼接交互特征输出存在概率。相对已有非流式对齐与纯文本注册流式方法，关键差异是训练与推理共用同一 W-CTC 对齐路径并同时支持文本与文本音频两种注册。在LibriPhrase-Hard测试集文本音频注册条件下，MPA的曲线下面积为97.30%，高于InfoNCE-Only的曲线下面积96.30%，且MPA的等错误率为8.21%，低于InfoNCE-Only的等错误率9.04%。结论目前仅在英语朗读短语的干净切分评测上成立，对噪声、口音、长尾关键词与真实流式误唤醒的泛化尚未验证。原文未披露训练硬件、训练轮数与推理实测延迟。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么易混词是难点？

本文的输入是用户注册的关键词与待检测的连续语音，目标是判断查询音频中是否出现该关键词。开放词汇意味着关键词在测试时可以是训练未见过的任意短语，因此不能为每个词单独训练分类器，只能把音频与文本映射到统一空间再做匹配。注册方式有两种，一种是只给文本，例如输入英文单词 Cat，另一种是同时给文本与一段该词的示例音频。

初学者可以这样理解任务流程。系统先把支持文本转为音素序列，把支持音频与查询音频转为帧级声学特征，然后比较查询音频与关键词是否一致，最后输出存在或不存在。难点在于发音相近但拼写不同的易混词，例如 beautifully 与 beautiful 在大部分音素上重叠，只有尾部不同。如果只在整句层面做一个向量比较，细微的尾部差异会被平均掉，模型就容易误报。

开放词汇关键词检测 × 流式推理： 开放词汇关键词检测负责在不重新训练的情况下检测用户自定义的新词，流式推理负责逐帧低延迟输出而不等待整句结束，二者搭配的原因是实际唤醒词场景既要求任意词可注册又要求实时响应，组合意义是所有对齐与匹配都必须满足因果与滑窗复杂度约束。

因此论文把研究重点放在音素级对齐上，也就是让每 1 帧音频都能找到它对应的音素，再在音素层面做细粒度比较。同时要求整个过程支持流式，即音频到来 1 帧就能处理 1 帧，不能等整句说完再用双向注意力或全局动态规划。这种因果与低延迟约束决定了后续所有模块的选择。

已有路线如何做音素对齐，各自缺了什么？

按原文梳理，已有开放词汇关键词检测可分为音频注册与文本注册两类。音频注册用示例音频做模板，文本注册把音频与文本映射到统一隐空间，后者更稳定方便。围绕易混词，已有工作引入音素级对齐，方法包括自注意力、交叉注意力、数字信号处理算法以及蒙特利尔强制对齐器等。这些方法保留了更细的判别信息，在易混词上优于只学整句表示的方法。

但原文指出这些对齐大多依赖全序列信息，时间复杂度高，难以用于流式场景。近期有两类基于联结时序分类的流式音素对齐策略，支持逐帧计算，复杂度低，适合流式执行。然而这些方法只支持纯文本注册，无法通过模态融合进一步提升性能。另一条线是音素级对比学习，例如用 InfoNCE 损失在音素层面拉近跨模态表示并增强音频一致性。

原文对 InfoNCE 提出两点批评。第一，文本表示是确定的，同一关键词的文本嵌入唯一且可视为无噪声参考，而音频表示随说话人与环境变化，InfoNCE 没有充分利用这种不对称。第二，对比学习时的音素对齐策略与实际推理时的对齐策略不同，会带来训练推理失配。因此后续方法需要统一对齐算子，并为跨模态与模态内匹配设计不同的损失。

本文要解决的三个具体矛盾是什么？

第一个矛盾是细粒度与流式的矛盾。想要区分易混词就需要音素级表示，但传统强制对齐需要看完全句，流式要求逐帧因果计算。第二个矛盾是模态不对称与对称损失的矛盾。文本稳定而音频多变，用同一个对称相似度函数处理 2 个方向会忽视模态异质性。第三个矛盾是训练与推理的矛盾。如果训练时用一种对齐聚合音素嵌入，推理时用滑窗近似做另一种对齐，学到的度量在部署时会偏移。

本文的解决思路是统一与分离并行。统一是指无论支持音频还是查询音频，都用同一种带通配符的 W-CTC 强制对齐得到二进制对齐矩阵，再用概率加权聚合。分离是指跨模态用非对称代理损失，模态内用对称 InfoNCE 损失，验证器再分别处理音频到音频与音频到文本的交互特征。此外用基于 CTC 束搜索的动态难负样本挖掘，专门针对声学易混词补强。

需要明确的是，本文只研究论文实际覆盖的短语关键词检测任务，数据集是 LibriPhrase，包含 1 到 4 个词的短语。教学中举 Cat 转音素的例子只是帮助理解流程，不代表该词的实验数值。所有性能判断都以原文在 LibriPhrase-Hard 与 LibriPhrase-Easy 上的曲线下面积与等错误率为准。

MPA-KWS 全景：一个样本如何走完五大模块？

MPA-KWS 包含 5 个模块，分别是音频特征提取器、文本特征提取器、W-CTC 强制对齐模块、音素级对比学习模块与验证器。沿一个样本走一遍有助于建立整体感。以关键词 Cat 为例，支持文本 Cat 先经过发音词典模型转为音素序列，再经文本编码器与投影得到音素级文本嵌入。查询音频 Cat 先提取 80 维对数梅尔滤波器组特征，再经因果卷积声学编码器与偏置模块得到帧级声学嵌入与帧级音素概率。

随后 W-CTC 强制对齐以前两者的输出为输入，产生每帧对哪一个音素的二值矩阵，并按概率加权把帧嵌入压缩为每个音素一个向量。对比学习模块在这些音素向量上计算跨模态与模态内损失，验证器把两两序列构造成拼接与差积交互特征，再经双向门控循环单元与全连接分类器输出是否存在的概率。支持音频通路只在文本加音频注册时执行，训练时以一半概率屏蔽支持音频以模拟纯文本注册。

下图展示了整体架构与数据流向，重点观察 3 路输入如何汇入对齐模块以及损失加在何处。

看图路径： 1. 先沿左侧支持音频查询音频与支持文本三路输入向右追踪到验证器输出 0 或 1；2. 再看中间 W-CTC 强制对齐如何同时接收声学分支的 softmax 与文本分支的音素序列；3. 对比虚线表示的仅在文本加音频注册时执行的支持音频通路；4. 确认右侧对比学习分支与验证器中两路拼接与门控循环单元的位置

论文图 1。原论文 Figure 1：“The overall architecture of the proposed method.”。

从图中可见左侧黄色为声学通路，绿色为文本通路，中间蓝色为 W-CTC 对齐，右侧灰色为对比学习，橙色为验证器。声学分支分出音频投影与 CTC 投影两头，一头供聚合使用，一头供对齐使用。文本分支同时向偏置模块与对齐模块提供音素信息。对齐后的音素级支持音频嵌入、查询音频嵌入与支持文本嵌入分别送入不同的对比与验证分支，最终验证器输出二分类对数并计算二元交叉熵损失。这种布局把流式约束、模态融合与细粒度度量放在同一张图里，是复述方法时应先讲清的主线。

编码器与偏置模块如何保证流式与因果？

文本特征提取器的做法是给定关键词文本，先用预训练的发音词典模型转为音素序列，再用可学习嵌入字典与单层双向长短期记忆网络编码，最后经线性投影得到维度为 256 的音素级嵌入，记为长度 Lp、维度 d 的矩阵。文本嵌入在推理前预计算并缓存，因此不占流式延迟。

声学特征提取器对支持音频与查询音频共享同一个声学编码器。输入是 80 维对数梅尔滤波器组特征，编码器是包含 18 层因果卷积的 Conv1dNet，每层 300 通道，采用深度可分离卷积与 DoubleSwish 激活，下采样率为 4。原文强调因果挤压激励模块与因果卷积是为了满足流式推理的低延迟约束，即当前帧不依赖未来帧。

W-CTC 强制对齐 × 音素级声学嵌入聚合： W-CTC 强制对齐负责把连续音频帧映射到离散关键词音素序列并允许在任意时刻开始或结束，音素级声学嵌入聚合负责按对齐矩阵与置信度加权把帧级特征压缩为每个音素一个向量，二者搭配的原因是只有先有可流式计算的帧到音素对应才能做细粒度对比，组合意义是训练与推理共用同一对齐算子以减少失配。

偏置模块以声学编码器输出为查询，以文本嵌入为键和值，做多头交叉注意力，头数为 4。输出的偏置表示再分两路，一路经 CTC 分支投影到帧级音素概率供强制对齐使用，一路经音频投影分支得到最终帧级声学嵌入。由于支持文本嵌入已预计算，注意力可以逐帧执行而不引入额外延迟。消融显示去掉该模块后难集等错误率从 8.21% 上升到 9.52%，说明早期注入文本先验对引导声学编码确有帮助。

文本偏置模块 × 声学编码器： 声学编码器负责从 80 维对数梅尔滤波器组提取因果下采样帧表示，文本偏置模块负责以声学表示为查询、以预计算的文本音素嵌入为键值做多头交叉注意力注入关键词先验，二者搭配的原因是纯声学编码缺乏目标词信息而全文注意力会破坏流式，组合意义是在不增加推理延迟的前提下让早期声学特征就带有关键词上下文。

复述时要注意梯度与更新的证据边界。原文只说明声学编码器先用 CTC 损失独立预训练，再端到端多任务训练，文本编码器包含可学习嵌入与单层双向长短期记忆网络，但未逐层说明哪些参数冻结、何时重置。未报告之处应如实指出缺项，不能从模型名称推定实现。

W-CTC 对齐如何把帧压缩为音素向量？

W-CTC 强制对齐要解决的是连续音频流与离散文本音素的对应问题。该算法在文本两端追加通配符，允许目标序列在任意时间步开始或结束对齐。基于投影层产生的对数概率矩阵，算法导出二值对齐矩阵，元素为 1 表示第 t 个音频帧对齐到第 i 个关键词音素。与前人工作不同，本文在对齐过程中丢弃对齐到空白符的帧。

聚合时不做简单平均，而是把目标音素在该帧的 softmax 概率作为置信权重。假设目标关键词音素序列为从 k1 到 kLp，第 i 个音素的声学嵌入等于所有对齐到该音素的帧嵌入按权重加权求和，再除以实际对齐帧数作为归一化。用该式可分别算出音素级支持音频嵌入与查询音频嵌入，形状均为音素长度乘以特征维度。

推理时训练用完整语音段离线计算对齐，测试用滑窗解码维持流式。具体是对每个大小为 W 的输入窗，以关键词最后一个音素前向得分最高的位置为对齐结束索引，再从该索引回溯得到当前窗的对齐矩阵。时间复杂度为窗长乘以音素长度，由于两者都很小，可接受。随后按同样加权式聚合查询音频嵌入，并与缓存的支持音频与文本嵌入一起送入验证器。这种训练推理共用同一对齐思想的滑窗近似，是本文强调的一致性的具体落点。

对比学习、验证器与难负样本如何组织训练？

对比损失只在正样本对上计算，以防止无效强制对齐带来噪声。音频到文本对比时把整个批次内所有音素展平为长度 N 的序列，查询音频或支持音频嵌入与支持文本嵌入按同样顺序展平。损失采用非对称代理损失，文本作代理，对正负项用不同尺度参数与间隔，正项用扩展对数求和指数函数，负项用平均软正函数。原文给出的超参数为间隔 0.85，正项尺度 20.0，负项尺度 10.0。

音频到音频对比采用对称 InfoNCE 损失，温度系数为 0.04，余弦相似度为度量，2 个方向各算 1 次再平均。目标是捕捉相同音素在不同声学环境下的一致性。验证器对任意两个序列构造包含拼接、差与逐元素积的交互特征，分别送入两个独立的双向门控循环单元，末隐状态拼接后经全连接分类器产生对数，再算二元交叉熵损失。总损失是三项加权求和，权重分别为 0.1、0.1 与 1.0。

非对称代理损失 × 对称 InfoNCE 损失： 非对称代理损失负责处理音频到文本的跨模态匹配，把稳定的文本表示当作代理并对正负项用不同尺度与间隔优化，对称 InfoNCE 损失负责处理音频到音频的模态内匹配，最大化相同音素在不同说话人与环境下的一致性，二者搭配的原因是跨模态存在文本确定而音频多变的固有不对称而模态内相对对称，组合意义是同时缩小模态间隙并保持声学一致性。

难负样本挖掘的做法是给定关键词音频与其真值音素标签，对声学编码器输出的帧级音素概率做束宽为 K 的束搜索，去空白并合并重复音素后得到 N-best 假设列表，剔除与真值相同的序列，剩余即为易误识的难负标签。这些标签与对应音频配对作为具有挑战性的支持文本输入，且只在支持音频被屏蔽时激活，以防支持音频与支持文本失配。由于难负例来自模型自身当前解码，会随优化状态动态适应。

CTC 束搜索数据增强 × 难负样本挖掘： CTC 束搜索数据增强负责用声学编码器自身的帧级音素概率做束搜索解码得到 N-best 假设，难负样本挖掘负责剔除与真值相同的假设并把剩余易误识发音模式作为新的支持文本输入，二者搭配的原因是模型最易错的恰是自身解码器认为相近的词，组合意义是负样本随优化状态动态变难从而提升对易混词的区分力。

训练细节上先独立预训练声学编码器，再端到端训练，优化器为 AdamW，初始学习率 0.0005，权重衰减 0.05，批量 500，并对滤波器组做频谱增强的频率与时间掩码。训练时以一半概率屏蔽支持音频以模拟纯文本注册，此时跳过音频到音频对比，并把负责该路的门控循环单元输出置零。原文未报告束宽 K 的具体取值与难负例采样比例，这是复现时需要补记的缺项。

数据、划分、指标与实现条件是什么？

实验使用 LibriPhrase 数据集，它从 LibriSpeech 中抽取含 1 到 4 个词的短语。训练集来自 train-clean-360 与 train-clean-100 子集，测试集来自 train-other-500 子集，并按编辑距离分为难集与易集。原文描述的评测三元组是锚词文本作支持文本，锚词音频作支持音频，对比词音频作查询音频。这种构造天然包含正样本与负样本，适合测易混词。

指标为曲线下面积与等错误率，前者越高越好，后者越低越好。实现上模型用 PyTorch，声学编码器为 18 层因果卷积，文本编码器为单层双向长短期记忆网络隐维 128，偏置模块 4 头，声学与文本嵌入维度均为 256，验证器用两个单层双向门控循环单元并在前加 256 维瓶颈投影，总可训练参数量为 4.03M。对比学习超参数与损失权重如前所述。

比较条件需要分注册模态看。纯文本注册只给文本，文本加音频注册同时给文本与示例音频。基线包括纯文本的 CMCD、CED、AdaKWS-Tiny、W-CTC，以及多模态的 MM-KWS 与 PLCL。其中 PLCL 用了参数量显著更大的 Whisper-Tiny 编码器，而本文声学编码器更小。资源状态方面，本次未发现来源绑定且完成验证的公开代码或模型链接，因此不得声称代码模型已公开，只能按原文实现细节复现。

主结果在难集与易集上说明了什么？

要回答的比较问题是，在相同 LibriPhrase 难集与易集、相同曲线下面积与等错误率方向下，MPA-KWS 相对可运行的流式与非流式基线是否有优势。多模态是否带来额外增益也是关键。指标方向为曲线下面积越高越好，等错误率越低越好。下表整理了原文报告的主结果，覆盖纯文本与文本加音频两种注册。

原文报告显示，纯文本注册下 MPA 达到难集曲线下面积 96.04% 与等错误率 9.53%，超过同样用 W-CTC 对齐的流式基线的 95.93% 与 10.21%，也超过多数已有系统。文本加音频注册下 MPA 进一步提升到 97.30% 与 8.21%，超过当前最强的 PLCL 的 96.59% 与 8.47%，在易集上也达到 99.98% 与 0.45% 为最优。代价是模型需同时维护声学与文本通路及验证器，参数量为 4.0M，且多模态增益依赖额外示例音频。未胜出项方面，易集上多数方法已接近饱和，差距很小，不能把难集的提升推广为全场景同等幅度。原文未测量延迟与功耗，因此不能从精度最优推定实时性最优，流式可行性仅由因果设计与复杂度分析支持。

去掉哪一部分损失最大，难负样本有多重要？

消融要回答的是非对称损失、偏置模块、音素级损失与数据增强各自是否必要。比较条件是同一文本加音频注册与同一难集易集指标。下表整理了原文消融结果，第一行为纯文本 MPA 作为参照，第二行起为多模态下的变体。

表后解释需要同时讲收益与代价。把非对称代理损失换为 InfoNCE 后难集等错误率从 8.21% 升至 9.04%，支持跨模态需不对称优化的判断。去掉偏置模块升至 9.52%，说明早期文本先验有实质贡献。完全去掉音素级对比损失升至 11.87%，说明显式音素度量对区分易混词至关重要。去掉混淆词数据增强后升至 12.52%，是所有消融中退化最大的一项，说明动态难负样本是难集性能的关键来源，但其效果依赖束搜索质量与屏蔽策略，若束搜索本身不准可能引入噪声。

下图用余弦相似度矩阵直观展示了对齐能力， rows 为支持侧音素，列为查询侧音素或帧，颜色越亮表示相似度越高。

看图路径： 1. 先对比第一行音频对音频矩阵中正样本对角线与难负样本部分对角线与易负样本无对角线的差异；2. 再看第二行文本对音频矩阵是否保持同样的由强到弱趋势；3. 最后看第三行帧级 CTC 概率图中正样本清晰斜线与难负样本局部集中与易负样本分散的对应关系

论文图 2。原论文 Figure 2：“Visualized cosine similarity maps. (a-c): Positive sample for ”costumes”.”。

从像素可见，正样本 costumes 在音频对音频与文本对音频矩阵中均呈现清晰的亮色对角线，第三行帧级 CTC 概率也呈现清晰斜线，说明同一词的不同表述在音素层面逐段对应。难负样本以支持 beautifully 对查询 beautiful 为例，前半部分仍有对角结构而尾部出现错位，图中用黄框与红框标出共享前缀与差异尾部，易负样本以支持 acclamations 对查询 potent 为例则无对角结构且 CTC 概率分散。这种由强到部分再到无的渐变，与模型在难集与易集上的数值差距相互印证，但可视化只是单样本展示，不能替代整体指标。

哪些边界没有测，哪些推论不能做？

首先是未评测边界。原文只在 LibriPhrase 上训练与测试，未报告跨数据集、跨语言、噪声与远场条件下的表现，也未报告连续语音流中的误唤醒率与单位时间计算量。易集已接近饱和，难集的提升是否能迁移到真实唤醒场景待验证。其次是未测量量。训练资源只给了优化器与批量大小，未给显卡型号、训练时长与内存占用。推理开销只给了对齐复杂度为窗长乘以音素长度，以及缓存文本与支持音频嵌入、压缩到音素长度等定性分析，未给逐帧延迟、帧率与端到端功耗实测。

其次是证据等级的区分。原文直接报告的是曲线下面积与等错误率数字，这属于报告。原文用消融支持非对称损失与难负样本的必要性，这属于有限解释。至于更大编码器是否一定更好、滑窗近似在长词上是否始终无损，则属于可能但待验证的推测，不能当作结论。此外不同指标的差值不能混放，百分点与相对百分比不同，叙述提升时应保留原单位与精度。

最后是实现缺项。束搜索宽度、难负例数量、滑窗大小、阈值选择与聚合口径均未完整交代，复现时需自行记录并做敏感性分析。资源状态为无可用公开链接，因此不能写当前可用或已公开，只能说本次未能确认可达，复现必须从原文描述重新实现。

要复现应先做什么，先固定哪些条件？

第一步是复现数据管线。按原文从 LibriSpeech 的对应子集构造 LibriPhrase 风格的短语三元组，明确锚词文本、锚词音频与对比词音频的划分，并按编辑距离复现难集与易集的划分逻辑。记录采样率、80 维对数梅尔滤波器组的窗长窗移、频谱增强的频率与时间掩码参数，以及文本转音素所用的发音词典模型版本，因为音素集合不一致会导致对齐矩阵维度对不上。

第二步是复现模型与训练顺序。先按因果卷积、下采样率 4、18 层 300 通道实现声学编码器并用 CTC 损失独立预训练，再加入文本编码器、4 头偏置模块、双分支投影、W-CTC 对齐、对比学习与验证器做端到端多任务训练。固定嵌入维度 256、温度 0.04、间隔 0.85、正负尺度 20.0 与 10.0、损失权重 0.1、0.1 与 1.0、AdamW 学习率 0.0005、权重衰减 0.05、批量 500，以及一半概率屏蔽支持音频的逻辑。束搜索宽度与滑窗大小原文未给，建议先设小值并记录每次改动对难集等错误率的影响。

第三步是复现评测。分别在纯文本与文本加音频注册下测难集与易集的曲线下面积与等错误率，保留 2 位小数的原始精度与参数量标注。先复现 W-CTC 基线作为流式对照，再逐步打开偏置模块、非对称损失与数据增强，观察难集等错误率是否从 12% 量级逐步降到 8% 量级。若只复现易集会因饱和而看不出差异，必须以难集为主。

何时值得尝试这种多模态音素对齐？

当任务同时满足 3 个条件时值得尝试。第一，关键词表开放且易混词多，需要细到音素的区分而不是整句相似。第二，部署要求流式低延迟，不能用全句双向注意力或高复杂度后处理。第三，注册时能拿到少量示例音频，至少在部分场景可做文本加音频融合。此时统一用 W-CTC 处理支持与查询音频、跨模态用非对称损失、模态内用对称损失、再加 CTC 束搜索动态难负样本的组合，能在不换大编码器的前提下提升难集精度。

当任务是固定词表、算力极小或只有纯文本且无暇调多任务权重时，应谨慎采用。因为多分支验证器与对比损失增加了训练复杂度，难负样本质量依赖自身声学编码器的解码能力，滑窗回溯的近似误差在长短语上尚未充分验证。复现时先做最小可运行版本，即纯文本加 W-CTC 加验证器，再逐步加入偏置与多模态，最后补延迟实测与噪声测试，才能把论文的精度证据转化为可部署的收益判断。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总