只压住意图还不够：绑定子空间如何切断意图到槽位的条件映射

英文题目：Selective Capability Unlearning in End-to-End Spoken Language Understanding

会议身份：conference:interspeech:2026:conference-paper-id:singh26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#正则化 #端到端 #语音 #口语意图与槽位识别

评分：6.1/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Akanksha Singh：机构信息未能从会议 PDF 纯文本可靠映射
• Vinod Kumar Kurmi：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

端到端口语理解将语音直接映射为意图加槽位值的结构化语义帧，解码顺序固定为先意图后槽位，联合分布分解为\(p_{\theta}(i,s|x)=p_{\theta}(i|x)p_{\theta}(s|i,x)\)。作者将可删除功能定义为条件能力\(C_{\theta}(i)(x)=p_{\theta}(s|i,x)\)，实际难点是压低边缘意图概率\(p_{\theta}(i|x)\)无法消除该条件映射。强制供给真实意图前缀时模型仍可重建槽位，此结构性失效称为能力持续，分类式遗忘方法未显式处理该条件生成结构。绑定子空间遗忘分两阶段：先在槽位位置抽取解码器隐状态，对比遗忘集与保留集协方差得到方差过剩的低维绑定方向。再在微调中惩罚条件似然梯度在该子空间上的投影以降低一阶敏感度，并与遗忘反转、保留损失和保留KL正则联合优化。与仅抑制边缘概率的梯度上升与偏好优化不同，BSU直接衰减表征空间的意图条件方向，因而强制前缀下仍能阻断重建且不增加推理开销。SLURP上NeMo-Conformer-Transformer设置下，BSU将强制前缀波束恢复率（Beam Retrieval Rate，BRR@10）从92.64%降至22.10%，语义相似度从90.14%降至24.80%，接近重训练的18.59%与23.53%，保留集意图准确率维持87.90%。结论限于单意图删除、英文SLURP与法文SpeechMASSIVE子集、教师强制对齐的槽位边界，原文未披露优化器、学习率、子空间维度与训练成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么要做选择性遗忘？

本文研究的是端到端语音理解。输入是一段语音信号，输出是一个结构化语义帧的词序列，序列开头先写意图标签，后面再写槽位类型和槽位取值。举例来说，输入是预定早午餐的语音，输出就要先给出日历创建条目的意图，再给出事件名、日期、时间段、人物等槽位。对刚入门的读者，可以把意图理解成要办哪件事，把槽位理解成办这件事需要的表格栏目。

论文要解决的现实需求是，模型部署后因为政策、安全或合规变化，需要关掉某个具体功能，例如某个地区的金融交易或某类健康建议。把模型从头重训代价很高，因此需要部署后定点删除目标能力，同时保留其他意图的行为。需要保留的关键信息是，功能在这里被定义为意图加其条件槽位生成行为，而不是孤立的分类标签。

意图 × 槽位： 意图负责判断整句话要做什么，槽位负责抽出完成这件事需要的具体参数，二者搭配的原因是自回归解码先输出意图再以它为前缀生成槽位，组合意义在于可移除的功能不是单个标签而是意图条件下的槽位生成映射。

论文的默认实验条件是编码器为 Conformer 声学编码器、解码器为基于 Transformer 的语义解码器，输出顺序固定为意图在前、槽位在后。这一顺序决定了后续所有分析都围绕自回归条件结构展开。读者复述时要先讲清输入语音到意图再到槽位的主路径，再讲删除请求只针对某一个目标意图，其余意图构成保留集。

已有遗忘路线为什么在这里不够用？

论文把相关路线归为 3 类并做了适配对照。第一类是梯度上升及其稳定变体，包括只在遗忘集上做梯度上升、在遗忘集上升同时在保留集下降的梯度上升加梯度下降，以及加保留集散度约束的梯度上升加散度约束。第二类是负偏好优化及其加散度约束版本，用偏好目标降低与遗忘集输出的分布对齐。第 3 类是随机标签，把遗忘集标签换成随机目标来模拟能力删除。

论文指出，这些方法原本大多面向分类式遗忘或大语言模型生成遗忘，没有显式处理自回归语音理解中意图前缀决定槽位生成的结构。它们的共同动作是压低目标意图的边际概率，也就是让标准解码不再预测出该意图。但在解码时如果由外部强制喂入正确的意图前缀，模型仍可能沿着学过的表示方向生成正确槽位。论文用重训作为参照上限，重训是指去掉目标意图数据后重新训练，理想情况下目标能力低、保留能力高。

理解这一节的关键是，同输入同目标同运行阶段的比较才有意义，不能把分类准确率的下降直接等同于条件能力的删除。

什么是能力残留，强制前缀如何暴露它？

论文把要删除的能力形式化为条件映射，也就是给定语音和意图时生成槽位的分布。用白话说，能力不是会不会说出意图词，而是知道意图后会不会填表。选择性能力遗忘有两个目标。第一是能力擦除，即使外部给定目标意图前缀，模型对遗忘集输入也无法生成正确槽位。第二是能力保留，对所有非目标意图，联合行为要接近原模型。

现有方法失效的原因是只干预了边际分布，没有修改隐状态中编码意图与槽位关联的表示方向。解码器隐状态同时依赖声学输入、意图前缀和已生成词，输出词概率是隐状态的仿射变换加归一化。如果表示方向没有被削弱，强制前缀就能重新激活原来的槽位路径。

边际意图预测 × 条件槽位生成： 边际意图预测只管在标准解码下是否输出目标意图词，条件槽位生成管的是给定意图前缀和语音后能否生成正确槽位，二者搭配才能解释能力残留，组合意义在于只压住前者并不能消除后者，所以评估必须加入强制前缀恢复率。

下面这张示意图用一个日历例子走完标准解码与强制前缀解码的差异，是理解后文评估协议的基础，请先看输入例句与 3 组输出的对应关系。

看图路径： 1. 先看顶部语音输入例句及其原始完整语义帧包含哪些槽位；2. 再对比中间现有遗忘方法在标准解码与强制意图前缀下的两行输出差异；3. 最后看底部本方法在强制前缀下是否仍输出空槽位集合

论文图 1。原论文 Figure 1：“Capability persistence under forced-prefix decoding.”。

该图顶部给出英文语音转写及其原始完整语义帧，包含事件名、日期、时间段和人物 4 个槽位。中间现有遗忘方法在标准解码下输出空槽位集合，看似已经遗忘，但在强制喂入意图前缀后又完整恢复 4 个槽位，说明意图到槽位的绑定仍在。底部本方法在两种解码下都输出空槽位集合，说明条件依赖被切断。复述时不要把标准解码下意图消失当作遗忘成功，必须补上强制前缀这一更严格的检查。

绑定子空间遗忘的全景分哪两步？

论文提出的方法叫绑定子空间遗忘，白话是先找到与目标意图绑定的表示方向，再让模型对这些方向变迟钝。方法全景分为两个阶段。第 1 阶段是绑定子空间识别，输入是目标意图对应的遗忘集和其余意图对应的保留集，输出是每一层取前若干特征向量构成的低维子空间。第二阶段是子空间引导的能力衰减，在微调中降低条件似然对这些方向的 1 阶敏感度，从而削弱强制前缀下的槽位生成。整个过程通过参数更新实现，推理时不增加额外模块和开销。

沿一个样本走一遍，语音进入编码器得到声学表示，解码器先生成意图词，再在槽位位置结合声学表示、意图前缀和历史词生成槽位词。第 1 阶段在槽位位置采集隐状态并做统计对比，第二阶段在同样槽位位置计算梯度并做投影惩罚。最终目标是降低强制前缀下的条件分布质量，同时保持保留意图的联合行为。论文强调子空间构造是统计近似，不是声称表示严格解耦。

子空间识别具体算了什么？

第 1 阶段包含 3 个可复述的计算动作。第一是隐状态抽取，用教师强制解码对齐真实语义结构，估计意图与槽位的分界位置，只取分界之后的槽位位置隐状态。这样做是为了避免自由解码错误带来的对齐漂移，让统计对象固定为真实槽位生成所需的表示。第二是协方差对比，在每一层分别对遗忘集和保留集的槽位隐状态计算经验协方差矩阵，再相减得到对比矩阵。相减的直觉是方差在目标意图下更高、相对保留数据更高的方向，更可能参与条件槽位似然。

第三是子空间抽取，对比矩阵取最大正特征值对应的特征向量，组成该层的绑定子空间矩阵。论文明确说这是富集方向的近似，不假设严格可分。

协方差对比 × 绑定子空间： 协方差对比负责在槽位位置分别统计遗忘集和保留集隐状态的协方差并相减，绑定子空间是相减矩阵最大正特征 excess 对应特征向量张成的低维方向，搭配理由是用统计富集近似定位意图条件依赖，组合意义是为第二阶段提供需要降敏感的具体表示方向。

实现细节上，模型从预训练语音理解模型复制一份可训练参数开始，目标意图固定，层数覆盖解码器各层，子空间维度是低维的紧凑选择。复述时要讲清输入是教师强制下的槽位隐状态，输出是每层的投影基，中间的对比操作是关键，不能简化为只在遗忘集上做主成分分析。

衰减阶段如何更新参数，各项损失各管什么？

第二阶段和最终目标把遗忘写成带约束的微调。先定义遗忘集负对数似然和保留集负对数似然。标准做法是最小化遗忘集似然会越学越牢，因此总目标对遗忘集取负号，用梯度下降实现对遗忘集的梯度上升，压制目标能力，同时最小化保留集损失以保持非目标意图。论文在此基础上加两项。第一是保留集散度正则，让更新后模型在保留集上的分布接近原模型，用于稳定优化并限制偏离。

第二是绑定损失，对与目标意图相关的槽位位置，计算教师强制条件下对数似然对隐状态的梯度，再投影到绑定子空间并惩罚其平方范数。如果槽位生成确实依赖某些表示方向，梯度在这些方向上的分量会很大，惩罚它就等于让模型对这些方向脱敏。最终目标是遗忘项取负加上保留项、散度项和绑定项的加权和，所有项都用标准梯度下降优化，负号自然带来遗忘集上的上升。论文报告默认权重为保留权重取 1.0、散度权重取 0.1、绑定权重取 0.5。

绑定损失 × 保留正则： 绑定损失负责把条件对数似然对隐状态的梯度投影到绑定子空间并惩罚其平方范数，保留正则负责用保留集似然和与原模型分布的散度约束不偏离原能力，搭配理由是一个负责切断目标条件映射、一个负责守住其余意图，组合意义是在参数更新中实现选择性遗忘而不引入推理时开销。

需要说明的缺项是，原文没有给出优化器类型、学习率、训练轮数和批量大小等完整训练超参数，也没有说明子空间维度、层选择和分界估计阈值的具体搜索过程，复现时只能先按论文给出的 3 个损失权重搭建目标，再补做超参数扫描。推理阶段没有额外计算，这是与解码时干预方法的重要区别。

在什么数据和模型上测，用什么指标判定残留？

实验用两个语音理解数据集。主数据集是 SLURP，每条语音标注意图和对应槽位值对。跨语言稳健性用 SpeechMASSIVE 的法语子集，语义映射格式相同。对每个数据集选定一个目标意图，按是否属于该意图划分为遗忘集和保留集。模型结构固定为 Conformer 声学编码器加 Transformer 语义解码器，分词器、解码器和训练流程相同，只改变编码器初始化。

一种是监督语音识别 checkpoint 初始化的语音理解设置，另一种是自监督语音表示初始化的设置。评估分表面指标和行为指标。表面指标是意图准确率和槽位宏 F1，沿用 SLURP 协议。行为指标是重点，包括 BRR@10 和语义相似度。BRR@10 指对遗忘集中每条语音强制喂入真实意图前缀、用波束为 10 解码时，正确语义帧是否出现在前 10 个候选中的比例。

语义相似度指生成帧与真值帧经嵌入映射后的余弦相似度，用于捕捉非精确匹配的残留接近程度。两个行为指标都是越低表示遗忘越彻底，越高表示能力仍可恢复。

BRR@10 × 语义相似度： BRR@10 负责度量在波束为 10 且强制给定真实意图前缀时正确语义帧是否出现在任一候选中，语义相似度负责用嵌入余弦度量生成帧与真值的接近程度，搭配理由是前者看精确恢复、后者看近似残留，组合意义是避免只看意图准确率时漏掉条件能力的持续存在。

基线包括原模型、重训、梯度上升系列、负偏好优化系列、随机标签，以及随机子空间消融。随机子空间沿与目标无关的随机方向扰动表示，用于反证无结构扰动不能系统性切断能力。论文未报告代码、模型和数据的当前可达状态，资源状态为未发现来源绑定且完成验证的资源，因此不能声称已公开，只能按论文文字复现流程。

主结果是否同时做到目标下降和保留稳定？

论文要回答的问题是，在强制给定意图前缀的严格条件下，目标槽位内容是否还能被生成，同时非目标意图是否保持可用。比较条件是同一数据集、同一编码器初始化、同一划分下的原模型、重训和各遗忘基线。指标方向是遗忘集的意图准确率、槽位 F1、BRR@10 和语义相似度越低越好，保留集的对应指标越高越好。关键发现是梯度类和偏好类基线能在若干设置下降低遗忘集的边际意图预测，但在强制前缀下的恢复分数仍然很高，说明条件槽位内容仍可恢复。

本方法在遗忘集 4 个指标上都有明显下降，同时保留集相对原模型和重训在多数设置下保持稳定。以下两张表分别整理两种编码器初始化下遗忘集行为指标的下降幅度，表头单位为裸数值，数值精度保留原文写法，比较对象限定为原文实际可运行的原模型与本方法。 第一张表聚焦监督语音识别初始化的 SLURP 设置，提出的问题是强制前缀下的精确恢复和语义接近是否同时下降，公平条件是同一遗忘集和同一波束解码协议，指标方向为越低表示残留越少。

该表显示监督初始化下精确恢复率下降约七十点，语义相似度下降约六十五点，说明不仅精确帧难以恢复，近似语义也被大幅削弱。代价是遗忘集意图准确率（%）并未降到重训水平，论文报告本方法该设置下遗忘集意图准确率为 28.40，仍高于重训的 14.04，但行为层面的恢复已被明显抑制，这是区分边际预测与条件能力的关键。

第二张表聚焦自监督初始化的 SLURP 设置，提出的问题是换一种编码器起点后下降是否依然成立，公平条件仍是同一数据集划分和同一强制前缀协议，指标方向同样为越低越好。

该表显示自监督初始化下降幅度更大，精确恢复率降到十六左右，语义相似度降到十九以下。论文还报告在 SpeechMASSIVE 上也有类似下降趋势，支持跨语言设置下的选择性。

保留集方面，论文称多数设置下相对原模型和重训保持稳定，但未给出每组统计显著性，因此只能表述为报告显示稳定，不能推广为所有意图都无损。

绑定正则和随机扰动分别说明什么？

这一节回答两个反证问题。第一，无结构扰动能否带来遗忘。第二，绑定系数增大是否单调增强遗忘且不拖累保留。随机子空间消融沿随机方向扰动表示，不与目标意图到槽位的依赖对齐，结果是抑制有限，说明系统性切断需要定位到富集方向，随机扰动不能替代协方差对比。第二是绑定正则敏感性分析，论文用两张并列曲线展示系数从 0 到 1 变化时遗忘集与保留集的行为，请先按横轴与纵轴读出趋势再判断取舍。

看图路径： 1. 先看横轴绑定正则系数从 0 到 1 的变化方向；2. 再对比左图遗忘集四条曲线随系数增大的下降幅度；3. 最后看右图保留集四条曲线是否基本保持水平

论文图 2。原论文 Figure 2：“Effect of the binding regularizer λbind.”。

左图遗忘集的 4 条曲线随绑定系数增大稳步下降，意图准确率（%）、槽位 F1、BRR@10 和语义相似度都从接近九十降到二十左右，其中语义相似度下降后在三十附近趋平。右图保留集 4 条曲线在同一系数范围内基本保持水平，维持在九十附近，说明增大惩罚主要作用于目标能力。复述时要注意纵轴是原始指标值，不是相对改变量，曲线向下在这里对应遗忘集指标变好、残留变少，不能直接说性能变差。未胜出项是随机标签和负偏好优化加散度约束等基线在部分设置下保留较好但遗忘不彻底，例如在 SLURP 监督初始化下某些基线的 BRR@10 仍在八十以上，这正是论文用来证明只做分布压制不够的反例。

哪些边界没有测，哪些结论不能推广？

论文直接报告的是 2 个数据集、两种编码器初始化、波束为 10 的强制前缀恢复下降，以及保留集整体稳定的平均趋势。有限解释是绑定子空间近似了意图条件依赖，随机子空间对照支持了方向选择的重要性，系数曲线支持了绑定项的单调作用。未验证的推测包括该方法能否推广到更广泛的生成任务、隐私场景下的合规删除是否充分、以及多意图同时删除时的干扰。原文明确把扩展到更广泛生成任务和面向隐私的原则性能力遗忘列为未来工作。

缺失的证据不是技术错误，但复述时要用可能和待验证来限定。没有测量的量包括误判率、延迟、训练计算成本和推理帧率，论文只说明推理无额外开销，没有给出实际延迟数字，因此不能承诺延迟改善。总体趋势不等于每组每步都成立，例如保留集在个别基线和设置下仍有波动，引用时要限定数据集和初始化条件。

要复现先做什么，需要补哪些验证？

复现的第一步是搭建端到端语音理解基座，保证输出顺序为意图在前、槽位在后，并实现教师强制下的槽位分界估计，否则隐状态抽取无法对齐。第二步是按目标意图划分遗忘集和保留集，在每层分别计算槽位隐状态的经验协方差并相减，取最大正特征向量构成绑定子空间。第三步是实现最终微调目标，包括遗忘集负号项、保留集似然项、保留集散度项和绑定梯度投影惩罚项，论文给出的可直接采用的权重是保留权重 1.0、散度权重 0.1、绑定权重 0.5。

评估必须包含强制前缀协议，波束设为 10，报告遗忘集的意图准确率、槽位 F1、BRR@10 和语义相似度，以及保留集的对应指标。何时值得尝试是当部署后需要按意图关掉某个功能、且担心调用方通过强制前缀绕过意图分类时。还需补的验证包括多次随机种子的方差、不同目标意图的选择敏感性、波束宽度变化下的恢复率，以及保留集细粒度意图的逐类检查。

资源方面，原文脚注称标注和代码将公开，但本次未发现可验证的公开资源，因此应按未公开处理，先做流程复现而非等待权重下载。

一句话收束：何时用它，何时不用？

综合来看，这篇论文把语音理解的功能删除从压住意图词推进到切断意图到槽位的条件映射，用协方差对比定位方向、用梯度投影惩罚降低敏感度，并在强制前缀这一更严格的检查下显示大幅下降。当需求是合规下线某个意图且保留其余功能时，这个思路值得尝试。当需求只是让标准解码不再输出某标签、且调用方无法注入前缀时，轻量梯度上升类方法可能已够用，不必引入子空间统计和额外正则。

初学者复述全篇可用四句话串起，先讲自回归顺序决定能力是条件映射，再讲强制前缀暴露边际压制的不充分，接着讲 2 阶段如何定位并衰减绑定方向，最后讲行为指标下降与保留稳定的证据和边界。记住区分报告显示、结果支持和尚待验证 3 种语气，就能既讲清方法动作，又不夸大结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总