遗忘不等于考砸：ASR 遗忘为何要逼近重训模型而非推高误差

英文题目：Evaluating Machine Unlearning in ASR

标签：#语音识别 | #评测协议 | #隐私保护 | #语音

评分：7.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Diogo Dinis：机构信息未在 arXiv HTML 中可靠披露
• Francisco Teixeira：机构信息未在 arXiv HTML 中可靠披露
• Bhiksha Raj：机构信息未在 arXiv HTML 中可靠披露
• Alberto Abad：机构信息未在 arXiv HTML 中可靠披露
• Isabel Trancoso：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

本文处理ASR说话人级遗忘任务，输入为语音波形、转写文本与说话人标识，输出为遗忘后模型的词错误率与成员推断抗性，难点在于遗忘模型应分布逼近重训金标准而非推高遗忘集误差。方法链第一步以E-Branchformer为基座构造10组单说话人遗忘与保留划分并重训剔除10个遗忘说话人的金标准模型，为后续对齐提供参照分布。第二步对5种近似遗忘算法做10轮适配并以贝叶斯搜索最小化遗忘集与测试集损失分布间的土方距离，将第一步的划分输出转化为超参数选择目标。第三步用保留集训练、遗忘集评估的简单与知情两类随机森林成员推断攻击加土方距离验证隐私，将第二步对齐后的模型输出送入隐私效用评估。相对只看遗忘集高误差的已有评估，关键机制差异在于坚持窄遗忘定义并引入遗忘感知知情攻击，揭示过度遗忘反而更易被识别的机制，具有纠正标准评估盲区的实际意义。在LibriSpeech单说话人遗忘评测设置下，NegGrad+的MIA AUC为50.18%，低于原始模型的MIA AUC 67.48%。该结论适用边界受限于单模型单语料与10个遗忘主体，序列与同步多主体遗忘均出现退化等失败条件，多说话人场景尚未验证。原文披露实验硬件为单节点Intel Xeon Gold 6348 CPU与3块NVIDIA RTX A6000 GPU，但未量化训练成本与推理开销的延迟与吞吐差异。

🔗 开源与复现资源

• 代码相关资源：https://github.com/dmbdpt/asr-unlearning-evaluation — 链接可访问（HTTP 200）

• 模型相关资源：https://huggingface.co/asapp/e_branchformer_librispeech — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么语音识别的删除请求比删文件难？

输入是这篇论文要解决的现实矛盾：用户要求删除自己的语音数据，服务方可以删掉硬盘上的音频文件，却删不掉已经进入模型权重里的痕迹。目标读者是刚进入语音领域的研究生，需要先建立的事实是，大规模识别模型会被成员推断、模型反演和数据抽取攻击，攻击者可能判断某条语音是否参与过训练，甚至还原训练样本。

论文把合规背景限定为欧盟通用数据保护条例和加州消费者隐私法案中的删除权或被遗忘权，指出对存储数据执行删除是直接的，对训练好的权重则没有直接删除操作。输出是本文的技术解读：只讲论文实际做的说话人级近似遗忘，不扩展到精确遗忘的架构改造，也不承诺任何未测量的延迟或成本改善。

必须保留的信息是论文的窄定义：遗忘成功的标准不是把遗忘集上的误差做得越高越好，而是让遗忘后模型的行为接近从头去掉遗忘集重训得到的金标准模型，遗忘样本的词错误率和损失应与同分布未见数据接近。这个定义决定了后文所有效用和隐私指标的方向，误把推高误差当成功是本论文要纠正的第一个误解。

同任务、同目标的相关路线有哪些差异？

论文把相关工作按同输入、同目标来对照。语音领域的机器遗忘此前多集中在分类任务，包括说话人识别、关键词检测、语音情感识别和口语理解，输入是整句判一个标签，目标多是去掉某类或某种偏置。语音合成方向也有遗忘工作，输入是文本到语音，目标是去掉某说话人的音色能力。

自动语音识别的输入是连续语音波形或特征序列，输出是变长文本转写序列，模型同时依赖编码器的声学对齐和解码器的语言约束，遗忘对象是某说话人的全部语句，评价既要看转写是否仍可用，又要看损失分布是否暴露成员身份，因此不能直接套用分类任务只看遗忘集准确率下降的做法。论文点名了两项最接近的工作以说明差异。

第一项是在基于大语言模型的语音识别上对合成金丝雀做梯度上升，金丝雀是为追踪隐私人工注入的合成样本，作者认为合成分布与真实训练分布不同，可能高估遗忘能力。第二项是跨任务比较多种遗忘方法，但其目标是让遗忘集误差尽量高，这与本文逼近重训模型的定义不同。本文的定位因此是首次按窄定义深入探索端到端语音识别的遗忘，并提供包含 5 种方法的可复现代码库。

教学例子：可以把金丝雀理解为课堂点名用的特殊学号，能测出老师是否记住名单，但它与真实学生姓名分布不同；本文要测的是真实学生姓名被忘掉后，老师对该姓名的反应是否与从未见过的新生一致。

遗忘任务的形式化输入与成功标准是什么？

论文把任务写成监督学习符号。设识别模型为从语音空间到文本空间的映射，参数由随机训练算法在训练集上得到，训练集由语音、对应转写和说话人标识三元组构成，服从某个数据分布。给定某说话人的删除请求，遗忘集定义为训练集中属于该说话人的全部语句，保留集定义为去掉遗忘集后要保留的数据子集。遗忘算法的输出是遗忘后参数，理想目标是金标准参数，即用去掉遗忘集的数据从头训练得到的模型。

由于训练算法本身随机，金标准实际是一个模型分布，遗忘的目标是让遗忘后模型更可能来自去掉遗忘集后的训练分布，而不是来自包含遗忘集的原分布。沿一个样本走完流程有助于理解：一条遗忘说话人的测试语音先进入编码器得到声学表示，再进入解码器做自回归文本预测，模型会给出连接时序分类损失和交叉熵损失以及解码文本。

遗忘前该样本损失偏低、词错误率接近零，遗忘后理想情况是它的损失和词错误率抬升到与同分布未见语音相近，而不是抬升到异常高以至于一眼可辨。论文因此同时要求效用指标接近重训模型，隐私上要求成员推断攻击对遗忘样本的识别接近随机猜测，攻击曲线下面积接近 50%。

五种近似遗忘方法各自要动什么？

论文只研究近似遗忘，不做精确遗忘。精确遗忘如分片隔离聚合，需要在训练前就把模型按数据分片设计，删除时只重训受影响的分片，能给出形式化保证，但不适用于已部署的现成模型。近似遗忘是事后在预训练模型上做适配，通常是在遗忘集上做梯度上升、在保留集上做微调的组合，没有精确保证，只能靠实证评估隐私。本文适配到语音识别的 5 种方法构成全景。第一是基线微调，只在保留集上做梯度下降，故意过拟合保留集以引发对遗忘集的灾难性遗忘。

第二是基线灾难性遗忘后几层，只微调最后几层而冻结前面层。第三是梯度上升及其扩展，梯度上升在遗忘集上反向梯度以增大损失，扩展版本同时在保留集上微调以缓解效用崩塌。第四是可扩展记忆与遗忘方法，采用教师学生结构，以原模型为教师，在保留集上用蒸馏损失和任务损失保持相似，在遗忘集上用负散度推远学生与教师。

第五是注意力平滑遗忘，同样用原模型做教师，但提高教师注意力层 Softmax 温度以平滑注意力分布，使教师对遗忘集输出更不自信，学生则去拟合这种平滑后输出，本文实现只针对解码器注意力层。5 种方法的监督来源不同：前两者只见保留集，梯度上升只见遗忘集或两者都见，后两者同时依赖教师输出和任务标签。

组件如何组合？先看清分工再谈效果

本节承担把组合机制讲透的任务，避免把方法名当作黑盒。

机器遗忘 × 成员推断攻击： 机器遗忘负责把已训练模型中特定说话人数据的影响去掉，目标是让遗忘后模型的行为像从未见过这些数据；成员推断攻击负责检验是否去掉，它用损失等信号判断某条语音是否曾参与训练。两者搭配的原因是遗忘没有精确可验证的删除痕迹，只能用攻击成功率作为隐私代理：攻击越接近随机猜测，说明遗忘越彻底，但这只是必要条件而非充分条件。

梯度上升 × 保留集微调： 梯度上升负责在遗忘集上反向走一步，让模型对这些样本的损失变大，从而削弱记忆；保留集微调负责在保留集上继续做梯度下降，维持识别能力并防止灾难性遗忘。两者搭配的原因是只做上升会破坏通用语音表示，只做保留集微调则对遗忘集去影响太慢，组合后形成 NegGrad+：一个推离遗忘数据，一个拉回正常任务，新增作用是在效用不崩的前提下移动遗忘分布。

蒸馏 × 注意力平滑： 蒸馏负责让学生模型在保留集上模仿教师模型的输出分布，保持原有识别行为；注意力平滑负责把教师在解码器注意力上的 Softmax 温度调高，使教师对遗忘集输出更不确定，再让学生去拟合这种不确定输出。两者搭配的理由是都使用原模型做教师来约束偏离方向，新增作用是试图只降低遗忘集上的置信度而不直接推高损失，但论文显示这种不对称操作会在解码器交叉熵上留下可识别痕迹。

简单攻击 × 知晓遗忘的攻击： 简单攻击负责用保留集成员和测试集非成员训练随机森林，只学训练与测试损失的差别；知晓遗忘的攻击负责把其他说话人遗忘后模型的遗忘样本损失也加入训练，让分类器见过遗忘后是什么样子。搭配原因是前者会把损失过高的遗忘样本误判为非成员而高估隐私，后者补上了遗忘操作本身引入的分布偏移，新增作用是检验过度遗忘：损失异常高同样会被识别为曾被遗忘。

词错误率 × 推土机距离： 词错误率负责衡量识别效用是否保持，越接近重训模型越好；推土机距离负责衡量遗忘集损失分布与测试集或重训模型遗忘集分布的整体距离，距离越小越接近理想遗忘。两者搭配的原因是只看攻击成功率会漏掉分布层面的偏离，只看词错误率又看不到损失置信度的变化，组合后才能同时回答能不能用和像不像没见过。

把这些组合放回语音识别的具体计算会更清楚。编码器给出连接时序分类损失，解码器给出交叉熵损失，论文的简单攻击同时用这两个损失训练随机森林。注意力平滑只动解码器，意味着编码器损失变化小而解码器交叉熵对遗忘样本异常高，简单攻击学的是训练与测试的联合边界，可能仍把该样本判为非成员，但见过遗忘样本的知晓遗忘攻击会抓住解码器损失偏高这 1 维，直接把高交叉熵当作成员信号。

这解释了为什么只看简单攻击会得出注意力平滑隐私很好的错觉。同样，梯度上升把遗忘集损失推得很高，但只要遗忘分布仍比保留分布更接近测试分布，简单攻击依然失效；只有当上升过度到远离测试分布，或保留集也被破坏导致三者混在一起时，攻击和距离指标才会同时变化。

没有重训主模型时，真正的计算发生在哪里？

本节必须先说明没有训练阶段的部分和有计算的部分。本文没有训练新的基础识别模型，主模型是直接下载的开源预训练 E-Branchformer，用 ESPnet 的 LibriSpeech 配方在全部 960 小时上训练得到，保证数据划分可追溯。真正的计算有 3 类。第一类是金标准重训：为评估而从头重训一个完整模型，但为省算力只重训 1 次，同时去掉 10 个待遗忘说话人，而不是每个说话人各重训 1 次，这是一个为成本做的近似，复现时要意识到它与理想的每个遗忘集对应一个金标准有差距。

第二类是遗忘适配：对 10 个遗忘说话人各生成 1 对遗忘集与保留集，另留一个不相交说话人做超参数搜索，统一做 10 个轮次、批量大小为 8 的遗忘，剩余超参数用 Optuna 的树结构 Parzen 估计做贝叶斯搜索，目标是最小化遗忘后模型在遗忘集上的逐句损失分布与遗忘前模型在测试集上损失分布之间的推土机距离。第 3 类是攻击训练：随机森林在保留集成员与测试集非成员上训练，再在遗忘集与留出测试集上评估。

知晓遗忘版本采用留一法，用其余 9 个说话人的遗忘后模型损失做有信息的成员训练。硬件条件按原文交代为单个计算节点，含一颗英特尔至强金牌处理器和三块英伟达 RTX A6000 显卡。原文未报告各方法的逐步梯度范数、学习率明细和重置时机等细节，这些缺项在复现时只能按开源代码补齐，不能从模型名称推定。

数据划分、指标方向与攻击构造如何保证可比？

实验按要回答的问题组织：遗忘后还能不能用，遗忘样本还能不能被认出，条件是否一致。数据上用 LibriSpeech 的 3 个划分。遗忘与效用评估用 train-clean-100 拆出的遗忘集与保留集，平均每个遗忘说话人约 105 句、平均时长 11.9 秒，保留集约 250 个说话人、28434 句；效用还看 test-clean 与 test-other。成员推断评估另做时长匹配的划分，因为初试发现训练与测试集的平均语句时长差异大，时长本身会成为攻击的混杂因素，匹配后成员训练、非成员训练、成员评估、非成员评估的平均时长都控制在 11.8 到 11.9 秒附近。

指标方向要记牢：词错误率和损失应接近重训模型，不是越低越好也不是越高越好；攻击曲线下面积与等错误率应接近 50%；遗忘集损失分布与测试集分布、与重训模型遗忘集分布的推土机距离应小，与自身保留集分布的距离应大。攻击构造分两种。简单攻击用目标模型的编码器连接时序分类损失和解码器交叉熵损失训练随机森林。

知晓遗忘的攻击沿用同样特征，但训练时见过遗忘后模型的遗忘样本行为，因此能学到遗忘操作留下的偏移。代码与模型按资源状态交代：代码库当前可用，地址为开源仓库；预训练权重当前可用，地址为模型托管页。复现时应先核对这两个链接仍可达，再核对 LibriSpeech train-960 与 train-clean-100 的划分一致性。

单人遗忘中谁保住了效用，谁又骗过了简单攻击？

本小节先提出比较问题：在同一单说话人遗忘协议下，哪种方法在保持测试可用性的同时让简单攻击接近随机猜测，公平条件是统一 10 轮次与批量大小并各自调参，指标方向如上节所述。下表整理论文正文连续句子中直接报告的关键数字对比，聚焦简单攻击与知晓遗忘攻击的分歧，表中数值保留原文写法与精度。

表后解释需要同时讲收益与代价。论文报告显示，若只看简单攻击与词错误率，梯度上升、梯度上升加保留集微调、可扩展记忆与遗忘、注意力平滑 4 种方法都有较强的隐私效用权衡，其中扩展版与注意力平滑的简单攻击表现最好。但知晓遗忘的攻击改变了结论：可扩展记忆与遗忘与注意力平滑出现大幅隐私退化，论文明确报告注意力平滑的知晓遗忘攻击曲线下面积达到 87.57%，而简单攻击仅为 52.09%，说明遗忘样本仍可被识别。

机制上作者检查了分类器决策边界，发现简单攻击依赖两种损失的组合，而知晓遗忘攻击更依赖偏高的交叉熵把样本判为成员，这与只在解码器做平滑的设计一致。未胜出的基线是微调与只微调后几层，它们过拟合保留集并明显损伤两个测试划分。反证是推土机距离与攻击的倒置：最抗简单攻击的方法离金标准的遗忘集损失分布最远，而最接近金标准的微调类反而最易被攻击，因此抗攻击不等于信息已被去掉。

多人顺序与同时遗忘是否还能沿用单人超参数？

本小节的比较问题是真实场景的批量请求：把为单人调好的梯度上升类超参数直接用于顺序逐个遗忘 10 人与同时遗忘 10 人，隐私与效用是否保持，公平条件是超参数不再重调。下表用论文正文原句中的数字呈现 4 种多人运行的关键行为，保留原文单位与对照写法。

表后解释要指出两种相反的失败。顺序遗忘下梯度上升严重损伤模型，保留集词错误率升至 2.93%，而重训模型仅为 0.41%，其攻击曲线下面积为 59.39%，但遗忘与保留分布的推土机距离仅 0.86，论文认为这不是记住遗忘集，而是两者分布趋同。扩展版靠保留集微调有所改善，遗忘集指标在 4 种多人运行中最接近金标准，但测试集其他划分词错误率升至 6.81%，高于单人时的 4.25% 与重训的 5.02%，攻击也从单人的 50.18% 升至 55.58%。

同时遗忘下两者朝相反方向失败：普通梯度上升基本没忘掉，遗忘集词错误率 0.55% 与损失 3.16 接近原始模型的 0.40% 与 1.22%，攻击为 65.28%，作者解释为 10 个说话人共享梯度上升稀释了每人信号；扩展版则过度遗忘，遗忘损失达 14.91，与金标准距离达 10.18，为全表最大。总体判断是单人超参数不能可靠迁移到多人，需要为顺序与同时场景专门构造方法与调参。

哪些结论有边界，哪些验证还没有做？

论文明确承认的边界先讲。模型与数据边界是只用了一个识别模型与一个数据集，作者认为这足以支撑本文结论，但未来应扩展到其他架构与数据集。攻击边界是只用了简单的损失分类，原始性能约 67% 左右，文献中更复杂的攻击构造尚未在语音识别遗忘语境下探索。评估近似边界是金标准只重训 1 次并同时去掉 10 人，而理想是每个遗忘对象各重训 1 次，这会让分布距离的参照存在折中。需要区分直接报告、有限解释与未验证推测。

直接报告的是各方法的词错误率、损失、攻击曲线下面积与推土机距离的相对排序。有限解释是作者对注意力平滑依赖解码器交叉熵、同时遗忘稀释每人信号等机制的归因，这些解释有决策边界与数值支持，但仍属于事后分析。未验证推测是把结论推广到语音语言模型或流式识别等新架构，原文只在引言提及风险可能增大，并未实测，因此只能表述为可能或待验证。相关性不是因果：攻击成功率低只说明在该攻击下不可区分，不能承诺数据抽取攻击同样失败。

总体趋势不等于每组每步都成立，单人最优超参数在多人下即失效就是例证。

要复述方法并跑通实验，先做什么？

复现按学习依赖排序，先核对输入再跑遗忘最后做攻击。第一步取数与模型：下载 LibriSpeech 的 train-960、train-clean-100、test-clean 与 test-other，按论文方式为 10 个遗忘说话人各构造遗忘集与保留集，另留一个不相交说话人做调参，下载开源 E-Branchformer 权重并记录版本。第二步做金标准：按原始配方去掉 10 个遗忘说话人后从头重训 1 次，记录其在遗忘、保留与测试上的词错误率与两类损失，作为所有距离与接近程度的参照。

第三步跑遗忘：统一 10 轮次、批量大小 8，用贝叶斯搜索调其余超参数，搜索目标是遗忘后遗忘集损失分布与遗忘前测试集损失分布的推土机距离最小，分别实现微调、只调后几层、梯度上升、梯度上升加保留集微调、可扩展记忆与遗忘、注意力平滑作用于解码器注意力。第四步评效用与隐私：用束宽为 5 的默认解码算各集合词错误率，同时算编码器连接时序分类损失与解码器交叉熵损失。

攻击先做时长匹配，再训练简单随机森林与留一法的知晓遗忘随机森林，报告曲线下面积与等错误率，并算遗忘分布与保留、测试、金标准遗忘分布的 3 组推土机距离。何时值得尝试是当删除请求为整说话人、且能接受近似遗忘而非形式化保证时；还需补的验证是每个遗忘对象独立重训的金标准、更强攻击下的隐私，以及其他数据集与架构上的重复。

应带走的判断与易错点是什么？

应带走的判断有 3 条。第一，遗忘的成功是像没见过，而不是考得更差，任何把遗忘集误差推得异常高的方法都可能在知晓遗忘的攻击下暴露。第二，简单成员推断只能证伪不能证实，它说隐私好时要再用见过遗忘行为的攻击与分布距离复核，本文中注意力平滑与可扩展记忆与遗忘就是只过第一关而倒在第二关的例子。第三，单人调好的方法不能直接用于多人，顺序会累积损伤效用，同时会稀释或放大梯度信号，需要专门设计。

论文特有的误解要单独澄清：梯度上升加保留集微调在简单指标下权衡最好且比普通梯度上升更稳，但它离金标准的距离反而大，因此不能把它当作已达到精确遗忘；微调类离金标准近也不代表隐私好，它们仍易被简单攻击识别。复现与引用时保留关键信息条件：统一轮次与批量、贝叶斯搜索目标为推土机距离、攻击用双损失随机森林并做时长匹配、硬件为单节点 3 卡。未测量误判率、延迟与成本时，不应承诺这些量得到改善。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-30 语音/音乐/音频论文速递