为伪造判别而压缩：在高稀疏下保住跨域泛化的剪枝蒸馏

英文题目：Task-Aware Joint Pruning and Distillation for Efficient Audio Deepfake Detection

会议身份：conference:interspeech:2026:conference-paper-id:he26f_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#知识蒸馏 #模型剪枝 #高效推理 #鲁棒性 #音频深度伪造检测

评分：6.3/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Miao He：机构信息未能从会议 PDF 纯文本可靠映射
• Peng Cheng：机构信息未能从会议 PDF 纯文本可靠映射
• Zhongjie Ba：机构信息未能从会议 PDF 纯文本可靠映射
• Qing Wen：机构信息未能从会议 PDF 纯文本可靠映射
• Li Lu：机构信息未能从会议 PDF 纯文本可靠映射
• Xin Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Kui Ren：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为原始语音波形，输出为真实与伪造的二分类判决，难点在于自监督学习 Self-Supervised Learning（SSL）前端多达3亿参数且伪造痕迹细微，面临编解码与环境失真多样性，高稀疏压缩后域外泛化极易崩塌。方法链分三步：先在域内数据微调教师XLS-R并计算结构单元的移动分数作为任务重要性先验，再以跨域知识蒸馏 Knowledge Distillation（KD）为监督联合优化结构化剪枝掩码，最后将剪枝前端与反欺骗后端分类器联合微调恢复精度。相比仅用域内损失的剪枝蒸馏，该机制用域外无标签数据的多层表示对齐提供泛化监督，并用移动先验约束保留伪造敏感结构。在90%稀疏下压缩模型参数降至31.9M、计算量下降6.3倍，在多个数据集平均仅上升1.30%等错误率 Equal Error Rate（EER），且在ASVspoof5和FoR上甚至优于密集基线。结论限于XLS-R 0.3B骨干与ASVspoof系评测，对更大基座、跨架构迁移与真实端侧时延功耗的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，输出如何判定？

本文输入是待判定的语音波形，目标是判断它是真实录制还是合成伪造，输出是二分类判决与等错误率下的检测性能。研究生首先要建立的直觉是，这不是语音识别，不关心说了什么内容，而是关心信号中是否残留合成器、声码器、编解码或信道留下的伪影。论文把自监督语音模型作为前端特征提取器，把后端分类器作为判决器，前端通常包含卷积编码器与多层变换器，后端如文中所用分类器负责给出真伪分数。

为什么大模型在这里几乎是必需品，又为什么大模型上不了端侧。论文指出，以波形自监督模型为代表的前端在大规模预训练后能学到丰富的表示，对伪造检测有效并达到领先水平，但典型规模在 300,000,000 参数以上、计算量在 130G 以上浮点运算量级。端侧部署的矛盾在于云端推理依赖稳定网络且需上传用户音频，带来可用性与隐私风险，而直接把为内容任务设计的压缩方法搬过来，在伪造任务上尤其在高稀疏与域外场景下退化严重。

自监督学习 × 伪造检测： 自监督学习负责提供在大规模语音上预训练出的通用声学表示，分工是提取丰富的谱时与上下文特征；伪造检测负责在该表示上区分真实与合成，分工是捕捉合成伪影而非语义内容；二者搭配的理由是伪造痕迹隐蔽且多变，需要强表示做底座，组合意义是把通用表示微调为对伪造敏感的判别表示，但也带来了 300M 以上参数的部署负担。

本解读的输入是论文原文证据与 4 张官方原图像素，目标是让刚入门的读者能复述方法与实验条件，输出是 1 篇可核对的技术讲解。必须保留的信息包括任务定义、3 阶段流程、跨域蒸馏的数据构成与代表层选择、移动分数的计算与使用方式、联合优化的约束思想、训练与评估的数据划分、主结果与消融的关键数字及其适用条件。阅读顺序建议先看任务与相关路线，再沿一个样本走完输入到输出，然后进入组件计算与训练，最后看结果与复现边界。

已有路线各自解决了什么，还缺什么？

第一条路线是用自监督前端做伪造检测。论文回顾了近年把波形自监督模型用于音频伪造检测的工作，做法是把预训练模型微调为特征提取器，再接后端分类器。这条路线解决了表示能力问题，因为预训练见过大量语音变化，能捕捉更细的声学线索。但它没有解决效率问题，参数与计算量天然偏大。

第二条路线是语音自监督模型的压缩，分为知识蒸馏与结构化剪枝。蒸馏通过层间表示模仿把知识传给学生模型，但常需手工设计学生架构；剪枝通过删除冗余单元自动得到小结构，又分为任务无关与任务相关两类。论文指出，已有蒸馏在伪造检测上的应用更多是为提升精度而非为端侧压缩，而直接把为识别、说话人日志、说话人确认等任务设计的剪枝拿来，会在高压缩比下出现严重退化。

缺口可以归纳为三点。第一，压缩策略多为内容任务定制，伪造特有的压缩研究少。第二，优化目标多只用任务损失或域内蒸馏，监督不足以传递判别知识并保住关键结构，泛化受损。第三，作者观察到超过 75% 稀疏后现有方法退化剧烈，尤其在域外场景。本文的定位就是为伪造检测定制联合剪枝蒸馏，在激进压缩下同时保精度与泛化。

要压缩的矛盾点在哪里？

需要形式化的问题是，给定一个已在伪造训练集上微调的教师模型与目标稀疏度，要求学出一个稀疏学生结构及其参数，使其在域内与多个域外评测上保持低等错误率，同时参数量与计算量大幅下降。难点不在于把模型变小，而在于小模型在分布变化下仍能抓住伪造伪影。域内评测相对容易，因为训练与测试的攻击类型与信道更接近；域外评测引入新的编解码、环境失真与高质量合成，伪影更弱或形态变化更大。

举一个教学用的例子而非论文报告的数值：假设训练域多为某种声码器痕迹，测试域换了另一种高保真合成器，若压缩时只见过训练域，学生很容易把训练域特有的痕迹当成判别依据，换域即失效。论文因此强调，压缩阶段的监督必须比任务损失更丰富，要看到更多域的无标注数据；剪枝的依据必须比通用重要性更任务相关，要优先保留在伪造微调中变化大的结构。这两个判断是后文 2 个组件的设计起点。

三阶段框架如何分工？

论文把流程分成 3 步，沿一个样本走一遍有助于建立全局图。第一步是任务准备，用伪造训练数据把预训练自监督模型微调为教师，并计算每个结构单元的移动分数作为重要性先验，对象包括多头注意力、前馈中间维与卷积通道。第二步是联合剪枝蒸馏，教师冻结提供多层表示目标，学生带可学习的剪枝掩码接受跨域蒸馏与移动引导的剪枝损失，逐步达到目标稀疏。第 3 步是后端优化，把剪后编码器与后端分类器联合微调，优化最终的检测精度。

知识蒸馏 × 结构化剪枝： 知识蒸馏分工是让小学生模型模仿教师在多层表示上的输出，提供稠密的训练信号；结构化剪枝分工是按通道、注意力头和前馈中间维度整单元删除，直接降低参数与计算；搭配理由是只剪会丢失判别结构、只蒸馏不改变架构无法真正轻量，组合意义是在删除的同时用教师表示把伪造判别知识压入保留结构，实现压缩与泛化兼顾。

下图是 3 阶段框架的可视化，阅读时先纵向把握阶段划分，再横向看教师与学生的信息流向。

看图路径： 1. 沿左侧 Step1 到 Step3 纵向看三阶段主线：微调算分、联合剪蒸、联合微调后端；2. 看 Step2 中教师冻结与学生带剪刀的对比，确认谁被剪、谁提供监督；3. 看 Movement Score 到 Pruning Loss 的 Guide 箭头，确认任务先验注入位置；4. 看 Step3 中剪后编码器加分类器输出 Real/Fake 与端侧图标，确认部署目标

论文图 1。原论文 Figure 1：“Task-Aware Joint Pruning and Distillation frame- work: (1) Task-specific preparation; (2) Joint pruning and dis- tillation; (3) Backend optimization.”。

从像素可见，图纵向分为三栏。顶部第一阶段从空心网络经微调箭头变为实心网络，再指向仪表盘样式的移动分数序列，直观表达先微调再算分。中间第二阶段上排为冻结教师，下排为带剪刀的学生，两排都有卷积与多层注意力加前馈结构，中间有跨域蒸馏的大箭头从教师指向学生，右侧有剪枝损失盒接收移动分数的引导再作用于学生。底部第 3 阶段把剪后编码器与分类器相加做联合优化，输出真假判决与手机端侧图标。

解释时要注意，剪刀只出现在学生侧，教师侧雪花标记表示冻结，这与正文冻结教师、只训练学生的描述一致；移动分数不是直接决定剪谁，而是变成剪枝损失中的权重参与联合优化。

跨域蒸馏看到哪些数据，蒸哪几层？

跨域蒸馏要解决的是监督分布太窄。已有任务相关剪枝蒸馏多在域内训练数据上蒸馏，学生只模仿教师在训练分布上的表示，压缩后容易过拟合源域。本文的做法是把蒸馏样本扩大到域内加域外无标注任务相关数据，覆盖更多编解码变化与环境失真。按原文交代，蒸馏使用了训练集本身以及多个域外集合的无标注版本，教师在这些域外场景上已有尚可的泛化，等错误率小于 10%，让学生模仿教师在这些多样场景下的表示，有助于学到更通用的伪造判别表示而非记住训练分布。

蒸哪几层由表示相似度分析决定。论文用中心核对齐方法分析微调后模型的层间相似度，发现 3 个块状结构，大致对应不同处理阶段。结合已有发现即低层尤其是第五层附近更具判别性，论文在每个块中选代表层做多级传递，例如所举的层集合包含浅层、中间层与顶层。蒸馏损失是对所选各层教师特征与学生经维度对齐投影后特征之间的距离求和，距离可用均方误差或余弦距离，样本横跨域内与跨域且不使用标签。

跨域蒸馏 × 中心核对齐分析： 跨域蒸馏分工是利用域内加域外无标注音频扩大监督分布，缓解只在训练域蒸馏导致的过拟合；中心核对齐分析分工是度量微调后各层表示相似度，发现分阶段块结构以挑选代表层；搭配理由是多层逐层蒸馏成本高且冗余，组合意义是用少量代表层实现多级知识传递，用更少的蒸馏位置覆盖不同处理阶段。

下图是层间相似度热力图，阅读时不要先猜具体数值，而要先确认块结构是否存在。

看图路径： 1. 对比左右两幅热力图的横纵轴层序号与颜色条 0 到 1 的相似度含义；2. 沿对角线找三个深色块结构，确认分阶段的大致层区间；3. 看最右侧 22 至 24 层与其他层的浅色关系，确认顶层表示的特殊性

论文图 3。原论文 Figure 3：“Layer-wise CKA similarity for (a) Pre-trained XLSR and (b) Finetuned XLSR.”。

从像素可见，左右两幅热力图横纵轴均为层序号，颜色条从浅到深表示相似度从 0 到 1。深色对角块清晰可见，浅层之间、中层之间各成一块，顶层与其他层颜色明显更浅，说明顶层表示更独特。右图微调后的块边界与左图预训练相比略有变化，但 3 段式结构仍然成立。这支持了论文每个阶段选一个代表层的做法。论文还报告，在同一块内换层效果相近，重要的是从每个阶段采样而非执着于具体层号，这一点对复现选层时有指导意义。

移动分数如何把任务先验变成剪枝偏置？

移动引导剪枝要解决的是不知道谁对伪造重要。已有工作发现，微调过程中变化显著的权重编码了任务知识。本文据此为每个结构单元定义移动分数，即微调后参数与初始参数之差的 L1 范数。分数越大，说明该单元在适配伪造任务时被改动越多，越可能与伪造判别相关。

使用方式不是硬保留高分单元，而是把它变成正则项中的反比惩罚权重。每个单元有一个二值保留掩码，优化目标中的惩罚项是权重与掩码乘积之和，权重与移动分数加小常数成反比。最小化该项时，低移动的冗余单元保留成本更高，更倾向被剪；高移动的关键单元保留成本更低，更倾向被留下。这样剪枝在满足目标稀疏的同时，会自觉避开任务关键结构。

移动分数 × 重要性感知正则： 移动分数分工是度量每个结构单元在伪造微调前后参数变化的 L1 幅度，变化大意味着编码了任务相关知识；重要性感知正则分工是给低移动单元更大的剪枝惩罚权重，引导优化器优先删除冗余；搭配理由是仅靠稀疏约束不知道谁对伪造重要，组合意义是把任务先验变成可优化的剪枝偏置，在高稀疏下保住难样本所需的判别结构。

需要区分的是，移动分数在第一阶段算好后作为先验使用，第二阶段联合优化时真正学的是掩码与模型参数。掩码通过连续松弛变得可微，移动权重则提供方向性偏置。消融部分会显示，去掉该引导在简单基准上影响小，但在更难的攻击与高保真数据上退化明显，说明它主要保护的是难样本所需的细粒度判别结构。

联合优化如何同时学表示、学结构并卡住稀疏？

训练目标是带约束的多目标优化。待最小化的主体是蒸馏损失加带系数的惩罚项，约束是保留参数占总参数的比例等于目标压缩率。直观理解是，蒸馏拉住表示不要偏离教师，惩罚项按任务重要性推动删除，约束保证最终恰好达到预设稀疏。论文按已有做法把二值掩码用硬混凝土分布重参数化，使 L0 范数的期望对可学习参数可微，再用增广拉格朗日方法引入乘子，把稀疏偏差的 1 次项与 2 次项作为约束损失加入总目标，对乘子与模型参数做极大极小优化。

硬混凝土分布 × 增广拉格朗日： 硬混凝土分布分工是把不可微的二值保留掩码松弛为可微的连续随机门，使 L0 稀疏可求梯度；增广拉格朗日分工是用乘子把当前稀疏与目标稀疏的偏差变成约束损失，严格拉住压缩率；搭配理由是既要端到端学剪谁又要精确命中目标稀疏，组合意义是把离散结构搜索转化为带等式约束的联合优化，可与蒸馏损失一起训练。

实现细节按原文交代如下，复现时应逐项对齐。压缩对象是所用骨干中的大尺度跨语言表示模型，学生训练 50,000 步，目标稀疏在前 51,000 步 warmup 内线性上升到设定值。模型参数学习率设为 2e-4，辅助参数包含掩码参数与拉格朗日乘子的学习率设为 2e-2。剪枝蒸馏后按已有流程再蒸馏 2 万 51,000 步，最后把剪后编码器与后端分类器联合微调数个周期。原文未完整报告优化器类型、批量大小与硬件预算等细节，这是复现时需要补记的缺项，不应从模型名称推定实现。推理阶段是剪后编码器输出表示，后端给出真伪判决，不再需要教师与掩码学习分支。

数据、基线与指标如何保证可比？

数据划分要分清 3 个角色。微调用的是 2019 年伪造评测的逻辑访问训练集，用于第一步微调教师与第 3 步联合微调。蒸馏用的是该训练集加上多个域外集合的无标注版本，覆盖不同的编解码与环境。评估分为域内、跨域蒸馏基准与完全未见基准：域内为 2019 逻辑访问的开发集与评测集；跨域蒸馏基准为 2021 逻辑访问、2021 深度伪造与野外采集集合。

完全未见为新版大规模评测与高保真合成集合。这样的划分使得泛化结论有层次：域内看是否保精度，跨域看蒸馏是否见过分布但无标签，未见看真正的迁移。

基线选择保留了原文实际可运行的策略，而非事后最优。对比对象是原始未压缩模型与 3 种为其他语音任务设计的剪枝方法，分别面向语音识别、说话人日志、说话人确认与反欺骗，作者在统一框架下为伪造任务重新实现以保证公平。指标方面，检测性能用等错误率，越低越好；效率用参数量与浮点运算量。需要提醒的是，等错误率相同数值在不同数据集上不是同一难度，跨数据集直接平均只能做趋势参考，论文报告的平均下降 1.30% 应理解为多数据集上的总体描述，而非每个场景都成立。

高稀疏下精度与泛化保住了吗，代价是什么？

要回答的核心问题是，在 60%、75%、90% 三档稀疏下，本方法相对基线是否同时保住域内精度与域外泛化，以及压缩收益与残余代价。公平条件是同一骨干、同一目标稀疏、同一评测集合，指标方向是等错误率越低越好、参数与计算越小越好。下表整理论文连续原句中实际出现的关键数字，不引入原句之外的推算值，重点看 75% 稀疏附近与 90% 稀疏的压缩收益。

下图展示随稀疏增加的性能曲线，读图时先确认坐标含义，再看分叉而非只看终点。

看图路径： 1. 先看三张子图横轴稀疏度与纵轴 EER 指标，确认纵轴越低越好；2. 对比每图中红色本方法实线与蓝色 Finetune-Pruning 虚线的分叉点；3. 观察中间 21DF 与右侧 ASV5 在高稀疏段斜率差异，判断域外退化速度

论文图 2。原论文 Figure 2：“Model performance (EER%) changes as sparsity increases on (a) ASVspoof2019 LA Eval, (b) ASVspoof2021 DF, and (c) ASVspoof5.”。

从像素可见，3 张子图横轴均为稀疏度，纵轴均为等错误率，灰色虚线为未压缩基线，红色实线为本方法，蓝色虚线为次优的微调后剪枝方法。左侧域内评测上两条线都贴近基线且缓慢上升，说明域内保精度相对容易；中间深度伪造与右侧新版评测上蓝色线在超过 70% 稀疏后快速上扬，红色线则长期贴近基线，即使到 90% 以上仍有竞争力。这支持了论文的判断：域外泛化是压缩的主要瓶颈，而跨域监督缓解了该瓶颈。

表后需要强调代价与反例：90% 稀疏并非全胜，论文在高保真集合上仍报告 20% 以上等错误率，说明绝对性能在最难分布上仍有限；反超未压缩模型的现象只出现在部分域外基准，作者将其解释为剪枝去除了过拟合源域的冗余容量，属于有限解释而非因果证明，不应推广为压缩必然提升泛化。

跨域蒸馏与移动引导各自管什么？

消融在 75% 稀疏下进行，问题是去掉每个组件后哪类评测先退化。公平条件是保留另一组件与相同稀疏目标，指标仍是等错误率。下表只用论文连续原句中出现的数字，避免把不同指标混放。

表前已提出比较问题，表后解释机制差异。去掉跨域蒸馏是泛化的主要驱动项缺失，域外全面大幅退化而域内仅从 0.22% 到 0.39% 轻微变化，说明该组件专门提升泛化而非域内拟合。去掉移动引导在已解决较好的基准上影响小，例如深度伪造从 2.76% 到 3.13%，但在更难的新版评测与高保真集合上从 17.75% 到 19.95%、从 10.51% 到 13.56%，退化明显。论文将其归因于难样本对细粒度伪影更敏感，压缩会选择性遗忘高难度样本，而移动引导缓解了这种遗忘。

下图从结构上解释为什么前馈深层可大幅压缩而卷积与注意力两端更值得保留。

看图路径： 1. 先看三排子图纵轴分别为 Channels、Heads、Neurons，横轴为层号；2. 对比蓝橙绿三色在 CNN 层与 MHA、FFN 层的保留高度变化趋势；3. 重点看 FFN 深层接近零的柱高与 MHA 两端高中间低的 U 形，确认冗余位置

论文图 4。原论文 Figure 4：“The architecture of the pruned XLS-R at sparsity 60%,75%,90%. The original size of CNN channels, Atten- tion heads, and FFN intermediates are 512, 16, and 4096.”。

从像素可见，顶排卷积通道在各稀疏下保留高度都较高，仅首两层略有下降，说明底层谱时特征基础性强。中排注意力头呈现两端高中间低的 U 形，浅层与深层保留更多，中段压缩更狠。底排前馈神经元数在浅层尚有可观保留，深层在 75% 与 90% 稀疏下几乎贴零，说明其参数对二分类伪造任务冗余最大。复现时不应把该模式当成通用剪枝模板，因为它依赖移动分数与蒸馏的联合作用，换任务或换骨干后保留分布可能变化。

哪些结论还不能下，边界在哪里？

第一，跨域蒸馏受教师上限约束。论文明确指出，蒸馏在无标注数据上模仿教师表示，天然受教师误差限制，作者尝试过基于置信度的校准但增益有限，需要更鲁棒的蒸馏策略。因此不能把域外提升理解为无上限，教师在新攻击上犯错时学生也会继承。

第二，架构迁移尚未验证。论文评估集中在大尺度跨语言表示骨干，方法针对标准注意力与前馈块设计，理论上可迁到其他同类检测器，但原文未报告跨架构实验。对更大规模模型的可扩展性也只是未来方向，不应承诺同样压缩比下结论不变。

第三，资源声明的唯一依据是论文报告的参数与计算量，当前没有来源绑定且完成验证的代码与模型资源，不得声称代码或权重已公开。训练资源、真实延迟与功耗未测量，不能从浮点运算量下降直接推定端侧延迟等比下降。总体趋势不等于每组都成立，尤其高保真集合在 90% 稀疏下仍有较高错误率，说明难分布仍是未解决边界。

复现先做什么，需要哪些超参数与检查点？

第一步复现任务准备。用 2019 逻辑访问训练集微调预训练骨干得到教师，保存初始与微调后两套参数以计算移动分数。移动分数按结构单元分组计算，覆盖卷积通道、注意力头与前馈中间维，加小常数避免除零。建议先在小稀疏下验证分数分布是否与论文的结构模式一致，再推高稀疏。

第二步复现联合剪枝蒸馏。冻结教师，学生从教师初始化并引入可学习掩码，蒸馏样本混合域内训练集与多个域外无标注集，不使用标签。代表层按相似度块结构每段选一层，论文示例为浅中深各一层，同块内换层应效果相近，可作为稳定性检查。目标稀疏在前 51,000 步线性上升，总训练 50,000 步后继续蒸馏 2 万 51,000 步，学习率按原文取模型参数 2e-4、辅助参数 2e-2。约束损失的乘子需要与蒸馏和惩罚系数一起调参，复现时应记录当前稀疏曲线是否精确命中目标。

第 3 步复现后端优化与评估。把剪后编码器与后端分类器联合微调数个周期，评估覆盖域内、跨域与完全未见 3 类集合，报告等错误率、参数量与浮点运算量。缺失的批量大小、优化器细节与随机种子需要自己补记并做多次运行，不应把单次结果当成稳定结论。

何时值得尝试这个方法？

当你的伪造检测已依赖大自监督前端，且部署目标是弱网或隐私敏感的端侧设备，同时评测包含编解码与新攻击变化时，这个框架值得尝试。它的适用条件是能拿到多样化的无标注域外音频做蒸馏，且教师在这些域上已有尚可表示，否则跨域监督无从谈起。另一个适用信号是剪枝后域内尚可但域外崩塌，这往往意味着监督不足或关键结构被误删，可分别用跨域蒸馏与移动引导对照排查。

不值得盲目照搬的情况包括只关心域内精度、没有域外数据、或骨干已换成非标准变换器结构。此时应先补域外评测与教师误差分析，再决定是否引入跨域蒸馏。论文特有的误解需要澄清：剪枝反超未压缩模型不是普遍规律，只是过参数模型在特定域外分布下去除冗余后的有限现象；前馈深层可大幅压缩也不是通用结论，而是二分类伪造任务与该骨干下的观察。带着这些边界去复现，才能把压缩收益与泛化代价同时看清楚。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总