先破坏频域身份结构再保听感：FreqGuard 的主动语音防御

英文题目：FreqGuard: Leveraging Frequency-Domain Feature Priors for Universal Proactive Voice Defense

会议身份：conference:interspeech:2026:conference-paper-id:wang26ca_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#时频分析 #音频安全 #语音 #语音克隆

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.6/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yankai Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhipeng Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Yuxuan Du：机构信息未能从会议 PDF 纯文本可靠映射
• Rong Zheng：机构信息未能从会议 PDF 纯文本可靠映射
• Jing Deng：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

主动语音防御输入为原始说话人波形，输出为加入不可感知扰动的保护波形，难点是同一扰动须同时让黑盒语音合成产出的克隆语音通不过说话人验证，又不损伤保护语音本身的听感与身份。FreqGuard 先在 LibriSpeech 上系统实测压缩、量化、频带掩蔽、加噪、混响与重采样对身份相似度与音质的影响，筛选出中低频掩蔽与中等码率编码等低失真高破坏操作，按40%平衡、40%强扰动、20%参考构建24000条引导数据集；再用先验驱动防御网络重构幅度谱与相位谱以提供高质量扰动基座，用梯度引导扰动模块在幅度谱上沿最小化说话人嵌入余弦相似方向注入无穷范数约束扰动，最后经短时逆傅里叶变换合成保护音频。与随机噪声初始化直接最大化嵌入偏移不同，该框架强调频域结构性破坏身份与合成共享子空间。在VCTK经CosyVoice合成并用Cam++计分时保护语音感知评估语音质量为2.467且攻击成功率为25.05%，显著低于同表PoP的96.85%与Enkidu的62.05%；在StyleTTS2下攻击成功率为1.70%，接近端到端基线的1.90%。该结论目前仅在21个说话人共4200条评估语音、4种合成器、6种验证模型下验证，高压缩强净化与实时流式部署外推尚未证明。训练使用4张NVIDIA RTX 4090共100轮，推理时延与吞吐论文未披露。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：要防住的未授权克隆长什么样？

这篇解读的输入是论文正文与两张官方原图像素，目标是让刚进入语音领域的研究生能核对方法并复述流程，输出是 1 篇按学习依赖展开的中文技术解读。必须保留的信息包括任务定义、2 分支结构、训练数据构造方式、损失组成、实验条件与主结果数字，凡是教学举例都会明确标为例子，不把例子当作论文报告的数值。

先用白话把任务说清楚。被动检测是指假语音已经生成后再去鉴别真假，主动防御是指在用户语音被拿走之前就加入人耳几乎听不出的扰动，让攻击者拿到的参考语音带有防御。论文面对的是开放环境下的恶意语音合成攻击，攻击者下载用户上传到社交媒体的语音，再用文本转语音或声音转换模型生成指定文本的冒充语音，去骗说话人验证系统或冒充身份获利。防御者只能在源头加扰动，不能控制攻击者用的合成器型号，因此要求扰动具有跨模型通用性。

下段先导读第一张实景示意图，它把上述两条路径画在同一张图里，左侧是正常使用，右侧是攻击利用，中间有隔离带，读图时注意箭头方向与验证结果符号的区别。

看图路径： 1. 先从左侧用户语音出发，沿保护分支看到上传社交媒体与通过说话人验证的绿色对勾路径；2. 再看中间灰色未授权访问隔离带右侧攻击者下载后走文本转语音与声音转换模型的路径；3. 最后对比右侧说话人验证系统给出的红色叉号，确认同一段保护语音在两条路径下的不同结局

论文图 1。原论文 Figure 1：“Protection scenario in the real world.”。

这张图显示的像素内容支持上段的任务描述。左侧用户发出语音后进入绿色保护块，一路向上标注上传到社交媒体，一路向下标注检查并通过说话人验证系统，绿色对勾表示保护语音本身仍被认作本人。中间灰色竖条表示未授权访问，右侧攻击者下载语音后同时接入文本转语音模型与声音转换模型，生成波形后再送入说话人验证系统，此时出现红色叉号，表示冒充失败。教学例子是：比如用户说你好我是杰克，保护后人听还是本人，攻击者用它合成转账五千美元的语音则无法通过验证，这个例子只是帮助理解流程，论文并未报告该金额对应的实验数字。

已有路线为什么多半只在嵌入空间里推远？

先解释术语。说话人验证系统是指从语音中提取说话人嵌入向量并比对相似度的系统，后文简称验证系统。文本转语音是指输入参考语音与目标文本生成对应说话人音色语音的模型，后文简称合成模型。说话人嵌入是指模型输出的定长向量，余弦距离越小表示越像同一人。

已有主动防御大致分 3 类。第一类是在嵌入空间做对抗优化，让保护语音或其合成语音的嵌入偏离原说话人，例如最大化嵌入位移。第二类是用预测或生成网络加速扰动生成，做通用扰动与黑盒适配。第 3 类是训练阶段保护、水印嵌入、物理一致性结构扰动与系统级增强。论文指出这些方法多把嵌入空间位移当作主要目标，扰动从随机噪声开始，没有显式建模语音信号的结构特性，因此容易依赖特定特征提取器或替代模型，换模型后性能下降。

论文还引用两类反证来说明结构局限。基于扩散的净化模型可以部分恢复被保护语音的克隆成功率，频域恢复技术如滤波与谱减也能部分逆转混淆效果。这支持了一个判断：只扰动嵌入空间而不断开频谱统计结构中编码身份的部分，鲁棒性有限。这也是本文转向频域先验的直接动机。

防御目标如何写成质量与攻击两项的权衡？

先定义符号。记说话人的一段原始语音为输入，防御器在其上施加扰动得到保护样本，攻击者用保护样本与目标文本经合成模型生成伪造语音。防御目标是最小化质量损失与攻击损失的加权和，质量损失衡量保护语音与原始语音的感知差异，攻击损失衡量伪造语音与原始语音在验证系统下的相似度得分，权重系数平衡听感与防御强度，验证阈值决定是否判定为同一人。

论文进一步把目标聚焦到共享子集。白话说，验证系统用的身份特征与合成模型用的音色特征并不是完全无关，它们在频域有重叠的稳定表达，论文记为共享子集。随机噪声初始化的扰动可能打到无关区域，造成听感损伤大而身份干扰不准。FreqGuard 的做法是先通过系统性实验找到哪些频域操作能有效降低身份相似度且失真可控，再用这些操作构造引导数据，让模型学会定位并破坏这个共享子集。

需要提醒初学者的是，这个共享子集是工作假设与设计直觉，论文用后续跨模型与跨数据集实验来支持它，但并未给出该子集的闭式数学定义或可视化边界，复述时应表述为论文提出并用实验支持的方向，而不是已证明的定理。

FreqGuard 让一个样本走完怎样的全流程？

先给全景。一个原始波形进入系统后，先做短时傅里叶变换得到幅度谱与相位谱，两路并行处理后重新合成保护波形。上支是先验驱动的防御网络，负责高质量重建频谱骨架，下支是梯度引导的扰动模块，负责在幅度谱上叠加对抗扰动。最终把扰动后的幅度谱与重建相位谱组合，经逆变换得到保护音频。

频域特征先验 × 随机噪声初始化： 频域特征先验负责指出哪些频域操作既能打乱说话人身份又不太损伤听感，随机噪声初始化只负责给一个无结构的起点；二者搭配的原因是随机起点容易打偏或收敛到特定替代模型，频域先验把优化引导到验证特征与合成特征共享的子空间，组合意义是让扰动从一开始就落在结构性身份线索上，而不是在嵌入空间里盲目推远。

下段导读第二张框架图，它是理解双分支汇合位置的关键，左侧是输入与频谱，中间是编码器与注意力，右侧是解码与叠加输出，注意虚线残差与梯度回传箭头的走向。

看图路径： 1. 先沿最左侧原始波形经短时傅里叶变换到幅度和相位谱，再进入上方编码器与注意力块的主路径；2. 再看上方幅度掩码解码器与相位解码器如何分别输出重建幅度谱与重建相位谱；3. 最后看下方梯度引导分支如何输出对抗扰动并与重建谱相加，再经逆变换回到保护波形

论文图 2。原论文 Figure 2：“Flowchart of the proposed FreqGuard audio proactive defense framework.”。

这张图的像素内容与上段全景对应。最左侧红色竖向波形经变换得到绿色频谱块，向上进入编码器与 4 个注意力块，再分叉到幅度掩码解码器与相位解码器，分别输出重建幅度谱与重建相位谱。下方虚线框内是梯度引导分支，左侧多阶段编码提取说话人嵌入，中间标注最小化嵌入相似度与梯度回传，右侧多阶段解码输出扰动谱。右端加号把重建幅度、重建相位与扰动合并，再经逆变换得到绿色保护波形。编码器中可看到卷积、归一化、激活与多头注意力的堆叠标注，相位分支末端有反正切运算标注。

上支如何重建频谱：编码器与双解码器各做什么？

先解释术语。幅度谱是指每个时频点能量的大小，相位谱是指每个时频点振荡的相位角度，后文分别简称幅度与相位。掩码解码器是指预测一个乘性掩码并作用于原始幅度以得到重建幅度的解码器。

沿样本走一遍上支。输入幅度与相位先进入共享编码器，编码器用卷积与稠密块提取局部时频纹理，再用 4 个注意力块建模长时依赖，中间带有残差连接。然后分两路解码，幅度掩码解码器输出掩码并与原始幅度相乘得到重建幅度，相位解码器经卷积与反正切运算得到重建相位。论文的安排理由是幅度和相位对听感与身份的贡献不同，分开建模可以分别约束失真，避免单路重建顾此失彼。

PriorNet × GradPert： PriorNet 负责重建幅度和相位并保持语音保真与扰动稳定，GradPert 负责在幅度谱上沿降低说话人相似度的梯度方向预测对抗扰动；二者搭配的原因是只做对抗容易损伤听感、只做重建则防御不足，组合意义是先由 PriorNet 给出高质量频谱骨架，再由 GradPert 在其上叠加有方向的身份干扰，最后经逆短时傅里叶变换得到保护音频。

需要指出未报告的细节。论文没有给出编码器每层的通道数、卷积核尺寸与注意力头数的完整清单，也没有说明双解码器参数是否共享或交替冻结，复述时只能讲到论文明确的模块分工与数据流向，不能从模块名称推定具体层超参数。

下支如何定方向：梯度引导扰动打在哪里？

先解释术语。梯度引导扰动是指沿使说话人相似度下降的梯度符号方向施加小幅扰动的方法，后文简称梯度扰动。原论文在幅度谱上操作，目标是让扰动后的幅度经验证模型得到的嵌入远离原始嵌入。

具体计算按论文描述分 3 步。第一步把预训练验证模型的输入改为幅度谱并重新训练，使梯度能直接在频域回传，这是关键的适配动作，否则原来基于滤波器组特征的模型无法把梯度传到幅度谱。第二步以前向得到原始幅度与加扰幅度的嵌入，损失取两者余弦相似度的相反方向。第 3 步取该损失对幅度谱的梯度符号，乘以强度系数并做无穷范数约束，得到最终扰动。论文报告的强度系数与阈值见后文实验条件表，优化目标是最小化加扰后与原始嵌入的相似度。

原文明确说明扰动只加在幅度上，相位由上支重建提供，这种分工的理由是幅度承载更多可稳定干扰的身份能量结构，而相位重建主要保障听感。论文未报告该梯度分支在推理时是否需要多步迭代，也未给出替代验证模型的具体训练轮数与数据划分，因此不能把单步符号扰动的公式直接当作完整推理循环。

引导数据与多损失如何把先验教给模型？

先讲引导数据的构造，因为它是先验的来源。论文先在语音数据集上系统评估多种操作对身份相似度与客观质量的影响，发现极端压缩与低比特率编码能降相似度但损伤大，高比特率格式影响小，中等比特率编码与中低频掩码比较均衡，混响与加噪也能降相似度但可能损伤听感。

基于这些观察构造了 24000 条引导数据，平衡样本约 10000 条，选用中等码率压缩、中频掩码、中等量化与中等混响，兼顾干扰与质量，强干扰样本约 10000 条，选用低采样率、极低比特量化、强噪声、强混响与极低码率压缩，增强鲁棒性，参考样本约 4000 条，选用高码率与弱混响，作为保真基线。干净语音与这些处理后语音配对，作为上支网络的学习目标。

说话人验证 × 语音合成： 说话人验证负责判断两段语音是否同一人，语音合成负责用参考音频和文本生成冒充语音；二者搭配的原因是论文假设它们在频域共享了表达说话人身份的稳定子集，组合意义是防御不必针对每个合成器单独优化，只要破坏这个共享子空间，就能在验证和合成两侧同时降低冒充语音的相似度判定。

再讲损失组成。训练损失包括时域重建损失、幅度谱均方误差、相位余弦与正弦误差、对数幅度谱误差、幅度谱结构相似性损失，以及干净与生成语音说话人嵌入的余弦距离损失。论文给出的加权是时域 5 倍、幅度 10 倍、相位 3 倍、对数幅度 0.1 倍、结构相似 10 倍、说话人 5 倍。优化器用自适应权重衰减优化器并配合余弦退火调度，训练轮数与学习率见下表。监督来源一侧来自引导数据的目标频谱，另一侧来自说话人嵌入距离，梯度同时约束保真与去身份。

下段提出要核对的问题：在相同短时傅里叶变换参数与验证阈值下，扰动强度与训练预算是否如论文所述，指标方向是扰动越小听感越好、攻击成功率越低防御越好。

上表整理自论文实验设置段，短时傅里叶变换参数与验证阈值、扰动强度与训练轮数分别来自连续原句证据，学习率与优化器调度在正文中另有说明。它的代价含义是强度系数与训练轮数越大，防御潜力可能上升但听感与过拟合风险也上升，复现时应先固定这些值再比较方法，不能同时改动多项。

在哪些数据与系统上测：如何保证条件一致？

先交代数据与协议。引导数据的评估用英文朗读数据集的 2000 条语音，来自 100 位说话人，每人 20 条，采样率 16 kHz 单声道。正式评测用 3 个数据集共 4200 条，分别来自单说话人英文集、十说话人英文集与十说话人中文集，每个说话人 200 条。合成侧用 4 种黑盒合成模型，验证侧用 6 种说话人验证模型，评价指标包括语音质量、短时客观可懂度、说话人识别相似度与攻击成功率。质量与可懂度越高越好，防御后音频的相似度越高表示保真越好，合成后音频的相似度与攻击成功率越低表示防御越好。

硬件与实现条件按原文交代。实验在四块高性能图形处理器上进行，短时傅里叶变换参数与验证阈值、扰动强度、训练轮数、学习率、优化器与调度如上表。论文说明部分基线不支持中文，例如部分方法不支持中文合成，长度不匹配会导致可懂度偏低，比较时需注意语种覆盖并不完全对齐。

统计口径需要谨慎。论文报告的是各数据集与各合成模型下的平均指标，但未报告置信区间、显著性检验或多次随机种子的方差，也未报告推理延迟与实时率。数值相同不能直接当作同一指标，例如防御后相似度与合成后相似度虽然都叫相似度，但聚合对象与判断方向相反，解读时必须区分阶段。

主结果在说什么：保真与防御各付出什么代价？

先按问题组织。测的是保护语音本身的质量与保真，以及攻击者用它合成语音后能否骗过验证。比较对象包括多种已有主动防御，条件是同一评测集与同一合成模型，指标方向如上节所述。

论文报告显示，在英文与中文多数据集上，FreqGuard 的保护语音质量处于中上水平，合成后相似度与攻击成功率明显低于多数基线，尤其在大规模合成模型上优势更明显。论文指出某些基线虽然保护语音质量更高，但在部分数据集与合成模型下攻击成功率超过 70%，说明跨数据集泛化不足，另一些基线虽然防御数字低，但保护语音质量明显下降。FreqGuard 在最难的合成模型上把最大攻击成功率控制在约两成多，而其他方法在个别条件下可达接近 100%。

攻击成功率 × 语音质量： 攻击成功率负责衡量合成语音骗过说话人验证系统的比例，相位与幅度相关的语音质量负责衡量保护语音本身是否可听可用；二者搭配的原因是主动防御必须同时满足打掉冒充和不破坏原语音，组合意义是论文用多损失把两者放在一个加权目标里权衡，评价时也要同时看防御后音频的高相似度和合成后音频的低相似度，不能只看其中一侧。

跨验证模型的泛化测试支持上述判断。在固定合成模型并更换 6 种验证模型的条件下，FreqGuard 与另一生成式基线表现更稳定，而部分基线在不同验证模型间波动大。这支持了频域先验有助于找到跨模型共享干扰方向的解释，但仍是有限解释，因为论文只在给定合成模型下更换验证模型，没有穷举所有合成与验证组合。

下段提出要核对的问题：在净化攻击前后，各方法的攻击成功率如何变化，是否有人在净化后反而变差或变好，指标方向是净化后攻击成功率越低说明防御残留越强。

上表转写自论文净化实验表，数值为攻击成功率百分比，数值越低防御越好。可见 FreqGuard 在净化后 2 数据集上均为最低，但净化确实削弱了防御，尤其在与净化训练同源的数据上更明显。未胜出项也要说明，例如在未净化时多个方法在单说话人集上均为零，拉不开差距，而在多说话人集上部分基线高达 70% 以上，说明单说话人集容易掩盖泛化短板。

哪些对照说明先验与净化边界：失败条件是什么？

论文没有单独的模块消融表，但用两类对照承担了类似职责。第一类是频域操作影响表，它比较了共振峰调制、加噪、降采样、量化、频带掩码、编解码与混响对身份相似度与质量的影响，为引导数据的三档划分提供依据。教学理解是：如果拿掉中等干扰的平衡样本，只用强干扰样本训练，模型可能学到过度损伤的映射，如果只用保真样本，则学不到去身份方向，但这只是基于表格趋势的推理，论文并未报告拿掉某档后的定量下降，因此不能写成已验证的消融数值。

第二类是净化攻击对照。净化模型在与测试同源的数据上训练时能明显削弱防御，否则某些方法净化后攻击成功率甚至下降，说明有效净化需要强数据相关性。这是一个重要的失败边界：当攻击者能拿到与目标同分布的大量数据来训练净化器时，任何依赖统计扰动的防御都会被部分逆转。FreqGuard 在该条件下仍保持相对最低，但绝对值已从零上升到 5% 左右与 30% 左右，说明不是不可攻破。

另一类特有细节是语种与长度适配。论文明确指出部分基线不支持中文，部分方法因长度不匹配导致可懂度偏低，这意味着跨语种比较并非完全公平，复述主结果时应同时注明这些限制，不能只强调平均数字的胜负。

还有哪些没测到：不能承诺什么？

先区分 3 层表述。论文直接报告的是多数据集、多合成模型、多验证模型与净化前后的平均质量与攻击成功率。有限解释是频域先验帮助定位共享子空间并改善跨模型泛化，这得到跨模型表格的支持，但仍是相关性支持而非因果证明。未验证推测是该方法在实时流式、电话信道、强压缩转发或自适应攻击下的表现，论文未测量这些条件下的误判率、延迟与成本，不能承诺同样有效。

缺失证据不是技术错误，但复述时要明确缺项。论文未报告多次运行的方差与显著性，未报告训练与推理的耗时、显存、输出帧率与实际延迟，未报告人工听感评价，只用客观质量与可懂度代替听感。总体趋势不等于每组都成立，例如在某些合成模型与数据集组合下基线也可能取得零攻击成功率，不能把平均优势推广为所有条件全胜。

资源状态也需如实说明。本次收到的证据中没有来源绑定且完成安全验证的代码、模型或数据资源，因此不得声称代码、模型或数据已公开，只能说论文正文未在本证据中提供可验证的公开链接，复现需按正文描述自行实现。

要复现先做什么：最小可运行链路是什么？

复现的第一步是固定数据与特征。将评测语音统一为 16 kHz 单声道，按每说话人 200 条组织多数据集评测集，短时傅里叶变换点数与跳长按上表固定，验证阈值与扰动强度同样固定，避免同时改动多项导致无法归因。

第二步是重建引导数据。按论文三档比例构造 24000 条目标语音，平衡档用中等码率压缩、中频掩码与中等量化，强干扰档用低采样率、极低比特量化、强噪声与强混响，参考档用高码率与弱混响，干净语音与目标语音配对训练上支网络。训练时采用论文报告的多损失加权，优化器与调度、轮数与学习率保持一致，先跑通高质量重建，再加入梯度扰动分支。

第 3 步是评测链路。保护语音先算质量、可懂度与防御后相似度，再用黑盒合成模型生成指定文本语音，最后算合成后相似度与攻击成功率。比较时保留论文实际可运行的基线，不能用事后最优阈值或搜索最优扰动代替可部署收益。若要验证净化鲁棒性，需单独训练与测试同源或异源的净化器，并分别报告净化前后，不能只报单侧数字。

何时值得尝试这个思路：带走哪三句话？

如果你的场景是用户语音会被公开爬取且攻击合成器未知，而你能在发布前加入不可感知扰动，那么频域先验的思路值得尝试，因为它把防御从盲目推远嵌入改为先找到兼顾干扰与听感的频域操作，再用生成模型放大这种结构性干扰，论文在跨数据集、跨验证模型与净化攻击上都显示了相对稳定的优势。

但要同时带走代价与边界。当净化器与目标同源或合成模型持续升级时，防御收益会被部分侵蚀，论文中净化后仍有 5% 到 30% 左右的攻击成功率就是证据。语种覆盖、长度对齐与客观指标代替主观听感也会影响结论的推广，实际部署前还需补上人工听感、延迟成本与自适应攻击下的验证。

给初学者的复述口径可以是：FreqGuard 用频域操作知识构造引导数据训练重建网络，再用梯度在幅度谱上加小扰动破坏验证与合成共享的身份表达，多损失保证听感，跨模型实验支持泛化但未证明不可逆，缺失的方差、延迟与主观评价是下一步最值得补的验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总