把水印当噪声抹掉：高斯噪声串联语音增强为何能瓦解神经音频水印

英文题目：The Vulnerability of Neural Audio Watermarks under Speech Enhancement

标签：#音频水印 | #评测协议 | #语音增强 | #对抗鲁棒性

评分：6.6/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Xincong Zhong：机构信息未在 arXiv HTML 中可靠披露
• Shengyao Wang：机构信息未在 arXiv HTML 中可靠披露
• Lingfeng Yao：机构信息未在 arXiv HTML 中可靠披露
• Yihang Bao：机构信息未在 arXiv HTML 中可靠披露
• Jinze Yu：机构信息未在 arXiv HTML 中可靠披露
• Miao Pan：机构信息未在 arXiv HTML 中可靠披露
• Jiang Liu：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

神经音频水印需在生成语音中嵌入不可感知签名并在压缩重采样等失真下仍可检测，而语音增强以去噪重构为目标天然将水印视为待去除噪声，黑盒单样本条件下同时实现去水印与保音质尤为困难。本文攻击链先向单条含水印语音注入目标信噪比的高斯噪声以迫使增强器脱离恒等映射进入重生状态，再调用预训练语音增强模型去噪并依据干净语音先验重建谐波与共振峰结构，最后输出去水印语音以同时压低检出率并挽回听感质量。与编解码器重合成仅做波形往返不同，该链条利用生成式先验主动重绘水印寄生的高能量谐波区，因而对集中于谐波区的残差更具破坏性且具有实际威胁意义。在200条LibriSpeech语料构成的评测条件下，10dB高斯噪声级联UniSE的指标TPR@1%FPR为1.2，低于EnCodec重合成基线的指标TPR@1%FPR43.2。其中谱域生成增强已能瓦解多数水印，而特征对齐水印因能量紧贴语音分布仅能被令牌式语言模型增强有效破坏。结论仅适用于英文朗读语音与所测6种水印和6种增强器组合，对强特征对齐水印与音乐等外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

输入是标题为 The Vulnerability of Neural Audio Watermarks under Speech Enhancement 的论文正文，目标读者是刚进入语音与音频方向的研究生。论文研究的问题很具体：已经部署在语音生成系统中的神经音频水印，能否经受住语音增强模型的去噪与重建。解读必须保留的关键信息包括 6 种水印名称、6 种增强模型的范式划分、两步攻击流水线的操作顺序、数据集与评估指标的定义、以及哪种组合真正去除了水印而哪种没有。

输出按学习依赖组织，先讲溯源任务与已有攻击路线，再讲方法全景与组件分工，然后讲实验条件、主结果、消融反证与复现要点。凡是教学用的比喻都会标为例子，不引入原文没有的数值。资源状态方面，本次没有发现来源绑定且完成验证的开源资源，因此不声称代码、模型或数据已公开，只按论文文字说明其使用的公开权重与推理设置。

水印鲁棒性过去测什么，攻击路线有哪些？

被动 deepfake 检测只能判断一段语音是否像机器生成，无法指出它来自哪一个系统，因此才需要主动溯源机制，在生成时就嵌入不可听签名。论文梳理的既有鲁棒性评估大多停留在常规信号变换，例如加噪、有损压缩、滤波、重采样、变调与变速。已有刻意去除攻击包括 4 条路线。第一是把去除写成约束优化，用梯度扰动降低可检测性。第二是覆盖攻击，用伪造水印干扰或替换合法水印。

第三是学习专用去除模型，用成对的含水印与干净语音训练。第四是神经重合成，例如经过编解码器、声码器或扩散重建加神经声码器。论文指出，语音增强很少被纳入水印鲁棒性评估，只有零星工作用配对数据训练去噪器或用离散 token 去噪器压制检测。本文的定位不是再提一种重合成基线，而是第 1 次做范式级系统比较：把增强分成判别式与生成式，把加高斯噪声再增强作为严格黑盒攻击，检验它对 6 种水印的普适破坏力。

为什么语音增强天然就是水印的对手？

把一个样本走一遍有助于建立直觉。设想一段已经嵌入水印的语音，记为干净语音加上一个幅度很小、人耳不易察觉的水印残差。攻击者只拿到这一个音频文件，不知道水印算法与密钥，目标是让检测器认不出来，同时让人听起来仍然正常。语音增强模型的设计目标恰好是去掉加性噪声并恢复干净语音，因此水印残差在它眼中很像需要去掉的噪声。例子只是帮助理解这种对立关系，不是证明所有增强都会去水印。

关键在于增强有两种工作方式：一种是直接回归波形或估计掩蔽，尽量保留输入结构；另一种是按学到的干净语音分布重新生成谐波与共振峰。论文要回答的是，哪种工作方式在不毁掉音质的前提下更能破坏水印，以及水印残差分布在高能量区还是弥散分布会如何改变结局。

攻击流水线与评估对象全景如何串起来？

方法全景可以按一个样本的旅程复述。输入是单条含水印语音。第一步按目标输入信噪比加高斯噪声，论文使用 20 dB 与 10 dB 两档。第二步把带噪信号送入一个预训练语音增强模型，用公开发布的权重与推理设置做增强，输出即为攻击后语音，再分别送给水印检测器打分与感知质量指标打分。评估对象一侧是 6 种水印，另一侧是 6 种增强。

6 种水印覆盖残差波形扰动、可逆卷积消息嵌入、中频段心理声学掩蔽、幅度谱嵌入加原始相位重建、商用系统默认水印，以及与语音内容特征对齐的高能量水印。6 种增强覆盖判别式两员与生成式四员，生成式又分为连续语谱域与语言模型 token 两支。这种全景安排的理由在原文写得很明确：只有同时覆盖判别与生成、连续重建与离散重建，才能判断去除能力究竟来自去噪本身还是来自谐波重建。

神经音频水印 × 语音增强： 神经音频水印负责把不可听的签名残差叠加到语音上以实现溯源，语音增强负责把带噪语音映射回干净语音分布；两者搭配的理由是水印在增强模型看来就是一种未见过的加性扰动，先加高斯噪声把输入推入增强模型熟悉的去噪区间，再让增强重建谐波，组合后新增的作用是既恢复可听质量又顺手重绘水印寄生的时频结构。

六种水印各把签名藏在哪里？

先看水印侧的藏法差异，因为它决定了后文为何有的易除有的难除。AudioSeal 用类 EnCodec 神经编码器产生残差波形扰动，并联合训练一个输出样本级定位分数的检测器。WavMark 用可逆卷积网络产生残差扰动，编码器与检测器共享权重，消息包含同步图案与载荷，检测时暴力搜索时间偏移以锁定同步，再报告解码比特准确率。SilentCipher 用卷积编解码器把消息嵌入中频段，并用信失真比控制器与心理声学模型把扰动压到掩蔽阈值以下。

Timbre 在幅度谱上用卷积嵌入消息，再用原始相位做逆短时傅里叶变换恢复波形，训练时加入模拟 Griffin-Lim 重合成的失真层以抵抗声码器克隆。Perth 是商用文本转语音系统默认部署的水印，按心理声学模型把载荷能量放到掩蔽阈值以下的频带。AlignMark 是特征对齐水印，让嵌入信号贴近原始语音内容特征分布，从而可以承载更高水印能量以抵抗神经重合成。白话说，前 5 种更强调不可听性，最后一种更强调把高能量签名绑在语音结构上。

判别式增强 × 生成式增强： 判别式增强分工是学习 noisy 到 clean 的确定性回归或掩蔽，保留输入连续结构；生成式增强分工是学习干净语音先验再按条件重采样出整个语谱或离散 token；搭配比较的原因是二者对未知水印残差的先验完全不同，组合意义在于揭示只有重绘谐波区的生成路径才能破坏水印的结构完整性。

六种增强各用什么计算恢复干净语音？

再看增强侧的计算差异。判别式增强把增强当回归问题，学习从带噪到干净的确定性映射。Demucs 是直接在波形上工作的因果编码解码器。DeepFilterNet3 在等矩形带宽子带上做深度滤波并预测复数掩蔽。生成式增强则学习干净语音分布，再按带噪输入为条件生成增强语音。

其中连续语谱域分支共享同一网络主干，只差训练目标：SGMSE 在随机微分方程下学习分数函数，并用 60 步预测校正做反向扩散；FlowSE 用流匹配学习向量场，并用 10 步确定性常微分方程积分。语言模型分支不直接估计波形或连续语谱，而是自回归预测干净语音 token，再由神经编解码器解码成波形：GenSE 分层生成干净语义与声学 token，UniSE 则从 WavLM 特征与梅尔流预测语音编解码器的全局与语义 token。白话说，判别式是修补输入，连续生成式是重画语谱，语言模型式是先转写成 token 再重新合成。

频谱域生成增强 × 基于语言模型的生成增强： 频谱域生成增强在连续语谱上做扩散或流匹配去噪，重画共振峰与谐波连续性；基于语言模型的生成增强先把语音压成语义与声学 token 再由神经编解码器重建波形，丢弃细粒度波形细节；两者搭配是为了区分部分重建与完全重 token 化对高能量对齐水印的不同破坏力，组合意义是解释为何只有后者能去除 AlignMark。

本研究训练了什么，没有训练什么？

本研究没有训练任何新的水印嵌入器、检测器或语音增强模型，也没有报告新的梯度路径、参数冻结策略或优化器配置，因此不能从模型名称推定其内部实现细节。真实计算过程是调用与推理：水印侧直接使用已有算法的嵌入与检测流程得到含水印语音与检测分数；增强侧直接加载公开预训练权重，按原文指定的推理设置运行，例如连续语谱分支的扩散步数与常微分方程步数，以及语言模型分支的 token 预测加编解码器解码。

攻击侧的唯一可调操作是高斯噪声的目标输入信噪比，取 20 dB 与 10 dB 两档，不涉及为每个水印单独训练去除器。缺项需要明确指出：论文未报告增强模型训练数据与水印嵌入数据的重叠情况，未报告推理耗时与内存开销，也未报告检测阈值在不同水印间的校准细节之外的实现代码。因此复现时应把重点放在推理流水线与评估脚本，而不是重新训练。

数据、基线、指标与判定线如何保证可比？

实验条件是理解数字的前提。数据使用 LibriSpeech 的性别均衡子集，共 200 条长度大于 5 秒的朗读语音，采样率与时长信息用于保证水印嵌入与增强推理在同一语音域内进行。攻击者条件是严格黑盒，只能接触单条含水印音频。基线包括 3 条神经重合成路径：EnCodec 编解码往返、BigVGAN 第二版梅尔声码器往返、AudioLDM 音频到音频隐扩散。论文说明既有文献已报告这些水印对滤波、降采样与裁剪等经典失真鲁棒，因此为节省篇幅省略这部分。

指标分两类：去除强度用水印检测分数在 1% 误检率下的检出率表示，数值越低代表去除越强，论文把检出率降到 10% 及以下记为成功去除；感知质量用无参考的 UTMOS 估计整体听感，用有参考的 ESTOI 估计可懂度、用 ViSQOL 估计感知质量，数值越高越好。比较公平性来自同一组 200 条加水印与 200 条未加水印语音、同一检测分数定义，以及 AudioSeal 与 Perth 这类零比特检测器以 0.5 为下限校准到 1% 误检率。

误检率定阈下的检出率 × 感知质量： 误检率定阈下的检出率负责回答水印还能否被检测器认出，感知质量负责回答攻击后语音还能否正常使用；两者必须搭配是因为只降检出率但毁掉音质的攻击没有实用威胁，组合意义是用去除强度与 UTMOS、ESTOI、ViSQOL 的联合权衡来判定真正的脆弱性。

下表把数据与攻击设置整理成可核对的清单，数值与单位均来自正文连续句子而非重排后的大宽表，便于按原文复述实验入口。

表后需要强调代价与边界。只看条数与信噪比容易误以为 10 dB 一定更好，但原文报告纯 10 dB 高斯噪声的平均 UTMOS 已跌到 1.47 左右，远低于正常通信可接受水平，因此必须串联增强来恢复质量。同样，200 条子集能支撑范式级比较，但不能外推到音乐、强混响或多说话人场景。未胜出项在后文会看到：判别式增强在恢复质量上有优势，却在去除高能量对齐水印上失败，这正是需要两类指标联合判断的原因。

不加噪声直接增强，以及重合成基线各能去掉谁？

结果先回答两个对照问题：不加噪声直接做增强会怎样，3 条重合成基线又能去掉谁。原文报告，无攻击时 6 种水印检出率都在 99.5% 到 100% 之间，且 AlignMark 的扰动明显更强。重合成基线中，EnCodec 去除了 WavMark、SilentCipher 与 Timbre，但留下 AudioSeal、Perth 与 AlignMark 较高检出率；BigVGAN 第二版去除了 AudioSeal、WavMark 与 SilentCipher，且平均感知质量在 3 条基线中最好，但完整保留了 Timbre、Perth 与 AlignMark；AudioLDM 破坏最强，平均检出率降到 13.4，但感知代价最高。

直接增强而不加噪声时，范式分裂非常清晰：判别式与连续语谱生成分支基本保留水印，语言模型分支几乎完全去除除 AlignMark 之外的所有水印，而 AlignMark 仍保留约 28.0 与 9.5 的检出率。质量侧判别式与连续语谱分支优于语言模型分支，语言模型分支中 UniSE 因额外梅尔输入而优于 GenSE。

下表把上述对照压缩为可复述的主结果，重点保留实际可运行的增强与重合成策略，避免只列数据集或配置。

表后解释收益与代价。直接增强的对照支持一个判断：生成式去噪本身不是万能钥匙，连续语谱分支在无噪声时接近恒等映射，因而去不掉水印；语言模型分支即使不加噪声也能破坏大多数水印，代价是 token 重建丢掉更多输入细节。反例同样重要：AlignMark 在所有直接增强下都有残留，说明高能量对齐策略确实提升了对重合成的抵抗。限制是这些平均数不能推广到每条语音，个别样本的谐波清晰度与水印能量不同，结局会有波动。

加上高斯噪声后，哪条增强路径真正崩塌了水印？

消融围绕噪声注入的作用展开。纯高斯噪声破坏力有限：在 20 dB 时除 SilentCipher 外都仍可检测，5 种水印检出率分别为 60.0、28.0、98.5、86.5 与 99.5；在 10 dB 时除 Timbre 与 AlignMark 外几乎都被去除，但平均听感已不可用。串联增强后，判别式路径不能彻底去除：在 20 dB 下 Demucs 的平均 ViSQOL 最好，但对 Timbre、Perth 与 AlignMark 仍有高残留；DeepFilterNet3 的平均 ESTOI 最高，但同样去不掉这三者，且两条判别路径都会轻微恢复 AudioSeal 的检出率。

生成式路径则让水印崩塌：在 20 dB 下连续语谱分支把前 4 种水印压到 4% 及以下，把 Timbre 压到 19.0 与 37.0；在 10 dB 下上述 5 种几乎完全去除。唯一的例外是 AlignMark，连续语谱分支几乎无能为力，只有语言模型分支能把它压到 23.5 与 9.5，以及 8.0 与 6.5，同时把其余 5 种压到 1.5 及以下。其中 UniSE 在 10 dB 下平均 UTMOS 与 ViSQOL 保持较好平衡。

高斯噪声注入 × 谐波重建： 高斯噪声注入负责把带水印输入推出恒等映射区，迫使生成式增强进入再生模式；谐波重建负责按干净语音先验重采样高能量谐波与共振峰过渡带；搭配理由是单做增强时生成模型接近直通而单加噪声时音质崩塌，组合后新增的作用是让去噪过程顺带抹掉寄生在高能量区的 Timbre 与 Perth 类残差。

下表把两档信噪比下的关键残留数字并置，便于核对哪种水印在何种条件下幸存。

表后必须点出代价与未胜出项。连续语谱路径的代价是共振峰过渡带出现可见断点，语言模型路径的代价是谐波包络更规则、高频共振峰过渡线模糊并伴随音色相似度下降。未胜出项是判别式路径：它保留连续谐波结构、去噪不激进，因此 AlignMark 签名得以幸存。另一边界是即使最强的语言模型路径，对 AlignMark 也只是压到个位数而非零，说明与语音特征绑定的高能量水印仍是最难的一块。

可视化支持了什么，哪些推测尚未验证？

论文用残差语谱与 AlignMark 局部放大来解释脆弱性。顶行展示 6 种水印的原始与含水印语音残差语谱，底行比较 10 dB 噪声下 3 条代表性路径的输出。原文的解释是有限解释而非因果证明。判别式路径做确定性波形回归或谱掩蔽，而水印扰动的分布与强度与增强训练用的加性噪声差异很大，模型没有相关先验，因此大部分水印幸存，可视化上 DeepFilterNet3 保留连续谐波结构。连续生成路径在无噪声时接近恒等映射，加噪后进入再生模式，整张语谱按干净先验重建。

Timbre 与 Perth 把残差集中在高能量区，而重建恰好重画了浊音谐波与共振峰连续性，水印失去结构完整性；另一部分与高斯噪声能量重叠的残差在去噪中被去掉。但 AlignMark 能量更高且更贴合谐波结构，部分语谱重建不足以摧毁它，可视化上 SGMSE 去噪更激进并在过渡带留下断点。语言模型路径把语音压成离散 token，水印残差只有被编码进量化前隐空间才可能保留，可视化上 UniSE 的谐波结构变化更明显。

需要用可能与待验证表达的是：谐波重建越彻底去除越强这一论断得到可视化支持，但音色变化与说话人相似度下降未给出完整主客观量表，跨语言、跨采样率与实时增强的泛化也未测量。

要复现这条攻击流水线，先做什么？

复现应从最小闭环开始。第一步准备 LibriSpeech 子集，按性别均衡抽取 200 条长于 5 秒的语音并记录文件清单，避免每次随机抽样带来不可比。第二步按原文嵌入 6 种水印并跑各自检测器，确认无攻击检出率落在 99.5% 到 100% 附近，作为后续下降的起点。第三步实现两步攻击：先按 20 dB 与 10 dB 目标信噪比加高斯噪声，再分别调用 6 种增强的公开权重与指定推理设置，特别注意连续分支的扩散与常微分方程步数，以及语言模型分支的 token 解码流程。

第四步按原文评估：用 200 条攻击后含水印与 200 条未加水印语音计算 1% 误检率下的检出率，对零比特检测器以 0.5 为下限校准；同时计算 UTMOS、ESTOI 与 ViSQOL，前者无须参考，后两者需以原始未加水印语音为参考。还需补的验证包括多次噪声种子下的方差、不同性别与基频区间的分组结果，以及增强输出的音色相似度与主观听感，避免只用平均数做结论。

何时值得尝试增强攻击，何时不必担心？

综合所有证据，可以给出务实的分界。当评估目标是已部署语音生成系统的溯源水印，且攻击者能接受 1 次离线增强的音质损失时，加噪串联生成式增强值得尝试，尤其是语言模型分支对高能量对齐水印的额外破坏力。当水印只是用于轻量版权提示且信道本身会经过传统压缩与滤波时，不必直接套用本文结论，仍应先测经典失真。

未来水印设计需要把语音增强纳入鲁棒性评估，不仅测信号级失真与神经重合成，还要测判别与生成两条增强路径在两档信噪比下的残留。未解决的问题是：如何在不明显改变谐波包络与共振峰轨迹的前提下让签名躲过再生，以及如何在保持音色相似度的同时抵抗 token 级重合成。这些都指向同一矛盾：签名越贴合语音结构越鲁棒，但也越依赖语音结构本身不被重绘。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-25 语音/音乐/音频论文速递