📄 新检测器如何继续认出旧水印又拒绝陌生水印
英文题目：Backward Compatibility in Zero-Bit Neural Audio Watermarking
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Admir Krnić：机构信息未能在本次解析中与作者逐人可靠绑定
- Kosta Pavlović：机构信息未能在本次解析中与作者逐人可靠绑定
- Petar Nedić：机构信息未能在本次解析中与作者逐人可靠绑定
- Željko Bolević：机构信息未能在本次解析中与作者逐人可靠绑定
- Slavko Kovačević：机构信息未能在本次解析中与作者逐人可靠绑定
- Igor Djurović：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
零比特音频水印以原始波形为输入，输出检测分数经阈值得到二值判定，难点在于嵌入器与检测器更新后旧内容仍要可验，而泄露版本还要可撤销。论文把新检测器必须支持的旧嵌入器集合定义为遗留链，要求对链内嵌入器高检出率，对干净音频与链外嵌入器高正确拒绝率，撤销的嵌入器则移出遗留链。新检测器在冻结的遗留嵌入器与可训练的新嵌入器组成的集合上训练，每轮按性能加权采样单个嵌入器的输出进行前向与反向传播，采样概率向当前准确率低的嵌入器倾斜，使检测器覆盖整条链。采样得到的水印与非水印帧先经推送损失扩大间隔，得到的新旧残差再经角多样性损失约束新嵌入器残差远离旧残差，两项对新嵌入器参数的梯度按各自范数归一到共同尺度后相加再更新参数。为兼容而耦合训练不同于独立训练水印共存，耦合在无约束时会诱发新嵌入器向旧残差靠拢，导致版本边界坍缩。在固定阈值0.99、无撤销的8版本序列评测设置下，相对无多样性损失的基线设置，完整方法使链外正确拒绝率（TNR）均值从11.3%上升到99.98%。在固定阈值0.99、无撤销的8版本序列评测设置下，完整方法链内检出率（TPR）维持在99.3%至100%均值99.9%，与基线均值99.8%相当。结论适用于零比特、短时傅里叶变换幅度嵌入与固定阈值的设置，多比特扩展与对抗攻击下的表现尚未验证，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决的部署问题是什么
输入是一段待验证的音频，目标是判断它是否含有本系统某个允许版本的水印，必须保留的信息是旧内容在新检测器下仍可验证，同时陌生或已撤销版本的水印必须被拒绝，输出是一个分数过阈值后的有无判断。现实中嵌入器和检测器会不断升级换架构、旧音频却长期流通，如果只按固定配对部署，新检测器要么认不出旧水印，要么把不该认的也认进来。论文还指出欧盟人工智能法案要求替换后的检测器不降低对已标记内容的能力，这让向后兼容不只是好用，而是合规需要。
零比特水印 × 嵌入器 × 检测器： 零比特水印只回答含不含水印，不传多比特信息；嵌入器负责把不可闻的扰动加到音频上，检测器负责对一段音频打出分数再过阈值判有无，二者分工是前者藏信号、后者认信号，配对训练才能在不可闻和可检出之间折中。
对刚入门的读者，可以把水印想成例子：同一句话由不同印章盖出肉眼难辨的暗纹，验章机要认出自家历代印章但拒绝外来印章。论文只研究零比特音频水印，即只判有无，不研究多比特载荷，实验也不做对抗攻击下的最大鲁棒性优化，只检验兼容性本身在失真下是否还在。训练数据来自通用语音，测试混采多库多采样率，这些条件决定了结论的适用边界。
已有水印路线为什么没管跨版本兼容
原文回顾的路线是把嵌入器和检测器联合训练，在不可闻和鲁棒之间折中，提到的 RobustDNN、WavMark、AudioSeal、Timbre Watermarking、SilentCipher、VoiceMark 都是按固定配对训练和部署，没有让后来的检测器必须认出早先嵌入器的显式机制。另一条被对比的路线是独立训练多组水印再共存或集成，论文指出那种设置下嵌入器与检测器对之间没有共享参数和训练信号，也没有后向必须识别的义务，所以干扰很小，不能直接搬到需要耦合训练的向后兼容场景。持续学习路线处理单个固定架构模型的灾难性遗忘，常用弹性权重巩固等方法，但它假设模型结构不变，装不下论文里换激活函数、加深网络乃至从卷积换到变换器这种架构漂移。
因此论文的比较是同任务同阶段下的缺口陈述：已有方法在各自的固定配对条件下成立，但没有回答升级后如何同时保旧检出和拒陌生，这正是本文要形式化和实验的部分。把类别差异说成同条件胜负会误导读者，原文没有这样做。
向后兼容的形式化目标是什么
论文给每个训练轮次一个版本号。第一版训练 1 对嵌入器与检测器，之后每一版联合训练新的嵌入器与新的检测器，旧嵌入器冻结成遗留链，新检测器要同时对链训练。撤销集合是被故意丢掉的嵌入器，例如泄露的版本，兼容集合就是小于等于当前版本再减去撤销集合，其余未来版本和撤销版本都算链外。检测器在阈值下要满足 3 条：对链内高真阳性率，对干净音频高真阴性率，对链外高真阴性率。
遗留链 × 链内 × 链外： 遗留链是新检测器必须继续支持的旧嵌入器有序集合；链内指包含当前版本且未被撤销的嵌入器集合，检测器应对它们高检出，链外指未来版本和已撤销版本，检测器应对它们高拒绝，三者组合把兼容从只管认旧变成同时管住拒新和可撤销。
关键在于第 3 条不是缺席而是主动拒绝。论文强调这条线就是版本边界，它让撤销成为可能：泄露版本一旦从后续链中拿掉，后续检测器就直接拒绝它，否则每个新检测器都会继续接受伪造，水印就被一次泄露永久破坏。维护多版本检测器会增加复杂度和误报，重嵌旧内容又不可行，所以必须用单个新检测器同时做到 3 条。
整体训练流程如何把新旧版本连起来
嵌入器在短时傅里叶变换域工作，水印加在 500 到 4000 赫兹嵌入带内的幅度谱上，再用原始相位经逆变换回到时域。检测器同样先算短时傅里叶变换和限制在同一嵌入带内的梅尔谱，再送入检测网络。论文沿用硬性感知失真约束的思路，只用检测损失训练，使所有嵌入器落在相近的听感质量水平，原文称该约束让所有嵌入器达到一致质量，感知评估分数在 4.3 到 4.5 之间，于是模型之间可以只比检测准确率。
第一版按常规单对端到端训练。从第二版起，新嵌入器和新检测器允许换架构，每次迭代从包含新嵌入器和未撤销旧嵌入器的全链中按性能加权采样抽一个嵌入器，和新检测器组成 1 对做前向后向，旧嵌入器冻结不动。因为每次独立抽样，检测器训练不依赖链内顺序，版本号只反映嵌入器被创建的先后。多样性损失只作用于新嵌入器，再用梯度归一化与检测损失平衡。
检测损失和采样如何保证认全旧版本
检测目标采用推送损失，它在均方误差之外加了一项，把加水印帧的输出往上推、把无水印帧的输出往负方向推，用权重控制拉开间隔的强度。直观说，它不只要求分对，还要求分得开。采样分布初始均匀，每次验证后按每个嵌入器的准确率做带温度的柔性最大化，准确率越低的嵌入器下一次被抽中的概率越高，原文实验取温度系数为 8 效果最好。沿着一个样本看，音频先被抽中的某个链内嵌入器加水印，再送入新检测器打分，误差回传同时更新新嵌入器和新检测器，旧嵌入器不更新。
\[\mathcal{L}_{\text{push}}=\mathrm{MSE}(\hat{y},y)-\lambda\left(\frac{1}{|y\geq 0|}\sum_{y\geq 0}\hat{y}+\frac{1}{|y<0|}\sum_{y<0}(-\hat{y})\right),\]\[p_{i}=\frac{\exp(-k\cdot A_{i})}{\sum_{E_{j}\in\mathcal{C}}\exp(-k\cdot A_{j})},\]性能加权采样 × 推送损失 × 检测准确率： 推送损失负责把加水印帧的分数推高、把无水印帧的分数推低并拉开间隔，性能加权采样负责在每次迭代只抽一个链内嵌入器来训练检测器且越差的嵌入器被抽中概率越高，二者搭配让一个新检测器能同时伺候整个遗留链而不偏向好学的旧版本。
按原文证据，这套组合足以让链内真阳性率接近完美，但它不管新嵌入器的残差落在哪里，为后文的坍缩埋下伏笔。代价是训练时每步只见一个嵌入器，需要足够多迭代才能轮遍全链，链越长覆盖越慢。
嵌入器坍缩是怎样发生的
论文把坍缩解释为最省力的学习路径：旧嵌入器的残差已冻结，只有新嵌入器的残差能动，检测器又是从零训练，模型发现让新残差靠近旧残差最容易用一个判决边界同时满足所有链内配对。结果是新旧嵌入空间挤在一起，版本边界消失。论文用残差余弦相似度验证了这一点，对不兼容对计算新嵌入器与检测器链内各旧嵌入器的平均残差相似度，发现相似度越高则拒绝率越低，整体呈强负相关。
嵌入器坍缩 × 残差 × 角度多样性损失： 残差是嵌入器加到原始音频上的水印扰动本身；嵌入器坍缩指新嵌入器的残差在无约束时漂向被冻结的旧嵌入器残差，导致一个判决边界同时接受所有版本；角度多样性损失在梅尔特征单位球面上给新嵌入器加角度间隔把它推离旧类中心，组合后既保留检出又重建版本边界。
为把新嵌入器推开，论文引入角度多样性损失。它把每个嵌入器加水印后的梅尔特征批量均值归一化当作类中心，去掉可学习的原型，每次前向重新计算，只对新嵌入器的样本加间隔，把每个新样本拉向自己的类同时推离旧类中心集合，间隔取 0.1，尺度取 8。原文解释梅尔谱对感知相似信号很敏感，所以弱参数的轻推就够，太强反而让训练不稳定。
\[\mathcal{L}_{\text{div}}=-\frac{1}{B}\sum_{b}\log\frac{e^{s\cos(\theta_{v}^{(b)}+m)}}{e^{s\cos(\theta_{v}^{(b)}+m)}+\sum_{i\in\mathcal{N}_{v}}e^{s\cos\theta_{i}^{(b)}}}.\]被排斥的集合通常是全部前任，也可以在撤销实验中把撤销版本只放进多样性项而不放进检测损失，让新嵌入器远离它但检测器从不学着接受它。
多样性损失的计算目标与适用条件
记新嵌入器某样本与自类中心的余弦为加间隔项，与旧类中心的余弦为竞争项，损失是带加性角度间隔的交叉熵，要求新样本至少与旧中心保持间隔弧度。它的监督来自同一批音频被不同嵌入器加水印后的梅尔特征差异，不需要额外标注，梯度只流向新嵌入器，旧中心当作常量。这种设计把分离压力放在信号表示层面，而不是让检测器记更多边界。
两个损失量级不同，固定标量加权很脆。论文用按步的梯度范数缩放：分别求对新嵌入器参数的梯度，取二者范数的均值作公共目标范数，各自除以自身范数再乘该目标后相加，既去掉原始量级主导，又不压成单位范数而是缩放到有代表性的公共尺寸。该平衡的代价是每步要算两次梯度，训练计算量比单损失大，但推理时不增加开销。
八个版本如何模拟真实架构漂移
训练数据来自 Mozilla Common Voice，重采样到 44.1 千赫，测试集混采 LibriSpeech、LJSpeech 和 Common Voice 并保留多种原始采样率。模型分两族：卷积族用 DenseNet 做嵌入器、ResNet 做检测器，变换器族用 ViTMAE 做嵌入器、AST 做检测器。每版只改激活函数和深度，宽度、核尺寸、注意力头数等模板超参数固定。版本序列先在卷积族内轮转激活函数再加深，然后跳到变换器族重复同样两轴，模拟先换新激活、再扩容量、最后换代到全新架构族的过程。优化用 Adam，学习率为 3 乘 10 的负 4 次方，指数衰减，批量 128，梯度范数裁剪 0.1。
\[\mathbf{g}=\frac{\bar{n}}{\lVert\mathbf{g}_{\text{push}}\rVert+\epsilon}\,\mathbf{g}_{\text{push}}+\frac{\bar{n}}{\lVert\mathbf{g}_{\text{div}}\rVert+\epsilon}\,\mathbf{g}_{\text{div}}.\]需要说明的是多样性损失与检测损失的梯度都只更新新嵌入器与新检测器，旧嵌入器全程冻结，这是复现时不能搞错的冻结关系。论文没有报告逐版训练时长和硬件预算，成本对比只能从方法上定性讨论，不能给出具体耗时结论。
评测条件与阈值如何固定
对每个检测器测 3 类：链内配对的真阳性率、干净音频的真阴性率、链外配对的真阴性率，结果排成准确率矩阵，行是嵌入器版本，列是检测器版本，对角线及以上是检出，以下是拒绝。阈值固定为 0.99，原文称该阈值在两组实验下对目标最好。对比分两组：基准只用性能加权采样加检测损失，完整方法再加角度多样性损失并用梯度归一化，两组都不撤销。撤销单独评估，从一到七版链中拿掉一个版本后重训新对，分 3 种条件看对被撤销嵌入器的拒绝率。
第三方测试与公开零比特 AudioSeal 双向互测，AudioSeal 侧用默认 0.5 阈值并在输入重采样到 16 千赫。鲁棒性只测不优化，在 DeepMark 基准下重跑。指标方向都是越高越好，比较时阈值、数据划分和链组成保持一致。
没有多样性损失时边界为何崩塌
读这张基准矩阵时，先明确横轴是检测器版本从一到八，纵轴是嵌入器版本从一到八，格内同时标真阳性率或真阴性率与数值，绿色越深分数越高，红色为低分区，重点看对角线下三角是否出现大片红色。下三角对应新嵌入器被旧检测器检验，正是版本边界是否成立的位置。
看图路径： 1. 先看横轴检测器版本与纵轴嵌入器版本的含义，区分对角线上方与下方；2. 再看下方三角红色区域的范围，注意几乎整片都是低拒绝；3. 最后找例外格，例如较早检测器对较新嵌入器仍拒绝的那一格
论文图 1。原论文 Figure 1:：“Accuracy matrix for the base setup (no diversity loss).”。
上图可见下三角几乎全红，链内检出虽高，但链外拒绝整体很低，变换器块内甚至为零，跨族也只有 1% 左右，唯一例外是较早检测器对嵌入器第四版仍保持高拒绝。这说明问题不在阈值没有调好，而是新水印长得太像旧水印，旧检测器自然放行。
下面比较基准与完整方法在干净音频下的主数字，比较问题是加多样性损失能否在不丢链内检出的前提下恢复链外拒绝，条件是同一阈值、同一八版本、无撤销，链内看检出能否保持，链外看拒绝能否恢复。
| 训练条件 | 链内 TPR 区间 | 链内 TPR 均值 | 链外 TNR 均值 | 不兼容对分布 |
|---|---|---|---|---|
| 基准，无多样性损失 | 99.3% 到 100% | 99.8% | 11.3% | 24 对在 3% 及以下，共 28 对 |
| 完整方法，加入角度多样性损失 | 99.3 到 100% | 99.9% | 99.98% | 27 对在 100%，最后 1 对 99.3%，共 28 对 |
从上表看，完整方法把链外拒绝从很低拉到近乎完全，其中 27 对到 100%、最后 1 对 99.3%，而链内检出前后基本持平，说明分离代价很小。这个整理把多对取了均值，掩盖了个别版本的差异，具体哪几对最差、撤销时单版本表现如何，还要结合矩阵和撤销实验再看，失真下的表现则要看鲁棒性评估。
加上多样性损失后恢复到什么程度
读这张完整方法矩阵时，布局与前图相同，仍是行嵌入器、列检测器，对角线上方看兼容是否保持绿色，下方看拒绝是否由红转绿，特别留意卷积族内、变换器族内以及第四到第五版跨族处。颜色整体由红转绿才算边界恢复，个别浅绿格需要结合数值确认是否仍是高分。
看图路径： 1. 沿同样的行列布局看下方三角颜色是否整体变绿；2. 比较对角线及上方三角的检出是否与前图基本一致；3. 注意个别略浅的绿色格，确认它们仍是高分而非失败
论文图 2。原论文 Figure 2:：“Accuracy matrix for the full method (with the ADL). Same layout as Fig. 1. In-chain TPR is unchanged, while the lower triangle recovers to near-perfect TNR.”。
上图显示下三角恢复到近乎全绿，链内检出保持在高位，链外拒绝均值接近 100%，没有残留失败簇，版本边界在族内和跨族都成立。干净音频的无水印拒绝在两种训练下都是 100%，说明对无水印的拒绝本来就没坏，坏的是对链外水印的拒绝。
下表整理残差相似度与拒绝的关系，比较问题是残差越像是否越难拒绝，对象同为下三角不兼容对，相似度升高时拒绝下降才符合坍缩假设，指标方向是相似度越高、真阴性率越低。
| 证据类型 | 皮尔逊相关 | 斯皮尔曼相关 | 显著性 | 相似度拐点 |
|---|---|---|---|---|
| 残差相似度与 TNR | -0.86 | -0.73 | p<10-4 | 约 0.55 |
上表显示两者呈强负相关，只有最低相似度区间保持近乎完全拒绝，其余区间迅速跌落，这说明新嵌入器残差越接近链内残差越难被拒绝，也为用角度多样性损失推开相邻版本提供了动机，但这仍是相关性证据，因果要靠加入该损失后拒绝回升来确认，不能反推所有低拒绝都由残差像导致。
失真下版本边界是否还成立
这里的比较问题是向后兼容本身能否经受传输编辑，而非把鲁棒性做到最大，条件是无攻击增强训练、直接在 DeepMark 的 27 种攻击下重评，指标同时看链内真阳性率与链外真阴性率，方向都是越高越好。基准与完整方法在相同攻击、相同阈值下对比，才能分离多样性损失的作用。
| 评估条件 | 基准 TNR 均值 | 己方 TNR 表现 | 覆盖攻击数 | 恰为 100% 数 | 链内 TPR 变化 |
|---|---|---|---|---|---|
| 干净与 27 种攻击 | 11-14% | 近完美，均值不低于 98% | 27 | 21 | 紧贴基准 |
上表是跨攻击的概括，基准的拒绝本来在干净音频已坏，攻击下均值仍只有 11-14%；己方干净时近完美，攻击下均值在全部 27 种上不低于 98%，其中 21 种恰为 100%，链内检出则紧贴基准，说明多样性损失在失真下几乎无兼容代价。局限也很清楚：加性噪声、粉噪声、量化等下双方检出都掉，例如加性噪声下己方链内均值明显低于干净条件，论文未优化抗攻击，所以不能把该概括读成鲁棒水印的胜负表，完整每攻击最小最大均值以原文大表为准，部署前需另补自己关心的攻击增强验证。
撤销泄露版本需要什么额外操作
撤销的比较问题是：只把泄露版本移出检测损失够不够，还是必须把它放进多样性项推开。条件是从一到七版链中撤销第三版或第五版，再用剩下六版重训新对，分无多样性、只用多样性但不用泄露版、把泄露版加入多样性项 3 种。指标是新检测器对被撤销嵌入器的真阴性率，越高越好。
版本边界 × 撤销 × 真阳性率 × 真阴性率： 真阳性率衡量链内加水印被正确检出的比例，真阴性率衡量无水印或链外加水印被正确拒绝的比例；版本边界就是检测器在接受链内和拒绝链外之间划的线，撤销是把泄露的嵌入器移出遗留链并要求后续检测器拒绝它，指标与机制组合后撤销才可执行，否则一次泄露就让所有新检测器继续接受伪造。
原文报告的趋势是：基准几乎不拒绝；只省略而不推开时不稳定，对卷积族旧版拒绝仍然很低，对变换器族旧版有所回升；只有把被撤销版放进多样性项、检测损失仍不含它时，两族都达到完全拒绝。这说明遗忘不够，必须主动推离，未胜出项恰是中间那列，它提醒仅删链不可靠。限制是每次只撤销一个版本，多版本同时撤销未测，被撤销版仍需参与多样性计算，若彻底删除其所有痕迹能否拒绝未知。
下表把干净无水印与第三方互测放在一起，比较问题是本系统是否与独立训练的第三方水印互相误认，条件是各自阈值、AudioSeal 侧重采样到 16 千赫，双向测试，指标为真阴性率越高越好。
| 对象 | 条件 | 阈值 | 真阴性率 | 说明 |
|---|---|---|---|---|
| 干净无水印，全部检测器 | 两种训练 | 0.99 | 100% | 本来就没坏 |
上表显示干净拒绝本来就是 100%，难的是拒绝长得像自家的陌生水印；第三方双向均为 100%，与独立训练水印干扰极小的结论一致，但只在 AudioSeal 零比特公开模型、默认阈值下成立，换模型或阈值需重测。
结论在什么条件下才成立
第一，检测准确率可比的前提是硬失真约束把听感拉齐到相近水平，若去掉该约束或换感知指标，兼容无代价的结论需重测。第二，主结果固定阈值 0.99，换阈值会同时移动检出与拒绝，论文称该阈值对目标最好，但未展示阈值扫描曲线。第三，残差相似度与拒绝的负相关是观测相关，加损失后回升才构成机制支持，不能反推所有低拒绝都由残差像导致。第四，撤销只验证单版本撤销，被撤销版仍需参与多样性计算，若彻底删除其所有痕迹能否拒绝未知。
第五，第三方互斥只在 AudioSeal 零比特公开模型、默认阈值、重采样到 16 千赫下成立，换模型或阈值需重测。第六，攻击评估显示部分攻击下检出本身大跌，边界保持不等于内容在强噪声下仍可检出，论文明确只测不优化。
复现第一步做什么与资源现状
先按版本号冻结旧嵌入器，只训练新嵌入器与新检测器，每步从全链按性能加权采样抽一个嵌入器做配对，检测用推送损失，多样性用弱间隔 0.1、尺度 8 并做梯度范数平衡，阈值取 0.99 复现矩阵。关键超参数与信息条件要保留：采样温度系数 8，批量 128，学习率 3 乘 10 的负 4 次方，嵌入带 500 到 4000 赫兹，训练用 Common Voice 44.1 千赫，测试混三库多采样率。关于资源，依据本次收到的来源绑定记录，未发现可验证的作者代码模型数据链接，因此不能说代码模型数据已公开或可下载，代码开源、权重可下载、系统可运行是三件不同的事，需以作者后续声明为准。复现时先跑两版小链验证下三角是否由绿变红再变绿，再扩到八版。
什么时候值得尝试还缺哪项验证
当系统必须升级架构又不能重嵌旧内容，且需要撤销泄露版本时，这套遗留链加权采样加角度推离的思路值得尝试；若只是固定配对部署或只管多比特容量，它不解决你的问题。第一步是把现有嵌入器冻结成链，用加权采样训新检测器并监控链外拒绝而不仅是链内检出。还缺的验证是：多版本同时撤销、阈值扫描下的等误线、感知质量的主观听测而非仅靠分数区间，以及在你关心的攻击增强下重测检出与边界。
常见误解是把链外拒绝当成对干净音频的拒绝，实际上干净拒绝本来就是 100%，难的是拒绝长得像自家的陌生水印；另一个误解是把攻击下边界保持当成鲁棒性夺冠，原文明确只测不优化，检出在噪声类攻击下双方都低。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses