📄 Hidden in Plain Tokens: Simply Robust, Gradient-Free Watermark for Synthetic Audio

#语音合成 #语音转换 #生成对抗网络 #对比学习 #扩散模型 #多任务学习

🔥 10/10 | 前25% | #语音合成 | #生成对抗网络 | #语音转换 #对比学习 | arxiv

学术质量 6.5/7 | 影响力 2/2 | 可复现性 1.5/2 | 置信度 高

👥 作者与机构

Georgios Milis, Yubin Qin, Yihan Wu, Heng Huang。论文未明确提及作者所属机构。

💡 毒舌点评

本文提出了一种思路精巧且理论扎实的音频水印方法，其核心贡献在于发现了重标记化错误的结构性并利用图社区检测来缓解，实现了“无梯度训练”下的显著性能提升，这在当前需要白盒微调的解决方案中是一股清流。然而，审稿人认为其评估存在明显偏科和不足：1）对音频质量影响的评估深度不足，仅报告了FAD和预测MOS，缺乏如PESQ、STOI或主观听测（如ABX测试）等更全面的音频质量客观指标和人类评估，尤其是在声称“对生成质量影响微小”时，说服力有限。2）对“语义相邻”的假设和聚类结果缺乏深入分析，论文观察到错误具有结构性，但未提供任何可视化或量化证据（如混淆矩阵热图、聚类可视化）来向读者直观展示这种“语义相邻”到底是什么样子，以及Leiden算法究竟聚出了什么样的集群。3）局限性讨论可以更深入，例如，方法依赖于对特定编解码器进行离线聚类，当编解码器版本更新或部署环境变化时，聚类可能失效，如何维护？此外，将令牌聚类为簇，本质上是降低了水印的“分辨率”和熵，这可能在更长的上下文或更复杂的模型中带来新的、未被探讨的统计特性（如检测p值的分布变化）。4）实验比较的选择性，主要对比了Base和WMAR，但缺少与同属“训练无关”范畴的、其他可能的令牌聚类或特征空间对齐方法的比较，削弱了结论的普适性。

📌 核心摘要

本文针对自回归音频生成模型中令牌级水印因重标记化错误而失效的问题，提出了一种新颖的、梯度无关的解决方案。核心思想是：观察到重标记化错误并非随机，而是将令牌混淆为少量“语义邻居”，这种结构性冗余可以通过图社区检测算法（Leiden）发现并利用。方法将音频编解码器的令牌词表建模为图，边权为混淆概率，然后运行社区检测算法得到“令牌簇”。水印机制（基于KGW）在簇级别而非原始令牌级别上实施，从而对重标记化噪声变得鲁棒。理论分析量化了令牌匹配率\(r\)和簇匹配率\(r_{cl}\)对水印检测统计量\(\mathbb{E}[z|H_1]\)的指数级影响。在Moshi（Mimi编解码器）和MusicGen（EnCodec）上的全面实验表明，该方法在检测性能上比基线（包括微调编解码器的WMAR方法）提高了数个数量级，对常见的音频处理攻击（如滤波、压缩、时移）保持强鲁棒性，且对音频质量（FAD、预测MOS）影响较小。此外，该方法在CosyVoice3和Spark-TTS等基于流匹配的文本转语音模型上也验证了有效性。

🔗 开源详情

  • 代码：提供项目主页链接：https://g-milis.github.io/projects/nograd-audio-wm.html，用于发布音频样本和代码。
  • 模型权重：论文中未提及。
  • 数据集：实验使用了开源数据集LibriSpeech、MusicCaps、Free Music Archive和LibriTTS，但未在论文中提供具体下载链接。
  • Demo：论文中未提及。
  • 复现材料：论文在附录E (Experimental Details) 中提供了详细的复现信息，包括：
    • 构建词汇缩减所用音频数据集（Mimi/TTS用LibriSpeech开发集，EnCodec用MusicCaps）。
    • 聚类超参数网格搜索过程（分辨率\(\rho\)和噪声阈值\(m\)）。
    • 最终选定的超参数（表8）。
    • 水印参数（\(\gamma, \delta, h\), 生成长度）。
    • 各种鲁棒性攻击的具体设置（滤波器截止频率、噪声标准差、MP3比特率、时移比例、裁剪比例等）。
  • 论文中引用的第三方开源项目（论文正文仅提及名称，未提供具体链接）：Mimi, MusicGen, EnCodec, Leiden, Louvain, Whisper, WMAR, CosyVoice3, Spark-TTS, FaCodec, SpeechTokenizer, DAC, LibriSpeech, MusicCaps, Free Music Archive, LibriTTS。

🏗️ 方法概述和架构

本文方法的核心架构是一个两阶段的离线准备与在线水印方案，其设计动机是解决令牌级水印在连续模态（如音频）中因重标记化（retokenization）不一致导致的鲁棒性崩溃问题，且完全不依赖于梯度信息或对编解码器进行微调。

第一阶段：离线词汇蒸馏（Vocabulary Distillation） 此阶段旨在从数据中学习并构建一个对重标记化鲁棒的“令牌簇”映射表。

  1. 混淆数据收集：使用目标音频编解码器（如Mimi或EnCodec）对一个覆盖其整个词表的大规模音频数据集进行双重编码。即，先编码为令牌序列\(x\)，然后解码回音频，再重新编码为令牌序列\(y\)。这模拟了水印检测时会发生的重标记化过程。
  2. 构建混淆图：基于上述配对序列\((x, y)\)，构建一个混淆矩阵\(M \in \mathbb{N}^{|V| \times |V|}\)，其中\(M_{ij}\)表示令牌\(i\)被重标记化为令牌\(j\)的次数。将该矩阵视为一个带权有向图\(G=(V, M)\)的邻接矩阵，节点\(V\)是所有令牌，边权重是混淆频率。
  3. 社区检测聚类：在图\(G\)上运行Leiden社区检测算法（优于Louvain，因其考虑方向性且收敛快）。算法通过优化模块度，将连接紧密（即相互混淆频繁）的令牌节点聚合成簇（community）。输入包括：分辨率参数\(\rho\)（控制簇的粒度）和噪声阈值\(m\)（过滤低频混淆边）。输出是一个分区\(\mathcal{P}=\{c_1, c_2, ..., c_K\}\)，每个\(c_k\)是一个令牌簇。对于未在数据中出现混淆的“孤立”令牌，它们各自形成单节点簇。最终得到一个从原始令牌到簇索引的映射表\(\mathcal{C}: V \rightarrow \{1, 2, ..., K\}\)。此过程是逐通道（channel）独立进行的，因为RVQ架构的各通道代码本独立。

第二阶段：在线簇级水印嵌入与检测 此阶段将标准KGW水印算法应用于簇空间，以增强鲁棒性。

  1. 水印嵌入（生成时）：
    • 在生成第\(i\)个令牌\(x_i\)时，首先根据前\(h\)个原始令牌\(x_{i-h:i-1}\)计算其簇索引序列，通过哈希函数确定当前的“绿色簇”集合\(G_i\)和“红色簇”集合\(R_i\)。
    • 将词表\(\mathcal{V}\)替换为簇词表\(\mathcal{C}\)（大小为\(K\)），并对其进行洗牌划分。对属于\(G_i\)的簇，将其所有成员原始令牌的logits增加一个偏置\(\delta\)，然后进行采样。这等价于在原始token空间施加了一个“块状”偏置。
  2. 水印检测：
    • 将生成的音频波形通过同一编解码器重编码，得到令牌序列\(y_{1:N}\)。
    • 使用与嵌入时相同的哈希键，对检测到的令牌序列\(y_{1:N}\)先映射为簇索引序列，然后计算绿色簇索引的数量\(G_{sum}\)。
    • 计算检测统计量\(z = (G_{sum} - \gamma K) / \sqrt{\gamma(1-\gamma)K}\)，并与标准正态分布比较以计算p值。

关键设计动机与优势：

  • 鲁棒性来源：理论上，检测统计量的期望值\(\mathbb{E}[z|H_1]\)从依赖\(r^{h+1}\)（令牌匹配率）变为依赖\(r_{cl}^{h+1}\)（簇匹配率）。由于\(r_{cl} > r\)，信号衰减被大幅减缓，实现了“内建鲁棒性”。
  • 无梯度、黑盒：整个聚类过程仅需对编解码器进行前向编码-解码-重编码，无需任何梯度信息或模型参数更新。
  • 计算开销低：在线推理时仅需额外一次高效的表查找操作（令牌\(\rightarrow\)簇索引），几乎无延迟。

图1

图2

💡 核心创新点

  1. 理论洞察：首次从统计角度形式化分析了重标记化错误对令牌级水印检测能力的指数级衰减影响（公式5），并推导出在簇级别实施水印时，鲁棒性由\(r_{cl}\)决定（公式7），为方法提供了坚实的理论支撑。
  2. 方法创新：提出了一种新颖的梯度无关解决方案，通过将编解码器词表建模为混淆图并应用Leiden社区检测算法，自动发现并利用重标记化错误的结构性冗余，实现了无需微调的鲁棒水印。这种方法将离散表示学习本身的冗余性转化为优势。
  3. 全面验证：在多个模型（Moshi, MusicGen）、多种编解码器架构（Mimi, EnCodec, FaCodec, SpeechTokenizer, DAC）、多种任务（对话生成、音乐生成、文本转语音）和各种攻击下进行了系统评估，证明了方法的有效性、通用性和鲁棒性。

📊 实验结果

本文在多个实验设置下评估了所提方法，主要结果如下：

  1. 检测性能 (Detectability)
  • 图3、4、5 (Moshi模型)：展示了在不同提示（对话/LibriSpeech）和不同上下文长度\(h\)（0, 1, 2）下，方法在极低假阳性率（FPR）设置下的真阳性率（TPR）。结果显示，所提方法（“Ours”）的检测能力比基线“Base”（原始KGW）和“WMAR”（微调方法）高出数个数量级。例如，在\(h=0\)， FPR=\(10^{-6}\)时，方法的TPR接近1，而基线接近0。
  • 表4 (TTS模型)：在CosyVoice3和Spark-TTS上，所提方法的中位p值远低于基线，例如在CosyVoice3上达到\(4.89 \times 10^{-14}\)（\(-log(p)=13.927\)），而Base仅为\(1.564\)。
  1. 鲁棒性 (Robustness)
  • 表2 (Moshi模型)：详细展示了在不同攻击下的\(-\log p\)值和相对于无攻击（Identity）的损失（Loss）。所提方法在所有攻击场景中均显著优于基线。例如，在“Identity”下，“Ours”的\(-\log p\)为42.47（Base为8.51）；在最具破坏性的“Crop”攻击下，“Ours”仍保持26.00的\(-\log p\)，而Base降至1.51。
  • 表6 (MusicGen模型)：类似地，在音乐生成任务中，“Ours”在“Identity”下\(-\log p\)为28.46（Base为9.05），在“Crop”攻击下仍为11.73（Base为0.93）。
  1. 音频质量 (Audio Quality)
  • 表1 (Moshi模型)：报告了FAD（VGGish/CLAP）和预测MOS（NISQA/DNSMOS）。结果显示，所提方法对质量影响较小。例如，在\(h=1\), 对话提示下，“Ours”的FAD-VGGish为0.051，优于Base（0.068）和WMAR（0.357），MOS得分与“None”（无水印）和“Base”相当。
  • 表7 (MusicGen模型)：在\(h=0\)时，“Ours”的FAD-VGGish为1.256，高于“None”（0.247）和“Base”（0.330），但低于WMAR（1.193）。论文指出“Ours”的FAD较高可能与其���高的检测强度有关。
  • 表3 (TTS模型)：在CosyVoice3和Spark-TTS上，“Ours”的FAD与“None”和“Base”处于同一量级，MOS也相似。
  1. 聚类效果分析 (Clustering Effectiveness)
  • 图6：展示了Leiden算法在不同超参数（分辨率\(\rho\)，噪声阈值\(m\)）下的簇匹配率\(r_{cl}\)、词汇缩减大小和p值。结果表明，较小的\(\rho\)和\(m\)（即更大的簇、更严格的边过滤）能显著提升\(r_{cl}\)（远高于基准\(r\)），但会过度缩减词汇。
  1. 超参数选择 (Hyperparameter Selection)
  • 表8、9：展示了为Moshi、MusicGen、CosyVoice3和Spark-TTS模型（及其各通道）选择的最佳\((\rho, m)\)超参数对，以及在该配置下的簇统计信息（最大簇大小、簇数量）和对应的\(-\log p\)值。

图3

图4

🔬 细节详述

  • 理论模型假设：论文在推导\(\mathbb{E}[z|H_1]\)时（公式5），假设了重标记化事件条件独立，且错误令牌会随机落入绿色集合。作者指出该假设严格成立于非重叠滑动窗口分词器，但可近似成立。
  • 多通道处理：由于现代音频编解码器（如RVQ架构）使用多个独立的代码本通道，所提方法对每个通道独立应用聚类和水印。在理论分析（附录C.2）中，多通道检测统计量是各通道信号的总和除以总方差。
  • 水印参数：实验统一使用绿色集比例\(\gamma=0.25\)。对数偏置\(\delta\)根据模型调整：Moshi和Spark-TTS为\(\delta=2\)，MusicGen为\(\delta=1\)，CosyVoice3为\(\delta=0.5\)。生成长度设为200个令牌（约10秒Moshi音频，4秒MusicGen音频）。
  • 与WMAR方法对比：WMAR（Tong et al., 2025; Jovanović et al., 2025）是基于微调编解码器以实现幂等性的令牌级水印。本文方法与之形成鲜明对比，无需任何训练。实验显示，即使在WMAR的最强变体（使用数据增强）下，所提方法在检测性能上仍具有显著优势。
  • 理论验证：附录C.3通过MusicGen的单通道实验，验证了公式5预测的理论\(z\)分数与实际经验\(z\)分数具有高度相关性（\(h=0\)时相关系数为0.9465），证明了模型的有效性。

⚖️ 评分理由

  • 创新性 (3/3)：提出了一种极具巧思的解决方案。将重标记化错误的“问题”转化为可利用的“结构信息”，并利用成熟的社区检测算法优雅地解决了一个新问题，实现了无梯度、无微调的鲁棒水印。这种“发现自然结构”的思路新颖且深刻。
  • 技术严谨性 (1.5/1.5)：理论分析扎实，从统计模型推导出核心公式，清晰揭示了\(r\)和\(r_{cl}\)对检测信号的指数影响，并通过实验验证了理论。方法设计逻辑自洽。
  • 实验充分性 (1/1.5)：评估全面，覆盖了多种模型、任务和攻击。扣分点：如前所述，对音频质量的评估手段较为单一，缺乏更主流的客观指标（如PESQ）和主观评估，使得“质量影响小”的结论支撑稍弱。此外，缺少与更广泛同类无梯度方法的定量对比。
  • 清晰度 (1/1)：论文结构清晰，从问题到动机、理论、方法、实验，逻辑链条完整。图表和表格清晰，辅助理解。
  • 影响力 (2/2)：解决了令牌级水印在连续模态中的核心痛点，且方案轻量易部署，对社区有直接价值。若能被广泛采纳，将显著提升合成音频水印的实用性。
  • 开源 (1/1.5)：提供了项目主页和代码链接，包含复现所需的详细实验设置（附录E），透明度较高。
  • 可复现性 (0.5/0.5)：提供了足够的细节，包括超参数选择、数据集、攻击设置，理论上可完全复现。

🚨 局限与问题

  1. 对音频质量影响的评估深度不足：如上文所述，仅报告FAD和预测MOS不够全面。FAD衡量分布距离，对单个样本的质量退化不敏感；预测MOS模型可能有偏差。缺少PESQ、STOI、MOS评分的主观盲听测试，难以严格证明“对生成质量影响微小”的主张。
  2. 聚类过程的离线依赖与可维护性问题：方法的核心聚类步骤依赖于特定编解码器和特定版本。一旦编解码器模型更新、训练数据分布变化或部署环境不同，混淆矩阵和��类结果可能失效，需要重新运行离线聚类。论文未讨论如何应对这种“概念漂移”，也未提供在线自适应聚类的可能性。
  3. 对“语义相邻”的假设缺乏直接验证：论文声称错误具有“结构性”，即令牌被混淆为“语义邻居”，但未提供任何可视化或定量分析来定义和展示什么是“语义相邻”。例如，可以展示聚类后簇内的令牌在原始音频特征空间或嵌入空间中的距离，或者展示一个簇内令牌对应的音频片段是否确实在听感上相似。
  4. 对关键空间碰撞的讨论不够深入：将令牌聚类为簇会降低用于哈希的词表大小，增加\(h\)-gram上下文发生碰撞的概率。论文在理论部分提到了这一点（公式8），但在实验中未分析或讨论实际观测到的碰撞率、其对检测统计量\(p\)值分布的具体影响，以及“不水印化采样”策略（Hu et al., 2024）在实际系统中引入的额外开销和复杂性。
  5. 对“多尺度水印”的潜力挖掘不足：论文提到可以对不同RVQ通道使用不同的聚类分辨率\(\rho\)以实现“强多尺度水印”，但未在实验中系统验证不同通道配置的组合效果，也未分析这种策略相比统一配置在检测性能和鲁棒性上的具体增益。
  6. 对极端攻击的脆弱性：论文承认并讨论了时间对齐攻击（裁剪、变速）的脆弱性，这是所有令牌级水印的固有局限。但可以更深入地探讨：在什么程度的随机裁剪下，水印会完全失效？与抗此类攻击的后处理水印结合时，整体系统的复杂度如何？

📷 论文图片

图5

← 返回 2026-05-27 语音/音乐/音频论文速递