📄 MusicMark: A Robust Generative Watermarking Framework for Music Generation

标签：#音频水印 #扩散模型 #音乐生成 #鲁棒性 #音频理解

7.3/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5

✅ 7.3/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频水印 | #扩散模型 | #音乐生成 #鲁棒性 | arxiv

👥 作者与机构

• 第一作者：Seohwan Yun（高丽大学人工智能系）
• 通讯作者：Sungwoong Kim（高丽大学人工智能系）
• 作者列表：Seohwan Yun（高丽大学人工智能系）、Jeeyoung Yun（高丽大学人工智能系）、Yongjin Kim（高丽大学人工智能系）、Juyeon Lee（仁荷大学计算机工程系）、Sungwoong Kim（高丽大学人工智能系）

💡 毒舌点评

论文瞄准了AI生成音乐版权保护的真实痛点，并提出了一套在生成阶段就深度耦合水印的完整框架，其在神经网络编解码器重合成攻击下的鲁棒性提升是显著且令人信服的。然而，论文在方法创新上更多是“组合式创新”——将成熟的生成式水印思路（如在文本生成领域）迁移到复杂的音乐生成扩散模型上，并辅以巧妙的工程设计；同时，论文声称的“第一个生成式音乐水印框架”可能忽略了某些未被充分引用的相关工作，且未开源代码与模型的做法严重削弱了其影响力与可验证性。此外，评估中对“翻唱”攻击的定义与主流理解存在偏差，且评估数据均来自AI生成平台，其结论对真实世界音乐的泛化能力存疑。

📌 核心摘要

这篇论文要解决的问题是：现有针对语音的音频水印方法（尤其是事后处理方法）在应用于复杂音乐时，对各种攻击（特别是神经网络编解码器重合成）的鲁棒性不足，且由于生成与水印步骤解耦，水印可能被绕过。为此，论文提出了MusicMark，这是首个为音乐生成设计的生成式水印框架。其核心方法是在基于扩散的音乐生成模型的语义潜在空间去噪过程中，通过一个带有解耦交叉注意力的水印适配器（Watermark Adapter）嵌入水印信息，使水印成为音乐语义内容的一部分。该方法的主要创新在于将水印嵌入与音乐生成过程深度耦合。实验结果表明，在包括神经网络编解码器重合成和翻唱攻击在内的20种攻击下，MusicMark的鲁棒性显著优于事后水印基线（如AudioSeal-M、SilentCipher），例如在神经网络编解码器攻击下，其绝对消息准确率从基线方法的接近0提升至0.847；同时，其生成的音乐质量（通过FAD、CLAP评分和人类MOS评估）与未加水印的基线模型相当。论文的主要局限性包括消息容量有限（目前为16比特）以及评估主要集中在文本条件生成的音乐上。

关键实验结果（部分）： 表 I: 水印解码性能（节选）

表 II: 客观生成质量评估

🔗 开源详情

• 代码：论文中未提供MusicMark框架本身的代码仓库链接。
• 模型权重：论文中未提供。论文中使用的基座模型ACE-Step是开源的，但未提供其具体的HuggingFace或ModelScope模型权重链接。训练后的MusicMark水印适配器与检测器权重也未提供。
• 数据集：
  1. 训练数据集：使用Muse数据集的一个子集，包含50,000个英语音乐-文本对，约625小时音乐。论文未提供Muse数据集的具体开源链接或协议。
  2. 评估数据集：使用来自公开Suno元数据来源的数据构建，具体链接为：https://huggingface.co/datasets/nyuuzyou/suno。评估集从中筛选了2000个条件对。
• Demo：论文提供了一个在线演示页面，用于展示水印输出和封面歌曲攻击样本，链接为：https://anonymous.4open.science/w/MusicMark-58F6/。
• 复现材料：论文在附录（-A, -B, -C, -D）中提供了详细的实现细节、训练配置（表VI）、攻击配置（表VII）和评估指标说明，为复现提供了详细的指导。未提供训练检查点。
• 论文中引用的开源项目：
  1. ACE-Step: 论文中构建MusicMark所使用的基础音乐生成模型，为开源项目。
  2. MDX-Net: 用于在封面歌曲攻击中分离音轨的源分离模型。
  3. RVC (Retrieval-based-Voice-Conversion): 用于封面歌曲攻击中的语音转换模型。链接：https://github.com/RVC-Project/Retrieval-based-Voice-Conversion
  4. VCTK: 用于提供封面歌曲攻击中目标语音身份的数据集。提供了预训练检查点：https://huggingface.co/Nekochu/RVC-VCTK_Voice-sample
  5. EnCodec, DAC, SNAC: 实验中用作神经编解码器攻击的开源模型。
  6. fadtk: 用于计算FAD指标的工具包。链接：https://github.com/microsoft/fadtk
  7. stable-audio-metrics: 用于计算CLAP等指标的工具。链接：https://github.com/Stability-AI/stable-audio-metrics

🏗️ 方法概述和架构

MusicMark是一个端到端的生成式水印框架，其核心流程是：在推理阶段，以文本条件（歌词、风格标签）和一个二进制水印信息为输入，通过一个被修改的基于扩散的音乐生成模型，直接生成嵌入水印的语义潜在表示，随后由冻结的解码器/声码器渲染成水印音乐波形；检测器则从可能经过攻击的音频中识别水印存在并提取消息。

1. 整体流程概述：该框架包含三个主要阶段：(1) 水印嵌入的语义潜在生成：冻结的扩散去噪模型在多个去噪步骤中，同时受文本条件和水印信息引导，生成带水印的潜在表示；(2) 音频渲染：冻结的声码器将带水印的潜在表示转换为波形；(3) 水印检测与提取：一个独立的检测器网络处理音频波形，输出水印存在概率和消息比特。

2. 主要组件/模块详解：

   • 基础音乐生成模型：采用冻结的ACE-Step，一个基于流匹配（Flow Matching）的扩散Transformer模型，包含深度压缩自编码器（DCAE）、扩散变换器和声码器。它负责将高斯噪声去噪为干净的语义潜在表示。
   • 水印适配器：这是论文的核心创新组件，被插入到基础模型的交叉注意力层中，用于在生成过程中注入水印。
     • 功能：将N位二进制水印消息转换为模型可理解的表征，并融入到语义潜在的生成过程中。
     • 内部结构：包含水印嵌入模块和解耦交叉注意力模块。嵌入模块为每个比特位维护两个可学习的嵌入（对应0和1），通过索引查找 Ii = 2i + mi 形成消息嵌入序列，再经MLP投影器 fProj（由两个Linear–ReLU层和一个最终线性层组成）和RMSNorm得到水印表征 Z ∈ ℝ^{N×d}。解耦交叉注意力模块与原始文本条件的交叉注意力模块并行，它复用去噪潜在 x 作为查询 q，但将水印表征 Z 作为键和值（通过新的可学习权重 W_K^{wm}, W_V^{wm}），计算出注意力输出 h_{wm}。最终输出为 h_{out} = h_{in} + α * h_{wm}，其中 h_{in} 是原始文本条件注意力的输出，α 是可学习的缩放因子。权重初始化为零，确保训练初期水印分支不影响原生成。
   • 音乐解码器/声码器：V，将去噪后的语义潜在表示 x̂_0^{wm} 映射为立体声波形 ŵ^{wm}。该模块在训练中保持冻结。
   • 水印检测器：D，独立于生成过程，用于在推理后验证水印。
     • 功能：识别音频中是否存在水印，并提取消息比特。
     • 内部结构：将输入的波形转换为对数梅尔频谱图，送入一个基于预训练DCAE编码器初始化的特征提取器 ϕ_{det}，得到时间对齐的特征图 F ∈ ℝ^{S×C_{det}×F_{det}}（其中S与语义潜在序列长度对齐）。随后，一个预测头 h_{pred} 将特征图投影到 (2+N) 维的logits R，分别对应2类存在检测和N比特消息提取。

下图展示了MusicMark框架的完整推理与训练流程，其核心创新组件是水印适配器。

图中清晰可见，在扩散模型的去噪块中，水印消息通过独立的水印嵌入模块和解耦的交叉注意力路径注入，与原始的文本条件路径并行。

3. 组件间的数据流与交互：

   • 生成阶段：文本条件 c 通过原始交叉注意力模块（W_Q, W_K, W_V 冻结）影响去噪潜在 x。同时，水印消息 m 通过适配器处理为 Z，再通过新增的交叉注意力模块（W_K^{wm}, W_V^{wm} 可训练）也对 x 施加影响。两个注意力模块的输出 h_{in} 和 h_{wm} 通过公式 h_{out} = h_{in} + α h_{wm} 加权合并。
   • 训练阶段：训练只涉及水印适配器 A 和检测器 D，基础生成模型完全冻结。训练数据流为：从带水印的潜在预测 x̂_0^{wm} 经解码器得到带水印波形 ŵ^{wm}；同时，从无水印的潜在预测 x̂_0 经同一解码器得到参考波形 ŵ。两个波形都送入检测器。
   • 攻击模拟：在训练中，带水印的波形 ŵ^{wm} 会经过一系列攻击增强（如添加噪声、滤波、神经编解码器重合成、翻唱）后再送入检测器。对于不可微的攻击，采用直通估计器（Straight-Through Estimator）。

4. 关键设计选择及动机：

   • 选择扩散模型而非自回归模型：论文指出扩散模型能并行去噪，具有更好的可控性，更利于在生成过程中嵌入水印。
   • 解耦交叉注意力：与将水印表征和文本表征简单拼接后输入同一注意力层（共享交叉注意力）相比，解耦设计能更好地保持原始文本条件的生成能力，避免水印干扰文本到音乐的映射。实验证明解耦设计在鲁棒性和歌词可懂度上均更优。
   • 在语义潜在空间嵌入而非声码器阶段：通过消融实验表明，在声码器阶段嵌入水印（在已形成的语义表征上注入）会导致对神经编解码器攻击等严重脆弱，且损害文本对齐质量。语义空间嵌入使水印与音乐内容更深度耦合。
   • 潜在一致性损失：这是一个关键正则化项。它约束带水印去噪潜在 x̂_0^{wm} 接近无水印去噪潜在 x̂_0（通过stop-gradient），防止水印嵌入过度扭曲音乐内容。它与水印损失形成制衡，在保持质量的同时允许嵌入信息。

💡 核心创新点

1. 首个面向音乐生成的生成式水印框架：之前的研究多集中于语音的事后水印或针对已生成音频的简单嵌入，将水印过程与复杂的音乐生成过程解耦。MusicMark首次将水印作为音乐语义生成过程的一部分，从根源上解决了水印在生成后易被剥离或绕过的问题。
2. 基于解耦交叉注意力的水印适配器：在扩散模型的去噪过程中，设计了一个独立的、并行的交叉注意力模块来注入水印，而非修改或干扰原有的文本条件路径。这种“解耦”设计保证了水印注入不会损害基础模型的生成质量和文本条件跟随能力，同时提供了灵活的控制接口。
3. 潜在一致性损失与联合训练策略：创新性地引入了潜在一致性损失，通过对比带水印和无水印的去噪潜在，直接在语义层面约束水印对内容的扰动。结合流匹配、保真度和水印损失的联合优化，以及全面的攻击增强训练，实现了在鲁棒性和保真度之间的更好平衡。
4. 针对音乐的翻唱攻击评估：论文不仅评估了标准的信号处理和神经编解码器攻击，还专门设计了“翻唱”和“翻唱+剪切”攻击，模拟了音乐在实际传播中常见的、仅改变人声而保留伴奏的编辑操作。这比单纯的语音水印评估更具场景针对性和挑战性。

📊 实验结果

本节展示了 MusicMark 在水印鲁棒性、生成质量和消融研究方面的实验结果，并与多个基线方法进行了比较。

下图提供了不同水印方法在听觉质量上的直观对比，展示了水印对音频内容的扰动情况。

从梅尔频谱和波形图可以观察到，MusicMark生成的水印音频与原始音频在视觉上高度相似，其波形几乎完全重合，表明其对音乐内容的扰动非常微小。

为了评估对音乐特有攻击的鲁棒性，论文设计了如下的翻唱攻击流程。

该流程展示了如何将一个带水印的音乐样本进行音源分离，并将人声部分通过RVC模型转换为另一个声音身份后重新混合，用以测试水印在如此复杂的编辑操作下能否幸存。

水印解码性能

下表（对应论文表 I）报告了在各种攻击下，不同水印方法的检测准确率（Acc）、比特准确率（Bit）和绝对消息准确率（Abs）。

注：SilentCipher 未设置单独的检测头，因此其 Acc（检测准确率）值标记为“–”。

客观生成质量评估

下表（对应论文表 II）评估了水印方法对音乐生成质量的影响。

注：FAD 为 Fréchet Audio Distance，越低越好；CLAP 为音乐-文本对齐分数，越高越好；PER 为音素错误率，越低越好；CE, CU, PC, PQ 为 Audiobox-Aesthetic 的美学评分，越高越好。

人类评估

下表（对应论文表 III）报告了人类评估的平均意见得分（MOS），评估维度包括整体质量（OVL）、文本相关性（REL）、人声质量（VQ）和人声器乐和谐度（HAM）。

消融研究

下表（对应论文表 IV）展示了关键设计选择的消融实验结果，包括水印嵌入阶段、注入机制、适配器层位置和潜在一致性损失的影响。

水印鲁棒性

生成质量

泛化能力

下表（对应论文表 V）展示了将 MusicMark 框架应用于另一个不同的文本生成音乐模型 Stable Audio 3 (SA3) 的鲁棒性和生成质量。

水印鲁棒性

生成质量

关键结论

1. 卓越的水印鲁棒性：在涵盖20种攻击（包括极具挑战性的神经编解码器重合成和音乐特有的翻唱攻击）的测试中，MusicMark 展现出远超事后水印基线方法的鲁棒性。其平均绝对消息准确率达到 0.869，而最佳事后基线 AudioSeal-M 仅为 0.400。特别是在神经编解码器攻击下，MusicMark 将绝对准确率从基线的接近零提升至 0.261 - 0.847 的范围。在结合了人声转换和时间裁剪的“翻唱+剪切”攻击下，MusicMark 仍能维持 0.813 的绝对准确率，而 AudioSeal-M 和 SilentCipher 分别骤降至 0.005 和 0.127。

2. 保持生成质量：客观评估（FAD, CLAP, PER, 美学评分）和人类评估（MOS）均表明，MusicMark 生成的音乐质量与未加水印的 ACE-Step 基线模型相当，在某些指标（如 PER）上甚至略优。相比之下，事后水印方法（尤其是 SilentCipher）导致了明显的质量下降。这证明了将水印深度耦合到生成过程中的语义潜在空间，能够有效保持音乐的美学和感知质量。

3. 关键设计的有效性：消融实验验证了 MusicMark 的核心设计选择。将水印嵌入语义潜在空间（而非声码器阶段）对于抵抗神经编解码器攻击至关重要（绝对准确率从 0.102 提升至 0.486）。解耦交叉注意力机制在注入水印的同时，比共享注意力更好地保持了歌词可懂度和生成质量。潜在一致性损失在平衡鲁棒性和质量方面发挥了关键作用。

4. 框架泛化能力：将 MusicMark 框架成功应用于另一个基于扩散的音乐生成模型 Stable Audio 3 (SA3)，在保持生成质量的同时，获得了优于事后水印基线的鲁棒性（绝对准确率 0.720 vs 0.675 和 0.444）。这表明该框架不依赖于特定的骨干网络，具有良好的泛化潜力。

🔬 细节详述

• 训练数据：从Muse数据集中筛选出50,000个英文音乐-文本对，总计约625小时音乐。评估使用从Suno元数据源构建的2,000个歌词-提示对。
• 损失函数：总损失 L = L_{gen} + L_{fid} + L_{wm}。
  • L_{gen} = λ_{flow} L_{flow} + λ_{latent} L_{latent}：L_{flow} 是流匹配损失，确保去噪速度预测准确；L_{latent} 是潜在一致性损失，约束 x̂_0^{wm} 接近 x̂_0。
  • L_{fid} = λ_{msspec} L_{msspec} + λ_{msstft} L_{msstft} + λ_1 L_1：在多尺度梅尔频谱、多尺度STFT和波形域计算水印波形与参考波形的差异。
  • L_{wm} = λ_{det} L_{det} + λ_{msg} L_{msg}：L_{det} 是水印存在检测的交叉熵损失；L_{msg} 是消息比特的二进制交叉熵损失。
• 训练策略：优化器AdamW，学习率1e-4，线性预热500步后线性衰减至1e-5，总训练步数60K，有效批大小8。攻击增强从第8K步开始。训练在8块NVIDIA L40S GPU上进行，总计约576 GPU小时。
• 关键超参数：水印长度N=16比特；适配器插入基础模型最后6层（共24层）；权重初始化为零，缩放因子α=0.1；损失权重：λ_{flow}=1.0，λ_{latent}=0.5，λ_{det}=0.5，λ_{msg}=1.0，λ_1=0.1，λ_{msspec}=0.1，λ_{msstft}=0.05。
• 推理细节：未说明具体的采样步数、引导比例等扩散模型推理超参数。
• 训练硬件：8 × NVIDIA L40S 48GB GPU，bfloat16混合精度。

⚖️ 评分理由

• 创新性 (1.4/2)：首次提出面向音乐生成的生成式水印框架，将水印嵌入语义潜在空间以解决事后水印易被神经编解码器剥离的核心痛点，设计了适配的解耦交叉注意力机制。

• 技术严谨性 (1.2/1.5)：方法设计逻辑清晰，水印适配器与解耦交叉注意力的模块设计合理，潜在一致性损失有效平衡质量与鲁棒性，消融实验系统验证了各核心设计选择的必要性。

• 实验充分性 (1.3/1.5)：评估覆盖20种攻击，包括针对音乐的翻唱攻击，远超一般音频水印研究；包含系统消融实验和跨骨干模型（SA3）的泛化验证。不足是评估数据均来自AI生成平台，可能削弱对真实世界音乐的泛化结论。

• 清晰度 (0.9/1)：论文结构清晰，图文配合较好，技术描述总体易于理解。部分符号（如Z,z,Z）可能造成混淆，训练目标中多个损失的权重关系及其物理意义可以阐述得更直观。

• 影响力 (1.0/1.5)：针对AI生成音乐版权保护这一现实痛点，在水印鲁棒性上取得实质性突破，对音频安全领域有明确推动作用。但消息容量有限（16比特）且评估场景单一，限制了其即时应用广度。

• 开源 (0.2/1.5)：论文目前只提供可访问的在线演示页面，未发布核心代码、模型权重或训练数据。

• 可复现性 (0.3/0.5)：论文在附录中提供了非常详细的训练超参数表（Table VI）、攻击配置表（Table VII）和数据集构建细节，足以理解实验设置。不足在于未说明推理时的具体采样配置，且骨干模型ACE-Step的细节需查阅其他资料。

• 工程/实践价值 (1.0/1.5)：展示了一个完整的生成式水印工程流水线，从水印嵌入到音频生成再到检测验证。设计考虑了实际攻击场景，并展示了在冻结骨干模型上的模块化训练方法，对工业界有借鉴意义。不足在于消息容量较低。

🚨 局限与问题

1. 论文明确承认的局限：
   • 水印容量有限，目前仅为16比特。
   • 评估主要集中在基于歌词和文本条件的音乐生成场景，未探索如旋律、哼唱等其他输入条件。
   • 未来工作方向包括提高容量、拓展输入条件、增强对未见攻击的泛化能力。
2. 审稿人发现的潜在问题：
   • 开源缺失：这是最大的问题。论文提供了demo但未开源代码和模型，使得其声称的“第一个框架”和优异性能难以被独立验证和扩展，削弱了学术贡献的完整性。
   • 评估数据偏差：训练和评估数据（Muse, Suno）均来源于AI生成的音乐平台，这可能与真实世界音乐的分布存在差异。论文未在包含人类创作音乐的广泛数据集上验证方法。
   • 水印安全性未讨论：论文主要关注鲁棒性（检测和提取的准确性），但未深入讨论水印的安全性，例如，恶意攻击者是否可能通过某种方法（如对抗样本）在不严重损害音频质量的情况下恶意去除或伪造水印。
   • 过度依赖直通估计器：对于不可微攻击（如MP3、神经编解码器、翻唱），训练时使用了直通估计器。这可能导致梯度估计不准确，训练效率或最终性能并非最优，但论文未对此进行消融或与其他梯度近似方法比较。
   • 水印对生成多样性的潜在影响：论文未探讨在长期或大规模应用中，持续嵌入相同/不同水印信息是否会微妙地影响模型的生成多样性或引入某种系统性偏差。
   • “翻唱”攻击的定义：论文中的“翻唱”攻击实际上是“音源分离+人声转换”，这与音乐产业中通常指不同艺人重新演绎整首歌曲的“翻唱”概念有出入。虽然这是一个合理的攻击模拟，但名称可能引起歧义。

← 返回 2026-07-14 语音/音乐/音频论文速递