📄 Asymmetric Phase Coding Audio Watermarking

#音频水印 #音频安全 #信号处理 #鲁棒性

✅ 7.0/10 | #音频水印 #音频安全 | arxiv

👥 作者与机构

• 第一作者：Guang Yang (University of California, Los Angeles)
• 通讯作者：未说明
• 作者列表：Guang Yang (University of California, Los Angeles), Amir Ghasemian (University of California, Los Angeles), Ninareh Mehrabi (Meta), Homa Hosseinmardi (University of California, Los Angeles)

💡 毒舌点评

亮点：该工作成功地将公钥密码学（Ed25519签名）与信号处理（相位编码、QIM）结合，提出了一种无需训练、可解释且具有不可否认性的音频水印方案，填补了传统信号水印缺乏认证能力和神经网络水印需训练且易伪造的空白。短板：其核心方法“相位编码”并非全新，与已有相位编码水印（论文也承认了）的区分度主要体现在结合了公钥签名和更精细的鲁棒性设计上，且为获得鲁棒性牺牲了相当可观的主观音质（PESQ下降约0.5），在“不可感知”这一水印关键指标上存在明显妥协。

📌 核心摘要

1. 问题：深度伪造音频威胁语音认证，被动检测器易受生成模型演化和信道失真影响。现有音频水印方案要么缺乏密码学不可否认性（如经典方法），要么需要大量数据训练且验证长度短（如神经网络方法）。
2. 方法核心：提出非对称相位编码（APC）方案。它是一个免训练的密码学签名层，通过伪随机选择STFT相位频点（相位通道）和相邻对数幅度差量化（幅度-QIM通道）并行嵌入同一个经Ed25519签名、Reed-Solomon编码的1160比特负载（包含64字节签名）。提取时利用公钥重新生成频点并解码，任一通道验证通过即认证成功。
3. 与已有方法区别：相较于经典信号处理水印，APC通过集成公钥签名实现了密码学级别的非否认性。相较于神经网络水印（AudioSeal, WavMark），APC免训练、无模型依赖、行为确定性，并支持完整的非对称签名（64字节 vs 16-32位），但牺牲了部分音质和绝对鲁棒性。
4. 主要实验结果：在1000条LibriSpeech测试集上，经MP3/OGG 128kbps等8种攻击后，混合编码器的密码验证率保持在97.5%-98.3%（详见下表）。主观质量（PESQ）平均为3.02，低于神经网络基线约1.2-1.5点。白盒擦除攻击表明，验证率在相位随机化强度α≥0.5时才崩溃，此时PESQ已下降1.3点。

   攻击类型	验证率 (%)	PESQ
   无处理	98.3	3.02
   MP3 128kbps	97.5	3.02
   OGG 128kbps	97.5	3.03
   FLAC	98.0	3.02
   重采样16kHz	97.7	3.02
   8kHz低通	97.7	3.03
   截断10%	98.3	2.28
   截断20%	98.1	1.80

5. 实际意义：为C2PA等媒体来源标准提供了信号层面的可审计实现，尤其适用于捕获时签名、后续可能经历有损压缩的场景。它可作为神经网络水印的补充层，为其添加密码学签名。
6. 主要局限性：1) 为鲁棒性妥协了音质（PESQ 3.02）。2) 目前仅在单一数据集（LibriSpeech）上评估，且未考虑更复杂的攻击链（如模拟空洞、完整平台转码）。3) 未与所有最强神经网络水印在完全相同的测试条件下进行端到端的签名负载对比。

🔗 开源详情

• 代码：论文中明确表示将为用于论文的混合相位+幅度量化索引调制（QIM）编码器发布所有代码、密钥和元数据，但未提供具体的 GitHub 等代码仓库链接。
• 模型权重：论文中未提及。该方法为“无训练”方法，不涉及模型权重发布。
• 数据集：使用 LibriSpeech test-clean 数据集。论文未直接提供数据集链接，但该数据集为公开的常用语音数据集，常见获取地址为：https://huggingface.co/datasets/openslr/librispeech_asr 。
• Demo：论文中未提及在线演示链接。
• 复现材料：论文中明确表示发布的归档文件包含两个编码器（相位编码器和混合编码器）、负载管理器、八攻击基准测试驱动器、白盒擦除攻击、绘图脚本、精确的测试集文件路径列表（seed=42）、负载哈希、公钥、所有 STFT/QIM 参数、FFmpeg 调用命令、库版本以及每个样本的失败阶段标签，并以三个 JSON 信封形式发布。但未提供该归档文件的具体下载链接。
• 论文中引用的开源项目：
  • C2PA (Coalition for Content Provenance and Authenticity)：论文引用了其实施指南[3]，并将其作为 APC 方法的目标应用场景。C2PA 项目主页为：https://c2pa.org/，其 GitHub 仓库为：https://github.com/contentauth 。
  • 论文还引用了 WavMark [5]、AudioSeal [22]、SilentCipher [24] 等作为神经网络水印基线方法，但论文中未提供这些项目或代码的具体链接。

🏗️ 方法概述和架构

该论文提出了一个名为非对称相位编码（Asymmetric Phase Coding， APC）的免训练音频水印框架。其核心是一个端到端的混合信号处理流水线，旨在将完整的公钥密码学签名不可感知地嵌入音频波形中，实现内容认证。

1. 整体流程概述 系统以明文消息M、Ed25519密钥对(K_priv, K_pub)和原始音频信号s(t)为输入。流程分为嵌入和提取/验证两个阶段（如图1所示）。嵌入阶段：首先对消息M进行密码学签名和纠错编码，生成一个鲁棒的二进制负载。然后，该负载通过两个并行的、相互独立的信号处理通道（相位通道和幅度-QIM通道）嵌入到音频的STFT表示中，最后通过ISTFT重建水印音频。提取/验证阶段：仅需音频和公钥K_pub。公钥用于重建两个通道的伪随机频点模式，分别从音频中解码负载，再进行纠错解码和签名验证。任一通道成功验证即可认定内容真实。

2. 主要组件/模块详解

• 模块一：密码学负载构造 (§3.1)

  • 功能：生成一个包含数字签名且能抵抗一定比特错误的负载。
  • 实现：使用Ed25519算法对消息M生成64字节签名S。将长度、消息M和签名S拼接成明文P。然后使用Reed-Solomon码对P进行编码，生成最终负载P_RS。对于49字节的消息M，最终负载为145字节（1160比特），可纠正最多15个字节错误。
  • 输入输出：输入为M和K_priv，输出为二进制负载P_RS。

• 模块二：STFT相位嵌入通道 (§3.2)

  • 功能：将负载P_RS的比特信息编码到音频STFT的相位中，实现“不可感知”的嵌入。
  • 实现：首先对音频进行矩形窗、无重叠的STFT。使用公钥K_pub的哈希值作为种子，通过伪随机生成器选择一组离散的STFT频点索引K（位于60-300 bin，约1.3-6.5kHz，对编解码器稳健）。每个负载比特d_n映射为目标相位±π/2。将该目标相位与原始相位的偏移量Δϕ，施加到一组连续G=8帧的对应频点k∈K上。这保证了在每个局部频点-帧组内，相位修改是恒定的，便于提取。
  • 输入输出：输入为STFT幅度A和相位ϕ，以及负载比特流。输出为修改后的相位ϕ'。

• 模块三：幅度-QIM鲁棒性通道 (§3.3)

  • 功能：作为相位通道的补充，在相位被编解码器破坏（如MP3/OGG）时，仍能提供正确的负载，极大提升鲁棒性。 实现：使用与公钥K_pub异或特定常数（0x4D41）的另一个种子，选择另一组独立的STFT频点M（位于100-340 bin），并将它们配对(k1, k2)。对G=8帧的配对频点计算平均对数幅度差d = ℓ1 - ℓ2。使用量化索引调制（QIM）方法，通过量化步长Δ=1.0 nat，将比特b编码为使d的量化索引奇偶性等于b的目标差值d。通过对原始配对频点的幅度进行对称的乘性调整（A(i,k1)←A(i,k1)e^{(d*-d)/2}），在保持总能量不变的前提下实现差值的调整。该通道将负载复制R_m=5次以增强鲁棒性。
  • 输入输出：输入为STFT幅度A和负载比特流。输出为修改后的幅度A'。

• 模块四：盲提取与验证 (§3.4)

  • 功能：从待验证音频中恢复负载并验证签名真伪。
  • 实现：接收方使用公钥K_pub重建伪随机频点集K和M。对于相位通道，从每个指定频点k∈K的相位中，利用公式σ = sin(φ(i0, k))计算软判决值。对于幅度-QIM通道，从每个配对计算软判决值σ = -cos(π(ℓ1-ℓ2)/Δ)，并将R_m=5个副本的软值求和。软判决比硬判决更能抵抗压缩噪声。解码后得到比特流，再进行Reed-Solomon解码和Ed25519签名验证。系统设计为：优先验证相位通道；若失败，再验证幅度通道；任一通道验证通过则接受认证。
  • 输入输出：输入为待验证音频和公钥K_pub。输出为认证结果（通过/失败）。

3. 组件间的数据流与交互 数据流是前馈式、并行双通道的。密码学负载构造模块的输出P_RS同时送入相位嵌入通道和幅度-QIM嵌入通道。两个通道独立作用于同一STFT表示（相位作用于A e^{jϕ}的相位部分，幅度作用于幅度部分A），然后通过ISTFT合并为水印音频。提取时，两个通道独立解码，但共享同一个来自公钥的负载长度头（32位，三重复制）。验证逻辑是“或”关系，提供了冗余性。

4. 关键设计选择及动机

• 免训练：与神经网络水印相比，信号处理方法无需数据、训练和GPU，行为确定且可分析，适合需要审计和长期支持的场景（如C2PA）。
• 双通道设计：相位对压缩敏感，幅度更稳健。两者并行嵌入同一负载，提供了类似“分集”的增益，显著提升了对有损压缩的鲁棒性（从相位单独的77%提升至混合的97.5%）。
• 基于公钥的伪随机频点选择：实现了“盲提取”（无需原始音频），同时将嵌入位置与密钥绑定，是实现非否认性的关键。尽管公钥公开导致频点位置可知，但攻击者无法伪造签名，只能擦除。
• 软判决与负载复制：在幅度-QIM通道中，对多个副本的软判决值求和后再阈值，比多数硬判决投票更能抵抗噪声，是提升鲁棒性的细节优化。
• Ed25519而非RSA-1024：遵循NIST和C2PA最新建议，提供更高安全性和更短签名（64字节 vs 128字节），从而缩短需要嵌入的音频段，间接提升生存性。

5. 多阶段/多模块逐层展开 （已在上文详细描述，涵盖了密码学编码、相位嵌入、幅度嵌入、提取验证四个核心阶段。）

6. 架构图/流程图

图1详细说明：此图清晰展示了APC的完整嵌入与提取流程。上半部分（嵌入）：左侧输入49字节消息，经Ed25519私钥签名、Reed-Solomon编码后形成负载P_RS。该负载兵分两路：一路进入相位通道，通过公钥派生的伪随机序列K选择频点，将比特映射为相位偏移（±π/2）；另一路进入幅度-QIM通道，通过另一个公钥派生的伪随机序列M选择频点对，将比特编码为相邻频点的对数幅度差。两个通道的修改共同施加于输入音频的STFT表示，最后经ISTFT生成水印音频。下半部分（提取）：仅需水印音频和公钥K_pub。公钥重新生成K和M。相位通道利用每个指定频点的相位计算软判决值；幅度-QIM通道利用每个频点对的幅度差计算软判决值，并在多个副本上求和。两路分别进行RS解码和Ed25519验证，任一成功即认证通过。该图直观体现了双通道并行、公钥驱动的对称结构。

7. 专业术语解释

• 量化索引调制（QIM）：一种信息隐藏技术，通过量化信号值（这里是幅度差）到特定网格点来嵌入比特信息，其网格点的排列方式（如奇偶性）携带信息。
• STFT（短时傅里叶变换）：将音频信号转换到时频表示的方法，是音频信号处理的基础工具。APC在STFT的相位和幅度上嵌入信息。
• Ed25519：一种基于椭圆曲线密码学的数字签名算法，具有高安全强度（128位）、快速运算和较短的签名长度（64字节）等特点，符合FIPS 186-5标准。
• Reed-Solomon码：一种强大的前向纠错码，能够纠正一定数量的符号（字节）错误，常用于存储和通信系统，用于保护水印负载在攻击中受损。
• PESQ（感知语音质量评估）：ITU-T P.862标准，是评估语音信号经过处理后主观听觉质量的客观模型，分数越高表示质量越好，一般大于3.0被认为质量可接受。

8. 非模型工作的处理 本论文是一个系统设计与信号处理工作，不涉及机器学习模型。其“架构”是指整个水印嵌入与提取的信号处理流水线和密码学模块组合，如上文详细所述。

💡 核心创新点

1. 将公钥密码学签名（Ed25519）深度集成到信号层水印中：不同于传统信号水印或元数据签名，APC将完整的、64字节的非对称数字签名直接嵌入音频波形。这解决了水印缺乏不可否认性（任何人都可能知道算法）和元数据签名易被剥离的问题，为C2PA等标准提供了信号层的实现。
2. 混合相位-幅度双通道并行嵌入架构：针对单一通道的缺陷（相位对压缩敏感，幅度嵌入可能影响质量），设计了两个独立的、使用相同公钥派生不同频点模式的并行通道，嵌入同一密码学负载。幅度-QIM通道作为“生存性后援”，将MP3/OGG的验证率从70%级别大幅提升至97.5%，显著增强了对有损压缩的鲁棒性。
3. 免训练、确定性的密码学水印方案：与主流的神经网络水印（需要训练数据、GPU、模型版本管理）相比，APC完全基于信号处理和标准密码学原语构建。其行为完全由公开的参数（N_FFT, K, RS参数）决定，具有可预测性、可审计性，且无需适应新的生成模型。
4. 完整的威胁模型分析与白盒攻击量化：明确区分了攻击者目标为“伪造”与“擦除”，并定量评估了白盒擦除攻击的代价。实验证明，要成功擦除APC水印需要导致不可忽视的音频质量下降（PESQ降低>1.3点），而剥离元数据签名则无感知代价，从而论证了信号层绑定的价值。

📊 实验结果

1. 主要Benchmark与数据集

• 数据集：LibriSpeech test-clean（16kHz，来源于LibriVox有声书）。作者将相邻语音拼接并上采样至44.1kHz，生成10秒片段，从5000个片段中固定种子（42）抽取1000个作为测试集。
• 评估指标：密码验证率（Verify%）、误比特率（BER）、归一化相关系数（NC）、感知语音质量评估（PESQ）、短时客观��懂度（STOI）、对数谱失真（LSD）等。
• 攻击配置：8种：无处理、MP3 128kbps、OGG 128kbps、FLAC（无损）、16kHz重采样、8kHz低通滤波、尾部截断10%/20%。

2. 关键结果与对比

• APC混合编码器核心性能：在1000条音频上，经8种攻击后，密码验证率均在97.5%-98.3%之间。平均PESQ为3.02。结果如下表（论文Table 3）。

  攻击	BER (↓)	NC (↑)	PESQ (↑)	Verify% (↑)
  Identity	0.017	0.983	3.02±0.36	98.3
  MP3 128k	0.025	0.969	3.02±0.36	97.5
  OGG 128k	0.024	0.969	3.03±0.36	97.5
  FLAC	0.019	0.980	3.02±0.36	98.0
  Resamp 16k	0.020	0.978	3.02±0.36	97.7
  LP 8kHz	0.020	0.977	3.03±0.36	97.7
  Crop 10%	0.017	0.983	2.28±0.30	98.3
  Crop 20%	0.017	0.983	1.80±0.32	98.1

• 消融实验（双通道贡献）：论文Table 4显示了验证率的通道归属。相位通道在多数攻击下占主导（如无处理97.2%）。幅度通道在MP3和OGG攻击下挽救了额外14.1%和9.2%的片段，是达到高鲁棒性的关键。
• 与神经网络基线对比：论文Table 6汇总了对比。神经网络方法（WavMark， AudioSeal， SilentCipher）在同等测试条件下（作者进行了复现）的音质（PESQ≈4.1-4.4）和MP3鲁棒性（≈100%）均优于APC。但APC提供了完整的64字节签名能力（基线仅支持16-32位），且免训练。

  方法	音质指标	MP3 128鲁棒性	支持签名	免训练
  WavMark (引文)	PESQ ~4.21	≈100%	否	否
  AudioSeal (引文)	PESQ ~4.47	≈100%	否	否
  WavMark (本文复现)	PESQ 4.11	100.0%	否	否
  AudioSeal (本文复现)	PESQ 4.44	100.0%	否	否
  APC (相位)	PESQ 3.26	77.0%	是	是
  APC (混合)	PESQ 3.02	97.5%	是	是

• 白盒擦除攻击：论文Table 5显示，在100个片段子集上，当相位随机化强度α达到0.5时，验证率降至0，此时PESQ已从3.21降至1.91（下降1.3点），LSD增加约3.4倍。这证明了擦除水印需要付出显著的音质代价。

3. 图表结论 图5说明：此图展示了白盒相位擦除攻击强度α与音频质量（PESQ， LSD）及验证率（Vfy%）的关系。关键结论是：验证率在α≥0.5时崩溃，但此时PESQ已严重下降（图中PESQ曲线在α=0.5时明显走低）。这直观地支持了论文的论点：擦除APC水印需要牺牲音频质量，而擦除元数据签名则无需成本。

图7说明：此图以柱状图形式直观展示了APC混合编码器在8种攻击下的密码验证率。所有柱子高度均在97.5%以上，且相位通道（绿色部分）和幅度通道（蓝色部分）的贡献清晰可见，证实了双通道设计的有效性。

🔬 细节详述

• 训练数据：未说明。本方法为免训练方法，无需任何训练数据。
• 损失函数：不适用。本方法基于信号处理和密码学，不涉及损失函数优化。
• 训练策略：不适用。
• 关键超参数：
  • STFT参数：N_FFT=2048，矩形窗，无重叠。
  • 相位嵌入频段：f_min=60， f_max=300 (bin)。
  • 幅度嵌入频段：f_min_m=100， f_max_m=340 (bin)。
  • 帧组大小：G=8。
  • QIM量化步长：Δ=1.0 nat。
  • RS码参数：t=30 (可纠正15字节错误)。
  • 幅度通道负载复制次数：R_m=5。
  • 用于生成负载的消息长度：49字节（包括签名）。
• 训练硬件：不适用。论文未提及训练硬件，因为不需要训练。
• 推理细节：
  • 嵌入/提取延迟：在AMD Threadripper 5990X单核上，混合编码器嵌入10秒音频耗时71.0ms，提取耗时57.9ms。相位编码器嵌入79.8ms，提取7.2ms。
  • 软判决计算：相位通道σ = sin(φ(i0, k))；幅度通道σ = -cos(π(ℓ1-ℓ2)/Δ)，并在R_m=5个副本上求和。
  • 验证策略：先验证相位通道，失败后验证幅度通道。
• 正则化或稳定训练技巧：不适用。

⚖️ 评分理由

创新性：2.0/3 论文的创新在于将公钥密码学与成熟的信号处理技术（相位编码、QIM）进行了一次有效的系统级集成，明确解决了“非否认性”这一实际需求，并通过双通道设计提升了鲁棒性。然而，其核心信号处理方法（相位编码、QIM）并非首创，论文也引用了相关工作。创新更多体现在应用场景的结合、对安全威胁模型的清晰界定（伪造 vs. 擦除）以及完整的系统实现上，而非基础算法的突破。

技术严谨性：1.5/2 整体技术路线清晰，密码学部分（Ed25519， RS码）应用标准且正确。信号处理部分的推导（如相位偏移、QIM量化）描述基本清晰。白盒攻击分析为安全声明提供了定量支撑。不足之处：1) 对相位修改的感知失真模型（±π/2）较为简化，未讨论更优的映射策略；2) 幅度-QIM通道的设计中，对数幅度差的统计特性及其在攻击下的变化未做深入建模；3) 消融实验（表4）只展示了通道成功贡献，未更细致地分析在何种条件下相位通道失效、幅度通道接管。

实验充分性：1.5/2 实验设计较为系统：1) 使用了足够规模的公开数据集（1000条）；2) 定义了8种涵盖常见处理的攻击，评估指标全面；3) 提供了与神经网络基线的复现对比，位置摆放客观；4) 包含了必要的消融实验（双通道）和安全性分析（白盒攻击）。局限在于：1) 数据集仅限于朗读语音（LibriSpeech），缺乏其他语音类型（如自然对话、会议）或音频内容（如音乐）的验证；2) 攻击模型未涵盖更复杂的场景（如模拟空洞攻击、不同比特率压缩、多代转码）；3) 与神经网络基线的对比主要在“MP3 128k”单一攻击下进行，未在更多攻击维度全面比较。

清晰度：0.8/1 论文结构完整，逻辑清晰。摘要、引言、方法、实验各部分衔接顺畅。核心方法（双通道嵌入）有示意图（图1）辅助说明，关键公式（如QIM编码）有文字解释。符号定义基本一致。图表设计合理，图例清晰。轻微扣分点：个别公式符号（如wrap(·)）未显式定义；方法部分的一些细节（如公钥哈希派生常数0x4D41）的解释可更早出现。

影响力：0.7/1 该工作对音频安全领域，特别是媒体来源认证（如C2PA）的工程化落地有明确的推动价值。它提供了一种可部署、可审计、无需GPU的信号层认证原语，思路具有启发性。其“与神经网络水印正交且可互补”的定位，为未来构建多层次防护体系指出了一个方向。影响力受限于其音质牺牲，可能影响对质量极其敏感的应用场景的采用。

可复现性：0.5/1 论文明确承诺并部分履行了开源：1) 声称发布代码、密钥和元数据；2) 详细列出了评估流程、攻击配置（FFmpeg参数）、超参数和种子信息；3) 提供了每条音频的失败阶段标签。这些为复现提供了良好基础。但根据当前文本，未提供明确的代码仓库链接（如GitHub），且对“全部代码”的描述较为概括，未明确说明是否包含所有基准测试脚本和绘图脚本的完整版本，因此给予中等分数。

总分：7.0/10 Overall Recommendation：Weak Accept

🚨 局限与问题

1. 论文明确承认的局限：

• 在频谱内容稀疏的片段上性能下降（见Fig. 8的BER热力图）。
• 当前使用固定的±π/2相位映射，未采用自适应嵌入强度来根据信号内容调整，这可能影响鲁棒性。
• 白盒擦除攻击的评估仅使用了简单的线性混合模型（α-randomization），更强的优化攻击可能会产生更紧的权衡边界。
• 未研究模拟空洞攻击（录制-重放）或完整的平台级转码链。

2. 审稿人发现的潜在问题：

• 音质与鲁棒性的权衡：为了达到高鲁棒性，APC混合编码器的平均PESQ为3.02，这是一个明确的妥协。论文虽然承认了这一点，但未充分讨论这在实际部署（如广播、通讯）中的可接受性范围。
• 评估数据集的代表性：仅使用LibriSpeech（朗读、干净、单语）进行评估，结果可能无法推广到更嘈杂、多样或口语化的音频内容。方法的通用性有待验证。
• 对比的公平性与深度：与神经网络水印的对比主要停留在引用和有限复现，且负载能力差异巨大（1160位 vs 16-32位）。未探讨在相同负载容量下（例如将神经网络水印通过链式签名等方式扩展至64字节）的性能对比，这使得“APC在需要签名时更具优势”的结论在绝对性能上有些模糊。
• 安全模型的简化：白盒擦除攻击模型假设攻击者仅修改水印频点的相位，且修改是独立同分布的。现实中的攻击可能更复杂（例如，结合整体信号修改或优化攻击）。论文的“擦除成本”结论是在此特定攻击模型下的下界估计。
• 方法描述中的潜在混淆：论文在§3.3提到幅度-QIM通道的比特复制和软解码使用R_m=5，并说“依赖RS在每个副本内部，而非多数投票”。这如何与“在副本上求和软值”统一？是复制负载后，对每个副本独立解码再投票，还是将多个副本的软判决先求和再做一次解码？描述上略有模糊。

← 返回 2026-05-11 论文速递