在语音合成中间环节嵌入可追溯水印:GAMW 方法解读
GAMW 针对合成语音事后加水印易被复合处理抹除的问题,把内容自适应的多比特残差写进冻结 TTS 产生的梅尔谱再经冻结声码器发声,并用聚焦调节加动态逐比特加权学习解码,在两条 TTS 链路上保持语音质量的同时提升了单种与复合扰动下的解出率。
GAMW 针对合成语音事后加水印易被复合处理抹除的问题,把内容自适应的多比特残差写进冻结 TTS 产生的梅尔谱再经冻结声码器发声,并用聚焦调节加动态逐比特加权学习解码,在两条 TTS 链路上保持语音质量的同时提升了单种与复合扰动下的解出率。
论文针对发布语音会被神经编解码、声码器和增强模型重建而抹掉水印的问题,提出在生成全程参与嵌入并在波形与频谱两路按比特选可靠恢复的 Thrive 框架,在两种自回归合成器上无攻击时比特准确率达 0.999,重建攻击下平均约 87.6%,代价是需要两阶段训练与双专家恢复结构。
针对合成语音事后加水印易被绕过和易被神经编解码重合成抹除的问题,NeuMark-Native 把 16 比特信息嵌入冻结的 VALL-E 与 SpeechTokenizer 每一层 RVQ 隐表示后再解码,在两套语料 11 种信号处理与 9 种编解码攻击下取得更强的整体检出,尤其在编解码攻击下优势明显,代价是只训练水印模块并需离线预合成配对数据。
针对语音语言模型生成后须经编码器重读记号并发生替换的问题,Redwing 用替换图谱基与分离求解的嵌入检测函数实现可复现的鲁棒水印,在 Moshi 经 8 次 Mimi 重合成后保持 80.7% 检出率,代价是与 KGW 相当的语音质量变化。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对只改一两个词的部分语音伪造,论文用神经编解码器压缩原声并以时间重复最低有效位方式预先藏回自身,再比较接收信号与自重建的动态时间规整差异做检测,在单双词替换下把等错误率降到约 9% 和约 5%,代价是发布前必须嵌入且极短篡改仍难检。
论文把流匹配与扩散语音合成中初始高斯噪声与生成梅尔频谱图的空间相关变成水印信号,用固定特殊噪声生成加余弦相似度验算或外挂检测器判别,在强裁剪与变速下比 AudioSeal 更稳,但回声与极端滤波仍是代价与边界。
针对神经音频编解码器量化导致水印提取跌到随机水平的问题,该文不改嵌入器而在解码前加频谱修复,并用分类器为每种编解码器选专用修复模型,在多码本残差量化编解码器上把比特准确率恢复到 98% 以上,代价是每种新编解码器都要单独训练一个专用模型且单码本极低码率下基本无效。
针对净化后仍能克隆的语音伪造问题,该工作把身份比特藏进 100-1000 Hz 音素稳定区并用 Mamba 编码与对抗净化训练实现迁移,在 11 人 165 条克隆语音上报告近 100% 溯源而 MH-Mamba 净化后保持率报告 92.34% 且代价是需强制对齐与两阶段训练。
论文针对合成语音普及后水印检测缺乏统一跨分布评测的问题,用 10 种水印与三类扰动构建大规模基准并提出两阶段基线 AudioWMD,最强证据是白盒下 AudioWMD 在 Test1 取得 0.7715 的 AUROC 而单查询基线仅 0.4863,代价是黑盒 HSJA 谱域攻击下其检出率大幅下降。
针对信号级水印易被神经编解码器和声码器重建抹除的问题,DuraMark 选择在音节时长这一信息级载体上嵌入奇偶水印,最强证据是在多种生成式攻击下保持 TPR 大于 95% 且平均达 0.993,代价是依赖文本转录与时长提取精度并需要时长可控的合成流水线。
DsNA 针对合成语音难溯源问题,在文本转语音输出之后把音频切成 2 块、把音频与元数据派生的密码签名切成 3 个碎片再交错拼接,报告在 250 条样本上原始与指纹音频信噪比同为 45.2 dB 且平均意见分、字错率基本不变,代价是未验证压缩噪声与对抗篡改下的鲁棒性。
针对神经音频编解码压缩会洗掉波形级水印的问题,Latent-Mark 用测试时波形优化把潜在表示推向秘密流形方向并以跨编解码器联合优化求零样本迁移,最强证据是在 SNAC 压缩后仍保持 0.58 以上存活率并在 DAPS 上达 0.93,代价是多编解码器联合优化要牺牲部分单编解码器专精性能并依赖 150 步梯度优化。
论文针对解码消息概率呈正态分布因而可用离群检测发现篡改的问题,提出两阶段自适应攻击 AWM,先用少量相似音频估计正常均值方差再逐比特约束优化,报告在两种水印与三种语音数据上替换与伪造检测率低于 10% 且去除为 0%,代价是音质优化会小幅抬高被检出风险。
论文冻结三种音频水印的编码器与检测器,只训练约 2M 参数的 Conformer 解码器来替代平均投票等固定时间聚合,在受控攻击与交替双负载下提升精确恢复并提高检测 AUROC 点估计,但 AudioSeal 双负载绝对恢复仍低且结论限于已知网格与分布内攻击。
论文把去除水印建模为先加高斯噪声再做语音增强的严格黑盒攻击,对六种神经水印与六种增强模型做范式级对比,显示基于语言模型的生成式增强去除最彻底,而判别式增强与纯频谱重建难以撼动与谐波对齐的高能量水印,且需以音质与音色变化为代价。
KeyBound 把 16 比特载荷先用密钥掩码再经宿主频谱调制嵌入,以存在检测与密钥解码分离的验证规则做归属,在谱去噪下保持检测 1.00 与比特精度 0.98,代价是宽带感知质量降到 3.03 且自适应重构移除仍能抹掉水印。
针对波形水印经神经编解码重合成后易失效的问题,论文用冻结 EnCodec 连续潜变量上的前馈加性扰动做 16 比特水印,在重复与低码率 EnCodec 重合成下退化更平缓,但端到端音质受限于编解码器载体本身。
针对神经编解码器重合成会抹掉波形域水印的问题,NeuMark 把 16 比特消息分布嵌入 SpeechTokenizer 的 8 路残差量化潜变量并用失真增强训练检测与解码,其代价是潜变量方法的透明度受限于编解码器自身重建质量并需区分原始参考与重建参考。
针对剪切拼接易失同步的问题,AWARE 用时频域对抗优化嵌入水印并以时间无关检测器解码,在保持 PESQ 约 4.26 与 STOI 约 0.99 的同时在多种编辑下保持低误码率,代价是逐样本迭代嵌入开销与神经压缩等条件仍有残留误差。