编解码器压坏水印不是擦除而是压皱：先复原频谱再提取

英文题目：Countering Neural Audio Codec Distortions in Watermarking with Adaptive Restoration

会议身份：conference:interspeech:2026:conference-paper-id:park26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#CNN #混合专家模型 #音频修复 #音频水印

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Sungho Park：机构信息未能从会议 PDF 纯文本可靠映射
• Thien An Nguyen：机构信息未能从会议 PDF 纯文本可靠映射
• Souhwan Jung：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

神经音频编解码器压缩后的音频水印提取面临结构化非线性失真，输入为压缩音频输出为水印比特，难点在于残差向量量化抹掉了嵌入依赖的细粒度频谱结构且各编解码器失真异构难以统一泛化。该框架先将压缩音频经短时傅里叶变换转为幅度谱，再由轻量分类器识别编解码器类型并路由到专用修复模型，接着用ConvNeXt增强的九阶段U-Net重建近似压缩前水印谱，最后送入未改动的Timbre解码器做时间池化提取。与重训嵌入器或训练通用去噪器不同，该方法把问题定义为仅在验证阶段生效的谱预修复并用专家分治隔离异构失真，因而无需改动现有水印系统即可扩展新编解码器。在LJSpeech测试划分上EnCodec在6 kbps条件下逐比特准确率从59.00%提升至84.05%，在DAC 8 kbps条件下恢复至99.58%，在FunCodec 16 kbps条件下恢复至98.03%。该结论仅适用于保留残差痕迹的多码本残差向量量化体制，单码本极低码率下信息瓶颈导致修复失效。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些关键信息？

这篇解读的输入是论文正文给出的文字证据和 3 张官方原图像素，目标是让刚进入语音音乐音频方向的研究生能复述方法、复现实验并判断适用边界。必须保留的信息包括任务定义、流水线 4 个阶段、修复网络的监督目标、分类器作用、数据集划分、训练预算、评价指标定义、主结果数字、消融对照和单码本失效边界。输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断，不补原文没有的数值。

任务是音频水印在神经编解码器压缩后的鲁棒提取。白话说，水印是把代表版权的比特序列藏进语音频谱，听起来尽量无感，事后能解出来证明来源。英文名是 audio watermarking。神经音频编解码器是 neural audio codec，它用神经网络把波形压成离散码，再解码重建，压缩率高但会引入非线性结构化失真。传统水印方法对加噪、滤波和传统有损压缩有一定抵抗力，但经过神经编解码器后提取准确率经常跌到接近随机水平，尤其在低码率下。论文把问题框定为水印信息不是被彻底擦除，而是在全频带上留下可重建的残余痕迹，因此可以在提取前先做修复。

神经音频编解码器 × 音频水印： 神经音频编解码器的分工是用学到的隐表示加向量量化把语音压小，便于传输和存储；音频水印的分工是在不损伤听感的前提下把归属比特藏进细粒度频谱结构。两者搭配困难的原因是量化把连续隐向量替换为最近码本项，形成跨频带的块状模糊，直接破坏水印依赖的弱谱纹理，组合意义在于必须把编解码失真当作结构化损伤来处理，而不是当作加性噪声。

学习路径先建立依赖关系。先理解水印嵌入在频谱时间冗余上的做法，再理解编解码器量化如何破坏细粒度谱结构，再看修复加路由的整体安排，再进入网络细节、训练构造、实验条件和反证。只有先接受失真是结构化且因编解码器而异，才能理解为什么作者不用一个通用模型包打天下，而要为每种编解码器训练专用模型。

已有路线在同输入同目标下各解决了什么？

按同输入、同目标、同运行阶段对照已有路线。第一条路线是深度水印本身，例如作为基座的 Timbre 水印模型。它把相同水印特征沿时间轴重复嵌入频谱，解码时沿时间做平均池化，因此对裁剪等失同步攻击有天然冗余。但它依赖细粒度谱结构完整，一旦被向量量化破坏，平均池化也救不回来。第二条路线是传统鲁棒性评测，覆盖加噪、滤波和经典压缩，这类失真相对局部或可预测，与神经编解码器的块状码本替换失真性质不同。第三条路线是自声码方向的增强解码器思想，用增强网络补偿合成伪影，论文把同一原则搬到补偿编解码器失真。

同监督和同运行阶段的差异很关键。重新设计嵌入算法需要在生成端改动已部署系统，而本文方法是验证端的前处理，不动嵌入器和解码器，只在水印验证时激活修复路径。用户直接消费编解码器压缩后的音频，修复后的频谱不用于试听，只送入水印解码器。这种模块化定位决定了后文的训练监督只比较修复频谱与原始含水印频谱，而不优化听感。

类别差异不能当成同条件胜负。不能因为传统失真下水印准确率高，就推定神经编解码器下也高；也不能把单码本极低码率的失败当成方法在所有码率都失败。论文的对照始终固定基座水印和数据集，只改变是否修复、是否自适应路由、主干是否为 ConvNeXt，这样才能把收益归因到具体组件。

水印为什么过一遍神经编解码器就解不出来了？

拿一个样本走一遍有助于建立直觉，这是一个教学例子，不是论文报告的实测数值。假设原始语音和一串归属比特进入 Timbre 编码器，得到含水印音频。它的频谱在全频带藏了重复的水印纹理，解码器靠平均时间帧来投票。然后该音频经过神经编解码器，编码器把它映射到连续隐向量，再用向量量化替换为最近码本项，解码重建波形。这个替换不是逐个时频点独立加噪，而是 1 次替换一片隐向量，对应频谱上就是跨多个频率仓的相干偏移或模糊。

问题由此产生。解码器期待的弱纹理被抹平或移位，平均池化把受损帧一起平均，错误被固化。论文报告基线在多种编解码器下比特准确率只有 50% 到 60% 量级，接近随机猜测。更麻烦的是异质性，不同编解码器的架构、量化器数量和训练目标不同，失真模式也不同。一个在某种编解码器上学到的修复映射，搬到另一种编解码器上可能不对齐，这就是后文需要分类器加专用模型的直接动机。

还要区分两个易混概念。残差向量量化是 residual vector quantization，用多个码本逐级量化残差，层数多则保留更多细节。单码本量化只用一个码本做极低码率压缩，细节丢得更彻底。论文的核心判断是前者留下可修复的残余，后者可能进入信息瓶颈，修复也难以找回。

四阶段流水线如何把受损音频送到解码器？

方法全景是 4 个阶段串起来。第一步是时频变换，压缩后的音频经短时傅里叶变换得到幅度频谱，英文是 short-time Fourier transform，缩写 STFT。第二步是编解码器识别，轻量分类器判断是哪一种神经编解码器。第三步是修复，选中的专用网络把受损频谱重建成接近压缩前的含水印频谱。第四步是水印提取，修复频谱直接送入已有的水印解码器，不做任何修改。

下图是全文的总装图，建议先看主路径再看监督和路由支路。图中左侧是冻结的预训练水印编码器和解码器，中间黄色大框是压缩加变换加修复，右侧绿色框是自适应路由器。注意训练时重建损失同时看到压缩前和压缩后频谱，但推理时修复只看到受损频谱加路由器条件。

看图路径： 1. 先从左侧原始音频和水印比特进入预训练编码器，再向右追踪到神经编解码器输出的受损音频；2. 再看中间短时傅里叶变换同时接收压缩前和压缩后两路输入的位置；3. 再看右侧自适应路由器输出的条件箭头指向修复模型的方式；4. 最后确认修复后频谱图只送入水印解码器而不回送给用户试听

论文图 1。原论文 Figure 1：“Overall pipeline of the proposed framework.”。

从像素看，左侧原始音频箭头进入水印编码器，输出含水印音频箭头进入神经编解码器，再输出受损含水印音频。中间 STFT 方框同时接收压缩前和压缩后两路箭头，向下送入红色修复模型。右侧自适应路由器列出多个编解码器选项，向左发出条件箭头控制选用哪个修复模型。修复模型输出重建频谱图，再向左送入水印解码器，还原水印比特。训练用的重建损失箭头连接原始频谱与重建频谱，说明监督来源是频谱域重建，而不是水印比特分类。论文明确该网络只是解码前处理，不是语音增强，验证时才激活。

修复网络和自适应路由各自算什么？

组件分工先讲基座水印。Timbre 把相同水印特征沿时间复制，形成高时间冗余，解码靠时间维平均池化聚合。这种设计抗裁剪，但要求谱细节完整。论文不动它，把它当作冻结的上下游。接着讲修复主干。修复采用对称编码器解码器结构的 U-Net，编码器逐级下采样抓上下文，解码器重建细谱细节，跳连把低层信息直送解码器，防止弱水印模式在下采样中消失。

下图是修复网络内部结构，重点看感受野和跳连如何配合。左侧是受损频谱输入，右侧是重建频谱输出，中间经过多次下采样到瓶颈再上采样。右侧还单独展开 ConvNeXt 块内部的 3 层结构。

看图路径： 1. 先看左侧受损频谱输入的张量形状与右侧重建频谱输出的对应关系；2. 再看编码器下采样加 ConvNeXt 块重复 N 次与解码器上采样的对称结构；3. 再看虚线跳连在哪些分辨率层级横向连接编码器和解码器；4. 最后读右侧 ConvNeXt 块内部深度卷积加层归一化加激活的顺序

论文图 2。原论文 Figure 2：“Architecture of the ConvNeXt-based U-Net.”。

从像素看，顶部左右各有一张紫色频谱图，左侧标注受损处理后，右侧标注重建后。下方白色方框给出张量形状，左侧为批量、64 通道、256 乘 256 时频，右侧对应 128 通道，瓶颈处为 512 通道、1 乘 1。蓝色大框左侧写下采样加 ConvNeXt 块并标注重复 N 次，右侧写上采样加 ConvNeXt 块，中间虚线为多层跳连。最右侧绿色竖框展开 ConvNeXt 块，依次是 7 乘 7 深度卷积、层归一化、1 乘 1 扩展到 4 倍通道、激活、再 1 乘 1 压缩回原通道。论文用 9 个分辨率层级、8 次下采样并设重复数为 8，输入从 512 乘 512 逐级压到瓶颈。选择大核的原因是量化误差是空间相关的块状损伤，小核只看局部邻域不够，需要联合受损区与周围上下文一起重建。

编解码器分类器 × 专用修复模型： 编解码器分类器的分工是判断当前音频经过了哪一种神经编解码器；专用修复模型的分工是只学习该编解码器特有的失真映射。搭配原因是不同编解码器的架构、量化器数量和训练目标不同，失真模式冲突，通用模型难以兼顾，组合后形成自适应路由加专家修复的结构，推理时只激活被选中的一个专家。

ConvNeXt 块 × U-Net 跳连： ConvNeXt 块的分工是用 7 乘 7 深度卷积加现代残差设计提供大感受野，建模跨多个频带的相干量化误差；U-Net 跳连的分工是把编码器低层细节直接送到解码器，避免弱水印模式在下采样中消失。搭配原因是量化损伤既有大范围模糊又有细粒度纹理丢失，组合意义是同时恢复全局谱结构和局部水印细节。

监督目标是修复频谱与原始含水印频谱之间的 L1 重建损失。符号含义是估计频谱与原始含水印频谱逐点差的绝对值之和，优化目标是让重建频谱逼近压缩前频谱。原文只报告该损失和验证损失选最优检查点，没有报告水印比特损失是否联合训练，也没有给出分类器结构和训练细节的具体缺项，后文复现节会明确标出这些缺项。

训练如何构造配对数据，哪些参数更新？

训练流程按原文交代复述。数据来自 LJSpeech 数据集，共 13100 条单说话人短音频，按 8 比 1 比 1 划分为训练、验证和测试。修复网络的训练数据是配对的干净含水印音频与编解码器失真音频，也就是先用水印编码器生成含水印音频，再过目标编解码器得到受损版本，配对送入网络。优化只更新修复网络，基座水印编码器和解码器保持冻结，论文用雪花标记和预训练字样表达了冻结含义。监督来源是频谱域 L1 重建损失，梯度路径只经过修复网络，不回传到编解码器和水印模块。

关键超参数按原文保留。批量大小为 4，梯度累积为 8，等效批量为 32。每个模型训练 200 轮，按验证损失选最优检查点。实验在一块英伟达 RTX 4090 上进行。每个神经编解码器训练一个专用修复网络，推理时分类器先识别编解码器类型，再动态选择对应模型，只有被选中的模型被激活。论文报告分类器在 11 种编解码器测试集上达到完全正确，但未报告分类器本身的架构、优化器和训练轮数，这是复现时需要补的缺项。

没有训练的部分也要说清。本研究没有重新训练水印嵌入器和解码器，没有训练神经编解码器本身，也没有联合优化听感。修复路径不改变用户听到的压缩音频，只在验证阶段介入。因此不能把修复频谱质量等同于语音增强质量，也不能从参数冻结推定系统输出确定，编解码器和信道仍可能带来随机性。

用什么数据、什么指标、什么对照来测？

实验按问题组织。测的是经过不同神经编解码器压缩后，水印比特能否在修复后被正确提取。与谁比，是无修复基线、单共享修复模型、去掉 ConvNeXt 的基础卷积加自适应路由，以及完整自适应加 ConvNeXt。条件是否一致，论文固定基座为 Timbre、数据集为 LJSpeech 同一划分、评价在同一测试集上进行，区别只在修复策略和主干。

指标方向要先讲清。比特准确率是正确恢复的水印比特百分比，50% 对应随机猜测，越高越好。归属准确率是所有比特全部正确的样本比例，反映端到端身份判定成功，越高越好。两者缺一不可，前者看平均恢复，后者看整串可用。

比特准确率 × 归属准确率： 比特准确率的分工是统计水印比特中有多少位被正确恢复，50% 对应随机猜测；归属准确率的分工是统计有多少条样本的所有比特全部正确，反映端到端身份判定成功率。搭配原因是只看平均比特正确率会掩盖整条水印仍有 1 位错误的失败，组合使用才能同时看到细粒度恢复能力和可用性。

评价覆盖 11 种神经编解码器，包括 EnCodec、DAC、AudioDec、FunCodec、BigCodec、HiFi-Codec、SpeechTokenizer、Mimi、UniCodec、StableCodec 和 WavTokenizer，并覆盖不同码率和码本数。码本数用 Nq 表示，残差量化层数越多通常保留越多细节。分类器在每种编解码器 1310 条、共 14410 条测试样本上验证路由可靠性。硬件预算只报告了单卡型号和训练轮数，未报告推理延迟、参数量和显存占用，因此不能承诺实时性或成本改善。资源状态方面，本次没有发现来源绑定且完成验证的开源代码或模型链接，不得声称代码模型数据已公开。

修复把哪些编解码器救回来了，代价是什么？

主结果要回答的核心问题是，在公平的基座和数据下，修复是否把接近随机的提取准确率拉回可用水平，代价是专用模型数量和对单码本的无效。指标方向是比特准确率和归属准确率越高越好。论文报告无修复时多种编解码器只有 50% 到 60% 量级，修复后多码本残差量化编解码器在实用码率下恢复到 98% 以上。

下图对比单共享模型与自适应方法，建议先看颜色图例再逐个编解码器比较。横轴是不同编解码器，纵轴是比特准确率百分比，红色为单共享模型，蓝色为自适应方法。

看图路径： 1. 先对照图例确认红色为单共享模型、蓝色为自适应方法；2. 再沿横轴逐个编解码器比较红蓝柱的高度差；3. 重点观察左侧多码本编解码器上蓝色柱是否明显高出红色柱；4. 最后观察最右侧单码本编解码器上红蓝柱是否都贴近随机水平

论文图 3。原论文 Figure 3：“Effectiveness of Adaptive Strategy. Comparison be- tween the Single Shared Model (Red) and our Proposed Adap- tive Framework (Blue).”。

从像素看，左侧 EnCodec、FunCodec、DAC、AudioDec、Mimi 等位置蓝色柱明显高于红色柱，蓝色柱顶标注可达 84.1、98、99.6、94.2、88.7 等数值，红色柱多在 50% 到 60% 区间，个别在 80% 附近。中间 SpeechTokenizer 处蓝色约 69.8 仍高于红色约 54.5。右侧 HiFi-Codec、BigCodec、UniCodec、WavTokenizer、StableCodec 等位置红蓝柱都很矮且接近，都贴近 50% 随机线，蓝色仅略高或持平。这支持论文判断，自适应对多码本有效，对单码本极低码率基本无效。像素能辨认的柱顶数字有限，不硬读所有小数，精确对照以下表。

下表整理论文正文连续句子中实际出现的关键数字，只做法向量化归纳，不补原表没有的列。比较问题是修复前后比特准确率变化多少，公平条件是同一基座水印和同一测试划分，指标方向是越高越好。

表后解释主要收益与代价。收益是 EnCodec 在 6 kbps 从 59.00% 跃升到 84.05%，AudioDec 在 12 kbps 从 60.09% 提升到 94.23%，多码本在实用码率下可达 98% 以上。代价一是需要为每种编解码器维护专用模型，二是归属准确率虽同步提升但仍低于比特准确率，意味着平均比特对了不等于整串全对。三是未胜出项明确，单码本模型如 WavTokenizer、StableCodec、BigCodec、UniCodec 在 1 kbps 上下修复前后都在 50% 附近，几乎无改善，这是后文限制节的重点。

残差向量量化 × 单码本量化： 残差向量量化的分工是用多个码本逐级量化残差，保留多层细节痕迹；单码本量化的分工是用一个码本 1 次完成极低码率压缩，丢弃更多细节。搭配理由是修复能否成功取决于残差层是否还留下可重建的痕迹，组合意义在于解释了为什么同一套修复思想在多码本上可逆、在单码本上遇到信息瓶颈。

自适应路由和大核主干谁更关键？

消融要回答每个组件贡献多少，比较问题是去掉路由或换掉主干后准确率掉多少，公平条件是同一 6 kbps 场景和同一基座，指标方向仍是越高越好。论文在 6 kbps 码率下逐步移除模块，行按比特准确率降序排列以显示各模块影响。

表前已提出比较问题和公平条件，表后解释收益与反例。无修复时 59.01% 接近随机猜测。用单共享 ConvNeXt 而无自适应路由仅到 60.54%，说明通用模型难以处理多种编解码器冲突的失真。保留自适应路由但用基础卷积可到 70.44%，证明按编解码器 specialization 本身就很有效。两者结合到 84.05% 最好，说明路由解决跨编解码器冲突，大核主干解决单个编解码器内的结构化损伤，两者互补。

反例是单共享模型并非在所有编解码器上都失败，图 3 中个别位置红色柱可达 80% 以上，说明某些失真较轻的场景通用模型也能部分恢复。但总体趋势是自适应明显占优，尤其在残差量化编解码器上。论文未报告去掉跳连或改变重复数 N 的对照，因此不能推定跳连和深度的单独贡献，这是缺项而非结论。

单码本极低码率为什么修不动？

限制节承担的教学任务是指出方法的边界和论文的有限解释。论文直接报告的是单码本模型效果差，例如极低码率单码本编解码器修复前后仍在 50% 附近。论文给出的解释是信息瓶颈效应，残差量化在残差层保留水印痕迹可供重建，而单码本丢弃细粒度细节后残余信号不足，修复缺乏依据。注意这是用可能和待验证的语气理解的假设，原文引用信息瓶颈方法但没有给出互信息或残差能量测量，因此是有限解释而非因果证明。

未评测边界也要列出。原文未测量误判率随阈值的变化，未报告推理延迟、模型参数量和多专家总存储成本，未评估传统失真与神经编解码器级联、多次压缩、重采样和带宽受限信道下的表现。总体趋势不等于每组都成立，低码率 EnCodec 在 2 码本和 4 码本下提升也很小，说明码本数过少时即使是残差量化也难修复。

相关性不是因果。码本数多往往伴随码率高和架构容量大，不能单独把成功归因于码本数。论文按码本数分析 survivability 是有用的相关性观察，但要验证因果还需要固定码率改变码本数或固定码本数改变码率的受控实验，原文没有提供这类析因设计。

要复现先做什么，还缺哪些验证？

复现先做三件事。第一步复现基座水印，用 Timbre 生成含水印音频并确认无压缩时提取正常，再过目标神经编解码器得到配对数据，划分保持 8 比 1 比 1。第二步实现 STFT 幅度谱流水线，修复网络输入输出都是频谱，损失是重建谱与原始含水印谱的 L1，解码器输入修复谱。第三步先为一种多码本编解码器训练专用修复模型，验证从 60% 量级提升到 80% 以上，再扩展到第二种编解码器并训练轻量分类器做路由。

关键超参数按原文保留。输入分辨率 512 乘 512，9 个分辨率层级、8 次下采样、重复数 8，批量 4 加梯度累积 8，训练 200 轮按验证损失选点，单卡 RTX 4090。分类器在 11 种编解码器上报告完全正确，但原文未给出分类器输入特征、网络结构和训练流程，复现时需自己补并报告混淆矩阵，不能默认 100% 在新数据上成立。

还需补的验证包括推理开销与存储成本、归属准确率随水印长度的变化、多次压缩和级联失真、以及新编解码器加入时只训练新专家的增量流程。资源方面本次未发现可用链接，复现应按无公开代码假设从头实现，并记录随机种子、编解码器版本和码率配置，否则数字无法对齐。

何时值得尝试这种先修复再提取？

收束回答何时值得尝试。当系统已部署某种水印嵌入器且不能改动生成端，但验证端允许加前处理，且主要风险来自已知的几种多码本神经编解码器时，这种修复加路由值得尝试。它的好处是模块化，不动嵌入器和解码器，新编解码器加入时只需加训一个专家而不动旧模型。当目标是极低码率单码本或未知编解码器占主导时，不值得单独依赖该方法，需要考虑在嵌入阶段就针对量化机制设计水印。

重提结果时增加适用条件。多码本在实用码率下从接近随机恢复到 98% 以上，支持修复有效的判断；单码本在 1 kbps 上下几乎无改善，支持信息瓶颈假设的讨论。消融显示路由和大核主干互补，单共享模型仅小幅提升。

常见误解需要澄清。修复频谱变清晰不等于语音听感变好，因为修复只服务解码器。分类器准不等于端到端准，路由正确只是选对专家，专家本身在单码本上仍可能失败。比特准确率高不等于归属判定高，整串全对才是可用标准。把握这三点，才能把论文放在正确的位置上使用。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总