不平均分配量化器：用可学习的层级权重让编解码残差对齐伪造痕迹

英文题目：Quantizer-Aware Hierarchical Neural Codec Modeling for Speech Deepfake Detection

会议身份：conference:interspeech:2026:conference-paper-id:wu26n_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#模型融合 #参数高效微调 #向量量化 #语音 #语音伪造检测

评分：6.8/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jinyang Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Zihan Pan：机构信息未能从会议 PDF 纯文本可靠映射
• Qiquan Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Sailor Hardik：机构信息未能从会议 PDF 纯文本可靠映射
• Soumik Mondal：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为可能含合成或转换痕迹的语音波形，输出为真伪二分类分数，难点在于伪造伪影细弱稀疏且易被信道掩盖，而自监督学习（Self-Supervised Learning，SSL）表征的语义抽象会进一步平滑此类局部线索。本文采用冻结的WavLM-Large前12层经注意力合并（Attentive Merging，AttM）得到上下文特征，同时用EnCodec将波形离散为8层残差码本嵌入，再以可学习的维度级量化器加权聚合成紧凑编解码表征，最后经时序对齐后拼接投影并送入单层长短期记忆网络（Long Short-Term Memory，LSTM）分类。各分支分工明确，语义分支保泛化，编解码分支保细粒度伪影，融合层隔离层级建模收益。与均匀平均和通用多视角拼接相比，该设计显式保留粗到细残差顺序并允许各通道独立偏好不同量化层。在ASVspoof 2019 LA评测集上等错误率（Equal Error Rate，EER）为0.35%，相对注意力合并基线0.65%降低46.2%；在ASVspoof 5 Track 1上为5.68%，相对基线6.60%降低13.9%。该结论限于已测的ASVspoof与CodecFake划分，对未见编解码器族和强失真外推尚未充分验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么要读这篇？

输入是一段待判定的语音波形，目标是判断它是真实录制还是语音合成或声音转换生成的伪造。本文面向刚进入语音与音频方向的研究生，输出是一套可复述的方法流程和可核对的实验条件。必须保留的信息包括任务定义、所用语音编码器与编解码器的冻结关系、两种聚合方法的数学含义、评测协议与等错误率方向，以及参数量代价。本文默认只讲这篇论文实际研究的语音伪造检测，不扩展到通用音频分类。

语音伪造检测的难点在于，文本转语音和声音转换已经能生成听感自然的语音，但仍会留下细微的低层不一致，例如瞬态建模不完美、频谱细节被过度平滑、局部伪影稀疏分布。这些痕迹容易被信道失真掩盖，也容易在追求语义抽象的表示中被平滑掉。因此检测器需要在跨域稳定和对细粒度敏感之间取得平衡，这是全文反复回到的矛盾。

一个教学例子是：把一段波形先送入自监督编码器得到上下文表示，再送入神经编解码器得到残差量化表示。这里例子只是帮助理解双流分工，不代表论文给出过该例子的数值效果。论文的实际做法是保持语音主干冻结，只训练轻量聚合、融合与分类部分，从而用很小的参数增量验证编解码层级是否带来互补信息。

已有路线做了什么，本文的切口在哪里？

第一条路线是基于自监督语音编码器的伪造检测。这类编码器通过大规模预训练得到可迁移的帧级特征，在多个任务上泛化较好。已有工作发现伪造线索在变换器各层分布不均，较浅层有时包含更强的反欺骗信号，因此提出对隐层嵌入做注意力合并，只用部分主干就能构建轻量检测器。另一类工作用混合低秩适配专家做参数高效路由，选择性适配编码器。它们的共同点是只在语音编码器内部挖掘结构，没有引入编解码器的离散结构。

第二条路线是多视角融合，例如把自监督嵌入与梅尔倒谱、线性预测倒谱、常数 Q 倒谱等频谱特征拼接或注意力融合，以提高未见失真下的泛化。这类方法把新增表示看作互补视角，但没有对新增表示内部的结构先验建模。近期也有工作把预训练编解码器作为附加特征提取器，但通常直接使用编码器连续输出，而不是离散残差码。

第 3 条路线是神经音频编解码器与取证的交叉。一方面有表示学习工作从离散编解码令牌学习通用语音表示，但不考虑取证效用；另一方面有工作把编解码残差堆栈改造成语义与声学解耦模型，或用编解码分类属性做来源追溯。论文的切口是显式建模残差向量量化本身的量化器层级，并研究轻量且保持层级的语音与编解码融合。按照同输入、同目标、同监督来对照，本文与上述工作共享语音输入和真伪二分类目标，但在运行阶段多了一条编解码分支，并在监督上仍然是二分类监督，没有引入额外的分类属性监督。

伪影不均匀分布会给平均池化带来什么问题？

论文把问题形式化为：编解码器用多个残差码本渐进细化声学表示，早期量化器捕获主干结构，后期量化器编码更细的残差细节。如果合成伪影集中在特定残差级，那么对所有量化器做等权平均就隐含了错误假设，即每 1 级同等重要、每个嵌入维度同等重要。此时平均操作会稀释关键级的信号，也会把噪声级混入表示。

另一个问题是自监督与编解码如何对齐。两者帧率、特征尺度、语义抽象程度不同，若过早做复杂跨流交互，就难以判断性能提升究竟来自层级建模还是来自更强的融合网络。因此论文先建立保持层级解耦的基线，用后期拼接加单层投影隔离变量，再引入可学习的全局加权。

需要区分的是，论文直接报告的是等错误率下降，论文的有限解释是互补的细粒度线索起了作用，而伪影具体集中在哪 1 级、是否因果导致下降属于未验证推测。缺失证据不是技术错误，相关性也不是因果，后文会用权重分布和跨编解码器评测来限定这个判断的边界。

双流方法全景：一个样本走完全程

沿一个样本走完流程有助于建立整体依赖。输入波形同时进入两条分支：一条是语音分支，波形进入语音大规模预训练编码器，取前若干层表示并做注意力合并，得到上下文特征；另一条是编解码分支，波形进入编解码器编码器得到连续隐变量，再经残差向量量化得到多个量化器的离散索引，映射为可训练嵌入后做量化器级聚合，得到层级引导的编解码表示。两条分支在时间维对齐后拼接并投影，再送入单层长短时记忆网络与线性分类器输出真伪。

自监督语音编码器 × 神经音频编解码器： 自监督语音编码器负责提供长时上下文和可迁移的帧级语义表示，分工是抓住整体结构；神经音频编解码器负责提供面向重建的残差量化表示，分工是保留局部重建细节；二者搭配的原因是前者抽象会衰减弱而稀疏的合成伪影，后者正好补充细粒度线索，组合意义是以后期拼接保留各自互补角色，避免过早交互抹掉层级结构。

这个全景的关键约束是语音主干始终冻结，训练只涉及聚合、融合与分类，解冻时也只解冻编解码分支。这种安排的理由是控制变量：先证明即使不触动大模型，引入编解码流已有收益；再证明让编解码分支适配检测尺度能进一步提升。时间对齐采用简单的重采样，把编解码特征对齐到语音序列长度，记为对齐后的编解码表示，避免帧率不一致导致拼接错位。

残差量化与两种聚合算子如何计算？

先解释符号与输入。记输入波形为波形信号，编码器输出连续隐变量，时间步为帧索引，维度为隐变量维度。残差向量量化用多个码本依次逼近残差：初始残差等于隐变量，每 1 级选择使重建误差最小的码字，再从残差中减去该码字进入下 1 级。重建隐变量是各级选中码字的和，这自然形成由粗到细的层级。早期级对应主干，后期级对应细节，这是后文加权的物理依据。

残差向量量化 × 量化器层级： 残差向量量化是逐级用码本逼近上 1 级残差的离散化过程，分工是把连续隐变量拆成有序残差和；量化器层级是由该过程诱导出的由粗到细的组织结构，分工是标定哪 1 级管主干、哪 1 级管细节；二者搭配的原因是伪影可能不均匀分布在不同残差级上，组合意义是让聚合操作按级加权而不是平均坍缩，从而对齐取证线索。

第一种聚合是量化器均值池化，作为方法一基线。它对各量化器嵌入做均匀平均，公式含义是对量化器维度求均值，不区分层级重要性，也不区分嵌入通道差异。它的优点是无额外参数、保持层级解耦的参照稳定，缺点是假设伪影均匀分布。

第二种聚合是量化器感知静态融合，作为方法二。它不学习每个量化器的单一标量，而是学习一个量化器数乘嵌入维度的维度级静态重加权矩阵。对每个嵌入维度，用温度系数的柔性最大值归一化得到跨码本权重，再按权重对各量化器嵌入加权求和。每个通道可以独立选择信息量大的量化器组，因此可看作通道级对残差码本的软注意力。论文明确选择静态而非输入相关的动态加权，理由是控制表达力、保持可解释的全局先验，把自适应加权留作未来工作。

量化器均值池化 × 量化器感知静态融合： 量化器均值池化是对各量化器嵌入做等权平均的基线，分工是给出保持层级解耦但无偏好的参照；量化器感知静态融合是对每个嵌入维度学习跨码本全局权重的算子，分工是让每个通道独立选择信息量大的量化器组；二者搭配的原因是需要隔离收益究竟来自引入编解码流还是来自层级建模，组合意义是形成可解释的对照，证明非均匀加权比均匀假设更贴合伪影分布。

融合部分是轻量后期融合。记语音特征与对齐后编解码特征，拼接后经线性层得到融合表示。若帧长不同，先做时间重采样对齐。当启用注意力合并时，它先聚合多层语音表示，再与编解码表示融合，二者正交。融合表示送入轻量单层长短时记忆网络与线性分类器，这是全文唯一的分类头。

注意力合并 × 轻量后期融合： 注意力合并负责在语音编码器内部聚合前 12 层变换器表示，分工是利用层间层级；轻量后期融合负责把对齐后的编解码表示与语音特征拼接后做 1 次线性投影，分工是实现跨流对齐而不引入复杂交互；二者搭配的原因是两者正交，一个管层内、一个管跨流，组合意义是能单独度量残差层级建模的增量，避免把复杂融合网络的表达力误算成层级先验的功劳。

冻结谁、更新谁、用什么信号监督？

训练配置按原文交代。所有系统使用大规模语音预训练模型作为语音主干，训练全程冻结。按注意力合并配置，只用前 12 层变换器表示做聚合，非注意力合并系统则用选定的语音表示。编解码流采用具有 8 个量化器、码本大小为 1024、嵌入维度为 128 的编解码器，离散索引映射为可训练嵌入后再融合。优化器统一用自适应矩估计，设置相同，早停依据开发集等错误率。

冻结 × 微调： 冻结是指训练时不更新语音主干甚至编解码分支的参数，分工是保持稳定性和参数效率；微调是指在保持语音主干冻结的同时更新编解码分支，分工是让码本嵌入和聚合适配检测尺度；二者搭配的原因是要在最小训练代价下验证互补信息是否已存在，组合意义是形成冻结对照与解冻对照，区分结构偏置本身的收益和适配带来的额外收益。

冻结与更新分两种设置。冻结设置下编解码分支冻结，只优化编解码聚合、融合与分类模块；可训练设置下编解码分支 дополнительно参与微调，但语音主干仍然冻结。监督来源是真伪二分类标签，梯度路径只进入允许更新的轻量模块与编解码分支，不进入语音主干。原文未报告学习率数值细节、批量大小与训练轮次的具体缺项部分，本解读不从模型名称推定这些实现，复现时需以官方代码或补充材料为准，若不可用则先固定除聚合算子外的所有条件做对照。

参数效率是训练节的重要事实。语音主干约 315,000,000 参数并冻结，编解码分支引入约 1400 万附加参数，约为语音主干的 4.4%。这意味着即使在大模型不动的情况下，轻量分支已能带来可测量的改进，训练成本主要集中在小编解码分支与融合头，而非全量微调大模型。

在什么数据、协议和指标下比较才算公平？

评测使用 2019 年逻辑访问与第 5 代两个公开评测。2019 年逻辑访问遵循官方训练、开发与评测划分；第 5 代使用标准训练、开发与评测划分。除非特别说明，模型分别在各自数据上训练并在各自评测集上评估。主要指标是等错误率，数值越低越好，相对提升相对注意力合并基线计算。比较公平条件是优化设置相同、语音主干同为冻结的大规模模型、早停都看开发集等错误率，区别只在是否引入编解码流以及用均值池化还是静态融合。

基线包括公开基线与语音基线。公开基线涉及多套已发表系统，第 5 代挑战最优与 2019 年多套自监督检测器用于定位大致水平；语音基线是注意力合并加长短时记忆网络，论文的相对提升都以它为分母。编解码分支的冻结与可训练、方法一与方法二在表中明确标注，核对数字时必须同时核对数据集、基线、实验阶段、指标与聚合对象，不能只看数值相同就认为是同一指标。相对百分比与百分点不同，本文报告的是相对等错误率降低。

跨编解码器稳健性采用编解码伪造基准，它包含多个编解码器家族、不同量化结构与比特率配置。不同编解码器采用不同残差架构与压缩策略，量化伪影分布不同，因此最有信息的量化器级别可能随样本与攻击类型变化。该基准用于检验检测器能否泛化到训练编解码器分布之外，论文将其定位为稳健性探针，而非在所有家族上均匀获益的证据。

主结果：在一致条件下谁更好，好多少？

本节回答的核心问题是：在语音主干冻结、优化条件一致、指标方向为等错误率越低越好的前提下，引入编解码层级是否稳定优于纯语音基线，以及静态加权相对均值池化是否带来额外收益。公平条件已在上一节交代，相对提升的分母是注意力合并基线。下表整理第 5 代第一轨道的等错误率与相对提升，数值保留原文写法与精度。

上表显示，即使编解码分支冻结，均值池化与静态融合已把等错误率从 6.60 分别降到 6.01 与 6.04，对应 8.9% 与 8.5% 相对提升；当编解码分支可训练而语音主干仍冻结时，静态融合进一步降到 5.68，对应 13.9% 相对提升。主要收益是小参数增量下的稳定改进，具体代价是需要额外编解码分支与时间对齐，且冻结时两种聚合差异很小，说明第 5 代上仅靠全局先验的区分度有限。未胜出项是冻结静态融合在该集上略逊于冻结均值池化，这提示不能把静态加权默认理解为在所有数据上必胜。

下表整理 2019 年逻辑访问评测的等错误率（%）与相对提升，同样保留原文精度，用于检验在另一协议下结论是否一致。

上表显示，均值池化冻结分支为 0.53，对应 18.4% 相对提升；静态融合冻结分支为 0.44，对应 32.3% 相对提升，与混合低秩适配专家持平；静态融合可训练分支为 0.35，对应 46.2% 相对提升，超过完全微调语音模型的强基线。主要收益是层级加权在该协议上拉开与均值池化的差距，具体代价仍是编解码分支的引入。需要就近说明的边界是，论文同时列出多套公开基线数值较高，但它们训练条件与数据增强不同，不构成同条件胜负，只能用于定位大致难度，不能直接解读为本文方法对所有历史系统的全面超越。

消融与反证：拿掉层级、只用编解码会怎样？

本节组织 3 个有证据的对照。第一个对照是编解码单独建模。论文报告只用编解码建模性能有限，原因是残差嵌入包含重建级线索但缺乏长程上下文，加入轻量对齐模块把编解码嵌入尺度匹配到语音特征尺度后性能改善，说明跨流尺度对齐是必要步骤。这支持双流互补的判断，也限定了编解码单独部署的适用条件。

第二个对照是权重分布是否均匀。论文在语音与编解码编码器都冻结时统计各量化器在嵌入维度上的平均贡献，发现分布明显非均匀，第一量化器贡献最大，中间量化器权重较小。这与由粗到细的先验一致：早期级管主干声学结构，后期级管残差细节。即使语音主干相同，加入量化器感知建模仍在注意力合并之上带来增益，说明残差层级捕获了语音特征未充分表示的取证线索。但这是支持性解释，不是因果证明，仍待验证不同攻击下关键级是否迁移。

第 3 个对照是跨编解码器稳健性。下段先给出导读：下图按编解码器家族分组展示 3 条方法的等错误率曲线，纵轴越低越好，横轴从左到右为不同家族分组，重点看量化器感知方法是否只在特定家族占优。请按焦点逐步观察 3 条线的相对位置与标注数值。

看图路径： 1. 先确认纵轴是性能指标等错误率，数值越低越好，再看横轴按编解码器家族分组为 B、C、D、E、F、A；2. 再对比三条折线图例：蓝色基线、橙色拼接融合、绿色量化器感知静态融合在各组的高低位置；3. 重点观察左侧 B 组附近标注为 38、27、20、31、45、9 的具体点，判断哪条线在该组更低；4. 最后看右侧 F 组和 A 组三条线是否接近或交叉，判断增益是否在所有家族一致

论文图 1。原论文 Figure 3：“Average learned quantizer contribution weights over embedding dimensions on ASVspoof 5. Both the SSL encoder and codec encoder are frozen during training.”。

上图实际像素显示的是跨编解码器性能随家族分组变化的折线，而不是量化器权重柱状图，这与图注文字存在冲突，此处以实际像素为准。可见内容是纵轴为性能等错误率的 3 条折线，图例为注意力合并基线、拼接融合与量化器感知静态融合，横轴分组包含 B、C、D、E、F、A。左侧 B 组附近可见标注为 38、27、20、31、45、9 的数值点，绿色量化器感知线在 B 组部分点上低于蓝色基线；右侧 F 组 3 条线普遍偏高且接近，A 组又回落。

解释是量化器感知融合在 B 组包含的紧凑残差层级与低有效比特率模型上优于基线，但在其他家族上表现相当，增益具有家族依赖性。一种可能是不同家族把伪影分布在不同残差级，全局静态先验会被平均掉部分编解码器特异线索，因此该基准应理解为稳健性探针而非均匀获益证据。

哪些结论还不能下，缺了哪些验证？

首先是静态先验的局限。静态融合学习的是全局、与输入无关的量化器先验，优点是稳定可解释、参数少，缺点是不能随样本与攻击类型自适应。当最有信息的量化器级别跨样本变化较大时，静态加权可能平均掉特异线索，这与跨编解码器增益不均匀的现象一致。论文明确把自适应加权留作未来工作，本解读不补写拿掉静态先验后必然怎样。

其次是未测量的量。论文报告了等错误率与参数占比，没有报告误判率分解、延迟、吞吐、内存峰值与实际推理帧率，因此不能承诺这些量得到改善。训练资源、推理开销、输出帧率与实际延迟应分别讨论，总体趋势不等于每组每步都成立。冻结大模型确实节省训练代价，但推理时仍需同时运行语音与编解码分支，部署成本需要单独测量。

再次是资源可达性。当前证据清单中没有发现来源绑定且完成安全链接状态验证的资源，因此不得声称代码、模型或数据已公开。若链接当前不可用或本次未能确认可达，应按实际状态表述，不能写当前可用或已公开。缺少可运行产物时，复现优先做同条件对照而非直接追求最优数值。

要复现这篇，先固定什么，再改什么？

复现先固定信息条件。语音主干用大规模语音预训练模型并全程冻结，只取前 12 层做注意力合并；编解码器用 8 量化器、码本 1024、嵌入 128 的配置，离散索引映射为可训练嵌入；优化器统一、早停看开发集等错误率；2019 年与第 5 代分别训练与评测，等错误率（%）越低越好，相对提升分母为注意力合并基线。先跑通纯语音基线，再加入均值池化冻结分支，确认小幅提升后，再切换到静态融合冻结分支，最后才解冻编解码分支。

关键超参数与实现细节按原文保留。静态融合的温度系数用于稳定训练，维度级权重经柔性最大值归一化后加权求和；融合为后期拼接加线性投影，帧长不一致时先做时间重采样对齐；分类头为单层长短时记忆网络加线性层。原文未给出学习率、批量与轮次等细节，属于具体缺项，复现时应记录所用取值并保持各对照一致，不从模型名称推定实现。

还需补的验证包括：在同一随机种子与多次运行下报告波动、在开发集上检查权重分布是否稳定地呈现首级最大、在跨编解码器基准上分家族报告等错误率而非只看平均。若要尝试新数据，何时值得尝试的条件是：怀疑伪影是局部细粒度且被上下文平滑时，可先试冻结分支的层级融合；若冻结时均值与静态差异很小，再考虑解冻编解码分支或检查尺度对齐是否缺失。

一句话收束：何时用它，何时不用？

综合来看，当检测器已有一个强而稳定的冻结语音基线，又怀疑剩余误差来自细粒度重建伪影时，值得尝试这种参数高效的量化器层级建模：先用均值池化验证编解码流是否互补，再用静态融合学习非均匀先验，最后视资源决定是否解冻编解码分支。2019 年协议上该路径显示出从 18.4% 到 32.3% 再到 46.2% 的递进，第 5 代上则为 8.9%、8.5% 到 13.9%，说明收益真实但幅度与协议有关。

何时不用或慎用也很明确。若部署预算不允许双分支推理、或目标伪影分布与训练编解码器差异极大、或需要样本级自适应解释，静态全局先验可能不够，跨家族评测已显示增益不均匀。此时应先补充分家族评测、延迟与内存测量，再决定是引入自适应加权还是换用其他互补特征。论文的特有误解是把编解码输出当作通用语音表示直接平均使用，本文的纠正是保留残差层级并让每个通道学习全局量化器偏好，这才是参数效率与可解释性的来源。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总