低码率先保低频：HARP 用分组残差让 RVQ 按频率分工

英文题目：HARP: Harmonic-Aware Residual Partitioning for Neural Audio Codecs

会议身份：conference:interspeech:2026:conference-paper-id:yang26k_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#向量量化 #音乐 #语音 #音频编码

评分：6.6/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Qiaoyu Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Lixing He：机构信息未能从会议 PDF 纯文本可靠映射
• Binyue Deng：机构信息未能从会议 PDF 纯文本可靠映射
• Weifeng Zhao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

神经音频编解码以波形为输入、以离散token及重建波形为输出，需支持截断码本实现可变码率，实际难点是标准残差量化各阶段频谱纠缠使截断去除不可预测的频率混合，且谐波相位相干被破坏会导致音色空洞。谐波感知残差划分HARP将9个量化阶段划分为3-2-2-2共4个频率递增组，为低频基音分配更多码本以确立感知基础，其分组累积隐变量作为下一步解码的上下文输入。各组增量经停梯度隔离后接受可学习高斯梅尔权重软带监督以实现频谱分工而不施加矩形截断，相对并行频带分解保留了跨带可见性，相对均匀残差量化明确了频率优先级。组丢失训练使低频组恒在而高频组随机缺失，迫使高频泛音始终在前缀低频上下文中经共享解码器累积重建，从而保证低码率截断仍有结构化频谱层次。在MUSDB18-HQ音乐测试集7.7 kbps评测条件下，HARP的SI-SDR为9.22 dB，高于DAC的SI-SDR 8.97 dB。该结论适用边界受限于44.1 kHz DAC主干与音乐语音通用三类测试分布，跨采样率与强混响等失败条件尚未验证。训练成本因每组额外组级解码前向而增加约2-3倍耗时，推理开销与标准残差量化完全一致而无额外部署负担。

🔗 开源与复现资源

• 代码相关资源：https://github.com/QiaoyuYang/HARP — 链接不可用（HTTP 404） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么要读这篇？

本文的输入是一段波形，输出是同一段波形的重建与一组离散语音标记。研究对象是神经音频编解码器，目标读者是刚进入语音、音乐与音频方向的研究生。需要保留的关键信息是：编码器把波形压成低帧率连续隐变量，残差向量量化把该隐变量逐阶段离散化，解码器再把离散隐变量还原成波形；同一套离散标记既用于压缩传输，也作为语言模型的输入去做合成与理解。 本文要解决的学习依赖是频率结构。

自然音频能量集中在中低频，低频提供谐波基础，中频承载可懂度与旋律，高频提供亮度与质感。一个例子是基频 440 赫兹的小提琴会在 880、1320、1760 赫兹等处产生锁相泛音，如果重建破坏了基频与泛音的幅度相位关系，音色就会发空。教学例子仅用于理解谐波概念，不代表论文只处理乐音，原文明确指出该机制同样适用于复调音乐、非谐音与类噪声内容。

阅读本文的输出目标是能复述方法：训练时如何分组、如何构造累积隐变量、如何隔离每组的梯度、如何加权梅尔损失，以及推理时为何与标准残差向量量化完全相同。后续章节按任务与相关路线、方法全景、组件与计算、训练与推理、实验条件、结果与反证、复现与收束展开。文中首次出现的术语会先用白话解释再给英文名，后文简称固定。

已有路线在同输入同目标下做了什么？

第一条路线是端到端神经编解码器加离散瓶颈。输入同样是波形，目标同样是低码率重建与可用的离散标记，运行阶段同样是单个编码器解码器加多阶段量化。SoundStream 建立了卷积编解码器加残差向量量化加多尺度判别器的配方，Encodec 改进了多目标损失平衡，DAC 在 44.1 千赫兹上引入周期性 Snake 激活与更强判别器。HARP 直接构建在 DAC 之上，架构与超参数保持一致，以便隔离训练目标的效果。 第二条路线是量化策略的改进。

乘积量化把隐向量切成子向量独立量化，组残差向量量化给每组分配独立残差链，单码本、有限标量量化、二值球面量化等解决码本容量与利用率问题。这些工作处理的是容量与可扩展性，没有给残差阶段指定频率分工。原文指出 HARP 与量化器选择正交，原则上可以叠加在任何基于残差向量量化的编解码器上。 第 3 条路线是显式频率结构。并行子带分解把输入频谱用固定掩码切成频带，每带用专用编解码器与量化器独立重建，得到并行标记流。

谱域编解码器在复数短时傅里叶变换幅度相位上做文章；频率解耦用双分支处理残差。并行方法的代价是表示碎片化与多码流给自回归建模带来复杂性，且每带解码器看不到相邻带内容。HARP 的对照选择是保留单一编码器、单一解码器与统一标记流，只改训练损失，这使得比较聚焦于有无跨带上下文，而不是比较参数量。

标准残差量化错在哪里，并行切带又错在哪里？

标准残差向量量化的问题是频率不可知。每个阶段只管减少残差误差，不管谱结构。论文用截断预训练 DAC 到更少阶段的现象说明：有时去掉的是低频，有时是高频，跨输入不一致。对 9 个码本阶段计算谱质心，发现它们聚集在很窄范围且方差大，第 1 阶段与第九阶段覆盖的频率混合大致相同。论文把这称为谱纠缠。

它导致表示难以解释，更实际的影响是码率扩展不可预测。 并行子带分解的另一端问题是谐波不连贯。它把音频经滤波器组分成频带，每带独立编码解码与量化，重建中频时解码器拿不到低频内容。跨带谐波必须隐式重新组合，没有相位与幅度一致性保证。论文用合成音实验直接诊断了这一点，后文结果节会展开。

谱纠缠 × 并行子带分解： 谱纠缠指标准残差向量量化各阶段没有频率分工，截断阶段时去掉的是不可预测的频率混合；并行子带分解指用滤波器组把输入切成独立频带、每带用独立编解码器与码流重建。谱纠缠的分工是提醒码率扩展不可预测，并行分解的分工是实现频带专用化，二者作为互补失败模式被并列提出，因为前者缺分工、后者缺跨带上下文，共同说明需要在统一码流内同时实现分工与上下文。

论文还提出 3 个设计要求。第一是层次专用化，早期阶段捕捉低频，后期精修高频，符合能量分布与感知优先级。第二是谐波上下文，高频阶段训练时必须能看到低频内容。第三是软边界，避免矩形截断在带边缘产生伪影，边界应是学到的偏好而非硬约束。标准残差向量量化满足后两条但不满足第一条，并行分解能实现第一条但违反第二条，HARP 的目标是同时满足 3 条。

HARP 把 9 个阶段分成哪几组，训练与推理有何不同？

HARP 的方法全景可以用一句话概括：把量化阶段按频率从低到高分组，训练时让每组在累积低频上下文中学习本频段增量，推理时仍按标准残差链 1 次前向解码。默认配置是 9 个阶段分成 4 组，阶段分配为 3-2-2-2。3 组低频码本对应低频能量主导与感知重要性，目标频段依次为 0 至 1 千赫兹、1 至 4 千赫兹、4 至 10 千赫兹、10 至 22 千赫兹。这些范围是经软监督施加的近似目标，不是硬二进制约束。 沿一个样本走一遍有助于建立依赖。

输入 1 秒波形经编码器得到连续隐变量，残差依次经过 9 个码本量化得到各阶段输出。训练时按组累加得到截止到每组的累积隐变量，再送入共享解码器得到累积波形；同时用停梯度隔离出每组的波形增量，在梅尔谱上与带加权参考比较。推理时不再做这些额外解码，直接顺序量化并用解码器重建 1 次。 下面先看论文给出的流程总览，理解主路径与监督支路在哪里分叉、推理时哪些支路会被去掉。

看图路径： 1. 先从左侧波形经编码器到 Z 再到 Q1 至 Q9 的主链，确认是单一编码器与单一残差链；2. 再看四个虚线组框标注的频段分工与阶段分配是否为 3-2-2-2；3. 接着跟踪每组下方的累积隐变量与共享解码器，确认高频解码时低频仍作为上下文输入；4. 最后看左侧梅尔与软频带滤波支路如何与每组的减去前一组输出相连

论文图 1。原论文 Figure 1：“Overview of the HARP pipeline. Nine RVQ stages are partitioned into four groups targeting progressively higher frequency bands.”。

从像素可见，主链从左侧波形经编码器到隐变量 Z，再经 Q1 到 Q9 串行残差量化，4 个虚线框标出低频到高频的分组。每个分组下方都有累积隐变量与共享解码器分支，生成累积波形再经短时傅里叶变换与梅尔变换得到各组损失。左侧另有一条从输入波形经短时傅里叶变换、梅尔、软频带滤波到带加权梅尔的参考支路。相邻累积波形之间标有减 1，表示用当前累积输出减去上一组输出来隔离本组贡献。推理时只需要主链的 1 次编码解码前向，与标准残差向量量化相同，层次结构只存在于学到的码本中。

累积解码与子带监督如何分工计算？

累积解码是保留谐波上下文的机制。记共享解码器为 G，第 l 阶段量化输出为 q，截止到第 k 组的累积隐变量是之前所有组输出之和，累积波形是把该累积隐变量送入 G 得到。基线情形设空累积为零。因为 G 在重建第 k 组时能看到全部低频贡献，高频监督始终发生在谐波上下文存在的情况下。这是与并行分解的关键区别，后者每带解码器只能看到孤立隐变量。

子带贡献监督是实现频率分工的机制。记第 k 组的隐变量增量为该组内各阶段输出之和。直接对累积波形加带损失会导致梯度不平衡，因为累积隐变量包含之前所有组，编码器在第 0 组会累积来自全部 K 个带损失的梯度。为此论文在解码器调用内部对上一组的累积隐变量加停梯度，并在输出端减去已停梯度的上一组波形，得到只归因于本组的波形增量。两个停梯度协同工作，一个阻断经上一组隐变量的梯度，一个确保被减去的先验波形不贡献梯度。

由于 G 非线性，该增量不等于只解码本组增量，低频隐变量仍作为解码上下文保留，但不进入梯度路径。码本本身经承诺损失与码本损失用直通估计更新，不被带损失直接瞄准。

残差向量量化 × 累积解码： 残差向量量化负责把编码器输出逐阶段离散化，每 1 阶段只量化上 1 阶段剩下的残差；累积解码负责在监督高频组时把之前所有低频组的量化结果一起送进同一个共享解码器。二者搭配的原因是高频泛音在物理上依赖基频的相位与幅度关系，组合后高频组不再孤立猜测，而是在已知低频上下文中学习增量，因此保留了跨频段的谐波一致性。

软频带加权是避免硬边界的机制。对第 k 组在 M 个梅尔频带上用归一化高斯加权，中心与带宽可学习，另有固定底值保留全谱弱监督，防止带外权重为零。中心与带宽初始化为均匀划分梅尔轴，训练中自适应偏移，以适应不均匀能量分布。每组的带损失是加权后的梅尔幅度绝对差对时间与频带求和。

子带贡献监督 × 软频带加权： 子带贡献监督负责只考核每一组新增的波形增量，而不是考核累积输出，让梯度只回流到本组的隐变量增量；软频带加权负责在梅尔频谱上用可学习高斯给该组的目标频段更高权重、其余频段保留底值。搭配的原因是硬切分会在边界产生不连续并阻止跨带瞬态，组合后每组既有明确的频率偏好，又保留了全谱弱监督，避免了边界伪影。

完整训练目标在标准重建、对抗、特征匹配与向量量化损失之上，加上各组带损失之和。重建、对抗、特征匹配与量化损失作用于最后激活组的输出，无论是否发生组丢失；带损失在每个组迭代中计算。带损失权重、底值、中心带宽初始化与组丢失概率等超参数在复现节集中给出。

训练时多出的解码前向如何组织，推理时如何截断？

训练一步的计算过程按原文算法组织。先把波形送入编码器得到连续隐变量，初始化残差、累积隐变量与上一组状态。按组丢失采样决定激活组数 n，若不触发丢失则激活全部 K 组。激活组总是最低的 n 个，保证低频阶段在每个样本都出现，高频只在低频全部存在时激活。对每组先顺序执行组内各阶段的量化与残差更新，得到本组隐变量增量与当前累积隐变量。

接着做 2 次解码器调用。第 1 次用当前累积隐变量解码得到当前累积波形，用于最终的标准损失。第二次用停梯度的上一组累积隐变量加上本组增量解码，再减去停梯度的上一组波形，得到本组波形增量，据此计算带加权梅尔损失。循环结束后在最后激活组的输出上计算多尺度梅尔重建、对抗、特征匹配与量化损失并返回加权总和。带参数的中心与带宽与编解码器联合学习，推理时不再使用。

组丢失 × 可变码率解码： 组丢失负责在训练时以一定概率只激活最低的 n 个组，高频组只有在低频组全部存在时才参与；可变码率解码负责在推理时按组截断，只用前 k 加 1 个组重建。搭配的原因是低频在所有码率下都必需而高频是精修，组合后训练分布覆盖了推理截断会遇到的各种前缀条件，使丢掉高频组时退化是先丢高频再丢低频的可预测过程。

推理与可变码率解码都很直接。标准重建是顺序计算每阶段输出并求和后 1 次解码。截断到前 k 加 1 个组就是只累加这些组的输出再解码。丢掉后面组时先去掉高频再去掉低频，因此质量退化是可预测的。训练代价是子带贡献监督带来的额外解码器前向，原文报告在相同硬件上训练时间约为标准 DAC 的 2 至 3 倍，该开销只在训练期存在，推理与标准残差向量量化相同。论文正文声明预训练模型、训练脚本与音频样例已公开并给出链接，但本次收到的资源状态显示该代码链接当前不可用，复现时应以本次未能确认可达为准，不要默认能直接下载运行。

数据基线指标与码率条件是否可比？

架构条件是可比的。HARP 构建在 DAC 上，编码器用核为 7 的 1 维卷积加 4 个下采样块，步幅因子为 2、4、8、8，总计 512 倍下采样，通道数从 64 逐块翻倍至 1024，每块含扩张率为 1、3、9 的残差单元并使用 Snake 激活，解码器镜像使用转置卷积。量化器为 9 个 1024 表项、维度 8 的码本，经指数滑动平均更新。在 44.1 千赫兹下帧率约为 86 赫兹，满码率约为 7.7 千比特每秒。HARP 默认 4 组 3-2-2-2 分配，带损失权重为 5，高斯底值为 0.3，中心带宽初始化为均匀划分，组丢失概率为 0.5。

数据覆盖音乐、语音与通用音频。音乐训练包括 MUSDB18-HQ、MTG-Jamendo 与十万量级自有音乐，通用音频来自 AudioSet，语音来自 LibriTTS 训练集。评测用 MUSDB18-HQ 测试集、FSD50K 评测集与 LibriTTS 测试集。训练用 1 秒随机裁剪，批量 16 分布在 4 卡上，最多 100 轮。 基线选择保留了可运行策略。

DAC 使用与 HARP 完全相同的架构与超参数但无带监督，隔离训练目标的效果。BSCodec 实现 4 个独立编解码器对的并行子带分解，目标频带与 HARP 边界对齐，并通过缩小每对规模使总参数量匹配。指标方向需先明确：尺度不变信干比越高越好，核音频距离越低越好，语音质量与短时客观可懂度越高越好，主观 MUSHRA 分数越高越好。听感测试遵循 MUSHRA 方法，12 名被试评价 12 条 10 秒素材，含隐藏参考，量程 0 至 100。

满码率重建与频率分工的证据是什么？

满码率比较的问题是：在相同架构与相同参数量下，只改训练损失能否同时提升波形保真与感知距离，以及并行专用容量能否被跨带上下文超越。公平条件是三者在 7.7 千比特每秒满阶段下比较，指标方向为尺度不变信干比越高越好、核音频距离越低越好。下表整理了原文报告的 3 个领域结果，数值保留原文写法。

表后解释需要同时给出收益与代价。

HARP 在三领域取得最佳尺度不变信干比，对 DAC 增益在音乐为加 0.25 分贝、语音为加 0.96 分贝、通用为加 0.33 分贝；由于架构相同，该增益只能归因于训练损失。对 BSCodec 增益更大，分别为加 1.26、加 1.47 与加 0.87 分贝，原文解释为跨带上下文比带专用容量更重要。核音频距离在三领域均为最低，音乐 0.29 对 0.30，语音 0.14 对 0.16 与 0.19，通用 0.28 对 0.37 与 0.33，支持感知分布更接近参考。未胜出项是通用音频上 BSCodec 的核音频距离差于 DAC，说明独立编码器在通用声音上反而碎片化更严重，这构成了并行方法的反例。

频率分工的证据来自梅尔空间质心。HARP 学到的第 0 组与第 1 组中心都收敛到 0.08 附近，对应约 228 赫兹，表明模型把 5 个低频码本合并在乐器基频区而非按初始化边界切分；第 2 组与第 3 组分离在 0.65 与 0.81 附近，对应约 5.6 千赫兹与约 11 千赫兹。DAC 的各层增量质心在 0.06 至 0.18 之间，没有一层超过 0.18，高频内容在层增量中基本缺席。梅尔谱增量可视化也显示 HARP 从低频到高频逐组填充，而 DAC 每层都是宽带能量。

主观部分先看分布图。导读如下：左为 4.3 千比特每秒，右为 7.7 千比特每秒，每组含隐藏参考、HARP 与基线 DAC，箱体给出中线与四分位范围。

看图路径： 1. 先对比左图 4.3 kbps 下 HARP 与基线 DAC 箱体中线与四分位范围的相对位置；2. 再对比右图 7.7 kbps 下两者箱体是否整体上移且差距是否收窄；3. 最后观察隐藏参考箱体是否贴近顶部，以确认被试区分度有效

论文图 2。原论文 Figure 2：“MUSHRA score distributions at 4.3 kbps (Test A) and 7.7 kbps (Test B). Boxes show median and IQR; whiskers extend to 1.5×IQR; outliers shown as points.”。

从像素可见，左侧低码率下 HARP 箱体中线高于基线 DAC，且 DAC 箱体更宽、下沿更低；右侧高码率下两者整体上移，差距收窄但 HARP 仍在上方；隐藏参考在两侧都贴近顶部，表明任务有效。原文报告中位数为低码率 68 对 59、高码率 90 对 84，低码率四分位范围 HARP 为 50 至 80 而 DAC 为 43 至 73，支持低码率下结构化分配退化更一致的判断。语音专用指标显示语音质量提升 0.09 而可懂度基本持平，原文解释为可懂度由包络驱动，对谐波增益不敏感。

去掉哪一部分损失最大，码率越低差距越大吗？

消融比较的问题是：累积解码、全部带监督、软边界与停梯度各自贡献多少，以及优势是否集中在低码率。公平条件是同一语音测试集与同一满码率，指标为尺度不变信干比。下表用原文连续句覆盖的数字整理关键对照，条件列保留原文码率与配置写法。

表后解释按影响排序。去掉累积解码下降 1.4 分贝，影响最大，因为每组退化为独立监督，失去了跨带上下文。去掉全部带监督即 DAC，下降 1.0 分贝，说明谱引导本身是主要来源。矩形边界下降 0.4 分贝，代价小但一致，支持软重叠的价值在于谱引导而非重叠本身。

去掉组边界停梯度下降 0.3 分贝，影响最小，但与随机相位下相位一致性略低于 DAC 的现象一致，说明停梯度有小而稳定的跨带协调代价。 码率扩展的证据显示 HARP 优势在低码率最大。在 2.6 千比特每秒平均领先约 0.6 分贝，到 7.7 千比特每秒收窄到约 0.5 分贝。机制解释是低码率只有 3 个阶段，HARP 可靠地把低频放入这些阶段，而 DAC 早期阶段是无结构混合有时完全丢掉低频；高码率下 9 阶段全开，即使无结构分配最终也能覆盖全谱。

BSCodec 在低码率的弱点不同，它必须把有限容量分散到 4 个独立编码器，每个都缺比特。谐波相干性实验进一步支持：对齐相位下 HARP 相位一致性最高而 BSCodec 方差大，随机相位下 BSCodec 崩溃而 HARP 保持稳健，DAC 在随机相位下略优，原文归因于组边界停梯度的代价。

哪些边界没有测，哪些结论不能推广？

首先是开源状态的限制。论文正文声明模型、脚本与样例已公开，但本次收到的资源状态为链接当前不可用，因此不能写当前可用或已公开，只能写本次未能确认可达。这直接影响复现成本判断，读者应先假设需要自行实现训练循环与带损失。 其次是未评测边界。听感测试排除了 BSCodec，原文说明原因是听感研究时没有稳定检查点，因此主观结论只支持 HARP 优于 DAC，不支持对并行方法的主观优劣判断。

语音可懂度上 HARP 略低于 DAC 但不显著，不能把谐波增益推广为可懂度提升。随机相位合成音上 DAC 在相位一致性与幅度误差上略优，说明累积解码并非在所有相位条件下都占优。 最后是成本与泛化的区分。训练时间约为 2 至 3 倍，推理开销不变，输出帧率与实际延迟是不同量，原文未测量延迟与误判率，不能承诺这些量得到改善。总体趋势不等于每组每步都成立，例如学到的低频两组中心合并，说明初始化的频带边界并未被严格遵守，实际分工是数据驱动的偏好。

相关性不等于因果，客观指标提升支持但不证明听感在所有内容类型上一致提升。

要复现应先固定哪些超参数与检查点？

复现先做最小可运行闭环。固定采样率 44.1 千赫兹、下采样 512 倍、帧率约 86 赫兹、9 码本 1024 表项 8 维、指数滑动平均衰减 0.99、满码率约 7.7 千比特每秒。分组固定为 3-2-2-2，目标频段按 0 至 1、1 至 4、4 至 10、10 至 22 千赫兹初始化梅尔高斯中心，带宽初始化为梅尔 bins 数除以 3K，底值为 0.3，带损失权重为 5，组丢失概率为 0.5。训练用 1 秒随机裁剪、批量 16、4 卡、最多 100 轮。 检查点应按学习依赖排序。

先复现谱纠缠诊断，计算 DAC 各阶段增量的梅尔质心是否聚集在低值且高频缺席；再实现累积隐变量与 2 次解码器调用，验证本组波形增量梯度只回流到本组；再加入可学习高斯权重，观察低频两组中心是否合并、高频两组是否分离；最后做组截断的码率扫描，确认低码率差距大于高码率。若听感资源有限，至少复现尺度不变信干比与核音频距离在三领域的一致性。

还需补的验证是原文未充分覆盖的部分。包括在自有音乐之外用公开音乐复现低码率增益，补充 BSCodec 稳定检查点后的主观对比，以及测量实际推理延迟与内存占用。由于代码链接当前不可用，不应假设权重可直接下载，应预留自行训练的时间预算。

何时值得尝试 HARP，何时不必？

当任务需要统一标记流、自回归建模与可预测的码率扩展时值得尝试。HARP 不改架构、不增加推理参数与前向，层次结构只存在于码本，适合已使用残差向量量化的语音、音乐与通用音频编解码器。低码率自适应流是收益最大的场景，因为结构化分配保证先保低频再精修高频。 当系统已采用多码流并行架构且无法合并为单流，或训练预算无法承受 2 至 3 倍额外解码开销时不必强行迁移。

随机相位类高度非谐内容的相位保持若是首要目标，标准残差量化的共享隐变量可能已足够，HARP 的组边界停梯度会带来小代价。 对初学者的收束是：记住两条线。一条是分工线，带损失让不同组偏好不同频段；一条是上下文线，累积解码让高频始终在低频存在时学习。两者缺一不可，前者解决谱纠缠，后者避免并行分解的碎片化。

复述时能说清增量如何隔离、权重如何软化、推理为何相同，就算掌握了本文方法。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总