标签：#音频编码 | #知识蒸馏 | #变分自编码器 | #音乐
评分：7.8/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.2/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Francesco Brigante：Sapienza University of Rome, Italy
- Luca Cerovaz：Sapienza University of Rome, Italy；Paradigma
- Davide Marincione：Sapienza University of Rome, Italy
- Giorgio Strano：机构信息未在 arXiv HTML 中可靠披露
- Luca Zhou：机构信息未在 arXiv HTML 中可靠披露
- Emanuele Rodolà：机构信息未在 arXiv HTML 中可靠披露
- Michele Mancusi：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
输入为44.1kHz立体声音乐波形，输出为可直接逆变换的复数频谱重建与紧凑潜表示，难点在于同时兼顾高保真重建、语义结构化潜空间与低推理延迟。方法链先以复数短时傅里叶变换将波形转为堆叠左右声道实虚部的时频图，再经三阶段SwinV2编码器逐级压缩为对角高斯潜变量并采样得到下游可用的潜表示。接着冻结的对比语言音频预训练教师在延迟门控后对时域平均的潜描述子做余弦对齐，使潜空间获得语义结构，该对齐输出约束编码器而不直接进入解码重建。最后镜像解码器加残差后网在冻结编码器后做对抗微调恢复频谱细节，其输出即为最终波形重建。与波形卷积和一致性自编码器相比，关键差异在于频谱原生分层建模加语义蒸馏与重建解耦训练，避免了声码器和相位重建，具有保持潜语义不变下提升感知的实际意义。在10s未见商业音乐的MUSHRA主观评测下，SAGE的得分为81.6±2.7，低于SAME-L的得分81.8±2.6。该结论适用边界仅限音乐重建与音乐语义探测，对语音、环境声和长时生成的迁移尚未验证。两阶段训练成本共计1536与3043个A100 GPU小时，推理开销与Stable Audio Open同为0.0045实时率，延迟远低于大基线。
🔗 开源与复现资源
代码相关资源：https://github.com/francescobrigante/SAGE — 链接不可用（HTTP 404）
模型相关资源：https://github.com/francescobrigante/SAGE — 链接不可用（HTTP 404）
演示资源：https://sage-music.pages.dev/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么要同时看三件事？
这篇论文研究的输入是 44.1 千赫立体声音乐波形，输出是两类东西：一是能逆变换回波形的重建音频，二是可直接用于检索分类并可供第二阶段生成模型采样的连续隐变量。目标读者需要先建立的判断是，音频自编码器处在潜在扩散管线的两端，它既要编码训练语料，又要在每次采样后解码，因此推理成本直接决定交互与长音频应用的延迟。论文把评价固定为三件事：重建保真、隐空间语义结构、推理速度。
只看其中一两件会误导选型，例如逐样本误差高的模型可能听感更好，而语义无组织的隐变量会增加生成模型的建模负担。本文的输出是 1 篇可复述方法的解读，保留压缩率、训练数据、优化配置、评估语料与指标方向，不做无源的效果外推。后续按任务与路线、方法全景、组件计算、训练推理、实验条件、结果反证、复现收束展开，每节只解决一个教学问题。
同输入同目标的路线有哪些，它们各舍了什么？
在同为音乐或音频连续隐变量自编码器的范围内，论文对比了 5 条已公开权重的路线。Stable Audio Open 是在波形域做卷积的变分自编码器，压缩预算与 SAGE 相同，特点是快但保真落后。SAME-L 与 SAME-S 共享 256 维隐变量并有意做语义塑造，前者是对比中最大的旗舰，后者是从前者蒸馏出的小尺寸 CPU 版本，特点是旗舰保真强但慢，小尺寸为速度付出保真代价。Music2Latent 与 CoDiCodec 是在复数 STFT 上用一致性模型单步解码，前者对双声道独立处理，后者压缩率为 Stable Audio Open 的 2 倍，特点是用合理性换样本精确性。
需要区分的是神经编解码器路线，它用残差向量量化追求给定比特率下的保真，与潜在扩散背后保持连续轻正则隐变量的路线目标不同。另一条相关线是语义对齐：SAME 用手工色度与声像回归加联合对比评判，SALAD-VAE 把 CLAP 蒸馏到片段级描述子，但论文指出 SALAD-VAE 未发布权重与代码且面向通用音频，因此不作为基线。文本到音乐生成模型如 MusicLM、MusicGen、AudioLDM 与 Stable Audio 家族都依赖这类第一阶段，它们的质量受自编码器上界约束，这解释了为什么要在第一阶段同时修保真与语义。
三难权衡具体卡在哪里？
论文要解决的问题是现有音乐自编码器在速度与保真之间被迫二选一，且多数系统的语义结构只是重建优化的副产品。Stable Audio Open 快但保真落后，SAME-L 保真最好且是唯一有意塑造语义的对比系统，但大配置有 852M 参数与 4 倍推理成本，小配置蒸馏后保真下降。Music2Latent 与 CoDiCodec 同样只为重建优化隐变量。技术卡点有两个：一是频谱图是 2 维时频信号，视觉已有高效分层编码器，但音频中该主干多用于分类而非生成式自编码。
二是把生成表示与预训练编码器对齐在图像中已被证明有效，在音频中则依赖大模型或闭源编解码并损失部分保真。SAGE 的任务就是在同一压缩预算下同时给出第一家的速度、第二家的质量与有组织的隐变量。评价上论文把重建拆为感知族、分布族与样本精确族并明确优先级，把语义拆为 19 个音乐探测任务，分别对应域内、域外与上游未见语料，避免只在训练域内自证。
沿一个片段走完输入到输出的主路径
取一段约 1.5 秒的立体声训练片段，采样率为 44.1 千赫。先做短时傅里叶变换，窗长 2048 点 Hann 窗，跳长 512 点，得到左右声道各自的复谱。去掉奈奎斯特频点后，对幅度做幂律压缩，把实部虚部堆叠成 4 通道张量，形状为频率 1024 乘时间 128，这是编码器的直接输入。编码器是 3 个阶段 SwinV2 分层结构，先用 64 乘 1 的强矩形块做块嵌入，再逐阶段合并下采样，得到 16 通道、4 乘 32 网格的隐变量，波形样本与隐标量之比约为 63.5 倍，与 Stable Audio Open 的 64 倍预算对齐。
编码器输出定义对角高斯后验并采样得到 z，镜像解码器把 z 反向展开为压缩域复谱预测，再经轻量残差细化层减少频带间不连续，最后逆幂律与逆短时傅里叶变换恢复波形，无需声码器。另一条训练专用分支把 z 沿频率折叠为 64 通道乘 32 帧，时间平均为片段描述子，经学习线性头投向冻结 CLAP 教师的 512 维嵌入，教师吃的是同一片段下混单声道并重采样到其原生 48 千赫的版本。推理时教师、判别器与投影头全部丢弃，只保留编码器瓶颈与解码器。
下面导读编码器结构图，先建立从频谱到瓶颈的空间对应，再看单阶段内部如何做窗口注意力与合并。
看图路径： 1. 沿最左侧频谱输入向右追踪三段金色体的长度变化，确认逐级合并压缩；2. 对比上下两部分：上路看张量管线到瓶颈 z，下路看一阶段内窗口注意力与合并；3. 找到瓶颈处标注为 z 的紫色小立方体，确认解码器为镜像加后处理
论文图 3。原论文 Figure 3:：“The SAGE encoder: (top) the tensor pipeline through the three SwinV2 stages to the latent bottleneck; (bottom) the internals of one stage.”。
上图上路显示从左侧高瘦频谱经块嵌入进入 3 段金色长方体，每经过 1 次合并长度明显缩短，通道数从 256 向 512 再向 1024 增长，最终经投影头压为紫色小立方体瓶颈 z，右侧标注镜像解码器加后处理。下路显示一个阶段内部先做规则窗口多头注意力再做移位窗口多头注意力，随后在高度与宽度上合并使通道翻倍。这种矩形块与矩形窗口加浅 3 层设计的教学要点是，音频谱在频率与时间轴上各向异性，不能照搬正方形图像块，而分层合并则让压缩逐步完成，减轻单层瓶颈压力。
编码器、瓶颈与语义分支各自算什么？
编码器的计算建立在 SwinV2 块上，保留缩放余弦注意力、对数间隔连续位置偏置与残差后归一化，改动有三处：强矩形块与匹配的矩形注意力窗口、浅 3 层分层、前馈激活换为 SwiGLU，注意力改为排他式，即每个词元的注意力输出与其自身值向量正交化，只收集与自身互补的信息。阶段深度为 2、6、2，注意力头数为 8、16、32，首块嵌入宽度 256，隐通道 16，编码器与解码器均用 0.1 随机深度，解码器另带两层 64 通道 7 乘 3 卷积后处理网。瓶颈的 KL 项在批次与隐网格上平均，以很小权重拉向标准正态，作用是约束隐变量落在平滑近似标准化区域而不丢弃解码所需的精细谱结构。
复数 STFT × SwinV2： 复数 STFT 负责把立体声波形变成保留幅度与相位的时频张量，分工是提供可逆且联合建模左右声道的输入表示；SwinV2 负责在该二维信号上做分层局部注意力压缩，分工是线性复杂度地提取多尺度特征；二者搭配的理由是频谱图与图像同为二维时频结构，可直接复用视觉分层编码器而不必在波形采样点上做长序列卷积，组合后新增作用是编码器直接预测压缩域复谱，逆变换即得波形，省去声码器与相位重建。
变分自编码器 × KL 约束： 变分自编码器负责把编码器输出定义为对角高斯后验并从中采样隐变量，分工是给出可供第二阶段生成模型采样的连续隐空间；KL 约束负责把该后验拉向标准正态，分工是以很小的权重维持平滑与近似标准化而不丢弃解码所需的精细谱结构；搭配原因是潜在扩散的第二阶段需要易建模的隐分布，组合意义是在率失真权衡中用轻惩罚换取可生成性。
语义分支的计算是把 z 折叠平均为 64 维描述子，经投影头与教师嵌入算余弦距离，损失有界在 0 到 2 之间以便与其他项量级相当。投影头用更低学习率优化，防止头适应过快而编码器本身不对齐。关键是分离热身：前 s0 步进入公式的是停止梯度的描述子，重建与 KL 先塑造表示，投影头从第一步就跟踪；过门限后才放开梯度让语义重塑已能编码信号的表示。门限靠后利于重建，靠前利于语义，最终取经验拐点。
\[\mathcal{L}_{\mathrm{sem}}\;=\;1-\cos\!\big(\phi(\bar{z}),\,e\big),\]该式中 phi 为学习线性头，z 横线为时间平均后的片段描述子，e 为同片段 CLAP 教师嵌入，目标是最大化二者余弦相似度。
语义蒸馏 × 延迟门控： 语义蒸馏负责把隐变量沿频率折叠并时间平均为片段描述子，经线性头向冻结 CLAP 教师嵌入对齐，分工是给隐空间注入语言对齐的组织结构；延迟门控负责在前 s0 步对描述子加停止梯度，分工是让重建先稳定、投影头先跟踪隐变量，再放开语义梯度重塑表示；搭配原因是过早对齐会干扰声学重建，组合后在保真损失最小处获得探测结构的拐点。
两阶段如何组织损失、冻结与重置？
预训练阶段从零训练全系统，损失是七项加权和，重建主导，对抗项远小于重建。保真由三项保证：压缩域复谱平方误差同时罚幅度与相位，多分辨率梅尔距离作用于重建波形，和差多分辨率 STFT 损失作用于中侧左右 4 路信号。
论文用恒等式说明平方误差为何忽视声像：左右误差平方和等于和误差与差误差平方和的一半，当侧信号远弱于中信号时丢掉侧信号几乎不改变损失，而谱收敛项按每路重建幅度范数归一化，侧信号被压向零时会膨胀，因此能纠正约 12 分贝的侧信号过窄问题。对抗部分用 WavTokenizer 复合判别器，保留十一子判别器，把左右中侧折入批次当单声道评判，用相对论 RpGAN 让真实与自身重建逐位置比较，另加特征匹配。判别器从第一步就激活，投影头用独立优化器。
\[\mathcal{L}=\lambda_{\mathrm{STFT}}\mathcal{L}_{\mathrm{STFT}}+\lambda_{\mathrm{mel}}\mathcal{L}_{\mathrm{mel}}+\lambda_{\mathrm{SD}}\mathcal{L}_{\mathrm{SD}}+\lambda_{\mathrm{KL}}\mathcal{L}_{\mathrm{KL}}+\lambda_{\mathrm{sem}}\mathcal{L}_{\mathrm{sem}}+\lambda_{\mathrm{adv}}\mathcal{L}_{\mathrm{adv}}+\lambda_{\mathrm{fm}}\mathcal{L}_{\mathrm{fm}},\]上式按顺序为复谱项、梅尔项、和差项、KL 项、语义项、对抗项与特征匹配项，原文给出权重为 1、0.5、1、1e-4、1、0.1、0.2。
\[\mathcal{L}_{\mathrm{STFT}}=\big\|\hat{\mathbf{X}}-\mathbf{X}\big\|_{2}^{2},\]该式中 X 为幂律压缩复谱，X 帽为解码预测，范数为全条目均值意义下的平方误差。
对抗目标 × 和差多分辨率 STFT 损失： 对抗目标负责用 WavTokenizer 复合判别器在逆变换波形上判断真实与重建并做特征匹配，分工是纠正平均谱距离导致的过平滑、补回高频感知细节；和差多分辨率 STFT 损失负责在中侧左右四路信号上做幅度谱收敛与对数幅度距离，分工是显式约束能量很弱的侧信号与立体声宽度；搭配原因是平方误差按能量加权会忽略侧信号，组合后同时保真单声道内容与立体声像。
第二阶段重载指数滑动平均权重并冻结编码器，使下游使用的隐变量与预训练结束时完全一致，关闭 KL 与语义项，接入零初始化后处理网，判别器从零重新初始化，只训练解码器以提升感知质量。优化上第一阶段在 16 块 A100、全局批次 128 片段下跑 500 轮约 239k 生成器更新，生成器与判别器每两批次交替，AdamW 峰值 1e-3 逆平方根调度；第二阶段保持硬件批次与语料，生成器学习率降至 1e-4 并重启调度跑 992 轮。2 阶段分别花费 1536 与 3043 GPU 小时。附录消融报告，WavTokenizer 集成从第一步存在最好，而 EnCodec 式评判迟引入更好，跨阶段恢复旧判别器权重会使各列崩溃，因此第二阶段重初始化是有依据的重置时机。
在什么数据、基线与指标下比较才算公平？
训练只用公开音乐，约 10.5k 小时 44.1 千赫立体声，来自 FMA 全量训练划分、MTG-Jamendo 训练分区并排除歌曲描述数据集用到的曲目，再加独唱为主的 M4Singer 以暴露孤立人声。每轮用全部 FMA 与 Jamendo 约 122.4k 轨各随机裁 1.5 秒，加 1/4 M4Singer 以避免短录音过采样。重建在 5 个留出集上测：FMA 测试划分 11263 个 30 秒片段为域内基准，MoisesDB 混合与独立音轨各 1998 与 1546 个 10 秒窗为域外专业多轨，MusicCaps964 个 10 秒与歌曲描述数据集 8364 个 10 秒块分别为 Music2Latent 与 Stable Audio Open 和 SAME 作者自选语料，使每个基线都在其作者选择的语料上被评分。
所有基线用公开权重经同一调用流程逐片段编解码，不做外部切块与重叠相加，计时在单块 A100、批次 1、全精度、每作者实现下对 100 个 MoisesDB 混合取平均，编译与非编译分别报告。语义探测冻结编码器，把隐变量沿频率折叠并时间平均，分类用按曲目分组交叉验证逻辑回归，聚类检索重排与对偶分类不训练直接读 pooled 隐变量。十九任务含 FMA 六项、MoisesDB 七项含音轨级乐器分类，以及六项 MAEB 上游任务。
指标方向是感知族 CLAP 余弦越高越好，分布族 Fréchet 距离越低越好，样本精确族 SDR 越高越好、多分辨率 STFT 距离越低越好，论文明确优先前两族，把后者当诊断，因为后者对不可闻相位旋转收费并偏爱逐样本回归。
速度、听感与分布指标的对照支持什么判断？
先看推理成本与分布保真的位置关系，横轴为实时因子越左越快，纵轴为分布距离越低越好，圆面积为参数量。
看图路径： 1. 先看横轴实时因子从左到右变大，确认越靠左推理越快；2. 再看纵轴分布距离越低越好，比较橙色 SAGE 点与深蓝 SAME-L 点的高低；3. 用圆点面积比较参数量，确认 SAGE 小圆与 SAME-L 大圆的差异
论文图 1。原论文 Figure 1:：“Distributional fidelity against inference cost on the MoisesDB mixtures; marker area is the parameter count.”。
像素显示 SAGE 橙色小圆位于左下角附近，与 Stable Audio Open 深蓝点横向几乎对齐但纵向明显更低，SAME-L 红色大圆纵向接近但横向靠右且面积大得多，SAME-S 灰色点最靠左但纵向最高。这对应原文报告：SAGE 与 Stable Audio Open 实时因子同为 0.0045，SAME-L 为 0.0192，SAME-S 为 0.0026，而 SAME-S 的 FAD-MERT 为 SAGE 的 3 到 10 倍，在 4 套语料上最高。 下面先提出比较问题：在相同压缩预算与相近推理成本下，谁在感知与分布上占优，谁在样本精确上占优，听感能否区分。
下表整理编译后 10 秒片段编解码耗时与听审均分，听审用 10 段训练外商业音乐 MUSHRA，含隐藏参考与 3.5 千赫低通锚点，38 人参评过滤后 21 人有效。
| 条件 | 指标 | SAGE | SAME-L | Stable Audio Open | CoDiCodec |
|---|---|---|---|---|---|
| 编译推理，10 秒片段 | 编解码耗时与实时因子 | 44.8 毫秒，0.0045 | 191.8 毫秒，0.0192 | 45.2 毫秒，0.0045 | 236.8 毫秒，0.0237 |
表前已说明公平条件是同一调用流程、单次编解码、无外部重叠相加，听审比较对象剔除了在分布指标上全面落后的 Music2Latent 与作者自测低于 Stable Audio Open 的 SAME-S 以缩短测试。表后解释是 SAGE 与 SAME-L 置信区间重叠因而听审不可分，但 SAGE 参数为 105M 而 SAME-L 为 852M，推理为 1/4 以上差距。
同实时因子下 SAGE 比 Stable Audio Open 高 17 分。代价是样本精确族由 SAME-L 领先，例如 FMA 上 SDR 为 10.91 对 5.28，MoisesDB 混合上 9.49 对 4.79，论文将其读作诊断而非听感胜负。 再看五语料客观重建，SAGE 在 25 个感知与分布格中占 23 格最低或最高，对 SAME-L 为 24 格，对 SAME-S 全胜。两个例外是 MusicCaps 上 FAD-MERT 由 CoDiCodec 领先，MoisesDB 混合上 FAD-PANN 由 SAME-L 领先。下表为原文对该结论的逐字概括而非逐格复述，避免在无充分逐字证据时拼凑宽表。
| 条件 | 指标族 | SAGE 结论 | 例外与未胜出项 |
|---|---|---|---|
| 对 SAME-L | 分布与感知 | 24 格占优，模型为 8 倍大 | MoisesDB 混合上 FAD-PANN 输 SAME-L |
| 对 SAME-S | 分布与感知 | 每格占优 | SAME-S 更快但分布距离高 3 到 10 倍 |
| 样本精确 | SDR 与 dSTFT | 多数落后 SAME-L | 论文保留为诊断，不作听感依据 |
十九探测任务的雷达图进一步显示三块面板上 SAGE 包络最大。
看图路径： 1. 分别看三块面板标题确认域内、域外与上游数据集划分；2. 沿每块雷达图的外圈轮廓比较橙色 SAGE 与其他颜色线的包络大小；3. 在左侧 FMA 面板重点观察艺术家相关轴上各模型的张开程度
论文图 2。原论文 Figure 2:：“Probing on the nineteen tasks, one panel per block; higher is better on every task.”。
像素显示左中右三面板分别为 FMA 域内、MoisesDB 域外与上游 MAEB，每轴越高越好，橙色 SAGE 线在多数轴上向外张开，尤其上游面板的 GTZAN 与乐器相关轴领先明显，其他 5 条基线相互缠绕。这支持论文报告的块平均：FMA 块 0.563 对次优 0.490，上游块 0.622 对次优 0.487，十九任务逐项领先。限制是 SAME 大小模型以原生 256 维探测，为其他描述子 4 倍宽度，仍落后；CLAP 教师作为不可逆参考在多数任务更高，SAGE 平均保留其 84%，差距集中在流派聚类。
分布保真度 × 样本精确度： 分布保真度以 Fréchet 音频距离与 CLAP 余弦衡量重建分布是否 plausible 且难与原分布区分，分工是回答听感与统计可替换性；样本精确度以信号失真比与多分辨率 STFT 距离衡量波形逐点回归误差，分工是诊断相位旋转与数值残差；搭配原因是两者对不可闻相位与回归均值行为的惩罚方向不同，组合解读才能避免把数值高但听感差的模型误判为更好。
语义门限、权重与教师的代价各是多少？
消融在 FMA-medium 与缩减主干上做，传递的是组内排序而非绝对值。问题是延迟门限 s0 与语义权重如何交换重建与探测结构。下表整理门限与权重的权衡，探测为 6 个 FMA 任务平均。
| 条件 | 门限与权重 | 重建变化 | 探测变化 |
|---|---|---|---|
| WavTokenizer 判别器下 | s0=25k，权重 1，采用点 | FAD-MERT 0.240，CLAP 余弦 0.881 | 探测平均 0.637 |
| 门限推迟 | s0=100k，权重 1 | FAD-MERT 0.218 更好，SI-SDR 1.46 | 探测平均 0.614 下降 |
| 权重加倍 | s0=25k，权重 2 | FAD-MERT 0.382 恶化 60%，SI-SDR 负 | 探测平均 0.641 全扫最优 |
| 权重减半 | s0=25k，权重 0.5 | 各列居中 | 探测平均 0.631 |
表前公平条件是同缩减主干、同判别器、只动门限与权重，指标方向为 FAD 越低越好、CLAP 余弦越高越好、探测越高越好。
表后解释是采用点位于拐点：权重加倍买到最好探测但付出分布大代价，门限推迟 4 倍则反向交换。未胜出项是 s0=50k 在 FAD-CLAP 与 CLAP 余弦上略好但探测低于采用点，因此未被选为最终配置。 教师对照在无对抗分支下做，比较无教师、MERT 音频教师与 CLAP 语言音频教师。去掉教师使探测平均从 0.642 掉到 0.495，丢掉相对对比系统的大部分余量；MERT 只提到 0.521，而 CLAP 提到 0.642。
反证是 CLAP 相关指标反而对蒸馏 CLAP 的模型不利：最强权重给出全扫最差 CLAP 余弦与 FAD-CLAP，无对抗下 CLAP 蒸馏臂在音乐与通用 CLAP 相似度上均低于无蒸馏臂，若指标被训练信号 inflated 应反向走高，因此论文认为感知增益不是指标作弊。附录另报告判别器类型与容量：WavTokenizer-RpGAN 在 FMA-medium 上 FAD-MERT 0.203 大幅优于无判别器 1.453 但 SI-SDR 下降，EnCodec-hinge 止于 1.048，加深中间阶段比加宽更划算，最终配置取紧凑端。 判别器对照在 FMA-medium 上隔离单因素，比较判别器类型与出现时机对分布距离与感知相似度的影响，代价只读 SI-SDR 诊断列。
| 对比组 | 方案 A 的 FAD-MERT | 方案 B 的 FAD-MERT | SI-SDR 读法 | 采用结论 |
|---|---|---|---|---|
| EnCodec 同评论器目标函数 | 0.387 | 1.048 | 合页损失驱动 SI-SDR 为负 | 取相对论式 |
| WavTokenizer 出现时机 | 0.208 | 0.419 | 首步存在分布距离更低 | 首步即存在 |
| EnCodec-hinge 出现时机 | 0.548 | 0.959 | 恢复权重则全列崩塌 | 迟到引入更优 |
表后解释是类型与时机不可互换：WavTokenizer 集成首步存在砍掉分布距离但 SI-SDR 付出代价，EnCodec 类迟到反而更好，恢复权重到第二阶段则全列崩塌，因此最终采用 WavTokenizer 从首步存在并在微调阶段重建判别器。
哪些边界没有测，哪些数字不能混读？
论文明确未胜出与未测边界需要单独列出。样本精确族多数由 SAME-L 领先，SAGE 在该族落后但在听审与分布上领先，因此不能把 SDR 高直接读作听感好，也不能把自动指标当人评。分布族内部存在例外，MusicCaps 上 CoDiCodec 的 FAD-MERT 与 MoisesDB 混合上 SAME-L 的 FAD-PANN 各胜一格，总体趋势不等于每格成立。探测上 SAGE 与 CLAP 教师仍有差距，流派聚类只保留教师 55% 到 69%，而艺术家聚类保留 87% 到 98%，说明差距跟踪流派定义而非有无监督。Jam-ALT 艺术家检索上 SAGE 超过教师是唯一反例，不宜推广为全面超越教师。
成本上训练花费 2 阶段共约 4579 GPU 小时，推理只报告 A100 批次 1 全精度编解码耗时与实时因子，未测量下游生成端到端延迟与误判率，因此不能承诺部署总延迟同比例下降。数据上训练仅用公开音乐约 10460 小时，SAME 报告约 19500 小时，数据量差异与领域差异交织，比较时需同时核对语料、压缩率、隐维度与聚合对象，数值相同不是同一指标的证据。评估调用统一为单次编解码无外部重叠相加，长音频分块策略的影响未单独量化。
要复现应先准备什么，资源状态如何？
复现先按附录配置固定信息条件：输入为 44.1 千赫立体声，STFT 窗 2048 跳 512，去奈奎斯特得 1024 频点乘 128 帧，训练段每通道 65024 样本约 1.5 秒，幂律压缩系数 0.65 与尺度 0.35。架构按块 64 乘 1、宽度 256、深度 2 加 6 加 2、头 8 加 16 加 32、窗口 4 乘 32、隐 16 通道 4 乘 32 网格、随机深度 0.1、解码器两层 64 通道 7 乘 3 后处理网，总参数 104629380。优化按第一阶段 AdamW 生成器 1e-3 逆平方根、判别器 2e-4、投影头 1e-5 常数、语义门 25000 优化器步约 8300 生成器更新、损失权重 1、0.5、1、1e-4、1、0.1、0.2、梯度裁剪范数 20、全精度、滑动平均 0.9998、种子 9494；第二阶段冻结编码器、重初始化判别器、关闭 KL 与语义、学习率 1e-4 重启。
评估需同一调用流程与五语料划分，探测按曲目分组交叉验证。资源状态方面，论文正文声明权重代码与评估框架在 GitHub 仓库，项目页为演示站点。本次核对显示代码与模型链接当前不可用，返回 404，不可写已公开可下载；演示站点可达，返回 200，可用于试听与页面信息核对。训练数据均为公开，但 M4Singer 短录音需按 1/4 轮换采样，随机种子与划分再生流程在配置中给出，无种子时仍可用等价划分但会有划分方差。
何时值得尝试，还需补哪项验证？
当第二阶段是潜在扩散且预算卡在 Stable Audio Open 同级压缩与实时因子时，SAGE 值得作为可直接替换的第一阶段尝试，因为它在该预算下同时给出更低的分布距离、更高的 CLAP 相似度与有组织的隐变量，且听审与 8 倍大模型不可分。当任务只考核逐样本波形回归或需要在 CPU 上极致更快时，应优先看 SAME-S 或 SAME-L 的对应优势，而非默认 SAGE 全面占优。当需要立体声宽度时必须保留和差损失，否则侧信号会窄约 12 分贝。
当需要语义时应保留 CLAP 延迟蒸馏并把门限与权重放在拐点，过早或过重都会以分布为代价。还需补的验证是下游生成端到端质量与延迟、长音频分块重叠策略的影响，以及在非音乐语音与通用音频上的分布表现，因为当前重建与探测证据集中在音乐及相关语料。复现建议先跑通单片段编码到瓶颈再到复谱逆变换的主路径，确认压缩率与声像宽度，再接入语义分支观察探测提升是否以 FAD 为代价出现拐点。
📎 论文与评分元数据
排名：前25% | 文档类型：模型报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses