📄 先判调制去哪了，再还原调制形状与波表：面向可解释逆向合成的去向感知恢复
英文题目：Interpretable Destination-Aware synthesizer Modulation Recovery
标签：#音频分类 | #信号处理 | #可解释性 | #音乐
评分：6.4/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- David Liu：机构信息未在 arXiv HTML 中可靠披露
- Giulio Cengarle：机构信息未在 arXiv HTML 中可靠披露
- David Cooper：机构信息未在 arXiv HTML 中可靠披露
- Mark Vinton：机构信息未在 arXiv HTML 中可靠披露
- Haici Yang：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
输入为含低频振荡器（Low-Frequency Oscillator，LFO）调制的单振荡器音频，输出为活跃调制目的地集合、各目的地 LFO 曲线与基波振荡器波表，难点在于多目的地耦合与多对一映射导致参数不可辨识。方法链分三步：目的地分类器先输出多标签活跃集合，训练时以真值目的地与基频（fundamental frequency，f0）为条件，推理时以预测目的地与 CREPE 估计 f0 为条件；目的地条件化回归器以隔离目标调制并抑制串扰；回归的 LFO 与波形再经可微减法合成器重合成并以感知损失微调。相比固定目的地与单模型每目的地基线，共享条件化模型把识别与拟合解耦，减少了跨目的地幻觉调制。合成 2目的地（2Dest）测试上均方误差（Mean Squared Error，MSE）加 Gammatone 滤波器组损失取得多尺度频谱（Multi-Scale Spectral，MSS）0.469 与梅尔频率倒谱系数（Mel-Frequency Cepstral Coefficients，MFCC）L1 0.532，优于 MSE 加 MSS 损失的 0.892 与 0.822，12 人 MUSHRA（MUltiple Stimuli with Hidden Reference and Anchor）亦显示感知优势，其中 Gammatone 在 Serum 2 子集最佳而 MSE-only 在合成子集整体略占优。结论限于单振荡器加噪声加双二阶滤波器架构，未验证多振荡器、波表扫描与混响失真等现代音色，外推至完整 Serum 2 预设仍有明显差距，Serum 2 5目的地（5Dest）上主方法 MSS 2.443 仅略优于 MSE-only 的 2.445。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
演示资源：https://dolby.box.com/v/dest-aware-MUSHRA → https://dolby.ent.box.com/v/dest-aware-MUSHRA — 链接可访问（HTTP 200）
第三方资源：https://xferrecords.com/products/serum-2 — 链接可访问（HTTP 200）
第三方资源：https://vital.audio/ — 链接可访问（HTTP 200）
第三方资源：https://github.com/DiffAPF/torchlpc — 链接可访问（HTTP 200）
第三方资源：https://github.com/microsoft/fadtk — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要输出什么，为什么调制最难？
这篇工作的输入是一段单振荡器合成音频，目标是还原出能重新合成出相似听感的合成器配置。输出不是一段新的音频波形，而是可解释的参数：哪些调制去向被激活，每个去向上的低频振荡器（Low-Frequency Oscillator，简称 LFO，指缓慢变化的控制信号）曲线形状，以及振荡器的单周期波形。白话说，低频振荡器就是让音量、音高或滤波器 cutoff 随时间起伏的那只手，去向（destination）就是这只手抓住的是哪个旋钮。
难点在于现代合成器如 Serum 与 Vital 暴露数百个参数与调制目标，同一听感可能来自多组不同参数，即多对一问题。初学者容易以为只要让重合成音频的频谱误差最小就能找回参数，但原文指出，直接在音频域做曲线匹配得到的 LFO 往往无法迁移到现代合成器，而且固定去向、干净音频的假设在实际预设中不成立。本文把任务限定为单振荡器加噪声源、串联高通与低通双 2 阶滤波器、包络与归一化的减法合成路径，调制矩阵只路由到 5 个去向，先把可解释性与可迁移性放在首位，再用感知优化提升听感。
此前路线做了什么，本文把边界推到哪里？
按同输入、同目标、同监督来对照，可以看到 3 条路线。第一条是早期可微合成器，把经典合成技术写成可微模块，直接从音频端到端优化参数，能建模真实与合成声音，但对现代合成器的复杂模块覆盖不足。第二条是更复杂的可微合成器与参数回归，支持更多可控参数，多用参数回归损失，也有生成式方法以牺牲可解释性换取生成能力。第 3 条是时变表达建模，其中 ModSynth 与 LFO-net 支持 3 种调制类型并提取任意调制曲线，在白盒、灰盒、黑盒下评估。
本文的推进点是同时处理任意去向与波形匹配。原文明确指出既有调制提取只在固定去向上做，且没有同时解决跨去向 LFO 恢复与波形匹配并引入感知损失的工作。本文沿用 Mitcheltree 等人的样条 LFO 形状生成流程与 SpectralCNN2D 回归骨干，但在合成器中加入噪声振荡器与更多调制选项，并用分类加条件回归代替每个去向单独建模。理解这一步很关键：不是模型更大就好，而是把去向识别从曲线拟合中拆出来，让回归模型只回答给定去向下的形状问题。
任务如何形式化，评测要回答哪几个问题？
形式化地说，给定一段参考音频，系统先做多标签分类，判断 5 个去向中哪些处于激活调制状态；然后对每个被查询的去向回归一条 LFO 环形曲线，对音高去向是相对基频的偏移，对其余去向是绝对控制量；同时回归一条单周期振荡器波形，用于匹配音色。训练时 LFO 与波形模型以真实激活去向与真实基频为条件，推理时则以分类器预测去向与 CREPE 估计基频为条件。
评测围绕 3 个问题组织。第一，去向条件是否必要，即去掉分类或每个去向独立建模会发生什么。第二，哪种音频域损失真正改善感知质量，传统多尺度频谱损失、谐波损失、梅尔损失、Gammatone 损失与多类判别器的效果如何分离。第三，合成器内测试的结论能否外推到灰盒的 Serum 2 数据，Serum 2 通过 Pedalboard 以单波形振荡器加噪声振荡器、滤波器与同方式生成的 LFO 形状渲染，但软件内部有未知处理，声音更精致。客观指标用多尺度频谱距离、MFCC-L1 与基于 Encodec 的 FAD，主观评测用改良 MUSHRA。
三步流水线如何走完一个样本？
沿一个样本走完全程有助于建立依赖关系。输入是一段 1 秒循环音频，采样率为 22.05 kHz。第一步，去向分类器读入整段音频的声学特征并建模长达数秒的时间上下文，输出 5 个去向各自是否激活。第二步，LFO 回归模型接收同一段音频的频谱表示，同时接收被查询去向的嵌入与基频条件，输出该去向的 LFO 曲线；若样本同时有两个激活去向，模型需要压制另一个去向的干扰。
第三步，波形学习模型接收音频频谱但不接收去向与基频条件，直接输出单周期波形的时域采样点。3 路输出进入可微合成器重新渲染，再与参考音频比较。
下图给出系统全景，重点看主路径与条件虚线的分工，图中黑块为可训练模型，中间为可微合成器，右侧为音频域损失与对抗训练。
看图路径： 1. 从左侧参考音频频谱出发，沿箭头找到去向分类器、LFO 曲线匹配与波形学习三条分支的输入来源；2. 观察虚线标注的条件连接：预测去向与 F0 分别进入哪个回归模块；3. 对照中间可微合成器框内的去向与波形图标，确认回归输出如何进入合成再生成右侧输出音频；4. 查看顶部与右侧的损失标注，区分直接参数损失与音频域感知损失、对抗训练的作用位置
论文图 1。原论文 Figure 1:：“An interpretable inverse synthesis system featuring three major modules, which are connected by the differentiable synthesizer and trained with advanced techniques.”。
从像素上看，左侧参考音频频谱同时送入分类器、LFO 匹配与波形学习，F0 小盒以虚线进入 LFO 匹配，分类器输出的预测去向以虚线进入 LFO 匹配，LFO 与波形输出分别以均方误差与频谱幅度误差监督并送入可微合成器，合成输出再接受多尺度、谐波与 Gammatone 损失及对抗训练的约束，顶部灰色回路表示音频损失的梯度回到回归模型。这种把直接参数损失放在前面、感知损失放在后面的布置，对应原文先用真实去向锚定训练、再用感知损失微调的策略，也解释了为何单独使用感知损失难以工作。
分类与条件回归：谁负责什么，如何配合？
去向分类采用音频频谱 Transformer（Audio Spectrogram Transformer，简称 AST，指直接对频谱块做自注意力的纯注意力分类模型）的缩小版。白话说，它不依赖卷积的局部感受野，而是用自注意力同时看到整段音频的起伏，从而判断是音量在动、音高在飘还是滤波器在开合。原文从零训练该模型，隐维度与层数大幅缩小，参数量约数十万量级，仍在该任务上保持相近性能，用二元交叉熵独立训练。
调制去向 × 低频振荡器： 调制去向负责回答调制加在哪个参数上，低频振荡器负责给出该参数随时间变化的具体曲线形状，二者搭配的原因是同一条曲线加到音量、音高或滤波器截止频率上会产生完全不同的听感，只有先锁定去向再回归曲线，才能让单模型对多去向联合处理而不互相串扰，组合意义在于把 musicians 先找目标再描形状的工作流变成可监督的两阶段计算。
LFO 回归沿用 SpectralCNN2D，但在输入频谱前嵌入去向表示，使单个模型联合处理所有去向，同时把基频条件加到输入频谱与输出投影以增强对相对音高调制的上下文。训练对 LFO 曲线直接用均方误差，把整个频谱作为一个批次处理，原文报告切成小窗并缩短输入长度不能提升精度。后处理先滑动平均平滑，再用 1 阶与 2 阶导数找峰谷与拐点，最后按线性偏离程度选择线性插值或 3 次样条拟合出干净曲线。这一步的教学要点是：条件嵌入不是装饰，而是让模型知道当前要解释的是哪个旋钮，否则多去向同时激活时的干扰无法分离。
基频条件 × 音高调制： 基频条件负责给回归模型提供当前音符的基础频率上下文，音高调制负责描述振荡器频率围绕该基础频率的相对偏移曲线，二者搭配的原因是音高 LFO 是相对量而非绝对量，没有基频就无法确定偏移的参考点，组合意义在于把基频估计与曲线形状解耦，推理时用 CREPE 估计基频并对齐曲线均值以消除整体垂直偏移而不改变形状。
波形恢复与音高特殊处理：频域幅度为何只比幅度？
波形恢复把短单周期波形的时域采样点直接当作参数做形状匹配，与此前波表学习做法一致，架构与 LFO 模型相同但去掉去向与基频条件。原文报告了一个容量现象：亚 1000000 参数的小模型不能可靠恢复波形，高频谐波内容退化明显，增大容量后解决，说明从含调制的频谱中解耦音色需要足够的表示能力。损失上加入相位不变项，即只比较傅里叶变换幅度谱的均方误差，不惩罚相位不同，因为相位不同但幅度相同的波形听感相近。
音高调制带来两个针对性问题。第一，波形在时域被不断拉伸压缩，起点波形更难推断，增大波形模型容量缓解了该问题。第二，音高 LFO 形状正确但整体上下平移，原文的修复是不改变形状、只把曲线均值平移到 CREPE 估计基频对齐的位置，从而改善重合成的音高匹配，无需为音高单独训练更大模型。
可微合成器 × 感知损失： 可微合成器负责把预测的 LFO 曲线和波形渲染成音频并让梯度从波形回传到参数，感知损失负责在音频域度量重合成与参考音频在听觉相关表示上的距离，二者搭配的原因是直接参数均方误差能固定曲线形状但不能解决多对一的不同参数听感相近问题，组合意义在于用参数监督锚定优化方向再用听觉表示微调重合成的感知接近程度。
感知部分的核心是 Gammatone 损失。它先构造 64 通道有限冲激响应滤波器组，中心频率按等效矩形带宽从 50 Hz 分布到奈奎斯特频率，模拟耳蜗频率选择性，对每通道输出半波整流并在非重叠帧上取均方根包络，得到时频包络表示，再在线性域与对数域同时计算 L1 距离。符号上 E 为目标包络，帽子 E 为合成包络，lambda 与 epsilon 为权重与数值稳定项，计算目标是让重合成在听觉包络域接近参考。
\[\mathcal{L}_{\gamma}=\left\|\mathbf{E}-\hat{\mathbf{E}}\right\|_{1}+\lambda\left\|\log(\mathbf{E}+\epsilon)-\log(\hat{\mathbf{E}}+\epsilon)\right\|_{1}\]对抗训练评估了多周期、多尺度、多分辨率判别器与工作在对数频率时频表示上的恒 Q 变换判别器，原文认为后者更适合音乐信号，因为谐波关系在不同基频下呈现一致模式，能提供更强的梯度信号。
数据如何构造，模型按什么顺序训练？
训练数据按样条 LFO 形状流程生成，每样本用正弦、方波、三角、锯齿 4 种规范波形之一，或从 Serum 模拟与频谱波表库中抽取的波形。难度通过各实验条件下的合成器参数变化控制。训练样本为 1 秒循环，模型只看到单个循环，原文尝试过不同循环长度并报告模型能较好提取不同长度的循环。主要数据集是 0 到 2 个激活去向的 2Dest 与 0 到 5 个激活去向的 5Dest，前者用于训练与测试，后者用于训练分类器并直接测试由 2Dest 训练的模型。
训练分 2 阶段独立进行。先在 5Dest 上训练去向分类模型，再在 2Dest 上以真实激活去向与真实基频为条件，并发训练 LFO 与波形模型，可选加入感知损失。推理时先用训练好的分类器预测去向、用 CREPE 估计基频，再作为条件送入 LFO 与波形模型。优化器为 AdamW，学习率与批量大小按是否使用对抗损失区分，非感知损失中 LFO 与波形的权重比经过调优，感知损失中谐波、Gammatone 与梅尔权重与多尺度损失权重分别固定。具体的批量、学习率与参数量设置见下表，表中数值均来自原文连续叙述，单位保留原文写法。
| 模块 | 主干与输入 | 条件信号 | 监督来源 | 规模与训练设置 |
|---|---|---|---|---|
| 去向分类 | AST 缩小版读整段频谱 | 无条件输入 | 二元交叉熵独立训练 | 隐维度 128 对 768 层数 4 对 12 约 800k 参数 |
| LFO 回归 | SpectralCNN2D 读整段频谱 | 去向嵌入加基频条件 | 曲线均方误差加可选感知损失 | 每样本 0 到 2 个同时激活去向 |
| 波形学习 | 同 LFO 架构读频谱 | 无去向无基频条件 | 时域形状加幅度谱均方误差 | 音频采样率 22.05 kHz |
| 优化设置 | 全模型 1 张 A100 至收敛 | 推理用预测去向与估计基频 | 学习率 1e-4 | 批量 64 对抗时 32 |
上表提出的问题是各模块的输入、条件与监督是否分离，公平比较的前提是分类独立训练而回归训练时使用真实条件，避免把分类错误混入回归能力评估。表中可见分类器以小容量实现长上下文建模，LFO 以条件嵌入实现单模型多去向，波形以幅度损失实现相位不变，优化设置区分对抗与非对抗批量。未胜出的一项是切小窗缩短输入的尝试，原文报告不能提升精度，说明长上下文对调制形状是必要的。部署时必须注意推理条件来自估计而非真实值，这是训练与推理的信息差，也是复现时需要对齐的关键细节。
基线如何保证可比，评测协议如何搭建？
基线采用每个去向单独训练一个模型，类似此前工作，因此技术上不需要去向分类器，其他设计包括基频条件保持不变。为保证参数量可比，基线把每个单去向模型缩小，使所有去向专用模型的参数总量接近单条件模型加分类器的总量。基线训练时对未激活去向给定正确值的水平直线目标，避免在无调制时产生奇怪曲线。消融另设无条件模型，保持主模型设置但去掉分类与基频条件，使 LFO 回归不知道当前建模的是哪个去向，用于检验分类本身的功能。基线与无条件模型都只用均方误差训练。
客观评测沿用此前工作的多尺度频谱距离、MFCC-L1 与 FAD，分别从频谱内容重建、听觉感知与分布相似性角度比较所有变体与基线。主观评测为改良 MUSHRA，锚点 1 用真实波形但去掉所有调制，锚点 2 对相同激活去向把 LFO 换成正弦波，测试集含随机抽取的 5 个合成样本与 5 个人工制作的 Serum 2 样本，激活去向在测试中保持均衡，参测模型为客观分数与作者试听选出的 3 种最佳模型加基线。听音样本当前可用，地址为官方 Box 链接，第三方工具与代码库链接当前可用，包括 Serum 2、Vital、torchlpc 与 fadtk。
| 环节 | 对象与范围 | 取值与数量 | 采样与表示 | 来源说明 |
|---|---|---|---|---|
| 调制矩阵 | 5 个合成去向 | 振荡器电平 -40 到加 6 分贝等 5 组范围 | 高通 0.2 到 8 kHz 低通 0.2 到 18 kHz | 可微减法合成路径 |
| 数据划分 | 0 到 2 激活与 0 到 5 激活 | 2Dest 训练测试 5Dest 训练分类器并测试泛化 | 每样本 1 秒循环 | 样条 LFO 形状流程生成 |
| 主观测试 | 5 合成加 5 Serum 样本 | 12 位专家听音 | MUSHRA 改良锚点 | 官方试听链接当前可用 |
| 灰盒测试 | Serum 2 经 Pedalboard 渲染 | 单振荡器加噪声与滤波器 | 同方式生成 LFO 形状 | 软件未知处理声音更精致 |
表前提出的问题是比较是否在同条件下进行，指标方向是否一致，表后需要解释收益与代价。本表的公平条件是基线在参数总量与训练目标上对齐，无条件模型只去掉信息而不改变容量，Serum 测试与合成测试使用相同的 LFO 生成方式但渲染引擎不同。表中可见调制范围覆盖电平、音高与滤波，数据划分区分训练与泛化，主观测试控制去向均衡与锚点含义。未胜出或未覆盖的边界是效果器如混响、失真与镶边未建模，波表振荡器与自定义滤波器类型也不在当前容量内，这些是原文讨论中明确列出的限制，不能把当前结论推广到完整专业预设。
去向正确性与感知损失分别带来什么？
客观与主观结果共同指向一个判断：去向预测正确是首要的。原文报告基线差于所有本文变体，基线虽被专门训练以避免跨去向干扰，仍偶尔把其他去向的 LFO 混入当前目标，或在去向未激活时输出非零曲线，原因是基线同时承担去向识别与曲线匹配，更难优化且更需要数据。无条件模型出乎意料地超过基线，原文的解释是曲线稍不准但去向正确的收益，大于曲线更准但存在干扰的损失，这支持了分类器的价值。模型容量消融显示从小到大有实质提升，大模型在 2Dest 上的谱距离与感知距离明显低于中小模型。
感知损失的结论需要分条件看。在合成数据上均方误差加 Gammatone 在谱距离与 MFCC 距离上最好，均方误差单用紧随其后，含 CQT 的全判别器在 FAD 上有竞争力，原因是判别器擅长建模分布。主观上均方误差整体略占优，但在合成集上优势更明显，而 Gammatone 在 Serum 2 集上被评为最佳，说明灰盒下感知损失的收益显现。原文还报告多尺度与梅尔损失受高频主导、梯度与感知距离相关性差，谐波损失因音高调制与基频估计错误而噪声大，只有 Gammatone 稳定改善指标。
下图为 MUSHRA 结果，灰色为锚点，隐藏参考接近满分，重点比较基线与 3 种待测方法在合成、Serum 与总体平均上的分布。
看图路径： 1. 先确认横轴三组平均条件：合成平均、Serum 平均与全部平均，再看每组内四种颜色方法的箱体位置；2. 比较蓝色基线箱体与其他三种方法箱体的中线与分布高度，判断去向感知模型的整体优势；3. 观察每组最右侧两个灰色锚点的箱体高度，确认锚点分数明显低于待测系统且隐藏参考接近满分
论文图 2。原论文 Figure 2:：“MUSHRA results. Gray boxes refer to the anchors, and the hidden reference are all located at 100, except for one outlier that is above 90.”。
从像素上看，左侧合成平均中蓝色基线箱体中线最低且分布偏下，橙色均方误差、紫色 Gammatone 与深橙 CQT 判别器的箱体明显更高，说明在合成条件下三者都大幅超过基线。中间 Serum 平均中各方法箱体整体下移且相互靠近，紫色 Gammatone 的中线略占优，与原文主观上 Gammatone 在 Serum 集最佳的叙述一致。右侧总体平均延续了基线最低、3 种方法接近的格局，而每组最右侧两个灰色锚点箱体贴近底部，验证了锚点有效且被试能区分质量。需要强调的是总体趋势不等于每一样本都成立，隐藏参考有一个高于 90 但未到 100 的离群点，复述时不应把平均改善说成所有样本改善。
拿掉条件会怎样，感知损失为何不能单独用？
消融回答的是信息与监督的必要性。无条件模型去掉分类与基频条件后仍能超过基线，但不如完整条件模型，说明模型即使不知道去向也能拟合某种平均起伏，但要达到可解释且可迁移的恢复，必须保留去向条件。基线用 5 个专用模型代替条件，本应减少干扰，实际却引入识别与拟合耦合，训练更困难。容量消融进一步说明波形恢复对容量的需求高于 LFO，亚 1000000 模型在高频谐波上退化明显，增大通道与隐维度后缓解。
Gammatone 损失 × 多尺度频谱损失： Gammatone 损失负责在 64 通道 ERB 间隔的 Gammatone 滤波器包络域计算线性和对数 L1 误差，多尺度频谱损失负责在多组 STFT 幅度谱上计算重建误差，二者搭配比较的原因是前者模拟耳蜗频率选择性而后者是此前逆向合成常用基线，组合意义在于检验听觉滤波器表示是否比通用频谱距离更适合指导合成器参数的梯度，原文报告显示只有前者稳定带来改善。
另一个关键反证是只用感知损失不工作。原文指出模型若没有直接参数监督，就不知道哪个合成器参数影响声音的哪个方面，通过合成过程回传的梯度难以提供有效方向，因此需要辅助的 LFO 或波形损失来锚定优化。把感知损失堆叠到全部使用反而退化，同时使用 Gammatone 加 CQT 或全部损失的配置在客观指标上变差，说明更多约束不等于更好优化。
CQT 判别器 × 多周期判别器： CQT 判别器负责在对数频率恒 Q 变换表示上判断重合成音频是否符合真实数据分布，多周期判别器负责在时域多周期重排信号上做同样判断，二者搭配的原因是前者让谐波关系在不同基频下呈现一致的平移模式而后者源自语音合成，组合意义在于比较哪种判别表示能为音乐合成器声音提供更有效的对抗梯度，原文报告 CQT 的加入带来更明显的分布指标改善。
判别器消融显示去掉 CQT 只留语音领域的多周期、多尺度与多分辨率判别器时改善有限，加入 CQT 后分布指标与主观都有更清晰的提升。教学上要区分自动分布指标与人评：FAD 改善不等于 MUSHRA 必然改善，原文同时报告两者并在 Serum 集上看到人评与自动指标的分歧，这正是需要保留多指标的原因。
哪些结论不能推广，缺了哪些验证？
首先是合成器容量的边界。当前系统只覆盖单振荡器、有限滤波器类型与 5 个去向，不建模波表振荡器，也不建模混响、失真与镶边等效果器的时间变化参数。原文明确把这些列为未来工作，计划向多振荡器、自定义滤波器与效果调制扩展。因此不能把本文的恢复能力说成能逆向完整专业预设，架构允许扩展到更多去向不等于当前已验证。
其次是评估边界的缺项。原文未报告误判率、延迟、推理开销与输出帧率，也未给出训练之外的统计显著性方法与聚合口径细节，表格中的均值与浮动范围按原文写法保留，不自行换算成百分点或相对百分比。Serum 2 实验是灰盒验证，声音更精致且有未知处理，感知损失在该条件下显示收益，但这只是有限解释而非因果证明，可能与待验证的因素包括引擎非线性、噪声建模差异与基频估计误差。复述时应对直接报告用报告显示，对机制解释用支持，对未验证推测用可能待验证。
要复现先做什么，关键超参与信息条件是什么？
复现的第一步是按顺序重建数据与训练流水线，而不是直接调大模型。先实现可微减法路径：振荡器与噪声源幅度混合，经串联高通与低通双 2 阶滤波器、包络相乘、降采样与均方根归一化加软 tanh 限幅，双 2 阶滤波用并行递归实现以保证梯度流通。然后按样条流程生成 LFO 形状与 1 秒循环样本，采样率固定为 22.05 kHz，2Dest 用于回归训练，5Dest 用于分类训练与泛化测试。
第二步是锁定信息条件。分类器独立训练，回归训练时喂真实去向与真实基频，推理时切换为预测去向与 CREPE 估计基频并对音高曲线做均值对齐。优化用 AdamW，学习率与批量按对抗与否区分，非感知权重中 LFO 与波形之比按原文最优设置，感知权重中谐波、Gammatone 与梅尔权重与多尺度权重分别固定。波形模型容量不要过小，否则高频谐波会先退化。主观复现需按原文锚点定义制作无调制锚点与正弦 LFO 锚点，并保证激活去向均衡，官方试听链接当前可用可用于核对 anchors 的听感量级。缺失的细节如滤波器系数的具体初始化与判别器更新频率在原文未交代，复现时应明确标为缺项而不从模型名称推定实现。
何时值得尝试这套方法，记住哪三条？
当任务是逆向单振荡器合成音色且需要可解释参数时，这套先分类再条件回归的流程值得尝试，尤其是有多去向同时激活、直接回归容易串扰的场景。当目标只是生成相似声音而不关心参数是否可编辑时，生成式方法可能更直接，不必套用本文的 3 阶段约束。当声音包含效果器、波表扫描或多振荡器层叠时，本文当前容量不适用，应等待扩展或自行增加去向与振荡器类型后再验证。
记住 3 条可核对的结论。第一，去向正确性优先于曲线精度，无条件模型超过多模型基线的现象支持了这一点，但完整条件模型仍是最优的可部署策略。第二，Gammatone 与 CQT 判别器分别在谱感知距离与分布相似性上优于传统多尺度损失，但感知损失必须与直接 LFO 与波形监督配合，单独使用不能工作。第三，合成集的结论不能直接搬到灰盒，Serum 2 集上 Gammatone 的人评最佳与合成集上均方误差占优形成对照，说明评估必须分条件报告，总体平均不能代替分集结论。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses