英文题目：CLEAN2FX: Label-Conditioned Modeling for Clean-to-Effect Guitar Audio Transformations
会议身份：
conference:dafx:2026:conference-paper-id:DAFx26_demo_58
✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。
标签：#CNN #时频分析 #变分自编码器 #音乐 #音乐生成
评分：5.5/10 | 创新 1.0/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.6/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Oliverio Bombicci Pontelli：机构信息未能从会议 PDF 纯文本可靠映射
- Iran Roman：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
干净到效果吉他变换以干净吉他录音与十类目标效果标签为输入，输出保留音高节奏与演奏内容但叠加失真调制延迟或混响声学特征的信号，难点在于从宽带谐波重塑到长时混响尾音的异质变换跨度大且需解耦内容与效果。方法链先由EGFxSet真实硬件单音拼装和弦旋律与混合时间线并做共享峰值归一化，得到内容固定而效果为唯一变化轴的配对数据，再将16kHz音频转为257×613幅度谱并以线性或对数压缩表示送入条件网络，最后由五层残差U-Net预测非负幅度残差并用Griffin-Lim估计相位合成波形。与仅在潜变量拼接条件的变分自编码器不同，最优U-Net在瓶颈解码器与跳跃连接三处注入特征线性调制并做条件丢弃，使标签持续控制多尺度重建并保留谐波细节。在EGFxSet配对评测设置下，ConvVAE的MSE为4.09×10−4，低于未处理输入基线的MSE 5.16×10−4。该结论适用边界受限于EGFxSet衍生分布与幅度谱客观指标，对真实演奏泛化尚未验证且延迟混响感知增益微弱构成失败条件。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要输出什么，什么必须保留？
这篇论文研究的是干净到效果的吉他变换。输入是两样东西，一是干声电吉他录音，二是目标效果标签，标签来自 10 种真实硬件效果，涵盖失真、调制、延迟与混响等家族。输出是加上指定效果后的吉他信号，要求听起来像经过了对应单块或机架效果，同时把原来的音高、节奏、和弦与旋律走向完整保留。换句话说，音乐内容是必须守住的不变量，效果是唯一允许改变的轴。
初学者容易把这个任务误解为生成一段好听的吉他独奏，实际上不是，模型不能改音符，不能加花，不能把演奏重编，只能在同一演奏上施加音色与空间变换。论文把训练与评价都放在幅度短时傅里叶谱上进行。白话说，就是先把波形切帧做傅里叶变换，只保留每个时频点的能量大小，丢掉相位。推理时再用经典的 Griffin-Lim 方法从幅度谱估计相位并合成波形。
这种做法简化了学习，但也埋下伏笔，延迟与混响高度依赖时间结构与相位关系，只看幅度谱会丢失一部分可学习线索。评价因此用两个视角，一个是线性幅度谱上的均方误差，越小越好，一个是 Fréchet 音频距离，也是越小越好，前者看谱能量是否贴合，后者更接近感知分布是否贴合。
此前路线为何多是单设备或单类效果？
在效果建模领域，常见路线是黑盒建模、吉他音箱仿真与可控变换。黑盒建模指不打开效果器内部电路，直接从成对的输入输出录音学一个映射。吉他音箱仿真特指针对某一台音箱或箱头建模，往往追求实时运行。已有工作证明了从配对数据直接学习输入输出行为是可行的。但论文指出，此前多数工作围绕单个设备、单个效果类别或带参数的处理器展开。
也就是说，1 篇论文只做一块失真单块，或只做混响参数插值。跨多个效果家族的演奏级变换更难，因为不同家族的声学足迹差异极大，宽带失真会重塑谐波与动态，合唱与相位类调制产生缓慢扫动的边带，延迟产生离散回声，混响产生密集尾音。一个模型既要保留弹奏内容，又要按标签切换这些差异很大的变换，对条件机制与结构提出了更高要求。
论文的定位不是再做一块单块的精确克隆，而是比较在统一谱变换设定下，哪类结构更适合多标签条件，以及不同效果家族的改善难度有何不同。演示网站则补充了受控评价之外的真实演奏行为，用训练验证之外的录音检验泛化。
任务如何被定义成可对照的配对问题？
论文把任务形式化为标签条件变换。给定干净信号与目标效果索引，模型输出对应效果谱。关键在于如何构造可对照的数据。作者使用 EGFxSet，它包含经过 10 种真实硬件效果处理的孤立吉他音色，以及对应的干净参考。为了得到音乐序列而非孤立音头，作者用程序化方式拼装和弦、旋律与混合事件时间线。
做法是先生成一条事件序列，再把同样的序列同时施加到干净音色与效果音色上。这样每对样本的音乐内容完全固定，干净与加效果版本的差异只来自效果本身。每对样本按两者信号最大值中较大者做归一化，目的是保留干净与效果之间的能量比，而不是各自独立归一到满幅。采样接近静音合成的概率设为 0.05，避免训练被大量无声片段淹没。评估时采用复制输入基线，也就是什么都不做、直接把干净输入当作输出。
这个基线定义了有用模型的最低门槛，所有相对改善都相对它计算。总体改善取 10 个效果各自平均后的均值，而非把所有样本混在一起取池化平均，原因是失真类基线误差量级远大于其他效果，池化会被它主导。
四种模型在同一谱变换设定下如何比较？
论文比较 4 个神经模型，共享同一个谱变换框架，但结构与条件方式不同。两类是变分自编码器基线，一类是全连接变分自编码器，一类是卷积变分自编码器。另外两类是 5 层残差 U-Net，只在损失作用于线性幅度还是对数幅度上有区别。所有模型都以幅度谱为输入输出，输出非负幅度，相位在推理时另行估计。
U-Net 编码器由 4 个双卷积块组成，通道数为 32、64、128、256，每个块是 2 次 3 乘 3 卷积加组归一化与泄漏修正线性单元，块间用 2 乘 2 最大池化降采样，瓶颈再加一个 512 通道块，解码器用最近邻上采样镜像对称并带跳跃连接，最后预测残差与输入相加再过柔正函数保证非负。变分自编码器则把输入压缩到瓶颈潜变量再解码，没有跳跃连接。条件方面，U-Net 为 10 个效果各学一个 64 维嵌入，在瓶颈、解码器各层与跳跃连接三处注入；变分自编码器只把 4 维嵌入拼到潜码上单点注入。
从学习依赖看，U-Net 保留了多分辨率细节通路，变分自编码器则被迫经过信息瓶颈，这为后文失真易学、细节易糊埋下结构解释。下图把三族结构并排展示，是理解条件注入差异的关键。
结构图导读：从输入谱到输出谱的三条路
阅读这张结构图时，先不要陷入通道数与归一化细节，先抓住输入到输出的主路径与条件从哪里进入。3 个面板的左右两端都是幅度谱，左边是干净输入谱，右边是预测效果谱，中间经过编码器与解码器。橙色方框是效果标签，它的箭头指向是区分三者的要点。结合图注理解，U-Net 多了跨层跳跃与全局残差，意味着干净细节可以绕过瓶颈直达输出，而两个自编码器必须把一切压缩进中间变量。
看图路径： 1. 先看三块面板的输入 x 与输出 x-hat 箭头，确认都是从幅度谱到幅度谱的变换；2. 再看橙色 effect label 箭头在 U-Net、ConvVAE 与 VAE 中分别指向哪里；3. 对比 U-Net 的弧形跳跃连接与虚线全局残差，确认 ConvVAE 与 VAE 没有这些通路；4. 观察 ConvVAE 与 VAE 中间 z 方框的差异，确认采样型与确定型瓶颈的画法
论文图 1。原论文 Figure 1：“The three model families compared in this work.”。
图中面板 a 是残差 U-Net，编码器到解码器有多条弧形跳跃连接，顶部还有一条虚线全局残差把输入直接加到输出端，橙色效果标签从下方指向瓶颈与解码路径，表示多点调制。面板 b 是卷积变分自编码器，中间只有一个确定性潜变量方框，没有跳跃弧线，效果标签同样从下方指向潜变量。面板 c 是全连接变分自编码器，中间潜变量上方多了一个先验分布标记，表示采样型瓶颈，效果标签同样指向潜变量。
可见的教学要点是，U-Net 的条件作用在多个分辨率上，变分自编码器的条件只作用在单点瓶颈上，而跳跃连接的有无决定了谐波细节是直通还是被压缩，这直接对应后文 U-Net 明显优于变分自编码器的结果。
条件如何注入：嵌入、FiLM 与条件丢弃的分工是什么？
U-Net 的条件设计是论文最细的部分。每个效果标签对应一个可学习的 64 维嵌入。在瓶颈处，该嵌入被投影到 64 通道并广播，与瓶颈特征拼接再经双卷积融合。在 4 个解码器层级，每层用特征线性调制把嵌入映射为每通道的缩放与偏置，按输入乘以 1 加伽马再加贝塔施加。1 加伽马的形式保证初始化时接近恒等映射，训练初期不会扰乱主干。
每个编码器跳跃连接也有独立的调制头，用同样形式调制，因此网络中没有一条完全绕过条件的通路。训练时以 0.15 概率把整个嵌入置零，灵感来自无分类器引导，目的是防止网络学会忽略条件。相比之下，两个变分自编码器基线只用一个 4 维可学习嵌入拼到潜码之前解码，64 维用于全连接版本，512 维用于卷积版本，没有调制与条件丢弃。也就是说，U-Net 把条件变成持续的特征改写，变分自编码器把条件变成瓶颈处的 1 次性附加输入。
复现时必须注意，条件丢弃是训练期行为，推理时应使用完整嵌入，否则会低估标签响应。
效果嵌入 × FiLM 调制： 效果嵌入把 10 个离散效果标签映射为 64 维可学习向量，负责携带要做什么变换的指令；FiLM 调制把该向量映射为每个通道的缩放与偏置并以 x 乘以 1 加伽马再加贝塔的方式作用，负责按标签改写解码器与跳跃连接的特征分布，二者搭配的原因是单一拼接点容易被主干忽略而多点调制能持续施加条件，组合意义是让同一套 U-Net 权重随标签切换行为。
跳跃连接 × 残差预测： 跳跃连接把编码器各分辨率特征直接送到对应解码器层，负责保留谐波结构与瞬态细节；残差预测让网络输出与干净输入相加后的修正量而非从零生成整张谱，负责把学习目标聚焦在效果带来的增量上，二者搭配的原因是干净到效果的变换大量内容相同，组合意义是既不丢失弹奏内容又降低了需要建模的动态范围。
幅度谱 × Griffin-Lim 相位估计： 幅度谱只保留每个时频点的能量而丢掉相位，负责让网络专注于音色与混响等能量分布的学习；Griffin-Lim 相位估计负责在推理时从预测幅度谱反推一组自洽相位以便合成波形，二者搭配的原因是训练与评价都在幅度谱上进行而试听必须回到时域，组合意义是把可学习的变换与不可学习的波形重建解耦，但也意味着时域相位误差不在损失中直接受罚。
线性幅度 × 对数幅度： 线性幅度按能量真实比例表示谱值，负责保留大能量失真谐波的主导误差；对数幅度用 ln1 加 200x 压缩动态，负责把混响尾音、调制边带与延迟回声等低能量细节抬升到网络与损失可见的范围，二者搭配的原因是线性项欠加权弱信号而对数项能补足，组合意义是在 U-Net 线性变体中以辅助对数 L1 项兼顾强弱信号。
损失、加权与优化器如何组织训练？
U-Net 的损失是复合谱损失。基础项是谱收敛，即预测与目标谱的弗罗贝尼乌斯范数之差除以目标范数加 1.0，大常数 1.0 是为了在近静音目标上保持比值有界。对数幅度变体的损失是谱收敛加 10 倍对数域 L1，直接在网络原生对数域计算。线性变体的损失是谱收敛加 10 倍线性域 L1，再加 5 倍对数压缩后 L1，辅助对数项用来惩罚线性项欠加权的低能量区误差。
论文还引入按效果加权，权重取目标效果平均干净到效果 L1 距离与最大距离之比的平方根倒数，并截断到 5.0，目的是上调那些干净与效果谱差异天然很小的效果，否则它们的梯度信号会被淹没。变分自编码器的目标在正文交代为标准变分目标，即均方重建加散度项，全连接版本用均方，卷积版本用对数 1 加幅度上的 L1。
优化方面，U-Net 用 AdamW，学习率 3 乘 10 负 4 次方，权重衰减 1 乘 10 负 4 次方，学习率调度为验证停滞 8 轮后乘 0.5，最低 1 乘 10 负 6 次方，梯度裁剪范数 1.0，批量 32，每轮 8000 样本有放回随机采样，训练验证按 9 比 1 划分。变分自编码器基线用 Adam 学习率 1 乘 10 负 3 次方与混合精度，流水线基于常见音频与深度学习库。需要指出，论文未报告变分自编码器的完整轮数与调度细节，这是复现时的缺项，不应从模型名推定。
数据、划分与指标如何保证公平？
训练数据来自 EGFxSet 的真实单音色录音，经过程序化拼装得到和弦、旋律与混合时间线，每条事件序列同时用于干净与效果版本，保证内容固定。音频表示为 16 千赫采样下的幅度谱，傅里叶点数 512，跳长 128，每段 4.9 秒得到 257 乘 613 谱。两种输入表示被比较，线性共享最大归一化幅度与对数压缩变体，对数形式为自然对数 1 加 200 乘线性值，推理前再逆变换回线性域计算指标，因此指标始终在同一线性域下比较。评估用 200 个保留配对样本，每效果 20 个，来自同一划分。
指标是线性共享最大幅度谱上的均方误差与 Fréchet 音频距离，都是越小越好。相对改善定义为基线减模型再除以基线，总体值是 10 个效果各自均值的平均，而非池化平均。下表把表示与训练配置放在一起，便于 1 次核对采样、谱尺寸、优化与划分是否与原文一致。表前的问题是，复现时哪些参数必须照抄才能对齐谱尺寸与训练预算，表后需要回答这些参数如何影响公平性。
表 2 整理谱表示与 U-Net 训练预算，列数较多是为了把采样、谱尺寸、优化与划分放在同一行对照，避免分表对照时张冠李戴。
| 环节 | 采样与分帧 | 片段与谱尺寸 | 优化与调度 | 批量与划分 |
|---|---|---|---|---|
| 谱表示 | 16 kHz，nfft 512，hop 128 | 4.9 s 片段，257 乘 613 谱 | 不适用 | 不适用 |
| U-Net 训练 | AdamW，学习率 3 乘 10 负 4 次方，权重衰减 1 乘 10 负 4 次方 | 梯度裁剪范数 1.0 | ReduceLROnPlateau 因子 0.5 耐心 8 最低 1 乘 10 负 6 次方 | 批量 32，每轮 8000 样本，90 比 10 划分 |
表后解释如下。谱尺寸 257 乘 613 直接由点数、跳长、采样率与时长决定，改任一参数都会改变网络输入形状与跳跃对齐，不能随意替换。
对数压缩系数 200 与逆变换必须成对出现，否则评价域不一致。训练侧的每轮 8000 样本有放回采样意味着一个轮次不是遍历数据集，而是固定预算采样，这影响收敛曲线横轴的含义。90 比 10 划分与每效果 20 个的保留集意味着主结果只在 200 对样本上报告，域外演示另用真实演奏，不计入主表。未报告项是硬件型号与训练时长，因此无法从论文直接估计复现成本。
谁超过了复制输入基线，差距在哪里？
主结果的核心对照是复制输入基线，即不加任何效果直接输出干净声。任何有用模型必须同时在谱误差与感知距离上超过它。论文报告，对数幅度 U-Net 在两项上最好，线性 U-Net 第二，两个变分自编码器基线在平均意义上未能超过基线。也就是说，只看平均改善，变分路线没有通过最低门槛。进一步按效果家族拆分，失真类基线误差最大、相对改善也最大，调制次之，延迟与混响的感知增益明显弱于谱增益。
弹簧混响在对数 U-Net 下谱改善很高而感知改善接近零，是谱与感知分化的典型例子。论文还强调，由于失真中某块单块基线误差比其他效果大一个量级，池化平均会被它主导，因此采用按效果平均。卷积变分自编码器池化均方虽低于基线，但只在单个失真上超过基线，按效果平均后仍无正改善，这说明聚合口径会改变结论。
谱均方误差 × Fréchet 音频距离： 谱均方误差在线性共享最大归一化幅度谱上逐点比较能量差，负责度量谱重建的绝对 fidelity；Fréchet 音频距离比较音频嵌入分布距离，负责从感知层面反映音质与真实效果分布的接近程度，二者搭配的原因是谱误差小不等于听感对，尤其是延迟混响的时间结构，组合意义是共同揭示失真易改善而时间类效果感知增益弱的分化。
下表聚焦总体改善，比较问题是，在同一保留集与同一线性评价域下，两版 U-Net 相对复制基线带来多少平均改善，变分基线是否通过门槛。指标方向是改善百分比越大越好，基线本身定义为零改善。
| 变换目标 | 评价维度 | 未处理基线含义 | U-Net 线性版相对改善 | U-Net 对数版相对改善 |
|---|---|---|---|---|
| 十效果平均 | 谱均方误差，越小越好 | 复制干净输入，定义零改善 | 加 69.4% | 加 70.6% |
| 十效果平均 | Fréchet 音频距离，越小越好 | 复制干净输入，定义零改善 | 加 23.0% | 加 31.8% |
表后解释如下。
对数版在谱上只比线性版高约 1.2 个百分点，但在感知上高约 8.8 个百分点，且在多数效果上感知最好，支持对数表示抬升弱信号有助于感知质量的判断。代价是两版 U-Net 都未能解决时间类效果的感知弱增益，弹簧混响谱改善加 78.6% 而感知仅加 0.9% 就是反例。变分基线是未胜出项，平均无正改善，仅在个别失真上有边际谱改善，不能视为可用策略。
演示网站进一步显示，在训练验证之外的真实演奏上，U-Net 变换可闻但减弱，卷积变分自编码器仍出现高频平滑，说明主表结论限定在 EGFxSet 衍生分布内。
标签真的起作用吗，弱信号为何需要对数域？
论文做了两组机制检验，而非传统消融删模块。第一组是条件敏感性诊断。对每个干净输入，用全部效果标签各生成 1 次，计算预测之间两两 L1 距离的均值，再除以每个预测与未处理输入之间 L1 距离的均值。比值远大于零说明输出随标签变化，而非坍缩到单一变换。报告所有效果比值都大于 1.0，均值 1.416，作者将其解释为条件未被忽略的定性证据，并明确提醒这只是反坍缩证据，不是效果专属生成的验证。
第二组是表示对照，即线性与对数两版 U-Net 的比较。对数压缩的理由是提升低幅细节在编码特征与损失中的可见性，混响尾音、调制边带与延迟回声都属于此类。结果是对数版谱差距小而感知差距大且一致，支持表示选择影响音频网络的已有观察。下表把诊断与分化例子放在一起，便于理解何时该信标签、何时不该把谱改善外推为听感改善。表前的问题是，标签响应与谱感知分化各自用什么量度量，公平条件是什么。
| 诊断目标 | 度量与条件 | 总体或示例值 | 对数版行为 | 未解决边界 |
|---|---|---|---|---|
| 条件坍缩检查 | 固定干净输入，遍历全部标签，两两预测 L1 均值除以预测到干净输入 L1 均值 | 均值 1.416，各效果均大于 1.0 | 标签引起变化，非单一变换 | 不证明生成的效果准确 |
| 谱与感知分化 | 同一保留集，线性谱均方改善与感知距离改善 | 弹簧混响谱加 78.6%，感知仅加 0.9% | 谱强感知弱，时间类普遍 | 幅度谱缺相位，延迟混响难 |
表后解释如下。
条件诊断的价值在于排除最坏情况，即网络完全忽略嵌入，但它不能回答生成的失真是否像目标单块，仍需听感与分布指标佐证。对数域的价值在于一致的感知增益，而非单点谱最优，复现时若只看谱均方会低估表示选择的作用。失败条件也很清晰，数字延迟在部分配置下感知无改善，弹簧与大厅混响感知增益低，说明时间结构建模仍是短板。
论文把结构解释为跳跃连接保留谐波而瓶颈压缩丢失细节，这与变分自编码器仅在宽带失真上偶尔超过基线的现象一致。
哪些结论不能从当前证据推广？
首先， headline 数字限定在 EGFxSet 衍生的程序化拼装分布内，保留集每效果 20 对，共 200 对，域外真实演奏不在主表内。演示网站显示域外变换减弱，因此不能把平均改善直接理解为任意吉他录音上的收益。其次，评价只在幅度谱上计算均方误差，波形相位由 Griffin-Lim 估计，估计误差不进入损失，也未单独报告相位质量，这对延迟与混响尤为重要。再次，聚合采用按效果平均，若改用池化平均，失真大误差会主导结论，阅读时必须确认聚合口径。
还有，变分自编码器训练细节报告不全，优化轮数与调度缺失，不能据此断言变分路线必然失败，只能说在本文配置与单点拼接条件下未超过基线。最后，条件诊断只是反坍缩检查，比值大于 1.0 不支持效果准确性，弹簧混响等感知弱增益例子提醒我们，谱改善大不等于听感改善大。资源状态方面，本次未发现来源绑定且完成验证的资源，不得声称代码模型或数据已公开，复现应以论文文字参数为准。
复现先做什么，哪些参数必须照抄？
复现的第一步是重建配对数据。取 EGFxSet 干净与效果单音色，用同一事件序列生成和弦、旋律与混合时间线，配对时按两者最大值中较大者归一化以保留能量比，近静音合成概率 0.05。切勿对干净与效果各自独立峰值归一化，否则能量比失真会改变学习目标。第二步是固定谱表示。采样率 16 千赫，点数 512，跳长 128，每段 4.9 秒对应 257 乘 613 幅度谱，对数变体用自然对数 1 加 200 乘线性值，评价前逆变换回线性共享最大域。
第三步是实现 U-Net。编码器四块双卷积加瓶颈 512 通道，组归一化 8 组，泄漏斜率 0.01，解码器最近邻上采样加跳跃，残差相加后过柔正函数，线性用贝塔 5，对数用贝塔 1。条件嵌入 64 维，瓶颈拼接融合，解码与跳跃多点调制，训练期条件丢弃概率 0.15。第四步是损失与优化。谱收敛分母加 1.0，对数版加 10 倍对数 L1，线性版加 10 倍线性 L1 与 5 倍辅助对数 L1，按效果加权截断 5.0，AdamW 学习率与调度如实验配置表。
先跑通复制输入基线，确认相对改善的分母与按效果平均的实现，再训练两版 U-Net 并同时报告谱与感知指标，避免只看谱误差。
何时值得尝试这种标签条件谱变换？
当任务是保留演奏内容、只切换效果色彩，且有多效果标签可用时，这种做法值得尝试。它的优点是同一套权重通过标签切换行为，残差与跳跃设计适合内容大部相同的变换，对数域有助于弱信号感知质量。适用条件是训练与部署的吉他音色与编配分布接近，且能接受幅度谱加相位估计的合成质量。若目标是精确克隆某块失真单块的非线性动态，或处理强延迟混响的时间结构，本文证据显示感知增益有限，需要更显式的时间建模或波形端损失。
初学者复述时应抓住三句话，配对靠同一事件序列固定内容，结构靠跳跃与残差保留细节，评价靠复制基线、按效果平均与谱加感知双指标。记住两个易错点，池化平均会被大误差失真主导，条件诊断大于 1.0 只是未坍缩而非做对了。下一步验证应补足域外系统听测、相位质量分析与推理开销测量，再谈实用部署。
📐 原文公式与排版
以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。
另有 5 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses