英文题目：Synth-JEPA: Joint Embedding Prediction for Renderer-Free Synthesizer Parameter Search
标签：#音频生成 | #自监督学习 | #多模态学习 | #主观评测
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Ben Hayes：机构信息未在 arXiv HTML 中可靠披露
- Haokun Tian：机构信息未在 arXiv HTML 中可靠披露
- Stefan Lattner：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
合成器声音匹配需从目标音频反推含连续与离散控制的合成器参数，逆映射病态且通用音频表示难以优化，直接搜索又需逐候选渲染。Synth-JEPA从配对参数与渲染音频学习相互预测的音频表示与参数表示，音频编码器与参数编码器经双向跨域预测器对齐，并以SIGReg正则防坍缩，使音频空间几何由参数对应关系塑造。推理时目标音频仅编码一次，候选参数经参数编码器加预测器直接在嵌入空间以均方误差打分，先用JADE进化搜索粗选，再用Adam仅对连续参数精修，全程搜索无需调用合成器。在域内Surge XT预设评测设置下，Synth-JEPA(SIGReg)的MSS指标为8.44，低于EMA Teacher的MSS指标11.52。其边界在于训练仅见均匀先验合成器声音，在NSynth尚保持最优或次优，在FSD50K宽分布上多尺度频谱距离落后于对数梅尔代理。该结论的适用边界是仅在上述三套目标上验证，尚未验证其他合成器与更宽录音分布下的外推。训练成本为批量64训练1M步，推理开销在RTX 3090硬件上按单目标计时报告。
🔗 开源与复现资源
- 演示资源：https://benhayes.net/synth-jepa → https://benhayes.net/synth-jepa/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么难到需要新表示
这篇论文的输入是一段目标音频，输出是一组合成器参数，目标是让合成器用这组参数重新渲染出的声音在听感和频谱上接近目标。初学者容易把这件事理解为分类或回归，也就是把声音丢给神经网络直接预测旋钮位置。论文首先交代这种直觉为什么不够。现代合成器把多种发声与调制方法叠在一起，旋钮之间互相影响，而且不同参数组合可以发出几乎相同的声音，所以从声音反推参数在数学上是病态的，1 对多的逆映射没有唯一答案。
在这种病态条件下，两条已有路线各有代价。第一条是针对每个目标单独优化参数，用音频域目标评价候选，但每个候选都要调用合成器渲染 1 次，搜索几千次就意味着几千次渲染。第二条是学习一个 1 次性从音频到参数的映射，推理很快，但它把所有困难都压到 1 次前向预测里，遇到训练分布之外的音色就容易失配。论文的判断是，通用音频表示并不是从参数与声音的对应关系中学来的，用它做优化目标，几何形状不一定适合沿着参数方向行走。因此作者提出把表示本身重学一遍，让音频几何被参数对应关系塑造，再把搜索搬到这个学到的嵌入空间里做。
同输入同目标的已有路线如何划分，本文卡在哪一环
如果按同样的输入输出和同样的运行阶段划分，相关工作可以分成三族。第一族是 1 次性参数估计，包括用音频频谱变换器做回归，以及考虑参数对称性的流匹配生成模型，它们在测试时不做针对该目标的迭代优化。第二族是渲染器在环的直接搜索，每个候选都要渲染，区别只在评分用对数梅尔距离、预训练音频嵌入距离，还是本文学到的音频编码器距离。第三族是学一个从参数预测音频表示的代理模型，搜索时不再渲染，而是对代理求值，例如预测对数梅尔频谱的代理和预测预训练嵌入的代理。
本文与第三族最接近，但动机不同。代理路线仍然依赖一个事先选定的通用音频表示，代理的误差和表示的选择都会影响搜索。最接近的表示学习工作是把 SLAP 的动量教师目标搬到 DX7 音频与参数联合嵌入上做预设检索，而本文把联合表示直接当作迭代参数搜索的目标函数，并比较了 SLAP 风格的动量教师与 SIGReg 两种防坍缩机制在同一框架下的优化几何差异。这个定位很重要，后文所有对照都是为了分离表示几何、1 次性推理和梯度精修各自的贡献。
任务形式化与必须保留的实验条件
论文把合成器记作从参数空间到音频信号空间的映射，训练数据是成对的参数与渲染信号，参数从均匀先验中采样，连续参数映射到区间内，离散参数用独热编码。作者明确提醒，由此诱导出的音频分布一般不是均匀的，这种采样偏差可能影响学到的搜索几何，未来需要研究音频感知的采样策略。初学者可以这样理解例子：同样是均匀拧旋钮，有些音色区域会被密集踩到，有些区域很少出现，模型学到的距离在密集区可能更精细。
声音匹配 × 合成器反演： 声音匹配的分工是给定目标音频寻找能重建近似声音的参数，合成器反演的分工是学习从音频到参数的逆映射，二者搭配的原因是同一合成器可用不同参数得到相似声音使逆映射病态，组合意义在于本文把匹配视为在学习到的表示空间中对每个目标做优化搜索，而非只学一个 1 次性前向逆映射。
评估分成两类任务。第一类是域内任务，目标仍由同一合成器和同一渲染流程产生，只是测试时未见过。第二类是通用声音匹配，目标来自 NSynth 和 FSD50K 的测试划分，截取前 3 秒、重采样到 44.1 千赫并上混为立体声。指标在渲染出最终参数后再计算，包括多尺度频谱距离、弯曲梅尔频率倒谱系数距离和固定 CLAP 嵌入余弦相似度，前两者越低越好，后者越高越好。理解后文数字时必须同时核对数据集、基线、指标方向和聚合对象，不能只看一个数字下降就断言全面变好。
全景：训练学什么表示，推理如何免渲染打分
方法的全景可以沿着一个样本走一遍。训练时先采样一组参数，用合成器渲染出对应音频，于是得到一个参数音频对。参数走下分支的参数编码器得到参数表示，音频走上分支的音频编码器得到音频表示，再各自经过跨域预测器预测对方，最后用预测误差加分布正则训练整个系统。推理时目标音频只编码 1 次得到目标音频表示，候选参数不再渲染，而是经参数编码器加预测器映射到音频空间，直接与目标表示算均方误差，优化器在这个误差上搜索参数。
下面这张总览图把左右两半的职责分得很清楚，左边是双分支训练，右边是单次编码加循环优化，读图时注意推理侧没有从候选参数指向合成器的箭头，这正是免渲染的关键。
看图路径： 1. 先沿左侧训练分支看合成器参数与渲染音频如何分别进入下上两路编码器；2. 再看两路表示经交叉预测后在右侧均方误差框处汇合；3. 最后看右侧推理分支目标音频只编码一次、优化器只更新候选参数的单向箭头
论文图 1。原论文 Figure 1:：“Synth-JEPA training and inference. \mathcalE_a and \mathcalE_p are audio and parameter encoders, while f_a\rightarrow p and f_p\rightarrow a are cross-domain predictors.”。
从像素看，左侧训练面板上方是音频分支，下方是参数分支，中间有交叉虚线表示互相预测，另有指向分布正则的箭头。右侧推理面板上方目标音频进入音频编码器得到星号标记的目标表示，下方候选参数进入参数编码器再经预测器得到预测表示，二者在右上角的距离框中比较，优化器根据该距离回头更新候选参数。整个推理循环不需要调用合成器，只有在最终评价或可选的最佳候选重排时才需要渲染。
编码器与预测器各自算什么，如何写成目标
音频编码器处理的是立体声对数梅尔频谱，论文用 128 频带、25 毫秒窗、10 毫秒跳，经 1 维卷积投影成 150 个 token，再拼接一个可学习的汇总 token，取该 token 的输出作为 512 维音频表示。参数编码器处理的是异构控制，每个参数用线性投影加参数专属偏置表示成 token，再用 32 个学习隐变量的感知器瓶颈做交叉注意力，后接 8 个自注意力块，最后平均池化得到 512 维参数表示。两个编码器内部维度都是 512，8 个注意力头。预测器是 2 个方向的三块残差多层感知机，隐层宽度 1024 加线性输出头。
音频编码器 × 参数编码器： 音频编码器的分工是把对数梅尔频谱映射为 512 维音频表示，参数编码器的分工是把连续与离散控制映射为同维参数表示，二者搭配的原因是需要把异构模态放进可互相预测的同一维度，组合意义是后续跨域预测器可以直接计算均方误差而不经过波形渲染。
符号先讲清楚才能读公式。记参数为输入，渲染信号为输出，音频编码器输出记为音频表示，参数编码器输出记为参数表示，两个预测器分别负责音频到参数和参数到音频的映射。下面的公式是两路编码的定义，输入分别是渲染信号和采样参数，输出是同维度的两个表示。
\[z_{a}=\mathcal{E}_{a}(y),\qquad z_{p}=\mathcal{E}_{p}(x),\]上式给出表示，下式给出交叉预测。音频表示经一个预测器得到预测的参数表示，参数表示经另一个预测器得到预测的音频表示，2 个方向同时训练，这就是互相预测的含义。
\[\hat{z}_{p}=f_{a\rightarrow p}(z_{a}),\qquad\hat{z}_{a}=f_{p\rightarrow a}(z_{p}).\]训练的预测损失是两项均方误差之和，每一项都把被预测的真实表示用停止梯度固定住，只更新预测侧和预测器。停止梯度不是可有可无的技巧，没有它，两侧表示可能一起坍缩到同一个常数也能让预测误差很小。论文用 SIGReg 把每个编码器输出分布独立正则化向各向同性高斯，另训练一个动量教师变体做对照。
\[\mathcal{L}_{\mathrm{pred}}=\operatorname{MSE}(\hat{z}_{p},\operatorname{sg}(z_{p}))+\operatorname{MSE}(\hat{z}_{a},\operatorname{sg}(z_{a})),\]推理的目标是给定目标音频，先编码 1 次得到目标表示，再对候选参数算它在音频空间的预测与目标表示的均方误差。这个距离可微，因此既可用无梯度进化算法，也可用梯度下降。
\[D_{\mathrm{JEPA}}(y^{\star},x)=\mathrm{MSE}\!\left(z_{a}^{\star},f_{p\rightarrow a}(\mathcal{E}_{p}(x))\right),\]最终估计就是在这个距离下取最小的参数，论文用 2 阶段混合优化实现，后文实验条件节会给出具体预算分配。
\[\hat{x}=\arg\min_{x\in\mathcal{P}}D_{\mathrm{JEPA}}(y^{\star},x).\]搜索如何分两阶段花预算，离散参数怎么处理
搜索的具体动作值得复述，因为它是可复现的关键。论文采用混合 2 阶段做法，先花一半评估预算，用 JADE 进化 32 个候选的种群，变异和交叉作用于连续参数，类别参数要么从另一候选复制，要么重采样。然后取按学到距离排序最优的 8 个候选，只对连续参数用 Adam 做梯度精修，初始学习率 0.1 并按余弦衰减到零。精修期间按均匀间隔做 3 次剪枝，每次按学到距离丢掉较差的一半，最后只剩一个候选返回。
跨域预测器 × 停止梯度： 跨域预测器的分工是把音频表示预测为参数表示以及反向预测，停止梯度的分工是固定被预测分支不让梯度回传以避免表示坍缩到常数，二者搭配的原因是只用预测误差会诱使两侧表示一起收缩，组合意义是配合 SIGReg 分布正则形成稳定的双向预测训练。
这里的搭配理由是进化负责全局探索和处理离散控制，梯度负责在连续子空间里快速爬坡。由于目标可微，梯度精修不需要渲染。为了公平，论文明确说明合成器不可微，所以所有渲染器在环变体只能用 JADE 花满全部预算，而本文方法和代理目标才允许梯度精修。其中用学到的音频编码器距离做渲染器在环的变体，恰好可以分离嵌入几何的收益和梯度下降的收益，这个对照设计是理解主结果时必须记住的。
训练数据如何生成，优化器与归一化如何设置
训练不用固定数据集，而是按均匀先验在线采样参数并用 Surge XT 实时渲染。论文采用 139 个有效参数，与前人工作类似但关闭音频效果，并关闭已知会引入非确定性的调制器设置。音频以 44.1 千赫立体声渲染 3.0 秒，编码器输入是对数梅尔频谱，25 毫秒窗、10 毫秒跳。为了避免手调输入归一化，作者在前 8000 个训练频谱上用 Welford 在线算法估计通道均值方差，然后冻结该统计量用于后续训练。
优化训练 1M 步，批量 64，用 AdamW，学习率 3 乘 10 的负 4 次方，预热稳定衰减调度，权重衰减 0.05。完整模型 53M 参数。两个 1 次性基线用同样训练流程，一个是音频频谱变换器回归，另一个是对称感知的参数域流匹配。两个神经代理也类似训练，一个预测对数梅尔频谱，一个预测预训练音频嵌入。论文没有报告拿掉某一项必然崩溃的因果断言，缺失的采样策略影响也明确留作未来工作，复述时不应把相关性说成因果。
实验配什么条件，指标方向与预算如何对齐
比较是否公平，关键看目标来源、搜索预算和是否允许梯度。域内目标来自参数先验的保留预设，域外目标是 NSynth 和 FSD50K 测试集，每集合 1024 个目标。搜索类方法给 2048 次目标评估预算，流匹配给 20 步常微分方程求解器步数。渲染器在环方法每次评估都要渲染，免渲染方法评估只是模型前向加距离计算。墙钟时间在单张 RTX 3090 上按每目标测量。
下表把必须核对的构造条件收拢在一处，读表时注意单位与原文写法，裸值不擅自加单位，千分位与精度保持原样，指标方向在表头交代。
| 条件分组 | 参数规模与音频渲染 | 频谱输入 | 编码器表示 | 训练统计 |
|---|---|---|---|---|
| 模型维度 | 内部维度 512，8 注意力头 | 预测器隐宽 1024 | 音频表示 512 维，参数表示 512 维 | 感知器瓶颈 32 隐变量，自注意力 8 块 |
表前的问题是训练与推理的信息条件是否一致，表后需要说明代价。关闭效果器和非确定性调制保证了参数到音频的映射可重放，但也意味着结论只在该配置下成立。512 维与 150 个 token 决定了音频编码器的计算量，53M 总参数与在线渲染决定了训练成本。域外评估把通用音频截成同样长度和采样率，这让跨域比较可行，但 FSD50K 分布更宽，后文会出现对数梅尔类目标在该子集上的反例，读主结果时要一并保留。
搜索预算的对照条件需要另一张表来固定，否则容易把不同允许操作下的数字直接比大小。下表只整理论文明确写出的预算与优化器设置，不加入推测的墙钟换算。
| 阶段 | 种群与候选 | 优化器 | 预算 | 适用方法 |
|---|---|---|---|---|
| 全局进化 | 32 个候选种群 | JADE 进化，离散参数复制或重采样 | 一半评估预算 | 全部搜索方法 |
| 梯度精修 | 取最优 8 个候选，3 次剪枝至 1 个 | Adam 初值 0.1 余弦衰减到零，只更新连续参数 | 剩余一半预算 | 免渲染与代理目标 |
| 对照预算 | 渲染器在环只用 JADE | 不允许梯度精修 | 2048 次目标评估，流匹配 20 步求解 | 基线对照 |
表后的解释是公平性的来源。渲染器在环被限制只能用无梯度搜索，是因为合成器不可微，这不是人为压低基线，而是可运行性的约束。免渲染方法多出的梯度能力正是方法贡献的一部分，但论文用学到的编码器距离做渲染器在环变体，单独检验了几何本身的收益。复现时应先按此预算跑通，再谈增加预算的扩展曲线。
主结果测什么，谁在什么指标上赢，代价是什么
主结果回答 3 个问题。域内保留预设上谁的频谱与语义最接近，域外 NSynth 与 FSD50K 上谁更稳，以及多花的测试时计算是否持续转化为质量。论文报告域内 Synth-JEPA 的 SIGReg 版本在全部指标上最好，域外保持最好或次好，只在弯曲梅尔频率倒谱系数距离上让位于对数梅尔类目标。学到的音频编码器距离在渲染器在环设置下给出跨数据集最强的多尺度频谱结果，这支持了参数诱导几何本身有利于搜索的判断。SIGReg 在每个数据集和每个指标上都优于动量教师版本，说明防坍缩机制影响优化几何。代理对照中，本文方法域内和 NSynth 上 broadly 优于两个代理，在 FSD50K 更宽分布上则有输有赢。
免渲染搜索 × 渲染器在环搜索： 免渲染搜索的分工是只编码 1 次目标音频、其余候选评分都经参数编码器加预测器完成，渲染器在环搜索的分工是每个候选都调用合成器渲染再算音频距离，二者搭配对照的原因是分离表示几何的收益与梯度精修的收益，组合意义是论文用学到的音频编码器距离做渲染器在环变体，说明参数诱导几何本身就有利于搜索。
推理时扩展的趋势需要看墙钟时间曲线。横轴是每目标墙钟时间的对数轴，纵轴是多尺度频谱距离越低越好，标注是每目标模型或目标评估次数。流匹配随求解步数快速改善但 16 步之后基本饱和，Synth-JEPA 起步更慢但随搜索预算继续改善，其他搜索方法也受益于更大预算但追不上本文方法。这说明测试时计算通过针对该目标的搜索比通过更精确的 1 次性推理更有效地转化为质量。
看图路径： 1. 先确认横轴是单目标墙钟时间对数轴、纵轴是多尺度频谱距离越低越好；2. 再比较流匹配随求解步数先降后饱和的轨迹与 Synth-JEPA 随预算继续下降的轨迹
论文图 2。原论文 Figure 2:：“Sound matching performance when scaling the number of model evaluations (search budget / ODE solver steps).”。
从像素看，流匹配曲线在左侧小时间区域迅速下降后走平，免渲染的两条曲线在中间时间区域分叉，SIGReg 版本随时间向右下方继续延伸，动量教师版本位置更高。渲染器在环与代理曲线整体偏上，标注的评估次数随横轴增大而增大。读图时不能把曲线向下直接等同于所有步都单调变好，也不能把末步结果推广到所有预算，原文只支持总体趋势随预算改善的判断。
听感评价是另一类证据。18 名听众每人判断 48 对，16 个目标覆盖域内 8 个、NSynth4 个、FSD50K4 个，对照 3 个基线，试听按负 23 响度单位整体归一化并保留相对电平差，四道含真值的注意力检查全部通过。下表把听感条件与偏好比例收拢，偏好比例越高表示越偏向本文方法。
| 评价范围 | 听众与目标 | 试验量 | 偏好比例 | 响度与质检 |
|---|---|---|---|---|
| 总体 | 18 名听众，16 个目标 | 每人 48 对 | 85.1% 偏向本文方法 | 负 23 响度单位归一化 |
| 域内 | 8 个域内目标 | 跨 3 基线对照 | 89.1% 偏向本文方法 | 4 道真值检查全部通过 |
| 域外 | 4 加 4 个域外目标 | NSynth 与 FSD50K | 81.0% 偏向本文方法 | 随机化顺序与 AB 分配 |
表后的解释必须保留未胜出项与边界。对自动指标而言，FSD50K 上的弯曲倒谱距离是反例，对数梅尔类目标在该列领先。对听感而言，总体 85.1% 不等于每组都相同，域内 89.1% 高于域外 81.0%，且对渲染器在环最强、对流匹配最弱。自动指标不能当成人评，听感表也不能替代频谱表，二者是互补证据。
看图路径： 1. 先看纵轴分组为总体、域内、域外与三类基线对照；2. 再看横轴偏好比例与自助法置信区间是否明显偏离 50% 机会线
论文图 4。原论文 Figure 4:：“Pairwise listening tests. Participants compared a reference to two sound matching attempts and selected the closest.”。
从像素看，森林图的横轴是偏好比例，50% 为机会线，总体点估计在 85% 附近，域内更高，域外略低，3 个基线对照的置信区间都明显位于机会线右侧，但区间宽度与位置不同，说明优势存在但幅度因对照而异。论文用参与者自助重采样给出 95% 置信区间，复述时应说报告显示偏好，而不承诺误判率或延迟同时改善。
拿掉或换掉哪一块会变差，可选渲染又带来什么
消融的教学任务是分离表示、推理与预算三者的作用。第一个对照是防坍缩机制，同一框架下 SIGReg 对动量教师，论文报告 SIGReg 在全部数据集和指标上占优。这是一个已验证的对照，但它只支持选择 SIGReg 的判断，不支持拿掉正则必然如何的推测，因为拿掉正则的实验并未报告。
SIGReg × EMA 教师： SIGReg 的分工是把每个编码器输出分布独立正则化向各向同性高斯，EMA 教师的分工是用动量更新的教师分支提供联合嵌入目标，二者搭配比较的原因是同属防坍缩机制但塑造的优化几何不同，组合意义在于论文在同一框架下对照二者，报告显示 SIGReg 在全部数据集和指标上占优。
第二个对照是可选的最佳候选重排。具体做法是把若干候选真正渲染出来，按对数梅尔频谱的 L1 距离选最接近目标的一个，论文明确说这种做法不再是严格免渲染。效果上流匹配和本文方法都随 k 增大而改善，但本文方法在所有 tested 的 k 保持最强。流匹配相对自身起点改善更陡，论文的有限解释是其条件分布中含有高质量解但单次采样不可靠，这属于支持性解释而非已证明的因果。
下图横轴是每个目标实际渲染的候选数 k，纵轴是多尺度频谱距离，读图前先确认这已离开严格免渲染的设定。
看图路径： 1. 先确认横轴是每个目标实际渲染的候选数 k、纵轴是多尺度频谱距离；2. 再比较 Synth-JEPA 与流匹配随 k 增大谁的下降更陡、谁在所有 k 保持最低
论文图 3。原论文 Figure 3:：“Sound matching performance with inference-time best-of-k selection of rendered audio.”。
从像素看，本文方法的 SIGReg 曲线起点最低并随 k 平稳下降，动量教师版本整体更高，流匹配起点较高但随 k 下降较快，两个代理曲线相对平坦。这个图的可执行观察是比较起点高低、斜率陡峭程度和交叉与否，而不是背诵某个 k 的具体数值，像素不能精确辨别的步数不应硬写。代价也很清楚，重排的每一步都是真实渲染，k 越大越接近渲染器在环的成本，部署时需要按预算取舍。
哪些边界没有测，哪些结论不能推广
论文明确留了 3 个边界。第一，训练只用了合成器数据，模型不是为非合成器音频训练的，域外结果是泛化测试而非目标领域，FSD50K 上的混合表现提醒通用分布仍有差距。第二，参数从均匀先验采样，诱导的音频分布不均匀，可能塑造几何，音频感知的采样策略留作未来工作。第三，搜索只精修连续参数，离散参数靠复制或重采样，剪枝依据的也是学到距离，如果学到距离在某些区域失真，剪枝可能提前丢掉好解。
还有两个不能推广的点。总体趋势不等于每组每步都成立，扩展曲线只在测试的预算范围内显示改善，不能外推到无限预算。听感偏好 85.1% 是在特定响度归一化、耳机或高质量扬声器、通过注意力检查的听众下得到的，不能等同于部署延迟、误判率或成本同时改善。论文也没有测量这些系统量，复述时应使用报告显示与支持的措辞，超出证据的推测用可能或待验证表达。
复现先做什么，需要哪些超参数与信息条件
复现的第一步是固定合成器与渲染条件。按论文采用 Surge XT 的 139 个有效参数，关闭音频效果与已知非确定性调制，44.1 千赫立体声 3 秒，对数梅尔 128 频带、25 毫秒窗、10 毫秒跳，前 8000 个频谱估计归一化统计并冻结。任何改动效果器或调制都会改变参数到音频的映射，使数字不可比。
第二步是按配方训练联合嵌入。音频变换器加汇总 token 输出 512 维，参数侧线性投影加专属偏置、32 隐变量感知器瓶颈、8 自注意力块后平均池化，预测器为三块残差多层感知机隐宽 1024，SIGReg 独立作用于两路编码器，1M 步批量 64，AdamW 学习率 3 乘 10 的负 4 次方加预热稳定衰减，权重衰减 0.05。动量教师版本只换防坍缩分支，其余框架相同，适合做对照。
第三步是按预算实现 2 阶段搜索。先用 JADE 进化 32 候选花一半预算，再取最优 8 个做 Adam 精修并 3 次剪枝到 1 个，只更新连续参数。评价时渲染最终参数再算多尺度频谱、弯曲倒谱与 CLAP 余弦，域外目标先截前 3 秒、重采样并上混。官方演示页当前可用，链接状态为 available，但复现仍需补一项验证，也就是在自己的机器上重测每目标墙钟时间与 2048 评估预算下的可运行收益，不能把论文的单卡时间直接当作部署延迟。
何时值得尝试，一句话收束
当任务是针对每个目标反复试错、且渲染成本主导预算时，这套方法值得尝试。它的核心不是更大的回归网络，而是让音频距离沿着参数方向可走，目标编码 1 次、候选评分不再渲染，再用进化加梯度把测试时计算换成质量。如果目标集中在训练合成器的分布内，预期更稳，如果目标是宽分布的通用音频，应先在小规模 NSynth 与 FSD50K 子集上验证弯曲倒谱这类指标的反例，再决定是否引入可选的重排渲染。
一句话收束，Synth-JEPA 把声音匹配从依赖通用相似度的搜索，改成在参数对应关系塑造的几何中做免渲染搜索，域内最优、听感占优、可随预算扩展，代价是专门的联合训练与测试时搜索时间。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses