📄 用可微 Karplus-Strong 做拨弦音色匹配：事件编码、两种可微实现与三套训练路线的对照
英文题目：Sound Matching with a Differentiable Karplus-Strong Algorithm
评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Pablo Tablas de Paula：机构信息未能在本次解析中与作者逐人可靠绑定
- David Marttila：机构信息未能在本次解析中与作者逐人可靠绑定
- Rodrigo Díaz：机构信息未能在本次解析中与作者逐人可靠绑定
- Irán Román：机构信息未能在本次解析中与作者逐人可靠绑定
- Emmanouil Benetos：机构信息未能在本次解析中与作者逐人可靠绑定
- Joshua D. Reiss：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
要解决的问题是从单声道录音恢复离散演奏结构与物理音色参数，包括有几次拨弦、每次何时发生、基频是多少，以及决定衰减和频谱形状的回路参数，难点在于递归弦模型对时间和频率都很敏感而常用频谱损失不提供起始时间的方向信息。编码器以4秒单声道波形为输入，将其编码为固定数量事件槽，输出每个槽的存在概率、起始时间、基频和回路音色参数。解码器以上一步的参数向量为每事件控制量，以噪声激励经闭环回路渲染出对应波形，其中时域实现用拉格朗日插值处理小数延迟，频域实现用频率采样近似同一回路。音频损失模块以渲染波形与目标波形为输入，计算多尺度频谱与谱最优传输差异，再把梯度回传至编码器以修正事件与参数预测。合成集上仅用参数损失的模型事件F1为0.92，高于时域联合训练模型的0.01，其基频平均绝对误差为15.14音分。真实NSynth原声吉他测试上，时域外部检测器模型的CLAP分布距离为163.95，优于两个谐波加噪声基线的266.20和183.11，但在多数信号保真度指标上仍落后，说明瞬态建模有优势而琴体共鸣等结构超出单回路表达能力。该结论只适用于无扩展技巧的单音拨弦录音，梯度分析显示多事件起始时间联合准确率在5个事件时坍缩至至多4.1%，合成学到的检测难以泛化到真实瞬态。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://ptablasdpaula.github.io/DAFx26-Karplus/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
任务的输入输出是什么：从一段拨弦录音反推可解释参数
本文任务是声音匹配，输入是一段单声道波形，输出是能用合成器重新合成出相近声音的参数。对刚接触音频的研究生，可以把输入想成 4 秒、16 kHz 采样的吉他录音，目标不是转谱成 MIDI 那么简单，而是连音色也要能重建：每个拨弦事件何时发生、基频是多少、弦的衰减和阻尼多大、在哪里拨、拨得多重，以及整体录音距离增益。
必须保留的信息有两类，一是离散结构，即有几个拨弦、各自起音时间，二是连续物理量，即决定音高和衰减的延迟线长度与回路滤波器。输出必须可解释且可重新渲染，评价既看波形和频谱是否接近，也看事件检测与音分误差。难点在于起音和基频的音频损失梯度不可靠，外部检测器又有八度错、漏检和时移，逐帧预测还会让误差在反馈回路里累积。
已有路线为何不够：外部检测器与逐帧预测的代价
Karplus-Strong 原本是短噪声 burst 在带滤波的延迟反馈环里循环，延迟决定音高，回路滤波决定衰减。把它做成可微解码器后，前人工作多依赖外部基频和起音检测器，再逐帧预测衰减与音色。论文指出这在拨弦瞬态附近基频波动大、起音检测易时移，且把弦与品丝碰撞误当拨弦。
另一条线是频率采样实现，把小数延迟写成频域相位旋转，并行度好，但当脉冲响应长于傅里叶帧长会出现时间混叠。时域并行伴随法能避免截断，但它在谱损失下的梯度行为此前没有系统测量。音频损失方面，多尺度谱损失对音色有效但对音高不可靠，谱最优传输想补方向梯度，参数损失则需合成数据真值。本文的对照正是要把实现方式与监督方式拆开。
论文要解决的具体问题与三点声明
论文想做无人工标注的按事件自监督系统：不靠外部起音与基频检测器，直接从可微合成器与可免费标注的合成数据中得到监督，同时恢复有几个拨弦、何时、何调，以及弦音色。约束是假设没有揉弦、滑音等扩展技法，一个音符内阻尼、衰减和基频恒定，这样按事件建模比逐帧更稳。
三点贡献按原文是：证明延迟线长度经拉格朗日插值在时域可微，梯度行为与频率采样相当且无时间混叠；系统梯度分析表明标准谱损失对起音时间没有有意义的方向梯度，严重拖累联合训练；在合成数据上只用参数损失能有效学基频、音色与起音，而外部检测器加音频损失在真实数据上泛化最好。
整体流程如何分工：编码器、合成器与三套训练路线
沿一个 4 秒样本走一遍，波形先进入事件编码器，得到固定 10 个事件槽，每个槽预测存在概率、起音时间、基频分布与 4 个音色量，再加一个全局距离增益。这些预测事件送入 Karplus-Strong 解码器渲染出波形，与目标波形比音频损失；若有合成真值则同时比参数损失。推理与合成数据生成用逐样本不可微缓冲实现，音频损失训练时用可微实现。
3 套路线共享同一主干但监督不同。只用参数路线端到端预测全部头，只在合成数据上用参数损失；只用音频路线绕过存在、起音与基频头，改用外部检测器切分与定调，只让网络学音色；联合路线端到端预测全部头，同时用参数与音频损失，并做分离梯度的消融。下面的读图说明把这 3 条虚线回路的位置讲清。
读图说明：下图是论文管线总览，重点看中间横向编码主路与上下两条虚线监督回路如何分开 3 套路线。
声音匹配 × 可微数字信号处理： 声音匹配是逆向任务，给定目标音频反推合成器参数；可微数字信号处理是把滤波器、延迟等写成可求导算子，让音频重建损失能反传到控制参数。本文把两者结合：可微 Karplus-Strong 作为可解释解码器，编码器预测事件参数，解码器重合成音频，音频损失或参数损失提供监督。
看图路径： 1. 沿中部 Audio 经双前端、TCN、Transformer 到事件头的横向主路；2. 看顶部绿色虚线参数损失回路与底部蓝色虚线音频损失回路；3. 区分三套路线分别旁路了哪些预测头
论文图 2。原论文 Figure 2:：“Proposed sound matching pipeline. Dashed lines indicate optional paths defining our three training regimes: \mathcalP-Only (end-to-end prediction trained with \mathcalP_loss…”。
图后解释：图中蓝色 Audio 方框是输入，向上经 Mel 频谱与 1 维卷积双前端拼接，进入时序卷积网络得到记忆，再由集合预测 Transformer 的查询输出存在、基频、时间、音色与距离头，组成预测事件后送入粉色 KSA 得到重建音频。顶部绿色虚线是参数损失回路，对比预测事件与合成真值事件；底部蓝色虚线是音频损失回路，对比输入与重建波形。左上灰色虚线框是合成数据生成，左下是真实数据接入，虚线旁路决定了 3 套路线。
扩展 Karplus-Strong 里每个滤波器管什么
扩展算法可按信号顺序理解。噪声激励先过力度滤波器 HD，它是 1 阶低通，用参数控制高频多少，听感上是拨弦强度；再过拨弦位置滤波器 HP，它是前馈梳状，模拟在弦上某分数位置拨弦时某些谐波被节点抑制，小数部分用线性插值实现。之后信号进入延迟反馈环，环内整数延迟定大致周期，回路滤波器 HL 管频率相关损耗，插值滤波器 HI 补小数余量。
延迟与音高关系是采样率除以基频，环路滤波器用一直流增益 g 管整体衰减时间、用截止系数 a1 管高频阻尼的 1 阶全极点形式重参数化。HL 自带与频率有关的相位延迟，所以送给拉格朗日插值器的小数 D 要扣掉该相位延迟与整数部分，这是时域精确调音的关键。先看激励与回路的框图分工，再看公式符号。
读图说明：下图展示扩展 Karplus-Strong 的滤波器串联与反馈位置，适合对照 HD、HP、HL、HI 各自处理对象。
看图路径： 1. 先从左侧 Input 沿蓝色箭头看到 HD 与 HP 两个激励滤波器；2. 再看左侧汇合点如何把激励与 HL 反馈相加后送入整数延迟；3. 注意右侧分叉后一路输出、一路经 HI 与 HL 回到左侧
论文图 1。原论文 Figure 1:：“An extended Karplus-Strong Algorithm.”。
图后解释：像素显示 Input 从左进入 HD 方框再进入 HP 方框，激励经 HD、HP 后在延迟线入口左侧汇合点与 HL 反馈相加，然后进入上方长条整数延迟 z^{-L}，到右侧分叉，一路直接输出为 Output，一路经 HI 再经 HL 反馈回左侧。蓝色箭头标出前向与反馈方向，说明小数插值与损耗都在环内，而激励滤波只作用一次。
环路延迟 L 由下式决定，其中 fs 是采样率，f0 是基频：
\[L=\frac{f_{s}}{f_{0}},\]回路滤波器 HL 形式如下，g 控制直流增益即整体衰减，a1 控制截止即阻尼：
\[H_{L}(z)=g\frac{1+a_{1}}{1+a_{1}z^{-1}}.\]送入拉格朗日插值器的小数延迟 D 需扣除取整余量与回路相位延迟 PL：
\[D=L-\lfloor L\rfloor-P_{L}(f_{0}),\hskip 9.24994pt\text{where}\hskip 9.24994ptP_{L}(f_{0})=-\frac{\angle H_{L}\left(e^{j\omega_{0}}\right)}{\omega_{0}}.\]编码器如何从波形得到 10 个事件槽
编码器分 4 段。双前端并行处理同一波形，一路是对数 Mel 滤波器组，1024 点傅里叶变换、256 跳、128 带、32 到 8000 Hz，抓基频和谐波结构；另一路是可学习 1 维卷积，最多 4 层 64 通道步长 4，对相位敏感瞬态更直接。两路各经批归一与激活后截齐到同一时间轴拼接。
拼接特征投影到 64 维，进入 7 块扩张时序卷积网络，扩张率 1 到 64 指数增大，建立全局上下文记忆。10 个可学习查询经 3 层标准 Transformer 解码器交叉注意该记忆，带正弦位置编码、层归一与丢弃。每个查询由共享线性头解出存在 logit、sigmoid 映射的起音、128 个对数间隔基频档上的软分类、sigmoid 映射到物理范围的衰减、阻尼、拨弦位置与力度，另有一个从时序记忆均值出的全局距离增益。N 取 10 是留余量，多数样本只有一两个拨弦，少数同步 tempo 样本更多。
事件编码 × 集合预测： 事件编码指不逐帧预测阻尼和基频，而是把一次拨弦当作一个离散事件，假设一音符内阻尼、衰减和基频不变；集合预测指用固定 10 个查询槽一次输出事件集合，再用匈牙利匹配对齐真值事件。两者搭配把数多少拨弦、何时拨、什么音高和音色统一成集合回归问题。
两种可微解码器差在哪：时域闭环与频域相移
训练用可微起音把噪声 burst 经直通估计器放置，前向取整到最近采样点，反向走连续相位旋转给出平滑方向梯度。在此之上时域版把回路滤波器、拉格朗日插值器与整数延迟合成一个闭环传递函数，用并行全极点反传求梯度；频域版把离散插值与整数延迟换成连续小数相移，在离散频点上组装传递函数。
时域版无循环卷积截断，频域版在文中取 16384 点傅里叶、256 跳 Hann 窗交叠相加，是衰减长度与时变动态的折中，但长衰减仍混叠。图 3 说明为何高共振下帧长难选：同一组 g 与 a1 在低基频可对应数十秒混响，高频则短得多。
读图说明：下图纵轴是对数 RT60，横轴是基频，颜色表示衰减 g，用于理解延迟长度如何同时影响衰减。
看图路径： 1. 看横轴基频 80 到 1280 Hz 与纵轴对数 RT60 的整体下倾趋势；2. 看颜色条从深到亮对应衰减 g 从 0.90 到接近 1 的变化；3. 注意同组 g 与阻尼在低频可达数十秒混响时间
论文图 3。原论文 Figure 3:：“RT60 values across f_0, damping (a_1), and decay (g) in tKSA (without H_P(z) and H_D(z)), illustrating their highly coupled nature.”。
图后解释：像素显示从左上亮黄到右下深紫的连续带，横轴 80 到 1280 Hz 对数刻度，纵轴 RT60 从 0.1 秒到 100 秒对数刻度。亮色对应 g 接近 1 的长衰减，在 80 Hz 可达 86.26 秒而在 1280 Hz 仅 4.5 秒，说明基频、g 与 a1 高度耦合，监督 g 与 a1 需联合考虑。
两实现的闭环形式如下，时域版保留整数延迟与插值多项式，频域版在频点上用相移：
\[H_{tKSA}(z)=\frac{H_{D}(z)H_{P}(z)}{1-H_{L}(z)H_{I}(z)z^{-L_{int}}},\]\[H_{fKSA}(z_{M})=\frac{H_{D}(z_{M})H_{P}(z_{M})}{1-H_{L}(z_{M})z^{-L}_{M}}.\]时域实现 × 频率采样实现： 时域实现指在时间递推中用拉格朗日插值实现小数延迟并用并行伴随法求梯度；频率采样实现指把反馈回路在离散频点上求滤波器频率响应，用相位旋转表示小数延迟，再经逆变换得到有限长脉冲近似。前者无截断混叠但递推求导复杂，后者并行简单但长衰减会被循环卷积截断。
损失如何组合：音频距离与集合参数损失
总目标是多尺度谱损失、谱最优传输损失与参数损失的加权和，文中采用谱损失权 0.05、传输权 1.0，联合训练时参数权 1.0。多尺度谱用 6 种素数窗长 67 到 2053、无补零、平顶窗的对数幅度谱欧氏距离；谱最优传输把每帧幅度谱归一成频率分布，用分位数函数差的平方积分即平方 2-Wasserstein 代价，理论上对频率平移有方向性。
参数损失只在合成数据上有真值时用。每步用匈牙利匹配按时间 L1 与存在概率把预测槽指派给真值事件，未匹配槽按无事件补零。匹配后加权求和存在 focal 损失、起音、基频负对数似然、距离、RT60、拨弦位置与力度 L1，权重分别为 100、10、2、1、1、0.5、0.5。RT60 不直接监督 g 与 a1，而是按前 10 个奈奎斯特内谐波经回路滤波器每秒循环 f0 次的解析衰减算联合衰减时间，再在 log 空间比 L1，以平衡长短衰减梯度。
多尺度谱损失 × 谱最优传输损失： 多尺度谱损失是纵向逐点比较，多组窗长下对数幅度谱的距离，对音色和包络敏感但对频率平移无方向指示；谱最优传输损失是横向比较，把每帧幅度谱归一成频率上分布，用平方 2-Wasserstein 代价衡量沿频率轴搬运能量的代价，理论上能给频率偏移方向梯度。本文把两者加权组合仍发现对起音时间无用。
参数损失 × 音频损失： 参数损失指合成数据上有真值参数时，直接比较预测事件与真值事件的存在、起音、基频、衰减、阻尼、拨弦位置等；音频损失指只有波形时比较重合成与目标的频谱距离。前者给全局最优方向但依赖合成分布，后者不需标注但对起音和音高梯度不可靠，本文用三套路线分离两者作用。
数据、外部检测器与评价指标如何设定
合成集是 4 秒单声道 16 kHz，每样本 1 到 10 个拨弦，基频恒定在 D1 到 D6，按 Beta 分布采样音色并以 30% 概率掌闷，训练每轮重播种 8360 样本，验证固定 290 样本。真实集取 NSynth 无混响木吉他 D1 到 D6 子集，同样 4 秒 16 kHz，按 8360、930、290 划分训练验证测试。
只用音频路线用 CREPE 微型 Viterbi 估计基频、谱通量回溯检测起音，按起音切段取段内高置信度帧中值作事件基频；泛音加噪声基线用原 DDSP 编码器或本文时序编码器，同样用外部基频与 A 计权响度。评价分 3 类：信号保真用训练同款谱与传输损失，另加经动态时间规整归一的 20 维 MFCC 距离与均方根包络余弦；合成集上另算 25 毫秒窗内存在大于 0.5 的起音准确率召回率 F1、匹配事件音分平均绝对误差与参数损失；真实集上算 EnCodec 与 CLAP 嵌入下的核音频距离，方向都是越小越接近分布。
单事件梯度精度：时域与频域是否相当
本表比较单事件下梯度符号指向真值的比例，条件是固定 110 Hz、2 秒等参数点，粗精度在全范围 250 初值上测，细精度在真值正负 10% 内测，指标越高方向越对，50% 即盲猜。
| 参数 | 多尺度谱-时域粗/细 | 多尺度谱-频域粗/细 | 传输-时域粗/细 | 传输-频域粗/细 |
|---|---|---|---|---|
| 基频 | 68.0 / 58.4 | 69.6 / 63.6 | 54.8 / 50.8 | 50.0 / 50.0 |
| 衰减 g | 100.0 / 100.0 | 100.0 / 99.6 | 70.4 / 47.6 | 73.6 / 47.6 |
| 阻尼 a1 | 100.0 / 100.0 | 99.2 / 94.8 | 40.0 / 50.0 | 34.4 / 50.0 |
| 拨弦位置 | 66.8 / 89.2 | 67.6 / 90.0 | 49.6 / 48.0 | 47.6 / 46.0 |
| 力度 | 100.0 / 99.6 | 98.4 / 92.4 | 97.6 / 100.0 | 98.0 / 98.8 |
| 距离增益 | 100.0 / 100.0 | 96.4 / 82.0 | 99.6 / 99.2 | 97.2 / 86.8 |
| 起音时间 | 51.2 / 55.2 | 52.0 / 56.0 | 42.4 / 14.4 | 62.4 / 88.8 |
该表显示时域与频域在多尺度谱下对多数参数接近，衰减阻尼力度距离接近满分，基频仅六成多，起音在 51% 到 56% 附近盲猜。传输损失对衰减阻尼反而差，对基频约 50% 盲猜，唯一例外是频域起音细精度 88.8%，而无混叠时域仅 14.4%。论文推测这是混叠把时间平移耦合进每帧频谱，被横向传输捡到，属于伪影而非稳健线索，限制是单事件结论不能推广到多事件。
多事件起音梯度与真实频谱图对照
本表比较 K 个等间隔拨弦时起音梯度能否同时指向各自匈牙利匹配目标，条件是 K 取 2 到 5，频域用 16384 点傅里叶 256 跳，Any 指至少一个指向任一真值，Joint 指 K 个同时指向，方向越高越好。
| 事件数 | 多尺度谱-时域 Any/Joint | 多尺度谱-频域 Any/Joint | 传输-时域 Any/Joint | 传输-频域 Any/Joint |
|---|---|---|---|---|
| 2 | 73.4 / 22.7 | 77.1 / 23.0 | 64.1 / 12.1 | 77.5 / 28.5 |
| 3 | 83.3 / 7.4 | 82.7 / 13.9 | 79.9 / 5.6 | 84.9 / 11.6 |
| 4 | 71.6 / 1.6 | 72.8 / 4.7 | 70.7 / 1.2 | 77.6 / 6.6 |
| 5 | 65.9 / 0.4 | 65.3 / 3.3 | 66.9 / 1.2 | 68.6 / 4.1 |
Any 随 K 增大仍保持在 60% 以上，说明总能碰对一个，但 Joint 从 K 为 2 时约 20% 掉到 K 为 5 时至多 4.1%，所有损失与实现都崩塌。论文据此判定没有音频损失能给多事件起音可用梯度，事件分布不均导致时间结构不可用，这直接解释了联合训练中起音头一旦接入音频梯度就崩。单事件频域传输起音 88.8% 的优势在此消失，证明它是孤立伪影。
读图说明：下图用真实木吉他频谱对比目标、时域重建、频域推理重建与频域训练前向，观察混叠如何改变衰减。
看图路径： 1. 对比顶层目标与第二层时域重建的谐波衰减长度；2. 对比第三层频率采样推理重建在基频附近的过长延音；3. 看最底层训练前向因截断反而变短，理解混叠如何误导参数
论文图 4。原论文 Figure 4:：“Sound matching on an NSynth acoustic guitar recording.”。
图后解释：像素 4 个面板横轴 0 到 4 秒，纵轴归一化频率 0 到 pi，颜色为对数幅度。顶层目标基频延音约 2 秒且 3 秒有弱瞬态；第二层时域重建谐波衰减形态接近目标；第三层频域推理重建基频带拖出贯穿 4 秒的过长延音；最底层同一频域参数经训练前向循环卷积截断后反而变短。论文指出截断使模型高估 g、低估 a1，训练时看到的与推理渲染的不一致，这是频域在只用音频路线上更差的主因。
真实吉他建模：外部检测器为何泛化最好
本表比较 NSynth 木吉他测试上的分布与信号保真，条件是联合模型在合成加真实混合上训练，只用音频与泛音加噪声基线在真实上训练，只用参数沿用合成训练，谱、传输、MFCC 与两类核音频距离越小越好，包络越大越好。
| 模型 | 谱↓ | 传输↓ | MFCC↓ | 包络↑ | CLAP↓ | EnCodec↓ |
|---|---|---|---|---|---|---|
| 泛音加噪声 | 246.60 | 0.14 | 7.90 | 0.96 | 266.20 | 17.99 |
| 泛音加噪声增强 | 183.43 | 0.02 | 6.20 | 1.00 | 183.11 | 5.20 |
| 只用参数 | 311.86 | 0.20 | 13.18 | 0.95 | 193.78 | 64.40 |
| 只用音频频域 | 299.47 | 0.30 | 14.08 | 0.93 | 191.50 | 71.91 |
| 只用音频时域 | 262.72 | 0.20 | 12.18 | 0.97 | 163.95 | 40.39 |
| 联合频域 | 468.33 | 0.13 | 32.43 | 0.09 | 547.78 | 494.88 |
| 联合时域断起音 | 336.72 | 0.19 | 14.88 | 0.82 | 213.53 | 96.80 |
| 联合时域断两者 | 341.44 | 0.21 | 15.08 | 0.83 | 201.14 | 99.01 |
增强版泛音加噪声在多数指标最好，谱 183.43、传输 0.02、MFCC 6.20、包络 1.00、EnCodec 5.20，说明单反馈环的 Karplus-Strong 有结构上限，缺琴体共鸣、手弦交互与打品。只用参数到真实后经常漏起音，卷积过拟合合成瞬态。只用音频时域在 Karplus-Strong 内最好且 CLAP 163.95 超过两基线，论文推测是瞬态建模自然，但承认无正式听测。联合不消融包络跌到 0.09 到 0.16，断开起音才回到 0.8 以上，再次印证起音音频梯度是主要失败点，且频域混叠进一步拉低只用音频频域。
合成数据恢复：为何联合训练反而不如只用参数
本表比较 5 种 Karplus-Strong 模型在同分布合成上的信号与参数恢复，条件是训练测试均为合成，联合模型另做从音频损失断开基频、起音或两者梯度的消融，谱、传输、MFCC、参数损失与音分误差越小越好，包络、准确率召回率 F1 越大越好。
| 模型 | 谱↓ | 传输↓ | MFCC↓ | 包络↑ | F1↑ | 音分↓ | 参数↓ |
|---|---|---|---|---|---|---|---|
| 只用参数 | 136.11 | 0.18 | 6.02 | 0.96 | 0.92 | 15.14 | 0.29 |
| 只用音频频域 | 158.95 | 0.19 | 9.29 | 0.91 | 0.89 | 294.39 | 17.49 |
| 只用音频时域 | 149.07 | 0.16 | 9.23 | 0.93 | 0.89 | 294.33 | 15.66 |
| 联合频域 | 252.90 | 0.19 | 15.29 | 0.33 | 0.01 | 116.96 | 4.72 |
| 联合频域断基频 | 251.79 | 0.22 | 15.09 | 0.36 | 0.02 | 45.49 | 3.73 |
| 联合频域断起音 | 195.29 | 0.27 | 10.92 | 0.81 | 0.31 | 42.60 | 1.94 |
| 联合频域断两者 | 163.00 | 0.21 | 8.15 | 0.94 | 0.83 | 12.69 | 0.52 |
| 联合时域 | 241.16 | 0.20 | 13.47 | 0.43 | 0.01 | 13.86 | 3.74 |
| 联合时域断两者 | 155.96 | 0.23 | 7.59 | 0.94 | 0.84 | 14.26 | 0.48 |
只用参数在合成上全面最好，连音色也最好，论文归因于清晰全局方向与 RT60 联合监督阻尼衰减。只用音频靠外部检测器得起音 F1 约 0.89 但音分误差约 294 音分，受八度错拖累。联合不消融时 F1 跌到 0.01、包络仅 0.3 到 0.4，断开起音后大幅回升，断开两者最接近只用参数，证明音频梯度对起音与基频是破坏性的。代价是该结论只在合成分布成立，不能直接搬到真实录音。
结论在什么条件下才成立：未测与不能推广之处
所有重建保真结论限定在 4 秒 16 kHz、D1 到 D6、无混响木吉他与合成同分布上，换采样率、复音、有混响或含揉弦滑音即超出假设。梯度精度结论限定在单事件固定参数点与 K 个等间隔拨弦网格初值上，用符号是否指向真值衡量，不是端到端收敛保证。
只用参数好只在合成内成立，真实漏检说明合成瞬态、噪声底与麦克风相位失真差距未补。CLAP 上时域超基线只是分布距离小一处，不能等同听感更好，论文明确说未做正式听测且提高泛音加噪声帧分辨率可能进一步改善瞬态。低传输损失在崩塌模型中可能是逐帧低通归一化伪影，不可靠。缺证据不等于技术有错，但也不能把相关当因果，把单事件伪影当通用起音线索。
复现第一步做什么：代码、数据与关键超参
复现先从官方演示页的音频例子与合成生成代码入手，按附录过滤 NSynth 到无混响 D1 到 D6、统一 4 秒 16 kHz，再用非可微缓冲 Karplus-Strong 生成合成集。编码器按双前端、扩张时序卷积、10 查询 Transformer 实现，优化用 AdamW 学习率 1e-3、权重衰减 1e-4、批量 32、梯度裁剪范数 1.0、学习率平台减半与早停。
损失权重按谱 0.05、传输 1.0、联合时参数 1.0，参数内部分量按存在 100、时间 10、基频 2、距离与 RT60 各 1、位置与力度各 0.5，存在用 focal，基频 128 档对数间隔 32 到 2000 Hz。频域对照取 16384 点傅里叶 256 跳。第三方演示页当前可达只证明论文提到该链接，不证明作者已开源权重，代码开源、权重下载与可运行是三件独立的事，需分别确认。
什么时候值得尝试与还需补哪项验证
当任务是单声道拨弦、需可解释弦参数且能接受外部起音基频检测器时，值得尝试时域 Karplus-Strong 只做音色优化；当有大量合成真值且测试同分布时，可试只用参数端到端。若目标是最高重建保真或琴体共鸣，优先选增强版泛音加噪声或更完整物理模型。
还需补三项验证：更高保真合成或标注真实数据上的起音泛化，含噪声底与随机全通相位失真增强；时频联合最优传输损失能否同时给起音与基频方向梯度；带打品与手弦交互的扩展解码器能否缩小与泛音加噪声的差距。下一步先跑合成只用参数基线，再切真实只用音频时域，最后才试联合并默认断开起音与基频的音频梯度。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses