📄 把预训练潜在扩散模型适配到古琴历史录音
标签：#音乐生成 | #LoRA | #扩散模型 | #低资源 | #主观评测
评分：5.3/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Huanchen Cai：Division of Speech, Music and Hearing (TMH)；KTH Royal Institute of Technology, Stockholm, Sweden
📌 核心摘要
本文输入为十秒古琴录音开头或一段场景文字，输出为延续该开头的续奏或符合描述的独奏，难点是历史录音有磁带噪声和有限带宽、古琴滑音带来经过性半音与摩擦噪声，而可用筛选录音仅四十二点五小时。方法先按曲目分组划分录音并切成模型原生长度窗口，再经冻结自编码器得到连续隐变量序列，为后续扩散变换器提供输入。然后在Stable Audio 3 Medium上训练秩十六的DoRA适配器，采用偏向续写的掩码、考据曲目叙述加心情标签与自动估计五声音阶调式组合的文本及随机长度裁剪，并以留出损失停止为准。生成时保留开头续写或由文字直接生成，并用多生成截尾与响度锁定拼接长音频。在八个未见曲目开头的最终听评R7中，最终适配器续写总体评分均分指标为3.88，高于对照最佳早期适配器的总体评分均分指标3.38。在训练后新写的五个场景描述生成中，总体评分均分指标最终适配器为4.60，高于同一早期检查点的总体评分均分指标3.60。相对从零训练仍无可辨认音色的连续隐变量自回归基线，该适配保留了预训练音色先验，但结论只适用于该历史录音风格与单听者评测，长链播放仍有音乐性失败未解决。单卡RTX 5070 Ti上三十五秒文本生成的生成耗时指标为4.1秒，约为8.6倍实时，训练单轮约45.9分钟。
🔗 开源与复现资源
- 第三方资源：https://github.com/HuanchenCai/guqin-generation — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
古琴录音要解决的是什么样的生成任务
论文的目标很具体：做一个不停播放古琴风格音乐的 AI 电台，有两种输入方式，一是给一段真实录音的开头，让模型往后续弹，二是给一句自由写的场景描述，让模型从无到有生成一段。输出都是数十秒的立体声音频，可以拼接成长时间播放。必须保留的信息是古琴的乐器身份：七弦无品，散音、泛音、按音 3 种基本音色，按音里的滑音、揉弦带来的经过性半音和手指摩擦噪声是风格的一部分，不是需要去掉的瑕疵，同时曲目大多是五声音阶。
难点在于可用的高质量数据很少，只有四十多小时二十世纪中期的历史录音，带有磁带嘶声和有限带宽，而且表演者分布不均，前 5 位表演者占约 40% 时长。预训练大模型大多听的是西方流行和资料库音乐，对这种集中在特定指法上的噪声和半音先验很差。论文因此不从零训练，而是适配一个已经会通用音频生成的潜在扩散模型，再用听感决定每一步是否有效。
例子：可以把任务想象成续写，1 位琴家起了《流水》的前 10 秒，模型要以相近的调、音区和密度接下去，而不是另起一首西方吉他曲。
已有古琴研究与通用音频生成处在什么位置
按论文梳理，古琴的工程研究此前集中在分析、记谱和合成，而不是生成。声学侧有用换置数字波导建模不谐性、滑音、泛音和滑指摩擦声的合成器，也有古琴声学数据集建设；演奏分析侧有在带音符标注的历史录音上联合建模调式与技法的工作，有来自九世纪文献的视音频技法数据，也有机器学习做技法分析，相邻的古筝技法检测同样强调对拨弦起音建模。
另一支是减字谱数字化，包括历史谱图像识别、开放组合字形的零样本识别、音符时值转写、按弦与徽位生成音高、从记谱复原音乐以及符号化谱数据集，还有投影辅助学习和机器人弹琴等具身交互。据作者所知，还没有用现代神经生成模型生成古琴音频的发表工作。通用音频侧，Stable Audio 系列在自编码器隐空间生成可变长音频并支持修复和续弹，训练窗口长度影响音乐结构。
自回归词元模型和流式模型天然能无限生成，连续隐变量加扩散头的自回归避免量化，上下文噪声增强可减缓误差累积。低秩适配使几十小时音频的适配成为可能，数据稀缺时重复多轮接近新鲜数据的作用，而生成音乐复制训练素材是需要关注的问题。论文把自己放在低资源微调加听评的位置，不声称新架构，只报告小数据适配的完整记录。
输入是什么，要输出什么，什么算好
输入有 3 类：波形窗口、掩码和文本。波形是 44.1 千赫、16 比特立体声 CD 转录，按模型原生长度切成 59.9 秒窗口；掩码标出哪些隐变量帧给定；文本是曲目说明、情绪标签和自动估计的五声宫调。输出是同样长度的隐变量再解码成的音频。
续弹时给定前 10 秒生成后 25 秒，纯文本时生成 35 秒，长播放时用前一段末尾 15 秒作上下文逐段延长。什么算好完全由 1 位熟悉古琴曲目的专业听者盲听打分决定，每段 1 到 5 分整体分，另加问题标签如半音太多、锯木或金属噪声、不像古琴、没有旋律、接缝突兀，以及自由文字评论。同一开头和随机种子的候选打乱匿名并排比较，评分后才揭示对应关系。论文明确说每条件至多 10 段、单听者，因此配对差异都没有统计显著性，只能看方向和评论是否可操作。
自动指标只是候选：噪声帧比例想抓锯木感，五声拟合度想抓调式偏离，但最终都不作为决策标准。
整体流程如何把历史录音变成可续弹的模型
流程分 4 步。第一步是筛选与划分：638 轨个人收藏经整轨聆听，去掉可闻噪声底、合奏或其他乐器、掌声人声，剩 412 轨独奏、61 位表演者、42.5 小时、108 个规范化曲名，再按曲目分组随机分到训练 329、验证 42、测试 41，保证评测曲目的任何版本都不在训练中出现。第二步是表示与生成器：冻结的 SAME-L 自编码器把波形压成隐变量，Stable Audio 3 Medium 的扩散变换器在隐空间做整流流匹配，支持掩码条件。
第三步是适配与文本条件：只训练 rank 为 16 的 DoRA 小参数，文本把考据过的曲目短叙事、37 词封闭情绪场景标签和每窗口估计的五声调式按比例混合。第 4 步是推理与长播放工程：续弹保留开头，纯文本无掩码，长链通过裁掉静音尾和锁定响度来拼接。7 轮听评穿插其中，每轮回答上一轮提出的问题，另有一条从零训练的隐变量语言模型基线和两个自动指标作为反例。最终模型在 370 轨上训练、验证集早停，推理用蒸馏版加速。
隐变量与扩散目标如何处理一个音频窗口
一个样本先按原生长度对齐切窗，每轨用向上取整的窗口数覆盖，最后一窗贴着结尾对齐，共 2764 窗，去掉 9 窗数字静音。冻结编码器把每窗映射为 645 帧、每帧 256 维的序列，约每秒 10.8 帧。训练时加噪构造中间状态，网络以文本、时长和掩码及被掩码的隐变量为条件，预测从数据指向噪声的速度。损失是预测速度与真实速度差的平方期望。掩码从随机片段、全掩码、无条件生成和给定前缀 3 类中抽样，论文把默认的 0.1、0.8、0.1 改为 0.1、0.3、0.6，让大多数样本长得像续弹。
推理时蒸馏模型只需 8 步积分完成流。文本编码器上限 256 词元，论文每条题词至多用 160 词元并中英并列，另有 10% 概率替换为空串以保留无条件能力。
自编码器 × 扩散变换器： 自编码器负责把 59.9 秒立体声波形压缩成每秒约 10.8 帧、每帧 256 维的连续隐变量序列，并能再解码回音频；扩散变换器负责在这个隐变量空间里学习去噪速度场。自编码器冻结不动提供稳定的声音表示，扩散变换器通过微调学习古琴的音色与句法，二者搭配才实现在小数据上生成可听的古琴音频。
DoRA 适配器 × 蒸馏模型： DoRA 适配器指在冻结大权重旁学习低秩增量和逐行幅度的 2160 万参数模块，蒸馏模型指推理时只需 8 步积分的加速版 Stable Audio 3 Medium。论文在非蒸馏基座上训练 DoRA，再直接挂到蒸馏模型上推理，分工是小参数学风格、大模型保效率，组合后在消费级显卡上达到超实时生成。
\[\mathcal{L}(\theta)=\mathbb{E}_{\mathbf{z},t,\boldsymbol{\epsilon},\mathbf{m}}\left\|v_{\theta}\!\left(\mathbf{z}_{t},\,t,\,c,\,\ell,\,\mathbf{m}\odot\mathbf{z},\,\mathbf{m}\right)-(\boldsymbol{\epsilon}-\mathbf{z})\right\|_{2}^{2}.\]上式中 z 是真实隐变量，zt 是加噪后状态，m 是掩码，c 是文本，l 是时长，v 是网络预测的速度，目标是噪声减数据的差。随机时长裁剪还会把窗口外填成静音隐变量并相应设置时长条件，使模型适应不同长度。
掩码比例、文本题词与长播放拼接各自起什么作用
掩码比例决定训练任务分布，全掩码对应纯文本生成，前缀对应续弹，随机片段对应修复，论文偏向续弹是因为电台主用续弹。文本题词分 3 种按稳定哈希分配：40% 只给标签加调式，40% 给叙事加标签加调式，20% 只给叙事，叙事是按曲目整理的出版注释浓缩，如《流水》与伯牙子期、《广陵散》与聂政复仇和嵇康绝响，标签从平静、孤寂、苍茫、隐逸、秋、江、边塞等 37 词中每曲选二到五，调式是每窗自动估计的宫音。
长播放时每段用已生成末尾 15 秒作上下文生成 48 秒，只保留后 30 秒并用 0.1 秒交叉淡化拼接；针对每段末约 0.5 秒数字静音，多生成 3 秒再裁掉，只保留上下文后的 30 秒；针对一段比一段响的漂移，进上下文前归一到固定电平，输出再匹配回上下文响度。
掩码 × 续弹： 掩码指明隐变量序列中哪些帧是给定条件，续弹指给定前 10 秒、生成后 25 秒的用法。训练时把掩码类型按随机片段、全掩码、前缀三类按 0.1、0.3、0.6 抽样，就是让大多数训练样本都长得像续弹，使训练分布贴近主要用途。
\[P(\text{span},\ \text{full},\ \text{prefix})=(0.1,\ 0.3,\ 0.6),\]\[F=\max_{r}\sum_{s\in P}p\big((s+r)\bmod 12\big),\qquad r^{\ast}=\arg\max_{r}\sum_{s\in P}p\big((s+r)\bmod 12\big),\qquad P=\{0,2,4,7,9\}.\]\[g_{k}=\frac{\rho}{\mathrm{RMS}(C_{k})},\quad y_{k}=\frac{1}{g_{k}}G\!\left(g_{k}C_{k}\right)_{[15,\,45]\,\mathrm{s}},\quad\hat{y}_{k}=y_{k}\cdot\frac{\mathrm{RMS}(C_{k})}{\mathrm{RMS}(y_{k})},\quad\rho=10^{-16/20},\]调式估计先把 60 赫到 2 千赫谱峰折叠成 120 格音级直方图，估计录音整体调音偏移后再折成 12 音级，取与五声音阶集合 0、2、4、7、9 最重合的移位为宫音，拟合度为落入该集合的比例。响度锁定公式中 Ck 是上下文，G 是给定上下文的生成，rho 对应负 16 分贝满幅，逐段归一与回匹配防止电平正反馈。
适配参数如何更新，何时停止
只有 DoRA 参数可训，基座权重冻结。DoRA 对每个冻结矩阵学低秩乘积 BA 和逐行幅度向量 g，rank 与缩放都取 16，可训约 21,600,000。隐变量预先编码 1 次。每个样本在窗内随机取长度 L 和起点 s，最短 215 帧约 20 秒，其余填静音隐变量，时长条件设为帧数除以 10.77。一轮为 2500 步、批量 1，约一轮完整数据，优化器为 AdamW、学习率 1e-4。
每轮后在全部验证窗、5 个固定噪声水平 0.1、0.3、0.5、0.7、0.9 上算平均验证损失，若连续 3 轮未创新低则停，并回退到历史最低点，每 500 步存检查点以便断电续跑。最终 370 轨运行从未适配的 0.6020 降到第 14 轮的 0.5950，后 3 轮未再改进。早期 329 轨试验 3 轮内从 0.5387 单调降到 0.5351、0.5343、0.5337。论文强调损失绝对降幅仅约 1.2%、后期轮间差在 1e-5 量级，大部分是不可约噪声，但单调小降仍可对应大的听感变化，因此损失只用于在未见曲目上决定停止时机，而不是在第 8 或 15 轮的噪声上跳就提前停。
验证损失 × 早停： 验证损失指在留出的验证曲目窗口上、五个固定噪声水平下扩散目标的平均误差，早停指连续三轮没有出现新的最低值就停止并回退到最优点。验证损失只下降约 1.2% 且后期波动在 1e-5 量级，但听感变化大，因此它不用来选好听与否，只用来在未见曲目上判断何时不再继续训练。
\[V_{n}=\frac{1}{5}\sum_{\tau}\frac{1}{|\mathcal{W}_{\mathrm{va}}|}\sum_{w\in\mathcal{W}_{\mathrm{va}}}\mathcal{L}_{\tau}(\theta_{n};w),\]上式中 Vn 是第 n 轮的验证均值，对噪声水平和验证窗双重平均。训练在单张消费级显卡上每轮约 45.9 分钟，17 轮共约 13 小时。
听评与自动指标在什么条件下比较
听评固定用本地网页，同一开头和种子下的候选并排匿名，每段打 1 到 5 分并可选标签和文字，揭示映射前完成评分。开头均来自比较模型都未训练过的曲目，并尽量在不同研究间换曲换人，只有一处例外在局限中说明。配对差异用精确双侧符号翻转置换检验和均值的百分位自助区间报告，但每条件 8 段或更少时功效很低，只作描述。7 轮依次问掩码与数据、推理设置、文本作用、从零基线、训练轮数与调式文本、叙事题词、最终对比。
自动指标一是噪声帧比例：在距峰 45 分贝内的活跃帧中，2.5 到 10 千赫带谱平坦度超 0.25 且与 60 到 2500 赫带差距 30 分贝内者占比，想对应锯木投诉；二是五声拟合度及其起音受限变体，后者用谱通量峰后 30 到 120 毫秒的谐波求和估计攻击音高，看落到开头调式外的起音比例。另有重评一致性检查：15 段在不知情下重评，6 段完全相同，12 段差一分内，平均绝对差 0.8 分，说明单人评分本身波动与模型间差异同量级。
最终适配器在续弹和场景生成上得分如何
最终对比要回答在未见曲目上续弹和按场景描述生成时，长期训练的叙事加标签加调式适配器是否最好。比较条件公平：开头对所有候选都未见，同一开头同一种子并排盲听，指标都是 1 到 5 分的整体均分，方向是越高越好。表前说明至此，结果见下表，表后解释收益与限制。
最终适配器续弹未见验证曲目 8 段的均分高于此前最好适配器和同轮次早期检查点，5 个训后新写的场景描述得分更高且无锯木标签，其中一段以落日雾湖老渔归唱为题被单挑为杰出并被延长到 3.5 分钟；带情绪标签训练使纯文本生成明显改善，而续弹中匹配与相反标签得分相同，说明文本主要在无开头时起作用。限制是每条件仅 8 段或 5 段，自助 95% 区间宽约 2 分，配对检验均不显著，且研究顺序依赖此前评分。
| 任务与条件 | 样本数 n | 均分 A | 均分 B | 其他对照与说明 |
|---|---|---|---|---|
| 续弹未见曲目 | 8 | 3.88 最终 pass14 | 2.75 同轮 pass2 | 3.38 最佳旧适配器 C |
| 场景描述生成 | 5 | 4.60 最终 pass14 | 3.60 pass2 | 未设其他对照 |
| 纯文本有无题词训练 | 5 | 3.80 有题词训练适配器 | 2.00 无题词训练适配器 | 不属于最终对早期检查点比较 |
| 续弹标签条件 | 9 | 4.00 匹配标签 | 4.00 相反标签 | 3.89 无文本训练，3.56 无提示 |
上表把最终轮续弹、场景生成和题词对照放在一起看，题词两格是有题词训练适配器对无题词训练适配器的对照，标签两格是同一适配器在匹配与相反提示下的对照，另附无文本训练与无提示对照。数字表明长期训练和题词对开放生成帮助大，但小样本下不能推广到所有曲目和听者。
训练与推理开销多大，失败的自动指标表现怎样
这张表要回答复现成本与自动筛选是否可用。比较问题是同样在消费级显卡上，训练每轮与总时长、推理相对实时倍率、显存峰值各是多少，以及噪声帧比例与五声拟合度能否代替人耳。条件是论文报告的实测值，指标方向是耗时和显存越低越好，推理倍率越高越好，自动指标则看与评分的 Spearman 相关方向与组内相关。表前说明至此，结果见下表，表后解释代价与反例。
训练每轮约 45.9 分钟、17 轮约 13 小时，纯文本 35 秒约 4.1 秒生成、续弹 25 秒约 6.0 秒生成、峰值 6.5 吉字节，超实时使多候选再选成为可能；但噪声帧比例与评分正相关 0.39 且被标锯木的 9 段反而更低，方向反了，五声拟合度总体 0.52 但同组内仅 0.31，按拟合度选最优仅从 3.41 提到 3.52，去掉最差到 3.58，起音变体组内仅 0.19，说明都不能做选择器。限制是这些相关来自同一位听者的 124 段和 48 段，生成段攻击音落在调式外 33% 高于真实录音中位 22%、被标半音多者 39%，仍只是相关不是因果。
| 评估项目 | 相关系数或耗时 | 样本量或步数 | 分组或条件 | 比例值或结果 |
|---|---|---|---|---|
| 训练每轮 | 45.9 min 每轮 | 2500 步加 276 窗验证 | RTX 5070 Ti 16 GB 单卡 | 13 h 共 17 轮 |
| 噪声帧比例 | 0.39 正相关反向 | 48 段 | 锯木 9 段分组 | 0.0006 对 0.0017 |
| 五声拟合度 | 0.52 总体 0.31 组内 | 124 段 | 同开头候选组内 | 3.41 到 3.52 选优，3.58 去最差 |
上表同时给出成本与负结果，相关系数、样本量、分组与比例值各归其列，避免把自动指标误读为硬件或显存。论文因此坚持用人评为唯一标准，自动指标只作失败记录。
哪些改动有效，哪些没有，随机性有多大
掩码与数据轮用 329 轨训练时，续弹加权掩码 2.62 并未超过发布默认的 2.88，而 412 轨见过验证曲目的适配器 3.38 更高，但后者泄漏了验证曲目不能直接比；两种子均分差 1.6，比任何模型差都大。推理设置轮把适配强度从 1.0 降到 0.7 或只在早期高噪声步用适配器，均分只动 0.1，而基座跑 50 步匹配训练配置反而 2.70 且多段 1 分、评论出现多余乐器；每开头一种子组均分从 1.0 到 4.75，说明开头和种子主导。文本轮续弹不受标签影响，匹配与相反都 4.0 分，纯文本则从 2.0 到 3.8，p 为 0.06。
长度与调式轮一轮与 3 轮加标签都是 3.75，加调式到 4.12，p 为 0.50；叙事轮两轮时故事题词 3.00 低于标签调式适配器 3.50，14 轮后反超 3.88 对 3.38，p 为 0.63，对第二轮 p 为 0.16。从零隐变量语言模型 11 段全 1 分、评论无音色，同期适配器 2.0 分，其验证损失在 10000 步最低、到 40000 步涨 8%。同一半音常在同开头同种子的所有候选中出现在同一秒，指向采样轨迹而非某个适配器。
五声音阶拟合度 × 起音受限变体： 五声音阶拟合度指整段音频的音高分布落入最匹配的宫调式五声音阶的比例，起音受限变体指只看音符起音后 30 到 120 毫秒内估计的攻击音高是否落入调式。二者都是想自动衡量跑调程度，前者看全局统计，后者想贴近听者抱怨的拨弦瞬间半音，但论文发现后者与评分的组内相关更弱。
这些对照说明文本只在无开头时控调，长期训练有听感收益但损失信号弱，选多个 take 再挑是系统必要部件，只是尚无自动选择器。
结论在什么条件下才成立，有哪些明确缺陷
所有评分来自同一位专家，至多每条件 10 段，无配对差异显著，研究按序进行、后轮依赖前轮评分，重评平均差 0.8 分，一段展示曲在后轮曾被打 1 分，波动与模型差同量级，因此不能推广到多听者或所有曲目。R2 的开头来自 1 位按原计划应留出、却被误收入 412 轨训练集的表演者，破坏了未见性。叙事与标签是对传统曲解的浓缩简化，108 题中 22 题仅从标题推断。未检验对训练素材的复制，长链中两条锁定链一条 82 秒后突然崩坏被拒，说明数分钟稳定播放仍未解决。
音高与噪声指标只在同一听者上验证。数据侧表演者不均、开放授权古琴音频不足 1 小时、DVD 核对多为有掌声合奏的新素材，都限制数据规模。论文把这些都记为局限，不把高分当成通用胜利。
要复现需要什么代码、数据与许可
代码侧作者给出语料准备、训练、生成、听评页面与分析的仓库链接，属第三方链接，论文称在标签 arxiv-v1 冻结结果、在 freeze-2026-10-05 记录检查点哈希，本次仅能确认该链接当前可达，不能据此断言作者已开源或长期可用。数据侧训练录音来自个人历史收藏，受版权限制不能再分发，也不发布由其生成的音频或适配器权重。基座模型受 Stability AI 社区许可约束。
复现第一步应是按曲目分组重建划分并留出验证曲目，预编码隐变量后先跑 1 到 3 轮验证流程与听评页面，确认验证损失计算与盲听并排逻辑，再做长训练。硬件按论文为单张 16 吉字节消费级卡，推理峰值 6.5 吉字节。缺的是多听者评估、技法感知的选择器和偏好微调，这些在复现时需要补验证，否则只能重复单人探索性结果。
什么时候值得尝试，第一步做什么，还缺哪项验证
当只有几十小时历史录音、目标是保留特定乐器音色并做续弹或场景生成、且能找到懂行的听者快速迭代时，这条先适配大模型再小参数微调的路线值得尝试；若指望从零训练隐变量自回归或用帧级噪声统计和全局五声比例自动选优，论文的负结果提示很可能白费。复现第一步是做好整轨聆听筛选与按曲目划分，冻结自编码器与基座，只训 DoRA 小参数，用验证损失决定停止，用盲听决定方向，同时把随机种子和开头的影响记下来，多生成多选。
还缺的验证是多听者评估、训练素材复制检测、长链数分钟稳定性的系统测试，以及基于已收集评分的偏好微调。容易误解的是损失小降等于没学到、文本无用或自动指标可用：论文显示小而单调的损失下降可伴随大听感提升，文本在续弹中无用但在纯文本中关键，而噪声越多反而评分越高的反向相关正说明摩擦声的位置与 articulation 比总量更重要，不能用量代替耳。
📎 论文与评分元数据
排名：后50% | 文档类型：应用研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses