📄 音乐音频生成的方法、控制与评价：从乐器片段到完整歌曲与实时演奏
ℹ️ 本文基于论文全文节选生成，超出分析上下文上限的内容未纳入。
评分：6.6/10 | 创新 1/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.9/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Mateusz Modrzejewski：机构信息未能在本次解析中与作者逐人可靠绑定
- Joanna Kurkowska：机构信息未能在本次解析中与作者逐人可靠绑定
- Dorien Herremans：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
读者要理解的对象是从文字、歌词、音频或视频生成音乐音频的系统，难点是不同系统在内部表示、生成过程、控制方式和发布条件上各不相同，直接比较分数容易把数据和评测差异误读成方法优劣。原文先统一表示法，讲解神经音频编解码器与自编码器、自回归与掩码词元模型、扩散与流匹配、采样加速和偏好优化的目标与采样过程，再把系统按器乐、歌曲、控制编辑与现场等应用类组织比较。方法上的关键差异是词元语言模型路线与连续隐变量扩散路线逐渐汇入规划器加渲染器结构，前者先写出语义草图或旋律，后者再渲染声学细节，同时用蒸馏和对抗后训练降低采样步数。在器乐文本生成对照表T1批量离线条目中，以报告时长为指标，MusicGen标注30 s窗口高于AudioLDM标注的10 s生成时长，两者输出采样率分别为32 kHz单声道与16 kHz单声道，差异来自报告口径而非同一评测下的优劣排序。原文未提供可核对的关键定量结果。上述判断的适用边界是跨系统比较受数据与评测协议差异限制，工业歌曲系统训练语料达五百万小时以上且未公开而学术系统仅数万小时量级且评测电池不同，掩码解码在所覆盖系统中未用于完整歌曲，现场与编辑尚缺广泛采用的评测协议。原文未披露训练、推理或部署成本，延迟证据只记录论文报告的批量快于实时或流式声明与测量硬件条件。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇综述要解决什么阅读困难
音乐音频生成不只是让声音好听。歌词到歌曲要对齐词、唱腔与伴奏并保持主歌副歌结构，编辑要改掉指定特征又保留其余录音，现场系统要在音乐家能行动的时间内给出回应。原文把这些要求翻译成表示、生成与控制的选择，并用统一符号重写目标与采样过程，让读者能对照系统报告算出词元率、序列长度与步数代价。
读者对象是熟悉神经网络训练但初入音乐生成的研究生。数学部分假设会用向量、条件概率、期望与梯度，把网络看作拟合样本的参数函数，不要求音频信号处理基础。音乐术语在首次起作用处解释，应用章节先讲例子与权衡再给公式细节。
全书按表示、范式、条件、任务类别与发布属性组织。表示回答保留什么丢掉什么，范式回答分布如何分解，条件回答文本歌词音频如何进入模型，任务类别区分乐器、歌曲、编辑与现场，发布属性记录时长格式延迟开放性与数据来源。评价与数据另设章节，不与生成方法混在一起下结论。
2023 年前后的两条主线从哪里来
早期路线已经给出关键构件。自回归波形模型证明可以逐采样点合成，文本转语音的 2 阶段做法确立先生成中间表示再用声码器渲染，符号变换器证明长结构可以建模，Jukebox 把层级音频码用于完整歌曲但采样以小时计。神经编解码器与残差向量量化把压缩率做到可用，语义加声学分解让层级预测更快。
2023 年初同时出现两条可用路线。一是文本到音乐的层级语言模型，以离散编解码词元为生成对象，配合音乐文本联合嵌入；二是潜扩散，以连续表示达到可比质量；单阶段词元语言模型给出简单强基线。此后扩展到带歌词的完整歌曲，出现规划器加渲染器的混合，先由语言模型写粗结构再由扩散或流模型渲染音频，同时用流匹配、蒸馏与对抗后训练把采样压到实时以上，偏好优化成为常见后训练。
评价改进慢于生成。默认的 Fréchet Audio Distance 即生成特征与参考样本的特征分布差异指标，对嵌入与参考集敏感，与人类偏好相关弱。社区转向偏好数据、专家标注基准、现场偏好竞技与美学预测器，但完整歌曲仍缺统一协议。数据与发布争议另行讨论，不直接作为技术优劣证据。
任务的输入输出与必须保留的信息
综述覆盖的输入包括全局文本、歌词与结构标签、随时间变化的和弦旋律力度、参考音频与指令、现场音频与手势、视频图像与对话。输出包括乐器片段、带人声的完整歌曲、分轨与伴奏、编辑后录音、现场伴随音频。不同任务保留约束不同，歌曲要保留词曲对齐与段落，编辑要保留未改部分，现场要保留因果与低延迟。
比较时先看 5 个问题。生成什么表示，如何分解分布，接受什么条件，评价什么音乐任务，发布物记录了什么。同一提示词下两个系统内部路径可以完全不同，报告的时长硬件与开放程度也不同，因此不能只看范式名称就比质量。原文用类别码固定比较口径，应用类别不同则约束不同，更严格的约束优先决定归类。
6 个贯穿问题帮助阅读。表示决定保真序列长度与控制，序列长度与词元率决定成本，条件决定训练与保真代价，计划决定是否先结构后音频，度量决定结论可信度，发布物决定可复现性。贯穿全文的结论是生成范式在 2023 年前已知，后续差异多在生成对象、后训练与是否先规划，但数据规模与评价不同使跨系统比较无法归因。
五种范式的数据通路总览
为理解后续系统，先沿样本从条件到音频的顺序看 5 条通路。自回归词元模型逐个或分组预测后验词元，掩码模型多轮并行揭开词元，潜扩散从噪声出发多步去噪，流匹配沿选定路径回归速度场，规划器渲染器先写计划再渲染。每条通路的方框是计算阶段，箭头是执行顺序，符号全书统一。
下面这张图把 5 条通路并列画出，是阅读系统报告时定位设计选择的最快入口。读图时先找条件进入点，再看中间表示是离散词元还是连续隐变量，最后看解码器是编解码器解码器还是变分自编码器解码器。
看图路径： 1. 沿从条件到音频的箭头数清每条路径经过几个阶段；2. 比较自回归路径与掩码路径在词元解码器前的输入差异；3. 观察潜扩散与流匹配共用变分自编码器解码器的位置；4. 找到规划器渲染器中计划在何处插入渲染之前
论文图 2。原论文 Figure 2:：“Data paths of the five generative paradigms (D2).”。
该图确实可见 5 个面板从上到下分别对应自回归、掩码、潜扩散、流匹配与规划器渲染器，条件都在最左，音频都在最右，中间经过语义词元、声学词元、噪声隐变量或计划。它帮助把系统描述翻译成表示加范式加条件的组合，而不是把加速采样误认为换了范式，把加了适配器误认为换了主干。
未来可见性 × 块时长： 未来可见性指伴随某时刻输出所能使用的最晚输入时刻，块时长指每次输出音频块的长度，前者决定跟随延迟，后者决定计算预算，组合起来区分批量更快与真正流式的不同约束。
表示：离散词元、连续隐变量与中间计划
神经编解码器是把波形压缩成帧并能重建波形的编码器解码器对，残差向量量化是其常用量化方式。编码器输出帧序列，每帧向量经多级码本逐级量化，每级记录残差与最近码字索引，解码器用索引查表重建。码本数、码本大小、帧率共同决定序列长度与码率，截断码本栈或降低帧率可换更短序列，但重建上限随之变化。
\[r^{(0)}_{n}=e_{n},\qquad z^{(q)}_{n}=\arg\min_{k}\big\lVert r^{(q-1)}_{n}-\mathcal{C}^{(q)}_{k}\big\rVert_{2},\qquad r^{(q)}_{n}=r^{(q-1)}_{n}-\mathcal{C}^{(q)}_{z^{(q)}_{n}}.\]上式计算残差与每级量化索引，r 表示当前残差，C 表示第 q 个码本，z 表示该帧该级选中的表项。它说明离散表示的来源是连续帧向量的最近邻查表，不是直接可微的连续优化。语义词元与声学词元的分工在此基础上建立，前者管走向后者管细节，近年还有单码本、2 维、语义监督与多尺度词元器在做码率权衡。
神经音频编解码器 × 残差向量量化： 神经音频编解码器负责把波形压缩成帧再重建波形，残差向量量化是其中逐级求残差并查表量化的具体做法，二者搭配把连续音频变成离散码本序列，使语言模型可以按词元预测音乐，代价是码本数量与帧率决定序列长度和重建上限。
连续隐变量路线用变分自编码器、梅尔谱或波形直接建模，扩散与流模型在其上运行，每步看到整体因而便于编辑与整体控制。高压缩自编码器在高频、相位与声像上损失已有记录，复杂谱与分带校正针对这些失效。混合或草图表示在条件与音频间插入可读计划，如音频文本嵌入轨迹、语义草图、旋律词元或结构布局程序，使长时结构可指定可修改。
语义词元 × 声学词元： 语义词元保留音乐内容的大致走向，声学词元保留音色与细节，两级分工让模型先规划后补细节，组合后既降低长序列建模难度，又为分层生成与混合规划器提供接口。
下面以 MusicGen 编解码器为具体例子理解代价。该模型对 32 kHz 单声道以 640 采样步长分帧，每秒 50 帧，每帧 4 个词元，每表 2048 项，因此每秒 200 词元，30 秒 6000 词元，码率 2200 比特每秒。词元率低则上下文可放更长并降低解码成本，但重建质量可能下降，这正是词元器研究的交易。
看图路径： 1. 数左侧展开式每帧四个词元共占多少解码步；2. 看右侧延迟模式每步同时预测几个流的哪一帧；3. 注意阴影格表示延迟流尚无可预测内容的时刻；4. 体会同帧内先出现流如何被后出现流看到
论文图 3。原论文 Figure 3:：“Two schedules for predicting four token streams of six frames with one autoregressive model.”。
该图左侧展开式每帧 4 个流逐个预测，右侧延迟模式每步预测各流不同帧并延迟 q 减 1 帧，阴影格表示尚无可预测内容。延迟使同帧内早流被晚流看到，以较小质量代价把步数从 NQ 降到 N 加 Q 减 1。理解该调度才能算出自回归成本随词元数增长的规律。
规划器 × 渲染器： 规划器先生成旋律、草图或结构等中间计划，渲染器再把计划变成音频，前者管长时结构可读可改，后者管音质，分离带来结构可控性，代价是训练用干净计划而推理用预测计划的不匹配。
生成：自回归、掩码、扩散与流匹配如何分工
自回归把分布分解为对历史的条件连乘，天然支持续写与流式，但成本随词元数增长。掩码或并行解码每次预测多处并多轮精炼，以小幅质量换大幅延迟下降，VampNet 用同一掩码模型覆盖生成、修复与变奏，MAGNeT 接近自回归质量而延迟更低，但综述系统里掩码未用于完整歌曲。
潜扩散与级联扩散从噪声出发去噪，每步看到整段，适合编辑与推理时控制。Stable Audio 系列用高压缩连续隐变量上的扩散变换器，加时间位置条件生成数十秒立体声结构，再扩展到数分钟长结构，开源版本给出 Creative Commons 来源说明。质量感知掩码扩散与复数谱自编码器分别针对含噪语料与高压缩失真。
\[\mathcal{L}_{\mathrm{DM}}=\mathbb{E}_{t,h_{0},\varepsilon}\,\big\lVert\varepsilon-\varepsilon_{\theta}(h_{t},t,c)\big\rVert_{2}^{2},\]上式是去噪目标，预测噪声与真实噪声的平方误差期望，t 是时间，h 是隐变量，c 是条件，epsilon 是高斯噪声。它约束去噪器在各噪声水平下恢复噪声，从而定义采样过程。流匹配把目标换成沿路径的速度回归，音乐中常用噪声到数据的直线路径以减少求解步数，再结合一致性训练、步数与层蒸馏及对抗后训练达到快于实时。
\[\mathcal{L}_{\mathrm{FM}}=\mathbb{E}_{t,h_{0},\varepsilon}\,\big\lVert v_{\theta}(y_{t},t,c)-(h_{0}-\varepsilon)\big\rVert_{2}^{2},\]上式回归速度场 v 对目标 h 减 epsilon 的误差，y 是路径中间点。它说明路径选择决定采样效率，块级流匹配保持目标但分块顺序生成。规划器渲染器把任务拆成计划加渲染，计划可以是语义词元、旋律或乐谱，渲染用扩散或流完成，分离带来结构但引入训练推理计划不一致。
扩散 × 流匹配： 扩散从噪声出发逐步去噪，流匹配沿噪声到数据的路径回归速度场，前者每步看到整体便于编辑，后者选择直线路径以减少采样步数，二者都作用于连续隐变量并共享自编码器压缩。
后训练：偏好优化与加速如何各管一件事
偏好优化是可用于任何范式的后训练阶段，给定奖励最大化期望奖励并用相对熵约束不远离参考模型。MusicRL 用于词元语言模型，扩散因似然无闭式而用证据下界的替代，把成对偏好写成去噪损失之差，流模型另有构造。表格记录每系统报告了哪种后训练，评价节回头讨论奖励模型同时作为评判时的循环。
\[\mathbb{E}_{c}\Big[\mathbb{E}_{x\sim p_{\theta}(\cdot\mid c)}\big[r(x,c)\big]-\beta\,\mathrm{KL}\big(p_{\theta}(\cdot\mid c)\,\|\,p_{\mathrm{ref}}(\cdot\mid c)\big)\Big],\]上式中 r 是人评或学得评判给的奖励，beta 控制偏离参考模型的程度，pref 是通常为监督阶段的对齐前模型。它说明偏好优化回答喜欢什么，而对抗后训练回答少步采样如何逼近数据分布，二者名称相似但问题不同，需要的监督也不同。
\[\mathcal{L}_{\mathrm{DPO}}=-\log\sigma\!\left(\beta\log\frac{p_{\theta}(x^{+}\mid c)}{p_{\mathrm{ref}}(x^{+}\mid c)}-\beta\log\frac{p_{\theta}(x^{-}\mid c)}{p_{\mathrm{ref}}(x^{-}\mid c)}\right),\]上式是直接偏好优化损失，比较偏好与非偏好样本在当前策略与参考模型下的对数比，sigma 是逻辑函数。它不需要显式奖励模型，靠成对偏好直接训练，beta 同样起拉回参考的作用。原文提醒 beta 在两式中角色一致，符号借自策略记号但本书用 pi 表示计划，需区分。
价值评估模型 × 辅助分数模型： 价值评估模型按原文任务估计偏好奖励下的期望回报，辅助分数模型按原文任务估计学生分布的分数，两个名字只在各自任务里使用，前者服务偏好优化，后者服务蒸馏与加速，不能混用。
加速与偏好不可混淆。步蒸馏、层蒸馏、一致性蒸馏与对抗蒸馏改变采样成本，偏好优化改变输出偏向。报告需写明后训练目标、反馈来源、模型规模与是否做记忆测试，否则无法判断提升来自方法还是数据与评价。
比较框架与表格如何读才公平
功能入口先按输入输出划分，文本乐器、歌词歌曲、音频到音频、音频加指令编辑、视频配乐、对话统一系统分别对应不同条件类与应用类。同一系统跨类时按主评价任务制表一次，边界按输出与条件而非架构，歌词生成人声归歌曲，音频提示归编辑，延迟约束更严格者优先。
下表给出功能类别到条件类与章节的映射，是从任务目标反查设计选择的起点。读表时先定任务，再看条件，最后看表示与范式，避免把类别差异读成同条件胜负。
| Functional category | Input (D3) | Class (D4) | Examples and section |
|---|---|---|---|
| Text-prompt instrumental | global text | T1 | MusicGen (Copet et al., 2023), Stable Audio (Evans et al., 2024a); Section 6 |
| Lyrics-to-song | lyrics, structure tags, text | T2 | YuE (Yuan et al., 2025), DiffRhythm (Ning et al., 2025); Section 7 |
| Music editing | audio and an instruction | T3 | InstructME (Han et al., 2023), MusicMagus (Zhang et al., 2024b); Section 8 |
该表覆盖 6 类功能，每行给出输入类型、类别码与代表系统及章节。它的限制是只定入口不定实现，同一入口可用离散词元也可用连续隐变量，具体实现要到后表核对。比较问题是任务是否相同，公平条件是输入输出约束一致，指标方向在评价节另定。
下表把 5 个维度的取值链接到机制章节与系统章节，是读新系统报告的操作表。按报告先定 D1 到 D5 各槽取值，再顺藤找到对应机制与同类系统，才能判断权衡发生在表示、计划、条件还是发布属性之间。
| Dim. | Value | Mechanism explained in | Systems reviewed in |
|---|---|---|---|
| D1 | Discrete codec tokens | Sections 3 and 4 | Sections 19, 20, and 7 |
| D2 | Masked and parallel | Section 4 | Section 20 |
| D3 | Global text | Section 14 | Section 6 |
该表列出离散词元、连续隐变量、混合计划、符号、各类范式与条件及发布属性的行，每行指向解释机制的节与综述系统的节。结果是阅读路径而非性能排名，其限制是未记录时长格式与开放性，那些在系统大表中按原文逐格记录，未知格留空不推断。
乐器与歌曲系统报告了什么
乐器文本到音乐以 MusicGen 与 Stable Audio 为参照。MusicGen 报告 30 秒窗口加窗续写，32 kHz 单声道，离线批量，许可数据约 20,000 小时。Stable Audio 报告 95 秒立体声，快于实时，许可数据约 19,500 小时。Stable Audio Open 报告 47 秒立体声，Creative Commons 加公开数据约 7300 小时。Presto 报告对抗步蒸馏与层蒸馏的变体，32 秒单声道加 MusicHiFi 立体声，快于实时。
歌曲系统分 3 类。词元模型把歌词带在序列里，YuE 达 5 分钟生成约 163 秒上下文，HeartMuLa 达 6 分钟 48 kHz 立体声，Muse 描述许可加合成约 7800 小时的管道与语料。端到端扩散或流直接生成整首，ACE-Step 与 DiffRhythm 报告 4 分钟级快于实时，DiffRhythm 2 恢复无标注对齐并加交叉对直接偏好优化。规划器渲染器用词元模型写草图旋律或乐谱再渲染，SongBloom 达 150 秒，ACE-Step 1.5 达 10 分钟，工业报告用显式计划并有人训练对抗暴露偏差。
下表选出歌曲流匹配三行的原文属性，比较问题是在同为歌词加风格输入下时长格式与延迟与后训练有何不同。公平条件是只比报告属性不比质量，指标方向不适用，限制是数据量级与评价电池不同。
| System, D1 | Attributes (D3, D5) |
|---|---|
| Flow matching and rectified flow | |
| ACE-Step (Gong et al., 2025) D1 Lat | Inputs lyrics; text; Duration up to 4 min gen; Output 44.1 kHz (32 kHz mono vocoder); Latency batch, faster than real time; Open ✓; Data U 100k h; Post-training –. |
| DiffRhythm (Ning et al., 2025) D1 Lat | Inputs lyrics; style prompt; Duration 4 min 45 s gen; Output 44.1 kHz stereo; Latency batch, faster than real time; Open ✓; Data U 60k h; Post-training –. |
该表可见三行都是报告为批量离线、快于实时的系统，但时长从 4 分钟到 210 秒不等，输出声道与后训练不同，DiffRhythm 2 带交叉对直接偏好优化。结果支持采样成本上流模型可数秒出整首，限制是工业与学术数据差数十倍，协议不同使质量差异无法归因。未胜出项是掩码并行未用于完整歌曲，长结构仍靠流或规划器渲染。开放与可达状态本文未验证，不作已开源或当前可用断言。
下表用 MusicGen 的完整数字说明如何从编解码器算出成本，比较问题是同一编解码下时长如何换算成序列长度与码率。表中数字与单位来自原文连续句，保留千分位与精度，不做四舍五入。
| 条件 | 指标 | 基线含义 | 本方法数值 |
|---|---|---|---|
| 32 kHz 单声道步长 640 | 帧率 | 每秒帧数 | 50 帧每秒 |
| 每帧 4 词元每表 2048 项 | 词元率 | 每秒词元数 | 200 词元每秒 |
上表把输入表示换算成可直接用于估计上下文与解码成本的量，代价是降低词元率可放更长但可能降重建质量。反例是上下文训练窗不等于最大生成长度，续写与分块可超出窗口，读表需区分窗口、评测片段与单次生成。
实时与乐器路线在延迟上如何取舍
现场要求同时满足吞吐与响应延迟。块流调度中输出落后伴随输入至少未来可见性加计算时间，持续流要求每块计算不超过块时长，吞吐快不等于响应快。大量离线模型降成本路线用步层蒸馏、对抗后训练或块级缓存，Lyria 实时模型以 2 秒块 10 秒上下文连续提示，Magenta 实时公开权重，Live Music Diffusion Models 报告 8 步延迟 1 秒内。
另一路从小模型出发。RAVE 是变分自编码器 2 阶段训练加多带分解，报告 48 kHz 在笔记本 CPU 上 20 倍实时，非因果流式靠缓冲执行离线卷积，控制从隐空间遍历到显式描述子连续控制，可嵌入硬件合成器。Musika 在数百小时与单 GPU 下训练，CPU 上快于实时生成任意长，Neutone 与延迟抖动分析给出部署工具与设计流程。
两路在硬件与输入上分开。流式文本模型多在 GPU 上受文本提示，乐器多在 CPU 上受音频手势，唯一系统研究未来可见性与块时长对感知延迟与连贯的权衡。伴奏是因果问题，强化后训练有奖励作弊致重复输出的记录。评价也分开，乐器靠演奏实践，流式靠分布指标与用户研究，延迟在不同硬件无统一程序，可比性有限。
控制、编辑与计划分离的代价在哪里
时变控制按训练代价分 3 路。在训练中加机制包括控制分支、适配器与微调，Music ControlNet 给扩散加旋律力度节奏分支，Coco-Mulla 在冻结 MusicGen 上加和弦鼓适配器，MusiConGen 微调主干，JASCO 在流匹配中联合符号与音频。轻量条件器减少新增训练，音频提示适配器冻结扩散只训小模块。
推理时优化冻结生成器，DITTO 对初始噪声做梯度优化以贴合强度旋律结构，DITTO-2 另训蒸馏采样器降成本。第 3 路不更新权重不逐次优化，靠已发现的概念方向直接 steering，但找方向本身可能要训稀疏自编码或做激活分析。结构控制用可读计划，MusicLayout 生成对齐布局，MusicWeaver 预测多级节目并把编辑形式化为程序操作。
下图说明规划器渲染器为何有暴露偏差，是理解长歌曲结构代价的关键。读图前先明确训练计划来自数据干净版，推理计划来自规划器预测含误差，渲染器只在干净计划上训练。
看图路径： 1. 对比训练时干净计划与推理时预测计划的来源；2. 找到渲染器在训练阶段没有见过预测误差的位置；3. 理解暴露偏差箭头指向的训练推理不一致环节
论文图 7。原论文 Figure 7:：“The planner-renderer data path and where its training and inference differ.”。
该图上半训练链是条件到规划器再到数据干净计划再到扩散渲染器，下半推理链是条件到规划器再到含误差预测计划再到同一渲染器，斜注标出偏差位置。它解释为何分离带来长程结构的同时必须处理不匹配，有系统为此训练全上下文渲染器。推测是计划内容选择仍按系统各自为政，尚无同协议比较哪种计划对渲染与用户修改更有效。
评价工具各自能证明什么
分布级分数读的是嵌入空间距离。Fréchet Audio Distance 即生成与参考的均值协方差距离，无需配对参考、便宜、曾优于信号指标，但随嵌入与参考集大幅变化，编码器训练任务决定能检出什么声学属性，在现代音乐输出上与人类偏好相关弱。MusicPrefs 上的 MAUVE Audio Divergence 用自监督音乐嵌入算散度，系统排序与听众更一致，但只在一个偏好语料验证。核方法避免高斯假设，平方最大均值差异有无偏估计但小样本方差大，编解码嵌入上有 FAD 优于最大均值差异的报告。
提示 adherence 用对比嵌入的 CLAP 分数，只测贴合不测质量，且与训练管线共享盲区。参考无关的 InvFlowFD 靠流反演读质量，依赖被反演主干。美学预测器与歌曲评判在持有评测上与人类一致，但用作训练奖励时 metric 与目标重合，类型捷径与小评委池已有记录。反事实可控性把请求属性与基础出现率分开，目前只在调性与节拍分组验证。
听感测试仍是应最看重的，前提是报告评委与条目。MusicGen 用 VGGish 的 Fréchet Audio Distance、标签分布的 Kullback-Leibler 散度、CLAP 与整体质量加提示相关性听评 4 种评价，按本节证据前三者各有嵌入与参考局限，听评结论权重最高。竞技场给直接人类投票但反映其用户与提示分布，受控偏好研究 costly 且系统少。编辑保真、情感传达与音乐家框架各有适用面，不能跨任务通用。
复现第一步做什么与开源的三种状态
先按 D1 到 D5 定位再动手。词元路线以 MusicGen 为常见适配基，潜路线以 ACE-Step 与 Stable Audio Open 为基，歌曲微调以 ACE-Step、YuE 与 HeartMuLa 为基，Muse 描述学术规模的歌曲管道与语料，挑战赛给固定数据与算力的乐器设置。控制加到已训模型时，词元模型用适配器保持主干冻结，扩散用控制分支或推理优化，长分钟结构用显式计划，CPU 嵌入式用乐器文献与部署工具。
代码、权重、系统可运行是三件不同的事。本文未验证任何作者资源的当前可达状态，不声称代码、模型或数据已公开或当前可用。表格中的开放符号仅转述论文、模型卡、仓库与产品页在 2026 年 9 月 14 日观察到的记录写法，不代表当前可下载或可运行；撤回与否也以该观察为准。U 不等于违法使用，L 或 CC 也不等于独立审计全部权利与报酬。
复现记录应写清七项。报告时长需注明是训练窗、评测片段、单次生成还是流式，输出写采样率与声道，延迟写批量快于实时还是流式并注明硬件，开放写论文与模型卡记录的写法与主干来源及观察日期，数据写许可构成，声乐与后训练类型如实写。未知格留空不推断，模型规模因报告不一致未制表，记忆测试与水印仅十行有记录未制表。缺哪项就说缺哪项，不从模型名猜实现。
什么时候值得尝试与还缺什么验证
值得尝试的条件按约束选。学术从零训歌曲先看 Muse 管道与语料，乐器固定预算看挑战赛协议，微调先看开放基，长立体声先看 Stable Audio 报告的来源说明，现场文本先看块流模型，现场伴奏必须因果设计，嵌入式先看乐器与部署工具。控制多路尚未同协议比较，计划内容选择也无比较，选型依据是约束匹配而非范式名气。
还缺的验证分 3 类。歌曲需要分开报告歌词人声编曲混音与结构的共享协议，评委招募独立于训练；控制编辑需要在同一主干上比较请求变化、源保留、新增训练与单次成本；发布需要可审计的来源许可、记忆测量与溯源机制适用条件。互动系统另需响应延迟、稳定性与音乐家在用评价，能耗与硬件要求也应报告。
总体判断留有边界。已审系统把已知范式与新表示、计划与后训练组合，表格无法分离每处改动的贡献，因为数据规模与评价同时在变。商业系统闭源且质量不可比，许可协议只定特定公司关系，不证明完整来源、无他方主张或音乐家已同意获酬。进展应支持音乐家能动、知情同意与退出、署名与公平报酬，技术质量与商业采用不能代替这些结果。
📎 论文与评分元数据
排名：前50% | 文档类型：综述 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses