英文题目：Aligning Generative Music AI with Human Preferences: Methods and Challenges
会议身份：
conference:aaai:2026:conference-paper-id:41323
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#偏好优化 #主观评测 #音乐 #音乐生成
评分：5.4/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.5/1.5
排名：后50% | 文档类型：综述
👥 作者与机构
- Dorien Herremans：机构信息未能从会议 PDF 纯文本可靠映射
- Abhinaba Roy：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
音乐生成以文本描述为输入、以音频或符号音乐为输出，难点在于时序连贯性、和声一致性与高度主观的审美判断难以被似然目标刻画。本文梳理的大规模人类偏好学习先由成对偏好数据训练奖励或偏好模型以捕捉复杂偏好模式，其输出为后续优化提供人类判断依据。接着扩散架构内嵌的多偏好优化在训练中直接学习偏好对齐表示，利用全局建模同时优化长程和声与节奏依赖。然后推理时树搜索以加权文本一致性与和声一致性复合奖励进行探索与权衡，其输出不修改模型参数即可动态适配用户偏好。与仅优化分布拟合的传统训练相比，其机制差异在于把优化目标从统计保真转向人类判断，并支持多目标权衡与动态适配。在Text2midi生成评测任务下，Text2midi-InferAlign的CLAP得分相对基线text2midi提升29.4%，高于基线的得分。该结论适用边界主要在短篇与西方流行风格，长篇幅、多文化与个性化场景尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么好听难学？
这篇解读的输入是论文正文给出的 3 条偏好对齐路线与音乐特殊性论述，目标是让研究生能复述每条路线对什么输入做什么计算、用什么监督、付出什么代价。必须保留的信息包括任务定义、奖励与策略的更新关系、3 种代表系统的做法与局限、以及可核对的规模与效果数字。输出是一套按学习依赖展开的方法复述，不是效果榜单。
论文研究的任务是文本到音乐生成中的偏好对齐。输入通常是一句文字描述，例如欢快的运动音乐，输出是一段音频或符号音乐。难点在于同一句话可以合法对应复古吉他、电子舞曲或管弦乐，传统监督只教模型像训练数据，不教它在都合理的结果里选更符合当前用户审美的那一个。音乐偏好还跨越多层时间尺度，从毫秒级节奏到分钟级曲式，又受文化、功能与个人经历影响，所以作者把问题框定为似然与人类欣赏之间的鸿沟。
初学者容易误以为音质指标上去了就等于好听了。论文明确区分了技术保真与审美判断，前者可以用音频距离近似，后者需要人的成对比较。成对比较的做法是给同一输入生成两段音乐，让人选更喜欢的一段，记为胜者与败者。后续所有奖励建模与策略优化都围绕这组三元组展开。理解这一点，才能看懂为什么文本 adherence 与音频质量只能解释一部分人类选择。
似然训练 × 偏好对齐： 似然训练负责让模型复现训练分布里的表面模式，学会下一个音符大概率是什么；偏好对齐负责把人的成对比较变成优化方向，让模型在多个都合理的延续里选人更喜欢的。二者搭配的原因是似然只管像不像数据，偏好才管好不好听，组合后模型先有基本音乐能力，再向审美和文本一致性偏移。
从复现角度先记住一条样本轨迹。一句标题进入已预训练的生成模型，得到两个候选片段，人标注出偏好顺序，奖励模型学会给胜者打更高分，策略再向高分方向移动但被约束不能偏离原模型太远。推理时路线则不改权重，而是在生成过程中多试几条标题变体与延续，用复合分数挑出兼顾贴题与顺耳的分支。这条轨迹贯穿后文所有公式与系统。
此前路线走到哪一步，本文接在哪一步？
在通用生成领域，偏好对齐已经形成从人类反馈强化学习到直接偏好优化再到推理时干预的链条。人类反馈强化学习先学奖励再优化策略，直接偏好优化把奖励隐式化以提高稳定性，推理时方法通过对比解码、条件采样或中间表示 steering 在不重训的情况下改变输出分布。论文把这些思想平移到音乐，强调音乐的时间层级与和声约束让直接搬运并不充分。
音乐侧的早期工作提供了两类先验。一类是用乐理规则做奖励去微调循环神经网络，把显式规则写进优化目标。另一类是做交互式自适应系统，用实时情绪反馈调整生成。近期工作延续了这两条线，例如用直接偏好优化做小模型歌曲生成与古典乐谱生成，以及在扩散与自回归 transformer 生成过程中做推理时优化。论文把 MusicRL、DiffRhythm+ 与 Text2midi-InferAlign 选为 3 个重点例子，分别代表大规模人类偏好、扩散架构多偏好、推理时树搜索。
同输入同目标的对照要按运行阶段划分。训练时方法在开发期一次性付出数据与算力，部署后响应快。推理时方法把算力挪到每次生成，适合需求多变但会增加延迟。论文的判断是 3 类方法各有分工，不存在单一胜出者，后文的挑战表也是按可扩展性、多模态、个性化、鲁棒性、效率与评估来组织，而不是按谁分高谁赢来组织。
音乐偏好为什么比文本与图像更难形式化？
论文把音乐偏好的复杂性拆成 4 个来源。时间结构要求同时顾及局部节奏、乐句结构与全局曲式，几分钟甚至几小时的连贯不能只靠局部似然保证。和声内容要求进行在调性语境里有期待与解决，惊喜与顺耳之间需要权衡。文化语境决定了何为好在不同传统里答案不同，功能考量则决定了背景音乐、舞蹈伴奏与专注聆听的优化标准本就不同。
教学上可以用一个例子理解，但例子不携带效果承诺。例如同样是欢快运动音乐，有人要强鼓点电子乐，有人要吉他独奏，功能都是陪伴运动，情绪都是积极，但配器与织体完全不同。例子说明标题到音乐是 1 对多映射，模型必须在多个合法解里做选择，而选择标准只能来自人的比较数据或显式多目标，而不是来自重建误差。
这也解释了为什么常用自动指标不够用。论文指出音频距离与 Inception 分数能反映基线技术质量，文本音频相似度能反映贴题程度，但都抓不住审美判断的主体部分。MusicRL 的消融显示文本贴合与音频质量只能解释一部分人类偏好，剩余部分正是偏好建模需要补上的隐式音乐理解、情绪反应与上下文合适性。
三条路线各在何时改什么，代价落在何处？
论文把方法全景归纳为大规模偏好学习、集成进现代架构的直接偏好优化、以及生成时多目标平衡的推理优化。第一条在训练期改权重，需要大量成对偏好与奖励建模。第二条同样在训练期改权重，但省去显式奖励阶段，适合扩散等连续隐空间架构。第 3 条冻结权重，把计算花在搜索与打分上，适合动态偏好但每次生成都多花算力。
下图是理解分工的最短路径。左侧训练时框对应改模型，右侧推理时框对应改搜索，底部 4 个挑战框说明两路都要面对时间连贯、文化多样、个性化与效率。读图时不要把箭头当成数据流的精确拓扑，它表达的是开发期优化与部署期适配的分工，以及都要回到底部音乐本质难点的判断。
看图路径： 1. 先看顶部两条色带如何把训练时与推理时分成左右两路；2. 再看左侧 RLHF 与 DPO 方框里奖励模型与直接优化的文字差异；3. 再看右侧树搜索方框里标题变异与复合奖励三行小字；4. 最后看底部四个关键挑战方框如何收拢两路的共同难点
论文图 1。原论文 Figure 1：“Overview of selected preference alignment approaches for music generation.”。
图中左侧用 MusicRL 代表人类反馈强化学习，标注了奖励模型、策略优化与约 30 万偏好规模，右侧用 Text2midi-InferAlign 代表树搜索，标注了标题变异、复合奖励与无需重训，中间用 DiffRhythm+ 代表直接优化与多目标。底部的 4 个挑战框把时间连贯、文化多样、个性化与效率并列，提示任何只优化贴题或音质的方案都会漏掉关键维度。后文将沿这张图展开每个框的真实计算，再回到代价与未验证部分。
训练时对齐 × 推理时对齐： 训练时对齐负责在开发阶段改权重，把偏好沉淀进模型参数，部署后推理开销小；推理时对齐负责冻结权重，只在生成时用搜索或重加权挑更符合偏好的分支。搭配的原因是前者适合稳定共性偏好，后者适合临时多变的用户要求，组合意义是按成本和实时性分工，兼顾质量与灵活性。
奖励、策略与复合分数各自算什么？
先走完一个样本的计算链。输入是文本 x 与两个候选 y 胜者与败者，奖励模型输出两个标量分数，偏好模型假设胜者分数高于败者的概率是两者差的 sigmoid。策略优化阶段在新策略采样的输出上求奖励期望，同时减去与参考策略的散度惩罚，系数控制偏离幅度。推理时路线则对每个中间候选算文本一致分与和声分，加权相加后指导树搜索的扩展与剪枝。
奖励建模的符号需要先讲清。x 是提示文本，yw 是被偏好的音乐，yl 是较不被偏好的音乐，r 是待学习的奖励函数，sigma 是 sigmoid。计算目标是让模型赋予观察到的偏好顺序更高似然，即拉大胜败两者分数差。这个目标只用比较，不需要绝对好坏标签，因此适合主观任务。
\[p(yw ≻yl|x) = σ(rϕ(x, yw) −rϕ(x, yl))\]上式是 Bradley-Terry 偏好模型，论文用它训练奖励。实现上就是对每对样本算分数差再过 sigmoid 取对数似然。它不规定音频如何编码，只规定偏好如何变成监督信号。缺项是论文未报告该奖励网络的具体结构与采样细节，复现时不能从系统名推定实现。
奖励模型 × 近端策略优化： 奖励模型负责把人对两段音乐的比较压缩成一个打分函数，输入是文本加音乐，输出是偏好分数；近端策略优化负责在提高该分数的同时不让新策略远离参考策略。搭配的原因是直接冲高分容易钻奖励漏洞，加 KL 约束的策略更新才能稳住音质和多样性，组合意义是用 2 阶段把主观判断变成可稳定优化的目标。
策略优化把奖励变成可采样的生成器。theta 是待优化策略参数，ref 是冻结的参考策略，beta 是散度惩罚强度。目标是最大化奖励期望减去散度，常用近端策略优化求解。论文指出该路线训练不稳定、需要多阶段训练，且存在奖励钻空子风险，即策略学会利用奖励弱点而非真正变好听。
直接偏好优化省去显式奖励。核心洞察是最优策略与参考策略的对数比经缩放后即隐式奖励，只差与输出无关的配分函数，成对相减时配分函数消掉。于是可以直接用偏好对优化策略，目标是让胜者的对数比优势大于败者，再过 sigmoid 取对数。
\[LDPO(πθ) = −E(x,yw,yl)∼D\]上式是 DPO 损失，E 是对偏好数据集的期望，beta 同样控制偏离参考策略的强度。论文强调它稳定且省算力，但仍需小心多目标平衡。DiffRhythm+ 把它适配到扩散连续隐空间，并引入多模态风格条件与多套审美评估，目的是同时照顾结构连贯与听感。原文未给出扩散去噪链上梯度如何截断与存取的完整细节，只提示需要梯度检查点与混合精度等工程手段。
直接偏好优化 × 扩散模型： 直接偏好优化负责跳过显式奖励模型，直接用偏好对调整策略与参考策略的对数概率差；扩散模型负责在连续隐空间里同时优化全局结构，适合长时程和声与节奏。搭配的原因是扩散的去噪链需要适配离散序列的 DPO 形式，组合后可以在训练中同时满足多维审美标准而不单独训练奖励网络。
推理时复合分数的符号更贴近操作。yt 是搜索中的中间候选，x 是原标题，Stext 是文本音频一致分，Sharmony 是和声分，alpha 与 beta 是权重。计算目标是在不改权重的前提下，用加权和在搜索树中排序候选，配合标题变异做探索。
\[Score(yt\]上式只给出加权相加的形式，未报告权重如何选取与归一化方式，也未报告搜索宽度与深度。论文明确说该方法保留多样性并提升质量，但树搜索带来推理开销，实时应用需要在质量与延迟之间权衡。
标题一致性 × 和声一致性： 标题一致性负责衡量生成音乐与输入文字描述在语义上贴不贴，用文本音频相似度刻画；和声一致性负责衡量进行是否顺耳、结构是否自洽。搭配的原因是只追文字容易出现贴题但难听，只追和声容易出现好听但跑题，加权相加后推理时搜索才能在两者之间做显式权衡。
三套系统如何构造监督与更新模型？
MusicRL 的训练分两支。MusicRL-R 用与专家共同设计的序列级奖励，关注文本贴合、感知音质与结构连贯，属于规则与专家先验驱动。MusicRL-U 用大规模人类成对偏好做人类反馈强化学习，先训偏好模型再优化自回归 MusicLM。两者可叠加为 RU，论文报告叠加后人类评价最强。关键点是数据收集向用户呈现两段生成并按整体质量、连贯与贴题选优，复现时需要同类成对呈现界面、质量控制与聚合去偏，但原文未公开该数据集。
DiffRhythm+ 的训练把直接偏好优化写进扩散训练，用 MuLan 嵌入做多模态风格控制，用 SongEval 关注结构与记忆点，用 Audiobox 审美指标关注听感。做法上是在连续隐空间里同时优化全局结构，发挥扩散对长程依赖的优势。论文未报告偏好对如何为长整曲构造、负例如何采样、以及多指标如何加权，复现时应把这些记为缺项，而不是默认均匀加权。
Text2midi-InferAlign 本研究不训练生成权重。它冻结 text2midi 模型，在推理时做树搜索。构造过程是先对输入标题做语义相关变异以扩大探索，再用复合奖励对候选排序。监督来源是文本音频一致模型与和声规则打分，不是新的人标偏好。计算过程是搜索而非梯度更新，因此不存在参数冻结之外的反传路径猜测，也不能把无需重训理解为确定性求解，同一输入多次搜索仍可能因采样与变异而不同。
三者的梯度与更新位置不同。MusicRL 更新自回归策略并经过奖励阶段，DiffRhythm+ 在扩散去噪链上做偏好梯度，InferAlign 不更新任何生成参数。论文没有给出学习率、批量、步数等关键超参数，训练节只能讲清监督来源与更新对象，缺失的超参数必须标为待查，不能从模型规模推定。
用什么数据、和谁比、按什么指标算好坏？
数据与协议按证据交代。MusicRL 依赖约 300,000 对真实用户成对偏好，是已知最大音乐偏好集之一，但明确为私有不公开。DiffRhythm+ 依赖 SongEval 与 Audiobox 审美等多套评估做多偏好优化，面向可控整曲生成。Text2midi-InferAlign 用 CLAP 做文本音频一致性，用和声一致性做音乐性约束，在符号音乐上验证。划分、采样器、聚合口径与统计显著性在原文中没有完整报告，复现时只能按系统名与指标名对齐，不能自创划分。
比较对象是各自基线而非跨系统同场竞技。MusicRL 对 MusicLM 基线，DiffRhythm+ 对基线扩散模型，InferAlign 对基线 text2midi 生成。条件是否一致方面，论文强调人类评价覆盖多风格，自动指标只部分相关，但未报告评估者人口结构、文化覆盖与重复测量设计，因此跨文化有效性仍是开放问题。指标方向是人类偏好率越高越好，CLAP 越高表示贴题越好，和声分越高表示进行越顺，音频距离越低越好但论文更强调其不充分。
成本与部署条件需要分开记。训练时方法把成本放在开发期，需要偏好收集平台、存储音频与符号表示、以及去噪链上的显存管理。推理时方法把成本放在每次生成，需要为搜索分配算力以保住响应时间。论文还提醒偏好会漂移，需要持续监测与触发重训，但未给出漂移检测阈值与重训触发条件，这些是复现前必须补的设计。
主结果在什么条件下成立，数字怎么读？
先提出比较问题与公平条件。问题一是加入大规模人类偏好后是否在人类评价中超过原自回归基线，公平条件是同一 MusicLM 出发点与多风格覆盖。问题二是冻结权重只做推理搜索能否提升贴题而不毁多样性，公平条件是同一 text2midi 基线与同一 CLAP 与和声打分。指标方向是人类胜率与 CLAP 越高越好，同时要看多样性是否保留。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 多风格人类评价，同一自回归出发点 | 人类偏好，约 300000 pairwise preferences 规模下的胜率 | MusicLM 基线 | MusicRL-RU 最强 | MusicRL-R 与 MusicRL-U 均超基线 |
| 同一符号生成基线，无模型修改 | CLAP 文本音频一致性，提升 29.4% | baseline text2midi generation | Text2midi-InferAlign 树搜索 | 保留多样性并提升质量 |
上表把两个可核对数字放进可运行策略的对照里。MusicRL 的规模数字说明监督量级，InferAlign 的百分比说明在冻结权重下贴题的相对改善。论文报告两者都显著超过各自基线，且 RU 叠加最强，InferAlign 在不改模型的情况下保留多样性。支持的判断仅限于各自基线与各自指标，不能跨表比较谁更好，因为任务表示、数据与指标都不同。百分点与相对百分比不可混读，29.4% 是相对基线的相对提升，不是绝对胜率。
代价与反例紧随其后。MusicRL 的偏好数据不公开，限制可复现性，且文本贴合与音质只能解释一部分人类选择，说明自动指标不能当成人评。InferAlign 的树搜索带来推理开销，论文明确提示质量与延迟的权衡。未胜出项方面，单一奖励分支不如 RU 叠加，单一贴题优化若去掉和声约束可能出现贴题但难听，这是多目标必须保留的直接证据。
拿掉哪一块会怎样，哪些对照支持多目标？
按证据组织消融问题。MusicRL 的消融把文本贴合与音频质量从人类偏好中剥离，发现只能解释一部分选择，剩余主观部分支持必须保留人类比较信号。这个对照的逻辑是若只用可测奖励，仍会漏掉审美判断，因此 RU 把显式奖励与人类反馈叠加。论文未报告去掉 KL 约束或换优化器会怎样，不能补写拿掉后必然崩溃。
DiffRhythm+ 的对照是基线扩散与加入多偏好优化后的比较，特别强调长整曲连贯与审美。支持点是扩散同时优化全局结构的能力与 DPO 的结合，但原文未给出单指标消融，即去掉 SongEval 或只留 Audiobox 会怎样没有数字，因此不能断言哪个子指标贡献更大。复现时应把多指标权重当作待搜索项。
InferAlign 的对照是基线生成与加树搜索后生成，CLAP 提升的同时论文强调多样性得以保留。若拿掉标题变异，探索会收缩，若拿掉和声项，搜索会偏向贴题而牺牲顺耳。原文未报告搜索宽度、深度与权重的敏感性曲线，所以只能定性说明两项缺一不可，不能给出最优权重。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 仅可测奖励 vs 加入人类比较，约 300000 pairwise preferences | 人类偏好解释度 | 仅文本贴合加音质 | MusicRL-RU | MusicRL-R 与 MusicRL-U 单分支 |
| 冻结权重加搜索 vs 无搜索，CLAP 提升 29.4% | 贴题与多样性 | baseline text2midi generation | 复合奖励树搜索 | 单一文本分数搜索 |
上表不是新实验，而是把原文已验证的对照按可运行策略重排。第一行说明可测指标不充分，第二行说明复合搜索优于单目标搜索。限制是两行来自不同系统与不同指标，不能合并成统一胜负。未评测边界包括跨风格泛化、跨文化听众与长时程记忆点，这些在原文挑战节被明确列为开放问题。
哪些边界未被测到，不能承诺什么？
论文用表格与正文共同列出 6 类挑战。长结构受注意力复杂度与层级建模限制，现有方法难以稳定处理分钟到小时级曲式。多模态对齐要在视频音乐同步中保持音乐连贯，个性化需要小样本学习与个体审美表示，鲁棒性要面对对抗与偏差放大，效率要面对推理开销与能耗，评估则陷入用人判评人判的循环。
数据稀缺是硬约束。约 30 万偏好集不公开，直接导致可复现性与跨文化扩展受限。当前评估多反映西方摇滚流行电子，跨文化有效性不足，个性化与文化自觉仍 largely 未探索。论文把这些记为研究缺口而非技术错误，相关性不等于因果，不能因为自动指标与人类选择部分相关就承诺优化自动指标必然提升审美。
动态偏好是另一处未验证。用户品味随暴露与经验演化，现有推理优化能做单次适配，但缺乏高效增量学习与演化理论。部署监测同样缺阈值，偏好漂移何时触发重训没有数字。复现时不应承诺延迟、误判率或成本必然改善，训练资源、推理开销与实际延迟要分别测量，总体趋势不等于每组都成立。
要复述与复现，先做什么，后补什么？
复述时值得尝试的条件很具体。若有成对偏好数据且能承担训练成本，优先走训练时路线，把奖励或 DPO 写进开发期。若无重训预算但每次生成可多花算力，优先走推理时树搜索，用标题变异扩大候选再用复合分数筛选。若要做整曲可控生成，优先考虑扩散加多偏好，但要先解决显存与去噪链梯度管理。
复现先做三件事。第一是固定基线与指标，MusicRL 对 MusicLM，InferAlign 对 text2midi，指标分别用人类成对胜率与 CLAP 加和声分，不要混用自动指标当人评。第二是固定偏好呈现协议，两段同输入候选、盲听、记录整体质量连贯与贴题，并做评估者一致性清洗。第三是固定搜索配置，记录变异模板、候选数、权重与延迟，再报告多样性是否保留。
还需补的验证包括跨风格与跨文化听众、长整曲结构记忆点、权重敏感性、以及延迟与能耗。资源状态方面，本次未发现来源绑定且完成验证的开源代码模型或数据，不得声称已公开。MusicRL 数据集明确为私有，复现需自建小规模偏好集并报告人口与文化覆盖。关键超参数在原文缺失，复现报告应明确标出缺项而不是从模型名推定。
一句话收束：何时用哪条路线？
回到中心矛盾，似然学会的是像数据，偏好对齐补的是像人心。训练时 RLHF 适合有大量稳定偏好且能承担数据与训练成本的场景，DPO 适合想省去奖励阶段并在扩散等架构里做多目标的场景，推理时树搜索适合冻结模型、需求多变、愿意用延迟换贴题与顺耳的场景。三者都要在文本一致、音质、风格与时间连贯之间显式权衡，单指标最优不等于整体最优。
对研究生而言，可核对的起点是两个数字与 3 组对照。约 300,000 对偏好对应人类评价超越基线，29.4% 相对提升对应冻结权重下贴题改善，RU 叠加最强与复合优于单目标对应多目标必要性。下一步是亲手跑通一条最小闭环，用自建小偏好集复现成对训练或用固定权重复现搜索，再补上缺失的权重、延迟与跨文化评估，才能把这篇倡议性论文变成可复述的方法能力。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses