📄 Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints

#音乐生成 #大语言模型 #强化学习 #自回归模型 #数据集

✅ 7.5/10 | 前25% | #音乐生成 | #强化学习 | #大语言模型 #自回归模型

学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高

👥 作者与机构

• 第一作者：Hao Meng（Hao Meng，来自Zuoyebang Education Technology）
• 通讯作者：未说明
• 作者列表：Hao Meng (Zuoyebang Education Technology), Siyuan Zheng (Zuoyebang Education Technology), Shuran Zhou (Zuoyebang Education Technology), Qiangqiang Wang (Zuoyebang Education Technology), Yang Song (Zuoyebang Education Technology)

💡 毒舌点评

亮点：巧妙地将音乐理论“规则化”，并设计了一套完全自动化的偏好数据生成与模型对齐流水线，成功绕开了RLHF依赖人工标注的痛点，是“用领域知识指导大模型”的一个干净利落的范例。短板：所定义的五条规则虽然解决了“合规性”，但可能过于刚性，容易让生成的旋律陷入“安全但平庸”的境地；此外，最终的主观MOS提升虽显著，但绝对值（3.42 vs GT 3.50）显示在感知层面仍有优化空间，评估完全依赖固定规则而非更灵活的人类偏好也是其潜在局限。

📌 核心摘要

1. 要解决的问题：当前基于监督微调的大语言模型在歌词到旋律生成任务中，常常产生音乐上不合理的“约束违反”旋律，如节奏尴尬、音域不合适、单调重复等，限制了其实际应用。
2. 方法核心：提出一个无需人工标注的对齐框架。首先定义五类基于规则的音乐约束，用于自动评估SFT模型生成的旋律；然后自动生成包含“优胜”和“失败”样本的偏好数据集；最后通过顺序应用直接偏好优化和卡尼曼-特沃斯基优化来对齐模型。
3. 与已有方法相比新在哪里：与传统依赖人工标注的RLHF或仅依赖SFT的模仿学习不同，本文创新性地利用确定性的音乐规则来构造偏好信号，并设计了顺序DPO-KTO的两阶段对齐策略，以充分利用配对和不配对数据，实现了全自动、可扩展的领域知识注入。
4. 主要实验结果：在客观指标上，所提方法在中英文测试集上的音高分布相似度（PD）和时长分布相似度（DD）均优于所有基线（如英文PD：32.37% vs SongComposer 31.58%），旋律距离（MD）也显著降低。主观MOS得分（3.42）远超基线（如SongComposer 2.92），并接近真实歌唱音频（3.50）。消融实验证明顺序对齐策略（DPO+KTO）优于单独使用任一方法。规则违反频率分析显示，所提方法在所有五类约束上的错误均大幅减少。

主要实验结果表格：

表1. 不同歌词到旋律生成方法在客观指标上的比较

表2. 整体音乐质量主观MOS评估

表3. 对齐组件的消融研究

规则违反频率分析（图2）：图表显示，与SFT基线相比，所提方法（Proposed）在格式、歌词、音符、时长和音域五种规则上的违反频率均大幅下降，直接证明了其对齐效果。

5. 实际意义：提供了一种可扩展的、低成本的方法，将领域专家知识系统性地注入到生成式大模型中，显著提升了生成内容的专业性和可用性，可应用于辅助音乐创作和增强语音交互能力。
6. 主要局限性：1) 偏好数据完全由预定义的规则生成，可能无法捕捉到更复杂或更主观的音乐审美偏好；2) 对齐效果高度依赖规则集的设计，规则的完备性和阈值设定至关重要；3) 论文未讨论模型在面对规则未覆盖的、更具创造性的旋律时的表现。

🏗️ 模型架构

本论文提出的是一个对齐框架，而非一个全新的生成模型架构。其核心是利用基于规则的约束来改进一个已有的基于大语言模型的生成系统。整体流程（如图1所示）分为三个阶段：

1. 监督微调阶段：以预训练的大语言模型（论文中为Qwen2.5-0.5B）为基础，在大规模的歌词-旋律配对数据集上进行微调。这使模型具备了基本的“歌词输入 -> 旋律符号序列输出”的能力。旋律以“音节，音高，时长”的元组序列表示。
2. 偏好数据生成阶段：使用SFT模型为大量未见过的歌词生成多个候选旋律。然后，利用预定义的五类基于规则的音乐约束对每个生成的旋律进行自动评估：
   • 格式约束：确保输出可正确解析为指定格式。
   • 歌词约束：确保生成的歌词序列与输入歌词正确对应。
   • 音符约束：避免连续音高重复过于单调。
   • 时长约束：确保音符时长在合理范围内，特别是最后一个音符的时长。
   • 音域约束：确保所有音高在人类可演唱的音域内。 根据评估结果，自动构建包含配对数据（一个合规“优胜”旋律 vs. 一个违规“失败”旋律）和不配对数据（仅有违规旋律）的偏好数据集。
3. 顺序对齐阶段：
   • 首先使用直接偏好优化在配对数据集上对SFT模型进行微调，使其学会偏好合规旋律而非违规旋律。
   • 然后，使用卡尼曼-特沃斯基优化在不配对数据集（仅包含失败样本）上进一步微调，专门抑制模型产生已知违规模式的倾向。 这个顺序过程结合了DPO（偏好学习）和KTO（从负面样本学习）的优势，最终得到对齐后的“歌词到旋律”模型。

组件交互：SFT模型作为起点；约束系统作为“自动评判官”生成训练信号；DPO和KTO作为“教练”，根据评判信号调整模型的行为。

💡 核心创新点

1. 基于规则的自动偏好数据生成：这是本文最核心的创新。与依赖昂贵且耗时的人类标注不同，本文定义了一组形式化的音乐规则，能够自动评估SFT模型生成的旋律，并批量生成高质量的“优胜-失败”对或“失败”样本。这为对齐提供了一个可扩展、低成本且客观的监督信号来源。
2. 顺序DPO-KTO对齐策略：针对自动偏好数据的特性（部分有配对，部分仅有负样本），设计了顺序优化流程。先利用DPO从高质量的配对数据中学习偏好方向，再利用KTO从更广泛的不配对负样本中强化抑制特定错误模式。这种策略比单独使用DPO（丢弃无法配对的数据）或KTO更充分地利用了所有自动标注的数据。
3. 将音乐理论知识系统化用于模型对齐：明确地将“旋律悦耳且合理”这一模糊的审美概念，分解为五类可计算、可验证的具体约束规则（格式、歌词、音符、时长、音域），并将它们直接嵌入到模型训练循环中，这是AI与音乐领域知识结合的一个有效范例。

🔬 细节详述

• 训练数据：
  • SFT阶段：约80万中文和50万英文句子级歌词-旋律对，来自SongComposer数据集和专有来源。
  • 偏好数据生成：使用2万条未见过的中英文歌词提示SFT模型生成候选旋律。
  • 最终偏好数据：约90%为配对数据，10%为不配对数据。
  • 评估测试集：从GTSinger数据集中筛选出的1000句（500中、500英）未在训练中出现过的句子。
• 损失函数：
  • DPO损失函数（公式3）：旨在最大化“优胜”响应相对于“失败”响应的似然比，与参考策略（初始SFT模型）保持接近。关键超参数β控制偏离参考策略的程度。
  • KTO损失函数（公式4）：专门用于学习不配对的“不期望”响应，通过最大化模型拒绝生成这些响应的似然来实现。
• 训练策略：
  • SFT：训练50万步。
  • 对齐（DPO & KTO）：学习率为1e-6，使用Adam优化器，β=0.1。
  • 训练硬件：8块NVIDIA A800 GPU。论文未提供具体训练时长。
• 关键超参数：基础模型为Qwen2.5-0.5B。音符约束阈值τnote、时长约束范围dmin/dmax、音域约束范围pmin/pmax的具体数值未在论文中说明。
• 推理细节：论文未详细说明解码策略（如温度、beam search等）。最终旋律音频使用基于TechSinger架构训练的声码器合成。
• 正则化或稳定训练技巧：论文未明确提及。

📊 实验结果

论文通过客观指标、主观评估和消融实验全面验证了方法的有效性。

主要对比结果：与强基线相比，本文方法在两项核心客观指标（PD， DD）和主观MOS上均取得最佳。如表1所示，在英文集上，PD从SongComposer的31.58%提升到32.37%，DD从31.44%大幅提升至37.11%；MD（越低越好）从3.31降至2.63。主观MOS（表2）从SongComposer的2.92提升至3.42，接近人类真实歌唱的3.50。

消融实验分析：如表3所示，顺序对齐（SFT+DPO+KTO）是效果最优的配置。单独使用KTO在DD指标上甚至略优于完整方法，但PD和MD指标较差；单独使用DPO的效果则介于中间。这表明DPO在学习整体偏好上更有效，而KTO在惩罚特定时长违规上很有效，两者结合实现了最佳平衡。

规则违反频率分析：图2（论文中提及但未提供图片，根据文本描述）显示，SFT模型在时长和音域约束上违反频率很高。经过对齐后，所有五类约束的违反次数都大幅下降，其中完整方法（PROPOSED）下降最显著，直接证实了其“教会模型遵守规则”的效果。

图2: 规则违反频率]

（论文中描述：此图展示了在未见过的歌词上，不同模型产生各类规则违反的频次。SFT基线错误频发，而所提方法（Proposed）在所有规则类别上的违反频率均大幅降低。）

⚖️ 评分理由

• 学术质量：6.0/7：创新性在于提出了一套完整的、无需人工标注的规则约束对齐流水线，思路清晰且实用。技术正确性高，实验设计全面，包含多种对比、消融和主观评估，证据充分可信。未给更高分是因为核心创新（规则对齐）属于应用层面的框架创新，而非基础模型或算法上的突破。
• 选题价值：1.5/2：聚焦于歌词到旋律生成这一具体且重要的音乐AI任务，具有明确的实用价值（辅助创作、语音助手）。将大模型对齐技术应用于创意生成是前沿方向。但任务本身相对垂直，受众和影响面可能不如通用的语音或文本模型广。
• 开源与复现加成：0.0/1：提供了Demo链接，但未明确承诺开源代码、模型和数据集。训练细节描述尚可，但缺乏完整的复现包，因此无法给予加成。

🔗 开源详情

• 代码：论文提供了一个交互演示链接：https://arain233.github.io/AligningMelody-demo/，并提到了代码仓库可能位于https://github.com/arain233（根据推断），但论文正文中未明确提供完整的代码仓库链接。文中描述为“An interactive demo with audio comparisons is available at…”，并未承诺开源训练代码。
• 模型权重：论文中未提及是否公开模型权重。
• 数据集：训练和评估数据集未公开，部分来自SongComposer数据集和专有来源。
• Demo：是，提供了在线交互演示和音频对比。
• 复现材料：给出了基础模型（Qwen2.5-0.5B）、主要超参数（β=0.1，学习率1e-6）、训练步数（SFT 50万步）和硬件（8x A800），但未提供完整的训练代码、数据预处理脚本、模型检查点或详细的配置文件。
• 论文中引用的开源项目：引用了SongComposer[3]、TeleMelody[10]、SongMASS[9]、Qwen2.5[17]、TechSinger[18]等开源或已公开的模型/数据集。

← 返回 ICASSP 2026 论文分析