音乐生成

📄 RenCon 2025: Revival of the Expressive Performance Rendering Competition #音乐生成 #音乐信息检索 #模型评估 #生成模型 ✅ 7.0/10 | 前50% | #音乐生成 | #生成模型 | #音乐信息检索 #模型评估 | arxiv 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Huan Zhang (Queen Mary University of London, London, UK) 通讯作者：未说明（论文未明确标注通讯作者） 作者列表：Huan Zhang (Queen Mary University of London), Taegyun Kwon (Korea Advanced Institute of Science and Technology, Daejeon, Korea), Anders Friberg (KTH Royal Institute of Technology, Stockholm, Sweden), Junyan Jiang (New York University, New York, USA), Hayeon Bang (Korea Advanced Institute of Science and Technology, Daejeon, South Korea), Hyeyoon Cho (Korea Advanced Institute of Science and Technology, Daejeon, South Korea), Gus Xia (Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE), Akira Maezawa (Yamaha Corporation, Hamamatsu, Japan), Simon Dixon (Queen Mary University of London), Dasaem Jeong (Sogang University, Seoul, South Korea) 💡 毒舌点评 亮点在于论文成功复兴并系统化了停滞十余年的音乐表演渲染竞赛，其严谨的两阶段赛制、对人类基准的纳入以及对评估方法的深入分析（如性能蠕虫图），为该领域建立了极具价值的当代基准。短板是论文本质是竞赛报告而非方法论创新，虽然分析细致，但对于寻求新型生成算法或模型突破的读者而言，信息增量有限，更多是“测量”而非“发明”。 ...

📄 Stage Light is Sequence^2: Multi-Light Control via Imitation Learning #舞台技术 #强化学习 #音乐生成 #模仿学习 #目标条件强化学习 ✅ 7.0/10 | 前25% | #舞台技术 | #强化学习 | #音乐生成 #模仿学习 | arxiv 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Zijian Zhao (The Hong Kong University of Science and Technology) 通讯作者：Xiaoyu Zhang (City University of Hong Kong) 作者列表： Zijian Zhao (The Hong Kong University of Science and Technology) Dian Jin (The Hong Kong Polytechnic University) Zijing Zhou (The University of Hong Kong) Xiaoyu Zhang (City University of Hong Kong) 💡 毒舌点评 亮点：论文的核心创新在于将“多灯光控制”这个高维问题巧妙地解耦为“全局分布预测”和“条件分布分解”两个子问题，并为后者设计了一个无需专业演示数据的模仿学习框架，这种分层思路具有很好的工程实用性和扩展性。 短板：方法验证严重依赖于一个仅含8个点光源的过度简化模拟环境，其结论能否迁移到拥有复杂空间关系、方向性和动态效果的真实舞台灯光系统，文中并未提供足够令人信服的证据或讨论。 ...

📄 APEX: Large-scale Multi-task Aesthetic-Informed Popularity Prediction for AI-Generated Music #音乐理解 #多任务学习 #自监督学习 #音乐生成 🔥 8.0/10 | 前25% | #音乐理解 | #多任务学习 | #自监督学习 #音乐生成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.7 | 置信度 高 👥 作者与机构 第一作者：Jaavid Aktar Husain（AMAAI Lab, Singapore University of Technology and Design） 通讯作者：Dorien Herremans（AMAAI Lab, Singapore University of Technology and Design） 作者列表：Jaavid Aktar Husain（AMAAI Lab, Singapore University of Technology and Design）、Dorien Herremans（AMAAI Lab, Singapore University of Technology and Design） 💡 毒舌点评 论文的最大亮点是首次为AI生成音乐构建了流行度与美学质量的联合预测框架，并用严谨的跨架构泛化实验证明了美学特征的有效性，为这一新兴领域提供了有价值的分析视角。短板在于其核心的多任务学习框架在技术上相对常规，且实验结果显示美学辅助任务对主流行度任务的提升有限，这使得“联合预测”带来的增益不够突出。 ...

📄 Khala: Scaling Acoustic Token Language Models Toward High-Fidelity Music Generation #音乐生成 #自回归模型 #音频大模型 #预训练 #模型评估 ✅ 7.5/10 | 前25% | #音乐生成 | #自回归模型 | #音频大模型 #预训练 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jiafeng Liu (中央音乐学院) 通讯作者：Maosong Sun (清华大学) 作者列表：Jiafeng Liu (中央音乐学院), Yuanliang Dong (中央音乐学院), Hongjia Liu (中央音乐学院), Yuqing Cheng (中央音乐学院), Zhancheng Guo (中央音乐学院), Huijing Liang (中央音乐学院), Wenbo Zhan (中央音乐学院), Yuming Sun (中央音乐学院), Xiaobing Li (中央音乐学院), Feng Yu (中央音乐学院), Maosong Sun (清华大学) 💡 毒舌点评 亮点：大胆摒弃了音乐生成中常见的“语义token+声学解码器”或“扩散模型”的双阶段异构范式，提出并验证了在一个统一的64层RVQ声学token层次中完成从结构到高保真度生成的可能性，这种思路的简洁性和统一性本身就是一个重要的理论贡献。 短板：虽然人类评估结果亮眼，但论文避开了与当前最强开源模型（如MusicGen， Udio等）在标准客观指标（如FAD， CLAP score）上的直接对比，使得“开源最强”的宣称在客观比较维度上显得不够硬核；其核心发现“文本对齐可在纯声学模型中涌现”极度依赖精巧的训练技巧（Task 0），这暗示了纯声学路径的脆弱性，并未真正消解对显式语义建模的需求。 ...

📄 MG-Former: A Transformer-Based Framework for Music-Driven 3D Conducting Gesture Generation #音乐生成 #Transformer #对比学习 #跨模态 #数据集 ✅ 7.5/10 | 前25% | #音乐生成 | #Transformer | #对比学习 #跨模态 | arxiv 学术质量 0.7/7 | 选题价值 0.7/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Ke Qiu (Malou Tech Inc) 通讯作者：未说明（论文中两位作者标注为“Contribute equally”，未明确通讯作者） 作者列表：Ke Qiu (Malou Tech Inc)、Yawen Qin (South-Central Minzu University)、Tianzhi Jia (Beijing Jiotong University)、Xiaole Yang (ADVANCE.AI)、Kaimin Wang (Fudan University)、Kaixing Yang (Renmin University of China) 💡 毒舌点评 亮点在于为指挥手势生成这一小众但高表现力的任务构建了从SMPL数据管线到检索评估的完整技术栈，体现了系统工程思维；短板是作为新提出的方法，仅与两个基线对比，且关键的数据集规模等细节模糊，使得“SOTA”宣称的分量稍显不足。 ...

📄 MindMelody: A Closed-Loop EEG-Driven System for Personalized Music Intervention #音乐生成 #音乐信息检索 #预训练 #多模态模型 #大语言模型 ✅ 7.0/10 | 前50% | #音乐生成 | #预训练 | #音乐信息检索 #多模态模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：未说明（论文声明Yimeng Zhang, Yueru Sun, Haoyu Gu贡献相等） 通讯作者：未说明 作者列表：Yimeng Zhang（华南理工大学）、Yueru Sun（华南理工大学）、Haoyu Gu*（华南理工大学） 💡 毒舌点评 亮点：论文提出了一个完整且逻辑清晰的“EEG-情感-干预计划-音乐生成”闭环框架，巧妙地引入“情感中介”来规避直接EEG-音乐映射的对齐难题，工程集成度高。 短板：核心用户研究仅在小规模（未说明具体人数）的短期实验内进行，缺乏临床有效性和长期效果验证；且系统严重依赖未公开的知识库和特定闭源大模型（Qwen2.5），限制了可复现性与独立验证。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重链接。 数据集：论文中提及使用了公开的DEAP数据集（用于EEG情感建模）和MusicCaps数据集（用于音乐-文本数据，论文中使用了其2000个片段的子集进行情感标注）。论文中未提供这两个数据集的具体下载链接。 Demo：论文中未提及。 复现材料：论文中未提及训练配置、检查点等具体的复现材料链接。 论文中引用的开源项目： DEAP (Dataset for Emotion Analysis using Physiological Signals)：论文中提及的公开EEG情感数据集，无具体链接。 MusicCaps：论文中提及的公开音乐-文本数据集，无具体链接。 MusicGen-medium (1.5B)：论文中提及用作预训练音乐生成骨干的模型，无具体链接。 Qwen2.5-7B-Instruct：论文中提及作为干预规划器中使用的大语言模型，无具体链接。 CLAP：论文中提及的用于文本和音频对齐的模型，无具体链接。 JASCO：论文中提及的用于可控音乐生成的模型，无具体链接。 补充信息 [模型架构] 补充：论文明确指出，局部情感轨迹（local affect trajectory）的训练采用了弱监督学习。这是因为原始数据集（如DEAP）仅提供试次（trial）级别的效价-唤醒度标注，而非连续的片段级标注。因此，系统通过构造与全局标签一致性的弱监督信号，来学习EEG片段内部细粒度的情感时序变化。这是一个关键的设计动机，直接针对EEG数据标注稀疏的核心挑战。 [细节详述] 补充：论文在描述用于音乐生成辅助监督的MusicCaps子集标注时，强调了标注流程的规范性以确保数据质量。具体包括：向标注员提供书面说明和低/高效价、低/高唤醒度的锚点示例；音乐片段以随机顺序呈现；最终标签取三名标注员评分的平均值。此外，论文指出该标注子集涵盖了MusicCaps中多样化的流派和乐器编排模式，有助于减少模型训练时的风格偏差（style-specific bias），增强了辅助监督数据的可靠性。 [作者与机构] 补充：论文致谢部分提及该工作由本科生创新创业国家级训练计划（项目编号：202510561174） 支持。 📌 核心摘要 要解决什么问题：现有数字音乐服务依赖静态偏好，无法根据用户的实时心理状态（如压力、焦虑）进行自适应调整，难以满足个性化心理干预的需求。 方法核心是什么：构建一个名为MindMelody的闭环系统。其核心是“情感中介”策略：首先使用混合Transformer-GNN模型从实时EEG信号中解码全局效价-唤醒度（VA）状态和局部情感轨迹；接着，将这些状态输入到一个配备了检索增强生成（RAG）技术的大语言模型（LLM），生成结构化的音乐干预计划（包括节奏、动态等）；最后，通过一个分层的EEG控制器，将这些控制条件注入到预训练的音乐生成模型（MusicGen）中，合成音乐，并根据用户反馈的EEG变化持续更新参数，形成闭环。 与已有方法相比新在哪里：不同于直接映射EEG到波形（数据稀疏且不可解释）或静态推荐，MindMelody引入了层次化的语义桥梁（情感解码 -> 语言计划 -> 层次化音乐控制），并通过闭环反馈机制实现了动态适应。其分层控制器能同时处理全局情感方向和局部时序变化，提升了可控性。 主要实验结果如何：在自动评估中，完整模型在情感对齐（Emo-MSE: 0.082）、动态一致性（Dyn-Corr: 0.63）和计划符合度（Plan-Cons: 0.78）上均优于基线。在包含人类选择歌单、纯文本、文本+静态VA等条件的主观评估中，MindMelody在情感匹配度（Emo.-MOS: 4.21）、感知帮助性（Help.: 4.18）、效价提升（ΔValence: 0.22）和唤醒度偏差（Aro.-Dev.: 0.14）方面取得最佳表现。其在DEA数据集上的跨被试情感解码精度分别为效价76.8%，唤醒度72.4%。 实际意义是什么：该工作为利用可穿戴生理传感设备（如EEG）进行实时、自适应的数字音乐情绪干预提供了一个完整的技术框架和概念验证，展示了脑机接口与生成式AI结合在心理健康领域的应用潜力。 主要局限性是：用户研究规模较小且为短期实验，缺乏临床对照和长期效果验证；系统依赖未公开的音乐治疗知识库和特定大模型，通用性和可复现性受限；情感解码的跨被试泛化能力仍是挑战。 🏗️ 模型架构 MindMelody系统是一个端到端的闭环框架，其整体架构如图2所示，包含三个核心模块：情感编码器（Affect Encoder）、干预计划器（Intervention Planner）和EEG控制模块（EEG Control Module）。 ...

📄 RenCon 2025: Revival of the Expressive Performance Rendering Competition #音乐生成 #模型评估 #音乐信息检索 #基准测试 ✅ 7.5/10 | 前25% | #音乐生成 | #模型评估 | #音乐信息检索 #基准测试 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Huan Zhang（Queen Mary University of London） 通讯作者：未说明 作者列表：Huan Zhang（Queen Mary University of London）、Taegyun Kwon（Korea Advanced Institute of Science and Technology）、Anders Friburg（KTH Royal Institute of Technology）、Junyan Jiang（New York University）、Hayeon Bang（Korea Advanced Institute for Science and Technology (KAIST)）、Hyeyoon Cho（Korea Advanced Institute for Science and Technology (KAIST)）、Gus Xia（Mohamed bin Zayed University of Artificial Intelligence）、Akira Maezawa（Yamaha Corporation）、Simon Dixon（Queen Mary University of London）、Dasaem Jeong（Sogang University） 💡 毒舌点评 亮点：这篇论文作为时隔12年的竞赛复兴报告，其核心价值在于系统性地重新建立了该领域的评测框架，其两阶段赛制设计和对MIDI动态校准问题的讨论，为未来研究提供了清晰的实践路线图和待解决难题清单。 短板：本质上是一篇优秀的“竞赛会议纪要”，其贡献局限于描述已发生的事情和汇总结果，在提出新的、具有启发性的科学假设或算法洞见方面略显不足，更像是一个工作的终点而非新研究的起点。 ...

📄 TMD-Bench: A Multi-Level Evaluation Paradigm for Music-Dance Co-Generation #音乐生成 #基准测试 #流匹配 #多模态模型 ✅ 7.5/10 | 前25% | #音乐生成 | #流匹配 | #基准测试 #多模态模型 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：未说明（论文作者列表未按惯例排序，未明确标注） 通讯作者：未说明 作者列表：Xiaoda Yang, Majun Zhang, Changhao Pan, Nick Huang, Yang Yuguang, Fan Zhuo, Pengfei Zhou, Jin Zhou, Sizhe Shan, Shan Yang, Miles Yang, Yang You, Zhou Zhao（所有作者所属机构在论文中未明确说明） 💡 毒舌点评 亮点：该工作真正填补了“音乐-舞蹈共同生成”评估领域的空白，提出的多层级评估框架（从物理节拍对齐到MLLM感知判断）非常系统且具有前瞻性。 短板：论文在宣传自身模型“RhyJAM”的竞争力时，其音频美感、视频质量等关键指标与顶级闭源模型（如Veo 3）仍有可见差距，却未深入讨论为何“统一架构”未能在所有维度上全面超越级联或闭源方案。 ...

📄 Automatic Stage Lighting Control: Is it a Rule-Driven Process or Generative Task? #音乐生成 #端到端 #预训练 #迁移学习 ✅ 7.0/10 | 前25% | #音乐生成 | #端到端 | #预训练 #迁移学习 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zijian Zhao（香港科技大学） 通讯作者：Xiaoyu Zhang（香港城市大学） 作者列表：Zijian Zhao（香港科技大学）、Dian Jin（香港理工大学）、Zijing Zhou（香港大学）、Xiaoyu Zhang（香港城市大学） 💡 毒舌点评 亮点：论文开创性地将自动舞台灯光控制（ASLC）从“规则映射”问题重新定义为“生成任务”，并基于BART设计了端到端的Skip-BART模型，其生成效果在人工评估中已接近专业灯光师水平，概念和方法均有新意。短板：尽管开创了新范式，但其构建的RPMC-L2数据集仅包含约700个摇滚/朋克/金属风格的现场演出片段，规模和多样性有限，这严重制约了模型在更广泛音乐类型和复杂舞台场景下的泛化能力上限。 🔗 开源详情 代码：是，提供完整代码仓库链接：https://github.com/RS2002/Skip-BART 模型权重：是，提供训练好的模型参数供下载。 数据集：是，提供了处理后的数据集（RPMC-L2）下载链接。 Demo：论文中未提及在线演示。 复现材料：论文在附录中提供了详细的预训练配置（附录A）、实验设置（附录B）和数据集构建细节（附录C），包括所有超参数、损失函数权重和数据处理流程，复现信息非常充分。 引用的开源项目：论文依赖并引用了多个开源工具/模型，包括：PianoBART（用于迁移学习的骨干）、OpenL3（音频特征提取）、PyTorch（深度学习框架），以及用于生成对比歌曲的Suno。 📌 核心摘要 问题：现有的自动舞台灯光控制（ASLC）大多依赖将音乐分类到有限类别后映射到预设灯光模式，导致结果公式化、单调且缺乏合理性。作者认为灯光控制本质上是艺术创作过程，而非简单的规则映射。 方法：论文首次提出将ASLC视为一个生成任务，并提出了端到端深度学习模型 Skip-BART。该模型以BART为骨干，使用OpenL3提取音频特征，通过离散嵌入处理灯光数据（HSV色彩空间的色相H和明度V）。其核心创新是引入跳连接机制，显式对齐音乐帧与灯光帧，以增强时序对应关系。训练过程采用掩码语言模型（MLM）预训练和端到端微调，并结合了迁移学习（PianoBART）和受限随机温度控制（RSTC）采样。 创新：与传统分类-映射范式相比，新在：(1) 将ASLC建模为序列到序列的生成问题；(2) 设计了包含跳连接的Skip-BART架构；(3) 构建了首个专门的ASLC数据集RPMC-L2。 实验结果：在自建的RPMC-L2数据集上，Skip-BART在定量指标（RMSE, MAE, corr(|Δ|)）上显著优于规则基线方法（见下表）。人工评估（38名参与者）显示，Skip-BART的总体评分（M=4.35）与真实灯光师（M=4.51）无显著差异（p=0.724），但显著高于规则方法（M=2.67，p<0.001）。 | 方法 | RMSE↓ (Hue) | RMSE↓ (Value) | MAE↓ (Hue) | MAE↓ (Value) | corr(|Δ|)↑ (Hue) | corr(|Δ|)↑ (Value) | | :— | :— | :— | :— | :— | :— | :— | | Rule-based | 48.67 | 93.39 | 43.43 | 86.55 | 0.50 | 0.58 | | Skip-BART | 36.13 | 60.74 | 28.72 | 51.27 | 0.88 | 2.94 | ...

📄 Bridging Piano Transcription and Rendering via Disentangled Score Content and Style #音乐信息检索 #音乐生成 #多任务学习 #扩散模型 #解耦表示学习 🔥 8.0/10 | 前25% | #音乐信息检索 | #多任务学习 | #音乐生成 #扩散模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Wei Zeng (National University of Singapore, Integrative Sciences and Engineering Programme, NUS Graduate School; School of Computing) 通讯作者：Ye Wang (National University of Singapore, Integrative Sciences and Engineering Programme, NUS Graduate School; School of Singapore, Email: dcswangy@nus.edu.sg) 作者列表：Wei Zeng (National University of Singapore, Integrative Sciences and Engineering Programme, NUS Graduate School; School of Computing), Junchuan Zhao (National University of Singapore, School of Computing), Ye Wang (National University of Singapore, Integrative Sciences and Engineering Programme, NUS Graduate School; School of Computing) 💡 毒舌点评 亮点：巧妙地将演奏渲染（EPR）和乐谱转录（APT）这两个互逆任务统一到一个解耦表示学习的框架中，不仅提升了两个任务的性能，还为可控的音乐表达（风格迁移、自动推荐）开辟了新路径，理论动机清晰，工程实现完整。 短板：模型本身规模较大（188M参数），且PSR模块需要单独训练和推理，增加了部署复杂性；实验数据主要局限于古典钢琴音乐，其在更广泛音乐流派（如爵士、流行）上的泛化能力未得到验证。 ...