音乐生成

📄 Text2midi-InferAlign: Improving Symbolic Music Generation with Inference-Time Alignment #音乐生成 #强化学习 #文本到音乐 #自回归模型 #大语言模型 ✅ 7.5/10 | 前25% | #音乐生成 | #强化学习 | #文本到音乐 #自回归模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Abhinaba Roy (新加坡科技设计大学) 通讯作者：未明确说明，从致谢和贡献看，Dorien Herremans或Geeta Puri可能为通讯作者，但论文中未明确标注。 作者列表：Abhinaba Roy (新加坡科技设计大学)、Geeta Puri (新加坡科技设计大学)、Dorien Herremans (新加坡科技设计大学) 💡 毒舌点评 本文巧妙地将大语言模型领域成熟的“推理时对齐”范式跨界应用到符号音乐生成，通过精心设计的奖励函数（文本-音频一致性+调性一致性）引导搜索，无需重训模型即可显著提升生成质量，尤其是对自由文本描述的适应性（2.6:1偏好），思路清晰且实用。不过，其核心贡献更像是一次“优秀的系统集成与工程优化”，在音乐生成的深层理论或全新架构上并未突破；奖励函数的设计（如固定权重）以及对“音乐性”的衡量仍依赖于CLAP等外部模型和调性规则，可能限制了其捕捉更复杂、更人性化音乐美学的能力。 🔗 开源详情 代码：提供代码仓库链接 https://github.com/AMAAILab/t2m-inferalign。 模型权重：未提及是否公开预训练的模型权重。 数据集：未提及新数据集。基线模型使用公开的MidiCaps数据集。 Demo：未提及在线演示。 复现材料：论文给出了关键超参数（m, T, α, β）和生成设置（2000 tokens），但未提供详细的训练日志、配置文件或预训练检查点。 论文中引用的开源项目：Text2midi模型、MidiCaps数据集、CLAP模型、Claude-3-Haiku LLM、COSIATEC工具、MIDI Miner库、PsyToolkit。 📌 核心摘要 解决的问题：现有端到端文本到MIDI生成模型（如Text2midi）在推理时，生成的符号音乐在语义上与输入文本对齐不足，且常出现破坏音乐结构性（如调性不协和）的问题。 方法核心：提出Text2midi-InferAlign，一种无需重训练的推理时对齐框架。将生成过程建模为奖励引导的树搜索，交替进行“探索”（使用LLM对原始标题进行变异以扩展搜索空间）和“利用”（基于两个奖励函数：CLAP衡量文本-音频一致性，调性检查衡量和声一致性，对候选序列进行排序和替换）。 创新之处：首次将基于奖励的推理时对齐技术应用于符号音乐生成；设计并验证了针对语义和结构完整性的互补奖励函数；引入标题变异机制以促进生成多样性。 主要实验结果：在MidiCaps测试集上，相比基线Text2midi模型，所有客观指标均有提升，其中CLAP分数提升31.8%，速度（TB）提升32.5%。主观听音测试中，68.75%的听众认为其音乐质量更优。消融实验显示，变异数T=5、替换周期m=100时效果较优。 实际意义：提供了一种即插即用的增强模块，可提升任意自回归音乐生成模型的输出质量与可控性，推动更实用的AI音乐创作工具发展。 主要局限性：性能提升高度依赖奖励函数的设计和外部模型（如CLAP）的质量；对于包含丰富音乐细节的标题（如MidiCaps），探索空间受限，提升幅度有限；推理时间略有增加（约7%）。 🏗️ 模型架构 本论文未提出新的生成模型架构，而是提出了一个推理时优化框架，应用于现有的自回归MIDI生成模型（以Text2midi为例）。整体流程如图1所示。 ...

📄 Time-Shifted Token Scheduling for Symbolic Music Generation #音乐生成 #自回归模型 #多轨音乐 🔥 8.5/10 | 前25% | #音乐生成 | #自回归模型 | #多轨音乐 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Ting-Kang Wang（台湾大学通讯工程研究所） 通讯作者：未说明 作者列表：Ting-Kang Wang（台湾大学通讯工程研究所）、Chih-Pin Tan（台湾大学通讯工程研究所）、Yi-Hsuan Yang（台湾大学通讯工程研究所） 💡 毒舌点评 这篇论文巧妙地将音频领域已有的“延迟模式”思想移植到符号音乐生成，用近乎零成本的方式显著改善了复合token建模的短板，体现了“好移植胜过坏发明”的实用主义智慧。不过，其核心创新更多是工程技巧的适配与验证，缺乏更深层的理论分析或架构上的原创性，并且实验局限于管弦乐MIDI生成，对于更复杂或更抽象的音乐结构建模能力有待观察。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/tklovln/dp-scheduling 模型权重：论文中未提及是否公开预训练模型权重。 数据集：使用公开数据集SymphonyNet，论文中描述了获取和划分方式。 Demo：提供在线演示页面：https://tklovln.github.io/dp-demo/ 复现材料：提供了完整的训练细节（模型架构、数据集处理、超参数、优化器配置）、代码和演示。 引用的开源项目/工具：论文引用了并可能依赖以下开源工具：muspy [23]， pypianoroll [24]， fluidsynth（用于MIDI渲染）。基线模型MMT [15]和NMT [6]也是开源的。 📌 核心摘要 问题：符号音乐生成中，紧凑的复合token表示（将音符多个属性打包）虽提高了效率，但导致模型在并行预测这些属性时忽略了它们内部的依赖关系（如音高与时长的相关性），影响生成质量。 方法核心：提出一种轻量级的延迟调度机制（DP），将复合token的各个子字段（如类型、节拍、音高等）在解码时按固定顺序延迟一步预测，从而将并行预测转化为自回归预测，以建模属性间的依赖关系。 创新：该方法并非新的表示方案，而是一种可即插即用到现有复合token表示上的调度策略，不引入任何额外参数，仅需微小的数据加载器改动。它借鉴了音频领域的延迟模式（如MusicGen），但创新性地应用于符号音乐的异质属性依赖建模。 实验结果：在SymphonyNet管弦乐数据集上的实验表明，将DP应用于基线模型（MMT-DP）后，所有评估指标均优于标准复合token模型。主观听觉测试（26名参与者）显示，MMT-DP在连贯性、丰富性、一致性和总体评分上均有提升，达到了与更复杂的嵌套Transformer（NMT）和细粒度表示（REMI+）相当的水平。客观评估表格如下： 模型 音高类熵（越接近真值越好） 音阶一致性（越接近真值越好） 律动一致性（越接近真值越好） Ground truth 2.70 (±0.39) 0.92 (±0.08) 0.90 (±0.07) MMT 2.42 (±0.46) 0.96 (±0.05) 0.90 (±0.07) NMT 2.74 (±0.43) 0.92 (±0.07) 0.99 (±0.00) REMI+ 2.64 (±0.46) 0.92 (±0.07) 0.88 (±0.08) MMT-DP (Ours) 2.53 (±0.46) 0.95 (±0.06) 0.93 (±0.05) 实际意义：为复合token表示在效率与质量之间的权衡提供了一个极低成本的优化方案，能无缝集成到现有系统中，提升生成音乐的连贯性和准确性。 主要局限性：方法有效性在多大程度上依赖于特定的子字段顺序和延迟步长未充分探讨；实验仅在管弦乐生成任务上验证，对其他音乐类型或更复杂的长篇结构生成能力未加检验。 🏗️ 模型架构 论文提出的延迟调度（DP）机制本身不是一个独立模型，而是一个可插入现有Transformer解码框架的调度策略。以论文使用的基线模型MMT（多轨Transformer）为例，其整体架构如下： ...

📄 Towards Multi-View Hierarchical Video-to-Piano Generation with MIDI Guidance #音乐生成 #扩散模型 #多模态模型 #跨模态 ✅ 7.0/10 | 前25% | #音乐生成 | #扩散模型 | #多模态模型 #跨模态 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Chang Liu（巨像AI Lab；特伦托大学） 通讯作者：Zihao Chen†（巨像AI Lab） 作者列表：Chang Liu（巨像AI Lab；特伦托大学）， Zihao Chen†（巨像AI Lab）， Gongyu Chen（巨像AI Lab）， Chaofan Ding（巨像AI Lab）， Nicu Sebe（特伦托大学） 💡 毒舌点评 论文的核心思路——用分层、多视角的符号化MIDI信息来“指挥”扩散模型生成更精准的钢琴音频，是清晰且有效的，实验中SI-SDR的巨幅提升（如从-4.87 dB到2.45 dB）也极具说服力。然而，这篇工作就像在精心打磨一个高度定制的工具，却对工具的内部齿轮（控制分支具体如何融合MIDI特征）和打造工具的材料（训练数据集细节）语焉不详，这给希望跟进的同行留下了不小的障碍。 🔗 开源详情 代码：论文中未提及代码链接或开源计划。 模型权重：论文中未提及公开模型权重。 数据集：论文未说明训练数据的来源和获取方式。仅提及在公开的Audeo和EGQ测试集上进行评估。 Demo：未提及在线演示。 复现材料：仅给出了非常基础的训练配置（GPU型号、batch size、优化器、部分训练步数），缺乏模型超参数、数据预处理、代码框架等关键信息，复现难度高。 引用的开源项目：论文引用了MMAudio、AudioX、YingSound等基线模型论文，但未明确说明是否基于其开源代码进行复现和扩展。 📌 核心摘要 问题：现有视频到音频（V2A）的生成方法在直接映射视频到波形时，难以精确捕捉钢琴演奏中细微的时序、力度和延音控制，导致生成音频的时序对齐和音乐表现力不足。 方法核心：提出一个分层的视频到钢琴（V2P）生成框架。其核心是引入MIDI作为中间表示，通过一个多视角MIDI预测器从不同摄像头视角（顶视、前视、侧视、踏板视）渐进式地预测音符起始、力度和延音等符号信息，然后利用一个控制分支将这些层级化的MIDI信息注入到基于扩散变换器（DiT）的音频生成模型中，以引导更精确的波形合成。 创新性：相比于现有“视频->波形”的端到端方法，该工作首次在V2P任务中提出：a) 分层MIDI引导的生成范式；b) 利用多视角视频（特别是踏板视角）捕捉完整演奏动态；c) 通用的控制分支设计，可集成到不同V2A模型中。 主要实验结果：在Audeo和EGQ两个测试集上，将所提方法应用于YingSound、MMAudio等多个基线模型。结果显示，加入MIDI引导后，音频生成质量显著提升。例如，在MMAudio-S-16kHz模型上，SI-SDR从-2.15 dB提升至2.31 dB（提升207.44%），FDPANNS从3.0643降至2.0657（降低32.59%）。频谱图对比也显示MIDI引导能有效修复基线模型生成的不准确片段。 实际意义：该方法能生成与演奏视频高度同步且富有表现力的钢琴音频，可应用于无声钢琴视频配音、音乐教学反馈、自动乐谱生成辅助等场景。 主要局限性：a) 方法目前仅针对钢琴这一种乐器，未验证其对其他乐器的泛化性；b) 多视角输入在实际应用中可能增加部署复杂度和成本；c) 训练依赖多视角同步录制的钢琴视频-MIDI数据集，数据获取门槛较高。 🏗️ 模型架构 本文提出的分层V2P框架包含三个阶段，其整体架构如图2所示。 ...

📄 Via Score to Performance: Efficient Human-Controllable Long Song Generation with Bar-Level Symbolic Notation #音乐生成 #自回归模型 #音频生成 #开源工具 ✅ 7.5/10 | 前25% | #音乐生成 | #自回归模型 | #音频生成 #开源工具 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Tongxi Wang（Southeast University， 中国） 通讯作者：Junlang Qian（Nanyang Technological University， 新加坡） 作者列表：Tongxi Wang（Southeast University）， Yang Yu（Southeast University）， Qing Wang（Southeast University）， Junlang Qian（Nanyang Technological University） 💡 毒舌点评 这篇论文的“先乐谱后表演”范式巧妙地将复杂音频生成问题解耦为可解释的符号生成和相对成熟的音频渲染问题，在可控性和效率上取得了显著进步，是思路清晰的“曲线救国”方案。然而，其“演奏”阶段严重依赖商用歌声合成软件VOCALOID和通用MIDI合成器FluidSynth，这使得最终音频质量的上限被锁定在这些工具的能力上，论文的“端到端”生成能力并非完全自包含，这在一定程度上削弱了其作为完全自主生成系统的创新性说服力。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/WtxwNs/BACH。代码已开源。 模型权重：论文中未提及公开BACH模型的预训练权重。 数据集：论文提及所用数据集将在论文发表后开源，但当前未提供获取方式或详细说明。 Demo：论文中未提及在线演示链接。 复现材料：提供了代码仓库，包含示例。但完整的训练细节、配置文件、检查点未在论文中提供，需查阅仓库。 论文中引用的开源项目： Qwen3.0（用于歌词生成） FluidSynth（用于MIDI合成） ABC记谱法相关工具 YuE等基线模型（用于对比） 总结：代码开源是主要亮点，但完整的模型复现（尤其是获得相似性能）可能因缺乏预训练权重、具体训练参数以及依赖商业VOCALOID而存在障碍。 📌 核心摘要 问题：现有基于音频的歌曲生成方法存在可控性差、可解释性弱、计算开销大的问题。将歌曲生成视为同时学习音乐理论与演奏的“即兴表演”，任务过于复杂。 方法核心：提出“先作曲后演奏”的新范式和BACH（Bar-level AI Composing Helper）框架。核心是使用小节（bar）作为语义单元进行符号乐谱生成，再将生成的乐谱渲染为音频。 创新点：首次将小节级符号乐谱生成引入歌曲生成；提出小节流分块（bar-stream patching） 和双流预测（Dual-NTP） 方法，分别处理人声与伴奏；引入链式乐谱（Chain-of-Score） 条件化以保持长程结构一致性。 实验结果： 自动评估（表1）：BACH在多个指标上达到SOTA，尤其是内容感知指标（CE、CU）和音频-文本对齐指标（CLaMP3）。其KL散度显著优于商业系统（如0.391 vs Suno的0.620）。 人类评估（图4）：BACH在音乐性上超越所有开源基线（YuE、YuE-light等），并与Udio有竞争力，略逊于Suno。在可控性（图5）上，其节拍/节奏和人声伴奏平衡表现突出。 效率：在RTX 4090上生成3分钟歌曲仅需约5分钟，远快于YuE等模型。 实际意义：提供了一种高效、可控、可解释的AI歌曲生成路径，生成的乐谱可被人直接阅读和编辑，极大促进了人机协作创作。代码开源有助于推动该方向研究。 主要局限性：最终音频渲染质量受限于外部工具（VOCALOID， FluidSynth），非端到端的纯AI生成；在风格和情感控制等可控性维度上仍有提升空间；论文未公开模型权重和完整训练细节。 🏗️ 模型架构 BACH是一个三阶段的系统流水线： ...

📄 Virtual Consistency for Audio Editing #音乐生成 #扩散模型 #音频处理 🔥 8.0/10 | 前25% | #音乐生成 | #扩散模型 | #音频处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Matthieu Cervera (Mila-Québec AI Institute, Laval University) 通讯作者：Cem Subakan (Concordia University, Mila-Québec AI Institute) 作者列表：Matthieu Cervera (Mila-Québec AI Institute, Laval University)、Francesco Paissan (Mila-Québec AI Institute, Laval University)、Mirco Ravanelli (Concordia University, University of Montreal, Mila-Québec AI Institute)、Cem Subakan (Concordia University, Laval University, Mila-Québec AI Institute) 💡 毒舌点评 亮点：该工作巧妙地将虚拟一致性（Virtual Consistency）思想从图像编辑迁移到音频领域，并引入了控制编辑强度的超参数φ，成功地在编辑质量和保真度之间取得了更好的平衡，同时推理速度相较于主流基线有数量级的提升（如1.6秒 vs. 16-64秒）。 短板：其核心创新“无需反转的虚拟一致性”本质上是迁移了InfEdit [20]的方法，并非原创理论突破；此外，用户研究的规模较小（16人），且缺乏对更长音频（>2分钟）和复杂编辑场景的深入讨论，实际应用的鲁棒性有待验证。 ...

📄 Visual Keys to Symphonies: Latent Diffusion for Multi-Scene Video-to-Music Generation #音乐生成 #扩散模型 #跨模态 #数据集 ✅ 7.5/10 | 前25% | #音乐生成 | #扩散模型 | #跨模态 #数据集 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Chiu Fai Ng（华为中央媒体技术研究院⋆，清华大学深圳国际研究生院†） 通讯作者：未说明 作者列表：Chiu Fai Ng（华为中央媒体技术研究院，清华大学深圳国际研究生院）， Karsper So（华为中央媒体技术研究院）， Jing Yang（华为中央媒体技术研究院）， Patricio Ovalle（华为中央媒体技术研究院）， Simon Lui（华为中央媒体技术研究院）， Fan Fan（华为中央媒体技术研究院）， Yuhan Dong（清华大学深圳国际研究生院） 💡 毒舌点评 亮点在于将关键帧采样、多模态特征（视觉语义、情绪、光流）与DPO偏好学习结合，形成了一套逻辑自洽且实验验证较为完整的V2M生成管线，尤其在数据构建和节拍对齐上做了细致工作。短板在于核心生成模型高度依赖Stable Audio的DiT架构，原创性主要体现在“组装”和任务适配上，且评估指标（如KAD、Audiobox-Aesthetics）对于普通读者理解“好音乐”的直观性有限，缺乏更贴近人类音乐感知的主观评价分析。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及是否公开模型权重。 数据集：论文提到构建了包含660小时视频-音乐对的数据集，但未提及是否公开及获取方式。 Demo：提供了在线演示页面链接：https://jasonng-glitch.github.io/v2m-demo/。 复现材料：给出了模型架构、训练超参数（如学习率、batch size、优化器）、评估指标计算方法等细节。未提供训练配置、检查点或详细附录。 论文中引用的开源项目：TransNet（镜头边界检测）、OpenCLIP（视觉特征）、NeuFlow v2（光流估计）、Stable Audio 2.0（DiT架构）、ImageBind（多模态相似度）、Audiobox-Aesthetics（质量评估）、Librosa（音频分析）、RAFT/MemFlow（光流对比基线）。 总结：论文提供了用于理解与初步验证的Demo和较多技术细节，但未提及完整的开源计划（代码、模型、数据），复现门槛较高。 📌 核心摘要 解决的问题：现有视频到音乐（V2M）生成方法在处理多场景视频时，难以同时保证全局连贯性、情感共鸣以及准确的节拍-视觉事件同步。 方法核心：提出一个基于潜在扩散的V2M框架。首先设计了一个可扩展的数据过滤与重评分管道构建高质量视频-音乐对齐数据集。模型采用关键帧作为条件输入，提取视觉语义（OpenCLIP）、情绪标签和光流特征（NeuFlow v2）并进行融合，作为DiT模型的条件信号。最后，通过直接偏好优化（DPO）对模型进行微调，使其输出更符合人类对“高光时刻”音画同步的偏好。 新颖之处：首次在V2M领域应用DPO进行微调；主张并验证了关键帧采样优于均匀采样；构建了一个包含节拍同步约束的高质量数据子集用于偏好学习；系统整合了多种视频特征（语义、情绪、运动）以指导音乐生成的不同方面（内容、情感、节奏）。 主要实验结果：在多个指标上与现有方法对比（见表1）。DPO微调后的模型在ImageBind语义相似度（5.612）和提出的新指标“Beat Sync”（0.0489）上达到最优，同时Audiobox美学评分与基线模型相当或略优。消融实验表明，关键帧采样在语义和情感对齐上与1FPS采样相当，但计算成本更低（表2）；特征融合模型在PQ和ImageBind上优于单一特征模型（表3）。 实际意义：为视频创作者提供了一种自动生成与其内容语义和情绪相符、节拍对齐良好的背景音乐的新工具，有望降低视频制作门槛并避免版权问题。 主要局限性：生成模型的核心架构（DiT）并非原创；评估指标偏向于客观度量，缺乏大规模的人类主观偏好评分；数据集中视频类型和音乐流派可能仍有偏见；DPO微调的效果依赖于精心构建的正负样本对。 🏗️ 模型架构 整体架构（图3）是一个条件潜在扩散模型，分为视频条件提取和音频生成两大部分。 ...

📄 ViTex: Visual Texture Control for Multi-Track Symbolic Music Generation via Discrete Diffusion Models #音乐生成 #扩散模型 #可控生成 #多轨道 #数据集 ✅ 7.0/10 | 前50% | #音乐生成 | #扩散模型 | #可控生成 #多轨道 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xiaoyu Yi（北京大学信息科学与技术学院，MBZUAI 音乐实验室） 通讯作者：未明确说明（论文中未使用“通讯作者”标识） 作者列表：Xiaoyu Yi（北京大学信息科学与技术学院，MBZUAI 音乐实验室）、Qi He（MBZUAI 音乐实验室）、Gus Xia（MBZUAI 音乐实验室）、Ziyu Wang（纽约大学柯朗数学科学研究所，MBZUAI 音乐实验室） 💡 毒舌点评 亮点：将“画图”这一直观操作引入多轨道音乐的“织体”控制，比提供抽象的潜在变量或文本描述更贴近人类作曲思维，解决了实际创作中的一个痛点。短板：ViTex的基于规则的织体特征提取（如静音比例阈值0.3）显得有些“手工匠气”，可能难以捕捉和表达更复杂、更主观的音乐织体，且离散化的视觉表示在表达连续性强弱变化时存在固有局限。 🔗 开源详情 代码：提供链接 https://vitex2025.github.io/，论文中声明代码可在该页面获取。 模型权重：论文中未明确提及是否公开预训练模型权重。 数据集：使用了公开的Lakh MIDI和Meta MIDI数据集，但提供了具体的筛选条件和最终规模（7175首）。论文未提及是否公开其筛选处理后的子集。 Demo：论文中声明提供了Demo页面，链接为 https://vitex2025.github.io/。 复现材料：提供了详细的训练设置（优化器、学习率、batch size、调度策略）、数据处理工具（muspy）、硬件环境（4 H100 GPU）、以及关键的模型架构图和条件表示细节。 论文中引用的开源项目：使用了muspy进行数据处理，引用了GETMusic[8]的吸收态离散扩散框架。 总结：论文提供了较好的开源基础，代码和Demo链接明确，训练细节清晰。但模型权重和处理数据集的公开性未明确说明。 📌 核心摘要 问题：现有的多轨道符号音乐生成系统缺乏一种直观、细粒度的“乐器织体”控制方式，无法让用户直接指定不同乐器在特定音区和时间点如何演奏。 方法：提出ViTex，一种将乐器织体可视化的表示方法（颜色编码乐器，位置编码音高/时间，笔触属性编码局部纹理）。基于此，构建了一个以ViTex和和弦进行为条件的离散扩散模型，使用无分类器引导进行训练，以生成8小节多轨道音乐。 创新点：首次将视觉化的织体表示用于多轨道音乐生成控制；该表示同时支持人类直观操作和作为模型条件；结合离散扩散模型实现了高质量、可控的生成。 实验结果：在Lakh MIDI和Meta MIDI的子集上训练和评估。定量实验（表1）显示，在条件生成任务中，本方法在乐器控制准确率（IA=0.600 vs Q&A-1: 0.584）、和弦准确率（CA=0.875 vs Q&A-1: 0.607）及排列质量（DOA=0.296 vs Q&A-1: 0.188）上均优于基线。无条件生成（表2）在律动相似度（GPS）和排列质量（DOA）上也优于AMT和MMT基线。主观听音测试（图3）表明，在给定乐器的生成任务中，本方法在连贯性、音乐性和创造性评分上均高于基线。 实际意义：为音乐制作人和爱好者提供了一种更自然、更精细的方式来控制AI生成的多声部音乐，有望成为音乐创作辅助工具的新范式。 主要局限性：ViTex表示基于规则，可能无法涵盖所有织体类型；当前仅支持8小节的片段生成；控制维度（音色、音区、密度）虽比之前工作更细，但仍有限。 🏗️ 模型架构 模型整体架构：采用标准的UNet结构（图2），以处理被噪声污染的多轨道钢琴卷帘（pianoroll）xt。模型接收两个额外条件输入：乐器织体特征y1（ViTex）和和弦进行y2。 ...

📄 VMSP: Video-to-Music Generation with Two-Stage Alignment and Synthesis #音乐生成 #扩散模型 #多模态模型 #跨模态 ✅ 7.0/10 | 前25% | #音乐生成 | #扩散模型 | #多模态模型 #跨模态 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Xin Gu（中国传媒大学信息与通信工程学院） 通讯作者：Wei Jiang*（中国传媒大学信息与通信工程学院） 作者列表：Xin Gu（中国传媒大学信息与通信工程学院）、Wei Jiang*（中国传媒大学信息与通信工程学院）、Yujian Jiang（中国传媒大学信息与通信工程学院）、Zhibin Su（中国传媒大学信息与通信工程学院）、Ming Yan（中国传媒大学信息与通信工程学院） 💡 毒舌点评 论文的亮点在于其清晰的“先对齐中间表示，再生成”的两阶段框架设计，这有效缓解了端到端模型常忽略音乐结构的问题，逻辑自洽。但短板也明显：它严重依赖特定的、可能闭源的MLLM（Qwen2.5-VL, Qwen2-Audio）来生成感知描述，这增加了复现成本和不可控性，且论文未开源任何资源，让后续研究者“只能看，不能练”。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开的模型权重。 数据集：使用了公开数据集MVED， MuVi-Sync， V2M-bench，但论文未说明其自身的数据预处理脚本或额外数据是否公开。 Demo：未提供在线演示。 复现材料：给出了部分训练细节（优化器、学习率调度、训练轮数、硬件）和模型架构参数（Transformer层数、维度），但关键组件的完整训练配置（如VAE-GAN）、MLLM的详细使用方式（Prompt、是否微调）、以及评估脚本未提供。 论文中引用的开源项目：引用并依赖了MetaClip、CLAP、Qwen2.5-VL、Qwen2-Audio等模型/工具。 开源计划：论文中未提及开源计划。 📌 核心摘要 问题：现有的视频生成音乐（V2M）方法大多直接将视频特征映射到声学标记或波形，跳过了对音乐中间表示（如语义、结构）的建模，导致生成的音乐结构连贯性差、和声不丰富。 方法核心：提出VMSP，一个基于分层条件映射的两阶段生成框架。第一阶段（跨模态映射）通过Transformer学习视频与音乐语义特征的段级对齐，并利用多模态大语言模型（MLLM）确保视频与音乐在感知层面的一致性。第二阶段（音乐生成）使用扩散Transformer（DiT），将上述对齐后的语义特征和感知信息作为分层条件，指导音乐波形的生成。 与已有方法的新颖性：相比于直接映射或依赖文本中间描述的方法，VMSP显式地建模了音乐的“中间表示”（语义和感知），并设计了分层条件注入机制（全局感知条件+局部语义条件），旨在同时保证全局氛围一致和局部时间对齐。 主要实验结果：在MVED和MuVi-Sync数据集上训练，在V2M-bench数据集上评估。定量对比显示VMSP在KL、FAD、Density和Coverage指标上均优于CMT、Video2Music、M2UGen和VidMuse等基线模型。消融实验表明两阶段框架和双重条件（语义+感知）缺一不可。用户研究也显示VMSP在音频质量、音乐性、对齐度和感知和谐度上具有优势。 模型/方法 KL↓ FAD↓ Density↑ Coverage↑ GT 0.000 0.000 1.167 1.000 CMT[7] 1.220 8.637 0.080 0.070 Video2Music[9] 1.782 18.722 0.103 0.023 M2UGen[18] 0.997 5.104 0.608 0.433 VidMuse[6] 0.734 2.459 1.250 0.730 VMSP 0.607 2.580 1.280 0.870 表1: 客观定量对比结果（来自论文） ...

📄 When Noise Lowers the Loss: Rethinking Likelihood-Based Evaluation in Music Large Language Models #音乐生成 #模型评估 #自回归模型 #音频大模型 #对抗样本 ✅ 7.0/10 | 前25% | #音乐生成 | #模型评估 | #自回归模型 #音频大模型 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xiaosha Li (Georgia Institute of Technology) 通讯作者：未说明（根据惯例，最后一位作者Ziyu Wang可能为通讯作者，但论文中未明确标注） 作者列表：Xiaosha Li (Georgia Institute of Technology), Chun Liu (ByteDance Inc.), Ziyu Wang (Courant Institute of Mathematical Sciences, New York University; Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)) 💡 毒舌点评 亮点在于发现了一个反直觉但可重复验证的现象（“噪声降低损失”），并据此提出了一个新颖的、基于损失曲线形状的评估视角，而非简单否定损失指标，这为音乐生成评估提供了具体的诊断工具和改进方向。短板在于，论文的核心论证主要基于“噪声注入”和“顺序打乱”两种人工扰动，其与真实音乐质量（如乐感、结构、情感表达）的关联性仍需更多元、更贴近实际场景的验证，且提出的“基于曲线形状”的评估框架目前更多是定性描述，缺乏可直接应用的定量标准。 ...

📄 Opening the Design Space: Two Years of Performance with Intelligent Musical Instruments #音乐生成 #自回归模型 #少样本 #开源工具 #实时处理 ✅ 6.5/10 | 前50% | #音乐生成 | #自回归模型 | #少样本 #开源工具 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Charles Patrick Martin（澳大利亚国立大学） 通讯作者：Charles Patrick Martin（charles.martin@anu.edu.au，澳大利亚国立大学） 作者列表：Charles Patrick Martin（澳大利亚国立大学，堪培拉，ACT，澳大利亚） 💡 毒舌点评 本文最大亮点在于其“平民化”立场和扎实的艺术实践：它用15美元的硬件和艺术家自己收集的数据，证明了生成式AI可以脱离巨型实验室，成为乐手手中可玩、可折腾的“电子乐器模块”。然而，短板也同样明显：它本质上是一篇以“艺术创作”为名的系统设计报告，其核心模型（MDRNN）和硬件（树莓派）都是现成的技术，论文的创新更侧重于“如何组合与应用”而非技术突破，且所有“实验结果”都是主观的音乐表演描述，缺乏客观的性能评估与对比，学术硬度稍显不足。 🔗 开源详情 代码：提供。论文明确给出了GitHub源代码仓库链接：https://github.com/cpmpercussion/impsy。 模型权重：未提供。论文未提及公开训练好的模型权重文件。用户需使用自己收集的数据自行训练。 数据集：未公开。论文强调数据是艺术家自收集的，并称将日志文件用于训练新模型，但未提供公开下载这些原始数据或预处理数据集的渠道。 Demo：提供。论文提供了在线视频示例，链接为：https://doi.org/10.5281/zenodo.19550146。 复现材料：部分提供。提供了软件安装说明、预装系统镜像（https://github.com/cpmpercussion/impsy-pi）、以及配置接口说明。但缺乏详细的训练超参数、模型具体配置文件、数据处理脚本等深度复现细节。 论文中引用的开源项目： Keras-MDN-Layer：用于实现混合密度网络层的Keras库。 TensorFlow Lite：用于模型优化和加速推理。 Poetry 或 pip：用于Python依赖管理。 预构建的 Raspberry Pi OS 镜像。 整体评估：项目本身是开源的，且提供了便捷的部署方式（系统镜像），友好度高。但由于核心的“小型数据”AI模型未开放，其作为“可移植设计组件”的复现价值受限。论文中未提及进一步的开源计划。 📌 核心摘要 本文旨在解决生成式AI工具在音乐领域“艺术家不友好”、难以集成到现有硬件乐器与现场实践中的问题。作者提出了一个基于树莓派和MIDI通信的低成本、便携式生成式AI乐器平台（IMPSY），并采用“第一人称艺术研究”方法，通过设计、使用五款原型乐器（如Intelligent Volca, Intelligent MicroFreak等）在两年间的15场演出中进行探索。与已有方法相比，其新在于：1）强调“小型数据”与艺术家自主训练模型，而非依赖工业级大数据；2）平台设计高度依赖灵活的MIDI映射而非频繁重训练模型；3）探索了极快速的“呼叫-响应”式人机控制交替作为新的协同创作策略。主要实验结果是定性的艺术体验描述：如AI能同时控制多个合成器参数产生“非人类”音色变化（图5、7），快速控制权切换带来有趣的协作感，以及廉价硬件降低了准入门槛（表1显示最便宜的Zero 2 W启动需114秒）。实际意义是为音乐科技社区提供了一个可负担的、可扩展的AI乐器原型设计与实验工具包，推动以艺术家为中心的可持续AI音乐实践。主要局限性包括：研究基于作者单人视角，缺乏更广泛的用户研究；模型训练与迭代的长期影响未系统探讨；所有评估基于主观艺术判断，缺乏客观性能指标。 ...