音乐生成

📄 Digital Revival: Acoustic Documentation and Digital Reactivation of Historical Woodwind Instruments #音乐生成 #信号处理基础 #数据增强 5.3/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.3/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.3/1.5 | 复现 0.2/0.5 | 工程 1/1.5 📝 5.3/10 | 后50% | #音乐生成 | #数据增强 | #信号处理基础 | arxiv 👥 作者与机构 作者：Lior Arbel, Itai Weissman 机构：未在论文中明确说明作者所属机构。 💡 毒舌点评 这篇论文更像是一份关于文化遗产数字化项目的艺术实践报告，而非一篇标准的学术研究论文。其“数字复兴”框架的核心是解决一个实际的工程与艺术问题：如何在苛刻的博物馆约束下，让沉默的历史乐器“发声”并用于现代创作。这很有意义，但技术上的新颖性和严谨性非常有限。所谓的“三层架构”只是将商业采样器（Kontakt）、一个现成的物理建模插件（Respiro）和一个简单的音效层进行组合，谈不上是方法创新。论文最大的问题在于几乎没有提供任何有说服力的定量评估。频谱对比图只是定性地看看功率分布，既没有信噪比、频谱失真度等客观指标，也没有进行任何形式的听觉感知测试（如MUSHRA、ABX）。唯一的结果展示是一张专辑，但这完全是主观艺术选择。对于一篇投递到计算音乐学或MIR会议的论文来说，这种缺乏严谨评估的做法是致命的。作者声称在探索“声学DNA”和“新的可能性”，但“新”在哪里？将古乐器声音用于即兴创作，这本身就不是新概念。整篇论文读下来，更像是一个精彩但孤独的项目总结，缺少作为学术论文所必需的对比、验证和可泛化的结论。 📌 核心摘要 本文介绍了“数字复兴”项目，旨在将博物馆中无法演奏的历史欧洲木管乐器转化为可通过电子风控制器（EWI）演奏的数字乐器。论文通过两个案例研究阐述了该框架：1）对功能完好的Haka长笛（约1680年）进行录音和采样，结合Respiro物理建模插件和起奏音采样，构建了三层结构的数字乐器，并用于录制发行专辑。2）对严重损坏的Warder长笛（约1540年，出土于沉船），基于CT扫描数据和现代复制品进行物理表征和采样，该项目目前处于早期阶段。论文重点讨论了在文物保护、录音环境差、乐器损坏等现实约束下，在声学保真度和音乐表现力之间做出的设计权衡。文章指出，对于Warder这类乐器，由于材料老化和形变，其原始声音本质上是未知的，因此项目目标并非精确复制，而是探索其声音素材在当代语境下的新可能。 🔗 开源详情 代码：论文中未提供任何代码仓库或代码片段。提及使用了商业软件Respiro和Kontakt。 模型权重：论文中未提及模型权重链接。 数据集：论文中未提供公开数据集的获取链接。涉及Haka和Warder长笛的音频数据、CT扫描数据、3D模型均属于博物馆藏品，未公开。 Demo：论文提到了公共网站“Instrumenta Online”，但未给出具体URL，因此无法访问。 复现材料：论文中未提供训练配置、检查点或附录等具体复现材料。方法实现细节（如Kontakt脚本、Respiro参数）未披露。 论文中引用的开源项目： Digital Revival project (dgtalrevival)：项目本身被介绍，但未提供公开的代码或资源仓库。 Respiro：商业音频插件，非开源。 Kontakt：商业采样器软件，非开源。 NEMUS project：引用的参考项目，未提供其公开资源链接。 Instrumenta Online：项目网站，未提供可访问的URL。 🏗️ 方法概述和架构 本文提出的方法是一个结合了现实约束与艺术目标的“数字复兴”框架，其核心是针对不同保存状况的历史乐器，采用定制化的声学捕捉、分析和数字重构流程。该框架并非一个通用的技术流程，而是通过两个特性迥异的案例（功能完好 vs. 严重损坏）来展示其应用逻辑和设计决策。 ...

📄 AudioCALM: Continuous Autoregressive Language Modeling for Universal Audio Generation #语音合成 #音频生成 #音乐生成 #自回归模型 #流匹配 7.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.9/10 | 前25% | #语音合成 | #音频生成 | #音乐生成 #自回归模型 | arxiv 👥 作者与机构 作者：Huadai Liu, Kaicheng Luo, Wen Wang, Qian Chen, Bin Ma, Xiangang Li, Wei Xue 机构：香港科技大学 (HKUST), 通义团队, 阿里巴巴集团 (Tongyi Fun Team, Alibaba Group) ...

📄 Improving Text-to-Music Generation with Human Preference Rewards #音乐生成 #流匹配 8.5/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.5/10 | 前50% | #音乐生成 | #流匹配 | arxiv 👥 作者与机构 作者：Yonghyun Kim, Junwon Lee, Haiwen Xia, Yinghao Ma, Chris Donahue 机构：未在论文中明确列出。 💡 毒舌点评 这篇文章与其说是学术研究，不如说是一份详实的工程调优报告。作者在120M参数的FluxAudio-S基线上，像搭积木一样组合了现有的分数条件化、专家迭代和DPO/CRPO技术，并通过详尽的消融实验验证了每一步的边际效益。其价值在于“工程集成”和“系统调优”，而非提出新算法或提供深刻的新理论。消融实验设计严谨，对“奖励条件化在推理时饱和”和“机制迁移不对称性”等非平凡现象的观察与记录，对后续实践者有不错的参考价值。但所有组件都缺乏原创性，评估仅限于一个小型内部验证集，对核心发现（如条件饱和）缺乏机理层面的解释，CRPO的微弱贡献也被一笔带过。整体而言，这是一篇扎实的系统工程报告，适合作为技术博客或赛道总结，但对于顶会而言，创新性和深度都显不足。 📌 核心摘要 本文报告了作者为ICME 2026学术文本到音乐生成（ATTM）挑战赛效率赛道所做的提交。该方案在120M参数的FluxAudio-S骨干网络上，整合了五项工程决策，核心是使用由TuneJury提供的学习到的人类偏好奖励。该奖励在训练时作为条件信号，在推理时作为样本选择标准。通过在100个Song Describer提示词上的逐阶段分解分析，作者展示了以下发现：(1) 训练时奖励条件化是有效的功能引导轴，但其效应在训练链末端被权重吸收，导致推理时的分数控制饱和；(2) 机制迁移（GlobalAdaLN到InputAdd）具有不对称性，仅单向安全；(3) 专家迭代是性能提升的主要贡献者，而CRPO带来的增益在统计噪声水平内。 🔗 开源详情 代码：https://github.com/yonghyunk1m/ttm-humanpref （包含完整的训练管道细节、模型架构、超参数设置和评估脚本）。 模型权重：论文中未提供具体权重文件的下载链接。文中指出基线模型“FluxAudio-S”由挑战组织者提供，但未给出获取链接。 数据集：论文中使用了由挑战组织者提供的MTG-Jamendo数据集（约55K条音轨），并基于Song Describer Dataset (SDD)进行评估。具体数据集的下载链接或开源协议未在论文中明确给出。 Demo：https://github.com/yonghyunk1m/ttm-humanpref （论文中“Code & Demo”链接指向此仓库，具体在线演示地址需在此仓库中查找）。 复现材料：论文中提及训练配置、检查点等细节在GitHub仓库中发布。具体包括：完整的训练管道细节（SFT、专家迭代、CRPO阶段）、模型架构（FluxAudio-S骨干网）、超参数设置（学习率、批量大小等）、评估协议（SDD-100和SDD-706评估集），以及完整的消融实验设计空间（在发布的仓库中）。 论文中引用的开源项目： TuneJury：偏好排序器。论文引用文献[18]，未提供直接链接。 FluxAudio-S：文本到音乐生成模型。论文引用文献[8, 12]，未提供直接链接。 Demucs：音源分离模型。论文引用文献[7]，未提供直接链接。 LAION-CLAP-Music：音乐音频-文本嵌入模型。论文引用文献[29]，未提供直接链接。 MERT (v11-330M)：音乐自监督模型。论文引用文献[21]，未提供直接链接。 BigVGAN：声码器。论文引用文献[19]，未提供直接链接。 T5-Large：文本编码器。论文引用文献[26]，未提供直接链接。 Song Describer Dataset (SDD)：评估数据集。论文引用文献[23]，未提供直接链接。 以及引用的其他数据集来源：Music Arena [17]、MusicPrefs [13]、AIME [9]、SongEval [30]，均未提供直接链接。 🏗️ 方法概述和架构 本文提出的文本到音乐生成流程基于一个120M参数的FluxAudio-S流匹配Transformer骨干网络，该网络由挑战赛组织者提供作为基线。整个流程可分解为训练时和推理时两大部分，其中训练部分又分为三个阶段。架构的核心创新在于将一个学习到的人类偏好奖励分数（\(s\)）作为额外的条件信号，通过不同的注入机制融入生成过程。 ...

📄 Libretto: Giving LLM Agents a Sense of Musical Structure #音乐生成 9.2/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 9.2/10 | 前50% | #音乐生成 | #音乐生成 | arxiv 👥 作者与机构 作者：Yichen Xu 机构：University of California, Berkeley 💡 毒舌点评 这篇论文聪明地避开了训练一个新音乐模型的深坑，转而给现有的LLM套上了一个精心设计的“音乐脚手架”。思路值得肯定，但“评估体系”和“人类验证”这两个点被作者自己也承认是弱点，审稿时会在这里被反复追问。更麻烦的是，整个大厦建立在Claude这个商业API上，这就像把论文的根基打在了别人家的地皮上，可复现性和通用性都要打个大大的问号。不过，槽式语法和统计指纹的概念确实清晰实用，算是给符号音乐生成提供了一个不错的工程化参考范式。对于NeurIPS级别的会议来说，技术新颖性和理论深度稍显不足，更像是一个扎实的系统工作。 📌 核心摘要 本文提出了Libretto，一个面向LLM代理的符号音乐生成与修订框架。该框架的核心是解决两个问题：1) 如何为LLM提供一种可直接读写和编辑音乐结构的文本接口；2) 如何提供一种可解释的、基于音乐结构的评估标准，以指导代理进行迭代优化。为此，Libretto设计了三项关键组件：首先，一种基于网格槽（onset slots）的符号音乐语法，将绝对时序编码为离散槽位，使音符起止时间显式化，支持局部编辑；其次，一个从314首MIDI文件中统计提取的29维结构指纹空间，涵盖节奏、和声、旋律、织体、曲式和变奏，用于量化生成结果与真实音乐分布的偏离程度；最后，一个“生成-测量-修订”的代理循环，代理在生成后接收基于指纹偏差的音乐性反馈（如“降低和声不稳定性”），并可结合检索到的知识库概念与示例进行迭代优化。在补缺、全曲生成、渐进变形、教育生成四个任务上，该框架通过结构门控和抄袭风险检测，验证了检索机制和修订循环能有效提升生成结果的通过率和质量。 🔗 开源详情 代码：https://github.com/Xyc-arch/Libretto 模型权重：论文中未提及 数据集：论文中提及使用314个MIDI文件作为原始音乐语料库，策划自Lakh MIDI Dataset (LMD)。LMD的开源信息为：Raffel, C. (2016). lakh-midi-dataset. GitHub. https://github.com/craffel/lmd。论文未提供此策划子集的独立下载链接。 Demo：项目主页为 https://libretto.site/ ，包含生成结果示例。 复现材料：论文在附录A中提供了多个语法示例，在附录B中详细定义了所有29个结构轴、百分位指纹、复制风险得分和校准门限的具体计算公式。论文中未提及提供额外的训练配置文件或检查点。 论文中引用的开源项目： Lakh MIDI Dataset (LMD): https://github.com/craffel/lmd 🏗️ 方法概述和架构 Libretto 是一个完整的代理作曲系统，其架构围绕“表示-评估-循环”展开，旨在将符号音乐转化为LLM可操作的可测量对象。系统主要由以下五个相互关联的部分构成，数据流和交互关系如下： ...

📄 LK Jam: System Architecture and Implementation of a Real-Time Human-AI Interactive Music Generation System using Role-Aware GRU #音乐生成 7.0/10 ✅ 7.0/10 | 前50% | #音乐生成 | #音乐生成 | arxiv 👥 作者与机构 论文标题: LK Jam: System Architecture and Implementation of a Real-Time Human-AI Interactive Music Generation System using Role-Aware GRU 作者: Yakun Liu, Z. Jin, Dong Liu, and Hai Luan 作者单位: Yakun Liu, Dong Liu, and Hai Luan 来自沈阳音乐学院。Z. Jin 为独立合作者。通讯作者: Dong Liu。 ...

📄 Co-policy: Responsive Human-Robot Co-Creation for Musical Performances #音乐生成 #多模态模型 #扩散模型 8.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.5/10 | 前50% | #音乐生成 | #多模态模型 | #扩散模型 | arxiv 👥 作者与机构 第一作者：Xuetao Li（武汉大学计算机科学学院）和 Wenke Huang（南洋理工大学计算与数据科学学院，联合第一作者） 其他作者：Mang Ye（武汉大学计算机科学学院），Zijian Liu（武汉理工大学自动化学院），Jinhua Xie（武汉大学测绘遥感信息工程国家重点实验室），Jifeng Xuan（武汉大学计算机科学学院，通讯作者），Miao Li（武汉大学计算机科学学院与机器人学系，通讯作者）。 机构：武汉大学（主要），南洋理工大学，武汉理工大学。 💡 毒舌点评 这篇论文试图解决一个非常具体且有趣的问题：让机器人从“播放者”升级为“共创者”。框架设计清晰，模块化思路值得肯定。然而，评估体系存在明显短板：音乐质量评估完全依赖10位专家的主观盲评，尽管声称保留所有分数，但艺术评价的方差和偏见并未通过任何统计检验来量化或控制。作者自谦的“有限验证范围”其实点出了一个硬伤：系统严重依赖预先构建的“语义锚点库”，其扩展性和泛化到未见过的音乐风格的能力存疑。GMP策略虽然在低延迟上表现出色，但其“多模态动作模式”在消融实验中贡献相对有限，且缺少与最新迭代式策略（如Consistency Policy）的直接对比。论文最大的问题在于，它巧妙地将音乐AI的创造性评估与机器人学的执行性能评估捆绑在一起，但未能证明这种捆绑评估的必要性或优越性。一个纯粹的音乐生成模型和一个低延迟控制器的简单级联，在特定指标上是否真不如这个紧密耦合的系统？结论下的过于肯定。 📌 核心摘要 本文提出了Co-policy框架，旨在将机器人音乐演奏从被动回放转变为主动协作创造。该框架是一个模块化的视觉-语言-动作（VLA）系统，包含三个核心部分：1）基于微调Qwen-vl（F-Qwen）的语义锚定模块，将语音、音符和视觉输入转化为结构化的协作计划；2）约束性音乐变化模块，在主题、和声、新颖性和可执行性等约束下生成互补的机器人音符响应；3）高斯混合视觉运动策略（GMP），通过单次前向传播直接映射目标音符和视觉上下文为多模态机器人动作，以实现低延迟响应。在真实钟琴敲击场景下的评估表明，Co-policy在协作质量评分和执行准确率上均优于扩散策略等基线，并通过专家盲评验证了其在意图对齐、创造性贡献和音乐连贯性方面的优势。 🔗 开源详情 代码：论文中提供了明确的项目仓库链接，源代码、网页实现、提示模板和配置文件等均可获取：https://xtli12.github.io/Co-policy/docs/ 模型权重：论文中未提及模型权重（如微调后的F-Qwen、训练好的GMP）的公开下载链接（如HuggingFace/ModelScope）。 数据集：论文中未提及独立公开的训练数据集链接。文中提到为训练收集了350条真实世界机器人演示轨迹，但其获取方式未在论文中公开。 Demo：项目主页包含演示视频等材料，可作为在线演示的入口：https://xtli12.github.io/Co-policy/ 复现材料：论文明确指出，项目仓库中提供了“处理后的机器人演示、生成的音符计划、匿名化的专家评分、评估脚本、提示模板、语义锚点模式和训练模型配置文件”。这些材料可用于复现。详情见：https://xtli12.github.io/Co-policy/docs/ 论文中引用的开源项目： Qwen-vl：论文中使用的基础视觉语言模型。其开源仓库地址为：https://github.com/QwenLM/Qwen-VL ManiSkill2：用于仿真验证的平台。其项目主页为：https://maniskill2.github.io/ 🏗️ 方法概述和架构 Co-policy框架是一个模块化的实时人机音乐共创系统，旨在解决两个核心挑战：如何将人类不完整的创意种子转化为互补的机器人音乐响应，以及如何在交互级延迟下物理执行该响应。系统由三个串联的核心组件构成，数据流清晰，形成“感知-规划-执行”的闭环。 ...

语音/音乐/音频论文速递 2026-06-22 共分析 1 篇论文 ⚡ 今日概览 📥 抓取 1 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音乐生成 1篇 █ 📊 论文评分排行榜（1 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Co-policy: Responsive Human-Robot Co-Creation for Music 8.5分 前50% #音乐生成 📋 论文列表 🥇 Co-policy: Responsive Human-Robot Co-Creation for Musical Performances 8.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5 ...

📄 Closing the Loop: PID Feedback Control for Interpretable Activation Steering in Symbolic Music Generation #音乐生成 8.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.7/10 | 前50% | #音乐生成 | #音乐生成 | arxiv 👥 作者与机构 作者：Ioannis Prokopiou, Pantelis Vikatos, Maximos Kaliakatsos-Papakostas, Theodoros Giannakopoulos, Themos Stafylakis 机构信息：论文原文未明确提供作者所属机构。 💡 毒舌点评 这篇论文想法挺有意思，试图用经典控制理论来修补生成模型中的一个具体技术缺陷（Top-K阈值导致的“哑火”）。PID控制用得也算巧妙，尤其是将“概念指纹”存活情况作为误差信号的设计。实验做了不少，控制变量、消融、敏感性分析都有一套。但作者似乎对“平滑”有种执念，却没好好解释为什么音乐生成中的“平滑控制过渡”是核心需求，也没提供任何人类感知证据（比如听众是否觉得“平滑”）。另外，把SAS的2K预算限制作为前提然后去优化PID参数，感觉像是在给自己画的框框里跳舞。最要命的是，所有实验都在同一个模型和数据集上，这结论的普适性要打个大大的问号。总体是篇扎实但视野略窄的工程优化论文。 📌 核心摘要 本文聚焦于符号音乐生成中稀疏激活控制（SAS）的一个具体失效模式：在尝试通过余弦渐变平滑引入控制强度\(\lambda\)时，由于\(\lambda\)值较小，目标特征无法通过Top-K稀疏化筛选，导致控制信号完全失效（“阈值失败”）。作者提出使用PID控制框架来解决此问题。核心贡献在于提出时间PID（Temporal PID），将PID控制器从空间维度（网络层）转移到时间维度（自回归生成步）。该控制器通过测量目标特征组（“概念指纹”）在稀疏化后的平均激活幅度与一个渐变设定点之间的误差，并利用积分项累积该误差，从而动态、自适应地调整每一步的\(\lambda(t)\)，确保其迅速突破Top-K阈值并稳定在所需水平。实验表明，时间PID能有效实现平滑控制，相比静态SAS降低了62-67%的控制强度需求，并将FMD分布距离降低了约5%。 ...

📄 AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation #音频生成 #音乐生成 9/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 9/10 | 前10% | #音频生成 | #音乐生成 | arxiv 👥 作者与机构 Zeyue Tian (香港科技大学, Noiz AI), Lei Ke (清华大学), Zhaoyang Liu (香港科技大学), Ruibin Yuan (香港科技大学), Liumeng Xue (香港科技大学), Yujiu Yang (清华大学), Weijia Chen (Noiz AI), Xu Tan (独立研究者), Qifeng Chen (香港科技大学), Wei Xue (香港科技大学), Yike Guo (香港科技大学)。 ...

📄 Generative Modeling of Bach-Style Symbolic Music: A Comparative Study of Autoregressive, Latent-Variable, and Adversarial Approaches #音乐生成 #模型比较 5.7/10 | 创新 0.8/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 📝 5.7/10 | 前50% | #音乐生成 | #模型比较 | arxiv 👥 作者与机构 作者：Kyuil Lee, Dezhi Yu, Yongkang Huang 机构：Stanford University 💡 毒舌点评 这篇论文就像一场精心策划但结果可预见的模型“选秀”。研究动机清晰，巴赫音乐是测试结构化生成能力的绝佳试金石。然而，比较的三种“武器”——自回归、VAE、GAN——在音乐生成领域的强弱对比早已是学界共识。作者用标准的技术组件（LSTM, Attention, VAE, VQ, WGAN）搭建了实验，但未能带来架构或训练策略上的真正新意。最“亮眼”的结论——自回归模型最简单所以效果最好——几乎是循环论证。实验部分，对VAE后验坍缩的描述多于解决方案的探索，对GAN的分析停留在“风格像爵士”的表面现象。整体而言，这是一篇扎实的、但略显乏味的“课程设计”级别论文，适合作为领域内模型比较的教学案例，但缺乏挑战顶会的锐度和深度。最大的槽点在于，论文声称比较三种方法，但对每种方法的分析都浅尝辄止，尤其是未能深入探讨潜变量模型（如VAE）中表示学习的质量，而这本应是此类模型的核心价值。 📌 核心摘要 本文对Bach风格符号化钢琴音乐生成进行了实证比较研究，评估了三类主流生成模型：自回归（带注意力LSTM）、潜变量（循环VAE、层次化VAE、VQVAE）和对抗（WGAN）方法。核心发现是：自回归方法在生成音乐连贯性和风格保真度上最优；VQVAE通过离散表示有效缓解了VAE的后验坍缩问题，生成了具有结构化的巴洛克风格样本；GAN虽能学习局部模式，但训练不稳定且风格泛化至巴洛克音乐的能力不足。研究强调了不同生成范式在音乐建模任务中的相对优劣与固有挑战。 ...