音乐生成

共分析 137 篇 ICML 2026 论文

LiveSynth 用流式 MIDI 加 CLAP 音色向量逐帧生成连续音频隐变量再经因果 VAE 解码，在 NSynth 和 Slakh 上取得与离线基线可比的音色相似度和更低的频谱距离，代价是音符准确率和制作质量偏低，且实时性结论只在 M3 MacBook Air 上 10 ms 帧长下成立。

PAG-Agent 用最爱的歌曲与用户背景先提炼显式审美档案再生成专辑，并在 Personal-100 上用一致性与特异性指标验证个性化效果，而通用音质并未同步提升。

论文用 42.5 小时历史古琴独奏适配 Stable Audio 3 Medium 的 DoRA 小参数，以一位专家的七轮盲听驱动决策，最终续弹和场景生成得分最高，但样本小且随机性大，只能作探索性记录。

ARIA 把粤语作词拆成先从带字槽的歌声估计 0243 声调层级序列、再以该序列为控制生成歌词，TRATE 与 DRA-TCLG 分别解决音频侧相对调高恢复与文本侧一对多选词问题，代价是依赖字符边界且第二阶段一般只实现而不修复第一阶段的错误。

论文指出隐音频生成中解码器训练用编码器隐变量而推理用生成器隐变量的不一致，用加噪再经冻结扩散模型去噪构造的中间隐变量只微调解码器，在 AudioCaps 和 MusicCaps 上降低 FD 和 FAD，代价是原 AudioX 训练的少量音频小时和单卡时间。

论文用 Sethares 粗糙度模型算出四音和弦的不协和度体，把 12、31、53 平均律的 192 种七和弦放进同一坐标系做可听导航，再用调式互换作曲并以 31 人听辨检验感知是否与模型一致，代价是只适用于谐波音色且样本与锚定条件限制结论外推。

论文把分块序号与去噪步看成一张二维格子，用两个可叠缩的权重恒等式决定何时重采样，在相同去噪器调用预算下用块边界打分提升长序列奖励，并用奖励到达时机与集合内可预测性解释何时该果断提交、何时值得前瞻。

论文把文本生成音乐的意图对齐定义为逐条满足专家修订的音乐清单，并用测试时验证器引导的提示词搜索提升三款开源后端的对齐分数，代价是最多 9 次生成与逐条音频问答验证的开销。

该文用预训练音频语言模型按显式评分细则打分来优化音乐生成，在 MusicCaps 上同时提升三个独立评价指标，而速度、调性、乐器等可精确测量的属性则仍需直接优化专用测量，代价是打分器与提问方式选择不当会失效。

论文把原来手工测试的互动叙事生成评估做成公开网页平台，用去标识评分、自动试玩与事实和偏见检查来测文本代码图像音频视频与完整游戏，报告前沿模型整体分数更高但交互结构仍弱且出现无限思考与过度拒答的代价。

论文用只接受音频条件的 MixAudio 记录每个声部用了哪段提示和共用上下文，再用 musicDNA 在训练库中检索复现，条件跟随实验与人工听辨的记忆审计共同说明记录何时成立、代价是只覆盖旋律声部且结论限于本次曲库。

UniData 把用户的一句简单需求先扩展成多样事件，再用文本为中心的多模态指令生成器逐轮生成九种模态的对话，并用轮间相似度校正重复与偏题，在 GPT 评测的四维质量上高于对照方法，但多轮增益与跨模型迁移都依赖评测集与微调条件。

针对舞蹈到音乐生成中身体部位与快慢运动混在一起、音乐隐变量局部变化缺乏直接监督的问题，Dyna2Music 用五部位慢快能量加 MotionBERT 特征做条件、用隐动态一致性约束相邻帧变化幅度，在 AIST++ 上 F1 达到 55.76 但最高 F1 对应的权重不是 FADc 最低权重。

JazzSAMBA 针对爵士标准曲缺少干净乐队分轨与演奏对齐曲式标注的问题，用 50 首异步叠录加 26 首同步合奏录制 76 首标准曲并配小节和弦段落独奏者标注，以爵士微调分离基线与谱面条件伴奏消融验证标注可用性，代价是同步存在串音且测试规模小、生成仍困难。

论文把文本到音乐拆成 25 Hz 语义规划加扩散声学渲染，用固定接口、三级语料和全链路产物清单重建 Qwen-Music 范式，最强证据是标注审计与量化误差的固定协议测量，代价是自动监督误差、离散信息损失与端到端人声不稳定仍未解决。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对实验室自有模型与自招被试的受控比较问题，PANEL 选择自托管问卷实验加内置统计路线，已报告的证据是支持七类题型、筛查分支与持续分析的完整设计，而代价是放弃实验室级刺激呈现精度并由研究者自行承担部署运维。

针对 SNES 游戏视频到音乐生成问题，论文用 217.6 小时视频配 485 小时干净配乐构造数据集，对比 T5、ViT、ViViT 三种编码并冻结编码器只微调 MusicGen 解码器，其中冻结 ViViT 在客观指标上最优并在听感上持平 OSSL，代价是关卡循环结构导致策略性类型仍难对齐且指纹匹配精度有限。

针对文本到中国传统器乐音乐生成缺少配对数据的问题，论文构建 741 对超 42 小时的 CTMusic 并用独奏到合奏的两阶段 LoRA 微调验证 Stable Audio Open，最强证据是微调后客观与主观指标全面超过预训练基线，而代价是新增 TTT 层带来额外可训练参数与两阶段训练开销。