多模态模型

📄 ASR-Agnostic Multimodal Spectrotemporal Modeling for Early Dementia Detection #多模态模型 7.4/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 0.9/1.5 | 清晰 1.3/1 | 影响 1.0/1.5 | 开源 0.3/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 7.4/10 | 前50% | #多模态模型 | #多模态模型 | arxiv 👥 作者与机构 Ugwu Chukwuemeka and Richard Oluwafemi Oyeleke. (论文未明确提供机构信息) 💡 毒舌点评 这篇论文像一个精心设计但测试条件不充分的原型。作者雄心勃勃地要解决一个真实痛点（ASR依赖、数据质量），并提出了一个技术上合理的框架（谱时移场+交叉注意力），消融实验也做得相当彻底，清晰地揭示了“融合好不好全看数据脸色”这个有点扫兴但重要的结论。然而，最大的尴尬在于，其号称最核心的贡献之一——多模态融合——在三分之一的实验（英语）上彻底失效，且在另一个高分实验（斯洛伐克）上居然是多余的。这就像你发明了一种超级合金，然后发现它在某些环境下比普通钢铁还脆，在另一些环境下则毫无必要。作者把问题归咎于DementiaBank这个“著名烂数据集”，这或许是事实，但更凸显了在未经验证的数据上宣称“新框架”的风险。没有与任何SOTA方法在标准测试集上正面比较，使得所有的“优势”声明都像是在真空中回响。整篇论文更像是一次关于“多模态融合的条件性”的高质量消融研究，而非一个在现实世界中可即插即用的检测方案。 📌 核心摘要 该论文针对基于语音的早期痴呆检测中过度依赖ASR转录、忽略时序动态、以及普遍依赖于有伪影的单一英语语料库（DementiaBank）这三个主要局限，提出了一种ASR无关的多模态框架。其核心创新在于提出“谱时移场”特征，通过计算连续梅尔频谱图帧之间的密集二维位移场，来捕捉作为认知衰退生物标志物的频谱能量模式时序变化。该特征与来自CNN-ConvGRU的声学嵌入通过学习的交叉注意力机制进行融合，并通过带有可学习查询池化的Transformer编码器进行患者级聚合。训练采用包含五种辅助项的复合时序损失函数。框架在三个不同语言（英语、斯洛伐克语、西班牙语）的语料库上独立训练并进行了完整的消融实验。实验结果揭示了三种截然不同的融合机制：在西班牙语中，交叉注意力至关重要，移除它导致性能崩溃；在斯洛伐克语中，单独的声学编码器性能优于完整模型，融合是多余的；在英语语料库上，所有配置均接近随机水平。主要结论是，多模态融合的价值高度依赖于数据质量与信号分布，不存在普适的最优架构选择。 🔗 开源详情 代码：论文中未提供任何代码仓库链接（如GitHub）。论文附录提供了完整的推理流程伪代码（Algorithm 1）和超参数配置（Table 10），但未提供训练脚本或源代码。 模型权重：论文中未提及预训练模型权重的下载链接。 数据集：论文中提及了三个语料库：DementiaBank Pitt Corpus（英语）、EWA-DB（斯洛伐克语）和Ivanova（西班牙语），但未提供这些数据集的直接获取链接或具体的开源协议。DementiaBank通常需要申请获取，EWA-DB和Ivanova的获取方式未说明。 Demo：论文中未提及在线演示链接。 复现材料：论文提供了详细的数学公式（附录A）、算法伪代码（算法1）和完整的超参数表（Table 10）。然而，深度学习模型的完全复现高度依赖于代码实现和数据处理流程，仅凭这些文本描述，复现难度较高。 论文中引用的开源项目：论文在相关工作部分引用了多项研究（如data2vec、ADReSS-M Challenge），但未明确提及或链接任何具体的第三方开源项目代码库。 🏗️ 方法概述和架构 本文提出了一个端到端的ASR无关框架，直接从语音波形生成的梅尔频谱图中检测早期痴呆。整个系统分为两个主要阶段：片段模型（Segment Model）和说话人聚合器（Speaker Aggregator）。 ...

📄 AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation #多模态模型 #语音合成 #自回归模型 #模型压缩 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0/0.5 | 工程 1/1.5 ✅ 6.5/10 | 前25% | #语音合成 | #模型压缩 | #多模态模型 #自回归模型 | arxiv 👥 作者与机构 作者：Kien T. Pham, I Chieh Chen, Qifeng Chen, Long Chen (通讯作者)。 机构：香港科技大学（The Hong Kong University of Science and Technology）。 ...

📄 Beyond Binary Instrument QA: Probing Instrument Grounding in Music Audio-Language Models #自监督学习 #多模态模型 #迁移学习 7.6/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 7.6/10 | 前25% | #音频分类 | #自监督学习 | #多模态模型 #迁移学习 | arxiv 👥 作者与机构 Yujun Lee, Joonhyeok Shin, Hyoeun Kim, Kyuhong Shim。论文原文未提供作者机构信息。 💡 毒舌点评 这篇论文的核心贡献是“造尺子”，而不是“量身高”。它正确地指出了现有评估指标（二元问答准确率）的不足，这本身是有价值的。然而，作为一篇顶会论文，其创新性稍显不足：1）诊断基准序列的设计虽合理，但并非颠覆性创新，类似思路在CV/NLP评估研究中已存在；2）论文未提出任何新的建模方法来解决它所揭示的问题，显得“只破不立”；3）实验结论（模型有偏差）在意料之中，缺乏更深刻的理论或机制解释。此外，部分实验设计存在局限，如“易混淆乐器组”的人工定义缺乏严格验证，可能影响结论的普适性。总体而言，这是一篇扎实的评估工作，但突破性有限。 📌 核心摘要 本文针对当前音乐音频语言模型在乐器问答任务上表现良好，但其能力真实性存疑的问题，提出了一个从简到难的诊断基准序列。该序列基于OpenMIC-2018数据集，从标准的二元（是/否）乐器存在问答出发，逐步引入更严格的评估设置：1) 减少基于音乐流派先验的问答；2) 要求模型区分声学或音乐上易混淆的乐器；3) 在更长的音频上下文中进行多标签乐器识别；4) 在时间轴上定位乐器出现的位置。通过对多种通用和音乐专用模型的评估，研究发现：高二元问答准确率并不能保证模型具备稳健的乐器接地能力；当任务难度提升时，模型暴露出多种系统性偏差，包括对选项位置的偏好、对特定乐器标签的偏好，以及在时间定位任务中对特定时间段的过度选择。这些结果表明，评估乐器中心的音乐理解需要采用多维度的诊断方法，而非仅依赖单一的聚合准确率。 ...

📄 Building a Multimodal Dataset of Academic Paper for Keyword Extraction #多模态模型 #语音识别 #条件随机场 5.2/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 0.7/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 📝 5.2/10 | 后50% | #语音识别 | #条件随机场 | #多模态模型 | arxiv 👥 作者与机构 作者： 张静宇，南京理工大学信息管理系，中国，邮箱：zzjy@njust.edu.cn 阎欣怡，南京理工大学信息管理系，中国，邮箱：yanxinyi@njust.edu.cn 项轶，南京理工大学信息管理系，中国，邮箱：xiangyi@njust.edu.cn 张英亿，苏州大学档案与电子政务系，中国，邮箱：yyzhang9@suda.edu.cn 张成志*（通讯作者），南京理工大学信息管理系，中国，邮箱：zhangcz@njust.edu.cn 💡 毒舌点评 这篇论文像是一份详尽的数据集“说明书”，而非一篇具有显著方法论创新的研究。作者准确地识别了领域空白（缺乏多模态关键词提取数据集），并勤恳地完成了数据构建、预处理和描述性统计工作——这份“苦劳”值得肯定。然而，其“功劳”却止步于此：后续的实验更像是为数据集打上“可用性验证”的标签，而非对多模态关键词提取这一科学问题进行深入探索。所用的模型（SVM, CRF, BiLSTM-CRF）在单模态NLP任务中已是“上古神器”，缺乏与当前SOTA（如基于Transformer的多模态大模型）的对比，使得“多模态融合有效”的结论显得苍白无力且过时。最致命的是，所谓的“多模态融合”仅仅是简单拼接文本特征，完全忽略了论文中反复强调的图像布局、音频语调等“模态特有信息”，这无异于只吃菜叶子的沙拉却宣称自己领略了整片森林的滋味。数据集仅1000篇论文，且未开源，其实际影响力和社区价值大打折扣。总体而言，这是一篇合格的数据集发布短文，但距离一篇能推动多模态理解技术前进的研究论文还有很大差距。 📌 核心摘要 针对现有关键词提取研究主要依赖单一文本模态，且缺乏支持多模态任务数据集的问题，本文构建了一个包含1000个样本的多模态学术论文数据集。每个样本整合了论文文本、会议演讲幻灯片的图像文本、演讲者音频的文本以及作者提供的关键词，数据来源于VideoLectures和SPIE数字图书馆。为验证数据集有效性，作者在多种无监督（TF-IDF， TextRank， SVM）和监督（CRF， BiLSTM-CRF， BERT-BiLSTM-CRF）关键词提取模型上进行了系统实验，评估了单独使用论文文本、音频文本、图像文本以及三者文本拼接的性能。实验结果表明，论文文本单独使用时在多数模型上效果最佳，而将三种模态文本拼接后，能在SVM、BiLSTM-CRF等部分有监督模型中取得最优或接近最优的性能，初步验证了多模态信息融合的潜力。论文同时指出，当前工作仅利用了模态的文本信息，未来可探索视觉特征、音频声学特征、模态相关性以及大语言模型在该任务中的应用。 ...

📄 Listening Between the Lines: Joint Learning of ASR Embeddings and LLM-Augmented Linguistics for Dementia Detection #数据增强 #自监督学习 #多模态模型 7/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.3/1.5 ✅ 7/10 | 前50% | #数据增强 | #数据增强 | #自监督学习 #多模态模型 | arxiv 👥 作者与机构 Jung, Park, Oh（Jiyoun Jung, Jonghyeon Park, Myungwoo Oh）。机构：1 Division of Communication and Media, Ewha Womans University, South Korea; 2 NAVER Cloud, South Korea。邮箱：olivierjiyounjung@gmail.com, jong-hyeon.park@navercorp.com, myungwoo.oh@navercorp.com。 ...

📄 MuseBench: Benchmarking Intent-Level Audiovisual Arts Understanding in MLLMs #多模态模型 7.9/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.9/10 | 前50% | #语音合成 | #多模态模型 | arxiv 👥 作者与机构 作者：Yuxuan Fan, Gyusik Seo, Jing Hao, Jaemin Cho, Mohit Bansal, Jaehong Yoon 机构：南洋理工大学（NTU Singapore），香港大学，约翰霍普金斯大学，艾伦人工智能研究所（AI2），北卡罗来纳大学教堂山分校 💡 毒舌点评 这篇论文的工作量扎实，构建了一个瞄准“艺术意图”理解的评估基准，方向不错，算是给当前主要关注事实性描述的视频理解评估补充了一个维度。但问题也很明显：首先，作为一篇评测论文，其“创新”更多是组合式的（视频论文+混合题型+评估指标），并非有突破性的方法洞察；其次，评估对象（MLLMs）的表现本身就在预期之中——差得远呢，这暴露的是整个领域在常识和文化先验上的短板，而非这篇基准独有的发现。论文花费大量篇幅描述构建流程，技术含量更多体现在流程设计的严谨性上，而非模型或算法。最大的硬伤是“开源”的模糊性，声称为社区做贡献，却不给代码和数据链接，这在如今顶会的评审环境下是重大扣分项。对于语音/音乐领域的读者来说，本文除了“评测”这个方法论思路外，具体贡献离我们的核心关切有点远。 📌 核心摘要 本文介绍了MuseBench，一个旨在评估多模态大语言模型（MLLMs）对视听艺术进行意图层面理解的新型基准。与现有主要评估感知识别的基准不同，MuseBench专注于测试模型是否理解创作选择背后的原因（如为什么使用某种镜头或构图）。该基准包含4，016个经专家验证的问题，覆盖电影、静态视觉艺术、舞台表演和游戏艺术四大类共11个子领域。问题从超过10，000个候选视频论文中提炼，通过一个四阶段流水线（片段分割、描述、问题生成、干扰项生成）构建，并采用迭代式人工审核保证质量。问题格式结合了单选和多选，选项数在4到8个之间变化。评估协议为单选题引入机会校正准确率（CAA），为多选题引入基于集合的F1值。对28个SOTA MLLMs的零样本评估表明，最强模型仅达48.29%准确率，远低于人类专家的87.18%，且模型在游戏艺术类别和多选题全面性上表现尤差。自适应关键帧选择提升有限，瓶颈在于艺术词汇和文化先验，而非时序定位。 🔗 开源详情 代码：论文中未提及具体的代码仓库链接。虽然文中提到“未来将发布MuseBench代码”，但当前未提供可访问的GitHub等链接。 模型权重：论文中未提及。本文为基准测试论文，未提出或发布新的模型权重。 数据集：MuseBench 数据集。论文中声明将公开发布此基准测试集，但未提供具体的下载链接或托管平台地址（如HuggingFace/ModelScope链接）。 Demo：https://musebench.github.io （项目主页）。 复现材料：论文中未提及。本文为评估基准论文，未提供训练配置、检查点等复现其评估流程所需的材料。 论文中引用的开源项目： Whisper-Large-v3：用于视频转录。链接：https://github.com/openai/whisper GPT-5.4-mini（OpenAI模型）：用于视频相关性过滤和数据生成。论文中未提供具体链接，此为根据模型名称推断的官方地址。 Keye-VL-1.5：用于视频片段描述生成。论文中未提供具体链接。 其他在评估中使用的开源模型（论文未提供这些模型的链接，仅在基准测试结果表格中提及）：包括Qwen3.5-397B-A17B、Qwen2.5-Omni-7B、InternVL3-8B/78B、LLaVA-OneVision-7B、MiniCPM-o、Gemma-4-E4B、VideoLLaMA2、VideoLLaMA3、Video-R1、LongVU、VideoRFT、VideoChat-R1、VideoChat2、Video-XL-2、AKS、Q-Frame、LongVT、Video-CCAM、TimeChat。 🏗️ 方法概述和架构 MuseBench的构建是一个系统性的、面向专家知识的工程过程，其架构可分解为四个核心部分：数据源与预处理、四阶段构建流水线、质量审核循环、评估协议。 ...

语音/音乐/音频论文速递 2026-07-01 共分析 35 篇论文 ⚡ 今日概览 📥 抓取 35 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 8篇 ████████ #语音合成 7篇 ███████ #自监督学习 2篇 ██ #音频分类 2篇 ██ #生成模型 2篇 ██ #语音情感识别 2篇 ██ #数据集 1篇 █ #知识蒸馏 1篇 █ 📊 论文评分排行榜（35 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Dilemmadata: On the Interoperability of Heterogeneous R 10.0分 前50% #数据集 🥈 SwiftAudio: Data-Efficient Caption-Only Distillation fo 10.0分 前50% #知识蒸馏 🥉 Attacking UTMOS: Probing the Robustness of a Speech Qua 8.6分 前25% #语音质量评估 4. Enhancing BEST-RQ Pseudo-Label Quality through Online R 8.6分 前50% #语音识别 5. Linguistic Bias Mitigation for Spoofing Detection via G 8.6分 前25% #自监督学习 6. Building an ASR Solution for Training and Assessing Chi 8.5分 前50% #语音识别 7. Beyond Cross-Reconstruction: Probing-Based Disentanglem 8.1分 前50% #语音编码 8. MuseBench: Benchmarking Intent-Level Audiovisual Arts U 7.9分 前50% #语音合成 9. Detecting Audio Deepfakes on the Edge:Lightweight SSL-B 7.7分 前25% - 10. Beyond Binary Instrument QA: Probing Instrument Groundi 7.6分 前25% #音频分类 11. SyncCache: Exploiting Asymmetric Dynamics for Fast Audi 7.5分 前25% #语音合成 12. Probing-Guided Layer Selection from Self-Supervised Spe 7.5分 前25% #集成学习 13. A First Exploration of Neuromorphic OT-CFM for Multi-Sp 7.5分 前25% #生成模型 14. LuxEmo: Expressive Text-to-Speech Corpus for Luxembourg 7.5分 前25% #语音合成 15. A Fair and Transparent Framework for Speech-Based Depre 7.4分 前50% #语音情感识别 16. ALM2Vec: Learning Audio Embeddings for Universal Audio 7.4分 前50% #音频检索 17. ASR-Agnostic Multimodal Spectrotemporal Modeling for Ea 7.4分 前50% #多模态模型 18. UniSAE: Unified Speech Attribute Editing on Speaker, Em 7.3分 前50% #语音合成 19. Tone-Conditioned Curriculum Learning for Low-Resource B 7.3分 前50% #语音识别 20. What Counts as an Error? Dual-Reference Benchmarking fo 7.3分 前50% #语音识别 21. Is Natural Always Appropriate? Investigating Naturalnes 7.2分 前25% #语音合成 22. FlexiSLM: A Dynamic and Controllable Frame Rate Spoken 7.2分 前25% #语音合成 23. ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning fo 7.1分 前50% #音频分类 24. Preserving Speech-to-Text LLM Capabilities in Speech-to 7.0分 前50% #语音识别 25. Listening Between the Lines: Joint Learning of ASR Embe 7.0分 前50% #数据增强 26. BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Appro 6.9分 前50% #语音识别 27. Improving multichannel speech enhancement through accur 6.8分 前50% #语音增强 28. Amplifying Membership Signal Through Chained Regenerati 6.6分 前50% #生成模型 29. AVTok: 1D Unified Tokenization for Holistic Audio-Video 6.5分 前25% #语音合成 30. LOPA: Enhancing Spoken Language Assessment via Latent O 6.2分 前50% #低资源 31. Adapting Foundation ASR Models to Dysarthric Speech: A 6.2分 前50% #语音识别 32. How Bilingual Are SSL Speech Models? Cross-Lingual Prob 5.8分 前50% #自监督学习 33. Gated Multi-Graph Fusion via Graph Attention Networks f 5.2分 后50% #语音情感识别 34. Building a Multimodal Dataset of Academic Paper for Key 5.2分 后50% #语音识别 35. Reference-Based Prosody and Rhythm Evaluation for Spoke 4.7分 后50% #语音对话系统 📋 论文列表 🥇 Dilemmadata: On the Interoperability of Heterogeneous Roman Numeral Datasets 10.0/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 AMR: Adaptive Modality Routing for Multimodal Polyglot Speaker Identification #说话人识别 #多模态模型 #自监督学习 #数据增强 #语音识别 #计算机视觉 7.8/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ✅ 7.8/10 | 前25% | #说话人识别 | #自监督学习 | #多模态模型 #数据增强 | arxiv 👥 作者与机构 论文作者为 Chuxiao Zuo, Yao Zhu, Minqiang Xu, Manhong Wang, Yunke Zhang, 和 Fei Huang。所有作者均隶属于 Honor Device Co., Ltd.，单位地点包括南京和上海。 ...

📄 Effective Depth in Joint Source-Channel Coding: An Implicit Equilibrium Analysis #语音编码 #多模态模型 #信号处理基础 7.0/10 | 创新 8/2 | 严谨 7/1.5 | 实验 7/1.5 | 清晰 7/1 | 影响 6/1.5 | 开源 0/1.5 | 复现 7/0.5 | 工程 7/1.5 ✅ 7.0/10 | 前50% | #语音编码 | #多模态模型 | #信号处理基础 | arxiv 👥 作者与机构 作者: Kaiwen Yu, Gang Wu, Xiaodong Xu, Yi Ma, Rahim Tafazolli 单位: 电子科技大学 (国家无线通信重点实验室)，北京邮电大学 (网络与交换技术国家重点实验室)，鹏城实验室，萨里大学 (5GIC & 6GIC) 邮箱: yukaiwen@uestc.edu.cn; wugang99@uestc.edu.cn; xuxiaodong@bupt.edu.cn; y.ma@surrey.ac.uk; r.tafazolli@surrey.ac.uk 💡 毒舌点评 这篇论文的立意是好的，试图解决Deep JSCC中“固定深度”的痛点。但把DEQ和NNGP这套组合拳用在图像JSCC上，就像是用高射炮打蚊子——理论很漂亮，实际收益存疑。作者声称“参数复杂度与有效深度无关”，但实验里的表格显示其参数量远超最简单的DeepJSCC，只是比SwinJSCC小。那个深度-SNR理论模型，校准过程依赖一个特定的验证集，换个数据集恐怕就得重新标定，通用性要打个大问号。最关键是，整篇论文围绕图像传输，跟本领域（语音/音频）的结合点在哪里？一个处理RGB像素的框架，能直接套到梅尔频谱或波形上吗？结论下得太早，影响力有限。 ...

📄 LeVo 2: Stable and Melodious Song Generation via Hierarchical Representation Modeling and Progressive Post-Training #音乐生成 #大语言模型 #扩散模型 #多模态模型 #对比学习 #数据增强 9.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 9.4/10 | 前10% | #音乐生成 | #对比学习 | #大语言模型 #扩散模型 | arxiv 👥 作者与机构 论文作者来自清华大学深圳国际研究生院（清华-港中文联合研究中心）、腾讯、武汉大学以及香港理工大学。通讯作者为清华大学的吴志勇教授和腾讯的于东博士。第一作者Lei Shun在论文完成时为腾讯实习生。 💡 毒舌点评 这篇工作是典型的“大力出奇迹”式的系统工程论文，扎实有余，灵光乍现不足。其核心贡献——分层LeLM架构和渐进式后训练——本质上是将已有的Transformer LM、VQ-VAE、扩散模型和DPO/RLHF技术进行了精心的组合与流水线化设计。分层思想虽解决了序列长度和协调性问题，但并非首创；训练范式虽设计精巧（美学引导、阶段解耦），但更像是一套针对数据和任务特性的工程化解决方案，而非普适性的算法创新。论文最大的优点在于诚实和全面：它坦诚地承认了与顶级商业系统的差距，详细公开了训练细节和代码，消融实验做得非常扎实，证明了每个设计模块的必要性。对于领域内的实践者来说，这是一份极佳的参考蓝图和可复现的基线；但对于追求颠覆性创新的顶会审稿人来说，其方法论上的“新瓶装旧酒”会是主要扣分点。分数给到8.0，是对其工程完整度、实验严谨性和开源贡献的高度认可，但也明确反映了其在根本性创新上的局限。 📌 核心摘要 本文提出了LeVo 2，一个用于可控且富有旋律性的完整歌曲生成的混合LLM-Diffusion框架。其核心架构LeLM采用分层表示建模，首先由混合语义LM预测混合令牌以捕获全局音乐结构（旋律、节奏、人声与伴奏协调），随后特定音轨LM基于前者的隐藏状态并行预测人声与伴奏令牌，以精化声学细节，最后由基于扩散的音乐编解码器将预测的令牌重建为波形。论文的主要贡献在于提出了一套由自动化音乐美学评估框架引导的三阶段训练范式，该范式包含解耦的渐进式后训练策略（SFT、大规模离线DPO、闭环半在线DPO），旨在依次优化生成质量、可控性（歌词和提示对齐）和音乐性，以缓解多目标优化冲突和静态数据集的局限。实验表明，LeVo 2在六个主观维度上显著超越所有开源基线，并在部分指标上接近领先的商业系统（Suno v5, Mureka v8），消融研究验证了其架构和训练策略各组件的有效性。 ...