扩散模型

📄 LeVo 2: Stable and Melodious Song Generation via Hierarchical Representation Modeling and Progressive Post-Training #音乐生成 #大语言模型 #扩散模型 #多模态模型 #对比学习 #数据增强 9.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 9.4/10 | 前10% | #音乐生成 | #对比学习 | #大语言模型 #扩散模型 | arxiv 👥 作者与机构 论文作者来自清华大学深圳国际研究生院（清华-港中文联合研究中心）、腾讯、武汉大学以及香港理工大学。通讯作者为清华大学的吴志勇教授和腾讯的于东博士。第一作者Lei Shun在论文完成时为腾讯实习生。 💡 毒舌点评 这篇工作是典型的“大力出奇迹”式的系统工程论文，扎实有余，灵光乍现不足。其核心贡献——分层LeLM架构和渐进式后训练——本质上是将已有的Transformer LM、VQ-VAE、扩散模型和DPO/RLHF技术进行了精心的组合与流水线化设计。分层思想虽解决了序列长度和协调性问题，但并非首创；训练范式虽设计精巧（美学引导、阶段解耦），但更像是一套针对数据和任务特性的工程化解决方案，而非普适性的算法创新。论文最大的优点在于诚实和全面：它坦诚地承认了与顶级商业系统的差距，详细公开了训练细节和代码，消融实验做得非常扎实，证明了每个设计模块的必要性。对于领域内的实践者来说，这是一份极佳的参考蓝图和可复现的基线；但对于追求颠覆性创新的顶会审稿人来说，其方法论上的“新瓶装旧酒”会是主要扣分点。分数给到8.0，是对其工程完整度、实验严谨性和开源贡献的高度认可，但也明确反映了其在根本性创新上的局限。 📌 核心摘要 本文提出了LeVo 2，一个用于可控且富有旋律性的完整歌曲生成的混合LLM-Diffusion框架。其核心架构LeLM采用分层表示建模，首先由混合语义LM预测混合令牌以捕获全局音乐结构（旋律、节奏、人声与伴奏协调），随后特定音轨LM基于前者的隐藏状态并行预测人声与伴奏令牌，以精化声学细节，最后由基于扩散的音乐编解码器将预测的令牌重建为波形。论文的主要贡献在于提出了一套由自动化音乐美学评估框架引导的三阶段训练范式，该范式包含解耦的渐进式后训练策略（SFT、大规模离线DPO、闭环半在线DPO），旨在依次优化生成质量、可控性（歌词和提示对齐）和音乐性，以缓解多目标优化冲突和静态数据集的局限。实验表明，LeVo 2在六个主观维度上显著超越所有开源基线，并在部分指标上接近领先的商业系统（Suno v5, Mureka v8），消融研究验证了其架构和训练策略各组件的有效性。 ...

📄 SICAGE: Speaker-Independent Culture-Aware Gesture Generation using TED4C-L Dataset #扩散模型 8.7/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.7/10 | 前25% | #语音合成 | #扩散模型 | arxiv 👥 作者与机构 Ariel Gjaci* (意大利技术研究所，热那亚，意大利; 热那亚大学，热那亚，意大利) Antonio Sgorbissa (意大利技术研究所，热那亚，意大利) Vittorio Murino (意大利技术研究所，热那亚，意大利) 💡 毒舌点评 论文试图解决一个有趣且重要的问题——手势生成中的文化偏见，但其“文化”定义极其粗糙（直接用国家/语言分组），这就像试图用“所有穿格子衬衫的程序员”来定义一个文化群体，忽视了巨大的组内变异，使得“文化感知”的声称打了折扣。 作者声称ALaDiT是“实时”的（生成4秒动作<14ms），但这只是在单张GPU上的推理延迟，论文并未在实验部分与其他基线方法（如MDM, DSG+）进行直接的实时性对比，这个声称缺乏严格的实验支撑。 用户研究部分，N=20的样本量对于跨文化、多维度的主观评估来说偏小，统计功效可能不足，尤其是论文报告了多个文化组和多项评分，容易出现偶然显著性。 一个根本性的疑问是：论文将每个说话人视为一个独立的“域”来学习文化表征，但每个说话人本身可能具有高度一致的个人风格，这种方法学到的到底是“文化不变性”还是“高度泛化的个人风格”？消融实验中NoDG（无域正则化）的表现并未与FI（有域正则化）拉开巨大差距，可能暗示了这一点。 论文提出TED4C-L数据集，但并未提供公开下载链接，仅指向一个项目主页。这限制了工作的可复现性和社区验证，对于声称“大规模”和“基准”的数据集来说，开源承诺的实现至关重要。 📌 核心摘要 本文针对现有共话语手势生成方法忽视文化差异且缺乏在说话人无关条件下评估的问题，提出了一个名为SICAGE的模块化框架。该框架的核心思想是学习说话人不变的文化表征。具体实现上，论文构建了一个大规模、多语言的手势数据集TED4C-L（764位TED演讲者，4个文化组，106小时）。文化表征的学习被建模为一个域泛化问题：将每个说话人视为一个独立的域，使用两种策略——对抗学习和Fishr正则化——来训练一个从音频和文本特征中预测文化标签的前馈网络，同时抑制其对说话人身份的依赖性。学习到的文化嵌入随后被用于条件化一个名为ALaDiT的扩散模型手势生成器。ALaDiT整合了音频（mel谱、起始强度、wav2vec）、文本（LaBSE句子嵌入）、种子动作和文化嵌入等多种模态，并通过交叉注意力和自适应实例归一化（AdaIN）等机制进行融合。实验在严格的说话人分割设置下进行，结果表明，基于Fishr正则化的文化嵌入（ALaDiT/FI）在运动真实性（FGD↓）、文化一致性（CE F1↑）等客观指标以及用户研究中的主观评分上均取得了最佳性能，优于无文化条件、对抗学习条件及其它消融变体，并显著超越了MDM和DSG+等基线模型。 🔗 开源详情 代码：论文中声明代码、数据集和项目主页将发布于 https://arielgjaci.com/sicage。截至审稿，未提供独立的代码仓库链接（如 GitHub）。 模型权重：论文中未提及预训练模型权重的下载链接。 数据集：论文提出了TED4C-L数据集，但未提供独立的下载链接或开源协议。获取方式指向上述项目主页。 Demo：论文中未提及在线演示链接。 复现材料：论文主文及补充材料（附录A-E）提供了详细的模型架构（VQVAE、ALaDiT、文化分类器）、训练超参数、损失函数配置和评估流程，为复现提供了充分的文本信息。 论文中引用的开源项目： MMPose：用于3D关键点提取。链接：https://github.com/open-mmlab/mmpose Language-Agnostic BERT Sentence Embeddings (LaBSE)：用于文本嵌入。模型可通过 Hugging Face 获取：https://huggingface.co/sentence-transformers/LaBSE wav2vec：用于音频特征提取。预训练模型可通过 Hugging Face 获取：https://huggingface.co/facebook/wav2vec2-large-xlsr-53 Motion Diffusion Model (MDM)：基线模型之一。链接：https://github.com/GuyTevet/motion-diffusion-model DiffuseStyleGesture+ (DSG+)：基线模型之一。链接：https://github.com/youngsik94/DSG+ VQ-VAE：论文在补充材料中描述了自定义架构，参考了相关工作（如 [46]），未提供独立仓库。 🏗️ 方法概述和架构 SICAGE是一个包含三个主要组件的模块化框架：1）一个文化多样的数据集；2）一个学习说话人不变文化表征的模型；3）一个以文化和其他特征为条件的动作生成器。其具体实现如下： ...

📄 Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean #语音合成 #参数高效微调 #低资源 #扩散模型 6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 6/10 | 后50% | #语音合成 | #参数高效微调 | #低资源 #扩散模型 | arxiv 👥 作者与机构 Phannet Pov, Sovandara Chhoun, Hyun Woo Park, Wan-Sup Cho, Saksonita Khoeurn 机构：柬埔寨数字研究与创新研究所、韩国相关机构（论文未明确列出具体机构全称） ...

📄 UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating #扩散模型 #多模态模型 8.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.9/10 | 前25% | #扩散模型 | #多模态模型 | arxiv 👥 作者与机构 第一作者Jiehui Huang来自香港科技大学（†表示该工作在快手技术Kling团队实习期间完成），通讯作者Jiaya Jia同样来自香港科技大学。合作机构包括香港中文大学、清华大学、中山大学以及快手技术Kling团队。论文为作者列表提供了机构归属上标和脚注。 💡 毒舌点评 这篇论文在解决一个真实且重要的问题：如何在长序列中保持身份和场景的一致性。双存储器槽（LTM/STM）加边界感知门控的思路直观且有效，工程实现也颇为扎实，特别是发布的多文化基准测试集很有价值。然而，审稿人（也就是我）必须指出几点：第一，这篇工作的核心贡献（记忆驱动的视频生成）并非语音/音乐/音频领域的直接突破，其“音频”部分主要是一个固定的说话人锚点注入，缺乏对音频内容动态生成的深入建模，因此对纯音频读者的吸引力有限。第二，部分技术细节的阐述流于表面，例如门控函数的具体形式为何选择线性？Strata-RoPE的自动衰减效果有无可视化验证？这些关键设计选择缺乏令人信服的理论或实验支撑。第三，消融实验存在明显缺口，未能单独验证“边界条件门控”（尤其是音频信号融合）的必要性。最后，将Gemini-2.5-Pro作为唯一的“裁判”来评估所有多模态一致性指标，这种做法的鲁棒性和公平性值得怀疑。总体来说，这是一篇工程做得不错、想法也靠谱的音视频生成论文，但若想冲击顶级会议，还需要在技术深度的挖掘和评估方法的严谨性上再下功夫。 📌 核心摘要 UnityShots是一个基于双流扩散Transformer（LTX-2.3）的、由记忆驱动的多镜头音视频生成系统。其核心设计是引入了两个固定大小的视频记忆槽：一个长期记忆（LTM）槽锚定于初始镜头，用于保持全局身份一致；一个短期记忆（STM）槽保存前一镜头的尾帧，用于维持局部连续性。这两个记忆槽在每次镜头切换时，通过一个边界条件门控机制进行更新，该机制融合了视觉切割概率和音频节拍信号。音频方面，系统在每个镜头注入一个固定的参考说话人令牌以保持音色一致性，而非使用滑动的音频记忆窗口。论文还构建了一个包含200个序列、覆盖六大文化区域的多文化多镜头评估基准。实验表明，在I2V、T2V、R2V三种条件下，UnityShots在跨镜头一致性指标（如NC， Story， Char）上领先所有开源基线，并与强大的闭源系统Kling相当。 🔗 开源详情 代码：https://github.com/JIA-Lab-research/UnityShots (已提供) 模型权重：论文中未提供模型权重的直接下载链接。论文基于LTX-2.3模型进行构建。 数据集：论文中提及发布了一个包含200个多文化多镜头序列的评估基准测试集，但未在论文中提供具体下载链接。训练数据集（146,000个标注镜头）的构建流程在附录C中详细描述，但未提供独立的数据集下载链接。 Demo：论文中未提及在线演示链接。 复现材料： 训练配置：详细的阶段2训练超参数列于附录A的表1中。 数据集构建流程：训练数据和基准测试集的构建流水线在附录C中详细描述。 推理伪代码：完整的内存更新和推理循环伪代码在附录F中提供（算法1和算法2）。 模型检查点：论文中提到会发布模型检查点，但未提供具体下载地址。 论文中引用的开源项目： LTX-2.3：核心基础模型。 TransNetv2：用于镜头分割和视觉剪切概率计算。 WhisperX：用于转录和说话人分割。 DEMUCS：用于音频源分离。 Qwen3-VL：用于初始的多模态标注。 Gemini3-Pro：用于细粒度叙述性字幕生成。 ElevenLabs eleven_multilingual_v2：用于生成基准测试集中的参考音频。 DeepSpeed：用于分布式训练优化。 DDIM：用于推理的去噪方法。 VBench， ViCLIP：用于文本-视频对齐评估。 DINOv2：用于计算镜头间相似度（TSIM）。 Audiobox：用于音频美学评估。 CLAP：用于音频-字幕相似度评估。 （注：上述项目均为论文中明确提及或使用的工具/模型，但论文文本中未提供它们的独立开源链接。） 🏗️ 方法概述和架构 UnityShots旨在生成内容连贯、身份一致的多镜头音视频序列。其整体架构基于预训练的22B参数双流扩散Transformer（LTX-2.3），该模型能够同时去噪视频和音频潜变量。系统的核心创新在于引入了显式的、结构化的跨镜头记忆机制，该机制主要由以下组件构成： ...

📄 Adaptive Oscillatory Inductive Bias for Modeling Sharp Prosodic Dynamics in Diffusion-Based TTS #语音合成 #扩散模型 #情感语音合成 7/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7/10 | 前50% | #语音合成 | #扩散模型 | #情感语音合成 | arxiv 👥 作者与机构 Sandipan Dhar, Nirmesh Shah, Ashishkumar P. Gudmalwar, Pankaj Wasnik. Sony Research India. 💡 毒舌点评 这篇论文本质上是给一个强大的现有系统（StyleTTS2）换了个激活函数，然后包装成“自适应振荡感应偏置”这样一个听起来高深的概念。创新性实在有限，相当于在 Snake 激活函数的基础上加了个可学习的缩放参数和一个恒等映射，然后声称这能更好地捕捉“尖锐的韵律转换”。论文的理论分析部分，那个四层回归模型的收敛性实验，说服力约等于零——用最简单的玩具任务来论证一个复杂的TTS模型中的关键组件，这操作有点“挂羊头卖狗肉”。实验部分倒是跑了不少指标，但分析流于表面，尤其是 WER 的剧烈变化完全没给出合理解释。最让人皱眉的是，论文声称“开源”，但根据原文，代码、模型权重链接统统没给，只给了个演示链接，这算哪门子开源？整体感觉像是一篇“增量式”的工作，包装得比实质贡献要好。 ...

📄 A Variational-Flow Analysis of StoRM under Noise-Power Mismatch #语音增强 #扩散模型 #理论分析 4.4/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 0.2/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0/0.5 | 工程 0.2/1.5 📝 4.4/10 | 前50% | #语音增强 | #扩散模型 | #理论分析 | arxiv 👥 作者与机构 作者：Shubham Ojha 机构：未提及 💡 毒舌点评 这是一篇结构清晰、野心勃勃的理论工作，试图为StoRM模型在噪声功率失配下的“Kink”现象提供一个严格的数学解释。其核心洞察——将输出敏感性分解为下游放大矩阵和上游预测器敏感性的乘积——在理论上是优雅且有潜力的。然而，该工作目前的完成度远未达到顶会标准。它本质上是一份“研究纲领”或“初步报告”，而非一篇完整的论文。所有核心假设（假设2、3）和关键定理（定理2）的证明都未完成或仅有提纲，而论文中声称的实验验证被完全推迟。这导致整个理论框架如同空中楼阁，其有效性完全依赖于未来（且未保证的）配套报告。如果这是一篇投稿，其状态更接近于“在进行中的工作”，而非“已完成的研究”。 📌 核心摘要 本文针对混合扩散语音增强模型（以StoRM为实例）在噪声功率偏离训练条件时性能急剧下降的“Kink”现象，提出了一种基于变分流动的理论分析框架。核心贡献是推导了一个精确的、逐路径的参数敏感性乘积分解：输出对噪声功率参数M的敏感性，等于一个由分数雅可比矩阵决定的连续矩阵值泛函K(M)，与预测器输出对M的敏感性的乘积。在三个关于逆向过程流的假设下，论文证明了一个“当且仅当”定理，将增强输出的C1光滑性失效（Kink）归因于预测器映射的C1光滑性失效。该结论被推广到离散欧拉-丸山采样器。论文明确指出，所有假设验证和实验评估均被推迟到一份配套的实验报告中，当前版本仅呈现理论框架和实验计划。 🔗 开源详情 代码：论文中未提及代码链接或仓库。 模型权重：论文中未提及模型权重链接。 数据集：论文中未提及具体数据集名称、链接或协议。 Demo：论文中未提及。 复现材料：论文中未提及复现材料（如训练配置、检查点、附录等具体信息）。 论文中引用的开源项目： StoRM: 未提供具体链接（论文中将其作为所研究的“canonical instance”进行引用）。 SGMSE+: 未提供具体链接（论文中作为相关工作进行引用）。 🏗️ 方法概述和架构 本文提出了一种用于分析噪声功率失配下扩散增强模型行为的变分流动分析框架，其架构和方法可逐层展开如下： ...

📄 Audio-visual Contrastive Alignment for Diffusion-based Visual-conditioned Speech Enhancement #扩散模型 #对比学习 #多模态模型 #语音增强 8.1/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.1/10 | 前25% | #语音增强 | #对比学习 | #扩散模型 #多模态模型 | arxiv 👥 作者与机构 Colombe Mboungou, Mostafa Sadeghi, Jean-Eudes Ayilo, Romain Serizel Université de Lorraine, CNRS, Inria, Loria, Nancy, France 💡 毒舌点评 这篇论文做了一件相对简单但合理的“缝合”工作：在一个现有的扩散式无监督视听语音增强（AV-UDiffSE+/DiffUSEEN）框架上，增加了一个训练时的对比损失来强化视听对齐。想法直接，实验也显示了收益。但作者似乎对这项工作的定位过于乐观。它本质上是一个模块化改进，而非架构或范式上的突破。论文在讨论中声称“明确研究了跨模态对齐的作用”，但其实验主要展示了“增加对比损失能提升性能”，对于“为何现有交叉注意力机制不够”以及“对比损失具体如何改善表示空间”的深层机制探讨不足。将这样一个相对增量的工作发表在顶会，需要更强的洞察力和更全面的分析来支撑。 ...

📄 Bridging Self-Supervised Learning and Speech Enhancement: A Wav2Vec2-Conditioned Framework #语音增强 #自监督学习 #扩散模型 7.5/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | #语音增强 | #自监督学习 | #扩散模型 | arxiv 👥 作者与机构 作者：Shubham Ojha, Carol Espy-Wilson 机构：Institute for Systems Research, University of Maryland, College Park 💡 毒舌点评 这篇工作像个精心包装的“拼盘”：拿现成的扩散模型（StoRM）和自监督特征（Wav2Vec2.0），用一层简单的FiLM胶水粘起来。作者声称的“理论推导”更像是给一个简单的指数平滑操作找了个高大上的借口——最终α还是得靠经验选定（α=1）。实验设计存在明显短板：与表1中其他SOTA（如UNIVERSE++）的对比避重就轻，只强调PESQ的提升而淡化其他指标的劣势或持平。消融实验不够深入，例如仅探讨了FiLM位置，却未深入分析Wav2Vec不同层特征或不同SSL模型的影响。最要命的是完全封闭，不提供代码，让“可复现性”沦为一句空话。整体来看，想法直接，工程上有一定价值，但学术贡献的深度和完整性堪忧。 📌 核心摘要 本文提出了一种将冻结的Wav2Vec 2.0自监督语音特征注入扩散语音增强模型（StoRM）的新框架。核心是在U-Net的瓶颈层使用特征线性调制（FiLM），用从含噪语音提取的语音特征来调制扩散过程的中间表示。为了在有限的内存开销下处理时间序列特征，作者基于线性高斯状态空间模型的最优贝叶斯因果估计器推导出指数平滑策略来聚合FiLM系数。在VoiceBank-DEMAND和LibriMix基准测试上，该方法相比于未使用条件化的StoRM基线，在PESQ等感知指标上取得了显著提升（最高+0.4），证明了自监督特征对扩散语音增强的有效引导作用，但SI-SDR指标有轻微下降，计算开销略有增加。 ...

📄 ProsoCodec: Prosody-Oriented Speech Codec for Voice Conversion #语音转换 #流匹配 #扩散模型 6.6/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.3/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 6.6/10 | 前50% | #语音转换 | #流匹配 | #扩散模型 | arxiv 👥 作者与机构 作者: Jeongsoo Choi, Ji-Hoon Kim, Shujie Hu, Joon Son Chung 机构: KAIST (韩国科学技术院), Chung-Ang University (中央大学), The Chinese University of Hong Kong (香港中文大学) ...

📄 Co-policy: Responsive Human-Robot Co-Creation for Musical Performances #音乐生成 #多模态模型 #扩散模型 8.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.5/10 | 前50% | #音乐生成 | #多模态模型 | #扩散模型 | arxiv 👥 作者与机构 第一作者：Xuetao Li（武汉大学计算机科学学院）和 Wenke Huang（南洋理工大学计算与数据科学学院，联合第一作者） 其他作者：Mang Ye（武汉大学计算机科学学院），Zijian Liu（武汉理工大学自动化学院），Jinhua Xie（武汉大学测绘遥感信息工程国家重点实验室），Jifeng Xuan（武汉大学计算机科学学院，通讯作者），Miao Li（武汉大学计算机科学学院与机器人学系，通讯作者）。 机构：武汉大学（主要），南洋理工大学，武汉理工大学。 💡 毒舌点评 这篇论文试图解决一个非常具体且有趣的问题：让机器人从“播放者”升级为“共创者”。框架设计清晰，模块化思路值得肯定。然而，评估体系存在明显短板：音乐质量评估完全依赖10位专家的主观盲评，尽管声称保留所有分数，但艺术评价的方差和偏见并未通过任何统计检验来量化或控制。作者自谦的“有限验证范围”其实点出了一个硬伤：系统严重依赖预先构建的“语义锚点库”，其扩展性和泛化到未见过的音乐风格的能力存疑。GMP策略虽然在低延迟上表现出色，但其“多模态动作模式”在消融实验中贡献相对有限，且缺少与最新迭代式策略（如Consistency Policy）的直接对比。论文最大的问题在于，它巧妙地将音乐AI的创造性评估与机器人学的执行性能评估捆绑在一起，但未能证明这种捆绑评估的必要性或优越性。一个纯粹的音乐生成模型和一个低延迟控制器的简单级联，在特定指标上是否真不如这个紧密耦合的系统？结论下的过于肯定。 📌 核心摘要 本文提出了Co-policy框架，旨在将机器人音乐演奏从被动回放转变为主动协作创造。该框架是一个模块化的视觉-语言-动作（VLA）系统，包含三个核心部分：1）基于微调Qwen-vl（F-Qwen）的语义锚定模块，将语音、音符和视觉输入转化为结构化的协作计划；2）约束性音乐变化模块，在主题、和声、新颖性和可执行性等约束下生成互补的机器人音符响应；3）高斯混合视觉运动策略（GMP），通过单次前向传播直接映射目标音符和视觉上下文为多模态机器人动作，以实现低延迟响应。在真实钟琴敲击场景下的评估表明，Co-policy在协作质量评分和执行准确率上均优于扩散策略等基线，并通过专家盲评验证了其在意图对齐、创造性贡献和音乐连贯性方面的优势。 🔗 开源详情 代码：论文中提供了明确的项目仓库链接，源代码、网页实现、提示模板和配置文件等均可获取：https://xtli12.github.io/Co-policy/docs/ 模型权重：论文中未提及模型权重（如微调后的F-Qwen、训练好的GMP）的公开下载链接（如HuggingFace/ModelScope）。 数据集：论文中未提及独立公开的训练数据集链接。文中提到为训练收集了350条真实世界机器人演示轨迹，但其获取方式未在论文中公开。 Demo：项目主页包含演示视频等材料，可作为在线演示的入口：https://xtli12.github.io/Co-policy/ 复现材料：论文明确指出，项目仓库中提供了“处理后的机器人演示、生成的音符计划、匿名化的专家评分、评估脚本、提示模板、语义锚点模式和训练模型配置文件”。这些材料可用于复现。详情见：https://xtli12.github.io/Co-policy/docs/ 论文中引用的开源项目： Qwen-vl：论文中使用的基础视觉语言模型。其开源仓库地址为：https://github.com/QwenLM/Qwen-VL ManiSkill2：用于仿真验证的平台。其项目主页为：https://maniskill2.github.io/ 🏗️ 方法概述和架构 Co-policy框架是一个模块化的实时人机音乐共创系统，旨在解决两个核心挑战：如何将人类不完整的创意种子转化为互补的机器人音乐响应，以及如何在交互级延迟下物理执行该响应。系统由三个串联的核心组件构成，数据流清晰，形成“感知-规划-执行”的闭环。 ...