多模态模型

📄 Catching Lies Without Sending the Video: Privacy-Preserving Multimodal Deception Detection #多模态模型 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 6.2/10 | 前50% | #多模态模型 | #多模态模型 | arxiv 👥 作者与机构 作者：Nikita Sharma (加州大学圣地亚哥分校), Pranav Saran (凯斯西储大学), Karan Singla (WhissleAI，美国) 💡 毒舌点评 这篇论文的立意很好——在AI无孔不入的时代讨论隐私保护，尤其是对人脸和声音这种生物特征数据的保护，方向绝对正确。但作为一个顶会级别的研究，它的问题在于“用大炮打蚊子”。你拿一个只有121个片段、且严重不平衡（一个被告贡献32个片段）的数据集，去论证一个复杂的、涉及多个商业组件（Whissle STT/视觉栈、两个前沿LLM）的流程的有效性，说服力天然不足。论文最大的亮点和贡献，其实是那个“诚实审计”——戳破了领域内一个心照不宣的泡沫：之前报告的75%准确率，很大程度上是评估漏洞（说话人泄露）吹出来的。这很有价值。但除此之外，你用一个小型数据集上的AUC从0.741提升到0.755，然后宣称一个“范式转移”，是不是有点用力过猛了？那个“节省7.8倍token”的成本分析，在121个样本上测出来的数字，推广到实际场景有多少参考价值？更讽刺的是，最佳性能（0.755）还是依赖一个封闭的、不透明的商业模型（Claude Opus）。所以，整篇论文读下来，感觉像是WhissleAI公司的一个技术概念展示和隐私宣言，学术上的厚度和普适性结论的强度，差得远。 📌 核心摘要 本研究旨在解决多模态欺骗检测中的隐私泄露问题。论文提出一种端到端流程，在设备端将原始视频转换为约250个可解释特征的紧凑摘要，仅摘要被发送至云端用于分析。在Real-life Trial Deception数据集上，采用严格的留一说话人外（LOSO）评估，论文得出三个主要结论：1）一个在摘要上训练的小型梯度提升分类器（AUC 0.741）可匹配一个在原始视频上运行的大型视觉语言模型（Gemini 2.5 Pro， AUC 0.749）；2）将摘要交给前沿LLM（Claude Opus 4.8）进行零样本判断，达到最佳性能（AUC 0.755），且输入token量仅为原始视频的1/7.8；3）文献中广泛报道的75%准确率，是由于使用了会泄露说话人身份的评估协议（留一视频外）所导致的虚高结果。论文通过消融研究分析了特征组贡献，并探讨了LLM提示敏感性和语音意图相关性等问题。 ...

📄 CORTIS: Text-Only Adaptation of Spoken Language Models for Task-Oriented Voice Agents #多模态模型 #正则化微调 #低资源 #鲁棒性 #语音识别 7.7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ✅ 7.7/10 | 前50% | #语音识别 | #多模态模型 | #正则化微调 #低资源 | arxiv 👥 作者与机构 Youngwon Choi (Maum AI Inc.) Hyeonyu Kim (Maum AI Inc.) Taeyoun Kwon (Maum AI Inc., Seoul National University) Donghyuk Jung (Korea Culture Technology Institute) Myeongkyun Cho (Maum AI Inc., KAIST) 通讯作者：youngwonchoi@maum.ai 💡 毒舌点评 创新性有限：论文提出CORTIS框架，核心是“用文本数据微调语音模型”，这是一个直观且合理的思路，并非突破性的技术新颖性。主要贡献在于在特定任务（语音代理）上验证了这一思路的有效性，并与级联系统进行了系统比较。 实验范围受限：虽然使用了三个数据集，但两个是公开基准，一个是未公开的内部数据集。关键的消融实验（如has_ablation: 否）缺失，未能深入探讨“冻结语音模块”、“提示格式一致性”等设计选择对性能的具体影响。 评估深度不足：论文声称优势在“高阶任务语义”和“噪声鲁棒性”，但缺乏对失败案例（如表2所示的实体错误）的定量分析。未报告置信区间或统计显著性检验，使得“竞争优势”的结论强度打折扣。 开源与可复现性差：论文未提供代码、模型权重或内部数据集的任何访问链接（has_code: 否， has_model: 否， has_dataset: 否）。尽管提供了详细训练配置，但缺乏代码使得完全复现困难，违背了顶会鼓励开源的原则。 影响力中等：工作为降低任务导向语音模型的标注成本提供了实用方案，但受限于仅在Qwen2.5-Omni架构上的验证（且附录C显示在其他模型上效果不佳），其普适性有待进一步证明。对语音领域的实际产品开发有一定参考价值。 📌 核心摘要 本文提出了CORTIS，一个用于任务导向语音代理的文本-only监督适配框架。其核心思想是：仅使用文本形式的任务监督数据（用户指令-结构化输出对）来微调口语语言模型（SLM）的LLM组件，同时冻结其语音编码器和模态适配器。利用SLM预训练时习得的跨模态对齐能力，使得微调后的模型在推理时能够直接处理语音输入，生成结构化任务输出，而无需任务特定的语音-标注对。实验在FSC、SLURP和一个内部产品数据集上进行，将CORTIS与使用相同文本监督数据的ASR-LLM级联系统进行对比。结果表明，CORTIS在性能上与级联系统具有竞争力，并在声学条件恶化时，对于保留高阶任务语义（如意图识别、函数调用）表现出更明显的优势。 ...

📄 Interleaved Speech Language Models Latently Work In Text #语音识别 #预训练 #多模态模型 6.4/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.4/10 | 前50% | #语音识别 | #预训练 | #多模态模型 | arxiv 👥 作者与机构 Talia Sternberg, Gallil Maimon, Yossi Adi The Hebrew University of Jerusalem 💡 毒舌点评 这篇论文提出了一个有趣且符合直觉的假设：语音模型内部可能在“偷偷”把语音转成文字来思考。用logit lens这个“X光机”去扫描模型中间层，确实观察到了这种现象，控制实验也表明这需要文本预训练和交错数据两个条件。然而，整篇文章更像是在报告一个有趣的观察现象，而非深入的机制解剖。相关性的发现（ρ≈0.7）虽然显著，但远非强有力，且未建立因果关系。方法上，最大值聚合的倾向可能高估了信号强度。作者自己也承认了这些局限，但作为顶会论文，在提供深刻机制洞察和严谨因果验证方面有所欠缺。论文读起来像是为未来工作指明了方向，但本身并未完成最令人兴奋的证明环节。 📌 核心摘要 本研究的核心发现是，经过交错语音-文本训练的语音语言模型，在处理语音输入时，其Transformer模型的中间层会自发地产生对应语音内容的文本表示（隐式转录），即使模型从未被显式训练过语音识别任务。这种行为需要两个关键前提：从预训练的文本语言模型初始化，以及使用包含语音-文本交错的数据进行训练。模型在中间层“思考”在文本空间，完成转录和下一步预测后，再将表示转换回语音域以生成语音。此外，这种隐式转录能力与模型在语音输入下进行常识事实检索的能力呈正相关，表明这种内部机制可能与模型的知识能力有关。 🔗 开源详情 代码：论文中未提及代码开源链接。 ...

📄 ISCSLP 2026 CoT-TTS Challenge: Chain-of-Thought Reasoning for Context-Aware Text-to-Speech #语音合成 #语音识别 #多模态模型 6.6/10 | 创新 1/2 | 严谨 1.1/1.5 | 实验 0.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.6/10 | 前50% | #语音合成 | #语音识别 | #多模态模型 | arxiv 👥 作者与机构 论文标题：ISCSLP 2026 CoT-TTS Challenge: Chain-of-Thought Reasoning for Context-Aware Text-to-Speech 作者列表（按原文顺序）：Wei Xue (香港科技大学), Junlan Feng (中国移动), Shilei Zhang (中国移动九天智能科技（北京）有限公司), Yue Wang (中国移动香港创新研究院), Ruosong Yang (中国移动香港创新研究院), Bei Liu (香港科技大学), Liumeng Xue (南京大学), Sitong Cheng (香港科技大学), Jiahao Pan (香港科技大学), Weizhen Bian (香港科技大学), Boyi Kang (香港科技大学), Bin Long (香港生成式AI研发中心) 机构：香港科技大学, 中国移动, 中国移动九天智能科技（北京）有限公司, 中国移动香港创新研究院, 南京大学, 香港生成式AI研发中心 ...

📄 MindAlign: Decoding Inner Speech from fMRI Signals via Multimodal Embedding Alignment under Limited Data #语音识别 #低资源 #数据增强 #多模态模型 #自监督学习 #参数高效微调 5.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.8/10 | 前50% | #语音识别 | #数据增强 | #低资源 #多模态模型 | arxiv 👥 作者与机构 作者：Muxuan Liu, Ichiro Kobayashi, Satoshi Nishida。第一作者Muxuan Liu和第二作者Ichiro Kobayashi隶属于日本御茶水女子大学（Ochanomizu University）人文与科学研究生院；第三作者Satoshi Nishida隶属于日本国立信息通信技术研究所（NICT）先进ICT研究所信息与神经网络中心（CiNet）。 ...

📄 Toward Open-Set Speaker Attribute Prediction with Keyword-Appended LLM Embeddings #多模态模型 7.8/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.8/10 | 前25% | #多模态模型 | #多模态模型 | arxiv 👥 作者与机构 作者：Byoungjun So, Jaejun Lee, Kyogu Lee 机构：首尔大学 (Department of Intelligence and Information, Interdisciplinary Program in AI, AI Institute) 💡 毒舌点评 论文的立意清晰，将说话人属性预测从闭集分类扩展到基于LLM嵌入的开放集空间，这个方向本身很有价值。关键词附加策略的设计很巧妙，其发现也颇具启发性——哪怕加个完全不相关的“apple”都能起到稳定流形的作用，这暗示其作用可能超越了简单的语义对齐，更像一种结构性的正则化。实验设计合理，不仅评估了闭集性能，还通过同义词任务验证了开放集能力，并进行了深入的几何分析来解释机理。然而，论文的“开放集”验证方式略显单薄，仅使用同义词作为测试案例，这本质上仍属于训练时见过的语义簇内的泛化，对真正“未见”属性的泛化能力未做验证。此外，所有实验均在单一、可能受限的LibriTTS-P数据集上进行，且未与更复杂的基线（如直接使用LLM进行零样本预测）对比，其结论的普适性和优越性有待更强证据支撑。代码未开源也限制了其可复现性和影响力。 📌 核心摘要 本论文针对传统说话人属性预测依赖闭集分类、缺乏语义丰富性和零样本泛化能力的问题，提出了一种基于LLM嵌入的开放集预测新框架。核心思想是将离散的属性标签映射到由LLM定义的连续语义空间中。为解决跨模态对齐的挑战，论文提出了两项关键技术：1) 关键词附加策略：为每个属性词附加一个领域关键词（如“speech”），将语义锚定到语音领域，从而将广泛语义表示结构化为紧凑、有判别力的流形。2) Top-k负损失：针对紧凑流形中可能出现的语义拥挤问题，该损失通过惩罚与预测结果相似度最高的k个负样本，建立更清晰的决策边界。在LibriTTS-P数据集上的实验表明，该方法在闭集任务上显著优于传统多标签分类基准，并在零样本同义词预测任务上保持了高性能，证明了其开放集泛化能力。进一步的几何分析（如Center Sim, Total Variance, PCA Log-det）定量证实了关键词附加策略能有效收缩和规整嵌入流形，而Top-k负损失在更紧凑的流形中能带来更大的性能提升。 ...

📄 Vaani Benchmark V1.0: An Inclusive Multimodal Benchmark Dataset for Hindi #语音识别 #多模态模型 #低资源 6.7/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.3/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 6.7/10 | 前50% | #语音识别 | #多模态模型 | #低资源 | arxiv 👥 作者与机构 作者：Sujith Pulikodan, Agneedh Basu, Saurabh Kumar, Pranav Bhat, Pavan Kumar J, Visruth Sanka, Nihar Desai, Prasanta K. Ghosh 机构： ...

语音/音乐/音频论文速递 2026-06-23 共分析 83 篇论文 ⚡ 今日概览 📥 抓取 83 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 19篇 ███████████████ #语音合成 14篇 ██████████████ #音乐生成 3篇 ███ #说话人验证 3篇 ███ #语音增强 3篇 ███ #对比学习 2篇 ██ #自监督学习 2篇 ██ #音频水印 2篇 ██ 📊 论文评分排行榜（83 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 CoughPhase-CLR: Designing an acoustics-informed foundat 10.0分 前10% #对比学习 🥈 Libretto: Giving LLM Agents a Sense of Musical Structur 9.2分 前50% #音乐生成 🥉 Speaker Identity in Non-Verbal Vocalizations: Condition 9.1分 前25% #说话人验证 4. PHAST-Net: Attention-Guided, Physics-Informed Network f 9.0分 前10% #音乐信息检索 5. Domain-incremental audio classification using domain-sp 9.0分 前50% #音频分类 6. MSU-Bench: Towards Speaker-Centric Understanding in Con 9.0分 前10% - 7. How Well Do Self-Supervised Speech Models Encode Age an 9.0分 前50% #自监督学习 8. CAAD: Contrastive Audio-Aware Distillation for Efficien 8.9分 前25% #语音识别 9. STAR-VAE: Structured Topology-Aware Regularization for 8.8分 前25% #音频生成 10. An Evaluation Framework for Text-to-Speech Voice Recons 8.8分 前25% #语音合成 11. An Analysis of Untrained Deep Reservoir Networks for Au 8.8分 前50% #音频事件检测 12. Towards Detecting Neural Audio Codec Synthesized Heart 8.7分 前50% #自监督学习 13. Bridging the Age Gap: Towards Detecting Neural Audio Co 8.6分 前50% #语音伪造检测 14. ATCCaps: A Call-Sign-Aware Speech Dataset for Air Traff 8.6分 前25% #语音识别 15. InstructFX2FX: A Multi-turn Text-to-Preset Demo for Ite 8.6分 前50% #对比学习 16. When EER Hides Deployment Failure: Auditing Threshold T 8.6分 前25% - 17. CapRiCorn-1K: A Comprehensive Benchmark for Video Capti 8.6分 前50% #语音识别 18. Compiling Differentiable Audio Graphs to Real-Time DSP 8.5分 前25% - 19. Improving Text-to-Music Generation with Human Preferenc 8.5分 前50% #音乐生成 20. Don't Listen to Me: A Lightweight, Low-Latency Mode 8.4分 前50% #语音增强 21. HALAS: A Human-Annotated Dataset of Hallucinations of M 8.4分 前50% #语音识别 22. Benchmarking Large Language Models for Grapheme-to-Phon 8.4分 前25% #语音合成 23. Cross-lingual Retrieval-Augmented Classification for Dy 8.4分 前25% #语音识别 24. Bagpiper-TTS: Natural Language Guided Universal Speech 8.4分 前25% #语音合成 25. Using Phonological-Level Wav2Vec2 for Mandarin Automati 8.3分 前25% #语音识别 26. Word Lengthening as a Function of Utterance Position: A 8.1分 前25% #语音合成 27. LambdaMark: Semantic Audio Watermarking for Robustness 8.0分 前25% #音频水印 28. OpenWER: Improving Cross-Lingual ASR Evaluation and Ena 8.0分 前50% #语音识别 29. AudioCALM: Continuous Autoregressive Language Modeling 7.9分 前25% #语音合成 30. AOR-Bench: Do Large Audio Language Models Over-Refuse P 7.9分 前50% #音频问答 31. Gradient-Based Learning of Parametric Engine Sound Repr 7.8分 前50% #参数高效微调 32. Toward Open-Set Speaker Attribute Prediction with Keywo 7.8分 前25% #多模态模型 33. Time-Frequency Weighted Losses for Phoneme Reconstructi 7.8分 前25% #语音增强 34. An implicitization-based solution to the minimal 4s/6r 7.8分 前50% - 35. CORTIS: Text-Only Adaptation of Spoken Language Models 7.7分 前50% #语音识别 36. What Do Neural Networks Learn for TDOA Estimation? A Cr 7.7分 前50% #声源定位 37. Kiwano: A Cutting-Edge Open-Source Toolkit for Speaker 7.6分 前50% #说话人验证 38. Learning to Evade: Adaptive Attacks on Audio Watermarki 7.6分 前50% #音频水印 39. Bagpiper-Edit: Zero-Shot Open-Ended Audio Editing via R 7.6分 前25% #语音合成 40. From Text Metrics to Model Internals: A Study of Whispe 7.5分 前50% #语音识别 41. Bridging Self-Supervised Learning and Speech Enhancemen 7.5分 前25% #语音增强 42. Integrating Facial Generation into Full-Duplex Spoken D 7.5分 前25% - 43. ESPnet3: Infrastructure for Scalable Speech and Audio R 7.5分 前25% #语音识别 44. On the Effect of Segmentation Width and Cluster Size on 7.4分 前25% #语音合成 45. The Anatomy of the CTC Oracle Gap: Acoustic Exhaustion 7.3分 前50% #语音识别 46. FlowTTS-GRPO: Online Reinforcement Learning with Multi- 7.2分 前50% - 47. DisSpeech: Low-Resource Controllable Mandarin Stuttered 7.2分 前25% #语音合成 48. SDP-Codec: A Speaker-Decoupled Speech Codec with Pitch 7.2分 前50% #语音编码 49. Synthesizing the Lombard Effect: Multi-Level Control of 7.2分 前50% #语音合成 50. Scaling Audio Models Efficiently: A Joint Study of Comp 7.2分 前50% #语音识别 51. Online Predictive Coding for Dual-Mode Self-Supervised 7.2分 前50% #语音识别 52. Exploiting Neural Audio Codec Latents for Adversarial A 7.2分 前50% #生成对抗网络 53. Audio Editing in the Era of Foundation Models: A Survey 7.0分 前25% - 54. Adding Robust Code-Switching Capabilities to High Perfo 7.0分 前50% #语音识别 55. Unlocking In-Context Learning in Audio-Language Models 7.0分 前50% #联邦学习 56. Backdoor Attacks on Speech Emotion Recognition via TTS- 7.0分 前50% #语音情感识别 57. LK Jam: System Architecture and Implementation of a Rea 7.0分 前50% #音乐生成 58. An Acoustic Landmark Database of the English Lexicon vi 6.9分 前50% #语音合成 59. Learning from Audio-Dependency Errors: Data Curation St 6.9分 前50% #音频问答 60. The Watermark Shortcut: How Provenance Marking Sabotage 6.8分 前50% #数据增强 61. LISE : Listenable Interpretable Speaker Embeddings 6.8分 前50% #说话人验证 62. PIVOTSBench: Evaluating Fine-Grained Interpersonal Rela 6.8分 前50% #基准测试 63. AugCodec: A Low-Bitrate Disentangled Neural Speech Code 6.7分 前50% #数据增强 64. Vaani Benchmark V1.0: An Inclusive Multimodal Benchmark 6.7分 前50% #语音识别 65. Physics-Informed Neural Operator for Speech Production 6.7分 前50% #语音合成 66. Streaming T5-based Text-to-Speech Synthesis with Limite 6.7分 前25% #语音合成 67. ProsoCodec: Prosody-Oriented Speech Codec for Voice Con 6.6分 前50% #语音转换 68. Beyond ROC-AUC: Operating-Point Performance Reporting f 6.6分 前50% - 69. ISCSLP 2026 CoT-TTS Challenge: Chain-of-Thought Reasoni 6.6分 前50% #语音合成 70. A DDSP Framework for Adaptive Room Equalization 6.5分 前50% #自适应滤波 71. EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional 6.5分 前50% - 72. Interleaved Speech Language Models Latently Work In Tex 6.4分 前50% #语音识别 73. DSSCNet: A Transfer Learning Framework for Cross-Corpus 6.3分 前50% #迁移学习 74. Sea-Scan: High-Accuracy, ML-based Dark Vessel Detection 6.3分 前50% - 75. Catching Lies Without Sending the Video: Privacy-Preser 6.2分 前50% #多模态模型 76. MindAlign: Decoding Inner Speech from fMRI Signals via 5.8分 前50% #语音识别 77. Acoustic Landmark Detector based on Conformer and HuBER 5.5分 前50% #语音识别 78. Explainable AI in Speaker Recognition – Attention Map 5.5分 前50% #说话人识别 79. Imitation Learning for Elder-Facing Speech Synthesis 5.5分 前50% #语音合成 80. Improving Engine Sound Analysis in Hot-Test Environment 4.9分 后50% #音频降噪 81. Direct Raw Audio Signal Processing via Reservoir Comput 4.5分 后50% #语音识别 82. A Generalized Formalism of Auto-Regressive Decoding for 4.1分 后50% #自回归模型 83. Noise-Driven Instrument Based on Coherent Quantum and S 3.8分 后50% - 📋 论文列表 🥇 CoughPhase-CLR: Designing an acoustics-informed foundation model for coughing sound classification 10.0/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5 ...

📄 Co-policy: Responsive Human-Robot Co-Creation for Musical Performances #音乐生成 #多模态模型 #扩散模型 8.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.5/10 | 前50% | #音乐生成 | #多模态模型 | #扩散模型 | arxiv 👥 作者与机构 第一作者：Xuetao Li（武汉大学计算机科学学院）和 Wenke Huang（南洋理工大学计算与数据科学学院，联合第一作者） 其他作者：Mang Ye（武汉大学计算机科学学院），Zijian Liu（武汉理工大学自动化学院），Jinhua Xie（武汉大学测绘遥感信息工程国家重点实验室），Jifeng Xuan（武汉大学计算机科学学院，通讯作者），Miao Li（武汉大学计算机科学学院与机器人学系，通讯作者）。 机构：武汉大学（主要），南洋理工大学，武汉理工大学。 💡 毒舌点评 这篇论文试图解决一个非常具体且有趣的问题：让机器人从“播放者”升级为“共创者”。框架设计清晰，模块化思路值得肯定。然而，评估体系存在明显短板：音乐质量评估完全依赖10位专家的主观盲评，尽管声称保留所有分数，但艺术评价的方差和偏见并未通过任何统计检验来量化或控制。作者自谦的“有限验证范围”其实点出了一个硬伤：系统严重依赖预先构建的“语义锚点库”，其扩展性和泛化到未见过的音乐风格的能力存疑。GMP策略虽然在低延迟上表现出色，但其“多模态动作模式”在消融实验中贡献相对有限，且缺少与最新迭代式策略（如Consistency Policy）的直接对比。论文最大的问题在于，它巧妙地将音乐AI的创造性评估与机器人学的执行性能评估捆绑在一起，但未能证明这种捆绑评估的必要性或优越性。一个纯粹的音乐生成模型和一个低延迟控制器的简单级联，在特定指标上是否真不如这个紧密耦合的系统？结论下的过于肯定。 📌 核心摘要 本文提出了Co-policy框架，旨在将机器人音乐演奏从被动回放转变为主动协作创造。该框架是一个模块化的视觉-语言-动作（VLA）系统，包含三个核心部分：1）基于微调Qwen-vl（F-Qwen）的语义锚定模块，将语音、音符和视觉输入转化为结构化的协作计划；2）约束性音乐变化模块，在主题、和声、新颖性和可执行性等约束下生成互补的机器人音符响应；3）高斯混合视觉运动策略（GMP），通过单次前向传播直接映射目标音符和视觉上下文为多模态机器人动作，以实现低延迟响应。在真实钟琴敲击场景下的评估表明，Co-policy在协作质量评分和执行准确率上均优于扩散策略等基线，并通过专家盲评验证了其在意图对齐、创造性贡献和音乐连贯性方面的优势。 🔗 开源详情 代码：论文中提供了明确的项目仓库链接，源代码、网页实现、提示模板和配置文件等均可获取：https://xtli12.github.io/Co-policy/docs/ 模型权重：论文中未提及模型权重（如微调后的F-Qwen、训练好的GMP）的公开下载链接（如HuggingFace/ModelScope）。 数据集：论文中未提及独立公开的训练数据集链接。文中提到为训练收集了350条真实世界机器人演示轨迹，但其获取方式未在论文中公开。 Demo：项目主页包含演示视频等材料，可作为在线演示的入口：https://xtli12.github.io/Co-policy/ 复现材料：论文明确指出，项目仓库中提供了“处理后的机器人演示、生成的音符计划、匿名化的专家评分、评估脚本、提示模板、语义锚点模式和训练模型配置文件”。这些材料可用于复现。详情见：https://xtli12.github.io/Co-policy/docs/ 论文中引用的开源项目： Qwen-vl：论文中使用的基础视觉语言模型。其开源仓库地址为：https://github.com/QwenLM/Qwen-VL ManiSkill2：用于仿真验证的平台。其项目主页为：https://maniskill2.github.io/ 🏗️ 方法概述和架构 Co-policy框架是一个模块化的实时人机音乐共创系统，旨在解决两个核心挑战：如何将人类不完整的创意种子转化为互补的机器人音乐响应，以及如何在交互级延迟下物理执行该响应。系统由三个串联的核心组件构成，数据流清晰，形成“感知-规划-执行”的闭环。 ...

语音/音乐/音频论文速递 2026-06-22 共分析 1 篇论文 ⚡ 今日概览 📥 抓取 1 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音乐生成 1篇 █ 📊 论文评分排行榜（1 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Co-policy: Responsive Human-Robot Co-Creation for Music 8.5分 前50% #音乐生成 📋 论文列表 🥇 Co-policy: Responsive Human-Robot Co-Creation for Musical Performances 8.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5 ...