论文速递

📄 Keep What Audio Cannot Say: Context-Preserving Token Pruning for Omni-LLMs #音视频 #高效推理 #多模态模型 #跨模态 ✅ 7.0/10 | 前25% | #音视频 | #高效推理 | #多模态模型 #跨模态 | arxiv 学术质量 6.5/8 | 影响力 0.5/2 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Chaeyoung Jung（Korea Advanced Institute of Science and Technology (KAIST)） 通讯作者：未明确说明（论文中列出的通讯作者地址为“Equal contribution”，与第一作者相同） 作者列表：Chaeyoung Jung（KAIST）、Kyeongha Rho（KAIST）、Joon Son Chung（KAIST） 💡 毒舌点评 这篇论文的“移除音频已知，保留音频未知”的剪枝思想确实新颖且直观，实验结果也非常亮眼，尤其是在Qwen2.5-Omni 7B上能以55%的压缩率保持甚至超越全token性能。但尴尬的是，方法最核心的“保留空间细节”分支（图2中标注2⃝）依赖于一个固定的全局空间保留比例ρspa，这在处理如球员球衣号码、面部表情等高度局部化、信息量集中的细节时显得非常脆弱，论文的失败案例也明确证实了这一点。一个自适应的、可能依赖内容或查询的空间预算分配机制，才是该方法从“有效”迈向“鲁棒”的关键下一步。此外，将所有实验仅限于短视频片段，其结论在长视频场景下的普适性存疑。 📌 核心摘要 要解决什么问题：全模态大语言模型（Omni-LLMs）在处理音视频输入时，会产生大量token，导致计算开销巨大，阻碍了实际部署。现有的token剪枝方法要么针对特定任务训练，要么过度依赖音频-视觉的强对齐信号，可能丢弃理解宽泛上下文所需的证据。 方法核心是什么：论文提出了一个名为ContextGuard的推理时token剪枝框架。其核心思想是将token压缩从“选择重要token”重新定义为“移除跨模态冗余，同时保留音频无法表达的视觉上下文”。具体实现包含三个主要步骤：a) 音频引导的语义剪枝：使用一个轻量级的音频到视觉语义预测器（A2V Predictor）从音频预测粗糙视觉语义，移除与预测语义高度相似（即可被音频解释）的视频token；b) 空间细节保留：通过网格采样和局部空间变化度量，额外保留一部分token以覆盖图像空间，保存颜色、姿态等音频无法指定的局部细节；c) 基于深度分数的时间合并：对时间上相似的chunk进行分段和合并，进一步压缩冗余帧。 与已有方法相比新在哪里：与现有训练基础的（如EchoingPixels, OmniSIFT）或基于对齐的（如OmniZip）方法不同，ContextGuard不追求为当前查询选择最相关的token，而是致力于去除被音频流冗余表达的视觉信息，并主动保留那些与音频不匹配的视觉证据（如场景文字、背景物体），以维护更广泛的上下文信息。 主要实验结果如何：在Qwen2.5-Omni（7B/3B）和Video-SALMONN2+（7B/3B）两个模型及六个音视频基准测试上，ContextGuard显著优于基线方法。关键结果如表1所示： Method Comp.↑ (%) World.↑ Daily.↑ Video-MME↑ OmniVid.↑ AVQA↑ video-SAL2.↓ Avg.↑ (%) Qwen2.5-Omni 7B Full Token 0 47.4 57.1 78.8 48.2 87.6 48.1 100.0 Random 50 45.7 52.4 78.4 43.4 86.7 50.4 95.4 FastV 50 45.6 56.6 77.9 47.6 87.0 49.8 98.1 OmniZip 54 46.8 56.6 77.1 47.0 87.0 52.8 97.3 ContextGuard 55 47.7 57.2 78.8 48.2 87.1 48.1 100.0 Qwen2.5-Omni 3B Full Token 0 47.7 57.7 75.8 44.0 87.6 53.5 100.0 Random 50 44.1 53.1 74.0 42.8 87.1 56.1 95.7 FastV 50 46.7 55.6 74.0 44.0 87.2 54.6 98.2 OmniZip 54 47.1 55.8 74.9 42.8 87.3 52.4 98.9 ContextGuard 61 47.7 56.6 75.8 45.2 87.3 52.3 100.5 Video-SALMONN2+ 7B Full Token 0 50.7 56.3 79.2 43.4 67.8 18.9 100.0 Random 50 47.3 51.6 76.2 39.5 66.8 25.7 90.7 FastV 50 46.3 51.8 79.2 42.2 66.1 24.0 92.8 OmniZip 49 47.8 53.8 79.2 42.8 68.8 22.4 95.7 ContextGuard 55 50.6 55.5 81.4 47.0 66.9 19.9 100.5 Video-SALMONN2+ 3B Full Token 0 48.1 57.7 76.2 45.8 81.6 22.7 100.0 Random 50 44.3 51.6 73.2 42.0 81.2 30.3 90.6 FastV 50 45.6 53.2 71.0 36.1 81.0 27.4 90.2 OmniZip 49 45.6 54.7 73.2 41.6 81.3 26.3 93.7 ContextGuard 56 47.1 55.5 73.6 44.6 81.4 24.2 96.9 特别是在Qwen2.5-Omni 7B上，剪枝55%的token后，在6个基准中的5个上达到了全token性能。 实际意义是什么：该方法为部署高效的全模态大模型提供了有力的工具，通过一个无需微调下游LLM、仅需一个独立训练的轻量预测器的推理时框架，大幅降低了音视频理解的计算成本和内存占用，对实时交互应用具有重要价值。 主要局限性是什么：方法依赖于固定的精细粒度空间保留比例（ρspa），这可能导致在需要非常具体局部细节的任务（如识别球衣号码、细微表情）上表现不佳，正如其失败案例所示。此外，所有评估均基于短于1分钟的视频片段，限制了结论对长视频场景的适用性。A2V预测器的鲁棒性在不同内容类型（如音乐视频）上未被充分讨论。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重链接。 数据集： WorldSense: 论文中未提供链接。 Daily-Omni: 论文中未提供链接。 Video-MME: 论文中未提供链接。 AVQA: 论文中未提供链接。 OmniVideoBench: 论文中未提供链接。 video-SALMONN2 test set: https://huggingface.co/datasets/videoSALMONN2/video-SALMONN_2_testset AudioSet: 论文中提及，未提供具体链接。 VGGSound: 论文中提及，未提供具体链接。 Demo：论文中未提及。 复现材料：论文提供了详细的附录，包括 A2V 预测器的架构、训练目标、训练数据（AudioSet 和 VGGSound）、超参数设置、以及各项分析实验的细节（如语义保留比例、空间细节保留策略、时序合并实现等）。未提及训练检查点或代码库。 论文中引用的开源项目： Qwen2.5-Omni: 论文中作为基线模型使用，未提供代码或权重仓库链接。 Video-SALMONN2+: 论文中作为基线模型使用，未提供代码或权重仓库链接。 OmniZip: 论文中作为对比方法，未提供代码或仓库链接。 FastV: 论文中作为对比方法，未提供代码或仓库链接。 🏗️ 方法概述和架构 整体流程概述：ContextGuard是一个在LLM解码器之前运行的、多阶段的音视频token剪枝框架。其输入为交替的音视频token序列，输出为压缩后的视觉token序列和完整的音频token序列。该框架并非端到端系统，而是由一个独立训练的轻量级A2V预测器和一个基于启发式规则的剪枝-合并流水线组成。 ...

📄 Leveraging Multimodal Self-Consistency Reasoning in Coding Motivational Interviewing for Alcohol Use Reduction #多模态模型 #医疗音频 #自洽学习 #提示工程 #动机访谈编码 ✅ 6.0/10 | 前50% | #动机访谈编码 | #自洽学习 | #多模态模型 #医疗音频 | arxiv 学术质量 5.3/8 | 影响力 0.6/2 | 可复现性 0.4/1 | 置信度 中 👥 作者与机构 第一作者：Guangzeng Han (University of Memphis, Department of Computer Science) 通讯作者：Xiaolei Huang (Department of Psychology, Washington State University Vancouver; 论文发表时隶属于University of Memphis) 作者列表：Guangzeng Han (University of Memphis), James G. Murphy (Veterans Affairs Health Care System; University of California San Francisco), Benjamin O. Ladd (University of Memphis), Xiaolei Huang (Washington State University Vancouver), Brian Borsari (Washington State University Vancouver) 💡 毒舌点评 本文将自洽推理从纯文本扩展至多模态临床编码，并设计了四种具有临床动机（内容、韵律、证据评分、对比）的提示策略，展现了在垂直领域应用大模型的工程巧思；然而，在一个仅含5个会话、898个话语的小规模数据集上，仅与两个简单的提示基线（Direct, COT）对比，且绝对性能（宏F1 < 51%）较低，严重削弱了方法“优越性”的证明力度和普适性结论，更像是一次概念验证（proof-of-concept）。 ...

📄 NAACA: Training-Free NeuroAuditory Attentive Cognitive Architecture with Oscillatory Working Memory for Salience-Driven Attention Gating #音频事件检测 #音频大模型 #长音频处理 #零样本 ✅ 7.0/10 | 前25% | #音频事件检测 | #音频大模型 | #长音频处理 #零样本 | arxiv 学术质量 7.0/8 | 影响力 0.85/2 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Zhongju Yuan（根特大学） 通讯作者：未说明 作者列表：Zhongju Yuan（根特大学）， Geraint Wiggins（根特大学）， Dick Botteldooren（根特大学） 💡 毒舌点评 这篇论文提出了一个名为NAACA的框架，其核心是受神经科学启发的振荡工作记忆（OWM）模块。该设计巧妙地将听觉显著性检测重构为一个无需训练的在线滤波问题，在暴力音频检测任务上取得了显著的性能提升和计算节省。生物启发的理论基础和严格的数学证明是其最大亮点。然而，该框架的性能上限完全受制于上游预训练编码器（PANN）和音频语言模型（AudioQwen）的能力，且其在单一、偏“电影化”的数据集（XD-Violence）上的评估，以及仅以定性方式展示的通用性（USoW），使其更像一个针对特定任务精心设计的“门控插件”，而非一个经过充分验证的普适性架构革新。 📌 核心摘要 这篇论文旨在解决当前音频语言模型（ALM）在处理长音频流时面临的“注意力稀释”问题——即模型的注意力容易被持续存在的背景模式所占据，从而遗漏后期出现的稀有但关键的声音事件。为此，论文提出了一种名为NAACA的无需训练的框架，其核心是一个受神经科学启发的“振荡工作记忆”（OWM）模块。OWM将预训练编码器输出的类别概率转化为频率调制的振荡驱动信号，并在一个二维网格上维持动态的吸引子状态，通过监测系统总能量的波动来自适应地检测声音场景的“显著性变化”。仅当检测到显著变化时，才将对应的原始音频片段送入ALM进行语义推理。与基于统计或表示学习的传统漂移检测方法不同，OWM不依赖长期历史数据缓存。实验表明，在XD-Violence数据集上，NAACA将AudioQwen的平均精度（AP）从53.50%提升至70.60%，同时通过门控机制减少了约40%的ALM调用次数。在USoW数据集上的定性分析展示了OWM检测新事件、抵抗瞬态暂停以及捕捉子类别变化的能力。论文的局限性在于其性能受限于所选编码器和ALM的固有能力，且当前定量评估主要集中在异常检测任务上。 🔗 开源详情 代码：https://github.com/zjyuan1208/NAACA-Oscillatory-Working-Memory 模型权重：论文中未提供专用模型权重链接。文中使用的预训练模型如PANN和AudioQwen为公开模型，但论文未提供其具体的权重下载链接或版本号。 数据集：论文中未提供专用数据集链接。文中使用的数据集XD-Violence和Urban Soundscapes of the World (USoW) 均为已发表的公开数据集。 Demo：论文中未提及 复现材料：论文的附录B提供了完整的载波频率分配与网格映射策略、附录C提供了主检测算法（C.1）和自适应阈值计算算法（C.2）的伪代码、附录J提供了额外的FFT频谱分析图。这些附录内容为复现OWM模块提供了关键的算法细节和参数配置。 论文中引用的开源项目： PANN：论文中未提供链接（知名的预训练音频特征提取模型）。 AudioQwen：论文中未提供链接（作为ALM基线使用的模型）。 HL-Net：论文中未提供链接（作为监督音频基线被引用）。 AVadCLIP：论文中未提供链接（作为监督音频基线被引用）。 S3R：论文中未提供链接（作为监督视频基线被引用）。 VadCLIP：论文中未提供链接（作为监督视频基线被引用）。 Holmes-VAU：论文中未提供链接（作为监督视频基线被引用）。 TRACE：论文中未提供链接（作为零样本视频基线被引用）。 🏗️ 方法概述和架构 NAACA是一个多阶段的、无需训练的在线音频处理流水线，旨在为音频语言模型（ALM）提供显著性门控，以实现高效、准确的长音频理解。其整体流程为：输入音频流 → 分段与编码 → 基于OWM的显著性检测 → 选择性ALM推理 → 输出语义解释。 ...

📄 PresentAgent-2: Towards Generalist Multimodal Presentation Agents #生成模型 #多模态模型 #大语言模型 #视频生成 #基准测试 #智能体 ✅ 6.5/10 | 前25% | #生成模型 | #多模态模型 | #大语言模型 #视频生成 | arxiv 学术质量 5.5/8 | 影响力 0.7/2 | 可复现性 0.3/1 | 置信度 高 👥 作者与机构 第一作者：Wei Wu（北京大学） 通讯作者：Hao Tang（北京大学，邮箱：bjdxtanghao@gmail.com） 作者列表：Wei Wu（北京大学），Ziyang Xu（北京大学），Zeyu Zhang（北京大学，项目负责人），Yang Zhao（La Trobe University），Hao Tang（北京大学） 注：论文明确标注前三位作者（Wei Wu, Ziyang Xu, Zeyu Zhang）贡献相等（Equal contribution）。 💡 毒舌点评 本文的亮点在于清晰地将演示生成任务从“文档到演示”拓展到更具挑战性的“查询到演示”，并设计了一个涵盖“深度研究”、内容生成和三种独立演示模式（单人演讲、多人讨论、交互问答）的完整框架。系统设计的完整性和对动态媒体处理的重视值得肯定。然而，其主要弱点在于核心贡献更偏向系统集成而非底层技术创新，关键模块（如视频合成、语音生成）的技术细节几乎完全依赖于未说明的外部模型，使得论文的“技术深度”存疑。同时，评估体系严重依赖于可能同源的VLM评判者，缺乏人类评估数据的校准，使得其高分结果的说服力大打折扣。 📌 核心摘要 解决的问题：现有演示视频生成系统大多依赖用户提供完整的源文档（如论文、报告），无法处理简短、开放式的用户查询，并主动获取内容和视觉资源来生成演示视频。 方法核心：提出PresentAgent-2，一个端到端的智能体框架。系统接收用户查询和选定的演示模式，首先将查询提炼为主题，并通过“深度研究”主动从互联网检索和筛选适合演示的多模态资源（文本、图片、GIF、视频）。随后，基于这些资源规划演示结构、生成幻灯片和对应模式的脚本（单人演讲为叙述脚本，多人讨论为角色对话脚本，交互问答为基于上下文的回答），合成音频，并将幻灯片、音频和动态媒体（保持GIF/视频的可播放性）合成为最终的演示视频。 与已有方法相比的新颖之处：a) 任务设定开放：首次系统性地研究从开放查询到演示视频的生成，而非从给定文档转换。b) 内容获取主动：集成了针对演示场景优化的“深度研究”模块，主动收集多模态资源。c) 输出模式丰富：在统一框架下支持单人演讲、多人讨论和交互问答三种独立的演示模式。d) 动态媒体处理：在视频合成中保留了检索到的GIF和视频的动态特性，而非将其转换为静态截图。 主要实验结果：论文构建了名为PresentEval的多模态演示基准测试集，包含60个查询-参考视频对（每种模式20对）。使用不同骨干模型（如Qwen3.5-VL-Plus）进行评估，结果显示系统在客观测验（满分5）和主观评估（满分5）上均取得较高分数（例如，使用Qwen3.5-VL-Plus时，客观测验得分均>4.8，主观评估均分均>4.3）。消融实验证明了多模态检索、动态媒体保留、角色感知的对话生成以及交互上下文接地等模块的有效性。 实际意义：为教育、技术讲解、知识传播等场景提供了一种新的内容创作范式，降低了从问题到结构化多媒体演示视频的制作门槛。 主要局限性：a) 生成质量高度依赖检索到的公开网络资源的质量。b) 交互模块的错误可能受上游检索和生成错误的影响。c) 当前基准测试规模有限（60例）。d) 论文中多个关键技术的实现细节未公开说明。 🔗 开源详情 代码：https://github.com/AIGeeksGroup/PresentAgent-2 模型权重：论文中未提及模型权重的具体下载链接（如HuggingFace/ModelScope）。 数据集：论文中未提及公开数据集的下载链接。论文中描述了自行构建的PresentEval基准数据集（60个查询-参考视频对），但未提供其公开获取地址。 Demo：https://aigeeksgroup.github.io/PresentAgent-2 复现材料：论文中未提及提供训练配置、模型检查点、提示模板、评测脚本等复现材料的具体下载链接。 论文中引用的开源项目： Paper2Video、PresentAgent、Paper2Poster、VideoAgent、Doc2PPT, SlideGen, VideoDirectorGPT, VideoStudio, LVD：论文中仅在相关工作或表格中提及项目名称和引用，未提供具体项目链接。 🏗️ 方法概述和架构 PresentAgent-2是一个多阶段、模块化的智能体系统，旨在完成从自然语言查询到演示视频的端到端生成。其核心流程如图4所示：接收用户的自然语言查询q和选定的演示模式m，首先将查询提炼为主题t并执行“深度研究”以检索多模态资源集ℛ，随后基于(q, t, ℛ, m)生成最终的演示视频V_m。整个过程可形式化为两步：q → (t, ℛ) 和 (q, t, ℛ, m) → V_m。演示模式m主要决定了生成的脚本结构和交付风格。 ...

📄 Scaling few-shot spoken word classification with generative meta-continual learning #音频分类 #元学习 #持续学习 #少样本 ✅ 7.0/10 | 前50% | #音频分类 | #元学习 | #持续学习 #少样本 | arxiv 学术质量 5.5/8 | 影响力 0.6/2 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Louise Beyers 通讯作者：未说明 作者列表：Louise Beyers, Batsirayi Mupamhi Ziki, Ruan van der Merwe 💡 毒舌点评 本文的核心价值在于验证了生成式元持续学习（GeMCL）在语音领域处理大规模（1000类）少样本口语词分类的可行性，其展现出的极高稳定性（波动性比基线低一个数量级）和极低的适应成本（相比基线快约2000倍）是其最大亮点，为需要动态更新关键词的边缘设备场景提供了极具吸引力的方案。然而，其绝对性能在类别数较多时（>750）始终略逊于基于冻结HuBERT的基线，这使得其实用性略打折扣。更重要的是，研究仅基于单一英语数据集，且核心算法GeMCL并非本文提出，其创新更偏向于工程应用验证与实验视角，而非方法学的原创性突破。 📌 核心摘要 问题：传统的少样本口语词分类（关键词检测）研究局限于少量类别，将其扩展到上千类别同时保持高效持续学习能力的潜力尚未被充分探索。 方法核心：采用生成式元持续学习（GeMCL）算法。该算法结合了元学习的快速适应能力和持续学习的抗遗忘特性。其核心是一个生成式分类器，为每个词类维护一个高斯分布（由Normal-Gamma先验建模），新样本到达时通过闭式贝叶斯更新类统计量，无需重新训练整个模型。 新意：首次将GeMCL应用于语音数据，并首次报告了多达1000类的少样本口语词分类结果。研究不是单纯比较算法，而是对比了“从零训练GeMCL”与“微调预训练大模型（HuBERT）”这两种策略在特定资源约束场景下的表现。 主要结果：在MSWC英语数据集上，5-shot设置下： 性能：当类别扩展到1000时，GeMCL的平均准确率约为75%，略低于冻结HuBERT加分类头（CH）基线的约77%（图3）。 稳定性：GeMCL的逐词准确率波动（挥发性）平均仅为0.48%，远低于CH模型的7.13%和全微调模型的24.55%（表1）。 效率：GeMCL的元训练和超参搜索总时间约42.84小时（单GPU），而CH和全微调基线的预训练和超参搜索时间均远超其（约2000+小时）。在面对新类时，GeMCL仅需计算统计量（约0.06小时），而基线需要完全重新微调（124-186小时）（表2）。 实际意义：证明了基于元持续学习的方法在语音关键词分类任务上，能够以极低的增量成本支持大规模类别扩展，且性能稳定可预测，适合部署在需要动态更新关键词的边缘设备上。 主要局限性：研究仅在英语MSWC数据集上进行；与HuBERT基线的比较存在数据源、训练方式和模型规模的差异；未对GeMCL内部组件进行消融研究。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重的具体下载链接。 数据集：Multilingual Spoken Words Corpus (MSWC)。获取链接：https://github.com/mozilla/CommonVoice/tree/main/multilingual#multilingual-spoken-words-corpus。论文中声明仅使用英语子集。 Demo：论文中未提及。 复现材料：论文中详细描述了实验设置（如模型架构、训练步数、超参数），但未提供训练检查点、配置文件或代码仓库等可直接复现的材料。 论文中引用的开源项目： Multilingual Spoken Words Corpus (MSWC)：https://github.com/mozilla/CommonVoice/tree/main/multilingual#multilingual-spoken-words-corpus HuBERT：论文引用了原始论文，但未提供其预训练权重的具体开源链接（通常可在 Hugging Face Hub 获取，但论文本身未提及）。 GeMCL：论文引用了原始论文及实现，但未提供其特定开源代码仓库链接。 其他如 Prototypical Networks、AdamW 优化器等均为通用算法或工具，论文未提供特定实现链接。 🏗️ 方法概述和架构 本文的核心方法是将生成式元持续学习（GeMCL）框架应用于大规模少样本口语词分类。这是一个两阶段的框架，包含元训练阶段和持续学习（适应）阶段。 ...

📄 Seconds-Aligned PCA-DAC Latent Diffusion for Symbolic-to-Audio Drum Rendering #音频生成 #扩散模型 #符号到音频 #鼓声渲染 #音频编码 ✅ 7.0/10 | 前50% | #音频生成 | #扩散模型 | #符号到音频 #鼓声渲染 | arxiv 学术质量 6.0/8 | 影响力 1.0/2 | 可复现性 0.6/1 | 置信度 高 👥 作者与机构 第一作者：Konstantinos Soiledis (Dept. of Music Technology and Acoustics, Hellenic Mediterranean University; Athena RC) 通讯作者：未说明 作者列表：Konstantinos Soiledis (Dept. of Music Technology and Acoustics, Hellenic Mediterranean University, Rethymno & Athens; Athena RC), Maximos Kaliakatsos-Papakostas (Dept. of Music Technology and Acoustics, Hellenic Mediterranean University), Dimos Makris (Dept. of Music Technology and Acoustics, Hellenic Mediterranean University), Konstantinos Tsamis (Dept. of Music Technology and Acoustics, Hellenic Mediterranean University; Athena RC) 💡 毒舌点评 亮点：论文在“符号鼓声到音频”这一细分且控制要求高的任务上，提出了一个技术自洽的解决方案（物理时间对齐+PCA压缩DAC潜空间+辅助离散损失）。其核心贡献在于验证了在编解码器潜空间中进行条件扩散的可行性，并通过精心设计的实验（如引入PCA重构上界作为无损验证、使用FAD-R²诊断FAD可靠性、进行严格的配对统计检验）使其结论比许多同类工作更可靠、更具说服力。 短板：创新性高度特异化，与特定的DAC模型（其输出投影矩阵的秩为72）强绑定，普适性存疑。评估局限于四拍短窗口和单一数据集，且完全缺乏主观听觉评估（MOS等），使得对“声学上逼真”的断言缺乏直接感知证据。 ...

📄 Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs #模型评估 #音频问答 #跨模态 #基准测试 #多模态模型 🔥 8.0/10 | 前50% | #模型评估 | #基准测试 | #音频问答 #跨模态 | arxiv 学术质量 6.5/8 | 影响力 1.3/2 | 可复现性 0.9/1 | 置信度 高 👥 作者与机构 第一作者：Nguyen Quang Trung（南洋理工大学，LMMs-Lab） 通讯作者：未说明 作者列表：Nguyen Quang Trung（南洋理工大学，LMMs-Lab），Yiming Gao（南洋理工大学，LMMs-Lab），Fanyi Pu（南洋理工大学，LMMs-Lab），Kaichen Zhang（南洋理工大学，LMMs-Lab），Shuo Sun（约翰霍普金斯大学），Ziwei Liu（南洋理工大学，LMMs-Lab） 💡 毒舌点评 这篇论文精准地定义并量化了全模态LLM中一个核心但被忽视的“感知-行动鸿沟”问题，其IMAVB基准测试的2×2设计堪称教科书式的诊断工具；然而，作为“干预”的PGLA本质上是一个依赖于同一数据集训练探针的诊断性调整，其在真实、开放世界场景中的泛化能力和实际部署价值被高估了，诊断本身很彻底，但治疗方案可能只是止痛药。 📌 核心摘要 要解决什么问题：当全模态大语言模型（LLM）遇到与其自身感官输入（视觉、音频）相矛盾的文本前提时，其失败究竟是源于感知层面（未能检测到矛盾）还是行动层面（检测到了但未能在输出中拒绝）？现有的协同性基准测试无法揭示这种失败模式。 方法核心是什么：论文提出了IMAVB（一个500个电影片段的2×2设计基准测试），通过保持视频和音频不变，仅交换问题文本中的一个前提细节来创建“标准”和“误导性”问题。结合线性探针（分析隐藏状态）和引导对数调整（PGLA，一种推理时干预方法），来诊断模型内部表示与外部行为之间的脱节。 与已有方法相比新在哪里：与现有的跨模态基准测试（如AVHBench）相比，IMAVB使用隐含的虚假前提（而非明确验证提示）、长视频（1-5分钟），并保留所有模态同时竞争注意力。这是首次系统性地将“内部-外部脱节”现象从纯文本LLM扩展到跨模态感知领域，并量化了其模态不对称性（音频接地弱于视觉）。 主要实验结果如何：在8个开源全模态LLM和Gemini 3.1 Pro上，论文发现了显著的“表示-行动鸿沟”：线性探针可以从隐藏状态中以高达86%的准确率解码出误导性前提，但模型的实际拒绝率极低（多数开源模型在音频误导性检测上为0%）。PGLA通过将内部信号反馈至输出，在所有8个开源模型上平均提升了15.0个百分点的平衡准确率。 模型 基线平衡准确率 (%) PGLA后平衡准确率 (%) 提升 (pp) Uni-MoE-2.0-Omni 38.2 57.0 +18.8 MiniCPM-o 2.6 31.6 49.2 +17.6 OLA 37.4 54.9 +17.5 Video-SALMONN-2 38.2 55.1 +16.9 Qwen2.5-Omni 37.5 53.4 +15.9 OmniVinci 38.4 53.0 +14.6 Qwen3-Omni 45.9 57.7 +11.8 Baichuan-Omni-1.5 36.8 43.5 +6.7 平均 38.0 53.0 +15.0 实际意义是什么：研究结果表明，提升全模态LLM的感知接地能力，瓶颈可能不在于更大的编码器或更丰富的表示，而在于训练目标未能将内部检测到的矛盾信号与最终输出对齐。这为未来针对“诚实”或“接地”的训练改进指明了方向。 主要局限性是什么：基准测试局限于电影领域，可能无法推广到所有视频类型；误导性前提是单次细节交换；PGLA的干预是基于同一基准测试数据训练的，其跨域泛化能力未经验证；对商用模型（Gemini）的分析仅限于行为层面，缺乏表示分析。 🔗 开源详情 代码：论文中未提供明确的代码仓库链接。论文中提及“all code will be publicly released”以及“code is included in the supplementary material”，但未给出具体的GitHub等仓库地址。 模型权重：论文中未提及提供预训练或微调的模型权重链接。 数据集：IMAVB数据集。论文中提及一个匿名访问链接：https://huggingface.co/datasets/anonymousneurips/IMAVB。论文还承诺在接收后将与lmms-eval集成并公开发布。 Demo：论文中未提及在线演示链接。 复现材料：论文中提供了详细的实验设置、评估协议和实现细节，主要包含在附录中（如Appendix J, L, G）。评估使用了开源框架lmms-eval（链接：https://github.com/EvolvingLMMs-Org/lmms-eval）。所有实验使用温度0、top-p和top-k为1的设置，并报告95%的bootstrap置信区间。开放源代码模型的评估在8块NVIDIA H100 80GB GPU上进行。 论文中引用的开源项目： lmms-eval：开源多模态评估框架。论文中引用为lmms-eval，链接：https://github.com/EvolvingLMMs-Org/lmms-eval。 评估的开源全模态LLM（论文中未提供其官方权重或代码链接，仅列出名称）：OLA, OmniVinci, Qwen2.5-Omni, MiniCPM-o 2.6, Uni-MoE-2.0-Omni, Baichuan-Omni-1.5, Video-SALMONN-2, Qwen3-Omni。 商业模型：Gemini 3.1 Pro（通过API评估，未开源）。 数据生成与标注中使用的模型：Qwen3.5-27B, Qwen3-Omni-30B-A3B-Captioner, Qwen3-Omni-30B-A3B-Thinking, GPT-4o（论文中未提供这些模型的具体链接）。 其他方法（论文中提及但未提供实现链接）：Inference-Time Intervention (ITI), Representation Engineering (RepE), Visual Contrastive Decoding (VCD), Instruction Contrastive Decoding (ICD), AVCD, Fork-Merge Decoding, OPERA, Self-Introspective Decoding, DoLa。 🏗️ 方法概述和架构 本文的核心方法框架是一个用于诊断和量化全模态LLM中“表示-行动鸿沟”的系统流程，包含基准测试构建、多维度分析与诊断干预三个主要阶段。 ...

📄 Text2Score: Generating Sheet Music From Textual Prompts #大语言模型 #自回归模型 #音乐生成 #乐谱生成 #开源工具 ✅ 7.0/10 | 前25% | #乐谱生成 | #大语言模型 | #自回归模型 #音乐生成 | arxiv 学术质量 6.8/8 | 影响力 0.6/2 | 可复现性 0.8/1 | 置信度 高 👥 作者与机构 第一作者：Keshav Bhandari 通讯作者：未说明 作者列表：Keshav Bhandari, Sungkyun Chang, Abhinaba Roy, Francesca Ronchini, Emmanouil Benetos, Dorien Herremans, Simon Colton 机构信息：论文正文未明确列出每位作者的具体机构。根据论文末尾的致谢，研究得到了UKRI和EPSRC（英国）、SUTD（新加坡科技设计大学）及新加坡教育部的资助。部分作者（如Emmanouil Benetos, Dorien Herremans）是音乐信息检索领域的知名学者，通常与Goldsmiths, University of London相关联，但严格基于提供的文本，具体机构信息未明确说明。 💡 毒舌点评 Text2Score的核心思想——用LLM做宏观规划、用专用模型做微观生成——在逻辑上很清晰，也确实解决了端到端模型缺乏推理能力的痛点。然而，这种“解耦”是一把双刃剑：它把音乐创意的“上限”交给了LLM的规划能力，而这个规划能力又受限于其见过的、有限的结构化计划模板。论文声称的“绕过文本-音乐对”更像是一种巧妙的工程规避，而非根本性的学术突破。更值得玩味的是，其精心设计的客观评估指标（可读性、可演奏性）在提升模型“技术分”的同时，也可能在鼓励生成安全、保守但缺乏惊喜的音乐。 📌 核心摘要 问题：文本驱动的符号音乐生成面临两大挑战：一是高质量、大规模的文本-音乐配对数据集稀缺，且自动标注管道存在噪声和幻觉；二是大多数现有模型专注于MIDI格式，专注于可读、可演奏的乐谱（如MusicXML/ABC）生成的工作很少，且端到端模型缺乏处理复杂音乐结构所需的推理能力。 方法核心：提出了Text2Score，一个两阶段框架。 规划阶段：使用大型语言模型（LLM）作为编排器，将自然语言提示解析为结构化的“小节级计划”。该计划是一个序列 𝒫={N, G, I_total, m_1, ..., m_N}，其中每个小节向量 m_i 包含该小节的活跃乐器、音域、音符密度、速度、拍号、调号、和声音级集和力度等属性。 执行阶段：使用一个从头训练的、基于分层Transformer的生成模型。该模型包含一个冻结的ModernBERT计划编码器，通过交叉注意力将计划编码为潜在表示 H_plan；以及一个两层的分层解码器：一个块级（Patch-level）解码器（20层GPT-2）负责建模小节间关系并接收计划条件，一个字符级解码器（6层GPT-2）负责逐字符生成每个小节的交错ABC记谱字符串。 训练范式：其创新在于直接从符号XML数据中提取“计划”作为监督信号，训练数据为（从乐谱提取的计划，乐谱）对，从而绕开了对齐的文本-音乐对。训练采用两阶段策略：顺序预训练（使用连续计划）和结构性微调（动态选择5-10个结构关键小节组成的稀疏计划进行微调）。 新在哪里：核心创新在于“规划-执行”的解耦范式，以及利用符号音乐数据本身构建训练监督信号的新颖方法，有效规避了数据稀缺和噪声问题。此外，提出了专注于乐谱本身可读性与可演奏性的客观评估框架。 主要实验结果：在自建的238个评估提示集上，Text2Score在多个维度上显著优于基线。具体结果见下表（论文表2、表3）。 客观评估结果（关键指标，数据来自论文表2） ...

📄 Vividh-ASR: A Complexity-Tiered Benchmark and Optimization Dynamics for Robust Indic Speech Recognition #语音识别 #课程学习 #迁移学习 #多语言 #低资源 ✅ 7.0/10 | 前50% | #语音识别 | #课程学习 | #迁移学习 #多语言 | arxiv 学术质量 5.8/8 | 影响力 0.7/2 | 可复现性 0.6/1 | 置信度 高 👥 作者与机构 作者列表：Kush Juvekar (Adalat AI, India), Kavya Manohar (Adalat AI, India), Aditya Srinivas Menon (Adalat AI, India), Arghya Bhattacharya (Adalat AI, India), Kumarmanas Nethil (Adalat AI, India) 通讯作者：未说明 💡 毒舌点评 论文提出了一个诊断低资源语音识别中“studio-bias”现象的有用基准和训练策略，其系统化的因子设计实验是扎实的工程科学。但核心方法（高学习率、从难到易课程）本质上是超参数优化和课程学习思想在特定问题上的应用与组合，创新性更多是经验性的“最佳配方”而非原理性突破。更关键的是，所有结果完全依赖Whisper这一种模型架构和有限的两种语言，且实验缺少必要的统计稳定性分析，泛化结论需谨慎看待。 ...

📄 WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data #语音识别 #机器翻译 #低资源 #迁移学习 #濒危语言 #知识增强 ✅ 7.0/10 | 前25% | #语音识别 | #迁移学习 | #机器翻译 #低资源 | arxiv 学术质量 7.2/8 | 影响力 0.8/2 | 可复现性 0.8/1 | 置信度 高 👥 作者与机构 第一作者：Ziheng Zhang（Australian National University） 通讯作者：Liang Zheng（Australian National University） 作者列表：Ziheng Zhang（Australian National University）， Yunzhong Hou（Australian National University）， Naijing Liu（University of Oxford）， Liang Zheng（Australian National University） 💡 毒舌点评 本文为濒危语言文档化提供了一个实用且思路清晰的工具链，其核心价值在于用语言学知识（音系相似性、词典）巧妙弥补了数据匮乏的短板。然而，该系统更像是一个精心设计的工程方案，而非一个具有广泛启示性的算法突破。其性能严重依赖一个外部的、覆盖率有限的词典，且两阶段设计带来的错误传播问题未得到充分缓解。在仅单一语言上验证，其宣称的“强基线”意义有待更多数据集检验。 ...