Icml-2026

📄 MER-DG: Modality-Entropy Regularization for Multimodal Domain Generalization 5.4/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 📝 5.4/10 | 后50% | #音视频理解 | #多模态模型 | arxiv 👥 作者与机构 第一作者：Yavuz Yarici（Georgia Institute of Technology, OLIVES at the Center for Signal and Information Processing, School of Electrical and Computer Engineering） 通讯作者：Yavuz Yarici（Georgia Institute of Technology, OLIVES at the Center for Signal and Information Processing, School of Electrical and Computer Engineering） 作者列表：Yavuz Yarici（Georgia Institute of Technology, OLIVES at the Center for Signal and Information Processing, School of Electrical and Computer Engineering）、Ghassan AlRegib（Georgia Institute of Technology, OLIVES at the Center for Signal and Information Processing, School of Electrical and Computer Engineering） 💡 毒舌点评 这项工作精准诊断了多模态域泛化中的一个关键失败模式——“Fusion Overfitting”，并通过熵正则化这一手段实现了一致性的性能提升，融合训练导致编码器退化的问题诊断和验证体系较为完整。然而，方法的创新性本质上是将已知的信息最大化技术（Log-Determinant熵估计）拆解后嫁接到多模态编码器上，理论贡献有限；实验仅在两个来自同一社区的小规模数据集上完成，且基线覆盖不全，泛化性存疑；缺乏代码与模型开源进一步降低了其实际影响力。 ...

📄 MetaPerch: Learning from metadata for bioacoustics foundation models #音频分类 #多任务学习 #领域适应 6.5/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.5/10 | 前50% | #音频分类 | #多任务学习 | #领域适应 | arxiv 👥 作者与机构 第一作者：Mustafa Chasmai（University of Massachusetts Amherst，工作期间在Google DeepMind） 通讯作者：Jenny Hamer（Google DeepMind） 其他作者：Vincent Dumoulin（Google DeepMind） 💡 毒舌点评 这篇论文在生物声学元数据利用上做了一次大规模、系统化的实证练兵，17个数据集、9种元数据的覆盖度与消融颗粒度值得肯定，尤其揭示了位置和背景物种是最有价值的辅助信号。然而，方法的核心仅仅是给共享编码器加了一组元数据分类头，完全可以视作对多任务学习框架的常规扩写，其声称的增益很大程度上源于一个被“阉割”的基线——有意扔掉了Perch 2.0的源预测和自蒸馏，这使得元数据的净增量贡献变得模糊不清。此外，验证与测试性能排序的不一致暴露出其模型选择策略的脆弱性，而回避与NatureLM-audio等文本条件化方法的直接对比，则是为了护住“无需测试时元数据”这一卖点的巧妙躲闪。 📌 核心摘要 要解决什么问题：生物声学基础模型面临着从训练用焦点录音到实际部署的被动声学监测(PAM)数据之间的声学域偏移和物种分布偏移。现有大规模训练方法仅将物种标签作为监督信号，未充分利用公民科学平台上丰富的录音元数据。 方法核心：提出METAPERCH，在Perch 2.0的基架构上构建了多任务学习框架。将录音的地理位置（S2 cell分类）、季节、背景物种等9种元数据作为辅助分类任务，与主任务物种识别进行联合训练。 与已有方法相比新在哪里：首次系统性地将9种per-recording元数据作为辅助监督信号引入生物声学基础模型训练，并通过大规模实验解耦了各元数据源的效果。与传统的测试时条件化方法（如Merlin）不同，该方法在测试时无需元数据即可推理，降低了部署门槛。 主要实验结果如何：在17个数据集上评测，METAPERCH相比其自定义的弱化基线BioBaseline，在BirdSet平均ROC-AUC提升0.015（0.891→0.906），BEANS分类准确率提升0.016（0.854→0.870），WABAD原型学习ROC-AUC提升0.018（0.928→0.946）。其中，位置、背景物种和季节被证明是最有益的元数据源，且在仅保留1%位置元数据时仍能观察到性能增益。 实际意义：为生物声学社区提供了一套无需测试时元数据的训练范式，可作为后续数据集构建和训练策略选择的参考，尤其对地理分布不均的稀有物种监测有指导意义。 主要局限性：基线BioBaseline弱化了对比公平性；验证集与测试集的性能排序不一致导致模型选择不可靠；回避了与多模态预训练方法的直接公平对比；来源预测和自蒸馏的移除是双刃剑，可能导致归因分析高估了元数据的净增益。 🔗 开源详情 代码：提供GitHub仓库链接 github:google-research/perch/metaperch。 模型权重：未提及，未提供。 数据集：所用训练与评估数据均为公开学术或社区数据集，包括Xeno-Canto, iNaturalist, Tierstimmenarchiv, FSD50K, BirdSet, BEANS, WABAD等。数据集获取方式在原文参考文献中均有说明。 其他资源：未提及Demo或复现配置文件，亦未提供预训练checkpoint。论文附录A.6给出了详尽的超参数设置，但缺少可直接运行的训练pipeline脚本。 🏗️ 方法概述和架构 整体流程：METAPERCH采用共享编码器的多任务学习框架。给定一个5秒的音频窗口，系统首先将其转换为大小为 500帧 × 128 mel频带 的log-mel spectrogram。该spectrogram作为单通道图像输入一个轻量级的EfficientNet-B3编码器，从中提取空间嵌入(T'×F'×dim)和空间聚合后的全局嵌入dim。全局嵌入随后被分别送入一个线性物种分类头、一个基于空间嵌入的原型学习分类头，以及多个独立的元数据预测MLP头。系统通过联合优化主物种损失和多个辅助元数据损失的加权和来完成训练。在推理阶段，模型直接使用训练好的分类头，完全无需测试时元数据的输入。 ...

📄 MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models 7.4/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 1.1/1.5 | 开源 0.8/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.4/10 | 前50% | arxiv 👥 作者与机构 第一作者：Chung-Ming Chien（Toyota Technological Institute at Chicago, Kyutai） 通讯作者：Chung-Ming Chien（ttic.edu）, Alexandre Défossez（kyutai.org） 作者列表：Chung-Ming Chien（Toyota Technological Institute at Chicago, Kyutai）、Manu Orsini（Kyutai）、Eugene Kharitonov（Kyutai, Gradium）、Neil Zeghidour（Kyutai, Gradium）、Karen Livescu（Toyota Technological Institute at Chicago）、Alexandre Défossez（Kyutai, Gradium） 致谢中提及Hippolyte Pilchen贡献了ARC-Encoder集成，Gabriel de Marmiesse支持演示构建。 💡 毒舌点评 这篇论文在全双工语音模型上率先集成了异步RAG，利用“废话-干货”的天然时间差完成检索，想法巧妙且工程实现扎实。但方法的有效性极其依赖近乎完美的时间对齐与合成数据构建的结构先验（Lead-Body-Tail），真实场景的泛化性缺乏证据。评估体系几乎完全依赖Gemma 3 27B作为裁判，而训练数据也由同型号LLM生成，自我偏好的评估循环令人担忧。实验设计仅覆盖了Q&A和数学推理的单轮场景，与其宣称的“多轮对话”优势存在脱节。整体而言，这是一个有趣的起点，但距离一篇顶会论文所需的完备性仍有差距。 ...

📄 MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts 8.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 1.5/1.5 | 复现 0.4/0.5 | 工程 1/1.5 🔥 8.2/10 | 前25% | #多模态模型 | arxiv 👥 作者与机构 第一作者：Yuxuan Lou（新加坡国立大学计算学院） 第二作者（共同一作）：Kai Yang（上海交通大学计算机科学与工程系） 通讯作者：Yang You（新加坡国立大学计算学院，youy@comp.nus.edu.sg） 💡 毒舌点评 本文提出的模态感知路由MoE架构在语音-文本多模态建模上表现出色，工程实现扎实，全开源承诺值得肯定。但方法层面缺乏深度理论支撑（50%硬划分靠直觉），且实验对比存在初始化不公平的嫌疑，使得其SOTA宣称需要打折。消融实验虽有控制变量，但对共享专家的分析仅停留在“有/无”层面，未深入其内部机理，整体贡献更偏向于一次成功的工程整合而非方法论突破。 📌 核心摘要 论文旨在解决语音和文本两种异构模态在统一大模型中用相同参数处理时导致的表征干扰问题，即忽略了不同模态固有的统计差异。 核心方法是提出模态感知的混合专家架构（MAMoE），将MoE中的专家显式划分为文本专家组、音频专家组和跨模态共享专家组，并利用模态感知路由器根据token来源（文本/音频）强制将其导向对应专家组。 与已有方法相比，MAMoE首次在语音-文本MoE中引入模态感知路由，并显式设计了独立于路由、处理所有token的共享专家来促进跨模态信息交互与防止灾难性遗忘。 主要实验结果：在VoxPopuli-en ASR（6.2 WER）和TTS（10.1 WER）上达到SOTA；音频语言建模平均准确率71.94（SOTA）；在多个SQA任务上取得最佳或极具竞争力的结果。控制实验证明MoST-style upcycling显著优于传统MoE upcycling。 实际意义：验证了模态感知稀疏激活在语音-文本多模态模型中的有效性，并提供了一个仅使用开源数据即可达到顶尖性能的高效训练pipeline，对降低语音大模型研究门槛有重要参考价值。 主要局限性：50%专家硬划分策略缺乏理论依据，仅为工程直觉；主要实验基于DeepSeek-V2 Lite初始化，与使用不同基座模型的baseline对比不公平；模型规模（约16B）相对较小，其性能优势能否在更大规模上保持未知。 🔗 开源详情 代码：https://github.com/NUS-HPC-AI-Lab/MoST 模型权重：论文声明模型权重随代码一同发布，获取方式见 https://github.com/NUS-HPC-AI-Lab/MoST；未提供独立的HuggingFace或ModelScope链接。 数据集：训练用开源数据集包括 Common Voice (https://arxiv.org/abs/1912.06670)、LibriHeavy (https://arxiv.org/abs/2309.08105)、VoxPopuli (https://arxiv.org/abs/2101.00390)、SmolTalk (https://arxiv.org/abs/2502.02737) 以及 RefinedWeb（论文中未提供具体获取链接）；评估基准使用了 LibriSpeech、VoxPopuli、Common Voice、sWUGGY、sBLIMP、sTopic‑StoryCloze、sStoryCloze、Llama Q、Trivial QA、WebQ、MMLU、TriviaQA、GSM8K、HumanEval 等公开数据集。 Demo：论文中未提及 复现材料：论文附录 A 和表 2 给出了两阶段训练的详细配置、超参数和任务混合比例；附录C提供了从config_mostc.json提取的完整模型配置。训练、推理代码及数据处理脚本均随GitHub仓库发布。 论文中引用的开源项目： HuBERT (音频编码器)：https://arxiv.org/abs/2106.07447 HiFi-GAN (声码器)：https://arxiv.org/abs/2010.05646 DeepSeek-V2 Lite (基础 MoE LLM 骨干)：https://arxiv.org/abs/2405.04434 Llama 3.2 3B (受控初始化实验)：https://arxiv.org/abs/2407.21783 其他基线模型（如 SpiritLM、Moshi、Qwen2-Audio、SeamlessM4T-v2、MinMo、LLaMA-Omni2 等）均为开源工作，论文中均给出了对应的 arXiv 引用。 🏗️ 方法概述和架构 MoST是一个统一的语音-文本多模态基础模型，基于混合专家（MoE）架构构建。其核心思想是将输入音频和文本序列处理后，通过一个带有模态感知路由（MAMoE）的解码器，根据输入模态的不同，将token分配给不同的专家进行处理，从而实现模态专有化和跨模态交互。整体流程：输入音频波形 \(A\) 和文本序列 \(T\) 分别经过音频编码器和文本嵌入层后，形成统一的交错表示 \(H_{input}\) 送入MoST解码器。解码器由多层Transformer组成，其中指定层包含MAMoE模块。MAMoE层根据token的模态来源，通过模态感知路由器将其导向文本专家组或音频专家组，并与共享专家输出相加，最终通过语言模型头（\(P_{text}\)）生成文本，通过声码器（\(G_{audio}\)）生成语音。 ...

📄 Multimodal Fact-Level Attribution for Verifiable Reasoning #音频理解 #可解释性 6.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.4/10 | 前50% | #音频理解 | #多模态模型 | #可解释性 | arxiv 👥 作者与机构 第一作者：David Wan（UNC Chapel Hill） 通讯作者：David Wan（UNC Chapel Hill） 作者列表：David Wan（UNC Chapel Hill）、Han Wang（UNC Chapel Hill）、Ziyang Wang（UNC Chapel Hill）、Elias Stengel-Eskin（The University of Texas at Austin）、Hyunji Lee（UNC Chapel Hill）、Mohit Bansal（UNC Chapel Hill） 💡 毒舌点评 这篇论文在"可验证推理"的命题下，构建了一个精细的多模态事实级归因评估框架，将文本域的原子事实分解和Precision/Recall引用评估范式迁移到了视频+音频场景，实验覆盖了Gemini和Qwen等主流MLLM，揭示了"推理强不代表能正确举证"的核心洞察。然而，MURGAT-SCORE本质上是一个由多个LLM组件级联而成的评估pipeline，各子任务虽非单一模型，但最优模块几乎都来自Gemini家族，尽管论文进行了跨模型评估器对比以佐证其无显著偏差，但评估框架对顶级商用闭源模型的依赖，依然限制了其在开源社区的应用与复现深度。此外，人类评估样本仅20个视频/80条回答，虽在统计相关性上勉强站得住，但用于宣称构建"基准"，其ground truth的规模和多样性都显得单薄，这使得其"基准"定位的稳固性存疑。 ...

📄 Multimodal Fusion via Self-Consistent Task-Gradient Fields #鲁棒性 5.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.4/1 | 影响 0.7/1.5 | 开源 0.2/1.5 | 复现 0.2/0.5 | 工程 0.8/1.5 📝 5.5/10 | 前50% | #鲁棒性 | #自监督学习 | arxiv 👥 作者与机构 第一作者：Jiayu Xiong（华侨大学计算机科学与技术学院，厦门市计算机视觉与模式识别重点实验室） 通讯作者：Jing Wang（华侨大学计算机科学与技术学院，厦门市计算机视觉与模式识别重点实验室，wroaring@hqu.edu.cn） 作者列表：Jiayu Xiong（华侨大学计算机科学与技术学院，厦门市计算机视觉与模式识别重点实验室）、Jing Wang（华侨大学计算机科学与技术学院，厦门市计算机视觉与模式识别重点实验室）、Jun Xue（武汉大学）、Wanlong Wang（华侨大学计算机科学与技术学院，厦门市计算机视觉与模式识别重点实验室）、Jianlong Kwan（华侨大学）、Xiaosen Lyu（华侨大学计算机科学与技术学院，厦门市计算机视觉与模式识别重点实验室）、Zhouqiang Jiang（大阪大学产业科学研究所 Nakashima Lab） 💡 毒舌点评 这篇论文用一个看似高深的“自洽场”物理概念包装了一个解决多模态梯度冲突的融合模块，核心idea——把任务梯度和信息保持分解到共享与特定两个特征子空间——确实比粗暴堆辅助损失要聪明。但让我火大的是：论文的排版和写作简直是灾难，图1的teaser关键数字错位/截断到无法辨认，Section 4的符号体系滥用上标和下标（\(\hat{Z}, Z, \mathbf{Z}\) 绕来绕去），物理类比（PNP方程）占了大半页却对理解方法帮助甚微。更致命的是，核心方法缺乏严格理论支撑：为什么扩展因子n=2、边界b=0.5就是最优？Eq.1的约束优化到实际重建损失的等价性从未被证明。全文读下来像是好的insight被放进了一个粗糙的包装里。如果你的任务是让多模态模型在传感器掉线时不崩溃，SCFAE值得一试；但别指望仅凭这篇论文就能丝滑复现——关键细节散落在混乱的排版和遗漏的训练超参里（batch size全篇没说，类别不平衡处理也没交代）。 📌 核心摘要 SCFAE瞄准的核心问题是多模态融合中的“梯度反馈失真”：耦合融合在缺失模态时让编码器退化，解耦融合的辅助损失（如对比、互信息最小化）会与主任务梯度冲突。 方法学的核心是将物理学自洽场思想迁移到多模态融合：把任务损失类比“漂移力”（驱动共享特征向任务对齐），把重建损失类比“扩散力”（保持特定子空间的信息完整性），二者通过共享/特定特征子空间的架构隔离来避免冲突。 与MISA、DrFuse的关键区别是：SCFAE不用互信息最小化、正交约束或对比学习来强迫解耦，而是通过“扩展映射→切分为共享/特定→跨模态循环重组共享部分→重建保持信息”的纯架构设计，隐式地引导特征分离。 在三个典型灾难场景上验证：不等长输入（ActivityNet 4096d视频+128d图像检索，mAP@100 可达0.326，超过AdaMMS的0.319）；冲突信号（FakeAVCeleb假脸+真声，音频ACC 95.74%，对比AdaMMS的93.45%）；缺失模态（CMU-MOSEI七种输入组合平均ACC 80.3%，对比最佳基线80.1%）。编码器退化实验（Tab.6）是亮点：SCFAE对单模态编码器的性能损伤最小（-0.08~-1.57 ACC下降，而交叉注意力可达-9.79以上）。 实际意义在于：它为多模态系统提供了一种无超参调优（声称λ在0.5–2.0内不敏感）、与骨干无关的即插即用模块，尤其适合医疗、自动驾驶等对输入完整性敏感的场景。 主要局限（论文自述+审稿人挖掘）：扩展因子n带来特征维度平方级参数增长；缺失大规模多模态预训练模型（如CLIP/ImageBind）上的验证；共享子空间的跨模态兼容性假设在弱相关模态间可能不成立；梯度分析的因果性未严格验证；写作和排版严重拉低可读性。 🔗 开源详情 代码：论文未提供任何实际代码链接。附录A.1声明“因ICML匿名协议未包含代码链接，仅提供为复现开发的代码，将在之后公开”，暗示存在可用实现但未释放。 模型权重：未提供下载链接。 数据集：使用三个公开数据集，但未提供直接获取链接——FakeAVCeleb (Khalid et al., 2021)、ActivityNet (Heilbron et al., 2015)、CMU-MOSEI (Bagher Zadeh et al., 2018)。需参考原始论文获取。 Demo：未提供在线演示地址。 复现材料：附录A提供了部分实现细节（优化器、学习率调度、epochs、λ=1.0、特征维度等），但缺少batch size、数据预处理具体步骤和完整的训练配置文件/脚本。附录A.1明确表示不会重实现所有基线，仅提供自己开发的代码。 论文引用的开源项目： PyTorch (https://pytorch.org) Apex (https://github.com/NVIDIA/apex) VideoMAE v2 (https://github.com/MCG-NJU/VideoMAE) WavLM (https://github.com/microsoft/unilm/tree/master/wavlm) DINOv3 (https://github.com/facebookresearch/dinov3) AudioMAE (https://github.com/facebookresearch/AudioMAE) R(2+1)D (https://github.com/pytorch/vision) ResNetSE-34 (在 https://github.com/clovaai/voxceleb_trainer 中实现) MISA / DrFuse / Perceiver / GCNet / MCULoRA 等对比方法均有对应开源仓库但论文未逐一列举链接。 🏗️ 方法概述和架构 SCFAE定位为经典多模态管道（单模态编码→融合→任务头）中的即插即用融合模块，不触碰特征提取器。其核心思想源于“自洽场”：多个优化力（任务驱动和信息保持）通过在同一特征表示上作用、而非作为独立目标竞争来保持梯度一致性。 ...

📄 Multimodal Latent Language Modeling with Next-Token Diffusion #语音合成 #多模态模型 6.1/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 0/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.1/10 | 前50% | #语音合成 | #自回归模型 | #多模态模型 | arxiv 👥 作者与机构 第一作者: Yutao Sun (Tsinghua University) 通讯作者: Furu Wei (Microsoft Research), Jianyong Wang (Tsinghua University) 作者列表: Yutao Sun (Tsinghua University), Hangbo Bao (Microsoft Research), Wenhui Wang (Microsoft Research), Zhiliang Peng (Microsoft Research), Li Dong (Microsoft Research), Shaohan Huang (Microsoft Research), Yaoyao Chang (未说明), Jianyong Wang (Tsinghua University), Furu Wei (Microsoft Research) 💡 毒舌点评 本文在“一切皆为token”的统一多模态框架上迈出了扎实的一步，用next-token diffusion巧妙绕开了VQ-VAE的信息瓶颈，σ-VAE的方差约束设计也切中自回归生成的exposure bias要害。但ImageNet上的图像生成实验，LatentLM-L（479M, FID 2.24）实际上并未超越同体量的MAR（479M, FID 1.78），论文将其归入非因果类进行对比虽分类合理，但未能提供等计算量对比来证明因果框架自身能弥补这一差距；此外，仅在200B tokens上训练的1.3B多模态LLM远未达到收敛，声称的scaling优势仍需更大规模验证；TTS人类评估仅24人，略显单薄。 ...

📄 Multimodal Meta-Verifier with Explicit Structured Recalibration #多模态模型 #强化学习 5.2/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.7/1.5 | 清晰 0.6/1 | 影响 0.3/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.2/10 | 后50% | #多模态模型 | #强化学习 | arxiv 👥 作者与机构 第一作者：Xinchen Zhang（清华大学）、Bowei Liu（清华大学） 通讯作者：Yujiu Yang（清华大学）、Ling Yang（普林斯顿大学） 作者列表：Xinchen Zhang（清华大学）、Bowei Liu（清华大学）、Jiale Liu（宾夕法尼亚州立大学）、Chufan Shi（南加州大学）、Yizhen Zhang（清华大学）、Junhong Liu（未说明）、Youliang Zhang（清华大学）、Zhiheng Li（清华大学）、Yujiu Yang（清华大学）、Ling Yang（普林斯顿大学） 💡 毒舌点评 这篇论文的核心洞察——将元验证信号从文本迁移到符号化表征（边界框），并采用数据层面的解耦训练——在工程上是清晰且有效的，在ViVerBench和代理生成任务上的提升也佐证了其价值。然而，论文的理论贡献是对“梯度被乘法门控”这一现象的符号重述，深度有限；更致命的是，它全程回避了与同领域直接竞争对手（如RewardDance、UnifiedReward）在视觉验证基准上的定量比较，使其声称的“避免奖励黑客”和“高效”论点缺乏最关键的硬性证据。对于语音/音频领域读者而言，此工作因完全扎根于图像模态而不具备直接影响力。 📌 核心摘要 该论文旨在解决多模态视觉验证器中反馈信号粗糙（仅依赖二元正确/错误判断）的问题，提出了一种多模态元验证范式，利用验证器自身生成的结构化依据（而非决策信号）来提供更细粒度的训练信号。 方法核心包含两个发现：第一，使用符号化输出（如边界框或点）代替文本解释作为元验证依据，使得能够使用基于规则的奖励（IoU）而非脆弱的模型奖励，从而在源头规避奖励黑客问题，并提升训练效率；第二，将二元判断和元验证任务在数据层面进行解耦，分别服从独立的奖励模型进行强化学习训练，相比联合优化能提供持续、稳定的梯度信号，从而显著提升性能。 与已有工作相比，该方法从DeepSeekMath-V2等纯文本的元验证框架中获得灵感，首次将其系统性地迁移至多模态空间验证，并针对视觉表征结构化的特性，提出了基于规则的结构化奖励与解耦训练策略。 主要实验结果显示：在ViVerBench基准上，经解耦训练的OmniVerifier-M1（基于Qwen3-VL-8B）取得了0.680分，优于联合训练的0.671分和基线的0.654分；基于该验证器构建的代理视觉生成系统M1-TTS，在GPT-Image-1.5基础上，将WISE和T2I-CoreBench上的综合得分分别从0.83提升至0.88和从0.782提升至0.800。 表 1: ViVerBench & 效率分析（来自论文Table 1） ...

📄 Multiple Choice Learning of Low-Rank Adapters for Language Modeling #多模态模型 #大语言模型 8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.7/1 | 影响 1.1/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5 🔥 8/10 | 前25% | #多模态模型 | #参数高效微调 | #大语言模型 | arxiv 👥 作者与机构 第一作者：Victor Letzelter（LTCI, Télécom Paris, Institut Polytechnique de Paris；Valeo.ai）、Hugo Malard（LTCI, Télécom Paris, Institut Polytechnique de Paris）（同等贡献） 通讯作者：Victor Letzelter（letzelter.victor@hotmail.fr） 作者列表：Victor Letzelter（LTCI, Télécom Paris, Institut Polytechnique de Paris；Valeo.ai）、Hugo Malard（LTCI, Télécom Paris, Institut Polytechnique de Paris）、Mathieu Fontaine（LTCI, Télécom Paris, Institut Polytechnique de Paris）、Gaël Richard（LTCI, Télécom Paris, Institut Polytechnique de Paris）、Slim Essid（LTCI, Télécom Paris, Institut Polytechnique de Paris）、Andrei Bursuc（Valeo.ai）、Patrick Pérez（Kyutai） 💡 毒舌点评 本文巧妙地将 Multiple Choice Learning 与 LoRA 结合，为自回归语言模型的多模态输出提供了参数高效的解决方案。但理论分析建立在苛刻的“组件不重叠”假设上，对真实语言数据中普遍存在的模式重叠问题避而不谈，且缺乏对各个适配器所学语义的深入剖析，使方法的“多样性”仅停留在指标层面，其内部分工机制仍是一个黑箱。 ...

📄 MusicDET: Zero-Shot AI-Generated Music Detection #音频伪造检测 #零样本 #生成对抗网络 6.1/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 1/1.5 | 清晰 0.6/1 | 影响 0.7/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.1/10 | 前50% | #音频伪造检测 | #生成对抗网络 | #零样本 | arxiv 👥 作者与机构 第一作者：Chaolei Han（东南大学网络空间安全学院） 通讯作者：Hongsong Wang（东南大学计算机科学与工程学院，新一代人工智能技术与交叉应用重点实验室（东南大学），教育部）/ Jie Gui（东南大学网络空间安全学院，紫金山实验室，区块链应用监管与管理工程研究中心（东南大学），教育部） 作者列表：Chaolei Han（东南大学网络空间安全学院）、Hongsong Wang（东南大学计算机科学与工程学院，新一代人工智能技术与交叉应用重点实验室（东南大学），教育部）、Jie Gui（东南大学网络空间安全学院，紫金山实验室，区块链应用监管与管理工程研究中心（东南大学），教育部） 💡 毒舌点评 本文将Normalizing Flows首次引入AI生成音乐检测，并构建了一个仅需真实音乐训练的零样本框架，思路简洁且具有实用性。然而，方法的技术深度有限，核心架构基本复用了Glow流程，实验中对真实后处理的鲁棒性极差（如MP3压缩后EER飙升至41.75%），且写作中多处符号与表格排版混乱，影响了可信度和可读性。 📌 核心摘要 本文针对AI生成音乐检测中，现有鉴别器依赖已知生成器训练、跨生成器泛化差的痛点，提出了一种全新的零样本设定（仅用真实音乐训练）。方法核心是基于频率引导的Normalizing Flows（MusicDET）对真实音乐的时频能量谱分布进行概率建模，通过评估样本似然度来判断是否为AI生成。与以往需要生成器样本训练的分类器相比，该框架天然具有生成器无关的泛化能力。实验在FakeMusicCaps和SONICS数据集上进行，零样本MusicDET在FakeMusicCaps上的平均EER为4.51%，显著优于所有非零样本基线（如W2V2-AASIST的11.46%、SpecTTTra-α的17.63%）；当利用少量AI样本引入class-conditional先验后，EER可进一步降至0.89%；在SONICS上class-conditional MusicDET甚至达到0.00%的EER。在ASVspoof 2019 LA和CtrSVDD上的迁移实验也展现出一定通用性。论文还评估了模型在EnCodec重建音乐上的检测能力，并进行了Leave-one-subdomain-out的泛化测试。实际意义在于为音乐鉴伪提供了一种无需持续更新生成器指纹的轻量级检测方案。主要局限是对严重音频后处理（如强压缩、加噪、变调）极为敏感，零样本检测EER在MP3 64kbps压缩下飙升至41.75%，且模型分析局限于时频谱能量，对旋律、和声等高层音乐结构建模不足。 🔗 开源详情 代码：https://github.com/Chaolei98/MusicDET 模型权重：论文中未提及 数据集： FakeMusicCaps (Comanducci et al., 2025)：基于 MusicCaps 提示词，使用 5 个文本到音乐生成器合成的数据集，论文中未提供直接下载链接，可参考原论文获取。 SONICS (Rahman et al., 2025)：包含真实音乐（来自 Genius Lyrics Dataset）和 Suno/Udio 生成的音乐，论文中未提供直接下载链接，可参考原论文获取。 ASVspoof 2019 LA (Todisco et al., 2019)：公开数据集，可通过 https://datashare.ed.ac.uk/handle/10283/3336 获取。 CtrSVDD (Zang et al., 2024)：论文中未提供直接下载链接，可参考原论文获取。 FMA-medium (Defferrard et al., 2017): 用于EnCodec重建评测，可通过 https://github.com/mdeff/fma 获取。 Demo：论文中未提及 复现材料： 预处理：所有音频重采样到 16kHz、单声道，裁剪/填充至 4 秒。 STFT 参数：n_fft=512, hop_length=160, win_length=512。 训练超参数：batch size 64，Adam 优化器，初始学习率 5e-4，训练 10 epoch。 数据增强：使用 SpecAugment 随机遮罩时频区域。 模型结构：频带数=2，每个频带内流步骤数 K=2，真实音乐高斯先验均值为 5，假音乐先验均值为 -5（类条件设置）。 硬件：单卡 NVIDIA RTX 4090（24GB 显存）。 未提供训练检查点。 论文中引用的开源项目： MusicGen：https://github.com/facebookresearch/audiocraft EnCodec：https://github.com/facebookresearch/encodec AASIST：https://github.com/clovaai/aasist MERT：https://github.com/yizhilll/MERT Wav2Vec 2.0 (fairseq)：https://github.com/pytorch/fairseq WavLM：https://github.com/microsoft/unilm/tree/master/wavlm SpecAugment：https://github.com/tensorflow/lingvo ViT (Vision Transformer)：https://github.com/google-research/vision_transformer ConvNeXt：https://github.com/facebookresearch/ConvNeXt Glow：https://github.com/openai/glow 🏗️ 方法概述和架构 MusicDET的整体架构是一个基于Normalizing Flows的单类（真实音乐）密度估计器，其核心流程如下： ...