Icml-2026

📄 TextME: Bridging Unseen Modalities Through Text Descriptions 6.6/10 | 创新 1.3/2 | 严谨 0.9/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 0.4/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 6.6/10 | 前50% | #对比学习 | arxiv 👥 作者与机构 第一作者：Soyeon Hong（Ajou University, Department of Artificial Intelligence） 通讯作者：Seungtaek Choi（Hankuk University of Foreign Studies, Division of Language & AI）、Suha Kwak（POSTECH, Graduate School of AI）、Hyunsouk Cho（Ajou University, Department of Software） 作者列表：Soyeon Hong（Ajou University, Department of Artificial Intelligence）、Jinchan Kim（Ajou University, Department of Artificial Intelligence）、Jaegook You（Ajou University, Department of Artificial Intelligence）、Seungtaek Choi（Hankuk University of Foreign Studies, Division of Language & AI）、Suha Kwak（POSTECH, Graduate School of AI）、Hyunsouk Cho（Ajou University, Department of Software） 💡 毒舌点评 这篇论文试图用一个廉价的几何戏法绕过模态扩展中昂贵的数据墙——利用“模态间隙”这一已知属性，仅靠文本数据就将新模态投影到大语言模型空间中。想法有趣且务实，但就像用纸板搭桥：在结构完美的“3D”和“视频”编码器上走得挺稳，一到“分子”就塌了。实验广度足够，但深度像纸片，尤其是其宣称要颠覆的利基领域（医疗影像、分子）恰恰是性能最拉胯的地方，却只给了蜻蜓点水般的验证。这更像一个优美的实验室玩具，离解决真实世界利基领域的模态接入问题还隔着几个落地鸿沟。 ...

📄 The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning #知识蒸馏 #流式处理 #大语言模型 7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 0.1/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 ✅ 7/10 | 前50% | #知识蒸馏 | #知识蒸馏 | #流式处理 #大语言模型 | arxiv 👥 作者与机构 第一作者：Donghang Wu（Nanyang Technological University, College of Computing and Data Science） 通讯作者：Chen Chen（Nanyang Technological University, College of Computing and Data Science） 作者列表：Donghang Wu（Nanyang Technological University）、Tianyu Zhang（Mila, Quebec Artificial Intelligence Institute, Université de Montréal）、Yuxin Li（Nanyang Technological University）、Hexin Liu（Nanyang Technological University）、Chen Chen（Nanyang Technological University）、Eng Siong Chng（Nanyang Technological University）、Yoshua Bengio（Mila, Quebec Artificial Intelligence Institute, Université de Montréal） 💡 毒舌点评 本文巧妙地将连续空间中的“隐式推理”概念迁移到全双工语音对话模型，用 ELBO 和全局专家蒸馏优雅地解决了“边听边想”的标注难题，在推理类任务上的涨点证明了隐式计算的潜力。但硬伤同样刺眼：一是所有 SFT 和评估均在自建合成数据上闭环完成，严重缺乏公开基准（如 Fisher、DailyTalk）上的通用语音交互结果，模型的真实场景泛化性完全未知；二是在同等数据条件下与显式 CoT 方法的直接对比缺失，其宣称的“优于显式 CoT”更像是修辞而非经过实验证实的结论。此外，声称“零额外推理延迟”，却在全文中看不到任何具体的延迟或计算量分析，这一核心优势远未得到量化。泛化能力、可解释性、以及宣称优势的可信度，构成了这篇论文的三大阿喀琉斯之踵。 ...

📄 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions #音视频理解 #音频字幕生成 #多模态模型 #数据集 #基准测试 #强化学习 9.4/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 1.5/1.5 | 复现 0.4/0.5 | 工程 1.4/1.5 🔥 9.4/10 | 前10% | #音视频理解 | #多模态模型 | #音频字幕生成 #数据集 | arxiv 👥 作者与机构 第一作者：Linli Yao（北京大学计算机学院，快手科技Kling团队） 通讯作者：Xu Sun（北京大学计算机学院） 作者列表：Linli Yao（北京大学，快手科技Kling团队）、Yuancheng Wei（华南理工大学）、Yaojie Zhang（电子科技大学）、Lei Li（香港大学）、Xinlong Chen（中国科学院自动化研究所，快手科技Kling团队）、Feifan Song（北京大学）、Ziyue Wang（北京大学）、Kun Ouyang（北京大学）、Yuanxin Liu（北京大学）、Lingpeng Kong（香港大学）、Qi Liu（香港大学）、Pengfei Wan（快手科技Kling团队）、Kun Gai（快手科技Kling团队）、Yuanxing Zhang（快手科技Kling团队）、Xu Sun（北京大学） 💡 毒舌点评 该工作在音视频密集字幕生成领域投下了一枚“定义即创新”的炸弹。其提出的OmniDenseCaptioning任务和SodaM评估指标，直击当前音视频理解缺乏时间粒度和结构化描述的痛点，堪称一次教科书式的任务重塑。7B开源模型在精细定义的子任务上干翻Gemini-2.5-Pro，工程整合能力令人叹服，为社区贡献了完整的开原语料。然而，剥开任务定义与指标的糖衣，模型本身是Qwen2.5-Omni与GRPO的精心调配，缺乏算法层面的范式突破。更令人警惕的是，其引以为傲的SodaM指标和训练数据完全由Gemini系列模型闭环驱动，这种“以子之矛攻子之盾”的策略虽精彩，但也埋下了系统性偏见的隐患，评估的可信度也因此被蒙上一层阴影。 ...

📄 TMD-Bench: A Multi-Level Evaluation Paradigm for Music–Dance Co-Generation 7.7/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #音视频生成 | #流匹配 | arxiv 👥 作者与机构 第一作者：Xiaoda Yang（浙江大学）、Majun Zhang（浙江大学）（标注为同等贡献） 通讯作者：Zhou Zhao（浙江大学，zhaozhou@zju.edu.cn） 其余作者：Changhao Pan（浙江大学）、Nick Huang（Tecent, China）、Yuguang Yang（Tecent, China）、Fan Zhuo（浙江大学）、Pengfei Zhou（新加坡国立大学）、Jin Zhou（Tecent, China）、Sizhe Shan（浙江大学）、Shan Yang（Tecent, China）、Miles Yang（Tecent, China）、Yang You（新加坡国立大学） 💡 毒舌点评 这篇工作为音乐–舞蹈联合生成量身打造了一个多级评测范式 TMD-Bench，其中 MDAlign 将节拍-运动重音对齐拆解为物理度量与 MLLM 感知判决，思路务实且填补了该方向评测的空白。然而，10k 的数据集体量偏小，自研基线 RhyJAM 在关键的视频指令遵循和 MLLM 感知对齐上仍明显落后于 Sora 2 等商业模型，离真正的“卡准拍”和“听懂指令”还有明显距离。此外，声称的“统一基线”更像是一个为了验证评测基准而存在的基础模型，并未在方法架构上展现足够的新颖性。 ...

📄 Towards Streaming Synchronized Spatial Audio Generation via Autoregressive Diffusion Transformer #空间音频 #音视频生成 #扩散模型 #流式处理 #自回归模型 #对比学习 6.6/10 | 创新 1.3/2 | 严谨 0.9/1.5 | 实验 0.7/1.5 | 清晰 0.7/1 | 影响 0.9/1.5 | 开源 0.8/1.5 | 复现 0.2/0.5 | 工程 1.1/1.5 ✅ 6.6/10 | 前50% | #音视频生成 | #扩散模型 | #空间音频 #流式处理 | arxiv 👥 作者与机构 第一作者（共同一作）：Ke Lei（浙江大学） 共同一作：Yu Zhang（字节跳动） 共同一作：Changhao Pan（浙江大学） 作者列表：Xueyi Pu（浙江大学）、Wenxiang Guo（浙江大学）、Ruiqi Li（字节跳动）、Zhou Zhao（浙江大学，通讯作者） 💡 毒舌点评 这篇文章在流式空间音频生成上做出了明确的架构贡献——自回归做全局规划、扩散做局部渲染的思路干净利落，SVAC的空间负样本设计也很有物理感知能力。但整体evaluation偏弱，尤其是缺少与最近强基线（如MovieGen-Audio、Frieren）的直接对比，且ablation中只展示了去掉某组件的退化程度，缺少为什么这套组合设计优于其他可能组合（如AR-only或Diffusion-only变体）的深度分析。另外，伪FOA预训练策略的随意性以及对总生成时长的回避讨论，让人觉得像一份扎实的工程系统报告而非有深刻洞察的顶会文章。 ...

📄 Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition #多模态模型 #可解释性 5.3/10 | 创新 1.1/2 | 严谨 0.9/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.3/10 | 后50% | #音视频理解 | #参数高效微调 | #多模态模型 #可解释性 | arxiv 👥 作者与机构 第一作者：Wanlong Fang（Nanyang Technological University, Interdisciplinary Graduate Programme, AI-X & College of Computing and Data Science） 通讯作者：Alvin Chan（Nanyang Technological University, College of Computing and Data Science, Lee Kong Chian School of Medicine, Centre of AI in Medicine） 作者列表：Wanlong Fang（Nanyang Technological University）、Tianle Zhang（Nanyang Technological University, College of Computing and Data Science）、Wen Tao（Nanyang Technological University, College of Computing and Data Science）、Alvin Chan（Nanyang Technological University, College of Computing and Data Science & Lee Kong Chian School of Medicine & Centre of AI in Medicine） 💡 毒舌点评 本文将部分信息分解（PID）引入多模态决策分析，提出Sensory PID处理三模态问题，框架自身具有新颖的洞察力，并辅以大规模的实验揭示模型的行为剖面。然而，整个分析严重依赖校准掩码近似单模态条件分布，却未对由此引入的估计偏差做严格的理论或实证分析；此外，完全不开源使得其宣称的“诊断与引导训练”对于实践者的即时价值基本为零，复现门槛极高。 ...

📄 Two-dimensional quantization for geometry-aware audio coding #语音编码 #语音合成 #音频生成 7.6/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5 ✅ 7.6/10 | 前25% | #语音编码 | #语音合成 | #音频生成 | arxiv 👥 作者与机构 第一作者/通讯作者：Tal Shuster (School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Be’er Sheva, Israel) 作者：Eliya Nachmani (School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Be’er Sheva, Israel) 注：原文脚注中通讯作者仅为 Tal Shuster，与已有分析不同。 💡 毒舌点评 这篇论文用一个巧妙的几何直觉——将独立标量量化扩展到二维结构化网格——解决了神经音频编解码中效率和利用率的两难问题。实验覆盖度不错，尤其是在低码率下能用一个量化器挑战一堆级联 RVQ 的基线，很有杀伤力。但论文对为什么是二维、为什么菱形网格更好的分析偏经验主义，缺乏从率失真理论或音频特征统计特性角度的深刻解释；此外，仅在与 FSQ 和 WavTokenizer 的对比中严格控制了训练数据和配置变量，与其他 SOTA 模型对比时使用了异构的训练数据和配置，削弱了部分 SOTA 声明的直接可比性。 ...

📄 UltraLIF: Fully Differentiable Spiking Neural Networks via Ultradiscretization and Max-Plus Algebra 6.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 1.1/1.5 ✅ 6.7/10 | 前50% | #音频分类 | arxiv 👥 作者与机构 第一作者：Jose Marie Antonio Miñoza（Center for AI Research PH） 通讯作者：Jose Marie Antonio Miñoza（Center for AI Research PH, jminoza@upd.edu.ph） 作者列表：Jose Marie Antonio Miñoza（Center for AI Research PH） 💡 毒舌点评 论文的数学框架相当漂亮，用热带几何为SNN提供了罕见的“前向-反向一致性”和收敛性保证，理论深度在SNN领域实属难得。然而，实验设计如同“精装别墅里摆塑料家具”——全连接网络加64个隐藏神经元跑CIFAR-10的SOTA声明缺乏说服力，且代码与模型完全未开源，让声称的“fully differentiable”优势难以被社区验证和复现。 ...

📄 UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuning Framework with Analytical Aggregation 4.4/10 | 创新 0.5/2 | 严谨 0.6/1.5 | 实验 0.3/1.5 | 清晰 0.5/1 | 影响 0.3/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 📝 4.4/10 | 后50% | #音视频问答 | #联邦学习 | arxiv 👥 作者与机构 第一作者：Haoyuan Liang（中山大学，深圳国家超算中心） 通讯作者：Juepeng Zheng（中山大学） 作者列表：Haoyuan Liang（中山大学，深圳国家超算中心）、Zhiyu Ye（清华深圳国际研究生院）、Jielong Tang（中山大学）、Yang Yang（中山大学）、Shilei Cao（中山大学，深圳国家超算中心）、Guowen Li（中山大学，深圳国家超算中心）、Fei Hu（华南理工大学）、Zhiwei Zhang（中山大学，深圳国家超算中心）、Haohuan Fu（清华深圳国际研究生院）、Juepeng Zheng（中山大学） 💡 毒舌点评 UniFLoW试图用一个统一框架解决联邦多模态微调中的模态异构和LoRA聚合不一致性问题，工程野心值得肯定。然而，其核心创新FedA2-LoRA本质上是对已有方法的组合与补丁：平均A矩阵（FedSA-LoRA）后通过岭回归重构B，这在数学上是直接的最小二乘应用，技术贡献有限。实验部分严重不足以支撑其宣称的“Universal”和“State-of-the-Art”：多模态实验仅覆盖2种模态、每个客户端仅2000样本，GLUE实验部分基线明显未收敛，使得结果缺乏说服力。二阶段训练策略虽有启发但并非本质创新。总之，这是一篇在已有方法基础上做工程整合的工作，缺乏实质性的理论或算法突破。 📌 核心摘要 解决问题：本文旨在解决在联邦学习（FL）场景下对多模态大语言模型（MLLMs）进行微调时所面临的三大挑战：①客户端异构模态数据导致模型架构不兼容，无法直接聚合；②全参数微调带来的巨大通信开销；③联邦LoRA聚合时因非结合性导致的不一致性（即"Averaging then Multiplying"不等于"Multiplying then Averaging"）。 方法核心：论文提出了UniFLoW框架，采用统一的预训练LLM作为共享基座，配合模态特定编码器（如ImageBind）来处理不同客户端模态。其核心是FedA2-LoRA聚合方法：服务器先平均客户端上传的LoRA矩阵A，并计算目标真实更新U（即平均后的\(\Delta W\)），再通过求解一个岭回归问题从A和U中分析性地重构全局矩阵B，从而在数学上消除聚合偏差。同时引入二阶段训练策略（先微调解码器再微调LLM），以避免LLM过拟合到特定模态模式。 创新点：与现有FedLoRA变体相比，FedA2-LoRA保证了聚合后的低秩更新\(BA\)与客户端真实平均更新\(U\)的一致性，且不引入额外通信成本。二阶段训练策略为联邦异构模态下的训练调度提供了新思路。 实验结果：在多模态QA任务（图像、音频）中，UniFLoW+二阶段训练+FedA2-LoRA的组合取得了最佳结果，例如在同时训练图像和音频客户端后，图像模态Accuracy达到76.19%，音频模态F_BERT达到86.31%。在GLUE基准的纯文本实验中，FedA2-LoRA也展示了对不同PEFT方法的普遍提升效果（如LoRA平均准确率从89.17提升到90.50）。附录还展示了该方法在架构可替换性、零填充异构秩设置等场景下的有效性。 实际意义：为在隐私保护前提下，利用分散、异质的私有数据来微调多模态大模型提供了一套相对完整的方案，对解锁私有数据价值有一定探索意义。 主要局限性：论文自身指出：当\(AA^T\)不可逆时需引入正则化项，\(\lambda\)选择对数值稳定性有影响；联邦训练早期FedA2-LoRA重构可能不稳定，需要warm-up。审稿人发现：方法在理论上无本质突破；`获取目标U需要先聚合\(B_k A_k\)，这在逻辑上构成了一个循环，论文未能清晰说明这在服务器端如何在不增加客户端通信的前提下实现；实验严重不足，对比基线弱，部分设置不公。 🔗 开源详情 代码：https://github.com/LHY-24/UniFLoW 模型权重：未提及。 数据集： HeySQuAD（https://arxiv.org/abs/2304.13689） PandaGPT 视觉指令数据集（https://github.com/yxuansu/PandaGPT） GLUE benchmark（https://gluebenchmark.com/），包括 MNLI、SST‑2、RTE、QQP 所有数据集均引用公开来源，未提供自定义数据集的独立下载链接。 Demo：未提及。 复现材料：论文附录提供了算法伪代码、部分超参数（如 λ=1）与二阶段训练策略描述，但未单独提供预训练检查点、训练配置文件或完整实验脚本。 论文中引用的开源项目： Vicuna‑7B：https://lmsys.org/blog/2023-03-30-vicuna/ （https://github.com/lm-sys/FastChat） ImageBind：https://github.com/facebookresearch/ImageBind FederatedScope‑LLM：https://github.com/alibaba/FederatedScope RoBERTa：https://huggingface.co/FacebookAI/roberta-base TinyLlama：https://github.com/jzhang38/TinyLlama GLUE benchmark：https://gluebenchmark.com/ HeySQuAD：https://arxiv.org/abs/2304.13689 PandaGPT：https://github.com/yxuansu/PandaGPT UniBind：Lyu et al., 2024，论文未提供公开代码链接。 🏗️ 方法概述和架构 UniFLoW采用经典的客户端-服务器联邦学习架构，其设计核心是处理客户端的模态异构性。整体流程分为客户端本地训练和服务器端聚合两个阶段，并引入独特的二阶段训练和FedA2-LoRA分析性聚合机制。 ...

📄 Universal Algorithm-Implicit Learning 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.4/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 6.5/10 | 前50% | #音频分类 | #元学习 | arxiv 👥 作者与机构 第一作者：Stefano Woerner（University of Tübingen, Cluster of Excellence “Machine Learning: New Perspectives for Science”） 通讯作者：Stefano Woerner（stefano@woerner.eu） 作者列表：Stefano Woerner（University of Tübingen）、Seong Joon Oh（Tübingen AI Center, University of Tübingen）、Christian F. Baumgartner（University of Tübingen / University of Lucerne, Faculty of Health Sciences and Medicine） 💡 毒舌点评 这篇论文在概念框架上做了一次漂亮的格式化——“Practical Universality”和“Algorithm-Implicit Learning”这两个概念确实让人耳目一新，把元学习领域长期存在的术语混乱问题梳理得相当清爽。但漂亮的壳子下面，实验部分在一些关键对照上遮遮掩掩，跨模态的结果本质上是在“证明自己的方法不比简单的特征压缩差太多”，这个论证力度距离真正的“Universal”还有相当距离。 ...