Icml-2026

📄 TextME: Bridging Unseen Modalities Through Text Descriptions 6.6/10 | 创新 1.3/2 | 严谨 0.9/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 0.4/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 6.6/10 | 前50% | #对比学习 | arxiv 👥 作者与机构 第一作者：Soyeon Hong（Ajou University, Department of Artificial Intelligence） 通讯作者：Seungtaek Choi（Hankuk University of Foreign Studies, Division of Language & AI）、Suha Kwak（POSTECH, Graduate School of AI）、Hyunsouk Cho（Ajou University, Department of Software） 作者列表：Soyeon Hong（Ajou University, Department of Artificial Intelligence）、Jinchan Kim（Ajou University, Department of Artificial Intelligence）、Jaegook You（Ajou University, Department of Artificial Intelligence）、Seungtaek Choi（Hankuk University of Foreign Studies, Division of Language & AI）、Suha Kwak（POSTECH, Graduate School of AI）、Hyunsouk Cho（Ajou University, Department of Software） 💡 毒舌点评 这篇论文试图用一个廉价的几何戏法绕过模态扩展中昂贵的数据墙——利用“模态间隙”这一已知属性，仅靠文本数据就将新模态投影到大语言模型空间中。想法有趣且务实，但就像用纸板搭桥：在结构完美的“3D”和“视频”编码器上走得挺稳，一到“分子”就塌了。实验广度足够，但深度像纸片，尤其是其宣称要颠覆的利基领域（医疗影像、分子）恰恰是性能最拉胯的地方，却只给了蜻蜓点水般的验证。这更像一个优美的实验室玩具，离解决真实世界利基领域的模态接入问题还隔着几个落地鸿沟。 ...

📄 The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning #知识蒸馏 #流式处理 #大语言模型 7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 0.1/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 ✅ 7/10 | 前50% | #知识蒸馏 | #知识蒸馏 | #流式处理 #大语言模型 | arxiv 👥 作者与机构 第一作者：Donghang Wu（Nanyang Technological University, College of Computing and Data Science） 通讯作者：Chen Chen（Nanyang Technological University, College of Computing and Data Science） 作者列表：Donghang Wu（Nanyang Technological University）、Tianyu Zhang（Mila, Quebec Artificial Intelligence Institute, Université de Montréal）、Yuxin Li（Nanyang Technological University）、Hexin Liu（Nanyang Technological University）、Chen Chen（Nanyang Technological University）、Eng Siong Chng（Nanyang Technological University）、Yoshua Bengio（Mila, Quebec Artificial Intelligence Institute, Université de Montréal） 💡 毒舌点评 本文巧妙地将连续空间中的“隐式推理”概念迁移到全双工语音对话模型，用 ELBO 和全局专家蒸馏优雅地解决了“边听边想”的标注难题，在推理类任务上的涨点证明了隐式计算的潜力。但硬伤同样刺眼：一是所有 SFT 和评估均在自建合成数据上闭环完成，严重缺乏公开基准（如 Fisher、DailyTalk）上的通用语音交互结果，模型的真实场景泛化性完全未知；二是在同等数据条件下与显式 CoT 方法的直接对比缺失，其宣称的“优于显式 CoT”更像是修辞而非经过实验证实的结论。此外，声称“零额外推理延迟”，却在全文中看不到任何具体的延迟或计算量分析，这一核心优势远未得到量化。泛化能力、可解释性、以及宣称优势的可信度，构成了这篇论文的三大阿喀琉斯之踵。 ...

📄 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions #音视频理解 #音频字幕生成 #多模态模型 #数据集 #基准测试 #强化学习 9.4/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 1.5/1.5 | 复现 0.4/0.5 | 工程 1.4/1.5 🔥 9.4/10 | 前10% | #音视频理解 | #多模态模型 | #音频字幕生成 #数据集 | arxiv 👥 作者与机构 第一作者：Linli Yao（北京大学计算机学院，快手科技Kling团队） 通讯作者：Xu Sun（北京大学计算机学院） 作者列表：Linli Yao（北京大学，快手科技Kling团队）、Yuancheng Wei（华南理工大学）、Yaojie Zhang（电子科技大学）、Lei Li（香港大学）、Xinlong Chen（中国科学院自动化研究所，快手科技Kling团队）、Feifan Song（北京大学）、Ziyue Wang（北京大学）、Kun Ouyang（北京大学）、Yuanxin Liu（北京大学）、Lingpeng Kong（香港大学）、Qi Liu（香港大学）、Pengfei Wan（快手科技Kling团队）、Kun Gai（快手科技Kling团队）、Yuanxing Zhang（快手科技Kling团队）、Xu Sun（北京大学） 💡 毒舌点评 该工作在音视频密集字幕生成领域投下了一枚“定义即创新”的炸弹。其提出的OmniDenseCaptioning任务和SodaM评估指标，直击当前音视频理解缺乏时间粒度和结构化描述的痛点，堪称一次教科书式的任务重塑。7B开源模型在精细定义的子任务上干翻Gemini-2.5-Pro，工程整合能力令人叹服，为社区贡献了完整的开原语料。然而，剥开任务定义与指标的糖衣，模型本身是Qwen2.5-Omni与GRPO的精心调配，缺乏算法层面的范式突破。更令人警惕的是，其引以为傲的SodaM指标和训练数据完全由Gemini系列模型闭环驱动，这种“以子之矛攻子之盾”的策略虽精彩，但也埋下了系统性偏见的隐患，评估的可信度也因此被蒙上一层阴影。 ...

📄 TMD-Bench: A Multi-Level Evaluation Paradigm for Music–Dance Co-Generation 7.7/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #音视频生成 | #流匹配 | arxiv 👥 作者与机构 第一作者：Xiaoda Yang（浙江大学）、Majun Zhang（浙江大学）（标注为同等贡献） 通讯作者：Zhou Zhao（浙江大学，zhaozhou@zju.edu.cn） 其余作者：Changhao Pan（浙江大学）、Nick Huang（Tecent, China）、Yuguang Yang（Tecent, China）、Fan Zhuo（浙江大学）、Pengfei Zhou（新加坡国立大学）、Jin Zhou（Tecent, China）、Sizhe Shan（浙江大学）、Shan Yang（Tecent, China）、Miles Yang（Tecent, China）、Yang You（新加坡国立大学） 💡 毒舌点评 这篇工作为音乐–舞蹈联合生成量身打造了一个多级评测范式 TMD-Bench，其中 MDAlign 将节拍-运动重音对齐拆解为物理度量与 MLLM 感知判决，思路务实且填补了该方向评测的空白。然而，10k 的数据集体量偏小，自研基线 RhyJAM 在关键的视频指令遵循和 MLLM 感知对齐上仍明显落后于 Sora 2 等商业模型，离真正的“卡准拍”和“听懂指令”还有明显距离。此外，声称的“统一基线”更像是一个为了验证评测基准而存在的基础模型，并未在方法架构上展现足够的新颖性。 ...

📄 Towards Streaming Synchronized Spatial Audio Generation via Autoregressive Diffusion Transformer #空间音频 #音视频生成 #扩散模型 #流式处理 #自回归模型 #对比学习 6.6/10 | 创新 1.3/2 | 严谨 0.9/1.5 | 实验 0.7/1.5 | 清晰 0.7/1 | 影响 0.9/1.5 | 开源 0.8/1.5 | 复现 0.2/0.5 | 工程 1.1/1.5 ✅ 6.6/10 | 前50% | #音视频生成 | #扩散模型 | #空间音频 #流式处理 | arxiv 👥 作者与机构 第一作者（共同一作）：Ke Lei（浙江大学） 共同一作：Yu Zhang（字节跳动） 共同一作：Changhao Pan（浙江大学） 作者列表：Xueyi Pu（浙江大学）、Wenxiang Guo（浙江大学）、Ruiqi Li（字节跳动）、Zhou Zhao（浙江大学，通讯作者） 💡 毒舌点评 这篇文章在流式空间音频生成上做出了明确的架构贡献——自回归做全局规划、扩散做局部渲染的思路干净利落，SVAC的空间负样本设计也很有物理感知能力。但整体evaluation偏弱，尤其是缺少与最近强基线（如MovieGen-Audio、Frieren）的直接对比，且ablation中只展示了去掉某组件的退化程度，缺少为什么这套组合设计优于其他可能组合（如AR-only或Diffusion-only变体）的深度分析。另外，伪FOA预训练策略的随意性以及对总生成时长的回避讨论，让人觉得像一份扎实的工程系统报告而非有深刻洞察的顶会文章。 ...

📄 Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition #多模态模型 #可解释性 5.3/10 | 创新 1.1/2 | 严谨 0.9/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.3/10 | 后50% | #音视频理解 | #参数高效微调 | #多模态模型 #可解释性 | arxiv 👥 作者与机构 第一作者：Wanlong Fang（Nanyang Technological University, Interdisciplinary Graduate Programme, AI-X & College of Computing and Data Science） 通讯作者：Alvin Chan（Nanyang Technological University, College of Computing and Data Science, Lee Kong Chian School of Medicine, Centre of AI in Medicine） 作者列表：Wanlong Fang（Nanyang Technological University）、Tianle Zhang（Nanyang Technological University, College of Computing and Data Science）、Wen Tao（Nanyang Technological University, College of Computing and Data Science）、Alvin Chan（Nanyang Technological University, College of Computing and Data Science & Lee Kong Chian School of Medicine & Centre of AI in Medicine） 💡 毒舌点评 本文将部分信息分解（PID）引入多模态决策分析，提出Sensory PID处理三模态问题，框架自身具有新颖的洞察力，并辅以大规模的实验揭示模型的行为剖面。然而，整个分析严重依赖校准掩码近似单模态条件分布，却未对由此引入的估计偏差做严格的理论或实证分析；此外，完全不开源使得其宣称的“诊断与引导训练”对于实践者的即时价值基本为零，复现门槛极高。 ...

📄 Two-dimensional quantization for geometry-aware audio coding #语音编码 #语音合成 #音频生成 7.6/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5 ✅ 7.6/10 | 前25% | #语音编码 | #语音合成 | #音频生成 | arxiv 👥 作者与机构 第一作者/通讯作者：Tal Shuster (School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Be’er Sheva, Israel) 作者：Eliya Nachmani (School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Be’er Sheva, Israel) 注：原文脚注中通讯作者仅为 Tal Shuster，与已有分析不同。 💡 毒舌点评 这篇论文用一个巧妙的几何直觉——将独立标量量化扩展到二维结构化网格——解决了神经音频编解码中效率和利用率的两难问题。实验覆盖度不错，尤其是在低码率下能用一个量化器挑战一堆级联 RVQ 的基线，很有杀伤力。但论文对为什么是二维、为什么菱形网格更好的分析偏经验主义，缺乏从率失真理论或音频特征统计特性角度的深刻解释；此外，仅在与 FSQ 和 WavTokenizer 的对比中严格控制了训练数据和配置变量，与其他 SOTA 模型对比时使用了异构的训练数据和配置，削弱了部分 SOTA 声明的直接可比性。 ...

📄 UltraLIF: Fully Differentiable Spiking Neural Networks via Ultradiscretization and Max-Plus Algebra 6.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 1.1/1.5 ✅ 6.7/10 | 前50% | #音频分类 | arxiv 👥 作者与机构 第一作者：Jose Marie Antonio Miñoza（Center for AI Research PH） 通讯作者：Jose Marie Antonio Miñoza（Center for AI Research PH, jminoza@upd.edu.ph） 作者列表：Jose Marie Antonio Miñoza（Center for AI Research PH） 💡 毒舌点评 论文的数学框架相当漂亮，用热带几何为SNN提供了罕见的“前向-反向一致性”和收敛性保证，理论深度在SNN领域实属难得。然而，实验设计如同“精装别墅里摆塑料家具”——全连接网络加64个隐藏神经元跑CIFAR-10的SOTA声明缺乏说服力，且代码与模型完全未开源，让声称的“fully differentiable”优势难以被社区验证和复现。 ...

📄 UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuning Framework with Analytical Aggregation 4.4/10 | 创新 0.5/2 | 严谨 0.6/1.5 | 实验 0.3/1.5 | 清晰 0.5/1 | 影响 0.3/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 📝 4.4/10 | 后50% | #音视频问答 | #联邦学习 | arxiv 👥 作者与机构 第一作者：Haoyuan Liang（中山大学，深圳国家超算中心） 通讯作者：Juepeng Zheng（中山大学） 作者列表：Haoyuan Liang（中山大学，深圳国家超算中心）、Zhiyu Ye（清华深圳国际研究生院）、Jielong Tang（中山大学）、Yang Yang（中山大学）、Shilei Cao（中山大学，深圳国家超算中心）、Guowen Li（中山大学，深圳国家超算中心）、Fei Hu（华南理工大学）、Zhiwei Zhang（中山大学，深圳国家超算中心）、Haohuan Fu（清华深圳国际研究生院）、Juepeng Zheng（中山大学） 💡 毒舌点评 UniFLoW试图用一个统一框架解决联邦多模态微调中的模态异构和LoRA聚合不一致性问题，工程野心值得肯定。然而，其核心创新FedA2-LoRA本质上是对已有方法的组合与补丁：平均A矩阵（FedSA-LoRA）后通过岭回归重构B，这在数学上是直接的最小二乘应用，技术贡献有限。实验部分严重不足以支撑其宣称的“Universal”和“State-of-the-Art”：多模态实验仅覆盖2种模态、每个客户端仅2000样本，GLUE实验部分基线明显未收敛，使得结果缺乏说服力。二阶段训练策略虽有启发但并非本质创新。总之，这是一篇在已有方法基础上做工程整合的工作，缺乏实质性的理论或算法突破。 📌 核心摘要 解决问题：本文旨在解决在联邦学习（FL）场景下对多模态大语言模型（MLLMs）进行微调时所面临的三大挑战：①客户端异构模态数据导致模型架构不兼容，无法直接聚合；②全参数微调带来的巨大通信开销；③联邦LoRA聚合时因非结合性导致的不一致性（即"Averaging then Multiplying"不等于"Multiplying then Averaging"）。 方法核心：论文提出了UniFLoW框架，采用统一的预训练LLM作为共享基座，配合模态特定编码器（如ImageBind）来处理不同客户端模态。其核心是FedA2-LoRA聚合方法：服务器先平均客户端上传的LoRA矩阵A，并计算目标真实更新U（即平均后的\(\Delta W\)），再通过求解一个岭回归问题从A和U中分析性地重构全局矩阵B，从而在数学上消除聚合偏差。同时引入二阶段训练策略（先微调解码器再微调LLM），以避免LLM过拟合到特定模态模式。 创新点：与现有FedLoRA变体相比，FedA2-LoRA保证了聚合后的低秩更新\(BA\)与客户端真实平均更新\(U\)的一致性，且不引入额外通信成本。二阶段训练策略为联邦异构模态下的训练调度提供了新思路。 实验结果：在多模态QA任务（图像、音频）中，UniFLoW+二阶段训练+FedA2-LoRA的组合取得了最佳结果，例如在同时训练图像和音频客户端后，图像模态Accuracy达到76.19%，音频模态F_BERT达到86.31%。在GLUE基准的纯文本实验中，FedA2-LoRA也展示了对不同PEFT方法的普遍提升效果（如LoRA平均准确率从89.17提升到90.50）。附录还展示了该方法在架构可替换性、零填充异构秩设置等场景下的有效性。 实际意义：为在隐私保护前提下，利用分散、异质的私有数据来微调多模态大模型提供了一套相对完整的方案，对解锁私有数据价值有一定探索意义。 主要局限性：论文自身指出：当\(AA^T\)不可逆时需引入正则化项，\(\lambda\)选择对数值稳定性有影响；联邦训练早期FedA2-LoRA重构可能不稳定，需要warm-up。审稿人发现：方法在理论上无本质突破；`获取目标U需要先聚合\(B_k A_k\)，这在逻辑上构成了一个循环，论文未能清晰说明这在服务器端如何在不增加客户端通信的前提下实现；实验严重不足，对比基线弱，部分设置不公。 🔗 开源详情 代码：https://github.com/LHY-24/UniFLoW 模型权重：未提及。 数据集： HeySQuAD（https://arxiv.org/abs/2304.13689） PandaGPT 视觉指令数据集（https://github.com/yxuansu/PandaGPT） GLUE benchmark（https://gluebenchmark.com/），包括 MNLI、SST‑2、RTE、QQP 所有数据集均引用公开来源，未提供自定义数据集的独立下载链接。 Demo：未提及。 复现材料：论文附录提供了算法伪代码、部分超参数（如 λ=1）与二阶段训练策略描述，但未单独提供预训练检查点、训练配置文件或完整实验脚本。 论文中引用的开源项目： Vicuna‑7B：https://lmsys.org/blog/2023-03-30-vicuna/ （https://github.com/lm-sys/FastChat） ImageBind：https://github.com/facebookresearch/ImageBind FederatedScope‑LLM：https://github.com/alibaba/FederatedScope RoBERTa：https://huggingface.co/FacebookAI/roberta-base TinyLlama：https://github.com/jzhang38/TinyLlama GLUE benchmark：https://gluebenchmark.com/ HeySQuAD：https://arxiv.org/abs/2304.13689 PandaGPT：https://github.com/yxuansu/PandaGPT UniBind：Lyu et al., 2024，论文未提供公开代码链接。 🏗️ 方法概述和架构 UniFLoW采用经典的客户端-服务器联邦学习架构，其设计核心是处理客户端的模态异构性。整体流程分为客户端本地训练和服务器端聚合两个阶段，并引入独特的二阶段训练和FedA2-LoRA分析性聚合机制。 ...

📄 Universal Algorithm-Implicit Learning 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.4/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 6.5/10 | 前50% | #音频分类 | #元学习 | arxiv 👥 作者与机构 第一作者：Stefano Woerner（University of Tübingen, Cluster of Excellence “Machine Learning: New Perspectives for Science”） 通讯作者：Stefano Woerner（stefano@woerner.eu） 作者列表：Stefano Woerner（University of Tübingen）、Seong Joon Oh（Tübingen AI Center, University of Tübingen）、Christian F. Baumgartner（University of Tübingen / University of Lucerne, Faculty of Health Sciences and Medicine） 💡 毒舌点评 这篇论文在概念框架上做了一次漂亮的格式化——“Practical Universality”和“Algorithm-Implicit Learning”这两个概念确实让人耳目一新，把元学习领域长期存在的术语混乱问题梳理得相当清爽。但漂亮的壳子下面，实验部分在一些关键对照上遮遮掩掩，跨模态的结果本质上是在“证明自己的方法不比简单的特征压缩差太多”，这个论证力度距离真正的“Universal”还有相当距离。 ...

📄 Unlocking Cross-Modal Biosignal Synthesis: A Temporally-Aware VAE-Diffusion Model 8.3/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 8.3/10 | 前25% | #扩散模型 | arxiv 👥 作者与机构 第一作者：Chenyang Xu（西安电子科技大学网络与信息安全学院） 通讯作者：Hao Wang（西安电子科技大学网络与信息安全学院，邮箱 haow@ieee.org） 作者列表：Chenyang Xu（西安电子科技大学网络与信息安全学院）、Dezhen Wang（同济大学计算机科学与技术学院）、Hao Wang（西安电子科技大学网络与信息安全学院） 💡 毒舌点评 这篇论文把VAE和latent diffusion拼了个不错的架子，在ECG-to-PCG的时序对齐上确实比纯Transformer和纯扩散模型强出一截，zero-shot迁移的结果也让人眼前一亮。但话说回来，论文对“为什么这个组合在这个任务上就是最优解”缺乏深层insight，Enhanced Condition Fusion和Temporal Attention这些组件在时序生成领域并不新鲜，更像是一次扎实的工程组合而非方法突破。尽管作者这次大方地开源了代码和模型，但整篇论文依然缺少任何形式的临床下游验证，却反复强调“clinically relevant timing”，这种野心与实际验证之间的鸿沟在严苛的ML+Health审稿中可能会被追着打。 📌 核心摘要 这篇论文瞄准一个很实际的临床工程问题：能不能仅从广泛可采集的ECG信号合成出高质量的PCG心音图，从而让心脏听诊不再依赖专用传感器。作者认为最大难点在于建模心电-心音之间复杂的机电耦合时序关系——纯回归模型（如Transformer）生成的心音太平滑、缺乏纹理，纯扩散模型又容易丢失ECG-PCG之间的精确时序对齐。 方法核心是一套三阶段的VAE-Diffusion混合架构：先用VAE把PCG压到低维隐空间作为“结构骨架”，再把条件扩散模型放在这个隐空间里做生成，最后通过一个双路径共享解码器把隐变量还原成心音波形。为了让ECG条件真正引导时序对齐，论文提出了Enhanced Condition Fusion（多尺度交叉注意力注入）和Temporal Attention Blocks（长程自注意力）两个组件，并且在Phase 3用联合微调把VAE隐空间和扩散先验对齐。 在EPHNOGRAM数据集上，论文报告的Pearson相关系数0.810、S1检测率95.95%、S1定位误差仅12.0ms，全面超过Transformer、DiffWave、DiT-style等基线。更值得注意的是zero-shot迁移实验：模型只用EPHNOGRAM训练，在PhysioNet/CinC 2016的子集上仍能达到0.75相关系数和91.3%的S1检测率，说明学到的ECG-PCG耦合关系有一定跨数据集泛化能力。 ...

📄 Unlocking Speech–Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning #语音交互 #语音大模型 #模型融合 #参数高效微调 #指令微调 #语音合成 6.7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 ✅ 6.7/10 | 前50% | #语音交互 | #模型融合 | #语音大模型 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Congrui Du（University of California, Santa Barbara, USA） 通讯作者：Yang Zhang（MIT-IBM Computing Research Lab, IBM Research, USA） 其他作者：Kaizhi Qian（MIT-IBM Computing Research Lab, IBM Research）、Shiyu Chang（University of California, Santa Barbara） 💡 毒舌点评 这篇论文用一个极其简单的权重算术绕过了SLM领域“卷数据”的军备竞赛，洞察深刻，但成也萧何败也萧何——仅用30k小时数据就达成此性能令人眼前一亮，但其方法的脆弱性同样引人注目：输出格式极度依赖后期强制修正、语音能力上限被韵律分词器锁死、对预训练数据结构的病态依赖，以及依赖外部ASR的pipeline设计，使其离一个实用、鲁棒的SLM新范式尚有距离。它更像一个巧妙的概念验证，而非可直接部署的突破。 ...

📄 V-LynX: Token Interface Alignment for Video+X LLMs #音视频问答 #LoRA #参数高效微调 #多模态模型 7.8/10 | 创新 1.4/2 | 严谨 1.4/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.9/1.5 ✅ 7.8/10 | 前25% | #音视频问答 | #LoRA | #参数高效微调 #多模态模型 | arxiv 👥 作者与机构 第一作者：Jungin Park（Yonsei University, Seoul, South Korea） 通讯作者：Jiyoung Lee（Ewha Womans University, Seoul, South Korea）、Kwanghoon Sohn（Yonsei University, Seoul, South Korea） 作者列表：Jungin Park（Yonsei University）、Jiyoung Lee（Ewha Womans University）、Kwanghoon Sohn（Yonsei University） 💡 毒舌点评 这篇论文的立意相当精巧：不搞那些“缝合怪”式的多模态堆叠，而是发现并利用了Video LLM内部天然存在的“Token Interface”——一个连续的几何流形。这相当于告诉你，LLM处理视觉信号时，并不是在翻译词汇，而是在一个“特区”里搞特殊运算。基于此，作者仅用LoRA + 无标签单模态数据，就将音频、3D等新模态像U盘一样即插即用到了视频模型上，参数效率惊人。不过，别高兴太早，这个方法对视觉证据有极强的“路径依赖”，纯音频概念（如BGM里的乐器识别）直接抓瞎，因为它的接口底层逻辑就是“视觉特区”。这限制了它能覆盖的真实世界场景广度。 ...

📄 VIBE: Disentangling Social Dynamics via Kinematics-Informed Variational Inference for Behavioral Emotion 4.6/10 | 创新 0.6/2 | 严谨 0.8/1.5 | 实验 0.6/1.5 | 清晰 0.7/1 | 影响 0.3/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 4.6/10 | 后50% | #变分自编码器 | arxiv 👥 作者与机构 第一作者：Abhishek Pratap Singh（Indian Institute of Technology Roorkee, Department of Computer Science and Engineering） 通讯作者：Abhishek Pratap Singh（Indian Institute of Technology Roorkee, Department of Computer Science and Engineering） 作者列表：Abhishek Pratap Singh（Indian Institute of Technology Roorkee, Department of Computer Science and Engineering）、Vaibhav Pratap Singh（Malaviya National Institute of Technology Jaipur, Department of Computer Science and Engineering）、Deepak Kumar（Indian Institute of Technology Roorkee, Department of Computer Science and Engineering）、Balasubramanian Raman（Indian Institute of Technology Roorkee, Department of Computer Science and Engineering） 💡 毒舌点评 这篇论文在人群情感识别（GER）领域尝试将物理运动同步性显式编码为 Transformer 的动态门控信号，并引入正交变分信息瓶颈进行特征解耦，意图值得肯定。然而，方法的本质是在现有预训练 backbone 上嫁接 VIB、AdaLN 和语义对齐等成熟技术，创新层次停留在组合式工程优化，而非理论突破。实验仅在两个较小的“in-the-wild”数据集上验证，且严重依赖文本模态带来的信息不对称优势——在 VGAF 上对比的大多数基线仅使用场景+人脸，这种SOTA声称掺杂了大量模态增益的水分。更关键的是，论文的贡献与音频/语音/音乐社区几乎没有交集：音频模态仅作为辅助特征输入，核心机制（运动同步性、视觉解耦、视觉-文本对齐）完全围绕计算机视觉展开，难以对语音领域产生任何涟漪。 ...

📄 video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM #音视频问答 #测试时自适应 #流式处理 #基准测试 #多模态模型 7.3/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.3/10 | 前50% | #音视频问答 | #测试时自适应 | #流式处理 #基准测试 | arxiv 👥 作者与机构 第一作者：Guangzhi Sun（清华大学、剑桥大学） 通讯作者：Chao Zhang（清华大学，cz277@tsinghau.edu） 作者列表：Guangzhi Sun（清华大学、剑桥大学）、Yixuan Li（剑桥大学）、Xiaodong Wu（剑桥大学）、Yudong Yang（剑桥大学）、Wei Li（字节跳动）、Zejun Ma（字节跳动）、Chao Zhang（清华大学） 💡 毒舌点评 这篇工作将Test-Time Training首次引入流式视频理解做长期记忆增强，确实聪明且有效，TTT_MEM在极低内存预算下碾压了传统token合并方法。但作为ICML投稿，实验规模偏小、训练和推理细节多处模糊，作者对ELViM基准的创建过程讳莫如深（人工审核标准、过滤比例等一概不提），这让整个benchmark的可信度打了折扣。 📌 核心摘要 该论文旨在解决流式长视频理解中，由于固定内存预算导致的累积信息丢失问题，特别是模型在长时间跨度上难以保持对早期内容的记忆。 核心方法是首次在流式视频LLM中引入Test-Time Training作为长期记忆机制，提出TTT_MEM层，通过快速权重更新将短期多模态表征持续转化为内嵌于模型参数的长期记忆。 与现有token合并或丢弃的流式方法不同，TTT_MEM新增了长跨度预测目标以强化长距依赖建模，辅以两阶段训练策略和模态感知的记忆读取机制，在不增加显存的同时保留了更完整的历史信息。 主要实验结果显示，在16k内存token设定下，video-SALMONN S在Video-MME长视频集上达71.3%（超过非流式基线的69.6%），在LVBench上达55.4%，在VideoEvalPro上达55.8%；在自建ELViM基准上，以46.7%的绝对准确率相比非流式基线提升14.2%，相比PEMF流式基线提升8.5%。消融实验中TTT_MEM在2k内存token时即达到与普通merging在16k token时相当的精度水平。 实际意义在于为需要长期连续运行的视频AI代理（如智能监控、教学辅助、远程协作）提供了更有效的记忆机制，同时不突破显存限制，为端侧部署长期视频理解提供了一种新范式。 主要局限性包括：ELViM基准仅包含约1000个目标视频，规模偏小且类别集中在生活技能类，泛化性存疑；训练和推理配置细节缺失较多，复现门槛较高；TTT_MEM目前仅处理视觉token，音频信息完全绕开，尚未充分利用多模态互补性。 🔗 开源详情 代码：https://github.com/bytedance/SALMONN/tree/video-salmonn-S-MEM ...

📄 VocSim A Training-free Benchmark for Zero-shot Content Identity in Single-source Audio #音频检索 #基准测试 #零样本 #多语言 #低资源 #自监督学习 8.2/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.2/10 | 前25% | #音频检索 | #自监督学习 | #基准测试 #零样本 | arxiv 👥 作者与机构 第一作者：Maris Basha（苏黎世大学神经信息学研究所与 ETH Zurich） 通讯作者：Richard Hahnloser（苏黎世大学神经信息学研究所与 ETH Zurich） 作者列表：Maris Basha（苏黎世大学神经信息学研究所与 ETH Zurich）、Anja Zai（苏黎世大学神经信息学研究所与 ETH Zurich）、Sabine Stoll（苏黎世大学语言进化跨学科研究所）、Richard Hahnloser（苏黎世大学神经信息学研究所与 ETH Zurich） 💡 毒舌点评 这篇工作用一套训练无关的几何视角给冻结音频嵌入做了一次透彻的“体检”，GSR 的边界惩罚设计和跨语料聚合的工程勇气值得肯定，暴露出的低资源语言局部检索崩塌为社区敲响了警钟。但盲测仅限于语音域，让“OOD 泛化”的标题显得过于宏大；公共子集普遍存在的预训练重叠也使得零样本的纯净度打了折扣，而 GSR 与 Silhouette 高达 0.82 的相关性让人不禁要问：新指标的边际贡献究竟在哪里？ ...

📄 WaveSSM: Multiscale State-Space Models for Non-stationary Signal Attention #音频分类 #语音识别 4.8/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.9/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.2/0.5 | 工程 0.5/1.5 📝 4.8/10 | 后50% | #音频分类 | #语音识别 | arxiv 👥 作者与机构 第一作者：Ruben Solozabal (MBZUAI) 通讯作者：Ruben Solozabal (MBZUAI) 作者列表：Ruben Solozabal (MBZUAI)、Velibor Bojkovic (MBZUAI)、Hilal AlQuabeh (MBZUAI / RIKEN AIP)、Klea Ziu (MBZUAI)、Kentaro Inui (MBZUAI / RIKEN AIP)、Martin Takáč (MBZUAI) 💡 毒舌点评 将小波先验注入状态空间模型（SSM），理论上为模型带来了期望的时间和频率局部化能力，在合成任务上的地址able记忆也展示得漂亮。但亮点止步于此：在真实基准上的性能提升微弱到几乎可以归为噪声，而在需要真正长程建模能力的任务（PathX, Pathfinder）上却全面溃败。这种极端的任务偏好性，加上零开源和大量悬而未决的理论-实践差距，使论文看起来更像一个精致的初步探索，而非一项坚实的贡献。 ...

📄 Zero-Shot Rankability: Revealing Latent Ordinal Structure in Multimodal Large Language Models via Language #音视频理解 #提示学习 #多模态模型 #大语言模型 6.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.8/10 | 前50% | #音视频理解 | #提示学习 | #多模态模型 #大语言模型 | arxiv 👥 作者与机构 第一作者：Nam Hyeon-Woo（POSTECH，电气工程系） 通讯作者：Tae-Hyun Oh（KAIST，计算机学院） 作者列表：Nam Hyeon-Woo（POSTECH，电气工程系）、Moon Ye-Bin（POSTECH，电气工程系）、Sohwi Lim（KAIST，计算机工程学院）、Kwon Byung-Ki（POSTECH，人工智能研究生院）、Tae-Hyun Oh（KAIST，计算机学院） 💡 毒舌点评 亮点在于将“排序性”概念系统性地扩展到多模态大模型（MLLM）空间，并通过条件嵌入与模态间隙两个可验证的机制清晰解释了VLM与MLLM之间显著的零样本性能差距。短板亦很刺眼：所有核心属性（年龄、人群计数）均为视觉任务，音频部分仅作为“泛化验证”匆匆带过，对语音/音频领域的直接贡献极为薄弱，One-sentence 的“zero-shot rankability”对于泛化性缺乏深入讨论；此外，所有结果基于固定prompt搜索且未给出统计显著性检验，结论的泛化稳健性存疑。方法本质上是对已知技巧（反义词差向量、logit lens）的包装，洞见深度有限。 ...