Icml-2026

📄 Unlocking Cross-Modal Biosignal Synthesis: A Temporally-Aware VAE-Diffusion Model 8.3/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 8.3/10 | 前25% | #扩散模型 | arxiv 👥 作者与机构 第一作者：Chenyang Xu（西安电子科技大学网络与信息安全学院） 通讯作者：Hao Wang（西安电子科技大学网络与信息安全学院，邮箱 haow@ieee.org） 作者列表：Chenyang Xu（西安电子科技大学网络与信息安全学院）、Dezhen Wang（同济大学计算机科学与技术学院）、Hao Wang（西安电子科技大学网络与信息安全学院） 💡 毒舌点评 这篇论文把VAE和latent diffusion拼了个不错的架子，在ECG-to-PCG的时序对齐上确实比纯Transformer和纯扩散模型强出一截，zero-shot迁移的结果也让人眼前一亮。但话说回来，论文对“为什么这个组合在这个任务上就是最优解”缺乏深层insight，Enhanced Condition Fusion和Temporal Attention这些组件在时序生成领域并不新鲜，更像是一次扎实的工程组合而非方法突破。尽管作者这次大方地开源了代码和模型，但整篇论文依然缺少任何形式的临床下游验证，却反复强调“clinically relevant timing”，这种野心与实际验证之间的鸿沟在严苛的ML+Health审稿中可能会被追着打。 📌 核心摘要 这篇论文瞄准一个很实际的临床工程问题：能不能仅从广泛可采集的ECG信号合成出高质量的PCG心音图，从而让心脏听诊不再依赖专用传感器。作者认为最大难点在于建模心电-心音之间复杂的机电耦合时序关系——纯回归模型（如Transformer）生成的心音太平滑、缺乏纹理，纯扩散模型又容易丢失ECG-PCG之间的精确时序对齐。 方法核心是一套三阶段的VAE-Diffusion混合架构：先用VAE把PCG压到低维隐空间作为“结构骨架”，再把条件扩散模型放在这个隐空间里做生成，最后通过一个双路径共享解码器把隐变量还原成心音波形。为了让ECG条件真正引导时序对齐，论文提出了Enhanced Condition Fusion（多尺度交叉注意力注入）和Temporal Attention Blocks（长程自注意力）两个组件，并且在Phase 3用联合微调把VAE隐空间和扩散先验对齐。 在EPHNOGRAM数据集上，论文报告的Pearson相关系数0.810、S1检测率95.95%、S1定位误差仅12.0ms，全面超过Transformer、DiffWave、DiT-style等基线。更值得注意的是zero-shot迁移实验：模型只用EPHNOGRAM训练，在PhysioNet/CinC 2016的子集上仍能达到0.75相关系数和91.3%的S1检测率，说明学到的ECG-PCG耦合关系有一定跨数据集泛化能力。 ...

📄 Unlocking Speech–Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning #语音交互 #语音大模型 #模型融合 #参数高效微调 #指令微调 #语音合成 6.7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 ✅ 6.7/10 | 前50% | #语音交互 | #模型融合 | #语音大模型 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Congrui Du（University of California, Santa Barbara, USA） 通讯作者：Yang Zhang（MIT-IBM Computing Research Lab, IBM Research, USA） 其他作者：Kaizhi Qian（MIT-IBM Computing Research Lab, IBM Research）、Shiyu Chang（University of California, Santa Barbara） 💡 毒舌点评 这篇论文用一个极其简单的权重算术绕过了SLM领域“卷数据”的军备竞赛，洞察深刻，但成也萧何败也萧何——仅用30k小时数据就达成此性能令人眼前一亮，但其方法的脆弱性同样引人注目：输出格式极度依赖后期强制修正、语音能力上限被韵律分词器锁死、对预训练数据结构的病态依赖，以及依赖外部ASR的pipeline设计，使其离一个实用、鲁棒的SLM新范式尚有距离。它更像一个巧妙的概念验证，而非可直接部署的突破。 ...

📄 V-LynX: Token Interface Alignment for Video+X LLMs #音视频问答 #LoRA #参数高效微调 #多模态模型 7.8/10 | 创新 1.4/2 | 严谨 1.4/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.9/1.5 ✅ 7.8/10 | 前25% | #音视频问答 | #LoRA | #参数高效微调 #多模态模型 | arxiv 👥 作者与机构 第一作者：Jungin Park（Yonsei University, Seoul, South Korea） 通讯作者：Jiyoung Lee（Ewha Womans University, Seoul, South Korea）、Kwanghoon Sohn（Yonsei University, Seoul, South Korea） 作者列表：Jungin Park（Yonsei University）、Jiyoung Lee（Ewha Womans University）、Kwanghoon Sohn（Yonsei University） 💡 毒舌点评 这篇论文的立意相当精巧：不搞那些“缝合怪”式的多模态堆叠，而是发现并利用了Video LLM内部天然存在的“Token Interface”——一个连续的几何流形。这相当于告诉你，LLM处理视觉信号时，并不是在翻译词汇，而是在一个“特区”里搞特殊运算。基于此，作者仅用LoRA + 无标签单模态数据，就将音频、3D等新模态像U盘一样即插即用到了视频模型上，参数效率惊人。不过，别高兴太早，这个方法对视觉证据有极强的“路径依赖”，纯音频概念（如BGM里的乐器识别）直接抓瞎，因为它的接口底层逻辑就是“视觉特区”。这限制了它能覆盖的真实世界场景广度。 ...

📄 VIBE: Disentangling Social Dynamics via Kinematics-Informed Variational Inference for Behavioral Emotion 4.6/10 | 创新 0.6/2 | 严谨 0.8/1.5 | 实验 0.6/1.5 | 清晰 0.7/1 | 影响 0.3/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 4.6/10 | 后50% | #变分自编码器 | arxiv 👥 作者与机构 第一作者：Abhishek Pratap Singh（Indian Institute of Technology Roorkee, Department of Computer Science and Engineering） 通讯作者：Abhishek Pratap Singh（Indian Institute of Technology Roorkee, Department of Computer Science and Engineering） 作者列表：Abhishek Pratap Singh（Indian Institute of Technology Roorkee, Department of Computer Science and Engineering）、Vaibhav Pratap Singh（Malaviya National Institute of Technology Jaipur, Department of Computer Science and Engineering）、Deepak Kumar（Indian Institute of Technology Roorkee, Department of Computer Science and Engineering）、Balasubramanian Raman（Indian Institute of Technology Roorkee, Department of Computer Science and Engineering） 💡 毒舌点评 这篇论文在人群情感识别（GER）领域尝试将物理运动同步性显式编码为 Transformer 的动态门控信号，并引入正交变分信息瓶颈进行特征解耦，意图值得肯定。然而，方法的本质是在现有预训练 backbone 上嫁接 VIB、AdaLN 和语义对齐等成熟技术，创新层次停留在组合式工程优化，而非理论突破。实验仅在两个较小的“in-the-wild”数据集上验证，且严重依赖文本模态带来的信息不对称优势——在 VGAF 上对比的大多数基线仅使用场景+人脸，这种SOTA声称掺杂了大量模态增益的水分。更关键的是，论文的贡献与音频/语音/音乐社区几乎没有交集：音频模态仅作为辅助特征输入，核心机制（运动同步性、视觉解耦、视觉-文本对齐）完全围绕计算机视觉展开，难以对语音领域产生任何涟漪。 ...

📄 video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM #音视频问答 #测试时自适应 #流式处理 #基准测试 #多模态模型 7.3/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.3/10 | 前50% | #音视频问答 | #测试时自适应 | #流式处理 #基准测试 | arxiv 👥 作者与机构 第一作者：Guangzhi Sun（清华大学、剑桥大学） 通讯作者：Chao Zhang（清华大学，cz277@tsinghau.edu） 作者列表：Guangzhi Sun（清华大学、剑桥大学）、Yixuan Li（剑桥大学）、Xiaodong Wu（剑桥大学）、Yudong Yang（剑桥大学）、Wei Li（字节跳动）、Zejun Ma（字节跳动）、Chao Zhang（清华大学） 💡 毒舌点评 这篇工作将Test-Time Training首次引入流式视频理解做长期记忆增强，确实聪明且有效，TTT_MEM在极低内存预算下碾压了传统token合并方法。但作为ICML投稿，实验规模偏小、训练和推理细节多处模糊，作者对ELViM基准的创建过程讳莫如深（人工审核标准、过滤比例等一概不提），这让整个benchmark的可信度打了折扣。 📌 核心摘要 该论文旨在解决流式长视频理解中，由于固定内存预算导致的累积信息丢失问题，特别是模型在长时间跨度上难以保持对早期内容的记忆。 核心方法是首次在流式视频LLM中引入Test-Time Training作为长期记忆机制，提出TTT_MEM层，通过快速权重更新将短期多模态表征持续转化为内嵌于模型参数的长期记忆。 与现有token合并或丢弃的流式方法不同，TTT_MEM新增了长跨度预测目标以强化长距依赖建模，辅以两阶段训练策略和模态感知的记忆读取机制，在不增加显存的同时保留了更完整的历史信息。 主要实验结果显示，在16k内存token设定下，video-SALMONN S在Video-MME长视频集上达71.3%（超过非流式基线的69.6%），在LVBench上达55.4%，在VideoEvalPro上达55.8%；在自建ELViM基准上，以46.7%的绝对准确率相比非流式基线提升14.2%，相比PEMF流式基线提升8.5%。消融实验中TTT_MEM在2k内存token时即达到与普通merging在16k token时相当的精度水平。 实际意义在于为需要长期连续运行的视频AI代理（如智能监控、教学辅助、远程协作）提供了更有效的记忆机制，同时不突破显存限制，为端侧部署长期视频理解提供了一种新范式。 主要局限性包括：ELViM基准仅包含约1000个目标视频，规模偏小且类别集中在生活技能类，泛化性存疑；训练和推理配置细节缺失较多，复现门槛较高；TTT_MEM目前仅处理视觉token，音频信息完全绕开，尚未充分利用多模态互补性。 🔗 开源详情 代码：https://github.com/bytedance/SALMONN/tree/video-salmonn-S-MEM ...

📄 VocSim A Training-free Benchmark for Zero-shot Content Identity in Single-source Audio #音频检索 #基准测试 #零样本 #多语言 #低资源 #自监督学习 8.2/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.2/10 | 前25% | #音频检索 | #自监督学习 | #基准测试 #零样本 | arxiv 👥 作者与机构 第一作者：Maris Basha（苏黎世大学神经信息学研究所与 ETH Zurich） 通讯作者：Richard Hahnloser（苏黎世大学神经信息学研究所与 ETH Zurich） 作者列表：Maris Basha（苏黎世大学神经信息学研究所与 ETH Zurich）、Anja Zai（苏黎世大学神经信息学研究所与 ETH Zurich）、Sabine Stoll（苏黎世大学语言进化跨学科研究所）、Richard Hahnloser（苏黎世大学神经信息学研究所与 ETH Zurich） 💡 毒舌点评 这篇工作用一套训练无关的几何视角给冻结音频嵌入做了一次透彻的“体检”，GSR 的边界惩罚设计和跨语料聚合的工程勇气值得肯定，暴露出的低资源语言局部检索崩塌为社区敲响了警钟。但盲测仅限于语音域，让“OOD 泛化”的标题显得过于宏大；公共子集普遍存在的预训练重叠也使得零样本的纯净度打了折扣，而 GSR 与 Silhouette 高达 0.82 的相关性让人不禁要问：新指标的边际贡献究竟在哪里？ ...

📄 WaveSSM: Multiscale State-Space Models for Non-stationary Signal Attention #音频分类 #语音识别 4.8/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.9/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.2/0.5 | 工程 0.5/1.5 📝 4.8/10 | 后50% | #音频分类 | #语音识别 | arxiv 👥 作者与机构 第一作者：Ruben Solozabal (MBZUAI) 通讯作者：Ruben Solozabal (MBZUAI) 作者列表：Ruben Solozabal (MBZUAI)、Velibor Bojkovic (MBZUAI)、Hilal AlQuabeh (MBZUAI / RIKEN AIP)、Klea Ziu (MBZUAI)、Kentaro Inui (MBZUAI / RIKEN AIP)、Martin Takáč (MBZUAI) 💡 毒舌点评 将小波先验注入状态空间模型（SSM），理论上为模型带来了期望的时间和频率局部化能力，在合成任务上的地址able记忆也展示得漂亮。但亮点止步于此：在真实基准上的性能提升微弱到几乎可以归为噪声，而在需要真正长程建模能力的任务（PathX, Pathfinder）上却全面溃败。这种极端的任务偏好性，加上零开源和大量悬而未决的理论-实践差距，使论文看起来更像一个精致的初步探索，而非一项坚实的贡献。 ...

📄 Zero-Shot Rankability: Revealing Latent Ordinal Structure in Multimodal Large Language Models via Language #音视频理解 #提示学习 #多模态模型 #大语言模型 6.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.8/10 | 前50% | #音视频理解 | #提示学习 | #多模态模型 #大语言模型 | arxiv 👥 作者与机构 第一作者：Nam Hyeon-Woo（POSTECH，电气工程系） 通讯作者：Tae-Hyun Oh（KAIST，计算机学院） 作者列表：Nam Hyeon-Woo（POSTECH，电气工程系）、Moon Ye-Bin（POSTECH，电气工程系）、Sohwi Lim（KAIST，计算机工程学院）、Kwon Byung-Ki（POSTECH，人工智能研究生院）、Tae-Hyun Oh（KAIST，计算机学院） 💡 毒舌点评 亮点在于将“排序性”概念系统性地扩展到多模态大模型（MLLM）空间，并通过条件嵌入与模态间隙两个可验证的机制清晰解释了VLM与MLLM之间显著的零样本性能差距。短板亦很刺眼：所有核心属性（年龄、人群计数）均为视觉任务，音频部分仅作为“泛化验证”匆匆带过，对语音/音频领域的直接贡献极为薄弱，One-sentence 的“zero-shot rankability”对于泛化性缺乏深入讨论；此外，所有结果基于固定prompt搜索且未给出统计显著性检验，结论的泛化稳健性存疑。方法本质上是对已知技巧（反义词差向量、logit lens）的包装，洞见深度有限。 ...