Icml-2026

📄 Probing Cross-modal Information Hubs in Audio-Visual LLMs #音视频理解 #可解释性 #多模态模型 7.2/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | #音视频理解 | #多模态模型 | #可解释性 | arxiv 👥 作者与机构 第一作者：Jihoo Jung（KAIST 电气工程系） 通讯作者：Joon Son Chung（KAIST 电气工程系） 作者列表：Jihoo Jung（KAIST 电气工程系）、Chaeyoung Jung（KAIST 电气工程系）、Ji-Hoon Kim（中央大学 先进影像科学研究生院）、Joon Son Chung（KAIST 电气工程系） 💡 毒舌点评 论文提出了一个有趣的反直觉发现：在音视频大模型中，承载跨模态融合信息的并非承载物体语义的"对象token"，而是一类被视为信息盲区的"attention sink token"。这个发现本身对多模态LLM的机制理解有一定价值。但是，作者基于此洞察提出的ASD方法虽然训练免费，却带来了高达3.7倍的推理延迟，这对于一个"即插即用"的工程方案而言，实用价值大打折扣。更致命的是，所有实验仅局限于captioning任务，对更广泛的QA、推理等场景的适用性存疑。此外，AVLLM的可解释性领域整体体量尚小，该工作的实际影响力还有待时间检验。总体来看，洞察有趣但应用路径尚有距离，是一篇典型的"机制分析强但下游应用弱"的论文。 ...

📄 Quaternion Self-Attention with Shared Scores #语音增强 #高效推理 #模型压缩 6.3/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.7/1.5 ✅ 6.3/10 | 前50% | #语音增强 | #Transformer | #高效推理 #模型压缩 | arxiv 👥 作者与机构 第一作者：Shogo Yamauchi（The Asahi Shimbun Company, Tokyo, Japan） 通讯作者：Shogo Yamauchi（The Asahi Shimbun Company）、Tohru Nitta（Tokyo Woman’s Christian University, Tokyo, Japan）、Hideaki Tamori（The Asahi Shimbun Company） 作者列表：Shogo Yamauchi（The Asahi Shimbun Company）、Tohru Nitta（Tokyo Woman’s Christian University）、Hideaki Tamori（The Asahi Shimbun Company） 💡 毒舌点评 用一个四元数内积替换汉密尔顿积做注意力打分，把4路独立softmax砍成1路，在语音增强上RTF最高砍半，还证明了组件独立本质是冗余——这个洞察确实漂亮。但实验仅限0.8M以下的小模型，跟2019年的Tay et al.基线比完就收工，连线性注意力、FlashAttention这类通用加速方案的影子都没见着，更别说拿Mamba来硬碰硬。整个评估像在自家花园里赛跑，说服力打折严重。声明的"首次提出共享分数"也值得商讨，因为实数Transformer从Vaswani et al.起就在用一个标量分数矩阵，本文本质是给四元数空间做了同样的事。 ...

📄 Query-Based Asymmetric Modeling with Decoupled Input–Output Rates for Speech Restoration #语音增强 #语音超分 #流式处理 #生成对抗网络 7.1/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | #语音增强 | #Transformer | #语音超分 #流式处理 | arxiv 👥 作者与机构 第一作者：Ui-Hyeop Shin (Sogang University, Department of Electronic Engineering) 通讯作者：Hyung-Min Park (Sogang University, Department of Electronic Engineering / Department of Artificial Intelligence) 作者列表：Ui-Hyeop Shin, Jaehyun Ko, Woocheol Jeong, Hyung-Min Park (均来自 Sogang University) 💡 毒舌点评 论文在“解耦输入输出采样率”这一问题上的定义干净，非对称编码器-解码器与频率扩展查询的设计动机清晰，实验覆盖度也属同类工作的上乘。但损失函数的设计（尤其是缩放 log1p）依赖对误差分布的经验观察，缺乏更深入的理论支撑，使得这部分工作显得更像是工程技巧的堆砌。在关键的SOTA声明上较为保守，模型在纯去噪等传统任务上未能超越专用模型，距离真正推动范式迁移尚有距离。未提供代码和模型权重，对社区的直接影响存疑。 ...

📄 Real-World Unsupervised Models Generalize to Predict Brain Responses to Out-of-Distribution Stimuli #模型评估 6.9/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.9/10 | 前50% | #模型评估 | #无监督学习 | arxiv 👥 作者与机构 第一作者：Chenggang Chen（约翰霍普金斯大学生物医学工程系） 通讯作者：Chenggang Chen（约翰霍普金斯大学生物医学工程系） 作者列表：Chenggang Chen（约翰霍普金斯大学生物医学工程系）、Zhiyu Yang（约翰霍普金斯大学生物医学工程系）、Xiaoqin Wang（约翰霍普金斯大学生物医学工程系） 修正说明：原文作者名单中，所有三位作者均归属于同一机构（约翰霍普金斯大学生物医学工程系），使用数字上标“1”标注。原分析中重复标注机构的方式已修正。 💡 毒舌点评 本文以扎实的实验论证了“真实世界数据+无监督学习”对脑反应预测的碾压级优势，跨模态OOD泛化令人印象深刻，且逻辑链条清晰。但作为顶会spotlight，方法原创性偏弱——本质是对已有无监督模型的组合与评估，缺少新算法或理论洞见；关键的贡献仅停留在“数据分布最重要”的benchmark结论层面，若不能在后续给出可操作的模型设计原则或理论解释（为何真实世界统计特性如此关键），其影响力将随模型迭代而快速衰减。视觉部分的架构混杂问题削弱了论证力度，整体仍是一篇优秀但未达卓越的验证性工作。 📌 核心摘要 本文旨在回答“什么样的训练数据和目标能让深度神经网络更准确地预测大脑感觉皮层的反应”。作者提出，模型的生态效度关键在于训练数据的真实世界统计特性（而非架构或规模），且无监督目标更符合生物学习的约束。方法上，系统比较了19个听觉模型（包括HuBERT、Wav2Vec2等无监督模型，以及多种监督模型）在人类听觉皮层的两个fMRI数据集上的预测表现，同时将分析延伸至视觉皮层（婴儿视角视频训练的ResNeXt）。核心新意在于显式地解耦数据分布、学习目标和架构的贡献，并首次展示无监督真实世界模型对OOD刺激的跨语种/跨域泛化能力。主要结果：在听觉皮层预测上，基于真实多场景普通话训练的HuBERT_speech和Wav2Vec2_speech在NH2015数据集上分别达到0.773和0.743的噪声校正解释方差，比之前的最佳监督模型（CochResNet50-MultiTask, 0.729）提升6%和1.9%；在视觉皮层，婴儿视角无监督模型在Brain-Score上领先第二名（swin-small）47%以上，且camSAY-ResNeXt（0.249-0.259）与大规模ID评估的DINOv2/v3模型（0.251-0.262）分数相当，尽管其训练数据规模远小且为OOD评估。实际意义在于为神经科学计算建模提供了“数据分布 > 监督信号”的明确证据，并暗示真实环境的噪声、长尾分布和高动态范围可能是获得类脑表征的关键归因偏置。主要局限是评价指标仍限于相关性和预测对齐而非因果机制，且未在多种母语/文化背景下验证。 🔗 开源详情 代码：论文中未提及本研究相关的独立代码仓库链接。 模型权重： HuBERT_speech 与 Wav2Vec2_speech（在 WenetSpeech 上预训练的 Base 版本）：https://huggingface.co/TencentGameMate HuBERT_LS（LibriSpeech 预训练）：https://huggingface.co/facebook/hubert-base Wav2Vec2_LS（LibriSpeech 预训练）：https://huggingface.co/facebook/wav2vec2-base HuBERT_core (AVES-core)：https://github.com/earthspecies/aves camSAY 模型（婴儿视角预训练）：https://github.com/eminorhan/baby-vision 其他公开模型（AST、VGGish、S2T、Wav2Vec2FT、CochCNN9/ResNet50 等）的权重可从各自原始项目获取（见下方开源项目列表），论文未直接给出这些模型的独立权重文件链接。 数据集： WenetSpeech：https://wenet-e2e.github.io/WenetSpeech/ LibriSpeech：http://www.openslr.org/12 FSD50k：https://zenodo.org/record/4060432 AudioSet：https://research.google.com/audioset/ YouTube-8M：https://research.google.com/youtube8m/ Million Song Dataset：http://millionsongdataset.com/ SAYCam：https://saycam.stanford.edu/ Word-Speaker-Noise 数据集 (Feather et al., 2019)：论文中未提供公开下载链接。 fMRI 数据集 (NH2015, B2021)：分别来自 Norman-Haignere et al. (2015) 与 Boebinger et al. (2021)，可向原始作者索取，论文未提供直接下载链接。 Brain-Score 中的视觉 fMRI 数据集（Coggan & Tong, 2023; Bracci et al., 2019）：随 Brain-Score 项目一起分发（见下方）。 Demo：论文中未提及。 复现材料：无统一实验代码或一键复现脚本。 论文中引用的开源项目： HuggingFace Transformers：https://github.com/huggingface/transformers Fairseq（S2T, Wav2Vec2 等）：https://github.com/facebookresearch/fairseq AVES（HuBERTcore）：https://github.com/earthspecies/aves Baby Vision（camSAY 模型）：https://github.com/eminorhan/baby-vision AST（Audio Spectrogram Transformer）：https://github.com/YuanGongND/ast VGGish：https://github.com/tensorflow/models/tree/master/research/audioset/vggish Brain-Score：https://github.com/brain-score/brain-score Librosa（音频分析）：https://github.com/librosa/librosa Silero VAD（语音活动检测）：https://github.com/snakers4/silero-vad pyannote.audio（说话人分类）：https://github.com/pyannote/pyannote-audio DNSMOS（语音质量评估）：https://github.com/microsoft/DNS-Challenge TencentGameMate Chinese Speech Pretrain：https://github.com/TencentGameMate/chinese_speech_pretrain 🏗️ 方法概述和架构 本文并非提出新的神经网络架构，而是一套系统的模型-脑对齐评估流水线，用于比较不同预训练范式下的听觉与视觉模型在预测人类fMRI反应上的性能。 ...

📄 Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas 7/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7/10 | 前50% | #强化学习 | arxiv 👥 作者与机构 第一作者：Yuxuan Li（清华大学）、Lingxi Xie（华为公司）（*同等贡献） 通讯作者：Lingxi Xie（华为公司）、Qi Tian（华为公司、广东省人工智能与数字经济实验室（深圳）） 作者列表：Yuxuan Li（清华大学）、Lingxi Xie（华为公司）、Xinyue Huo（华为公司）、Jihao Qiu（中国科学院大学）、Jiacheng Shao（华为公司）、Pengfei Chen（华为公司）、Jiannan Ge（华为公司）、Kaiwen Duan（华为公司）、Qi Tian（华为公司、广东省人工智能与数字经济实验室（深圳）） 💡 毒舌点评 本文为长剧集说话人识别这个复杂但略小众的任务贡献了大规模基准和基于推理LLM的Agent解决方案，工程框架和实验设计都比较完善。但光彩照人之处多在工程层面：核心方法本质上是已有模型和工具的熟练组合，虽通过GRPO让LLM学会了工具调度的时机，对“为何如此调度”的机理洞察却比较有限。此外，评价协议中对多说话人台词的处理颇为讨巧，这在一定程度上遮掩了模型在真实重叠语音中的根本短板，而且离线蒸馏数据的成本与可复现性问题也是隐忧。 📌 核心摘要 问题：长剧集说话人识别（SR）要求在数十到上百个角色构成的候选池中，为每句台词准确标注说话人身份。与标准说话人日志（SD）不同，此任务需融合听觉、视觉和语言线索，以应对短时语音特征不可靠、说话人不在画面中、高角色密度等复杂情况。 方法核心：首先基于声纹嵌入和“视觉锚点”假设（说话人会在台词时间戳附近出现），进行标签传播（Label Propagation）获得初始伪标签。然后训练一个基于Qwen3-8B的推理大模型（DramaSR-LRM），使其能在推理过程中自主调用三个工具——voice_sim（声纹相似度）、video_cap（层级化视频描述）、char_relation（角色关系图谱），进行多证据链式推理（CoT），最终输出修正后的说话人标注。 与已有方法的新颖之处：将长剧集说话人识别重新定义为Agent式的多工具推理任务，让模型学习在声学确定性低时主动寻求视觉和关系证据，而非仅做声学匹配。通过GRPO强化学习，模型在“何时信任何种证据”这个策略上得到了优化，这一点在极短台词上的显著提升中得到了体现。 主要实验结果：在自建的DramaSR-532K基准的11部测试剧集（428K句台词）上，DramaSR-LRM（带置信度采样）较标签传播基线实现绝对准确率提升2.30%（85.49% \(\rightarrow\) 87.79%）。尤其在极短台词（<0.5秒）上提升9.20%，在Lost剧集上提升5.16%。 实际意义：为长视频内容理解提供了可落地的高精度说话人标注工具，能直接改善下游视频摘要和QA任务的性能；DramaSR-532K基准本身也填补了该领域大规模评测资源的空白。 主要局限性：评价协议对多说话人台词处理过于乐观；训练高度依赖闭源大模型Gemini-3-Pro生成的CoT数据，可复现性存疑；方法依赖精确的字幕和时间戳，无法端到端处理原始音频；视觉锚点假设限制了其对全程画外音旁白的识别能力。 🔗 开源详情 代码：链接为 https://www.github.com/198808xc/DramaSR-LRM，但目前为无效占位符，无代码。 模型权重：论文中未提及会发布模型权重。 数据集：DramaSR-532K声称将公开，但未提供独立的获取链接或托管平台。 Demo：论文中未提及。 复现材料：论文中未提及。 论文提及的开源项目（未提供直接链接）：ERes2Net, pyannote, Qwen系列模型, vLLM, CLIP, PaddleOCR, InsightFace, 3D-Speaker toolkit, BAAI bge等。 🏗️ 方法概述和架构 本论文提出DramaSR-LRM，这是一个基于大推理模型的多阶段说话人识别Agent系统。其整体流程分为两个宏观阶段：初始化阶段（标签传播）和迭代精炼阶段（LRM推理）。 ...

📄 ReGen: Hierarchical Multi-Prompt Representation Generation for Efficient Waveform Diffusion Models #语音编码 #语音合成 8/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8/10 | 前25% | #语音编码 | #流匹配 | #语音合成 | arxiv 👥 作者与机构 第一作者：Sang-Hoon Lee（Ajou University, Department of Artificial Intelligence） 通讯作者：Sang-Hoon Lee（Ajou University, Department of Artificial Intelligence） 第二作者：Ha-Yeong Choi（KT Corp., Seoul, Korea） 💡 毒舌点评 本文将火爆的表示对齐（REPA）升级为层次化多提示表示生成，配合自己捣鼓的“广义流匹配（GFM）”，在12.5Hz极低维度下重建出可懂语音，胆识过人不假。但GFM只是GED的简单速度场移植，理论深度存疑；排斥项的超参搜索如同开盲盒，且对比基线全倾向GAN编解码器，与同宗同源的纯扩散基线（如FlowDec）连个照面都没打。代码和权重还锁在保险柜里，评审能给的信任额度实在有限。 ...

📄 REST: Diffusion-based Real-time End-to-end Streaming Talking Head Generation via ID-Context Caching and Asynchronous Streaming Distillation #音视频生成 #扩散模型 #知识蒸馏 7.3/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.7/1 | 影响 1.1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.3/10 | 前50% | #音视频生成 | #扩散模型 | #知识蒸馏 | arxiv 👥 作者与机构 第一作者：Haotian Wang（中国科学技术大学） 共同第一作者：Yuzhe Weng（中国科学技术大学） 通讯作者：Jun Du（中国科学技术大学） 作者列表：Haotian Wang (中国科学技术大学), Yuzhe Weng (中国科学技术大学), Jun Du (中国科学技术大学), Haoran Xu (iFLYTEK), Xiaoyan Wu (iFLYTEK), Shan He (iFLYTEK), Bing Yin (iFLYTEK), Cong Liu (iFLYTEK), Qingfeng Liu (中国科学技术大学/iFLYTEK，机构标注为双隶属） 💡 毒舌点评 这篇论文是diffusion-based talking head领域一次扎实的系统工程突破，首次在单卡上实现了端到端扩散模型的实时流式生成。ID-Context Cache将KV缓存思想优雅地适配到扩散Transformer的半自回归场景中，而异步流式蒸馏（ASD）策略通过信息论对比和运动平滑约束，有效缓解了流式生成固有的误差累积问题，实验效果确实亮眼。然而，冷静审视后不难发现，其对语音/音频领域本身的贡献相当有限——SpeechAE基本承袭READ架构，核心驱动力来自Whisper特征，并未在声学建模或音频表征层面提出新见解。净输入/输出的思维来看，论文解决的核心问题（实时性、流式）和采用的关键技术（Cache、蒸馏、高压缩VAE）均是视频生成和多模态社区的经典思想，其对语音/音频研究者的方法论启发远小于对视觉生成社区的工程示范。此外，完全不开源、不提供模型权重或在线demo，在当前顶会语境下显得诚意不足，39页附录中的细节虽多，但仍不足以弥补复现门槛极高的缺陷。 ...

📄 Rethinking Attention in Spiking Transformers: Overcoming Density Bias with Set Similarity #音频分类 #Transformer 3.6/10 | 创新 0.8/2 | 严谨 0.6/1.5 | 实验 0.5/1.5 | 清晰 0.6/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 📝 3.6/10 | 后50% | #音频分类 | #Transformer | arxiv 👥 作者与机构 第一作者：JinGyo Lim（首尔科学技术大学人工智能应用系） 通讯作者：Seong-Eun Kim（首尔科学技术大学人工智能应用系） 作者列表：JinGyo Lim、Seung Gyu Jeong、Seong-Eun Kim（均来自首尔科学技术大学人工智能应用系） 💡 毒舌点评 这篇论文的Dice系数归一化思路简洁有效，用一个集合相似度指标解决了SNN-Transformer中长期被忽视的脉冲密度偏差问题——这是论文的唯一亮点。但令人失望的是，研究者在证明这一想法的有效性上投入不足，实验设计存在多处理论与实证断裂：能量估算基于十年前的45nm工艺，对现代神经形态硬件毫无参考价值；与音频SOTA（DTF-AT 0.187 mAP）的差距（-2.6个点）在不同汇报范式和训练设置下无法公平比较，却仍然声称“narrowing the gap”；CIFAR-100上的微弱提升（+0.59pp/+0.26pp）仅有两个模型实验，既无统计检验也无ImageNet验证，远不足以声称“broader applicability”。在缺乏代码、模型和硬件验证的现状下，这是一篇有闪光想法但工程和科学严谨性均未达标的半成品。 📌 核心摘要 该论文针对脉冲Transformer中普遍存在的“密度偏差”问题——即现有脉冲注意力机制（点积或哈达玛积）的得分与脉冲发放率高度相关，导致高发放率神经元即使不含语义信息也能支配注意力。作者提出Spike Dice Attention (SDA)，将集合相似度指标（Dice系数）引入脉冲注意力，通过对脉冲计数的显式归一化消除密度偏差。论文进一步设计了音频专用的频率-时间解耦架构（SADA），并提出了线性化版本Lin-SDA以适配神经形态硬件。 ...

📄 Robust Signal Enhancement via Fractional Detail Views and Knowledge Guided Multi-view Fusion #语音增强 5.7/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.5/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 📝 5.7/10 | 前50% | #语音增强 | #CNN | arxiv 👥 作者与机构 第一作者：Zikun Jin（山西大学 大数据科学与产业研究院、山西省演化科学智能重点实验室） 通讯作者：Yuhua Qian（山西大学 大数据科学与产业研究院、山西省演化科学智能重点实验室、山西大学 人工智能学院），邮箱 jinchengqyh@126.com 作者列表：Zikun Jin, Yuhua Qian, Xinyan Liang, Jiaqian Zhang, Haijun Geng（山西大学 自动化与软件学院） 💡 毒舌点评 这篇论文的工程洞察力值得肯定：分数阶距离衰减卷积和Wiener先验引导的融合策略是务实的组合，在-20dB电磁信号上30+dB的提升确实吸睛。但整体看下来，这是一篇典型的"工程扎实、理论包装过度"的论文。正文中大量篇幅用于推导O(1/M)逼近、Lipschitz连续性等命题，但这些"理论保证"与"为什么FracConv在低SNR下比标准卷积好"这一核心问题之间存在明显的逻辑断层——作者从未解释无约束卷积是否不具备这些稳定性性质，也未证明FracConv引入的归纳偏置为何更适合处理噪声-信号耦合。更严重的是，第7页出现了大段不可解析的乱码（疑似PDF提取错误），导致实验最关键的讨论和结论部分（第5.1节末尾至5.5节开头）信息完全丢失，这对于顶会投稿是不可接受的写作事故。此外，VoiceBank基准比较中直接引用不同底层的论文数据而非统一重跑，使得2.0M模型压倒65.6M扩散模型的SOTA声明打了折扣。 ...

📄 SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos #音视频生成 #流匹配 #扩散模型 #对比学习 #长音频处理 7.6/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | #音视频生成 | #流匹配 | #扩散模型 #对比学习 | arxiv 👥 作者与机构 第一作者：Amir Dellali（ETH Zurich） 通讯作者：Amir Dellali（ETH Zurich）、Luca A. Lanzendörfer（ETH Zurich）、Florian Grötschla（ETH Zurich）、Roger Wattenhofer（ETH Zurich） 作者列表：Amir Dellali（ETH Zurich）、Luca A. Lanzendörfer（ETH Zurich）、Florian Grötschla（ETH Zurich）、Roger Wattenhofer（ETH Zurich） 💡 毒舌点评 该工作将 Shortcut 模型和掩码流匹配巧妙地嫁接到视频到音频生成，实现了少步采样和长音频扩展，实验中同步指标和人类偏好均有明显优势，实用性较强。但核心方法多为已有技术的组合，对比学习同步模型与 Shortcut 损失的创新增量有限，且未开源代码与模型，削弱了其学术推动力。 ...