多模态模型

共分析 137 篇 ICML 2026 论文

论文固定模型与提示只改变视频输入方式，发现没有一种输入在六个模型与三批视频上都最好，分类更准也不保证回归系数与样本占比更接近人工标注。

针对藏在图像音频视频中的间接注入，ERASE 用抹掉注入区域后的视图做教师进行在轨自蒸馏，在评测基准上把攻击成功压到接近零，同时把被攻击输入的任务准确率拉回到接近无防御干净输入的水平，但结论只在非自适应注入和区域可分离的条件下成立。

针对问句需要一个模态、融合表示却被另一模态带偏的跨模态幻觉，OWP 用冻结模型的四个视角找出目标与竞争来源，再做正交分解与自适应再平衡，在 Qwen2.5-Omni-7B 上把 CMM 做到 86.1% 而平均延迟约为基座 1.71 倍。

论文比较直接优化单个全模态大模型指令与优化字幕推理和智能体子智能体两类显式文本接口的效果，发现只有直接优化 Gemini 指令带来稳定提升，而更易看懂的中间接口反而更难优化且伴随信息损失与证据冲突的代价。

本文用形成与表示、管理层级两条轴线梳理多模态记忆，297 个架构与 82 个评测的证据显示动态更新已成主流而策略自演化仍稀少，代价是跨表示一致性与可验证性变难。

Apertus 1.5 用继续预训练把 Apertus 1.0 扩展为能读图像和音频、上下文到 262144 词元并带可选思考模式的完全开放模型，最强证据是 8B 思考模式把 MATH-500 从 51.2 提高到 71.4，代价是图像细节重建变粗、音频能力仍落后同规模音频模型且长上下文需专门恢复。

论文针对全模态大模型的答案可信度问题，用外部全模态编码器把输入和思维链映射到同一空间算贴合与连贯，再给多数投票加权，在 UNO-Bench 上随生成器和模态小幅改善且在开放式全模态问答上相对最稳，代价是需要辅助切分和少量标注校准。

MiMo-V2.6 针对长 horizon 智能体任务奖励粗糙、环境单一和训练不稳的问题，用每步 1568 组提示的大批量异步训练、多领域多线束环境与分组智能体打分来扩展强化学习，并在 DeepSWE 等榜单上随算力持续提升，代价是数百万美元量级的 rollout、训练与打分开销和百万 token 上下文的工程复杂度。

论文发现视觉等多模态大模型合并可提升音频与视频模型的本模态成绩，提出只用 256 个校准样本求闭式权重更新的方向性跨模态对齐迁移方法，在音频平均提升 29.55%、视频平均提升 24.92%，代价是视觉端性能可能受损且结论限于共享基座的权重可合并结构。

针对多模态情绪冲突、缺显式表达指导与文本误差向后传播问题，EmAvatar 用多视角并行感知加多轮问答裁决做情绪识别，再用合成脚本加迭代精修指导音视频合成，在 AvaMERG 四任务上报告了可核对的提升，代价是情绪识别阶段约十秒级额外推理开销。

针对答案监督学不到局部音画配对的问题，SyncRA 用原生时间区间在同一视频内做对称 InfoNCE 中间层对齐，在四种骨干与二十组基准上一致超过答案微调，代价是依赖区间划分与训练期投影头。

CUE-Mem 用显式与隐式对照的多会话文本图像音频历史检验长期用户记忆，显示隐式线索的保存与检索是主要瓶颈，而细化文本化与原生多模态接入只能部分缓解且带来代价。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对开放词汇情绪推理中全局音频编码丢失话语内微韵律的问题，AcoustEmo 用时间戳同步滑动窗口加话语感知声学 Q-Former 提取片段级声学 token，在 EMER-Fine 上取得平均 67.55 分的最佳可运行结果，代价是依赖转写时间戳且需同时保留全局分支。

针对音视频分路处理导致时间与语义错位的问题，该工作用帧级旋转位置编码加频率注入、跨帧块差异注意力与时间对齐跨模态注意力做对齐，在 AVSD 上报告 50.30% 准确率，但长视频描述性指标仍偏低且训练仅 1 轮。

该研究把漫画页图像先做版面与说话人理解再做提示语音合成，用约 700 页客观对比选定 v2 管线，并以 40 页 150 人主观评价显示自动管线约 2.5 分与人工校正相当但明显低于真人演绎约 4.0 分。

该研究在 AMI 四人会议上统一比较受话人检测、话轮保持与转换预测、下位发言人预测三任务，显示文本大模型靠长上下文在下位发言人预测上超过人和受监督模型，而包含 Gemini 2.5 Pro 在内的多模态大模型在受话人与话轮转换上仍低于人，代价是对原始音视频利用不足且上下文过长时推理负担上升。

针对直接从语音推断信念状态时整状态重写输出长、易误改未变槽位的问题，该文用 Qwen2.5-Omni-7B 只生成转写加符号化编辑操作并以 GRPO 优化生成级奖励，在 SpokenWOZ 预测模式下达到 49.20 联合目标准确率，代价是依赖上一轮预测状态因而误差会跨轮传播且 GRPO 采样训练成本明显更高。

针对通用多模态只学语义对齐而缺物理量监督的问题，OmniFysics-Nano-V2 用静态属性 grounding 与动态视听事件对齐的双分支数据加两阶段 GRPO，在 21 项中 17 项领先同类全模态模型，代价是依赖商用大模型标注与多阶段训练流程。