多模态模型

共分析 137 篇 ICML 2026 论文

Apertus 1.5 用继续预训练把 Apertus 1.0 扩展为能读图像和音频、上下文到 262144 词元并带可选思考模式的完全开放模型，最强证据是 8B 思考模式把 MATH-500 从 51.2 提高到 71.4，代价是图像细节重建变粗、音频能力仍落后同规模音频模型且长上下文需专门恢复。

论文针对全模态大模型的答案可信度问题，用外部全模态编码器把输入和思维链映射到同一空间算贴合与连贯，再给多数投票加权，在 UNO-Bench 上随生成器和模态小幅改善且在开放式全模态问答上相对最稳，代价是需要辅助切分和少量标注校准。

MiMo-V2.6 针对长 horizon 智能体任务奖励粗糙、环境单一和训练不稳的问题，用每步 1568 组提示的大批量异步训练、多领域多线束环境与分组智能体打分来扩展强化学习，并在 DeepSWE 等榜单上随算力持续提升，代价是数百万美元量级的 rollout、训练与打分开销和百万 token 上下文的工程复杂度。

论文发现视觉等多模态大模型合并可提升音频与视频模型的本模态成绩，提出只用 256 个校准样本求闭式权重更新的方向性跨模态对齐迁移方法，在音频平均提升 29.55%、视频平均提升 24.92%，代价是视觉端性能可能受损且结论限于共享基座的权重可合并结构。

针对多模态情绪冲突、缺显式表达指导与文本误差向后传播问题，EmAvatar 用多视角并行感知加多轮问答裁决做情绪识别，再用合成脚本加迭代精修指导音视频合成，在 AvaMERG 四任务上报告了可核对的提升，代价是情绪识别阶段约十秒级额外推理开销。

针对答案监督学不到局部音画配对的问题，SyncRA 用原生时间区间在同一视频内做对称 InfoNCE 中间层对齐，在四种骨干与二十组基准上一致超过答案微调，代价是依赖区间划分与训练期投影头。

CUE-Mem 用显式与隐式对照的多会话文本图像音频历史检验长期用户记忆，显示隐式线索的保存与检索是主要瓶颈，而细化文本化与原生多模态接入只能部分缓解且带来代价。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对开放词汇情绪推理中全局音频编码丢失话语内微韵律的问题，AcoustEmo 用时间戳同步滑动窗口加话语感知声学 Q-Former 提取片段级声学 token，在 EMER-Fine 上取得平均 67.55 分的最佳可运行结果，代价是依赖转写时间戳且需同时保留全局分支。

针对音视频分路处理导致时间与语义错位的问题，该工作用帧级旋转位置编码加频率注入、跨帧块差异注意力与时间对齐跨模态注意力做对齐，在 AVSD 上报告 50.30% 准确率，但长视频描述性指标仍偏低且训练仅 1 轮。

该研究把漫画页图像先做版面与说话人理解再做提示语音合成，用约 700 页客观对比选定 v2 管线，并以 40 页 150 人主观评价显示自动管线约 2.5 分与人工校正相当但明显低于真人演绎约 4.0 分。

该研究在 AMI 四人会议上统一比较受话人检测、话轮保持与转换预测、下位发言人预测三任务，显示文本大模型靠长上下文在下位发言人预测上超过人和受监督模型，而包含 Gemini 2.5 Pro 在内的多模态大模型在受话人与话轮转换上仍低于人，代价是对原始音视频利用不足且上下文过长时推理负担上升。

针对直接从语音推断信念状态时整状态重写输出长、易误改未变槽位的问题，该文用 Qwen2.5-Omni-7B 只生成转写加符号化编辑操作并以 GRPO 优化生成级奖励，在 SpokenWOZ 预测模式下达到 49.20 联合目标准确率，代价是依赖上一轮预测状态因而误差会跨轮传播且 GRPO 采样训练成本明显更高。

针对通用多模态只学语义对齐而缺物理量监督的问题，OmniFysics-Nano-V2 用静态属性 grounding 与动态视听事件对齐的双分支数据加两阶段 GRPO，在 21 项中 17 项领先同类全模态模型，代价是依赖商用大模型标注与多阶段训练流程。

论文把文本图像视频音频放进同一个共享主干做任意到任意检索，用四阶段对比训练与同源采样和蒸馏优化，在 MMEB-v3 等基准上取得领先，但多条件文本与记忆检索仍有短板且低维压缩在细粒度任务上损失更大。

针对长视频音频问答中 GRPO 样本浪费、组内奖励相同导致优势为零、全序列平均授信的问题，AVATAR 用分层回放加离线修正与首尾抛物线加权做强化学习，在 Qwen2.5-Omni 上取得 MMVU 加 5.4 等增益，代价是四阶段课程与多奖励判断器带来的训练复杂度。

该研究针对真实世界音视频伪造超越人脸、混用编辑与合成的问题，构建含 3000 片段与 12000 问答的 AVFakeBench 并评测 11 个音视频大模型与 2 个专用检测器，报告显示大模型在二分类上更稳但在细粒度分类与解释上大幅下滑且存在视觉偏向与编辑盲区。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

针对声源定位中特征匹配缺少显式验证的问题，该研究用 Qwen2.5-Omni-7B 的提示工程实现生成-分析-精修三阶段零样本定位，在 MUSIC 与 VGGSound 单源和双源基准上报告了可比或更高的精度，代价是单样本约 4 秒的多轮推理开销。