多模态模型

针对音视频大模型中一个模态错误污染另一模态描述的跨模态幻觉，MAD 用免训练的两步流程先让模型自评问题需要音频、视频还是两者，再用权重调节四路对比解码，在 CMM 和 AVHBench 上提升 VideoLLaMA2-AV 与 Qwen2.5-Omni 的准确率，代价是每步需计算多组 logits 且依赖模型自身判断的可靠性。

针对全模态大模型把一模态线索误用到另一模态提问以及过度依赖文本先验的问题，论文提出在偏好优化中加入不相关模态不变与相关模态敏感两项解耦约束并叠加纯文本惩罚，用自动构造的约 1.8 万偏好样本训练，在幻觉基准上报告最高约 27% 的匹配任务提升，而代价是每步增加无需梯度的损坏输入前向与四分之一轮数的训练预算控制。

TriDF 针对以人为中心的伪造提出可解释检测基准，用细粒度伪影感知、真假判定与解释幻觉三维评估多模态大模型，报告显示语义伪影最难且幻觉会切断感知到判定的链路。

UniM 面向任意组合交错输入输出的理解与生成任务，用 31026 个多任务实例与语义质量、结构完整、交错连贯三维评估检验模型，报告显示现有任意到任意模型得分偏低，而带可追溯推理的智能体基线 UNIMA 更高但仍不完备。

MoshiVis 冻结 Moshi 语音主干与 PaliGemma 图像编码器，只训练约 206M 门控交叉注意力适配层，并用无声图文加少量语音的单阶段混合训练实现看图对话，最强证据是语音提问下 OCR-VQA 与 VQAv2 接近微调 PaliGemma 而 L4 上每步只增加约 7 ms，代价是纯无声训练会破坏语音质量且长无关上下文仍会干扰切换。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对音频与文本交替出现的多轮上下文检索，论文构造统一 ATIR 基准并训练带音频令牌选择器的双编码器 ATIR-Qwen-3B，报告平均 78.86% Recall@1 和 85.09% nDCG@5，最强对照下仍保留打乱交织结构即下降的反证，代价是两阶段微调与选择器阈值调节。

针对全模态情感推理中模型过度依赖视觉而忽视声音与文本的模态坍缩问题，该工作用带引导词的结构化推理数据做冷启动，再用基于引导词熵的奖励做强化学习校准模态使用，在四个情感基准上取得多项最优并保留通用能力，代价是对极端长尾类别与强模态冲突仍敏感。

论文把音频章节切分从句子序列搬到时间轴上，对比文本加声学特征、纯音频 AudioSeg 与多模态大模型，报告 AudioSeg 在 YTSeg 上显著领先而停顿是最有效的手工特征，同时揭示长音频与多说话人下的衰减与评估不可比问题。

BoYaEval 用 3175 张原貌古谱图像把考题分成认符号、译指法、推旋律三层，报告显示 21 个主流多模态大模型在基础识别尚可但在旋律推理仅约 27% 到 30%，而把示例从零增至多示例也不能打通跨谱式推理瓶颈。

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

论文用配对文本图像音频乘法题证明感知近乎完美但计算随算术负载 C 急剧失效，并用强制续写损失探针与 LoRA 正交性揭示模型偏好分配式分解而强加单一启发式反而破坏原有路由。

针对全模态理解可绕过模态与跨模态多跳推理路径失衡的问题，OMHBench 用表格三元组加三跳规则与六路模态置换构造 6144 题并报告专有模型仍对语音在后路径大幅掉点而高级提示无一致增益。

针对图像视频音频的理解与生成六类任务，OmniHallu 用原子断言拆分加模态专家验证再推理聚合做声明级检测，在 10000 样本基准上以宏平均 F1 领先基线并用可训练验证器把专家调用减少约三分之二。

针对非口语与极少口语自闭症个体的多标签沟通理解问题，论文用教师模型按照护者标注生成动作与功能描述并微调开源学生模型，在动作与功能分类上接近闭源教师模型，但绝对准确率仍不高且依赖小规模特定综合征队列。

论文研究只加音频扰动能否无目标破坏音频视频语言模型的问答，方法是固定视频与文本并用六种损失学习一段可复用的共享扰动，最强证据是组合损失在 AVQA 上达到 96.03% 攻击成功率，代价是跨模型与跨声学域迁移很弱且物理混响下部分目标明显衰减。

论文把同时语音翻译拆成停顿切分与离线多模态大模型增量翻译，用等待块数与每轮生成上限控制延迟，在开发集上以五折交叉验证显示优于级联基线，但大模型推理开销与误差累积仍是代价。

针对全模态模型易复述可见幻灯片文字而忽略语音的问题，论文提出先在思考块中识别幻灯片文字再在回答块中引用锚定转写，并用四项奖励做组相对策略优化，在实体密集基准上改善实体识别，同时带来思考块的额外推理开销。

针对音视频大模型推理时 KV 缓存过大问题，AccKV 按层自适应聚焦关键模态并先模态内合并再跨模态校准，在 MVBench 与 AVSD 上用 10% 缓存与 120 词元预算维持接近全缓存精度，但未测量延迟与吞吐提升。