多模态模型

针对全模态理解可绕过模态与跨模态多跳推理路径失衡的问题，OMHBench 用表格三元组加三跳规则与六路模态置换构造 6144 题并报告专有模型仍对语音在后路径大幅掉点而高级提示无一致增益。

针对图像视频音频的理解与生成六类任务，OmniHallu 用原子断言拆分加模态专家验证再推理聚合做声明级检测，在 10000 样本基准上以宏平均 F1 领先基线并用可训练验证器把专家调用减少约三分之二。

针对非口语与极少口语自闭症个体的多标签沟通理解问题，论文用教师模型按照护者标注生成动作与功能描述并微调开源学生模型，在动作与功能分类上接近闭源教师模型，但绝对准确率仍不高且依赖小规模特定综合征队列。

论文研究只加音频扰动能否无目标破坏音频视频语言模型的问答，方法是固定视频与文本并用六种损失学习一段可复用的共享扰动，最强证据是组合损失在 AVQA 上达到 96.03% 攻击成功率，代价是跨模型与跨声学域迁移很弱且物理混响下部分目标明显衰减。

论文把同时语音翻译拆成停顿切分与离线多模态大模型增量翻译，用等待块数与每轮生成上限控制延迟，在开发集上以五折交叉验证显示优于级联基线，但大模型推理开销与误差累积仍是代价。

针对全模态模型易复述可见幻灯片文字而忽略语音的问题，论文提出先在思考块中识别幻灯片文字再在回答块中引用锚定转写，并用四项奖励做组相对策略优化，在实体密集基准上改善实体识别，同时带来思考块的额外推理开销。

针对音视频大模型推理时 KV 缓存过大问题，AccKV 按层自适应聚焦关键模态并先模态内合并再跨模态校准，在 MVBench 与 AVSD 上用 10% 缓存与 120 词元预算维持接近全缓存精度，但未测量延迟与吞吐提升。

针对多模态大模型在以人为中心场景中感知尚可但理解与回应不足的问题，论文用 3882 道真人记录选择题建四层基准并以多阶段全模态强化学习做推理模型，最强证据是人类 87.5% 领先最优模型 29.7 个百分点，而代价是长上下文推理仍是瓶颈且音频任务覆盖不全。

该综述把视频大模型开销定位到帧选择、编码器、连接器压缩与大模型预填充解码四段，显示约 25 % 视觉 token 保留下多类方法接近基线精度，而推到约 10 % 保留与流式内存时必须显式建模时间冗余并计入选择器与编码代价。

针对全模态大模型中音频视觉联合预测不可靠融合的问题，论文提出免训练的冲突感知解码 CAD，用潜在冲突量与任务空间可干预性决定是否把联合分支权重转给单模态分支，在 Qwen2.5-Omni-7B 上把 CMM 整体准确率提到 85.0% 与 AVHBench 提到 84.1%，代价是每步要跑四个分支并依赖人工阈值。

针对噪声混响多人交叠耦合且需求因人而异的问题，StrixAE 用多模态大模型做控制器调度专家工具链，经 AcoustBench 思维链微调与音频感知强化学习后，在真实盲测多项感知指标上超过多数开源基线，但感知质量优化仍慢且依赖外部工具。

针对一段音频里同时含真实与伪造、跨时间与跨声源的混合真实性检测，ToolDF 用音频大模型做编排器按结构调用分离与四个领域专家并执行早失败汇总，在复合类型上取得最高的 C-Avg. 81.89，代价是依赖外部工具的可靠性。

共分析 30 篇语音/AI 论文

音频理解 | 6.4/10

语音识别 | 7.6/10

音视频理解 | 6.3/10

语音情感识别 | 4.9/10

音视频生成 | 7.5/10

共分析 18 篇语音/AI 论文

多模态模型 | 8.3/10