多模态模型

针对多模态大模型在以人为中心场景中感知尚可但理解与回应不足的问题，论文用 3882 道真人记录选择题建四层基准并以多阶段全模态强化学习做推理模型，最强证据是人类 87.5% 领先最优模型 29.7 个百分点，而代价是长上下文推理仍是瓶颈且音频任务覆盖不全。

该综述把视频大模型开销定位到帧选择、编码器、连接器压缩与大模型预填充解码四段，显示约 25 % 视觉 token 保留下多类方法接近基线精度，而推到约 10 % 保留与流式内存时必须显式建模时间冗余并计入选择器与编码代价。

针对全模态大模型中音频视觉联合预测不可靠融合的问题，论文提出免训练的冲突感知解码 CAD，用潜在冲突量与任务空间可干预性决定是否把联合分支权重转给单模态分支，在 Qwen2.5-Omni-7B 上把 CMM 整体准确率提到 85.0% 与 AVHBench 提到 84.1%，代价是每步要跑四个分支并依赖人工阈值。

针对噪声混响多人交叠耦合且需求因人而异的问题，StrixAE 用多模态大模型做控制器调度专家工具链，经 AcoustBench 思维链微调与音频感知强化学习后，在真实盲测多项感知指标上超过多数开源基线，但感知质量优化仍慢且依赖外部工具。

针对一段音频里同时含真实与伪造、跨时间与跨声源的混合真实性检测，ToolDF 用音频大模型做编排器按结构调用分离与四个领域专家并执行早失败汇总，在复合类型上取得最高的 C-Avg. 81.89，代价是依赖外部工具的可靠性。

共分析 30 篇语音/AI 论文

音频理解 | 6.4/10

语音识别 | 7.6/10

音视频理解 | 6.3/10

语音情感识别 | 4.9/10

音视频生成 | 7.5/10

共分析 18 篇语音/AI 论文

多模态模型 | 8.3/10

语音情感识别 | 6.0/10

多模态模型 | 5.1/10

音视频生成 | 7.2/10

音频分类 | 7.8/10

共分析 23 篇语音/AI 论文

语音识别 | 8.1/10

音视频理解 | 6.0/10