基准设计

论文针对多模态大模型缺乏统一计数评测的问题，构建覆盖图像文本音频与三级能力三级难度的问答式基准并用固定提示与解析做 45 个模型的标准化评测，最强证据是基础感知尚可但推理与高密度长尾误差显著增大，代价是闭源接口与长上下文带来的评测成本与覆盖偏差。

UniM 面向任意组合交错输入输出的理解与生成任务，用 31026 个多任务实例与语义质量、结构完整、交错连贯三维评估检验模型，报告显示现有任意到任意模型得分偏低，而带可追溯推理的智能体基线 UNIMA 更高但仍不完备。

针对带同步音频的视频生成缺乏联合评测的问题，VABench 用文本到声画、图像到声画与立体声三类任务和专家加多模态大模型的十五维评估组织测试，报告显示端到端音视频模型在对齐与细粒度问答上占优而语义同步真实感难以兼得，且立体声空间分离均不可靠。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

AEQ-Bench 用 1,885 个音频加文本实例把共情拆成生成回应与判断回应 2 类任务，用相同话语换语境和相同语境换语调 2 种对照进行测试，报告显示带音频输出的模型在自然度与语音表达上占优，而细粒度韵律自动评估仍不可靠，代价是依赖人工核验与粗粒度量表。

论文用 15 种非洲语言、约 7.5k 对图文加母语录音的平行问答测文化理解，最强闭源模型文本选择题仅 78% 而开放问答仅 38%，开源模型在母语语音开放问答上近零分且语音识别与语种识别先失灵。

该工作以音频为唯一证据检验蕴含、一致、合理、口音漂移与口音克制五类推理，报告显示生成式模型优于对比式模型但普遍过度蕴含，而转写加推理的级联系统在医疗蕴含上取得更高宏平均 F1 并伴随明显的模型偏向代价。

针对方言阿拉伯语数据分散与标注不一致问题，Arab Voices 用统一转写与元数据对齐 31 个数据集并以方言度与音频质量代理做可比刻画，在 14 个方言零样本评测中显示现代模型仍困难而多模态大模型相对更稳，代价是音频质量代理与人感并不完全一致且部分低资源方言仍缺乏数据。

针对大音频语言模型越狱评测只做文本转语音的问题，该工作先建 1495 条 10 类音频基线集，再用语义一致约束加贝叶斯优化组合时域频域混合扰动生成更强攻击，并在 7 个模型上报告攻击成功率等五项指标显示微小保义扰动仍显著降低安全性，同时以严格拒绝换可用性为代价。

该研究把多轮语音交互拆成记忆、指令、一致性和语音改口四个轴，用 452 段无脚本真人录音和 1712 条原子细则做固定上下文评测，报告最高模型仅 54.65% 通过率且语音改口最难，同时付出长音频一致性下降与声音线索记忆明显弱于语义记忆的代价。

该文用每幕重采样的九任务诊断音频任务学习，显示最强模型在非语音模式绑定上可学、但在时长测量与多规则组合上崩溃，而代价是人工构造任务与小样本精确匹配评估的生态距离。

针对音频问答依赖短线索和文本捷径的问题，AUDITA 用 9690 个人类撰写的真实音频 trivia 题加项目反应理论分析，显示人类自由作答 32.13% 而模型平均仅 8.86%，代价是题源偏英语 trivia 且人类基线为非专家抽样而非能力上限。

该研究在 2000 句共享英语-约鲁巴语码切换集上对比 6 个专用语音识别系统与 5 个音频语言模型，报告 Parakeet 与 Kimi-Audio 总词错率几乎相同但后者在切换边界显著更好，代价是约鲁巴语词错误普遍超过 97% 且生成式模型存在提示依赖的过度生成。

BoYaEval 用 3175 张原貌古谱图像把考题分成认符号、译指法、推旋律三层，报告显示 21 个主流多模态大模型在基础识别尚可但在旋律推理仅约 27% 到 30%，而把示例从零增至多示例也不能打通跨谱式推理瓶颈。

论文用固定文字、只改声音的合成对照测音频语言模型能否把可听症状用于分诊，最强证据是高风险声音配安心文字时多数模型仍跟文字走，而代价是大量平局与无效输出且声学敏感度随疾病和模型剧烈波动。

针对长语音与对话生成的评测缺口，该工作构建 1101 样本、17 场景的 SwanBench-Speech 并提出 7 个解耦指标，用人类一致性验证支撑其发现的混响一致性与表现力层次短板，但高表现力场景与多说话人声场统一仍代价明显。

该挑战用阻尼 Kirchhoff-Love 板仿真器生成全部脉冲响应，要求从波形倒推 6 个物理量或数千个模态三元组，结果是任务 A 可用大样本网络或大量正演搜索做到机器精度而任务 B 连模态增益都难以逐个恢复且频域复评会改变排名。

针对纯文本盈利预测依赖商业数据的问题，该研究构造 2688 场带逐词转录、全程音频和幻灯片的多模态基准并评测 26 个模型，最强证据是高准确率多为类别不平衡造成的假象而多模态增益有限，代价是长文本截断、采样幻灯片与类别严重偏斜。

论文用真实法语对话构造 CALLFC-FDB 与 MEDIA-FDB 并复用 FDB v1.0 四类任务，显示基于语音活动的计时指标跨语言基本稳定，而用户打断评分等内容指标在语言失配时明显下降，人-人对话则说明一味优化指标会损失自然度。