基准测试

针对视频生音频中多事件时间不可控与画面线索不足的问题，FoleyDirector 用 1 秒一段的结构化时间脚本加适配器做细粒度时间控制，在 DirectorBench 上把总体 F1 从 0.2451 提升到 0.4819，代价是需要逐段脚本标注与双路推理。

论文针对音频视觉评测偏重单轮感知的问题，提出感知—推理—交互三层基准并区分指令与上下文两种音频角色，用 2451 个样本和多轮任务图揭示语音指令推理弱于文本指令且交互成功率普遍偏低，代价是构造依赖人工标注而交互判定依赖大模型裁判。

论文针对视频多模态大模型看人不细的问题，用两条自动标注与组装干扰项的流水线合成 16 个细粒度选择题，并在 30 个模型与人类基线上显示情绪与声画对齐仍远落后于人，且开放流水线把人工从出题转为验题。

针对社交媒体多模态伪造分散评测的问题，论文构建覆盖图像、音频、视频与音视频讲话头的统一基准并提出课程微调加统一奖励强化的 Omni-Fake-R1，最强证据来自严格不相交的 OOD 划分与联合评测，而代价是渐进式训练流程更长且定位精度仍受篡改细粒度限制。

该工作针对统一视频文本到音频生成中音频歧义导致的数据语义冲突与跨任务和任务内竞争，用高对齐的 SoundAtlas 数据做语义桥并以三阶段渐进训练解耦竞争，在 VGGSound-Omni 上实现三任务统一最优，但强依赖数据流水线质量与分阶段训练成本。

针对视频配音只做可见环境声、做不了语音与画外声共存的问题，OmniSonic 用视频加文本联合条件的流匹配扩散与三路交叉注意力加门控融合，在自建的三场景基准上同时生成语音与环境声，主观与客观指标报告全面领先，但时间同步仍弱于带细粒度同步视觉特征的基线。

以同一 SPICE 梯子电路为基准，用谐波、自振荡与大信号截止点偏移三类可复述测量，比较五种数字实现并在公共核心上做饱和器与位置消融，最强证据是分布式 1+4 级实现聚在频谱误差 0.04% 至 0.10% 而边界饱和的 JUCE 达 0.65%，代价是只覆盖静态与准静态条件且未做听感与硬件验证。

该研究在苹果 M3 上对比 BNNSGraph 等推理后端处理 LSTM、TCN、WaveNet 吉他音色模型的速度，核心证据是孤立实时系数很好但在真实混音回调下尾延迟爆表，而代价是平台绑定与状态实现差异需要逐项核对。

Soul 针对单帧人物图加文本加音频的人体动画任务，在 Wan2.2-5B 上新增音频注意力并用关键帧表示、段间重叠与阈值码本维持长时一致，再用步数蒸馏与轻量 VAE 加速，在 Soul-Bench 的开源对比与商用人评中取得优势，代价是复杂全身大动作仍可能出现伪影。

论文针对语音内容与视频画面的语义和时间对齐问题，构造 2405 个问答的 SVHalluc 基准并测试多款音视频大模型，最强证据是 Gemini-2.5-Pro 在全局语义对齐上达到 93.10% 而多数开源模型徘徊在 50% 附近，代价是开源模型跨模态绑定能力仍接近随机且需额外的人工核验构造流程。

UniM 面向任意组合交错输入输出的理解与生成任务，用 31026 个多任务实例与语义质量、结构完整、交错连贯三维评估检验模型，报告显示现有任意到任意模型得分偏低，而带可追溯推理的智能体基线 UNIMA 更高但仍不完备。

针对带同步音频的视频生成缺乏联合评测的问题，VABench 用文本到声画、图像到声画与立体声三类任务和专家加多模态大模型的十五维评估组织测试，报告显示端到端音视频模型在对齐与细粒度问答上占优而语义同步真实感难以兼得，且立体声空间分离均不可靠。

ViBES 针对多轮对话中语言与身体脱节的问题，采用文本语音专家加面部与身体专家的混合模态专家结构并在 25 帧统一时钟上联合生成，在对话行为基准上取得高于共语音手势与文本到动作基线的对齐度，代价是依赖单目重建数据与尚不完善的行为评价。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对文本角色扮演忽略语音自发性和人物声音一致性的问题，ActorMind 用眼耳脑口四智能体的现成推理流程组织语音合成，在 Friends 第一季构建的 7653 句基准上以 RP-MOS 取得平均 3.56 分的报告结果，但其评估依赖小规模主观打分且未训练模型参数。

AEQ-Bench 用 1,885 个音频加文本实例把共情拆成生成回应与判断回应 2 类任务，用相同话语换语境和相同语境换语调 2 种对照进行测试，报告显示带音频输出的模型在自然度与语音表达上占优，而细粒度韵律自动评估仍不可靠，代价是依赖人工核验与粗粒度量表。

论文用 15 种非洲语言、约 7.5k 对图文加母语录音的平行问答测文化理解，最强闭源模型文本选择题仅 78% 而开放问答仅 38%，开源模型在母语语音开放问答上近零分且语音识别与语种识别先失灵。

针对大音频语言模型在事件遗漏、身份误判、时序关系与定量时间四类细粒度推理上依赖语言先验的问题，论文以共享音频问题池同时构造偏好对齐数据与诊断基准并用直接偏好优化对齐 Qwen2.5-Omni-7B，报告在诊断集上定量与关系错误率大幅下降并在公开基准上小幅提升，代价是依赖字幕代理、人工筛选与自动裁判误差等条件约束。

针对方言阿拉伯语数据分散与标注不一致问题，Arab Voices 用统一转写与元数据对齐 31 个数据集并以方言度与音频质量代理做可比刻画，在 14 个方言零样本评测中显示现代模型仍困难而多模态大模型相对更稳，代价是音频质量代理与人感并不完全一致且部分低资源方言仍缺乏数据。