音视频问答

论文以 Gemma-4 12B 和 Inkling-Small 为对象，验证其早期 Transformer 层是否像独立音频与图像编码器一样先各自编码再融合，依据是换跨模态上下文后表征不变、独立编码到 12 层左右仍保持问答精度、层级信息演化与常用语音编码器相似，但细粒度语音与部分视觉任务仍明显落后。

论文针对整段视频的语音-视觉时间判断失败问题，用不训练的局部验证加语音时刻聚合做诊断，在 SVHalluc 上显示同一冻结模型局部证据可用而整体问答不可靠，对照显示查询与时刻锚点的作用，但干预同时改变了输入、调用次数与读出方式。

共分析 57 篇语音/AI 论文

论文比较直接优化单个全模态大模型指令与优化字幕推理和智能体子智能体两类显式文本接口的效果，发现只有直接优化 Gemini 指令带来稳定提升，而更易看懂的中间接口反而更难优化且伴随信息损失与证据冲突的代价。

论文用普通视场图像加双耳音频构造听见定位推理三层问答，并给强视听大模型外加一条空间音频支路加三阶段课程训练，在仿真基准上提升定位与关系推理并在真实录音上做迁移验证，但结论只在该仿真划分与离散评价条件下成立。

MSP 用单模态加为缺失模态生成的代理文本来训练，使推理时能联合使用真实音频与视觉，在 AVQA 等三项问答上取得有竞争力的准确率，但仍依赖模态文本对、对比编码器与桥校准，且代理质量决定效果上限。

共分析 69 篇语音/AI 论文

论文针对声音表情与画面不一致时生成式回答容易跟随视觉的问题，用共享 WavLM 编码上的视觉查询融合与直接时间积分两路组织输入同一解码器，在 CA-MER 平均指标 67.89 与 EmotionTalk 测试集 62.88% 等条件下验证了直接声学通路的作用，代价是增加 16 个声学 token 与混合任务适配的约束设计。

论文针对全模态大模型的答案可信度问题，用外部全模态编码器把输入和思维链映射到同一空间算贴合与连贯，再给多数投票加权，在 UNO-Bench 上随生成器和模态小幅改善且在开放式全模态问答上相对最稳，代价是需要辅助切分和少量标注校准。

论文针对全模态大模型中问题相关证据仍在单模态分支可恢复却在联合预测中丢失的模态误路由问题，提出免训练的 CaRe 两阶段冲突检测与残差纠偏，并在 CMM 和 AVHBench 上以额外反事实推理为代价取得一致提升。

论文针对全模态问答中感知到却用不上的问题，用词级对齐诊断定位生成可及性瓶颈，再以自我生成的模态描述补足弱模态，主要证据是跨七个模型的平均提升与弱模态对齐回升，代价是增加描述生成开销。

论文针对第一视角助手只看拒答率会掩盖伤害对象差异与不懂装拒问题，提出 2,902 条视频加语音查询的 STOU 基准并分离测试拒答与理解，发现理解后仍协助与对佩戴者伤害最弱是主要代价。

共分析 146 篇语音/AI 论文

论文针对电商广告视频需要跨视频比较的问题，用 AdsCVR 基准衡量六类比较能力，并用能主动调用视觉与语音工具的 AdSeek 智能体做多轮取证，在 AdsCVR 测试集上达到 74.30% 准确率，代价是多轮交互与训练开销更大。

FloorSAV 针对第一视角窄视野加移动声源难定位的问题，把点云、相机轨迹、声源估计和物体标注画成与视频同步的二维俯视图小视频送给音频视觉大模型做单次联合推理，在 SAVED-Bench 整体从 58.3% 提到 65.3%，代价是依赖高质量点云位姿和多通道音频且地图读数仍受模型能力限制。

论文用 423 道母语撰写的多语言多模态难题考验网页浏览智能体如何发现并串联开放网络证据，最强原生检索配置准确率为 31.68% 而 57.68% 题目无任何模型答对，人力单题中位耗时 54.6 分钟说明检索代价很高。

MMPostTrainBench 让研究智能体在统一基座和预算下自主改进图像、音频、视频等多模态能力并用目标与非目标、迭代轨迹与合规审计来衡量，MMResearch 再用媒体证据关联、分层记忆与开发集确认的保留机制把提交准确率提高但仍只在所测四任务与预算内成立。

论文针对单模态可解的音视频评测无法检验联合推理的问题，用 OmniQA 构造带时间戳证据链的问答与 112K 加 19K 训练数据，并用 MFSD 做线索条件下的 token 级信用分配，在 OmniVideoBench 达 50.0% 且在自建基准达 42.5%，代价是多路线索打分与验证流水线开销。

论文用桌面尺度问答加城市步行长视频两类新赛道考查空间与听视觉推理，获胜方案多为多模型智能体管线而单一通用模型仍落后，代价是大量工具调用与计算开销。

针对音频视觉大模型中另一模态干扰问题所需证据的判断失准，RED 用问题选择证据类型并用逐点互信息增强对应贡献，在三个幻觉基准上提升准确率而首次 token 时间约为标准解码的 1.5 倍。