音视频问答

论文用真实空间音视频搭建覆盖感知、对齐与推理的 1066 题基准和 611 题场景关联诊断集，12 个模型的证据显示听觉空间定位与跨模态组合是主要瓶颈，而显式空间线索能提升定位和联合匹配却难完全解决推理。

针对图文音视频混合检索中通用语义与模态特性难分离的问题，Syn-Omni 用共享 LoRA 加模态专家 LoRA 与渐进路由在 81 个任务上整体更均衡，3B 整体 Hit@1 达 49.4%，代价是专家路径推理时不能合并带来延迟增加。

论文用纯文本推理训练提升联合音视频推理，再用约少 90% 输入词元的音视频强化学习恢复感知，在 Qwen2.5-Omni-7B 上推理几何平均提升 25.83% 而感知回到基线之上。

针对长视频中证据分散且预建记忆易缺问题细节的矛盾，VideoTapestry 用固定三层记忆加三智能体由粗到细重看视频并组装复合记忆，在四个长视频基准上相对同底座直接推理提升 7.0 到 17.2 个百分点，代价是离线建记忆与多次查询时模型调用。

ReTurn 用 7000 个配对任务测模型能否按当前请求选用历史问题或历史证据，最强证据是单轮到多轮中位准确率从 93.7% 掉到 72.3%，而复述请求与监督微调只能部分挽回且长对话冲突条件仍很弱。

针对小时级音视频问答无法把整段录像放入上下文的问题，LEAP 用 600 秒分块定位加至多 9 窗有界回答，在四个主基准上高于同栈整体读取基线，代价是每题需要多遍定位且文本通道只在语音证据充分时可替代媒体扫描。

OmniSeek 把音视频问答改为主动多轮取证循环，用 OmniTraj-170K 冷启动再加两阶段强化学习约束双模态依赖，在长视频多跳基准上提升明显，但超长音频仍受上下文窗口限制。

论文针对来源混淆的视听幻觉，提出在问题状态上做来源条件转向的免训练方法 Secret，最强证据是在 CMM 和 AVHBench 上最高带来 18.0 和 7.1 个百分点的平均准确率提升，代价是需要多分支前向与逐模型选择转向层。

针对环境噪声与竞争语音干扰下的音频视觉问答，OP-CAD 用干净音频视觉加验证答案的冻结特权教师，在学生受损输入生成的同一前缀上做在线蒸馏，并按音频移除与损坏两路敏感度加权，在受损平均准确率与配对保持率上超过同教师的均匀在线蒸馏，代价是每样本四路教师前向与三阶段课程训练的额外开销。

针对答案监督学不到局部音画配对的问题，SyncRA 用原生时间区间在同一视频内做对称 InfoNCE 中间层对齐，在四种骨干与二十组基准上一致超过答案微调，代价是依赖区间划分与训练期投影头。

该文针对多说话人场景下谁说了哪句话的归因失败，用动物合成诊断集揭示按画面位置顺序配对语音顺序的偏置，并用 400 个位置与顺序解耦的合成视频微调在真实基准上为 Qwen2.5-Omni 带来平均 8.27% 增益。

CUE-Mem 用显式与隐式对照的多会话文本图像音频历史检验长期用户记忆，显示隐式线索的保存与检索是主要瓶颈，而细化文本化与原生多模态接入只能部分缓解且带来代价。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对音视频分路处理导致时间与语义错位的问题，该工作用帧级旋转位置编码加频率注入、跨帧块差异注意力与时间对齐跨模态注意力做对齐，在 AVSD 上报告 50.30% 准确率，但长视频描述性指标仍偏低且训练仅 1 轮。

针对视频推理中只看画面或只用语音转文字会丢失语调环境音的问题，Flash-VAReason 用音频时间融合加全局去重保留独特音频令牌，在 CharadesEgo 上取得 Overall 2.3789 的同时把单样本推理控制在 6.10 s，代价是长音频仍需截断且未做细粒度音频事件建模。

论文把多人说话视频的谁说了什么拆成以声音或画面为锚的跨模态检索，用受控玩具体验揭示时间编号与位置编号的三阶段绑定，并证明瓶颈在音视对齐，进而用现成说话人检测框加不到 300 步微调带来可复现的提升。

论文用单帧静音探针审计 10 个视频基准揭示视觉捷径，再在 LLaVA-OneVision 上外挂语音编码器并以因果 Mamba 周期查询把 25 Hz 音频压到 1 Hz，在过滤后语音与跨模态任务上取得稳定增益而视觉任务基本不受影响，代价是延迟从 1.00 秒升至 1.60 秒。

该研究用 10150 张 MENA 文化图像的三元组对比基准检验文本与语音、英文与阿拉伯语下视觉 grounding 是否一致，提出条件性对比不稳定性指标并报告语音尤其在阿拉伯语下显著放大碎片化失败，而增大规模与语音加文本联合输入只能缓解不能消除。

针对音频视觉问答中朴素音频描述与视觉不一致且缺问题相关细节的问题，VividAC 用视觉智能体先写问题相关视频描述再约束听觉智能体生成音频描述，在 MUSIC-AVQA 上以 59.91% 超过最强端到端基线 7.0 个百分点，代价是级联依赖视觉描述质量并需关键词过滤来缓解误差传递。

针对通用多模态只学语义对齐而缺物理量监督的问题，OmniFysics-Nano-V2 用静态属性 grounding 与动态视听事件对齐的双分支数据加两阶段 GRPO，在 21 项中 17 项领先同类全模态模型，代价是依赖商用大模型标注与多阶段训练流程。