音视频

CrowdForge 让现场观众在演出前投票决定生成式音乐与混合现实画面的高层参数，通过两场共 19 人的三条件音乐会发现可观察性决定能动感，音频带来情绪唤起而视觉提供清晰反馈，但结论受小样本与同场共置设置的限制。

针对文本、声音和画面线索互相冲突且局部线索可靠性随样本变化的问题，DGC-Net 用其他模态的全局上下文指导本模态专家选择、再以稳定的全局语义为主融合可靠的局部补偿，在 CMU-MOSI 和 CMU-MOSEI 等五个基准上验证，但增益并不覆盖全部细粒度指标且部分设计随任务而变化。

论文固定模型与提示只改变视频输入方式，发现没有一种输入在六个模型与三批视频上都最好，分类更准也不保证回归系数与样本占比更接近人工标注。

Omni-Life 用 400 段视频考查助手能否在需要时及时说对、不需要时保持沉默，最好的 12 个配置也只有 4.48% 的视频完全做对，而反复提醒虽能提高覆盖却会带来每分钟数次的不必要打扰。

论文用 1782 个配对试次比较听后 8 个感受词算出的愉悦度-事件度与听时连续直接打分的平均，发现两者二维结构相近但振奋与单调方向偏离较大，全段平均最接近回顾分，而经验映射只把联合误差降低 4.9%。

针对同屏出现目标与干扰声时场景级视频查询含混的问题，SelectSep 用文本加单点坐标改造视频编码器再微调分离器，在标准集和同屏干扰集上用六项指标验证了目标选择性提升，尤其在语义相近混合上更明显，但跨类同屏上仍不及纯文本基线且依赖点击标注。

论文把文档、自然图像、音频和视频的十个解析任务统一为带空间与时间锚点的结构化记录，用共享权重的文本初始化编码器做感知、用统一模式做输出，并用自演进的按词角色蒸馏做后训练，在文档基准上达到 96.96 分、在多模态解析基准上以 75.08 分领先开源模型，优势集中在音频和视频，但代价是 55B 稠密解码与自回归输出的推理开销。

本文把视觉建模按空间特性拆成小嘴唇图像分支和人脸关键点几何分支，在 LRS3-2mix 统一精简训练下接近轻量图像基线的分离质量，同时把模块级视觉编码计算降到 0.3 至 0.5 GMACs 量级。

针对双人关系识别中证据层次与互动类型被混在一起的问题，HiRe-DRR 把低层与高层线索分开构造同质与异质互动，再用稀疏路由选择与层级条件监督做分类，在 NoXi、UDIVA 和 SeamInt 三个切分下取得更高的 UAR 与 mAP，但结论只在短片段切分与给定关系划分下成立。

Live-OPSD 让流式策略先自己生成回应，再用训练时特权提示给出分布目标并做决策感知筛选，在 LiveProBench 30B 上达到 59.64 分，但结论只在同协议同数据受控对比下成立。

Tap2Listen 把只处理混合音频的编码器与只受所选人脸控制的解码器分开，用分量损失训练，在 LRS3-2mix 上固定目标达 9.68 dB SI-SNRi 并在切换后首帧恢复，代价是 16 ms 算法延迟和单次重投影计算。

VibeVideoBench 要求智能体在一小时内只用代码渲染画面并合成声音来交付 239 个中英文成品视频，用程序检查加约 1.3 万条任务细则加五维质量分三层打分，最强的 GPT-6 Astra 与 Claude Opus 5.5 也只在约四分之三任务上通过全部核心要求，而交不出片会显著改变排名且多因收尾渲染太晚。

论文用配对音视频证据检验检索头的稀疏、跨模态共用与骨干保留，并用因果消融和排序训练证明这组小注意力头既能解释证据定位又能直接优化文档检索，但结论只在所测 18 个检查点与 MMDocIR 等评测条件下成立。

AV-QTSS 用类别查询先分离目标单声道、再用稠密绑定定位图给出方向并渲染三路方向通道，在 1 到 4 声源合成集上把角度误差降到 23.3 度并在真实录音适配后提升定位，代价是只处理封闭集内且处于活动状态的查询。

针对相邻情绪易混淆且错误集中在少数情绪对的问题，CASE 在冻结多模态大模型参数的前提下，用可进化的成对文本技能做第二轮二选一复判，在 DFEW 上进化出的技能可直接用于 CA-MER 和 EMER，最强证据是 Qwen3-VL-8B 在 CA-MER 上从 46.80% 提升到 59.13%，代价是需要两轮推理和外部编辑与验证流程。

本文研究固定全模态大模型推理时按查询只在必要时加入视频，在 WorldSense 上用代价敏感学习在保持全模态精度的同时大幅降低输入 token、时延和费用，但结论只在二选一文本加音频与文本加音频加视频、文本嵌入路由的条件下成立。

论文针对固定双人、无混响突变噪声的评测与重型因果模型难以部署的问题，构建同时变化人数、远近场、混响和噪声并配真实录音的 RealSSA 基准，并提出单次编解码完成多尺度时频建模的 Falcon，其编码器空间对比损失在推理零代价下抑制近场泄漏，在多集上达到最优分离质量并大幅降低参数与延迟。

该研究用分轨音频能量、可视乐器框与清晰度组成可解释打分并按节拍切分选景，在一场四机位爵士音乐会的三位专家试评中预测打分版整体评价未超过随机选景，说明局部视听相关性不足以决定成片质量。

本文用图像与声音共现的弱监督对应学习定位电锯电钻骨凿，在独立采集的 21 序列 853 帧上达到总体 IoU 0.36 与中位距离 12 px，代价是仅覆盖三种模拟骨操作且每步依赖 3 s 音频与 16×16 粗热图。

X-Dubbing 把配音拆成管时间结构的翻译器和看视频说话的合成器，用合成后语音的反馈来挑选译文，在法语到英语演讲视频上同时改善了时长符合度与口唇同步，但结论只在单人独白和给定评测条件下成立。