音视频

针对长视频音频问答中 GRPO 样本浪费、组内奖励相同导致优势为零、全序列平均授信的问题，AVATAR 用分层回放加离线修正与首尾抛物线加权做强化学习，在 Qwen2.5-Omni 上取得 MMVU 加 5.4 等增益，代价是四阶段课程与多奖励判断器带来的训练复杂度。

该研究针对真实世界音视频伪造超越人脸、混用编辑与合成的问题，构建含 3000 片段与 12000 问答的 AVFakeBench 并评测 11 个音视频大模型与 2 个专用检测器，报告显示大模型在二分类上更稳但在细粒度分类与解释上大幅下滑且存在视觉偏向与编辑盲区。

论文提出只变一个物理因素的时间对齐视频对与单视频模式测试来审计视频生音频模型，用方向一致性与敲击对齐度量揭示文本提升语义却损害同步、像素物理推理普遍偏弱的代价。

针对单模态噪声与跨模态语义鸿沟，BYOAVP 以自监督音频增强对齐视觉语义、以动量原型约束做像素级分类，在 AVSBench 与 VPO 六个子任务上取得最优，同时需承担双分支注意力与原型维护的额外开销。

CamJam 针对零基础协同演奏问题选择纯摄像头加循环约束的四模块乐队结构，在 36 人轮换实验中弦乐模块直观性最高而协作评分偏低，代价是连续映射可预测性不足与面部追踪的不适感。

针对语言、视觉、声音互相冲突时融合不可靠的问题，CICA 先让每个单模态编码器输出置信度和不确定度，再用它们调制融合注意力，在 MOSI 上报告 MAE 0.630 和 Corr 0.855、在 MOSEI 上报告 MAE 0.489 和 Corr 0.856，代价是需要两阶段训练并保留互信息正则以防止文本主导时压垮其他模态。

针对影视长视频、多说话人和音画不同步问题，CineSRD 先用视觉锚点聚类注册说话人再用音频语言模型做轮次检测与幕后补充，在 SubtitleSD 上报告更低的 DER 与 JER，代价是多阶段集成而非端到端且依赖人脸与字幕时间轴。

针对同一视频中语言、视觉、音频情感极性不一致时相似性对齐会扭曲共享语义的问题，论文提出冲突感知自适应交叉重构 CACR，用共享空间冲突分数加权交叉重构实现隐式对齐并以视听线索精炼文本，在 MOSI 上报告 ACC7 为 48.69、ACC2 为 87.04，代价是需要多组重构解码器与多项正则损失协同训练。

该文用图像字幕先建视觉词表再过滤语音，用无监督词发现做两两对齐与堆叠评分定位关键词，在视觉监督下超过神经基线，但共现词与字幕噪声仍带来明显定位损失与计算代价。

该研究比较声学氛围驱动与歌词语义驱动的背景视频选择，提出在约 14000 个音乐视频上对比学习音乐视频联合嵌入并用束搜索做全局非重叠选段，最强证据是主观评价中声学方法在整体不自然感和转场连续性上显著优于歌词方法，代价是剪辑节奏与歌词具体指涉仍存在错位。

针对说话人视频中情绪编辑受限于离散标签和参考图像的问题，C-MET 用语音与表情空间的情绪语义向量差做跨模态回归，在 MEAD 上把情绪准确率做到最高，同时保留唇动与身份，且能处理训练未见的扩展情绪。

针对临床访谈数据少导致视觉编码器学不好，该工作用音频文本为条件合成视觉特征并与识别器联合优化，在 DAIC-WOZ 上 F1 达到 0.86、在 E-DAIC 上 CCC 达到 0.69，代价是依赖词级对齐与端到端联合训练的复杂度。

该研究用古筝、二胡、唢呐、堂鼓四种乐器的自录样本做前 8 个泛音的分轨重组与心电驱动的视听交互，在百余人次的非正式展览观察中看到熟悉又陌生的文化联想，代价是只有定性观察而无可控评估与生理推断力。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

针对只用 8 秒短片段训练却要在数十秒到 5 分钟长视频上生成对齐音频的问题，论文用非因果 Mamba-2 替换位置编码依赖并以分层压缩加时间与多模态路由做对齐，在 UnAV100 与 LongVale 长测上取得分布与同步优势，代价是阈值与压缩结构需要仔细选择。

针对视频文本到音频中视觉压倒文本且缺少事件级可控定义的问题，论文提出事件中心分层控制任务、EchoFoley-6k 基准与免训练智能体 EchoVidia，最强证据是时间 0.72、音色 0.78、音量 0.75 可控性与人评指令遵循 3.80 同时领先基线，代价是依赖外部视频大模型与生成模块且需两速推理。

针对第一视角视频中模型重视觉轻音频、声源对应差的问题，EgoAVU 用模块化解耦叙述增强与多模态上下文图生成联合叙述，再派生问答，报告显示微调后在 EgoAVU-Bench 上最高相对提升 113.3%，代价是依赖开源单模态模型输出噪声与大规模微调资源。

EgoSound 针对第一人称视频中的声音理解构造 900 视频 7315 对开放问答与七类任务，用九个多模态大模型的评测显示最强模型仅 56.7% 准确率而人类达 83.9%，代价是自动构造依赖大模型与 GPT-5 判分带来的偏差与可复现性负担。

EMMA 从视频、音频与图表时间序列联合反推显式参数、隐式动力学与坐标不变量，在 75 个 Delfys 视频与 rover、无人机及仿真图表上给出可仿真验证的参数，并以约 1.4 倍于基线的单轮耗时换取多参数与隐式建模能力。

针对视觉听觉情绪线索稀疏且时间不同步导致隐式融合稀释与纠缠的问题，EmoThinker 用结构化 token 选择提纯面部与声音证据并用 CoET 数据集做分步推理，在 DFEW 等基准上报告了最高分，但背景丢弃与长尾类别仍带来代价与不稳定。