音视频理解

针对短视频广告中夸大表述与跨模态错位带来的细粒度政策违规，BLM-Guard 采用规则锚定的交错模态推理冷启动加自适应评论奖励的分组优化实现可解释审核，在自建基准与消融矩阵中报告严格准确率与一致性提升，但资源本次未能确认可达且一致性依赖大模型打分。

针对直接从外部行为回归真实人格偏向观察者印象的问题，该文用 10 秒音视频生成密钥修正通用面部反应生成器得到个性化认知权重，再编码为矩阵图用二维图网络回归自陈大五特质，在 NoXI 与 UDIVA 上报告了误差与相关提升，代价是仍需扩散预训练与双损失联合训练且细粒度言语未建模。

论文把音乐诱发绘画评估定义为直接预测感知一致性分数，用音乐调制视觉的 MPJudge 结合回归与偏好优化学习，在自建专家标注集上报告 SRCC 0.86 与 MAE 0.04，代价是更大的绘画编码器与对专家标注的依赖。

SafeLens 针对短视频中仇恨内容只在少数时刻出现而整片标签会引入时间噪声的问题，用先切分语义片段再融合语音转写、屏幕文字和画面描述并由微调策略大模型输出标签加置信度加一句话理由加伤害类别的结构化判断，演示证据显示其能在同一视频内区分出 93% 与 73% 等不同置信度的多个片段，但原文未报告可复算的检出率与对照基线所以只能作为工作流演示而非性能结论。

针对有声视频中按自然语言指代表达分割目标的问题，论文把任务拆成用多模态大模型先推理出目标描述再调用冻结检测与分割模型的智能体流程，在标准与推理增强基准上报告了对最强基线的提升，但阈值与细粒度描述的取舍仍有条件限制。

该综述把视频大模型开销定位到帧选择、编码器、连接器压缩与大模型预填充解码四段，显示约 25 % 视觉 token 保留下多类方法接近基线精度，而推到约 10 % 保留与流式内存时必须显式建模时间冗余并计入选择器与编码代价。

针对仅靠音频评估无法诊断唇动与语音时序错位的问题，论文用跨模态注意力显式建模帧级对齐并导出时滞轨迹与稳定性指标，在 8 类录制条件下以线性复杂度和可视化分析实现可解释的同步性诊断。

论文用冻结视觉语言模型加 Whisper 转写路由构造免训练语音中心全模态理解，在 56 个基准和 21 种语言的配对比较中语音任务可比原生全模态训练而保留视觉推理能力，代价是增加串行语音识别延迟且无法处理音乐与环境声等非语音线索。

音视频理解 | 6.3/10

音视频理解 | 6.0/10

音视频理解 | 6.5/10

音视频理解 | 5.5/10

音视频理解 | 7.7/10

音视频理解 | 4.0/10

音频检索 | 7.3/10

音视频理解 | 7.8/10

音频检索 | 7.5/10

音视频理解 | 8.8/10

音视频理解 | 9.4/10

音视频理解 | 7.4/10