音视频

论文把多种自监督音频、视觉和音画特征冻结后只训练线性分类头，在科学数据集与野外数据上比较检测、异常检测、可解释定位与互补融合，发现含音频信息的表示泛化最好但野外数据仍困难，且随机特征也能靠捷径得高分。

论文研究无任务微调的说话脸生成，用冻结的稳定扩散加图像适配器做骨干并配三个无可训练参数的模块，在 CREMA 和 HDTF 上报告了最低的口型几何误差和最高的口型相关性，代价是依赖外部人脸先验与逐帧重绘加后滤波的推理链路。

iXeRemin 针对 Apple Vision Pro 用右手管音高与触发、左手管音量音色与和弦选择，并以频率调制合成与指尖标签和开放声音控制输出实现可复现的触空复调演奏，其代价是依赖特定头显硬件且本文未做演奏者可用性评估。

该文在 AVEC2014 上用固定的两层感知机隔离融合设计的影响，以线性加权平均管模态可靠性、有序加权平均管特征显著性做向量保留式联合加权，在分类取得 85.7% 准确率与 0.88 的 AUC、回归取得 8.1 的均方根误差与 0.44 的一致性相关系数的同时，在 0 分贝强噪声下仍保持相对可控的退化，代价是可靠性打分依赖的信号质量指示与排序后权重构造细节 …

针对事件相机记录的语音致振恢复语音的问题，论文提出两阶段振动到语音模型 EV2A，用 8 个 8×8 感兴趣区域做视觉前端加语音增强端到端训练，在真实薯片袋振动数据上相对事件版视觉麦克风降低词错误率 0.48 但仍保留金属感与表示损失等代价。

针对音视频问答中共享嵌入检索错位与单跳图证据太浅的问题，论文用三步多智能体构造多跳多模态知识图并以模态内检索加 GRASP 接地剪枝供给答案有用子图，在 AudioCaps-QA、VCGPT 和 VALOR 上一致提升但强依赖阈值与外部接地模型。

针对音视频大模型中一个模态错误污染另一模态描述的跨模态幻觉，MAD 用免训练的两步流程先让模型自评问题需要音频、视频还是两者，再用权重调节四路对比解码，在 CMM 和 AVHBench 上提升 VideoLLaMA2-AV 与 Qwen2.5-Omni 的准确率，代价是每步需计算多组 logits 且依赖模型自身判断的可靠性。

针对全模态大模型把一模态线索误用到另一模态提问以及过度依赖文本先验的问题，论文提出在偏好优化中加入不相关模态不变与相关模态敏感两项解耦约束并叠加纯文本惩罚，用自动构造的约 1.8 万偏好样本训练，在幻觉基准上报告最高约 27% 的匹配任务提升，而代价是每步增加无需梯度的损坏输入前向与四分之一轮数的训练预算控制。

问题是从音乐生成对拍对风的舞蹈视频，方法选择是冻结预训练文本到视频扩散模型并只在精选层注入零初始化音频交叉注意力，最强证据是舞蹈质量与视频质量上超过从零训练的音视频基线，代价是依赖有限舞蹈数据混合与单卡约 20 小时的适配训练。

该研究把芭蕾手臂姿态作为可学习控制面，用分类选古筝乐句区、回归做中间态插值，再经颗粒合成重塑纹理，证据是 60 fps 下每类约 300–480 个训练样本与 4–15 秒乐句构成的语料库，代价是系统偏好可识别姿态且依赖多软件链与作者式观察而非结构化评估。

针对夜晚户外太暗导致常规增强现实无法跟踪的问题，nocturneAR 用发光体的颜色闪烁序列传递编号来触发画面与声音，2026 年 2 月 11 日的夜间森林探索性展览显示参与者会放慢移动并靠听觉叠加声音，但系统在明亮环境下不稳定且未做定量评估。

针对社交媒体多模态伪造分散评测的问题，论文构建覆盖图像、音频、视频与音视频讲话头的统一基准并提出课程微调加统一奖励强化的 Omni-Fake-R1，最强证据来自严格不相交的 OOD 划分与联合评测，而代价是渐进式训练流程更长且定位精度仍受篡改细粒度限制。

针对全模态大模型音频加视频序列过长问题，OmniZip 用免训练的音频引导加交错时空压缩做推理时剪枝，最强证据是在 Qwen2.5-Omni 上保持接近满词元精度的同时实现 2.51-3.42×预填充加速与约 10G 显存下降，代价是剪枝率需按任务平衡且依赖音频编码器注意力。

论文提出第一人称自我情绪追踪任务，用 110 小时智能眼镜数据的开放词表时间线与五任务基准支撑 OSIRIS 模型，该模型以对话历史加情绪记忆加分步推理取得领先，但仍受日常社交场景与文化覆盖限制。

针对多模态微调中文本主导参数更新的问题，论文用单矩阵隐式分区加解耦与对齐两个梯度约束来恢复平衡，在音频视觉文本等任务上提升精度且保持与标准 LoRA 相同的可合并参数量与推理结构。

针对视频生音频只学外观关联而忽视撞击轻重的问题，PAVAS 用估计出的物体质量与速度去调制潜在扩散模型，在 VGGSound 与 VGG-Impact 上同时报告了分布、感知与物理一致性证据，但依赖多组冻结视觉模块且未验证延迟与成本。

针对音频驱动说话人脸只求口型对齐而说话风格单一、情绪不可控的问题，PC-Talk 用隐式关键点上的唇同步变形与纯情绪变形分别建模，在 HDTF 上以视频输入 9.03 与图像输入 9.37 的 LSE-C 显示口型优势，并以情绪分类准确率 46.19 与 72.32 显示情绪优势，代价是需要分开训练两个控制模块并固定渲染器参数。

该研究让人吹奏发声、机器人按 MIDI 驱动按键，用点头手势的速度双峰间隔乘固定比预测起始时刻，8 名长笛手对照显示手势条件增强同伴感与主导感而计时器条件时间更稳，代价是手势识别需夸张动作且视觉反馈效果不一致。

针对可学习查询缺乏显式情感语义的问题，论文用固定数量的多模态情感原型作软提示并冻结大模型主干，在四个数据集和三种大模型上取得可复述的精度提升，而可训练参数仅占极小比例。

论文用两阶段合成字幕数据引擎和覆盖八到十组跨模态对的对比学习训练 PEAV，在零样本声音音乐语音视频检索分类上取得最强证据，但代价是 92M 加 32M 数据与大音频编码器和长视频推理成本。