音视频

该研究把芭蕾手臂姿态作为可学习控制面，用分类选古筝乐句区、回归做中间态插值，再经颗粒合成重塑纹理，证据是 60 fps 下每类约 300–480 个训练样本与 4–15 秒乐句构成的语料库，代价是系统偏好可识别姿态且依赖多软件链与作者式观察而非结构化评估。

针对夜晚户外太暗导致常规增强现实无法跟踪的问题，nocturneAR 用发光体的颜色闪烁序列传递编号来触发画面与声音，2026 年 2 月 11 日的夜间森林探索性展览显示参与者会放慢移动并靠听觉叠加声音，但系统在明亮环境下不稳定且未做定量评估。

针对社交媒体多模态伪造分散评测的问题，论文构建覆盖图像、音频、视频与音视频讲话头的统一基准并提出课程微调加统一奖励强化的 Omni-Fake-R1，最强证据来自严格不相交的 OOD 划分与联合评测，而代价是渐进式训练流程更长且定位精度仍受篡改细粒度限制。

针对全模态大模型音频加视频序列过长问题，OmniZip 用免训练的音频引导加交错时空压缩做推理时剪枝，最强证据是在 Qwen2.5-Omni 上保持接近满词元精度的同时实现 2.51-3.42×预填充加速与约 10G 显存下降，代价是剪枝率需按任务平衡且依赖音频编码器注意力。

论文提出第一人称自我情绪追踪任务，用 110 小时智能眼镜数据的开放词表时间线与五任务基准支撑 OSIRIS 模型，该模型以对话历史加情绪记忆加分步推理取得领先，但仍受日常社交场景与文化覆盖限制。

针对多模态微调中文本主导参数更新的问题，论文用单矩阵隐式分区加解耦与对齐两个梯度约束来恢复平衡，在音频视觉文本等任务上提升精度且保持与标准 LoRA 相同的可合并参数量与推理结构。

针对视频生音频只学外观关联而忽视撞击轻重的问题，PAVAS 用估计出的物体质量与速度去调制潜在扩散模型，在 VGGSound 与 VGG-Impact 上同时报告了分布、感知与物理一致性证据，但依赖多组冻结视觉模块且未验证延迟与成本。

针对音频驱动说话人脸只求口型对齐而说话风格单一、情绪不可控的问题，PC-Talk 用隐式关键点上的唇同步变形与纯情绪变形分别建模，在 HDTF 上以视频输入 9.03 与图像输入 9.37 的 LSE-C 显示口型优势，并以情绪分类准确率 46.19 与 72.32 显示情绪优势，代价是需要分开训练两个控制模块并固定渲染器参数。

该研究让人吹奏发声、机器人按 MIDI 驱动按键，用点头手势的速度双峰间隔乘固定比预测起始时刻，8 名长笛手对照显示手势条件增强同伴感与主导感而计时器条件时间更稳，代价是手势识别需夸张动作且视觉反馈效果不一致。

针对可学习查询缺乏显式情感语义的问题，论文用固定数量的多模态情感原型作软提示并冻结大模型主干，在四个数据集和三种大模型上取得可复述的精度提升，而可训练参数仅占极小比例。

论文用两阶段合成字幕数据引擎和覆盖八到十组跨模态对的对比学习训练 PEAV，在零样本声音音乐语音视频检索分类上取得最强证据，但代价是 92M 加 32M 数据与大音频编码器和长视频推理成本。

论文要解决的是把偶然发现的次声驱动金属失真现象 CLSTR0 从打击乐演奏中剥离出来，做成可长期自主发声又允许随时插手的混合乐器装置 CLSTR1，其最强证据是 9 到 34 Hz 激励下金属碗在膜上自主爬行并调制音景的三种艺术实现，代价是位置极敏感、不可参数化且尚无观众交互的系统测量。

针对 CLIP 视频文本检索丢弃音轨且 AST 类编码器不理解语音的问题，SAVE 用 Whisper 转写加 CLIP 文本编码的语音分支与 ImageBind 软监督的 soft-ALBEF 先对齐再融合，在五个基准上超过 AVIGATE 等基线，代价是依赖 ASR 可用性与离线三分支特征抽取。

针对多模态意图识别中固定维度信息瓶颈难以适应样本级冗余与噪声、且把两者混在一起压缩的问题，SeD-UD 用影响因子驱动的自适应瓶颈做单模态去冗余与融合后统一去噪，在 MIntRec 加权精度 73.96% 等指标上报告最优，但文本增强基线与情感泛化边界仍是代价与限制。

论文提出连续环境语义视听导航任务 SAVN-CE 与记忆增强模型 MAGNet，用自运动线索加情景记忆维持静音后目标推理，直接报告最高 12.1 个百分点成功率提升，代价是 128 线程加 4 卡约 14 天训练与干扰声下增益收窄。

针对对比掩码自编码中随机可见块污染全局表示的问题，TG-DP 把重建与对比拆成两条掩码不同的前向路径并用全量教师做蒸馏与引导掩码，在 AudioSet 检索上把 R@1 从 35.2% 提升到 37.4% 和从 27.9% 提升到 37.1%，代价是每轮预训练时间从 730 s 增加到 1045 s 且推理前需丢弃教师分支。

针对 CLIP 固定提示 a photo of a 与音频嵌入 token 语义脱节的问题，SOUPLE 用图像特征经 Meta-net 生成的可学习上下文替代固定词，在 VGGSound-144K 训练下提升 VGG-SS 与 SoundNet-Flickr 定位与 AVSBench 单源分割，但在无类别监督的多源 MS3 上出现过分割代价。

论文针对语音内容与视频画面的语义和时间对齐问题，构造 2405 个问答的 SVHalluc 基准并测试多款音视频大模型，最强证据是 Gemini-2.5-Pro 在全局语义对齐上达到 93.10% 而多数开源模型徘徊在 50% 附近，代价是开源模型跨模态绑定能力仍接近随机且需额外的人工核验构造流程。

SyncDreamer 针对只有离散情绪标签和依赖姿态中间表示导致动作僵硬的问题，用视觉适配器保身份、音频动态编码器抓节奏能量、跨模态提示增强器把文本变成动作指令，在 HDTF、AVSpeech 人像和 EMTD 半身基准上报告了最优的真实感与同步指标，代价是两阶段扩散训练与更长的提示构造链路。

针对音视频时间同步被忽视且掩码自编码重建模糊的问题，SyncStream 用隐空间对比掩码自编码学紧凑对齐表示再用条件流匹配精修隐变量，在 VGGSound 上把分类准确率从 38.40% 提升到 49.14% 并降低音频重建误差，代价是两阶段训练与解码器深度需要权衡。