音视频

问题是弱监督时间伪造定位中训练只做整段二分类而推理要输出边界，方法选择两阶段分类回归加隐属性分解与时序图精炼，最强证据是在两个基准上平均 mAP 分别提升约 8% 和 4%，代价是定位阶段引入约 45M 回归参数与伪标签噪声管理。

针对声源定位中特征匹配缺少显式验证的问题，该研究用 Qwen2.5-Omni-7B 的提示工程实现生成-分析-精修三阶段零样本定位，在 MUSIC 与 VGGSound 单源和双源基准上报告了可比或更高的精度，代价是单样本约 4 秒的多轮推理开销。

针对联合扩散中双路噪声导致的对齐漂移，Harmony 用音频驱动与视频驱动辅助任务提供干净锚点，并以全局局部解耦交互与同步增强引导提升细粒度同步，主结果报告 Sync-C 为 5.61、Sync-D 为 7.53，代价是三阶段训练与双分支推理开销。

论文针对音频视觉评测偏重单轮感知的问题，提出感知—推理—交互三层基准并区分指令与上下文两种音频角色，用 2451 个样本和多轮任务图揭示语音指令推理弱于文本指令且交互成功率普遍偏低，代价是构造依赖人工标注而交互判定依赖大模型裁判。

针对多声源视频中只生成文本指定声音的选择性视频到音频任务，SELVA 用文本调制的视频编码器加两阶段自监督混合训练实现目标声源分离生成，在 VGG-MONOAUDIO 上同时改善语义与时间对齐，但仍受训练数据噪声与细粒度文本理解限制。

针对无声视频生成音频时语义错位与时间错位并存的问题，论文用音视频时间对齐加图文语义引导的流匹配扩散变换器做基座，再用 ImageBind 与 Synchformer 自动排序的偏好优化做对齐微调，在 VGGSound 测试集上以 151M 参数取得分布与同步指标的领先，但高帧率编码与多轮偏好迭代仍带来额外开销与过优化风险。

针对小时级视频上下文过长与朴素切分检索导致碎片化的问题，论文提出离线构建全局-场景-片段-实体四层索引并用说话人身份做跨模态实体黏合，再由智能体按需多粒度检索，在 LVBench 上以 30 秒粗切分与至多 10 步推理达到 84.1% 整体准确率，但高密度采样与多工具调用仍带来离线与在线开销。

该文用文本到图像与文本到音频模型构造 VGGSound 合成克隆并固定 ACL-SSL 做对比学习，验证同规模替代、合成图像配真实音频修正与 2 倍 3 倍混合扩展三类用法，最强混合配方相对纯真实基线提升约 8.62 cIoU、5.58 mIoU 与 12.16 IIoU，代价是合成音频弱于真实音频且纯合成需到 3 倍才稳定超越。

论文针对视频多模态大模型看人不细的问题，用两条自动标注与组装干扰项的流水线合成 16 个细粒度选择题，并在 30 个模型与人类基线上显示情绪与声画对齐仍远落后于人，且开放流水线把人工从出题转为验题。

论文要解决空间音频一次一建、难以公共复用的问题，用一套可搬运的扬声器与交互基建在亚特兰大地下城支撑 5 组学生作品，以 Since Everyone's a DJ 为案例验证多人手势协作演奏可行，但连续空间控制易被掩蔽且评价仍是小样本反思。

针对音视频单侧与异步伪造在对称融合中互相污染边界的问题，IaMSB 用粗桥提候选、见证桥估一致性并分配步数与事件数、精炼桥做步数可调融合，在 LAV-DF 上 AP@0.95 达到 55.92、AV-Deepfake1M 上 AP@0.95 达到 23.01，代价是需要维护跨模态耦合统计与两级步数预算。

针对长时长音频驱动全身动画的身份漂移与手部畸变问题，论文采用先生成低分辨率同步视频再用姿态引导精炼器恢复高分辨率的由粗到精路线，在全身集上报告图像距离 60.71 与手部置信度 0.90 等结果，代价是两阶段训练与大规模单人数据依赖。

论文把多种自监督音频、视觉和音画特征冻结后只训练线性分类头，在科学数据集与野外数据上比较检测、异常检测、可解释定位与互补融合，发现含音频信息的表示泛化最好但野外数据仍困难，且随机特征也能靠捷径得高分。

论文研究无任务微调的说话脸生成，用冻结的稳定扩散加图像适配器做骨干并配三个无可训练参数的模块，在 CREMA 和 HDTF 上报告了最低的口型几何误差和最高的口型相关性，代价是依赖外部人脸先验与逐帧重绘加后滤波的推理链路。

iXeRemin 针对 Apple Vision Pro 用右手管音高与触发、左手管音量音色与和弦选择，并以频率调制合成与指尖标签和开放声音控制输出实现可复现的触空复调演奏，其代价是依赖特定头显硬件且本文未做演奏者可用性评估。

该文在 AVEC2014 上用固定的两层感知机隔离融合设计的影响，以线性加权平均管模态可靠性、有序加权平均管特征显著性做向量保留式联合加权，在分类取得 85.7% 准确率与 0.88 的 AUC、回归取得 8.1 的均方根误差与 0.44 的一致性相关系数的同时，在 0 分贝强噪声下仍保持相对可控的退化，代价是可靠性打分依赖的信号质量指示与排序后权重构造细节 …

针对事件相机记录的语音致振恢复语音的问题，论文提出两阶段振动到语音模型 EV2A，用 8 个 8×8 感兴趣区域做视觉前端加语音增强端到端训练，在真实薯片袋振动数据上相对事件版视觉麦克风降低词错误率 0.48 但仍保留金属感与表示损失等代价。

针对音视频问答中共享嵌入检索错位与单跳图证据太浅的问题，论文用三步多智能体构造多跳多模态知识图并以模态内检索加 GRASP 接地剪枝供给答案有用子图，在 AudioCaps-QA、VCGPT 和 VALOR 上一致提升但强依赖阈值与外部接地模型。

针对音视频大模型中一个模态错误污染另一模态描述的跨模态幻觉，MAD 用免训练的两步流程先让模型自评问题需要音频、视频还是两者，再用权重调节四路对比解码，在 CMM 和 AVHBench 上提升 VideoLLaMA2-AV 与 Qwen2.5-Omni 的准确率，代价是每步需计算多组 logits 且依赖模型自身判断的可靠性。

针对全模态大模型把一模态线索误用到另一模态提问以及过度依赖文本先验的问题，论文提出在偏好优化中加入不相关模态不变与相关模态敏感两项解耦约束并叠加纯文本惩罚，用自动构造的约 1.8 万偏好样本训练，在幻觉基准上报告最高约 27% 的匹配任务提升，而代价是每步增加无需梯度的损坏输入前向与四分之一轮数的训练预算控制。