音视频

针对连续音频视觉流没有人工话语边界且切分不准、模态质量不稳的问题，AGF-Net 用自动切分加音频引导融合、预测式动态融合与多模态负学习的组合，在 IEMOCAP 四类情绪上干净条件达到 64.92% 准确率与 65.47% F1，中度噪声下保持 62.13% 与 63.08%，代价是仍需预热调度与可靠性估计且严重噪声下准确率会被反超。

针对文本生成同步音视频时每步都要联合去噪成本过高的问题，CAVC 在检测到音频预测进入可缓存区间后只复用音频去噪输出并跳过跨模态注意力、让视频继续精修，最后恢复几步联合去噪，在三套基准上实现 1.10-1.35 倍实测加速并改善部分动态指标。

论文把换说话内容看成音频与嘴部运动的局部配合问题，用 SyncSpeech 控制说话人是否相同来建库，用 C-MIND 做帧级对齐比较，在库内达到 95.813% 场景平均准确率和 0.9943 AUC，但换到未见过的 Video-Retalking 生成器时掉到 82.775%。

针对训练用完整文本视觉音频而测试缺模态会大幅掉点的问题，MERP 把可用证据先压缩到固定隐变量库再做深层推理并用类别读出与融合保住多标签证据，在 20% 随机缺失下取得 0.563 与 0.780 的 micro-F1 并在音频单模态下避免崩溃，代价是更复杂的原型与多分支训练目标。

MOSAIC 用 923 个跨文本图像视频音频的多会话问题和冻结读者与预算的配对干预，定位证据在表示压缩、检索缺失、打包丢弃和阅读整合哪一段丢失，最强证据是空间结构不可被文本替代，代价是合成历史与视频小样本下的结论仍受限。

StreamEval 用 300 个定时交互用例考查边生成边响应能力，发现好看和像本人不等于听指令，最高请求执行分也只有 36.90、25.93 和 15.00，而完整编辑还要同时付出保源和保时的代价。

EvaOmni 针对只看答案无法判断是否真用了音视频证据的问题，构建 392 个视频 1027 道需定位双模态证据的选择题并用覆盖分和瓶颈分同时考核答案与定位，最强模型 Gemini3.7-Flash 总体准确率 79.4% 但精确接地仅 35.1%。

针对通用语音编码器缺少可见发音几何约束的问题，CASE 用韩语语音-唇部网格对做短片段对比适配，再以残差交叉注意力把纯音频互补特征注入四种原有动画生成器，在英文 VOCASET 上把唇部顶点误差平均降低 2.8-6.0%，代价是增加约 132-135 MB 显存和额外端到端延迟。

在固定检测器下比较对数滤波器组与冻结语音自监督表示，六层加权浅层执行在生成器不相交测试上平均达到 90.61% 宏 AUROC，并在长输入上降低推理延迟。

论文针对整段视频的语音-视觉时间判断失败问题，用不训练的局部验证加语音时刻聚合做诊断，在 SVHalluc 上显示同一冻结模型局部证据可用而整体问答不可靠，对照显示查询与时刻锚点的作用，但干预同时改变了输入、调用次数与读出方式。

本文把下游任务分成读独立信息和读共享内容两类，推导出音频视频联合嵌入应服从的相关高斯目标，并用白化后的分布正则加局部预测全局来训练，在音频视频分类的冻结探测和微调中与开源基线相当。

论文研究 FakeAVCeleb 与 LAV-DF 两来源已知来源且数量不均衡时的音视频伪造检测，用 MSCT 之前分出共享流和来源私有流再做门控残差融合，主证据是两种配比下宏平均 AUC 和最差来源 AUC 的提升，代价是推理依赖来源标识且私有专家随来源数增加。

针对长推理会稀释定位证据的问题，论文提出先自由推理再压缩成目标相关短语境然后作答的三段流程，并用四阶段强化学习逐步训练，在六个定位基准上做了零样本验证。

论文把构音障碍音视频识别从单词级推到句子级，用搜索切分从原始视频造出对齐语料，再用无标注的测试时适应逐句调模型，在未见说话人上多数条件下降低字错率，但绝对误差仍高且依赖预训练基础。

针对生成视频难以靠生成痕迹区分的问题，该工作用音频与卷帘快门视频中的电网频率漂移一致性来认证拍摄真实性，并在参考匹配与双轴编排下验证了其条件与代价。

Jarvis 为全双工语音智能体增加独立协调层，用版本化任务账本加代码校验管住并发修改，在前端和后端都不变时把 τ-Voice 从 29 题提升到 192 题，但及时取消仍受工作器完成速度限制。

针对视频中发声线索细小且分散的问题，SCR-V2A 先定位与声音事件判别相关的图像区域再做双路视觉条件去控制音频扩散模型，在 VGGSound 上分布匹配最好、在 CountixAV 上保持泛化，但跨模态对齐并非全面最优且依赖定位质量。

针对视频广告结构化信息抽取中均匀采样冗余大、关键镜头易漏检的问题，AdaFrame 用哈希投票、感知相似度和语义聚类三级去重加自适应帧预算，在 500 条 Pitt 广告上把平均帧数压到 24.6 帧并把情感准确率做到 79.4%，代价是需要先算 CLIP 嵌入和音频转写等预处理开销。

论文针对联合生成中多事件、多层音频与非对称跨模态关系的一致性评价难题，提出从粗到细的三层事件级指标并做成可训练的奖励模型 AVC-Reward，在 706 样本的 AVC-Benchmark 上与人类判断最接近，并能作为在线强化学习信号提升联合生成的一致性，但提升幅度依赖评测分布与文本对齐等权衡条件。

针对真实混响噪声加多人交叠下视觉也可能不可靠的问题，该文用双视觉流粗分离保留目标混响与底噪、再用混合加粗估计做目标提纯并做线性融合，在挑战赛两条赛道上以 12.31% 和 14.79% 的字错率取得最低，同时付出提纯后部分客观分离指标下降再由融合找回的代价。