音视频

针对开放词汇情绪推理中全局音频编码丢失话语内微韵律的问题，AcoustEmo 用时间戳同步滑动窗口加话语感知声学 Q-Former 提取片段级声学 token，在 EMER-Fine 上取得平均 67.55 分的最佳可运行结果，代价是依赖转写时间戳且需同时保留全局分支。

针对在线视听目标说话人提取中选错人且会议泛化差的问题，该研究把嘴部特征接到个性化增强模型的说话人条件输入并联合微调，在无未来帧与 20 ms 算法延迟下把 46% 的混淆降到 1.6%，并在会议上拉开分离差距与 0.57 和 0.63 MOS 整体质量提升，代价是仅在双人混合上微调且未报告设备端真实耗时。

该工作在 Whisper 加自注意力音视融合基线上对比前缀拼接、交叉注意力和门控加权三种注入方式，用噪声嵌入管融合、用说话人嵌入管解码，在 LRS3 多噪声条件下相对基线取得噪声与说话人适配增益并相对 AV-HuBERT 取得优势，代价是额外参数与推理耗时且两类嵌入信息冗余而无法叠加。

针对口语英语评分数据稀缺问题，论文用 16 专家混合专家分工捕捉多模态线索并以一阶 MAML 学可快速适应的初始化，在 ETS Vericant 上 SEE 总分达到分类 F1 84.88% 与回归 MSE 0.225，代价是仍依赖预训练特征且切段可反映整段的假设待验证。

该文在视觉条件扩散语音先验的去噪分数匹配损失上并联对称 InfoNCE 对齐损失，在匹配与跨数据集失配测试中提升干扰抑制与重建，代价是对视觉输入依赖更强且对比权重需仔细平衡。

针对背景噪声与帧损坏会让融合偏向坏模态的问题，该研究用 Mamba2 加交叉注意力做带噪输入重建干净特征的预训练，在 RAVDESS 上显示噪声音频获益而视频基本保持，仅以视频小幅下降为代价。

针对视听目标说话人分离中判别法过平滑与扩散法需约 30 步迭代的问题，AV-FlowSep 用条件流匹配学习混合到干净梅尔谱的直线传输路径，在 VoxCeleb2 与 LRS2 的语音-语音和语音-噪声任务上以 1 步与 5 步推理取得可比或更优的感知质量与跨数据集稳定性，代价是仍存在面部条件带来的说话人混淆与声码器引入的轻微失真。

针对远场多说话人加噪声下目标说话人提取，论文采用第一阶段视听引导波束形成得到目标与干扰波束、第二阶段双分支跨波束注意力做互斥抑制，在自采真实录制集平均词错误率从 28.40% 降到 20.38%，代价是两阶段级联与双分支结构更复杂。

针对音视频特征同时需要时间敏感与语义敏感却被混在一起评的问题，该研究用野外视频构造时间扰动与语义编辑两条独立挑战，以 0.64 秒分块对角相似度的二选一准确率为证据，显示时间强者与语义强者并不重合，但生成式编辑引入的额外声学差异仍是代价。

针对音视频分路处理导致时间与语义错位的问题，该工作用帧级旋转位置编码加频率注入、跨帧块差异注意力与时间对齐跨模态注意力做对齐，在 AVSD 上报告 50.30% 准确率，但长视频描述性指标仍偏低且训练仅 1 轮。

针对含第三方干扰的自然双人对话在线音视目标说话人提取，该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器，在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%，代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。

针对模块化看脸零样本合成在训练用语音嵌入、推理用脸嵌入导致身份漂移的问题，论文用去语料痕迹的说话人编码器加双向脸声对齐，并在声学模型训练中同时约束嵌入空间与共享身份空间的一致性，最强证据是在保持可懂度的同时提升说话人相似性与一致性，代价是三阶段训练与多组损失权重需要协同调试。

EchoLoc 针对无声源框标注下热图模糊、阈值后处理难优化的问题，用空间与全局对比学习训练热图并从热图导出伪框来监督查询式框预测器，在 VGG-SS 上报告 36.36 cIoU 和 38.28 AUC，在 Flickr-SoundNet-Test 自适应指标上相对最优基线提升，但固定阈值 AUC 存在未胜出项且框质量依赖热图。

针对对话中各模态可靠性逐句变化的问题，EmoEUS 用上下文分布估计输出均值与方差并以 2-Wasserstein 距离显式监督方差，再按不确定性加权融合，在 IEMOCAP 上报告 74.33% 准确率与 74.36% 加权 F1，代价是需要延迟引入辅助损失并维护情绪与模态相关的分布簇中心。

该研究用三模态眼动实验检验普通话反语指责与反语表扬对眼睛和嘴注视分配与瞳孔大小的不同依赖，最强证据是反语指责在三模态下持续偏向眼睛而反语表扬正确理解时偏向嘴且在安静视听下看眼瞳孔更大，代价是单说话人、正确试次极不平衡与无基线瞳孔校正。

针对视频生成音频中时间对齐、多模态控制与细粒度语义难以兼得的问题，FoleyGenEx 在多模态扩散变换器上加入参考音频注入与多模态动态掩码并配副词增强数据，在 AudioCaps、VGGSound 与 Greatest Hits 上保持同步的同时扩展了文本控制、音频控制与续写能力，代价是更复杂的训练配比与推理条件构造。

针对无监督声脸关联中的跨视频假负冲突与模态私有噪声干扰，GMOD 用全局相似图挖掘多正样本做对比学习并用正交解耦分离共享身份特征，在 VoxCeleb1 上报告验证 AUC 为 87.73%，代价是每轮需重建全局图与调控邻居数 k。

针对语音、文本、视频情绪标签经常不一致的问题，MoLD 为每个模态单独预测标签分布再与融合表示拼接做最终判断，在 EmotionTalk 七分类上多模态达到 58.96% UAR 和 59.67% F1，代价是需要模态级标注和三路编码加两步交叉注意力的额外开销。

针对视听语音增强中 SI-SNR 与人耳感知不一致的问题，该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励，用 PPO 微调 AVSEC-4 个基线，在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出，代价是奖励文本模式较固定且需额外大模型推理开销。

针对音视频局部短时伪造易被全局池化稀释的问题，MS-GNN 把视频切成 400 ms 非重叠窗口建异构图并做自下而上聚合与自上而下回注，用视频级主损失加窗口级辅助损失训练，在 LAV-DF 上报告 98.12% 准确率与 99.81% AUC，在 FakeAVCeleb 上准确率 93.20% 而 AUC 最高为 96.75%，代价是依赖 …