音视频

论文要解决的是把偶然发现的次声驱动金属失真现象 CLSTR0 从打击乐演奏中剥离出来，做成可长期自主发声又允许随时插手的混合乐器装置 CLSTR1，其最强证据是 9 到 34 Hz 激励下金属碗在膜上自主爬行并调制音景的三种艺术实现，代价是位置极敏感、不可参数化且尚无观众交互的系统测量。

针对 CLIP 视频文本检索丢弃音轨且 AST 类编码器不理解语音的问题，SAVE 用 Whisper 转写加 CLIP 文本编码的语音分支与 ImageBind 软监督的 soft-ALBEF 先对齐再融合，在五个基准上超过 AVIGATE 等基线，代价是依赖 ASR 可用性与离线三分支特征抽取。

针对多模态意图识别中固定维度信息瓶颈难以适应样本级冗余与噪声、且把两者混在一起压缩的问题，SeD-UD 用影响因子驱动的自适应瓶颈做单模态去冗余与融合后统一去噪，在 MIntRec 加权精度 73.96% 等指标上报告最优，但文本增强基线与情感泛化边界仍是代价与限制。

论文提出连续环境语义视听导航任务 SAVN-CE 与记忆增强模型 MAGNet，用自运动线索加情景记忆维持静音后目标推理，直接报告最高 12.1 个百分点成功率提升，代价是 128 线程加 4 卡约 14 天训练与干扰声下增益收窄。

针对对比掩码自编码中随机可见块污染全局表示的问题，TG-DP 把重建与对比拆成两条掩码不同的前向路径并用全量教师做蒸馏与引导掩码，在 AudioSet 检索上把 R@1 从 35.2% 提升到 37.4% 和从 27.9% 提升到 37.1%，代价是每轮预训练时间从 730 s 增加到 1045 s 且推理前需丢弃教师分支。

针对 CLIP 固定提示 a photo of a 与音频嵌入 token 语义脱节的问题，SOUPLE 用图像特征经 Meta-net 生成的可学习上下文替代固定词，在 VGGSound-144K 训练下提升 VGG-SS 与 SoundNet-Flickr 定位与 AVSBench 单源分割，但在无类别监督的多源 MS3 上出现过分割代价。

论文针对语音内容与视频画面的语义和时间对齐问题，构造 2405 个问答的 SVHalluc 基准并测试多款音视频大模型，最强证据是 Gemini-2.5-Pro 在全局语义对齐上达到 93.10% 而多数开源模型徘徊在 50% 附近，代价是开源模型跨模态绑定能力仍接近随机且需额外的人工核验构造流程。

SyncDreamer 针对只有离散情绪标签和依赖姿态中间表示导致动作僵硬的问题，用视觉适配器保身份、音频动态编码器抓节奏能量、跨模态提示增强器把文本变成动作指令，在 HDTF、AVSpeech 人像和 EMTD 半身基准上报告了最优的真实感与同步指标，代价是两阶段扩散训练与更长的提示构造链路。

针对音视频时间同步被忽视且掩码自编码重建模糊的问题，SyncStream 用隐空间对比掩码自编码学紧凑对齐表示再用条件流匹配精修隐变量，在 VGGSound 上把分类准确率从 38.40% 提升到 49.14% 并降低音频重建误差，代价是两阶段训练与解码器深度需要权衡。

针对只有全局共有与单模态私有两类表示会漏掉仅在两个模态之间成立的情感协同的问题，论文把表示分成公共、两两共享、私有三路并用子空间感知交叉注意力融合，在对齐与非对齐条件下报告了更低的平均绝对误差与更高的细粒度准确率，代价是更多分支与正则项需要逐项验证。

针对以人为中心联合生成中唇同步偏差与语义情绪脱节，UniAVGen 采用对称双分支加不对称跨模态交互、面部感知调制与模态感知引导实现单模型多任务生成，论文报告在更少联合样本下取得音色与情绪一致性优势，同时存在主体一致性未胜出与大模型打分客观性不足等边界。

针对带同步音频的视频生成缺乏联合评测的问题，VABench 用文本到声画、图像到声画与立体声三类任务和专家加多模态大模型的十五维评估组织测试，报告显示端到端音视频模型在对齐与细粒度问答上占优而语义同步真实感难以兼得，且立体声空间分离均不可靠。

针对跨生成器泛化难的问题，论文用音频条件扩散模型的 DDIM 反演重建差异与音频视觉交叉注意力做双路检测，在 MMDF 未见生成器与外部基准上取得领先，但单次反演约一分钟的计算开销是主要代价。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对全模态情感推理中模型过度依赖视觉而忽视声音与文本的模态坍缩问题，该工作用带引导词的结构化推理数据做冷启动，再用基于引导词熵的奖励做强化学习校准模态使用，在四个情感基准上取得多项最优并保留通用能力，代价是对极端长尾类别与强模态冲突仍敏感。

针对多模态大模型做音视频语音识别时视觉时间建模粗糙且深层解码逐渐丢失时序的问题，论文用编码端时间感知注意力和解码端分层时间 token 堆叠来补时间信息，在 LRS2 与 LRS3 上把纯视觉识别词错率做到更低，代价是只在英语离线句子级条件下验证且增加了投影与注意力模块的开销。

CMTD 针对纯文本与浅层推理在对话情绪识别中误判复杂思维模式的问题，用多智能体分别提取大五人格特质、四步认知扭曲、表情与语音描述再融合预测，在 MELD 与 IEMOCAP 零样本条件下报告优于同条件基线的准确率，同时以多轮大模型调用带来明显更高的时间与费用开销。

针对音视频时间伪造定位中边界模糊、伪造稀疏和长距离衰减问题，DeformTrace 用可变形自扫描、中继令牌与可变形交叉扫描改造状态空间模型，在 LAV-DF 与 AV-Deepfake1M 上取得精度与效率优势，但依赖冻结特征与固定超参数组合。

EmotionTalk 用 19 名演员主题即兴的 23.6 小时双人对话同时给出 7 类离散标签、连续强度与四维说话风格描述，并以单模态、多模态融合与生成式描述三类基准验证了跨模态不一致带来的难度与融合的必要性。