音视频

针对文本主导、音频视觉被压制且噪声鲁棒性差的问题，EBMC 用解耦加补偿先增强弱模态、再用能量协调与样本级信任蒸馏拉平贡献，在 MOSI/MOSEI/IEMOCAP 上取得可复述的提升，代价是两阶段多损失联合调参与额外蒸馏计算。

针对视频问答中被动看帧、忽视音频的问题，该工作用跨模态未来与过去摘要预测做监督微调，再用对比式强化学习约束双模态联合推理，在 16 帧与 64 帧条件下以 7B 与 8B 规模在四个音视频基准上达到与大闭源模型可比的水平，代价是两阶段推理延迟高于单阶段模型。

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

该工作以微分音杠杆竖琴 Harp-E 为起点，用配重鱼线和悬挂织物做机械扩展，再让合成延续拨弦、持续激励与杠杆弯音的发声逻辑，在多媒体即兴演出 De-dimension 中实现可参与的多模态乐器环境，代价是未做定量评估与延迟测量，仅为概念验证。

论文针对音视频大模型单模态理解强但跨模态细粒度时间推理弱的问题，构建包含对齐、低层关系与区间描述的三层基准 FAVE，用 3557、4546、1781 组问答证明十三款模型在联合时序任务上明显落后于人类，而增加采样帧数不能消除该差距。

论文把唇同步拆成一步潜空间图像编辑器与音频到唇姿态变换器，用纯重建加流匹配代替对抗与扩散，并在重建与跨音频评测中以 109.41 帧每秒的单卡速度达到可比的同步与保真，代价是遮挡与极端姿态仍待加强。

FO2 用线激光做光扬声器、太阳能板做光麦克风加 Bela Gem 与 SuperCollider 构成光反馈回路，靠距离角度反射控制反馈状态，但代价是高度依赖暗空间与反射条件且无定量声学评估。

针对视频生音频中多事件时间不可控与画面线索不足的问题，FoleyDirector 用 1 秒一段的结构化时间脚本加适配器做细粒度时间控制，在 DirectorBench 上把总体 F1 从 0.2451 提升到 0.4819，代价是需要逐段脚本标注与双路推理。

问题是弱监督时间伪造定位中训练只做整段二分类而推理要输出边界，方法选择两阶段分类回归加隐属性分解与时序图精炼，最强证据是在两个基准上平均 mAP 分别提升约 8% 和 4%，代价是定位阶段引入约 45M 回归参数与伪标签噪声管理。

针对声源定位中特征匹配缺少显式验证的问题，该研究用 Qwen2.5-Omni-7B 的提示工程实现生成-分析-精修三阶段零样本定位，在 MUSIC 与 VGGSound 单源和双源基准上报告了可比或更高的精度，代价是单样本约 4 秒的多轮推理开销。

针对联合扩散中双路噪声导致的对齐漂移，Harmony 用音频驱动与视频驱动辅助任务提供干净锚点，并以全局局部解耦交互与同步增强引导提升细粒度同步，主结果报告 Sync-C 为 5.61、Sync-D 为 7.53，代价是三阶段训练与双分支推理开销。

论文针对音频视觉评测偏重单轮感知的问题，提出感知—推理—交互三层基准并区分指令与上下文两种音频角色，用 2451 个样本和多轮任务图揭示语音指令推理弱于文本指令且交互成功率普遍偏低，代价是构造依赖人工标注而交互判定依赖大模型裁判。

针对多声源视频中只生成文本指定声音的选择性视频到音频任务，SELVA 用文本调制的视频编码器加两阶段自监督混合训练实现目标声源分离生成，在 VGG-MONOAUDIO 上同时改善语义与时间对齐，但仍受训练数据噪声与细粒度文本理解限制。

针对无声视频生成音频时语义错位与时间错位并存的问题，论文用音视频时间对齐加图文语义引导的流匹配扩散变换器做基座，再用 ImageBind 与 Synchformer 自动排序的偏好优化做对齐微调，在 VGGSound 测试集上以 151M 参数取得分布与同步指标的领先，但高帧率编码与多轮偏好迭代仍带来额外开销与过优化风险。

针对小时级视频上下文过长与朴素切分检索导致碎片化的问题，论文提出离线构建全局-场景-片段-实体四层索引并用说话人身份做跨模态实体黏合，再由智能体按需多粒度检索，在 LVBench 上以 30 秒粗切分与至多 10 步推理达到 84.1% 整体准确率，但高密度采样与多工具调用仍带来离线与在线开销。

该文用文本到图像与文本到音频模型构造 VGGSound 合成克隆并固定 ACL-SSL 做对比学习，验证同规模替代、合成图像配真实音频修正与 2 倍 3 倍混合扩展三类用法，最强混合配方相对纯真实基线提升约 8.62 cIoU、5.58 mIoU 与 12.16 IIoU，代价是合成音频弱于真实音频且纯合成需到 3 倍才稳定超越。

论文针对视频多模态大模型看人不细的问题，用两条自动标注与组装干扰项的流水线合成 16 个细粒度选择题，并在 30 个模型与人类基线上显示情绪与声画对齐仍远落后于人，且开放流水线把人工从出题转为验题。

论文要解决空间音频一次一建、难以公共复用的问题，用一套可搬运的扬声器与交互基建在亚特兰大地下城支撑 5 组学生作品，以 Since Everyone's a DJ 为案例验证多人手势协作演奏可行，但连续空间控制易被掩蔽且评价仍是小样本反思。

针对音视频单侧与异步伪造在对称融合中互相污染边界的问题，IaMSB 用粗桥提候选、见证桥估一致性并分配步数与事件数、精炼桥做步数可调融合，在 LAV-DF 上 AP@0.95 达到 55.92、AV-Deepfake1M 上 AP@0.95 达到 23.01，代价是需要维护跨模态耦合统计与两级步数预算。

针对长时长音频驱动全身动画的身份漂移与手部畸变问题，论文采用先生成低分辨率同步视频再用姿态引导精炼器恢复高分辨率的由粗到精路线，在全身集上报告图像距离 60.71 与手部置信度 0.90 等结果，代价是两阶段训练与大规模单人数据依赖。