多模态学习

FXplorer 针对离散预设难以覆盖连续音色变化的问题，用离线随机采样加 CLAP 与 AFx-Rep 双嵌入降维构建可试听二维地图，2 秒干声生成 100 个变体在 CPU 上约 36.95 秒，代价是无用户对照评估且跨效果链插值仍需手动重选端点。

针对声源定位中特征匹配缺少显式验证的问题，该研究用 Qwen2.5-Omni-7B 的提示工程实现生成-分析-精修三阶段零样本定位，在 MUSIC 与 VGGSound 单源和双源基准上报告了可比或更高的精度，代价是单样本约 4 秒的多轮推理开销。

该文把音乐风格迁移拆成视觉文本联合定风格与色度约束保旋律两件事，用无反演流直接搬运隐变量并以内层梯度拉回音高结构，代价是旋律锚定越强时目标风格贴合会轻微下降。

针对多声源视频中只生成文本指定声音的选择性视频到音频任务，SELVA 用文本调制的视频编码器加两阶段自监督混合训练实现目标声源分离生成，在 VGG-MONOAUDIO 上同时改善语义与时间对齐，但仍受训练数据噪声与细粒度文本理解限制。

论文把视听空间推理定义为超越语义匹配的定位与关系判断，用 SoundSpaces 2.0 渲染的全景图加双耳音频构造 100 万问答对并训练连接视觉与空间音频编码器的大语言模型，在语义错位与多同类目标场景上报告了双耳相对单耳的定向优势，但分类精度仍远低于 Oracle 且依赖仿真场景。

该文要解决固定映射跟不上舞者个体与动作质感变化的问题，选择把动作变分自编码器编码器与 RAVE 音频解码器冻结后只学一个轻量对齐层并由舞者二值反馈门控更新，探索性会话显示连续性动作的感知连贯性有所改善而重音与停顿仍常失配。

针对音视频单侧与异步伪造在对称融合中互相污染边界的问题，IaMSB 用粗桥提候选、见证桥估一致性并分配步数与事件数、精炼桥做步数可调融合，在 LAV-DF 上 AP@0.95 达到 55.92、AV-Deepfake1M 上 AP@0.95 达到 23.01，代价是需要维护跨模态耦合统计与两级步数预算。

该文在 AVEC2014 上用固定的两层感知机隔离融合设计的影响，以线性加权平均管模态可靠性、有序加权平均管特征显著性做向量保留式联合加权，在分类取得 85.7% 准确率与 0.88 的 AUC、回归取得 8.1 的均方根误差与 0.44 的一致性相关系数的同时，在 0 分贝强噪声下仍保持相对可控的退化，代价是可靠性打分依赖的信号质量指示与排序后权重构造细节 …

针对音视频问答中共享嵌入检索错位与单跳图证据太浅的问题，论文用三步多智能体构造多跳多模态知识图并以模态内检索加 GRASP 接地剪枝供给答案有用子图，在 AudioCaps-QA、VCGPT 和 VALOR 上一致提升但强依赖阈值与外部接地模型。

论文提出只用原始音视频判断最后说话人在跟谁说话的 Omni-MMSI 任务，并用参考引导的工具抽取加两步思维链推理的 Omni-MMSI-R 解决身份归属难题，在 Ego4D 和 YouTube 上取得报告的最优准确率，代价是需手工构建参考对和过滤生成推理标注。

该工作针对统一视频文本到音频生成中音频歧义导致的数据语义冲突与跨任务和任务内竞争，用高对齐的 SoundAtlas 数据做语义桥并以三阶段渐进训练解耦竞争，在 VGGSound-Omni 上实现三任务统一最优，但强依赖数据流水线质量与分阶段训练成本。

针对只有音乐无法做空间与风格精细控制的问题，论文用 100.26 小时多模态 OpenDanceSet 与解耦词元加联合掩码预测的 OpenDanceNet 实现音乐加文本加关键点加轨迹的任意组合生成，在 AIST++ 与 OpenDanceSet 上取得更优保真与节拍对齐，但精修带来保真指标与物理指标的权衡。

论文提出第一人称自我情绪追踪任务，用 110 小时智能眼镜数据的开放词表时间线与五任务基准支撑 OSIRIS 模型，该模型以对话历史加情绪记忆加分步推理取得领先，但仍受日常社交场景与文化覆盖限制。

针对多模态微调中文本主导参数更新的问题，论文用单矩阵隐式分区加解耦与对齐两个梯度约束来恢复平衡，在音频视觉文本等任务上提升精度且保持与标准 LoRA 相同的可合并参数量与推理结构。

针对多人交互中只建模说话或只建模双人的不足，PolySLGen 用过去全组语音与动作为条件联合生成目标人的文本、语音风格、身体动作和说话状态分，证据是动作与说话状态预测上优于多个基线，代价是推理约 5 帧每秒且说话状态预测仍困难。

论文用两阶段合成字幕数据引擎和覆盖八到十组跨模态对的对比学习训练 PEAV，在零样本声音音乐语音视频检索分类上取得最强证据，但代价是 92M 加 32M 数据与大音频编码器和长视频推理成本。

针对 CLIP 视频文本检索丢弃音轨且 AST 类编码器不理解语音的问题，SAVE 用 Whisper 转写加 CLIP 文本编码的语音分支与 ImageBind 软监督的 soft-ALBEF 先对齐再融合，在五个基准上超过 AVIGATE 等基线，代价是依赖 ASR 可用性与离线三分支特征抽取。

针对多模态意图识别中固定维度信息瓶颈难以适应样本级冗余与噪声、且把两者混在一起压缩的问题，SeD-UD 用影响因子驱动的自适应瓶颈做单模态去冗余与融合后统一去噪，在 MIntRec 加权精度 73.96% 等指标上报告最优，但文本增强基线与情感泛化边界仍是代价与限制。

论文提出连续环境语义视听导航任务 SAVN-CE 与记忆增强模型 MAGNet，用自运动线索加情景记忆维持静音后目标推理，直接报告最高 12.1 个百分点成功率提升，代价是 128 线程加 4 卡约 14 天训练与干扰声下增益收窄。

Soul 针对单帧人物图加文本加音频的人体动画任务，在 Wan2.2-5B 上新增音频注意力并用关键帧表示、段间重叠与阈值码本维持长时一致，再用步数蒸馏与轻量 VAE 加速，在 Soul-Bench 的开源对比与商用人评中取得优势，代价是复杂全身大动作仍可能出现伪影。