多模态学习

Apertus 1.5 用继续预训练把 Apertus 1.0 扩展为能读图像和音频、上下文到 262144 词元并带可选思考模式的完全开放模型，最强证据是 8B 思考模式把 MATH-500 从 51.2 提高到 71.4，代价是图像细节重建变粗、音频能力仍落后同规模音频模型且长上下文需专门恢复。

论文针对声音表情与画面不一致时生成式回答容易跟随视觉的问题，用共享 WavLM 编码上的视觉查询融合与直接时间积分两路组织输入同一解码器，在 CA-MER 平均指标 67.89 与 EmotionTalk 测试集 62.88% 等条件下验证了直接声学通路的作用，代价是增加 16 个声学 token 与混合任务适配的约束设计。

针对多模态情绪识别中 softmax 被迫自信的问题，论文提出每个模态输出狄利克雷证据并用 Dempster-Shafer 规则融合，在四个数据集上同时提升精度与校准，而代价是需要调冲突权重与 KL 退火且依赖条件独立假设。

针对标题标签描述字段结构与噪声不同以及单标量融合不区分通道的问题，FAM-Gate 用音频引导的字段注意力先聚合元数据，再用以音频为先验的向量门按维度融合，在 BSD 与 FSD50K 的匹配五种子评测中提升层级与宏平均指标，代价是总参数增加约 0.19% 与每样本多编码三个文本视图。

GeoMER 针对语音加文本情绪识别中细粒度跨模态对齐与抽象情绪结构难以兼顾的问题，用欧氏分支做词元级融合、用双曲几何核心路由组织抽象情绪表示，在 IEMOCAP 四分类上报告 83.54% 加权准确率和 83.35% 非加权准确率，代价是双分支与双曲运算带来的额外复杂度。

论文要解决声源运动时左右声道空间线索不跟着画面走的问题，用运动轨迹同时约束视频和立体声音频的 StereoBind 在 StereoWorldBench 上取得更好的空间一致性，同时保持整体视听质量，结论只在该合成监督与评测条件下成立。

论文用同一 BiLSTM 融合结构参加六个步态与音视频抑郁检测子赛道，发现约 150 词的人格描述带来约 0.5 的赛道分提升，而领域微调大模型虽提高二分类一致性却破坏 PHQ-9 回归校准，在每队列不足百人时小容量加深集成更稳妥。

针对鸡尾酒会中从脑电解码注意对象的问题，Merit 用去均值相关打分堵住音频捷径，用分流打乱与 Shapley 值度量每个输入的贡献，在 MAESTRO 上达到四选一 0.82 与未见被试 0.74 的准确率，同时发现加入行为信号流会让脑电的贡献几乎减半。

论文把图像、语音、文本、蛋白质序列与结构都写成固定二进制码，用同一套高斯加噪、按比特预测和部分去噪流程训练一个去噪器，通过控制哪些比特可见来切换联合生成与不同条件生成，并在受控加法、语音文本与蛋白质三组实验中验证一致性与主要代价。

针对电子喉语音与正常语音差异大导致序列到序列转换表示不稳的问题，论文用第一阶段语音文本对比对齐加融合、第二阶段把融合表示作为固定教师蒸馏给纯语音编码器的方法，在两个小规模日语患者数据集上优于纯语音和普通多模态基线，但结论只在原文的数据划分、合成数据增强和评价工具条件下成立。

论文针对全模态问答中感知到却用不上的问题，用词级对齐诊断定位生成可及性瓶颈，再以自我生成的模态描述补足弱模态，主要证据是跨七个模型的平均提升与弱模态对齐回升，代价是增加描述生成开销。

PAG-Agent 用最爱的歌曲与用户背景先提炼显式审美档案再生成专辑，并在 Personal-100 上用一致性与特异性指标验证个性化效果，而通用音质并未同步提升。

论文针对融合模型从双模态到三模态时性能下降的模态抑制问题，提出先做小波分解提纯单模态再做结构感知图传播与交叉加权融合的 MMWave，并在四个数据集上以全排序检索验证效果与开销。

X-AVDD 针对配对音频-视觉数据集蒸馏，用先训练带双向交叉注意力的教师模型再按类匹配交叉注意力后嵌入的方法合成每类少量样本，在四个音频-视觉事件识别基准上提高小数据训练精度，并把合成总耗时从 10 小时降到 1.3 小时。

论文要解决竞争说话人下目标难分离且分阶段放大易放大残留干扰的问题，用目标说话人视频加听力图端到端估计 NAL-R 与 WDRC 目标，最强证据是噪声下客观与听感在竞争语音条件提升最大，代价是整句离线处理与视觉编码器带来约 232 GMACs 计算量。

AuraSE 针对生成式增强会改写内容与说话人的问题，用双流文本声学网络约束内容，再把不同解码配置产生的候选差异变成在线偏好训练信号，在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分，部署时只用固定 10 步 ODE 解码。

针对联合训练中某一模态主导而其他模态欠优化的问题，论文用相对函数进度校准跨模态比较，并通过重分配响应预算与张量级学习率进行闭环调节，在六个数据集上报告了准确率提升，但额外参考构造与探测开销需要分开评估。

针对多模态推理中全量编码浪费算力的问题，SeMARC 用增量融合器 SeMA 逐个执行被选分支并给出前缀预测，再用控制器 ARC 决定下一个取哪个模态或停止，在六个分类数据集上以更少算力保持或提升宏 F1，但结论只在跨被试划分、批量为 1 和原文成本口径下成立。

Evi-VN 针对多种图神经网络共有的难分节点，用路由器筛选后再以两类虚拟节点注入校准后的外部证据，在 MGTAB 等六个任务上提升配对基线，但增益依赖路由与证据质量且部分数据集存在可分性偏强等限定。

针对用户级标注与视频级行为异质性不一致的问题，BehavDep 用 TopK 稀疏自编码器拆分视频表征并对齐抑郁行为概念，再学视频级倾向分数做加权聚合，在 MUD3 和 DAIC-WOZ 上取得最高准确率与 F1，代价是两阶段训练与概念集依赖文献先验。