多模态学习

针对鸡尾酒会中从脑电解码注意对象的问题，Merit 用去均值相关打分堵住音频捷径，用分流打乱与 Shapley 值度量每个输入的贡献，在 MAESTRO 上达到四选一 0.82 与未见被试 0.74 的准确率，同时发现加入行为信号流会让脑电的贡献几乎减半。

论文把图像、语音、文本、蛋白质序列与结构都写成固定二进制码，用同一套高斯加噪、按比特预测和部分去噪流程训练一个去噪器，通过控制哪些比特可见来切换联合生成与不同条件生成，并在受控加法、语音文本与蛋白质三组实验中验证一致性与主要代价。

针对电子喉语音与正常语音差异大导致序列到序列转换表示不稳的问题，论文用第一阶段语音文本对比对齐加融合、第二阶段把融合表示作为固定教师蒸馏给纯语音编码器的方法，在两个小规模日语患者数据集上优于纯语音和普通多模态基线，但结论只在原文的数据划分、合成数据增强和评价工具条件下成立。

论文针对全模态问答中感知到却用不上的问题，用词级对齐诊断定位生成可及性瓶颈，再以自我生成的模态描述补足弱模态，主要证据是跨七个模型的平均提升与弱模态对齐回升，代价是增加描述生成开销。

PAG-Agent 用最爱的歌曲与用户背景先提炼显式审美档案再生成专辑，并在 Personal-100 上用一致性与特异性指标验证个性化效果，而通用音质并未同步提升。

论文针对融合模型从双模态到三模态时性能下降的模态抑制问题，提出先做小波分解提纯单模态再做结构感知图传播与交叉加权融合的 MMWave，并在四个数据集上以全排序检索验证效果与开销。

X-AVDD 针对配对音频-视觉数据集蒸馏，用先训练带双向交叉注意力的教师模型再按类匹配交叉注意力后嵌入的方法合成每类少量样本，在四个音频-视觉事件识别基准上提高小数据训练精度，并把合成总耗时从 10 小时降到 1.3 小时。

论文要解决竞争说话人下目标难分离且分阶段放大易放大残留干扰的问题，用目标说话人视频加听力图端到端估计 NAL-R 与 WDRC 目标，最强证据是噪声下客观与听感在竞争语音条件提升最大，代价是整句离线处理与视觉编码器带来约 232 GMACs 计算量。

AuraSE 针对生成式增强会改写内容与说话人的问题，用双流文本声学网络约束内容，再把不同解码配置产生的候选差异变成在线偏好训练信号，在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分，部署时只用固定 10 步 ODE 解码。

针对联合训练中某一模态主导而其他模态欠优化的问题，论文用相对函数进度校准跨模态比较，并通过重分配响应预算与张量级学习率进行闭环调节，在六个数据集上报告了准确率提升，但额外参考构造与探测开销需要分开评估。

针对多模态推理中全量编码浪费算力的问题，SeMARC 用增量融合器 SeMA 逐个执行被选分支并给出前缀预测，再用控制器 ARC 决定下一个取哪个模态或停止，在六个分类数据集上以更少算力保持或提升宏 F1，但结论只在跨被试划分、批量为 1 和原文成本口径下成立。

Evi-VN 针对多种图神经网络共有的难分节点，用路由器筛选后再以两类虚拟节点注入校准后的外部证据，在 MGTAB 等六个任务上提升配对基线，但增益依赖路由与证据质量且部分数据集存在可分性偏强等限定。

针对用户级标注与视频级行为异质性不一致的问题，BehavDep 用 TopK 稀疏自编码器拆分视频表征并对齐抑郁行为概念，再学视频级倾向分数做加权聚合，在 MUD3 和 DAIC-WOZ 上取得最高准确率与 F1，代价是两阶段训练与概念集依赖文献先验。

论文把多模态情绪理解改写为从感知到认知评估再到情绪的推理链，用 CogEmo-40K 做监督、用稀疏 CogEmo-MoE 做适配、用 AEQS 做评估，在自建基准上得到 70.60 分 AEQS 与 71.43% 准确率，但结论只在给定数据分布和评测流程下成立。

针对双人混合语音加目标说话人唇部视频的分离任务，GAANet 让音频做逐级降采样而视频保持原时间分辨率，并用压缩到单时间点的全局令牌回头调制各尺度特征，在 LRS2 上达到 16.5 dB SI-SNRi，代价是 3.3M 参数和 19.8G MACs。

论文研究强噪声下用 spoken 示例指定关键词的检测问题，用门控交叉注意力把唇动证据加进查询音频，并在 MISP-QEKS 上证明只有音素承载的视觉表示配合注入式融合才能在 -10 dB 取得大幅等误率下降，但增益依赖编码器与干净注册条件且训练需约 72 小时单卡成本。

论文针对逐查询指标和损失不管跨查询相似度是否可比的问题，提出把全部查询候选对放在一个全局排序里优化的平滑损失 gSAP，用去掉小负相似度的策略控制二次代价，在跨模态对齐、自监督预训练和度量学习中提升全局精度并改善单阈值下的判定。

针对两两对比表示在三个以上模态下会丢掉必须联合观察才能出现的协同信号的问题，HRIL 用跨模态经验交叉矩张量加 Tucker 分解刻画多路交互，并用防止核心能量集中的协同正则保留高阶容量，在受控合成任务和多模态基准上做线性探测评估，代价是训练每步要多算张量构造与分解的时间。

针对同一融合通路难以适应不同输入证据组合的问题，InstMoE 用五个单模态与跨模态专家加实例路由和对比语义对齐，在 CMU-MOSEI 与 CH-SIMS v2 上以 3.49M 至 3.53M 参数取得有竞争力的情感预测结果，但结论只在固定预提取特征与官方划分条件下成立。

针对多模态分类中观测标签含噪时难以判断样本是否可信的问题，REFINE 用目标与背景判别分析构造判别特征向量并按类挑选可信表示空间再做标签一致筛选，在七个数据集的多类噪声下提升了分类精度，但结论只在原文的融合结构与筛选节律下成立且个别噪声设置下并未全面领先。