多模态学习

论文把多模态情绪理解改写为从感知到认知评估再到情绪的推理链，用 CogEmo-40K 做监督、用稀疏 CogEmo-MoE 做适配、用 AEQS 做评估，在自建基准上得到 70.60 分 AEQS 与 71.43% 准确率，但结论只在给定数据分布和评测流程下成立。

针对双人混合语音加目标说话人唇部视频的分离任务，GAANet 让音频做逐级降采样而视频保持原时间分辨率，并用压缩到单时间点的全局令牌回头调制各尺度特征，在 LRS2 上达到 16.5 dB SI-SNRi，代价是 3.3M 参数和 19.8G MACs。

论文研究强噪声下用 spoken 示例指定关键词的检测问题，用门控交叉注意力把唇动证据加进查询音频，并在 MISP-QEKS 上证明只有音素承载的视觉表示配合注入式融合才能在 -10 dB 取得大幅等误率下降，但增益依赖编码器与干净注册条件且训练需约 72 小时单卡成本。

论文针对逐查询指标和损失不管跨查询相似度是否可比的问题，提出把全部查询候选对放在一个全局排序里优化的平滑损失 gSAP，用去掉小负相似度的策略控制二次代价，在跨模态对齐、自监督预训练和度量学习中提升全局精度并改善单阈值下的判定。

针对两两对比表示在三个以上模态下会丢掉必须联合观察才能出现的协同信号的问题，HRIL 用跨模态经验交叉矩张量加 Tucker 分解刻画多路交互，并用防止核心能量集中的协同正则保留高阶容量，在受控合成任务和多模态基准上做线性探测评估，代价是训练每步要多算张量构造与分解的时间。

针对同一融合通路难以适应不同输入证据组合的问题，InstMoE 用五个单模态与跨模态专家加实例路由和对比语义对齐，在 CMU-MOSEI 与 CH-SIMS v2 上以 3.49M 至 3.53M 参数取得有竞争力的情感预测结果，但结论只在固定预提取特征与官方划分条件下成立。

针对多模态分类中观测标签含噪时难以判断样本是否可信的问题，REFINE 用目标与背景判别分析构造判别特征向量并按类挑选可信表示空间再做标签一致筛选，在七个数据集的多类噪声下提升了分类精度，但结论只在原文的融合结构与筛选节律下成立且个别噪声设置下并未全面领先。

论文针对单耳大模型丢掉双耳方位线索、专用空间模型又缺乏通用理解的问题，用语义分支加空间分支的双分支编码器和分层语义到空间调制，在大规模合成双耳场景上训练，实测在真实空间推理上大幅领先且通用单耳任务基本不下降，但细粒度轨迹和多源计数仍明显变难。

该文针对开放词汇下每秒事件分类中视听相似度固定融合丢失自由度的问题，用复数卷积网络学习融合视听与文本相似度，并在冻结 ImageBind 上加 iHSV 与相位翻译两路辅助流，在 OV-AVEBench 未见类上达到 66.5/59.1/54.1% 的准确率/段级 F1/事件级 F1，代价是四流推理增加约 135 ms 延迟且跨数据集迁移不稳定。

PEACE 用 SLAP 配对音频编码器与两种 Faust 代码编码器，在 1-3 个效果串联的检索上打平并在外部混响库上远超已有音频表示，代价是长链泛化和弱效果上的不均衡。

该文研究不同结构的图文模型之间如何搬运任务能力，用与结构无关的亲和力改变量记录任务，再以最小二乘算子或低秩适配器写入目标，在加法上保留目标自身增益的七到八成，代价是控制集精度下降和在部分任务上几乎无效。

SEA-LM 针对可穿戴麦克风阵列的自我中心多声源场景，用 FOACoder 把可变阵列信号统一为一阶 Ambisonics 空间嵌入再与单声道语义嵌入联合输入大语言模型，在合成评测集上降低了方位角与俯仰角误差并改善了转写与检测，但结论只在仿真静态场景和 1211 种眼镜阵列配置内成立。

论文针对传统 softmax 门控与脉冲计算不兼容以及多模态输入缺失时选路脆弱的问题，提出基于侧抑制与不应期的 k-WTA 路由器和两阶段缺失模态补全，在视觉、语言与情感分析任务上以较低理论能耗达到与人工网络可比的精度，但结论依赖特定编码器、缺失模拟方式与理论能耗估计。

论文用 10000 次多指抓取数据研究抓起前三秒观察预测抓起后是否掉落的问题，对比模态与时序建模并以上线重抓门控验证，触觉尤其是高分辨率动态触觉带来可测提升但以更多传感与计算为代价。

问题是扩展新模态时文本检索遗忘与模型膨胀，方法选择是冻结文本主干并以其自身对密集级联标题的嵌入为教师目标，只训练投影器与编码器 LoRA，最强证据是 0.9B 保持 49.57 文本分并覆盖五新增模态、2.3B 以 51.39 总体均值超过闭源对照 49.51，主要代价是 0.9B 在语音音频图像视频上落后于更大开放多模态基线。

论文针对声音形式与交际功能混淆的问题，用冻结音频语言模型写描述加语言模型映射到七维状态再做注意力多实例分类，在 DAIC-WOZ 达到 71.9% 与 MODMA 达到 90.5% 的平均 Macro-F1，代价是依赖大模型抽取与录音条件。

针对全双工对话中犹豫停顿与真实说完难以区分的问题，FD-VAD 用冻结语音编码器加轻量适配器和低秩微调语言模型对 2.56 秒因果窗口做继续或停止判断，在 TurnBench 开发集零样本下取得限定误报内最高终点召回，但中位提交延迟高于最快的轮流预测基线。

VISTA 用七字段事件评价调节多模态权重来解释情感冲突，在 CA-MER 冲突子集达到 64.5% 准确率，代价是 360 token 评价目标、每种子 72 GPU 小时训练与 15.5 秒中位推理延迟。

CoLMbo-SV 用冻结说话人编码器加旁路判定保持验证精度、用文本形式声学测量支撑可核对报告，在 VoxCeleb1-O 上报告 0.99% 等错误率与 0.82 数值接地得分，但决策敏感性分析显示报告内容对当前判定的证据选择性仍很低。

针对自监督检测器偏向全局语义与跨域层重要性漂移问题，GLAD 用语言声学交叉注意加信号卷积的多粒度融合与样本级门控组织证据，在只训练 19LA 条件下报告 21DF 等域上更低的等错误率，但以双自监督加卷积分支的更大推理开销为代价。