多模态学习

本文把生成质量看作理解沿数据—条件—对齐—评测链的投影，用共享的 Kling-MLLM 统一做标注、改写、编码、奖励和评测，并在多组对照中显示密集标注与分布对齐带来可复述的增益，但结论只在同分布条件与固定评测配置下成立。

针对文本、声音和画面线索互相冲突且局部线索可靠性随样本变化的问题，DGC-Net 用其他模态的全局上下文指导本模态专家选择、再以稳定的全局语义为主融合可靠的局部补偿，在 CMU-MOSI 和 CMU-MOSEI 等五个基准上验证，但增益并不覆盖全部细粒度指标且部分设计随任务而变化。

本文针对听诊设备、部位和病人差异干扰呼吸音分类的问题，在音频频谱变换器中引入元数据调制，其中软分解调制在官方划分上取得四分类 64.11% 和二分类 72.40%，代价是增加不到 1% 的参数并需要完整的元数据输入。

论文针对人工评定治疗师人际能力费时费力的问题，公开了 890 段标准化回应的去标识化多模态数据集 Therapy-FIS 并划分只看治疗师和同时看医患双方两种预测任务，基线 DyadicFIS 在跨被试五折下取得最高的与人工评分一致性但均方误差并非最低且结论只在该标准化角色扮演和派生特征条件下成立。

这篇研究提案要区分普通多模态情绪不一致与真正的情绪隐藏，计划用面部动作单元、跨模态融合与时间上下文结合多模态大语言模型来建基准并做三级推理，但目前只给出了方案与待建的评测，没有已完成的隐藏情绪识别实验结果。

本文诊断各模态嵌入研究在方法、综述与评测上相互隔离，提出以覆盖、可比、可组合三级能力衡量从转换到对齐再到联合嵌入的三条统一路径，并指出只有保留各模态特有结构并建立统一评测才能实现真正的全模态联合嵌入。

针对联合训练中强模态压制弱模态梯度的问题，论文用止梯度特征上的线性探针估计各模态表征质量并只放大弱编码器梯度，在高度不平衡的 CREMA-D 上与节流方法组合取得 71.45% 准确率，代价是约 1.6% 额外耗时和对工况条件的依赖。

针对不同任务对视频、音频、文本依赖不均而融合模型被迫共用同一表示的问题，MOSAIC 用模态分区的注意力与前馈加受控交叉注意力保持单模态结构，并按任务权重与模态相关度把梯度路由到对应分区，在日常日语会话语料四任务上以更少主干参数取得更高平均宏 F1，但结论目前只在该数据集与配置下成立。

论文比较冻结、完全微调、LoRA 与 QLoRA 在九个音频图像符号编码器上的单模态判别力与可训练参数量，再用冻结与适配交叉原始与投影的对照检验单模态增益能否转化为多模态分类与作品级检索，结论是参数高效方法常能替代完全微调但单模态变好不等于多模态变好。

论文用全合成的舌、脉、声数据先给出 8 类证候族分布，再用 25 道结构化问题做贝叶斯追问，一次性 600 例确认中成本敏感信息增益把族准确率做到 95.5% 而细项准确率仅 42.5%，且提问数并未少于 tested 固定顺序。

论文把文档、自然图像、音频和视频的十个解析任务统一为带空间与时间锚点的结构化记录，用共享权重的文本初始化编码器做感知、用统一模式做输出，并用自演进的按词角色蒸馏做后训练，在文档基准上达到 96.96 分、在多模态解析基准上以 75.08 分领先开源模型，优势集中在音频和视频，但代价是 55B 稠密解码与自回归输出的推理开销。

本文把视觉建模按空间特性拆成小嘴唇图像分支和人脸关键点几何分支，在 LRS3-2mix 统一精简训练下接近轻量图像基线的分离质量，同时把模块级视觉编码计算降到 0.3 至 0.5 GMACs 量级。

针对巴斯克语缺少语音指令数据的问题，论文沿用模块化架构加合成数据路线构建语音交互系统，用内容分 3.86/5、语音可懂度词错误率 9.94%、延迟 370 毫秒证明可行，同时留下合成分布内评测与音频质量差距等限制。

针对双人关系识别中证据层次与互动类型被混在一起的问题，HiRe-DRR 把低层与高层线索分开构造同质与异质互动，再用稀疏路由选择与层级条件监督做分类，在 NoXi、UDIVA 和 SeamInt 三个切分下取得更高的 UAR 与 mAP，但结论只在短片段切分与给定关系划分下成立。

AV-QTSS 用类别查询先分离目标单声道、再用稠密绑定定位图给出方向并渲染三路方向通道，在 1 到 4 声源合成集上把角度误差降到 23.3 度并在真实录音适配后提升定位，代价是只处理封闭集内且处于活动状态的查询。

论文针对多人遮挡和看不见目标人脸时声画对应失效的问题，用同时可见人脸之间的上下文推理和注册语音身份推理来补证据，在五个基准上提升了检测精度，并在视觉缺失下保留注册说话人检测能力，但增益集中在拥挤困难条件且注册分支依赖事先录入语音。

本文把冻结 backbone 后的输出域从单位球面换到概率单纯形，用轻量适配器加 softmax 与 Total Variation 相似度做对比学习，在五个音频文本与图文检索基准上把质心 l2 间隔缩小 97-99% 且保持 NDCG@10。

论文用四种预告片剪辑任务比较轨迹级、轮次级和词元级信用分配，发现衰减的过程奖励只在超长程 Fine Cut 上带来 45.4% 相对提升，而固定权重会导致奖励黑客与任务未完成，词元级自蒸馏则基本无效或崩溃。

论文用统一框架 UniPRO 固定编码器和训练条件后比较融合顺序，发现逐个融合优于堆叠融合且顺序本身影响召回，并用缺失难度与查询相关信息保留来解释和预测顺序选择，但结论只在所测数据集与协议下成立。

针对连续音频视觉流没有人工话语边界且切分不准、模态质量不稳的问题，AGF-Net 用自动切分加音频引导融合、预测式动态融合与多模态负学习的组合，在 IEMOCAP 四类情绪上干净条件达到 64.92% 准确率与 65.47% F1，中度噪声下保持 62.13% 与 63.08%，代价是仍需预热调度与可靠性估计且严重噪声下准确率会被反超。