多模态学习

论文针对结构标注少、边界与功能标签需求不同、纯音频忽略歌词的问题，用部分标注的 SheetSage-MSA 补充训练，并用边界、功能、歌词三条通路分别建模，在 SongFormBench-HX 上提高边界召回与标签准确，但仍受标注口径不一致和同功能重复段边界难召回的限制。

CIIR 用 10 个地址和 128 维地址表示连接四个互不配对的数据集，新接收器达到 94.7% 宏平均地址实现准确率，冻结后接入 SVHN 仍保持 90.24% 与 82.29% 的端到端传输准确率，代价是依赖已知局部索引和人工指定的多地址编码。

论文把音频到解码器的接口限定为冻结文本词嵌入的凸组合，用 C-Gate 路由实现，并在 VoiceBench 十一任务平均 75.36 分的语音知识推理优势与转写和非语音理解上存在取舍的条件下验证其可行性。

针对多人混合语音中只提取目标说话人的问题，PromptSep-Speaker 用潜在扩散一次生成目标语音并支持四种可互换提示，在多组异域评测上提高分离准确率与听感，而去掉对齐损失后目标选择可靠性大幅下降。

论文把吠叫事件与可见犬只轨迹关联到持续存在的犬只档案，视觉分支做检测跟踪与吠叫打分、音频分支做注册式声纹比对、融合层维护档案，在 46 个视频 213 个事件上可见定位 61.83% 而遮挡与画外音仍是主要代价。

针对多模态情感分析在说话人和时间变化下容易失效的问题，论文把融合表示拆成多个因子并按分布偏移、干预效应和跨环境稳定性分别抑制、保留或衰减，在 MOSI、MOSEI 和 CH-SIMS 上同时保持域内精度并提升域外鲁棒性，代价是需要构造环境做免训练的诊断和阈值选择。

针对真实混响噪声加多人交叠下视觉也可能不可靠的问题，该文用双视觉流粗分离保留目标混响与底噪、再用混合加粗估计做目标提纯并做线性融合，在挑战赛两条赛道上以 12.31% 和 14.79% 的字错率取得最低，同时付出提纯后部分客观分离指标下降再由融合找回的代价。

论文用 7 次智能音箱对话的视频音频文本做成四维张量，以分层 Transformer 同时建模单次内的疲劳斜率和多次间的漂移，在 35 人数据上以 5 折准确率 0.733 报告优于单次基线，但样本小且方差大。

论文把水下识别从输出类别标签改为输出包含船名、工况、轴频、桨叶通过频率和机械线谱的结构化描述，用三路时频表示加四项物理任务训练的 UPT 编码器对接冻结的 Qwen3-4B-Instruct，在四船仿真数据的两个信噪比段上取得高分类精度和毫赫兹级频率误差，代价是结论只在仿真可追溯条件下成立且机械与信噪比估计对噪声更敏感。

MSP 用单模态加为缺失模态生成的代理文本来训练，使推理时能联合使用真实音频与视觉，在 AVQA 等三项问答上取得有竞争力的准确率，但仍依赖模态文本对、对比编码器与桥校准，且代理质量决定效果上限。

论文用文本音频视频四个视角下五个情感选项的分布加熵与分布差异组成 28 维向量训练 CatBoost 回归器，在 CH-SIMS-v2 和 MOSI 上优于只学联合视角分布的对照，代价是每个片段需四次冻结模型查询。

论文用 35 名老人在三种 Alexa 对话任务中同步采集的视频、音频和文本特征做轻度认知障碍二分类，核心证据是单模态随任务波动而三模态融合在任务 1 和任务 3 上都达到 0.76 准确率，但结论只在小样本、MoCA 标签和任务内评测条件下成立。

论文用 11 种语言各自训练的线性映射连接冻结语音编码器和冻结解码器，发现模型能按数字选项格式作答，但主题理解远低于直接读参考文本，差距指向映射的对齐不足。

Apertus 1.5 用继续预训练把 Apertus 1.0 扩展为能读图像和音频、上下文到 262144 词元并带可选思考模式的完全开放模型，最强证据是 8B 思考模式把 MATH-500 从 51.2 提高到 71.4，代价是图像细节重建变粗、音频能力仍落后同规模音频模型且长上下文需专门恢复。

论文针对声音表情与画面不一致时生成式回答容易跟随视觉的问题，用共享 WavLM 编码上的视觉查询融合与直接时间积分两路组织输入同一解码器，在 CA-MER 平均指标 67.89 与 EmotionTalk 测试集 62.88% 等条件下验证了直接声学通路的作用，代价是增加 16 个声学 token 与混合任务适配的约束设计。

针对多模态情绪识别中 softmax 被迫自信的问题，论文提出每个模态输出狄利克雷证据并用 Dempster-Shafer 规则融合，在四个数据集上同时提升精度与校准，而代价是需要调冲突权重与 KL 退火且依赖条件独立假设。

针对标题标签描述字段结构与噪声不同以及单标量融合不区分通道的问题，FAM-Gate 用音频引导的字段注意力先聚合元数据，再用以音频为先验的向量门按维度融合，在 BSD 与 FSD50K 的匹配五种子评测中提升层级与宏平均指标，代价是总参数增加约 0.19% 与每样本多编码三个文本视图。

GeoMER 针对语音加文本情绪识别中细粒度跨模态对齐与抽象情绪结构难以兼顾的问题，用欧氏分支做词元级融合、用双曲几何核心路由组织抽象情绪表示，在 IEMOCAP 四分类上报告 83.54% 加权准确率和 83.35% 非加权准确率，代价是双分支与双曲运算带来的额外复杂度。

论文要解决声源运动时左右声道空间线索不跟着画面走的问题，用运动轨迹同时约束视频和立体声音频的 StereoBind 在 StereoWorldBench 上取得更好的空间一致性，同时保持整体视听质量，结论只在该合成监督与评测条件下成立。

论文用同一 BiLSTM 融合结构参加六个步态与音视频抑郁检测子赛道，发现约 150 词的人格描述带来约 0.5 的赛道分提升，而领域微调大模型虽提高二分类一致性却破坏 PHQ-9 回归校准，在每队列不足百人时小容量加深集成更稳妥。