多模态学习

针对音频文本情绪证据被说话风格与词汇内容纠缠且两模态可能冲突的问题，BiCFlow-MER 用解耦后的冲突感知条件把样本输运到 64 维情绪端点再做前后向几何打分，在 IEMOCAP 与 MELD 及零样本 CASE 上报告最好值，代价是三阶段流程与多模块超参数。

针对多轮多模态对话中风格稀疏且易漂移说话人音色的问题，论文用显式风格指令拆开感知与合成，并用迭代拒绝采样与上下文偏好优化对齐生成器，在保持音色与可懂度的同时提升指令遵循与情境适配，但细粒度句内动态仍未解决。

该文把瓶颈适配器装进冻结解码器每一层并用输入成分做二进制门控，使旧模态走原计算图实现逐位不变，同时用对照实验显示音频检索提升与热成像包的可组合性，代价是新增模态的文本混排输入属于新行为且双门同开不在保证内。

该文在 Lyra 舞蹈子集上用音频、视频、骨架三模态做 28 标签自动打标，报告最强三模态门控融合宏 ROC-AUC 为 0.864，超过最强音频单模态 0.821，但骨架单模态仅 0.586 且约半数片段缺有效姿态。

论文要解决长音视频生产力任务中感知与长程规划脱节的问题，选择原生多模态共训加百万上下文与按需取证的智能体执行，证据是多说话人识别与长视频推理的大幅提升，代价是通用转写翻译仍有差距且实时交互需非思考模式换取低延迟。

针对串行先想后说导致长时间无声等待的问题，该工作用推理主路加轻量报幕支路的异步结构，在保持串行推理问答精度基本相当的同时，把用户可感知的静音大幅压低，代价是需要额外的报幕生成与动态调度。

DFD-Lab 把数据集适配、配对片段表示、检测器接口与实验配置分开，用 FakeAVCeleb 训练、过滤后的 Deepfake-Eval-2024 外部测试三类融合实现，最一致的证据是 JPEG50 训练增强把外部 AUROC 从 0.504、0.538、0.458 分别提升到 0.691、0.605、0.570，但三者准确率同时从 …

论文把声音事件识别的输出从单一确定标签改为类别加置信度加拟声词描述，用冻结编码器加可训练投影器与分类器实现分类与检索联合训练，在 31 类子集上保持分类能力，并在约 85% 准确率的模拟不确定条件下用大模型评价与 310 人听评显示拟声输出更有助于环境理解，代价是拟声不匹配会损害自然度。

针对具身智能体难以利用空间音频做问答与导航的问题，论文构建 197 场景问答与 30 场景导航的实录基准并用可控渲染补大规模仿真训练，提出保留语义通路另加 FOA 空间编码器的 OmniEcho，其问答总体 28.5 分与声音导航 16.2% 成功率接近部分文本导航基线，但精细定位与自主停止仍是主要代价。

针对多语言双人长对话口语问答中不同问题依赖不同证据的问题，该工作用带说话人时间戳的转写做主干、按问题动态挂接局部或全局音频，开发集任务二达到 94.84% 准确率，但消融无法完全分离标签质量与证据分配的因果。

针对 Yemba 等低资源语言声学表示难学的问题，该工作用异构图把声学节点和语言节点放在同一张图里做消息传递，并在 Google Commands 缩减集和 Yemba 孤立词数据上用 SVM 和聚类指标验证跨模态表示优于 MFCC 基线和单模态 GCN，但推理依赖预训练声学模型且未做到句子级。

针对低资源下语音文本对齐需要大编码器和大量平行数据的问题，该文把词级对齐建模为异构图上的链路预测，用 GraphSAGE 消息传递把固定文本表示传给语音节点，在 TIMIT 和 Yemba 上以轻量图训练达到可比 SAMU-XLSR 的富集与检索效果，代价是跨模态检索仍受初始声学质量制约且句子级与下游任务未验证。

针对对话语音只看文本历史会漏掉听者即时非言语线索的问题，用回应前 1 秒听者人脸时序做显式回应规划，在严格双人 MELD 协议上时序模型宏平均 F1 和 VAD 一致性略高于纯文本而准确率基本不变，合成阶段仅证明可端到端连通而未改善可懂度。

论文研究给定话题标题查询在语音转写中预测连续句子区间的问题，用冻结语音识别编码器状态做句子级声学表示并与文本嵌入融合，在两个主数据集上以轻量定位器验证严格边界指标的提升，同时报告自发会议上增益有限的代价。

该文把合成语音归属从闭集分类改写为音频对自然语言描述的跨模态检索，用冻结双编码器加小投影头在 MLAAD v9 上实现未见模型 58.4% 模型级 MRR，代价是闭集精度低于专用分类器且通用架构易混淆。

针对自动视频面试只给分数而缺乏可检查依据的问题，E-AVI 选择先抽取带时间戳的结构化多模态证据再做维度条件打分，在 RecruitView 上把 MAE 从 0.641 降到 0.607、Spearman 从 0.440 提升到 0.541，代价是提取阶段仍是 83.3% 困难样本的瓶颈且推理依赖 15 秒级抽取开销。

针对跨通道矛盾定义的犹豫与矛盾识别问题，论文选择显式建模模态差异的 9 token Transformer 路线，在 BAH 标注测试集上报告 0.7408 Macro F1，代价是小数据下额外 token 带来的过拟合风险与多窗口训练成本。

针对历史转写会传播实体错误并丢失发音与说话人信息的问题，该研究用场景可控的数据管线构造多模态对话历史并做上下文监督微调，最强证据是微调后语音加文本上下文在两个模型上取得最高的总体实体召回，但代价是需要合成语音过滤与条件匹配的微调，且无上下文基线与无关历史的鲁棒性仍有限。

针对深度与双耳音频简单拼接会丢失几何语义关联的问题，CTAN 用双向重构交叉注意力做主动语义增强、用门控时间记忆桥接听觉死区，在 Replica 与 Matterport3D 未见环境中相对 SoundSpaces 基线提升了未听过声音下的成功率与路径效率，但消融显示各模块贡献与听觉死区恢复能力仍受场景规模与声音泛化条件限制。

该文把视频多模态情感分析拆为极性判别与强度回归，用极性与强度瓶颈专家分别压缩各模态信息再做跨模态路由融合，在四个中英文数据集与多种语言模型上报告了路由设置与专家分工证据，但未公开代码与完整训练预算。