多模态学习

EmoFI-TTS 用一张人脸图像同时推断情绪类别和三级强度、用另一段参考音频决定说话人音色，再用强度门控的残差模块增强梅尔谱，在说话人不重叠的 MEAD 测试上达到 64.4% 客观强度准确率，代价是仍依赖离散强度标注训练且 L1（最弱）强度段绕开增强。

该文把被动检测改写为多证据假设推理，用方向引导的三分支编码器加语言模型输出结构化报告，在仿真白噪声与混合海洋背景下实现可靠检测与方位估计，但距离估计未超越中值基线且结论限于仿真网格环境。

HeyGen Voice 要解决用一段日常录音为说话视频配音时保留说话人而让语气和房间声跟随画面走的问题，用图像加两段文字描述加参考音频共同控制的自回归声学模型和五阶段跨场景训练实现，并在 331 个跨场景样本、十语种内容保真、245 例五语种听感对比和 43 人自评视频中验证了两种克隆策略在场景贴合与录音保真之间的取舍。

论文把换说话内容看成音频与嘴部运动的局部配合问题，用 SyncSpeech 控制说话人是否相同来建库，用 C-MIND 做帧级对齐比较，在库内达到 95.813% 场景平均准确率和 0.9943 AUC，但换到未见过的 Video-Retalking 生成器时掉到 82.775%。

针对训练用完整文本视觉音频而测试缺模态会大幅掉点的问题，MERP 把可用证据先压缩到固定隐变量库再做深层推理并用类别读出与融合保住多标签证据，在 20% 随机缺失下取得 0.563 与 0.780 的 micro-F1 并在音频单模态下避免崩溃，代价是更复杂的原型与多分支训练目标。

NarraSpace 针对 Cookie Theft 看图说话的痴呆分类问题，用固定场景图式把词语、语音时间和事件取回文本组织成可检查的证据，再用冻结语言模型做事件级类比打分与常规分类器结合，在官方 48 人测试集上平均准确率 80.88%，代价是小样本下家族贡献不确定且评估仍属探索性。

Spark-Audio 1.0 要解决从只转写到真正理解语音的问题，用表示增强的掩码预训练加三阶段音频编码器与三阶段音频语言模型训练，在 1300 万小时音频下在多语种识别和真实场景对话上接近更大数据量模型，但复杂音频推理和指令遵循仍有差距。

针对多步多模态手机操作中相关信息随步骤漂移且错误会累积的问题，FocusGUI 用冻结主干加轻量残差适配器做每步证据重排，在四个主干上把平均动作类型准确率从 31.0% 提升到 64.2%，代价是增加约 1.15M-1.45M 可训练参数且只在 OmniGUI 手机数据上验证。

针对音视频类别增量学习中新类冲掉旧类边界的问题，冻结三种多模态基础模型的音视频编码器，只训练音频引导视觉的注意力模块和分类器，并用特征与输出两级蒸馏锚定旧状态，在三个基准上提高了平均准确率并降低了遗忘，但结论依赖固定的任务划分、记忆样本量和训练预算。

针对声学响应随工况漂移而难以只看频谱判读空化强度的问题，论文提出把工况写入文本语义并与时频证据匹配、再用近邻工况先验做决策融合的方法，在三个 SAMSON 真实数据集上取得最高准确率，但结论只在给定传感器、工况范围和划分下成立。

论文针对缺少语义情绪线索但靠重复动作与声音引发感受的解压类视频，构建带三视角标注的 OSVD 并提出以运动与能量起振对齐加联盟归因的 PI-MLLM，在 OSVD 上达到 43.2% 分类准确率与 0.661 解释相似度，但结论依赖自动标注与类平衡评测条件。

论文把声音设计评价变成先学视觉加声音的联合表示再冻结策略只微调声音编码器的问题，在三种游戏上用只听声音的智能体成绩区分设计好坏，并以更少样本和更少总浮点运算换来可比的区分能力，但退化设计下绝对成绩会低于从头训练。

DF-PALM 针对少样本音频分类中同一事件录音差异大的问题，在冻结 PENGI 等编码器后对编码后类别表示做音频条件残差调节并用其精炼音频特征，在 11 个基准 16 样本主评测上平均准确率 80.69% 和宏平均 F1 值 80.32%，而 50 类时算子统计推理浮点运算量比 PALM 增加 0.39%。

在固定检测器下比较对数滤波器组与冻结语音自监督表示，六层加权浅层执行在生成器不相交测试上平均达到 90.61% 宏 AUROC，并在长输入上降低推理延迟。

论文在 16 个配对数据集和 144 个数据集-标注预算组合上比较三种可运行的组装策略，发现三者各胜约三分之一，预算、任务形式与单模态可分性决定偏好，而两步路由能提前选出较优范式，但智能体推理代价高出数百倍。

Modaliff 把条件和目标拼成一条统一令牌序列做去噪，只用双模态对子训练就支持任意方向生成，在多数任务上取得较好的保真度，但结论依赖紧凑语义隐空间和固定评测集。

针对多模态训练中强势模态压制跨模态协同的问题，MSCR 在融合网络上施加抑制单模态主导与要求超越单模态相加参考的两项约束，并用样本难度门控集中正则，在五个基准上提升准确率与条件恢复率，但结论只在原文的编码器、融合与评测协议下成立。

本文把 ASR 幻觉定义为对齐后多出的编造词，用因果敲除和注意力分析定位到偏向文本的多头自注意力，再用 CTC 对齐门控加交叉注意力在 LibriSpeech 上把幻觉率从 52.01% 降到 8.69%，代价是替换率略升且大模型下幻觉反而加重。

论文用低秩适配加轻量读出适配多模态大模型做脑编码，在 Algonauts 2025 上以约 5% 可训练参数超过冻结骨干加超大读出的前最好成绩，并用单次因果前向和多适配器并行核把计算做便宜。

论文研究 FakeAVCeleb 与 LAV-DF 两来源已知来源且数量不均衡时的音视频伪造检测，用 MSCT 之前分出共享流和来源私有流再做门控残差融合，主证据是两种配比下宏平均 AUC 和最差来源 AUC 的提升，代价是推理依赖来源标识且私有专家随来源数增加。