多模态学习

论文把单通道混合语音分离与按源雷达位移的身份配对做成同一任务，用门控融合的 DPRNN 先分离再用跨模态匹配器定序，在两路和三路混合上同时报告 PIT 与有序指标，而有序增益高度依赖第二阶段匹配器且雷达单独不可懂。

针对文本、音频、视觉共存缺失与噪声的多模态情感分析，RCE 用 vMF 不确定性做质量感知压缩与跨样本增强加多级融合，在 CMU-MOSI/MOSEI 完整与缺失噪声设置下取得最优或接近最优，代价是记忆库与超模态带来更多参数与调参量。

针对医院工作者日常压力随科室与活动变化而单靠语音不稳的问题，该研究用语音编码器加移动轨迹编码器的晚期拼接融合做天级二分类，并在 TILES 医院数据上报告融合相对音频基线 F1 提升而轨迹预训练与高低移动条件决定收益大小。

针对端到端全双工语音模型语义弱而双通道对齐易被打断的问题，TurnGuide 用语音活动检测加停顿合并做轮次切分并在轮内交错生成文本与语音，在 Fisher 上显著提升语义连贯性与轮次转换行为，代价是块级交错带来约 0.69 秒量级的理论首包延迟与对码本和声码器的依赖。

针对 SNES 游戏视频到音乐生成问题，论文用 217.6 小时视频配 485 小时干净配乐构造数据集，对比 T5、ViT、ViViT 三种编码并冻结编码器只微调 MusicGen 解码器，其中冻结 ViViT 在客观指标上最优并在听感上持平 OSSL，代价是关卡循环结构导致策略性类型仍难对齐且指纹匹配精度有限。

针对带噪耳语转正常语音内容丢失问题，论文在冻结 WhisperVC 转换主干的前提下增加音视内容修复模块，在 MUSAN 六档信噪比和三套识别系统下均降低字错率，0 分贝下 Qwen3 识别字错率从 36.29% 降到 28.88%，代价是推理需要同步唇部视频和同说话人正常语音注册。

针对文本大模型做语音持续预训练时会严重遗忘文本能力的问题，该文选择冻结原模型、只训练新插入的四分之一层，用 48k 小时英语识别数据证明交错插入在识别上接近全量微调而文本退化小一个数量级，代价是推理时多 25% 层开销且纯文本使用需丢弃新层。

该工作把同时传译拆成因果数据构造、自适应等待策略、解耦词义与声音的双流架构和只罚可避免延迟的指标，用约 2.7K 小时每语言对的数据在西德法转英上以可运行的自适应策略超越固定切块并降低延迟，但语音端质量仍依赖更大合成与翻译模型补强。

针对背景噪声与帧损坏会让融合偏向坏模态的问题，该研究用 Mamba2 加交叉注意力做带噪输入重建干净特征的预训练，在 RAVDESS 上显示噪声音频获益而视频基本保持，仅以视频小幅下降为代价。

针对多部位听诊需要整病人作答的问题，AuscuTSLM 用轻量声学编码加 Perceiver 压缩与门控交叉注意力接入冻结 LLM，在 CaReSound 上取得 0.865 F1-macro 和 0.952 BERTScore，代价是 30 秒长上下文与多实例聚合缺一不可。

针对自然听播客时颅内脑电解码问题，BAT-CLIP 把 DIVER-1 脑编码器同时向冻结 AudioCLIP 音频锚和文本锚做双向对比对齐，在六个线性探针任务上多数超过单模态变体，但句子起始检测出现明显下降且嵌入聚类分析只覆盖单个被试。

针对模块化看脸零样本合成在训练用语音嵌入、推理用脸嵌入导致身份漂移的问题，论文用去语料痕迹的说话人编码器加双向脸声对齐，并在声学模型训练中同时约束嵌入空间与共享身份空间的一致性，最强证据是在保持可懂度的同时提升说话人相似性与一致性，代价是三阶段训练与多组损失权重需要协同调试。

针对对话中各模态可靠性逐句变化的问题，EmoEUS 用上下文分布估计输出均值与方差并以 2-Wasserstein 距离显式监督方差，再按不确定性加权融合，在 IEMOCAP 上报告 74.33% 准确率与 74.36% 加权 F1，代价是需要延迟引入辅助损失并维护情绪与模态相关的分布簇中心。

针对用户同句不同情绪难处理且情绪对话数据稀缺的问题，Empathy Omni 用双编码器加逐词元情绪轨迹显式规划共情语音，在 VoiceBench 通用能力不明显下降的同时情绪评分与语音质量报告最优，但细微混合情绪仍偏通用且依赖合成数据过滤条件。

针对语音到 3D 人脸跨模态映射难与级联误差大的问题，ES-3DF 用几何纹理解耦加双分支对齐与多槽记忆对比学习直接重建带纹理 3D 脸，在地标与身份特征指标上优于 CMP 与 VoiceStyle，代价是唇部等动态部位推断仍不适定且依赖受限数据集。

针对语音筛查轻度认知障碍易学到性别与语言捷径的问题，论文用跨模态融合对齐声文图线索并用梯度反转遗忘人口学信息，在 TAUKADIAL 和 PREPARE 上同时提升总体 F1 并缩小亚组差距，但探测显示残余人口学信息仍未清零。

针对语音抑郁检测中联邦非独立同分布、多模态不一致与成员推理泄露问题，FedMPA 用模态特异原型与指数滑动平均全局原型库加原型引导损失与混合推理，在 E-DAIC 上以 0.89 无加权平均召回和 0.52 成员推理曲线下面积取得 0.92 隐私性能分数，但仍只验证了黑盒置信攻击与单一数据集。

针对视频生成音频中时间对齐、多模态控制与细粒度语义难以兼得的问题，FoleyGenEx 在多模态扩散变换器上加入参考音频注入与多模态动态掩码并配副词增强数据，在 AudioCaps、VGGSound 与 Greatest Hits 上保持同步的同时扩展了文本控制、音频控制与续写能力，代价是更复杂的训练配比与推理条件构造。

针对舞蹈到音乐生成中节奏表示过粗与舞蹈音乐时间长度错位的问题，GACA-DiT 用多尺度时空节奏提取加上下文对齐查询的扩散变换器建模，在 AIST++ 与 TikTok 上取得最高的节拍与质量指标，代价是依赖姿态与预训练编解码器且演示链接当前不可用。

针对端到端语音对话状态跟踪缺目标域语音的问题，论文用共享连接器与 LoRA 的语音加文本联合训练把文本域知识迁到语音管线，在 SpokenWOZ 与 MultiWOZ 互为源目标时缩小与域内语音训练的差距，但文本权重与大模型规模决定保留源域与提升目标域的折中。