多模态学习

针对双声源下声音事件与其方向距离对应关系易丢失的问题，SAIL 用解耦声学空间编码与双流查询对齐保持声源级对应，在单声源基本持平的代价下提升双声源感知与空间推理，但双源间距估计与多于两源场景仍未解决。

针对弦乐四声部在同音高与泛音重叠下难以仅凭混合区分的问题，SCISSOR 用乐谱音高加乐器身份构成逐帧查询去竞争共享音频表示，证据显示在少量真实录音参与训练后其在留出真实集平均 SDR 最高，而乐器身份类乐谱错误仍会使其回落到音频对照以下。

论文把单声道音频视觉实例分割扩展为双耳音频视觉实例分割，用纯音频声源定位学图像平面空间与语义先验再注入查询解码器，在 BiAVIS-Bench 上报告相对最强单声道基线提升 17.22% mAP 与 7.71% FSLA，代价是依赖固定相机与仿头采集几何并受类别规模限制。

该文针对脑电伪影污染融合表示的问题，用差分注意力抑制共享噪声并用门控对齐融合语音，在 PME4 和 EAV 上以留一被试协议取得多模态显著提升，但未直接对比已有脑电语音融合系统。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

MAESTRO 用 16 人同步脑电、注视、瞳孔、第一视角视频、头动 IMU 和环境音频做四选一注意说话人分类，基线报告多模态在各窗口上相对单脑电提升约 5 至 13 个百分点，但包络削波伪影需经直方图均衡去除后结果才是保守下界。

论文在冻结语音与人脸编码器加小头架构下检验音频视觉情感识别，证明预言者选对分支即算对的上限只是分支精度与分歧的函数，拼接融合至多转化约一半头部空间而学习路由处处不如拼接，污染编码器则通过抬高音频分支掩盖头部空间。

论文把单通道混合语音分离与按源雷达位移的身份配对做成同一任务，用门控融合的 DPRNN 先分离再用跨模态匹配器定序，在两路和三路混合上同时报告 PIT 与有序指标，而有序增益高度依赖第二阶段匹配器且雷达单独不可懂。

针对文本、音频、视觉共存缺失与噪声的多模态情感分析，RCE 用 vMF 不确定性做质量感知压缩与跨样本增强加多级融合，在 CMU-MOSI/MOSEI 完整与缺失噪声设置下取得最优或接近最优，代价是记忆库与超模态带来更多参数与调参量。

针对医院工作者日常压力随科室与活动变化而单靠语音不稳的问题，该研究用语音编码器加移动轨迹编码器的晚期拼接融合做天级二分类，并在 TILES 医院数据上报告融合相对音频基线 F1 提升而轨迹预训练与高低移动条件决定收益大小。

针对端到端全双工语音模型语义弱而双通道对齐易被打断的问题，TurnGuide 用语音活动检测加停顿合并做轮次切分并在轮内交错生成文本与语音，在 Fisher 上显著提升语义连贯性与轮次转换行为，代价是块级交错带来约 0.69 秒量级的理论首包延迟与对码本和声码器的依赖。

针对 SNES 游戏视频到音乐生成问题，论文用 217.6 小时视频配 485 小时干净配乐构造数据集，对比 T5、ViT、ViViT 三种编码并冻结编码器只微调 MusicGen 解码器，其中冻结 ViViT 在客观指标上最优并在听感上持平 OSSL，代价是关卡循环结构导致策略性类型仍难对齐且指纹匹配精度有限。

针对带噪耳语转正常语音内容丢失问题，论文在冻结 WhisperVC 转换主干的前提下增加音视内容修复模块，在 MUSAN 六档信噪比和三套识别系统下均降低字错率，0 分贝下 Qwen3 识别字错率从 36.29% 降到 28.88%，代价是推理需要同步唇部视频和同说话人正常语音注册。

针对文本大模型做语音持续预训练时会严重遗忘文本能力的问题，该文选择冻结原模型、只训练新插入的四分之一层，用 48k 小时英语识别数据证明交错插入在识别上接近全量微调而文本退化小一个数量级，代价是推理时多 25% 层开销且纯文本使用需丢弃新层。

该工作把同时传译拆成因果数据构造、自适应等待策略、解耦词义与声音的双流架构和只罚可避免延迟的指标，用约 2.7K 小时每语言对的数据在西德法转英上以可运行的自适应策略超越固定切块并降低延迟，但语音端质量仍依赖更大合成与翻译模型补强。

针对背景噪声与帧损坏会让融合偏向坏模态的问题，该研究用 Mamba2 加交叉注意力做带噪输入重建干净特征的预训练，在 RAVDESS 上显示噪声音频获益而视频基本保持，仅以视频小幅下降为代价。

针对多部位听诊需要整病人作答的问题，AuscuTSLM 用轻量声学编码加 Perceiver 压缩与门控交叉注意力接入冻结 LLM，在 CaReSound 上取得 0.865 F1-macro 和 0.952 BERTScore，代价是 30 秒长上下文与多实例聚合缺一不可。

针对自然听播客时颅内脑电解码问题，BAT-CLIP 把 DIVER-1 脑编码器同时向冻结 AudioCLIP 音频锚和文本锚做双向对比对齐，在六个线性探针任务上多数超过单模态变体，但句子起始检测出现明显下降且嵌入聚类分析只覆盖单个被试。

针对模块化看脸零样本合成在训练用语音嵌入、推理用脸嵌入导致身份漂移的问题，论文用去语料痕迹的说话人编码器加双向脸声对齐，并在声学模型训练中同时约束嵌入空间与共享身份空间的一致性，最强证据是在保持可懂度的同时提升说话人相似性与一致性，代价是三阶段训练与多组损失权重需要协同调试。

针对对话中各模态可靠性逐句变化的问题，EmoEUS 用上下文分布估计输出均值与方差并以 2-Wasserstein 距离显式监督方差，再按不确定性加权融合，在 IEMOCAP 上报告 74.33% 准确率与 74.36% 加权 F1，代价是需要延迟引入辅助损失并维护情绪与模态相关的分布簇中心。