多模态学习

论文针对单耳大模型丢掉双耳方位线索、专用空间模型又缺乏通用理解的问题，用语义分支加空间分支的双分支编码器和分层语义到空间调制，在大规模合成双耳场景上训练，实测在真实空间推理上大幅领先且通用单耳任务基本不下降，但细粒度轨迹和多源计数仍明显变难。

该文针对开放词汇下每秒事件分类中视听相似度固定融合丢失自由度的问题，用复数卷积网络学习融合视听与文本相似度，并在冻结 ImageBind 上加 iHSV 与相位翻译两路辅助流，在 OV-AVEBench 未见类上达到 66.5/59.1/54.1% 的准确率/段级 F1/事件级 F1，代价是四流推理增加约 135 ms 延迟且跨数据集迁移不稳定。

PEACE 用 SLAP 配对音频编码器与两种 Faust 代码编码器，在 1-3 个效果串联的检索上打平并在外部混响库上远超已有音频表示，代价是长链泛化和弱效果上的不均衡。

该文研究不同结构的图文模型之间如何搬运任务能力，用与结构无关的亲和力改变量记录任务，再以最小二乘算子或低秩适配器写入目标，在加法上保留目标自身增益的七到八成，代价是控制集精度下降和在部分任务上几乎无效。

SEA-LM 针对可穿戴麦克风阵列的自我中心多声源场景，用 FOACoder 把可变阵列信号统一为一阶 Ambisonics 空间嵌入再与单声道语义嵌入联合输入大语言模型，在合成评测集上降低了方位角与俯仰角误差并改善了转写与检测，但结论只在仿真静态场景和 1211 种眼镜阵列配置内成立。

论文针对传统 softmax 门控与脉冲计算不兼容以及多模态输入缺失时选路脆弱的问题，提出基于侧抑制与不应期的 k-WTA 路由器和两阶段缺失模态补全，在视觉、语言与情感分析任务上以较低理论能耗达到与人工网络可比的精度，但结论依赖特定编码器、缺失模拟方式与理论能耗估计。

论文用 10000 次多指抓取数据研究抓起前三秒观察预测抓起后是否掉落的问题，对比模态与时序建模并以上线重抓门控验证，触觉尤其是高分辨率动态触觉带来可测提升但以更多传感与计算为代价。

问题是扩展新模态时文本检索遗忘与模型膨胀，方法选择是冻结文本主干并以其自身对密集级联标题的嵌入为教师目标，只训练投影器与编码器 LoRA，最强证据是 0.9B 保持 49.57 文本分并覆盖五新增模态、2.3B 以 51.39 总体均值超过闭源对照 49.51，主要代价是 0.9B 在语音音频图像视频上落后于更大开放多模态基线。

论文针对声音形式与交际功能混淆的问题，用冻结音频语言模型写描述加语言模型映射到七维状态再做注意力多实例分类，在 DAIC-WOZ 达到 71.9% 与 MODMA 达到 90.5% 的平均 Macro-F1，代价是依赖大模型抽取与录音条件。

针对全双工对话中犹豫停顿与真实说完难以区分的问题，FD-VAD 用冻结语音编码器加轻量适配器和低秩微调语言模型对 2.56 秒因果窗口做继续或停止判断，在 TurnBench 开发集零样本下取得限定误报内最高终点召回，但中位提交延迟高于最快的轮流预测基线。

VISTA 用七字段事件评价调节多模态权重来解释情感冲突，在 CA-MER 冲突子集达到 64.5% 准确率，代价是 360 token 评价目标、每种子 72 GPU 小时训练与 15.5 秒中位推理延迟。

CoLMbo-SV 用冻结说话人编码器加旁路判定保持验证精度、用文本形式声学测量支撑可核对报告，在 VoxCeleb1-O 上报告 0.99% 等错误率与 0.82 数值接地得分，但决策敏感性分析显示报告内容对当前判定的证据选择性仍很低。

针对自监督检测器偏向全局语义与跨域层重要性漂移问题，GLAD 用语言声学交叉注意加信号卷积的多粒度融合与样本级门控组织证据，在只训练 19LA 条件下报告 21DF 等域上更低的等错误率，但以双自监督加卷积分支的更大推理开销为代价。

针对双声源下声音事件与其方向距离对应关系易丢失的问题，SAIL 用解耦声学空间编码与双流查询对齐保持声源级对应，在单声源基本持平的代价下提升双声源感知与空间推理，但双源间距估计与多于两源场景仍未解决。

针对弦乐四声部在同音高与泛音重叠下难以仅凭混合区分的问题，SCISSOR 用乐谱音高加乐器身份构成逐帧查询去竞争共享音频表示，证据显示在少量真实录音参与训练后其在留出真实集平均 SDR 最高，而乐器身份类乐谱错误仍会使其回落到音频对照以下。

论文把单声道音频视觉实例分割扩展为双耳音频视觉实例分割，用纯音频声源定位学图像平面空间与语义先验再注入查询解码器，在 BiAVIS-Bench 上报告相对最强单声道基线提升 17.22% mAP 与 7.71% FSLA，代价是依赖固定相机与仿头采集几何并受类别规模限制。

该文针对脑电伪影污染融合表示的问题，用差分注意力抑制共享噪声并用门控对齐融合语音，在 PME4 和 EAV 上以留一被试协议取得多模态显著提升，但未直接对比已有脑电语音融合系统。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

MAESTRO 用 16 人同步脑电、注视、瞳孔、第一视角视频、头动 IMU 和环境音频做四选一注意说话人分类，基线报告多模态在各窗口上相对单脑电提升约 5 至 13 个百分点，但包络削波伪影需经直方图均衡去除后结果才是保守下界。

论文在冻结语音与人脸编码器加小头架构下检验音频视觉情感识别，证明预言者选对分支即算对的上限只是分支精度与分歧的函数，拼接融合至多转化约一半头部空间而学习路由处处不如拼接，污染编码器则通过抬高音频分支掩盖头部空间。