混合专家模型

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对对话中模态缺失切断细粒度跨模态因果链的问题，CaM-HG 采用先由历史条件混合专家补全再由非对称因果动态超图挖掘的路线，在 IEMOCAP 等 3 套基准上报告了高缺失率下更慢的衰减，但连续极端缺失与结构因果解耦仍是边界。

针对未见合成方法泛化难的问题，论文把 WavLM-Large 部分高层的前馈块替换为多专家并用门控做整句选路，在 14 个评测集上把宏平均等错率从 5.46% 降到 4.81%，代价是参数增至 329M 且需全量微调。

针对多对多联合识别与翻译中共享模型的负迁移与目标语言漂移，论文在分层 Transducer 上加入源条件与目标条件两组 MoE 适配器，在 Europarl-ST 九语言 72 方向上以单个 77M 模型实现平均 20.5 BLEU、0.651 COMET 与 15.71% WER，代价是仍需已知源与目标语言标识且仅验证离线场景。

针对口音导致词错率上升且推理时无可靠口音标签的问题，论文在 FastConformer 中插入序列级混合专家并为每个专家配独立 CTC 头、用两阶段路由从口音感知过渡到无标签推理，最强证据是在 MCV-ACCENT 上有预训练条件下大小模型同时降低已见和未见口音词错率，代价是训练早期仍需口音标签并增加混合专家参数与训练开销。

针对语音、音乐、环境声混在一起导致共享适配器梯度互相打架的问题，论文用稀疏混合专家适配器把音频令牌分流到不同专家，在总参数约 94.4M、激活约 70.8M 的受控预算下把 MMSU 音频准确率从 35.03% 提升到 38.19%、OBQA 从 50.10% 提升到 53.85%、MMAU 从 59.79% 提升到 61.50%，代价是需要负载均衡约束来维 …

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

针对文本、音频、视觉在噪声与缺失连续变化时情感分析退化的问题，论文用连续可靠度谱统一三种退化协议并提出以偶然不确定性驱动路由的 QA-MoE，在 CMU-MOSI 等基准上保持领先，代价是需要谱感知的数据增强与双分支不确定性建模。

针对推理时音频或视觉缺失的音视问答，论文提出先检索真实特征再做上下文净化的 R2ScP 路线，报告在 Music-AVQA 平均 71.54% 与 AVQA 平均 76.35% 的准确率，代价是对检索库质量敏感且只处理推理阶段缺失。

论文用文本化多模态线索统一笑声检测、类型分类与原因解释，并以笑声自指令扩充与混合笑声专家提升泛化，主证据是文本大模型在三任务上优于音视频大模型，代价是依赖外部抽取器与伪标签校对。

针对多语说话人带来的身份偏置问题，该工作用说话人门控动态加权同说话人与跨说话人两个神经 PLDA 语言专家，在盲测上报告验证等错误率 19.13% 与识别宏平均准确率 78.94%，代价是两阶段数据复用导致开发集显著乐观。

针对语音与音乐联合训练中的任务冲突和数据不均衡，论文用动态容量混合专家做按词元分配计算的三阶段课程训练，在语音内容一致性和音乐美学指标上报告了超越专用基线与稠密联合基线的结果，代价是更复杂的专家初始化与路由调参流程。

针对短视频中文本主导而音视频易误判的问题，TEXT 用多模态大模型生成解释做语义锚点，再做解释对齐与轻量时间对齐并以文本路由稀疏专家融合，在四个数据集上取得最低平均绝对误差，但细粒度分类仍有两项未胜出且依赖外部大模型。

共收录 1 篇 aistats-2026 会议论文的 Reader 深度解读

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对音频驱动人像动画中动作自然度、唇同步、视觉质量互相冲突的问题，该工作用 Talking-Critic 学三维奖励并自动构建 410K 偏好对，再用 TLPO 分专家独立优化后做时步-层自适应融合，报告显示主指标和用户评分全面提升，代价是两阶段训练与多专家推理融合的额外复杂度。

针对音频频谱 token 远多于文本导致多模态 MoE 路由崩塌的问题，CoPRIME 用对比学习加 ELBO 路由与熵正则做音频文本对齐，在 MOSEI 和 IEMOCAP 零样本与少样本情绪任务上超过稠密与 LIMoE 式基线，代价是引入对比加 ELBO 加四个辅助损失共六项损失与两个权重的调参负担。

针对自由文本到 MIDI 语义对齐不足与调号速度拍号结构失配问题，MIDILM 采用前缀条件加共享掩码自注意力与文本 MLP 加 MIDI 混合专家双路前馈，在 MidiCaps 上相对最强基线在 CLAP 到 TB 上提升 6.07% 到 144.77%，代价是调性建模仍弱且复杂转调下降，未公开代码链接当前不可用。

针对同音替换、字形拆解、缩写与中英混写等伪装使纯文本失效的问题，MMBERT 把文本、合成语音与字形图像经对齐器送入共享自注意力加混合专家结构，并用三阶段渐进训练稳定优化，在 ToxiCloakCN 上报告 F1 为 95.2，代价是依赖合成多模态输入与较重的分阶段调参。