混合专家模型

针对推理时音频或视觉缺失的音视问答，论文提出先检索真实特征再做上下文净化的 R2ScP 路线，报告在 Music-AVQA 平均 71.54% 与 AVQA 平均 76.35% 的准确率，代价是对检索库质量敏感且只处理推理阶段缺失。

论文用文本化多模态线索统一笑声检测、类型分类与原因解释，并以笑声自指令扩充与混合笑声专家提升泛化，主证据是文本大模型在三任务上优于音视频大模型，代价是依赖外部抽取器与伪标签校对。

针对多语说话人带来的身份偏置问题，该工作用说话人门控动态加权同说话人与跨说话人两个神经 PLDA 语言专家，在盲测上报告验证等错误率 19.13% 与识别宏平均准确率 78.94%，代价是两阶段数据复用导致开发集显著乐观。

针对语音与音乐联合训练中的任务冲突和数据不均衡，论文用动态容量混合专家做按词元分配计算的三阶段课程训练，在语音内容一致性和音乐美学指标上报告了超越专用基线与稠密联合基线的结果，代价是更复杂的专家初始化与路由调参流程。

针对短视频中文本主导而音视频易误判的问题，TEXT 用多模态大模型生成解释做语义锚点，再做解释对齐与轻量时间对齐并以文本路由稀疏专家融合，在四个数据集上取得最低平均绝对误差，但细粒度分类仍有两项未胜出且依赖外部大模型。

共收录 1 篇 aistats-2026 会议论文的 Reader 深度解读

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对音频驱动人像动画中动作自然度、唇同步、视觉质量互相冲突的问题，该工作用 Talking-Critic 学三维奖励并自动构建 410K 偏好对，再用 TLPO 分专家独立优化后做时步-层自适应融合，报告显示主指标和用户评分全面提升，代价是两阶段训练与多专家推理融合的额外复杂度。

针对音频频谱 token 远多于文本导致多模态 MoE 路由崩塌的问题，CoPRIME 用对比学习加 ELBO 路由与熵正则做音频文本对齐，在 MOSEI 和 IEMOCAP 零样本与少样本情绪任务上超过稠密与 LIMoE 式基线，代价是引入对比加 ELBO 加四个辅助损失共六项损失与两个权重的调参负担。

针对自由文本到 MIDI 语义对齐不足与调号速度拍号结构失配问题，MIDILM 采用前缀条件加共享掩码自注意力与文本 MLP 加 MIDI 混合专家双路前馈，在 MidiCaps 上相对最强基线在 CLAP 到 TB 上提升 6.07% 到 144.77%，代价是调性建模仍弱且复杂转调下降，未公开代码链接当前不可用。

针对同音替换、字形拆解、缩写与中英混写等伪装使纯文本失效的问题，MMBERT 把文本、合成语音与字形图像经对齐器送入共享自注意力加混合专家结构，并用三阶段渐进训练稳定优化，在 ToxiCloakCN 上报告 F1 为 95.2，代价是依赖合成多模态输入与较重的分阶段调参。

该研究把多方桌游对话切成保持或让渡的 2 分类问题，用文本加音频加语义手势的混合专家模型求解，最强证据是 3 模态融合在语义监督下取得更高的宏平均 F1，代价是标注一致性中等且领域局限于游戏对话。

针对多语言端到端语音翻译中共用单组低秩更新导致语言间干扰的问题，MoLoRA 把多个低秩适配模块当作专家并辅以多粒度语音融合，在 MuST-C 八语言平均 32.2 与 CoVoST-2 三语言平均 36.3 的 BLEU 下超过同量级单 LoRA，代价是路由与负载均衡等额外机制和调参成本。

UniStream 针对 48 kHz 因果流式语音、音乐与环境声共用一套残差码本容量不足的问题，用多专家残差向量量化扩大每层量化容量并靠已解码状态确定性复现路由，用训练期最优传输条件流匹配正则化量化隐空间，在 12 kbps Top-1 和 22.5 kbps Top-2 两档下以 ViSQOL、Mel 失真和消融证明多专家是主要增益来源，而流正则只带来语 …

针对方言、动态实体、口语不流利和长上下文的生产转写问题，该报告用混合专家大语言模型解码器统一控制语言、热词、历史与润色，并在中英文与多语基准及工业集上给出可核对的误差率与延迟对照，其代价是依赖大规模数据管线与指令组合训练。

SwanWeave 针对 FOA 四通道声场的指令编辑任务，用可控房间仿真构造 125K/类单操作与 250K 复合操作的源-目标配对监督，以潜空间流匹配为生成器，配合双层路由的 SE-MoE 与面向错编负样本的 SPO 偏好对齐及分阶段课程，实现一阶段复合编辑，并在客观与人评上一致优于现有通用与立体声编辑基线，代价是依赖仿真数据与约 10 秒短场景。

语音识别 | 7.5/10

音乐理解 | 7.5/10

语音生物标志物 | 6.0/10

语音识别 | 7.0/10