混合专家模型

针对语音驱动开放集检测中配对数据稀缺与文本中转误差传播问题，Speech2See 用 Grounding DINO 与 HuBERT 先验加 QSA 压缩和 MoLE 微调实现端到端听声定位，在 COCO 闭集达 56.2 AP、零样本达 42.7 AP，但语音连续性与说话人变化仍使长尾与文本上界存在差距。

该研究用音频加文本加图片描述任务图像的三路融合回归预测 MoCA 与 MMSE 分数，最强证据是图片描述任务上 E6 达到 MoCA 均方根误差 2.11 与 MMSE 均方根误差 1.85 左右，代价是小样本波兰语队列、无外部验证且视觉接地只适用于图片描述任务。

针对多人重叠语音转写中深层说话人特征稀释问题，GLAD 用浅层全局路由加中间层局部路由的逐帧动态融合来指导低秩专家选择，在 LibriSpeechMix 与 CH109 上报告了优于 SOT 基线的错误率，尤其在高重叠下更稳，但三说话人仍是零样本泛化且真实数据需再微调。

针对中英码切换识别中语言快速切换与稀有命名实体难认的问题，LLM-HB 用 Whisper 编码器加双专家 MoE 适配器加辅助语言头加 LLM 热词提示做联合建模，在 ASRU2019 码切换测试集 15 干扰词条件下把混合错误率从 7.34% 降到 5.85%，代价是需要约 2200 小时多数据训练与仔细权衡偏置损失权重。

针对边缘端算力受限下语音分离需要低计算量而非小参数的问题，论文提出在 mel 带切分的 Conformer 双路径上对前馈层做时间维与频率维稀疏专家路由，在 Libri2Mix 上以 4.1 GMACs/s 达到 17.7 dB SDR，代价是专家参数量成倍增加与专家数过大时路由难学。

针对统一目标难以适应动作中心与环境中心等不同场景的问题，该研究用策略侧与奖励侧对称的混合专家加组相对优化做上下文自适应音频描述，在 Clotho 上报告了 CIDEr 0.4137 与 FENSE 0.4642 等提升，但 AudioCaps 上 CIDEr 仍不及纯 CIDEr 优化基线且人工评测样本仅 20 条音频。

该研究把多方言统一到国际音标输入上，用方言感知混合专家缓解合训时的风格平均，再以参数高效微调扩展 3 小时级新方言并以识别反馈的强化学习整合高质量成都话数据，最强证据是强化学习把成都话词错误率从 29.25% 降到 23.93% 并带动西安话等相关方言下降，代价是整体词错误率和主观分仍落后于数十万小时级商业系统且闽南语等远亲方言错误率仍很高。

针对带口音英语识别中音素实现系统性偏移的问题，该工作把适配轴从口音身份换成发音方式，用六个低秩语音专家加帧级混合路由做 Conformer 适配，在 L2-ARCTIC 上多口音达到 10.43% 词错率、未见口音相对单一低秩适配平均改进 12.3%，代价是依赖一个跨域只有 36.04% 首选准确率的冻结音素模型和层选择分析。

针对语音到语音翻译丢失笑声哭声的问题，论文用可扩展表情合成管线加五专家混合 LoRA 与软路由解决，在英中翻译上以 76% 非言语匹配和最高人评自然度情感相似度为证据，代价是合成数据主导与英中范围验证。

论文要解决长音视频生产力任务中感知与长程规划脱节的问题，选择原生多模态共训加百万上下文与按需取证的智能体执行，证据是多说话人识别与长视频推理的大幅提升，代价是通用转写翻译仍有差距且实时交互需非思考模式换取低延迟。

MECT 针对全监督说话人确认中卷积局部建模与 Transformer 全局建模难以兼顾的问题，把四种混合专家结构放进 Transformer 前馈位置，用帧级稠密 4 专家在 VoxCeleb 上取得 minDCF 0.012、0.026、0.048 的报告结果，代价是参数从 9.40M 增至 9.57M 并需因果重训才支持 100 ms 流式。

针对固定深度对所有语音做同样多次精修的浪费，ADER 用共享 TS-Transformer 块循环精修并以深度控制器硬早停加每步单专家残差适配，在 VCTK-DEMAND 上以平均 2.15 次迭代达到 WB-PESQ 3.37，代价是相对固定 3 步共享块仍有约 2.6% 的感知质量下降。

该研究把黑胶损伤检测做成修复导向的 5 类时序路由，用稀疏、突发、密集 3 路专家证据加分层路由器与验证集选定的维特比转移惩罚，在 597 段合成基准上达到 0.730 的 5 类宏 F1，主要增益来自时序解码而非分层本身，且混合类仍最难。

该文把视频多模态情感分析拆为极性判别与强度回归，用极性与强度瓶颈专家分别压缩各模态信息再做跨模态路由融合，在四个中英文数据集与多种语言模型上报告了路由设置与专家分工证据，但未公开代码与完整训练预算。

StepAudio 3 Music 针对完整歌曲的长程结构与高保真渲染矛盾，采用 50 赫兹 65536 表项单码本离散表示加混合专家自回归组织音乐序列再由流匹配扩散渲染 48 千赫音频，并以 ABC 记谱作显式编曲计划，在 339 条歌词到歌曲与 316 条人声条件上取得内容享受 7.7086 与文本相似 0.4465 的最高均值，代价是自回归序列翻倍与符 …

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

论文把音乐与语音当作隐式风格控制信号，用音频-动作对齐加残差混合专家教师与内容加风格扩散学生实现免重定向的音频到关节动作映射，在 FineDance 与 BEAT2 上报告了检索与跟踪指标，但跨仿真与真机泛化仍受数据集与物理条件限制。

针对单模态压缩器重复部署与大模型压缩器过重的问题，OmniZip 用统一可逆分词加双路模态路由的轻量序列模型预测概率再算术编码，在 16 个数据集上接近专用方法并在笔记本与手机上接近实时，代价是自然图像与基因等难例仍弱于专用大模型。

ViBES 针对多轮对话中语言与身体脱节的问题，采用文本语音专家加面部与身体专家的混合模态专家结构并在 25 帧统一时钟上联合生成，在对话行为基准上取得高于共语音手势与文本到动作基线的对齐度，代价是依赖单目重建数据与尚不完善的行为评价。

针对语音训练的伪造检测器在歌声上失效的问题，论文用对数梅尔谱、MFCC 与 Wav2Vec2 三专家加门控融合与 50/50 语音歌声联合微调，在 CtrSVDD 上报告 1.82% 等错误率并在 ASVspoof 2019 上保持 0.38%，代价是多分支推理开销与 SingFake 野外数据上仍高达 44.20%。