混合专家模型

针对多语种语音识别中共享解码器互相干扰的问题，BELLA 把语音编码器加冻结大语言模型解码器的桥接对齐放在下层、把路由器加混合专家低秩适配的识别放在上层，在五个 CoVoST 2 语种上用词错误率验证收益，同时保留了小语种与高资源语种表现不一致等代价。

针对构音障碍数据少且严重程度声学差异大的问题，该工作冻结 WavLM 主干、在底层用共享 LoRA 学通用声学、在高层用临床监督路由的专家 LoRA 做严重程度特化，在 UA-Speech 上 5 分类宏 F1 达 61.55%、2 分类 F1 达 94.54%，代价是依赖说话人独立划分与临床严重度标注做路由监督。

针对神经音频编解码器量化导致水印提取跌到随机水平的问题，该文不改嵌入器而在解码前加频谱修复，并用分类器为每种编解码器选专用修复模型，在多码本残差量化编解码器上把比特准确率恢复到 98% 以上，代价是每种新编解码器都要单独训练一个专用模型且单码本极低码率下基本无效。

针对未见攻击与声学条件下的语音伪造检测，论文提出域自适应双选通混合专家，在波形与自监督表示两路做 Sinc 滤波并用域原型指导路由，在 21DF、ITW 和 FoR 上把等错误率从 3.69%、10.46% 和 7.47% 降到 2.54%、6.35% 和 4.42%，代价是只增加约 0.17M 参数并引入选通与原型等附加设计。

针对成人与多环境多年龄儿童语音难以用单一模型兼顾的问题，该工作用显式分类器路由选择领域专家并结合混合投影器与混合低秩适配器建模声学与语言差异，再以归一化熵引入共享专家缓解边界不确定，最强证据是软路由加熵感知在 OGI-S 三年龄组平均词错率降到 11.08% 且 MyST 保持 8.58%，代价是专家参数增加约 5% 且熵感知目前只在 OGI-S 年龄组内验 …

针对 44.1 kHz 歌声伪造检测，论文用全带专家保全局加子带专家抓局部伪影，对比四种融合后在 WildSVDD 上以蒸馏再聚合达到 Test A 最低 1.58% 与 Test B 8.77%，代价是多专家训练与推理结构更复杂。

针对预训练语音表示漏掉低层幅度相位伪影的问题，该工作用频率音频编码器显式建模幅度与相位、用谱混合专家在冻结奇异基下适配 WavLM，在 2019 LA 上报告 0.29% 等错误率与 0.0081 最小串联代价，代价是引入跨注意力融合与多专家门控等额外结构与超参数。

针对口音导致识别错误上升而全量微调昂贵的问题，论文提出在冻结 Whisper-small 上加口音码本注入与口音度门控的混合适配器路由，并用多任务与对抗去性别泄漏约束训练，在 AESRC 上报告 7.49% 词错误率和 3.81% 字错误率，最强增益依赖解码后确定性幻觉过滤配合。

针对说话人确认在非言语发声上跨域失效且微调会遗忘语音的问题，论文用冻结 Data2Vec 加 ECAPA-TDNN 配合层间混合专家与只对语音蒸馏的教师约束加跨域对比损失，在保持可运行基线的条件下把语音对非言语 EER 从 38.93% 降到 22.66%，代价是标准语音 EER 仍高于大规模预训练的 5.60%。

针对十种诱发范式各需专用模型且简单混训不增益的问题，论文用 Qwen2.5-Omni 语音大模型加 10 个 DoRA 专家动态路由统一建模，在 1223 名青少年数据上把平均准确率从单范式 0.628 提升到 0.656 并改善未见范式泛化与校准，代价是专家数、负载均衡与温度缩放都需仔细配置且个别范式仍不占优。

针对多语联合微调容量不足导致的负迁移，论文把 Whisper 解码器前馈层复制为稀疏混合专家并只激活单个专家，硬路由在 10 语和 4 语上优于多语微调与 LoRA 混合专家，代价是总参数随专家数线性增长且需已知语种标识。

针对 MLAAD 开放集溯源中 SSL 域内强但域外过自信的问题，论文用冻结 XLSR-53 加 66 维 CORES 双分支与输入条件门控联合能量间隔训练，在 Eval 上报告 97.6% 域内准确率、4.9% EERc 和 10.4% FPR95，代价是需 Dev 域外样本做辅助监督且门控需冻结预热与熵正则维持。

针对语音驱动开放集检测中配对数据稀缺与文本中转误差传播问题，Speech2See 用 Grounding DINO 与 HuBERT 先验加 QSA 压缩和 MoLE 微调实现端到端听声定位，在 COCO 闭集达 56.2 AP、零样本达 42.7 AP，但语音连续性与说话人变化仍使长尾与文本上界存在差距。

该研究用音频加文本加图片描述任务图像的三路融合回归预测 MoCA 与 MMSE 分数，最强证据是图片描述任务上 E6 达到 MoCA 均方根误差 2.11 与 MMSE 均方根误差 1.85 左右，代价是小样本波兰语队列、无外部验证且视觉接地只适用于图片描述任务。

针对多人重叠语音转写中深层说话人特征稀释问题，GLAD 用浅层全局路由加中间层局部路由的逐帧动态融合来指导低秩专家选择，在 LibriSpeechMix 与 CH109 上报告了优于 SOT 基线的错误率，尤其在高重叠下更稳，但三说话人仍是零样本泛化且真实数据需再微调。

针对中英码切换识别中语言快速切换与稀有命名实体难认的问题，LLM-HB 用 Whisper 编码器加双专家 MoE 适配器加辅助语言头加 LLM 热词提示做联合建模，在 ASRU2019 码切换测试集 15 干扰词条件下把混合错误率从 7.34% 降到 5.85%，代价是需要约 2200 小时多数据训练与仔细权衡偏置损失权重。

针对边缘端算力受限下语音分离需要低计算量而非小参数的问题，论文提出在 mel 带切分的 Conformer 双路径上对前馈层做时间维与频率维稀疏专家路由，在 Libri2Mix 上以 4.1 GMACs/s 达到 17.7 dB SDR，代价是专家参数量成倍增加与专家数过大时路由难学。

针对统一目标难以适应动作中心与环境中心等不同场景的问题，该研究用策略侧与奖励侧对称的混合专家加组相对优化做上下文自适应音频描述，在 Clotho 上报告了 CIDEr 0.4137 与 FENSE 0.4642 等提升，但 AudioCaps 上 CIDEr 仍不及纯 CIDEr 优化基线且人工评测样本仅 20 条音频。

该研究把多方言统一到国际音标输入上，用方言感知混合专家缓解合训时的风格平均，再以参数高效微调扩展 3 小时级新方言并以识别反馈的强化学习整合高质量成都话数据，最强证据是强化学习把成都话词错误率从 29.25% 降到 23.93% 并带动西安话等相关方言下降，代价是整体词错误率和主观分仍落后于数十万小时级商业系统且闽南语等远亲方言错误率仍很高。

针对带口音英语识别中音素实现系统性偏移的问题，该工作把适配轴从口音身份换成发音方式，用六个低秩语音专家加帧级混合路由做 Conformer 适配，在 L2-ARCTIC 上多口音达到 10.43% 词错率、未见口音相对单一低秩适配平均改进 12.3%，代价是依赖一个跨域只有 36.04% 首选准确率的冻结音素模型和层选择分析。