决策层才分配分支:用约束混合与情感亲和正则补上融合的最后一环
针对预测层分支分配隐式的问题,BC-MLF 用 BCHead 做样本自适应最小约束混合、用 FTCL 按连续情感亲和整理融合表征,在 CMU-MOSEI 与 CH-SIMS 上超过复现的 DeepMLF 基线,代价是增加约 0.1M 量级的门控参数与训练期对比正则。
针对预测层分支分配隐式的问题,BC-MLF 用 BCHead 做样本自适应最小约束混合、用 FTCL 按连续情感亲和整理融合表征,在 CMU-MOSEI 与 CH-SIMS 上超过复现的 DeepMLF 基线,代价是增加约 0.1M 量级的门控参数与训练期对比正则。
UniAE-MoE 针对语音音乐通用音频统一建模中单编码器偏置与直接融合冗余的问题,选择冻结 Qwen2-Audio 与 Audio-Flamingo 3 并用带共享专家的 SwiGLU 混合专家做融合,在 XARES-LLM 上取得 0.802 总分,代价是两阶段指令调优与任务相关数据补充带来的训练复杂度。
针对未见攻击类型与声学条件下的语音伪造检测,论文提出域自适应双门控混合专家 DADGMoE,用原始波形与 SSL 表示的双路 Sinc 滤波加可学习域原型计算路由权重,再用轻量批量归一化仿射专家变换特征,在 21DF、ITW、FoR 上相对 XLSR-AASIST 基线取得约 31.2% 至 40.8% 的等错误率相对下降,代价是增加约 0.17M 参数并需 …
针对自监督检测器偏向全局语义与跨域层重要性漂移问题,GLAD 用语言声学交叉注意加信号卷积的多粒度融合与样本级门控组织证据,在只训练 19LA 条件下报告 21DF 等域上更低的等错误率,但以双自监督加卷积分支的更大推理开销为代价。
针对声码器到神经编解码器合成范式迁移导致的泛化下降,论文先用共享线性分类器比较 12 种声学表示,再提出双视角 MN-P 融合 token 级分层 XLS-R 与话语级 pooled 无人声残差,在合并测试集上把最强重训基线的等错误率从 5.986% 降到 2.744%,未见编解码器子集从 15.692% 降到 6.136%,代价是依赖离线人声分离与冻结大模 …
YuE2 用同一模型先写包含旋律与和声的可读乐谱再生成语义与声学表示,在相同检查点对照中符号规划提升了专家感知的整体质量,并以可编辑的乐谱接口支持改编与零样本翻唱,但多候选筛选与自动指标仍带来额外代价与解释边界。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对口语英语评分数据稀缺问题,论文用 16 专家混合专家分工捕捉多模态线索并以一阶 MAML 学可快速适应的初始化,在 ETS Vericant 上 SEE 总分达到分类 F1 84.88% 与回归 MSE 0.225,代价是仍依赖预训练特征且切段可反映整段的假设待验证。
针对多语种语音识别中共享解码器互相干扰的问题,BELLA 把语音编码器加冻结大语言模型解码器的桥接对齐放在下层、把路由器加混合专家低秩适配的识别放在上层,在五个 CoVoST 2 语种上用词错误率验证收益,同时保留了小语种与高资源语种表现不一致等代价。
针对构音障碍数据少且严重程度声学差异大的问题,该工作冻结 WavLM 主干、在底层用共享 LoRA 学通用声学、在高层用临床监督路由的专家 LoRA 做严重程度特化,在 UA-Speech 上 5 分类宏 F1 达 61.55%、2 分类 F1 达 94.54%,代价是依赖说话人独立划分与临床严重度标注做路由监督。
针对神经音频编解码器量化导致水印提取跌到随机水平的问题,该文不改嵌入器而在解码前加频谱修复,并用分类器为每种编解码器选专用修复模型,在多码本残差量化编解码器上把比特准确率恢复到 98% 以上,代价是每种新编解码器都要单独训练一个专用模型且单码本极低码率下基本无效。
针对未见攻击与声学条件下的语音伪造检测,论文提出域自适应双选通混合专家,在波形与自监督表示两路做 Sinc 滤波并用域原型指导路由,在 21DF、ITW 和 FoR 上把等错误率从 3.69%、10.46% 和 7.47% 降到 2.54%、6.35% 和 4.42%,代价是只增加约 0.17M 参数并引入选通与原型等附加设计。
针对成人与多环境多年龄儿童语音难以用单一模型兼顾的问题,该工作用显式分类器路由选择领域专家并结合混合投影器与混合低秩适配器建模声学与语言差异,再以归一化熵引入共享专家缓解边界不确定,最强证据是软路由加熵感知在 OGI-S 三年龄组平均词错率降到 11.08% 且 MyST 保持 8.58%,代价是专家参数增加约 5% 且熵感知目前只在 OGI-S 年龄组内验 …
针对 44.1 kHz 歌声伪造检测,论文用全带专家保全局加子带专家抓局部伪影,对比四种融合后在 WildSVDD 上以蒸馏再聚合达到 Test A 最低 1.58% 与 Test B 8.77%,代价是多专家训练与推理结构更复杂。
针对预训练语音表示漏掉低层幅度相位伪影的问题,该工作用频率音频编码器显式建模幅度与相位、用谱混合专家在冻结奇异基下适配 WavLM,在 2019 LA 上报告 0.29% 等错误率与 0.0081 最小串联代价,代价是引入跨注意力融合与多专家门控等额外结构与超参数。
针对口音导致识别错误上升而全量微调昂贵的问题,论文提出在冻结 Whisper-small 上加口音码本注入与口音度门控的混合适配器路由,并用多任务与对抗去性别泄漏约束训练,在 AESRC 上报告 7.49% 词错误率和 3.81% 字错误率,最强增益依赖解码后确定性幻觉过滤配合。
针对说话人确认在非言语发声上跨域失效且微调会遗忘语音的问题,论文用冻结 Data2Vec 加 ECAPA-TDNN 配合层间混合专家与只对语音蒸馏的教师约束加跨域对比损失,在保持可运行基线的条件下把语音对非言语 EER 从 38.93% 降到 22.66%,代价是标准语音 EER 仍高于大规模预训练的 5.60%。
针对十种诱发范式各需专用模型且简单混训不增益的问题,论文用 Qwen2.5-Omni 语音大模型加 10 个 DoRA 专家动态路由统一建模,在 1223 名青少年数据上把平均准确率从单范式 0.628 提升到 0.656 并改善未见范式泛化与校准,代价是专家数、负载均衡与温度缩放都需仔细配置且个别范式仍不占优。
针对多语联合微调容量不足导致的负迁移,论文把 Whisper 解码器前馈层复制为稀疏混合专家并只激活单个专家,硬路由在 10 语和 4 语上优于多语微调与 LoRA 混合专家,代价是总参数随专家数线性增长且需已知语种标识。
针对 MLAAD 开放集溯源中 SSL 域内强但域外过自信的问题,论文用冻结 XLSR-53 加 66 维 CORES 双分支与输入条件门控联合能量间隔训练,在 Eval 上报告 97.6% 域内准确率、4.9% EERc 和 10.4% FPR95,代价是需 Dev 域外样本做辅助监督且门控需冻结预热与熵正则维持。