随输入换压缩宽度、只扰动高频梅尔带:音频伪造检测的泛化框架
论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。
论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。
针对一句内中英交替难认准、稀有词和人名易错的问题,该工作把混合专家适配、辅助语言预测和热词提示组合进语音大模型流程,在 ASRU2019 混读测试集 15 个干扰词条件下把混合错误率从 7.34% 降到 5.85%,代价是需要约 2200 小时多数据训练和预先给定热词表。
COAX 在预训练选专家时按数据类别加软偏置,让低资源类别被引向更大的指定专家子集,在多语言与多模态混合上改善了低资源验证损失,而推理时可去掉偏置保持标准 MoE 流程,代价是小规模下可观的训练吞吐开销。
针对播放器染色、空间传播与手机录音链路耦合导致的音乐退化,该系统用尺度感知编码加直接复数谱映射的双轴 Top-1 稀疏专家模型复原,并以 202 种条件下 1572.12 小时对齐仿真数据提供监督,最终以 2.951M 参数取得盲测 LSD 1.273、FAD 2.540、ViSQOL 3.495 的第三名成绩。
AuraLuxMuse 用音乐与灯光的对比对齐检索专家灯光序列并按偏好适配,证据是演唱会与综艺场景专家评分占优而戏剧场景不显著,代价是依赖固定语料库且单次推理约 7.65 秒。
EMODE 针对语音大模型容易只看文字内容而忽略韵律情感的问题,用语义和副语言两条专家通路加三阶段训练做情感语音建模,在九个数据集平均准确率 72.10% 上最高,但合成可控测试显示中文组级别稳定性仍明显弱于英文。
论文把多模态情绪理解改写为从感知到认知评估再到情绪的推理链,用 CogEmo-40K 做监督、用稀疏 CogEmo-MoE 做适配、用 AEQS 做评估,在自建基准上得到 70.60 分 AEQS 与 71.43% 准确率,但结论只在给定数据分布和评测流程下成立。
针对同一融合通路难以适应不同输入证据组合的问题,InstMoE 用五个单模态与跨模态专家加实例路由和对比语义对齐,在 CMU-MOSEI 与 CH-SIMS v2 上以 3.49M 至 3.53M 参数取得有竞争力的情感预测结果,但结论只在固定预提取特征与官方划分条件下成立。
SEAL 针对紧凑时频分离器在抵消频点估计受限和共享单元处处计算的问题,用混合闭合加性残差恢复抵消处的非零估计,用细化感知稀疏路由为每个时频令牌选一个残差专家,在 EchoSet 上以更少参数和运算量达到与 TIGER 相当或更好的分离质量。
针对同时训练多种音频理解技能时互相干扰的问题,SkillFormer 在音频编码器与语言模型之间插入 6 个低秩适配器并用问题控制的路由器加权组合,在三个模型上把三基准平均准确率提高 2.4 到 4.1 个百分点,代价是增加不到 4% 的参数和两阶段训练。
论文针对传统 softmax 门控与脉冲计算不兼容以及多模态输入缺失时选路脆弱的问题,提出基于侧抑制与不应期的 k-WTA 路由器和两阶段缺失模态补全,在视觉、语言与情感分析任务上以较低理论能耗达到与人工网络可比的精度,但结论依赖特定编码器、缺失模拟方式与理论能耗估计。
针对图文音视频混合检索中通用语义与模态特性难分离的问题,Syn-Omni 用共享 LoRA 加模态专家 LoRA 与渐进路由在 81 个任务上整体更均衡,3B 整体 Hit@1 达 49.4%,代价是专家路径推理时不能合并带来延迟增加。
针对预测层分支分配隐式的问题,BC-MLF 用 BCHead 做样本自适应最小约束混合、用 FTCL 按连续情感亲和整理融合表征,在 CMU-MOSEI 与 CH-SIMS 上超过复现的 DeepMLF 基线,代价是增加约 0.1M 量级的门控参数与训练期对比正则。
UniAE-MoE 针对语音音乐通用音频统一建模中单编码器偏置与直接融合冗余的问题,选择冻结 Qwen2-Audio 与 Audio-Flamingo 3 并用带共享专家的 SwiGLU 混合专家做融合,在 XARES-LLM 上取得 0.802 总分,代价是两阶段指令调优与任务相关数据补充带来的训练复杂度。
针对未见攻击类型与声学条件下的语音伪造检测,论文提出域自适应双门控混合专家 DADGMoE,用原始波形与 SSL 表示的双路 Sinc 滤波加可学习域原型计算路由权重,再用轻量批量归一化仿射专家变换特征,在 21DF、ITW、FoR 上相对 XLSR-AASIST 基线取得约 31.2% 至 40.8% 的等错误率相对下降,代价是增加约 0.17M 参数并需 …
针对自监督检测器偏向全局语义与跨域层重要性漂移问题,GLAD 用语言声学交叉注意加信号卷积的多粒度融合与样本级门控组织证据,在只训练 19LA 条件下报告 21DF 等域上更低的等错误率,但以双自监督加卷积分支的更大推理开销为代价。
针对声码器到神经编解码器合成范式迁移导致的泛化下降,论文先用共享线性分类器比较 12 种声学表示,再提出双视角 MN-P 融合 token 级分层 XLS-R 与话语级 pooled 无人声残差,在合并测试集上把最强重训基线的等错误率从 5.986% 降到 2.744%,未见编解码器子集从 15.692% 降到 6.136%,代价是依赖离线人声分离与冻结大模 …
YuE2 用同一模型先写包含旋律与和声的可读乐谱再生成语义与声学表示,在相同检查点对照中符号规划提升了专家感知的整体质量,并以可编辑的乐谱接口支持改编与零样本翻唱,但多候选筛选与自动指标仍带来额外代价与解释边界。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对口语英语评分数据稀缺问题,论文用 16 专家混合专家分工捕捉多模态线索并以一阶 MAML 学可快速适应的初始化,在 ETS Vericant 上 SEE 总分达到分类 F1 84.88% 与回归 MSE 0.225,代价是仍依赖预训练特征且切段可反映整段的假设待验证。