ResMamba:用双路卷积加状态空间模型做音乐流派分类
针对梅尔频谱图同时需要局部时频纹理和长时跨段结构的问题,ResMamba 在 ResNet 式四阶段主干中并行使用卷积分支抓局部与选择性状态空间分支抓全局并做多尺度融合,在 GTZAN 五折平均 88.99% 且全程从零训练,代价是依赖全分辨率输入与分窗折中。
针对梅尔频谱图同时需要局部时频纹理和长时跨段结构的问题,ResMamba 在 ResNet 式四阶段主干中并行使用卷积分支抓局部与选择性状态空间分支抓全局并做多尺度融合,在 GTZAN 五折平均 88.99% 且全程从零训练,代价是依赖全分辨率输入与分窗折中。
针对长时高采样音频序列过长导致自注意力平方复杂度与整段一次性生成难以流式扩展的问题,MFlowAudio 用时间与通道双路 Mamba 建模潜在表示并用有状态流匹配实现分块训练生成,在 AudioCaps 等条件下保持与基线可比的生成质量并将首块延迟固定在 1.8 秒左右,但动态切换语义与边界自然度之间仍需权衡。
论文把事件流写成每到事件做跳变、事件之间按闭式漂移的模型,证明同时无关与穿越连续都等价于跳变可交换,并用快慢两条迹加累加器的最小 TM 层实现有序对交互,在开发集上比同读出的加性状态明显更好,但正式测试与最优精度尚未报告。
针对随语音生成长时间全身动作时会风格漂移和历史代价增大的问题,PASPA 把远历史压缩为跨块持续状态、把当前块用双向注意力精细建模,并在块式流匹配下用多块监督与混合引导训练推理,在 BEAT2 与 SHOW 上取得最优的生成质量指标,但长尾大位移与超长记忆仍有限制。
AD-Mamba 针对长而稀疏且有噪声的音频分类,用先 CNN 后 Transformer 的多阶段蒸馏把局部谱时纹理和全局语义判别能力转入 Mamba 主干,在 AudioSet 上以 30M 参数达到 50.3% mAP 并在长音频与噪声填充下保持更稳的精度,代价是三阶段共 400 轮蒸馏训练与对强教师的依赖。
BridgeCodec 要解决冻结的 8 kHz 源编码器与 48 kHz 目标解码器无法直接通信的问题,用 Schrödinger Bridge 在潜在空间做最优传输并以 Mamba 增强的 U-Net 建模长时依赖,在 1 kbps 传输下实现 48 kHz 重建,代价是需要两阶段训练且高频内容带有生成性幻觉。
针对重叠与运动下指定声源在指定时刻位置难定位的问题,SonicWorld 用持续声源状态组织声学证据,在 Sonic-Bench 上把单声源方向准确率从 43.75% 提升到 50.00%,代价是需要完整片段离线推理与两阶段微调。
论文针对肌电到语音合成中过度平滑与模型臃肿问题,提出融合局部注意力与状态空间的轻量编码器并用混沌损失约束时序动态,在英汉数据上以更少参数改善频谱重建与可懂度,但混沌计算只在训练时付出代价且主观差异未达显著水平。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
论文把问题定义为让麦克风处物理叠加信号逼近干净目标的主动声重构,用 Transformer-Mamba 生成抵消器信号并以多项声学损失联合训练,在去噪、去混响、去削波三类合成声学通道实验中报告了高于适配后传统与深度主动噪声控制基线的客观分数,但代价是依赖精确仿真通道、未来样点预测和较大生成器参数量。
该工作用 47.88M 参数的双向 Mamba2 编码器在约 250 小时 67 语言无标注语音上做掩码离散单元预测,在官方评测以说话人聚类 ARI 0.735 超过四个基线,但语言识别 macro-F1 0.073 与字符错误率 0.870 仍明显落后,且后期检查点出现音素泛化退化。
针对自然语音中多情感共存却被多数投票抹掉的问题,该工作把 MSP-Podcast V2.0 的众包投票转为确定性多热标签并控制长尾,再用 MFCC 与 log-mel 双分支 Mamba 融合建模,在 Test1 与 Test2 上微平均 F1 约 0.50 的同时把参数量控制在约 3M 量级,代价是尾部情感在固定阈值下依然难以检出。
针对 Genhancer 中 FAVOR+ 近似导致聚焦不足与特征多样性下降,论文以保持线性复杂度的 Hydra 替换全局注意力并保留扩张卷积负责局部建模,在 DAPS 真实重录上以 106M 参数在多项指标超越 FAVOR+ 并接近 Softmax 上界,代价是长输入外推与生成幻觉仍需单独验证。
针对呼吸音中短时局部的爆裂音与哮鸣音易被全局自注意平滑掉的问题,论文用蒸馏音频状态空间模型保留中高空间频率,再以高斯平滑约束中间层与双轴切块混合对比学习提升鲁棒性,在 ICBHI 上报告 4 分类 64.48% 与 2 分类 72.57%,代价是引入温度、核尺寸与施加阶段等超参数选择。
针对净化后仍能克隆的语音伪造问题,该工作把身份比特藏进 100-1000 Hz 音素稳定区并用 Mamba 编码与对抗净化训练实现迁移,在 11 人 165 条克隆语音上报告近 100% 溯源而 MH-Mamba 净化后保持率报告 92.34% 且代价是需强制对齐与两阶段训练。
SAM 用 Mamba-2 替代 Transformer 做音频语言模型主干,以 2.7B 参数在 AudioSet 上报告 21.1 mAP、在 AudioCaps 上报告 17.6 SPICE,并以联合微调音频编码器、保持 64 个紧凑音频 token、加入结构化推理监督为代价换取推理能力从 22.8 到 56.8 的提升。
针对联合去噪去混响,论文用薛定谔桥中间状态训练 Mamba 主干并在退化端单步推理,在真实录音与混响集上取得多项领先,代价是干净对照集上部分语义指标未胜出且需补流式与统计验证。
针对固定区域边界敏感与单维度距离或方位重叠歧义问题,SPOT-TSE 用距离加方位连续空间点查询结合空间查询编码与歧义感知训练做多通道提取,在仿真智能眼镜数据上把 D1 到 D3 的 SDR 提升到 14.95、13.94 和 11.05 dB 并把 WER 降到 0.12、0.14 和 0.22,代价是参数量从 0.52M 增加到 1.46M 但运算量下降 …
针对冻结且结构失配的编码器与解码器无法直接互通的问题,BridgeCodec 用薛定谔桥学习源潜变量到目标潜变量的最优传输并以 Mamba 增强 U-Net 建模长时依赖,在 8 kHz、1 kbps 输入到 48 kHz 重建的极端条件下把 STOI 从 0.23 提升到 0.88、SIM 提升到 0.96,代价是高频生成内容使 WER 略升至 2.11 …
论文用单帧静音探针审计 10 个视频基准揭示视觉捷径,再在 LLaVA-OneVision 上外挂语音编码器并以因果 Mamba 周期查询把 25 Hz 音频压到 1 Hz,在过滤后语音与跨模态任务上取得稳定增益而视觉任务基本不受影响,代价是延迟从 1.00 秒升至 1.60 秒。