把混叠的音频表示拆开:AudioSAE 用稀疏自编码器解剖 Whisper 与 HuBERT
该文在 Whisper 与 HuBERT 每层编码器激活上训练 BatchTopK 稀疏自编码器,用跨种子稳定性、分类探测与消融、转向和脑电相关验证特征,最强证据是转向使虚假语音检出平均下降 70% 而词错误率仅从 5.1% 升至 5.5%,代价是彻底擦除语音概念需移除 19-27% 特征且强转向会破坏识别。
该文在 Whisper 与 HuBERT 每层编码器激活上训练 BatchTopK 稀疏自编码器,用跨种子稳定性、分类探测与消融、转向和脑电相关验证特征,最强证据是转向使虚假语音检出平均下降 70% 而词错误率仅从 5.1% 升至 5.5%,代价是彻底擦除语音概念需移除 19-27% 特征且强转向会破坏识别。
针对被动声学监测中标注稀缺与域偏移问题,论文提出先做无监督结构发现再做定向验证的路线,用 MFCC 加 UMAP-HDBSCAN 组织大规模 soundscape 并以 LEAVES 做簇级标签传播,报告两站点约 98% 的四类区分准确率与最高 7.12 倍的标注加速,但 79-90% 的簇标签一致性与未解决的复音分离仍是主要代价与边界。
共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读
针对无编程背景学生与生物声学研究者难以串起特征、降维、聚类与分类的问题,AI EcoSound Tutor 用 MFCC/OpenL3 加 PCA/t-SNE/UMAP 加 K-Means/GMM/HDBSCAN 的可配置流水线组织学习,最强证据是在蝗虫录音上 MFCC-UMAP 组合达到轮廓系数 0.9 并经频谱图与回放验证,代价是方法子集有限且仅支持 …
该文把单通道分离写成已知加性混合的逆问题,只用单源扩散先验加迭代重建引导完成分离,并用混合加噪初始化、三重注意力骨干与混合引导强度解决梯度冲突,代价是 200 步迭代采样的计算开销与同质语音的排列不确定性。
音频分离 | 6.6/10
语音识别 | 8.9/10
音频理解 | 7.5/10
音频分类 | 5.9/10
音乐理解 | 5.4/10
音乐理解 | 7.1/10
语音分离 | 6.2/10
音乐检索 | 7.7/10
说话人验证 | 6.3/10
音乐理解 | 5.5/10
声源定位 | 6.9/10
无监督学习 | 5.1/10
音频伪造检测 | 6.5/10
音乐理解 | 7.6/10
共分析 15 篇语音/AI 论文