并行解耦全局与局部:E-Branchformer 在音频伪造检测中的可复述设计
针对语音伪造检测中自监督表示难以同时捕捉长程与短程线索的问题,论文用并行全局注意力与局部卷积分支加解耦类令牌与 DWConv-SE 融合的 E-Branchformer,在 ASVspoof 2021 LA/DF 与 ITW 上取得 0.88%/1.85%/6.30% EER 并在 ASVspoof 5 上取得 5.44% EER,代价是四层编码器与细粒度融 …
针对语音伪造检测中自监督表示难以同时捕捉长程与短程线索的问题,论文用并行全局注意力与局部卷积分支加解耦类令牌与 DWConv-SE 融合的 E-Branchformer,在 ASVspoof 2021 LA/DF 与 ITW 上取得 0.88%/1.85%/6.30% EER 并在 ASVspoof 5 上取得 5.44% EER,代价是四层编码器与细粒度融 …
在 BEST-RQ、mel 与 chroma 重建和 CTC 构成的声学词汇基座上叠加音频描述对比对齐,并以配对内打乱对照与双读出冻结评测分离对应关系贡献,正确配对在三粒种子上使域均衡分类线性探针提升 4.66 点、序列感知 LLM 提升 2.59 点且每域均为正,其中线性增益的 87% 来自正确对应而非额外对比目标。
论文在 BVCC 训练、在 SOMOS 与 BC2019 零样本评测自监督、纯声学与统一编解码表示;融合语义和声学的部分模型有较好表现,但优劣随冻结或微调、数据集及评分或排序指标而变化,跨语种也有例外,不能据此宣布某一表示类别普遍最优。
针对未见说话人上情感识别易受说话人差异干扰的问题,论文用 wav2vec 2.0 做编码器、ECAPA-TDNN 做说话人判别器并以熵最大化做对抗,在 IEMOCAP 测试集报告 60.63% UA,代价是交替训练更复杂且存在原文内部数字不一致与未验证的跨库边界。
论文把脑磁图听语音解码推进到固定 50 词分类,用深度单人赛道冲极限、用广度多人赛道考少量数据适应,以竞赛词表平衡前十准确率为主要标尺并配双词表与互信息,同时代价是评估只覆盖固定词表而非开放词汇转写。
语音合成 | 7.5/10
音频分类 | 7.0/10
语音伪造检测 | 7.4/10
音频分类 | 7.8/10
音频伪造检测 | 6.3/10
音乐理解 | 6.5/10
音频分类 | 8.1/10
对比学习 | 7.5/10
音乐转录 | 6.3/10
音频检索 | 8.0/10
语音识别 | 9.1/10
语音编码 | 5.5/10
音视频理解 | 4.0/10
音频检索 | 7.3/10
音频理解 | 8.1/10