论文解读
语义不够:语音平均意见分预测为何还需要声学保真度
论文在 BVCC 训练、在 SOMOS 与 BC2019 零样本评测自监督、纯声学与统一编解码表示;融合语义和声学的部分模型有较好表现,但优劣随冻结或微调、数据集及评分或排序指标而变化,跨语种也有例外,不能据此宣布某一表示类别普遍最优。
论文在 BVCC 训练、在 SOMOS 与 BC2019 零样本评测自监督、纯声学与统一编解码表示;融合语义和声学的部分模型有较好表现,但优劣随冻结或微调、数据集及评分或排序指标而变化,跨语种也有例外,不能据此宣布某一表示类别普遍最优。
针对未见说话人上情感识别易受说话人差异干扰的问题,论文用 wav2vec 2.0 做编码器、ECAPA-TDNN 做说话人判别器并以熵最大化做对抗,在 IEMOCAP 测试集报告 60.63% UA,代价是交替训练更复杂且存在原文内部数字不一致与未验证的跨库边界。
论文把脑磁图听语音解码推进到固定 50 词分类,用深度单人赛道冲极限、用广度多人赛道考少量数据适应,以竞赛词表平衡前十准确率为主要标尺并配双词表与互信息,同时代价是评估只覆盖固定词表而非开放词汇转写。
语音合成 | 7.5/10
音频分类 | 7.0/10
语音伪造检测 | 7.4/10
音频分类 | 7.8/10
音频伪造检测 | 6.3/10
音乐理解 | 6.5/10
音频分类 | 8.1/10
对比学习 | 7.5/10
音乐转录 | 6.3/10
音频检索 | 8.0/10
语音识别 | 9.1/10
语音编码 | 5.5/10
音视频理解 | 4.0/10
音频检索 | 7.3/10
音频理解 | 8.1/10
音频伪造检测 | 9.6/10
语音质量评估 | 8.2/10