论文解读
音频幻觉为何总说“有”:用静默对照与首步门控校正肯定偏差的 TAD
针对二元音频问答中模型因语言先验而虚报存在的幻觉,TAD 以静默音频为对照做对比解码并仅在首步用音频增益门控惩罚肯定词,在 AudioCaps-Hallucination 与 Clotho-AQA 上提升拒绝能力但在部分设置下以精度与准确率下降为代价。
针对二元音频问答中模型因语言先验而虚报存在的幻觉,TAD 以静默音频为对照做对比解码并仅在首步用音频增益门控惩罚肯定词,在 AudioCaps-Hallucination 与 Clotho-AQA 上提升拒绝能力但在部分设置下以精度与准确率下降为代价。
语音识别 | 7.4/10
音频检索 | 7.2/10
说话人验证 | 7.8/10
音乐检索 | 7.3/10
音频分离 | 5.7/10
音频分类 | 7.8/10
音乐理解 | 6.5/10
音视频理解 | 6.0/10
音频分类 | 8.1/10
对比学习 | 7.5/10
音乐理解 | 8.0/10
音频检索 | 8.0/10
音频理解 | 8.5/10
音视频理解 | 4.0/10
音频检索 | 7.5/10
空间音频 | 7.9/10
音视频理解 | 9.4/10
语音识别 | 8.3/10
音乐检索 | 8.2/10