论文解读
音频幻觉为何总说“有”:用静默对照与首步门控校正肯定偏差的 TAD
针对二元音频问答中模型因语言先验而虚报存在的幻觉,TAD 以静默音频为对照做对比解码并仅在首步用音频增益门控惩罚肯定词,在 AudioCaps-Hallucination 与 Clotho-AQA 上提升拒绝能力但在部分设置下以精度与准确率下降为代价。
针对二元音频问答中模型因语言先验而虚报存在的幻觉,TAD 以静默音频为对照做对比解码并仅在首步用音频增益门控惩罚肯定词,在 AudioCaps-Hallucination 与 Clotho-AQA 上提升拒绝能力但在部分设置下以精度与准确率下降为代价。
针对音乐音频语言模型在四选一问答中被迫作答而无法表达不知道的问题,论文用同一 TinyMU 检查点经答案不变扰动构造伪集成,主证据是四种选项排序平均将准确率从 55.7% 提升到 59.2% 并将误差保留曲线面积从 0.293 降到 0.261,代价是每次提问需要 4 次前向传播且无需重新训练。
在必须依赖声音的选择题上训练能提升准确率并同步增强对真实音频的行为敏感度,其内部机制是早期到中层先让音频塑造选项表征、再在中层到晚层强化选项对最终答案的贡献,而可学习的 LoRA 更新在模型特定的层带上起决定作用。
音频检索 | 7.4/10
音频问答 | 7.9/10
音频问答 | 6.9/10
音频问答 | 6.1/10
音频问答 | 7.3/10
音频问答 | 6.9/10
音频问答 | 6.4/10
音乐生成 | 7.5/10
音频问答 | 8.7/10
音频问答 | 7.0/10
音频推理 | 7.7/10
音频问答 | 7.0/10
长音频理解 | 7.4/10
音频问答 | 7/10
音频问答 | 6.5/10
模型评估 | 8.0/10
基准测试 | 6.0/10