AQUA-Bench: Beyond finding answers to knowing when there are None in Audio Question Answering
📄 AQUA-Bench: Beyond finding answers to knowing when there are None in Audio Question Answering #音频问答 #基准测试 #多模态模型 #鲁棒性 ✅ 7.0/10 | 前50% | #音频问答 | #基准测试 | #多模态模型 #鲁棒性 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Chun-Yi Kuan(National Taiwan University) 通讯作者:Hung-yi Lee(National Taiwan University)(论文未明确说明通讯作者,根据学术惯例及作者排序推断) 作者列表:Chun-Yi Kuan(National Taiwan University)、Hung-yi Lee(National Taiwan University) 💡 毒舌点评 亮点:该工作直面了一个被主流评测普遍忽视但极为现实的问题——“当模型无法回答时该怎么办”,并为此构建了系统化、可操作的评估框架,填补了音频大模型评测中的一个重要空白。短板:作为一项“评测基准”工作,其本身并未提出解决模型“强制选择”偏差的方法或模型,更多是“诊断”而非“治疗”,且论文中部分实验图表(如详细Prompt影响、部分模型对比)的可视化数据在正文中缺失,略显遗憾。 📌 核心摘要 要解决什么问题:当前的音频问答基准(如Dynamic-SUPERB, MMAU)默认所有问题都有答案,忽略了现实世界中常见的、模型应拒绝回答的“不可回答”问题(如问题与音频不相关、选项缺失等),导致对模型可靠性的评估不全面。 方法核心是什么:提出了一个名为AQUA-Bench的新基准,系统评估模型在三种不可回答场景下的表现:(1) 缺失答案检测(AAD),(2) 不兼容答案集检测(IASD),(3) 不兼容音频-问题检测(IAQD)。该基准通过系统性地修改现有可回答的音频问答样本,构造对应的不可回答版本。 与已有方法相比新在哪里:首次为音频问答任务定义并构建了针对“不可回答性”的标准化评测体系。与之前仅关注回答正确性的基准不同,AQUA-Bench专门评估模型“识别并拒绝无效问题”的能力,这更贴近可信AI的要求。 主要实验结果如何:实验揭示了当前主流音频大模型(ALLMs)的一个普遍盲点。如表1所示,模型在原始可回答任务(Ori.)上表现优异(例如Qwen2.5-Omni在动物声音上达96.4%),但在不可回答任务(尤其是AAD)上性能急剧下降(同模型在AAD上仅20.5%)。使用思维链(CoT)提示能显著提升模型在不可回答任务上的表现(如BALSa-MA在多个AAD任务上超过90%)。 实际意义是什么:该基准为评估和推动更可靠、更值得信赖的音频语言系统提供了重要工具。它指出了当前模型在真实部署场景中的一个关键缺陷——倾向于对无效问题给出自信但错误的答案,这对于医疗、安防等敏感领域至关重要。 主要局限性是什么:1. 基准本身不提供解决模型偏差的方法,只是揭示问题。2. 构建的IAQD部分依赖于GPT-4o生成不相关问题,其质量和分布可能受限于生成模型的能力。3. 评估的模型范围有限,主要聚焦于公开的ALLMs,未涵盖更多潜在的架构探索。 🏗️ 模型架构 本文并非提出一个新的音频模型,而是提出了一个评估基准(Benchmark)。因此,其“架构”指的是评估框架的整体设计。 ...