英文题目：AUDITA: A New Dataset to Audit Humans vs. AI Skill at Audio QA
会议身份：
conference:acl:2026:conference-paper-id:2026.findings-acl.1292
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#基准测试 #基准设计 #心理测量 #音频问答
评分：6.6/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：数据集与基准
👥 作者与机构
- Tasnim Kabir：机构信息未能从会议 PDF 纯文本可靠映射
- Dmytro Kurdydyk：机构信息未能从会议 PDF 纯文本可靠映射
- Aadi Palnitkar：机构信息未能从会议 PDF 纯文本可靠映射
- Liam Dorn：机构信息未能从会议 PDF 纯文本可靠映射
- Ahmed Haj Ahmed：机构信息未能从会议 PDF 纯文本可靠映射
- Jordan Lee Boyd-Graber：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
AUDITA面对的输入是真实长音频片段加自然语言trivia提问，输出为可验证的开放短语或四选一选项，难点在于线索分散在旋律、音色、语种与文化指称中且需要长程整合。构建链分三步：先从Quizmasters、Pavement-Music-Tournaments与Audio-Packets等来源抓取音频并重对齐问答以保留现实接地，再用规则加GPT-4o-mini做字符与格式归一化而不新增接受别名，随后按六大类归类并为每题生成经人工校验的三个强干扰项进入评测。与依赖字幕衍生问答可用文本先验解题不同，该基准强制音频到现实实体的长程接地，并对人类与十八个模型的二值正确矩阵拟合双参数逻辑IRT模型得到能力值theta、难度b与区分度a以摆脱平均准确率掩盖。在自由作答基准评测下，人类的准确率为32.13%，高于模型均值的8.86%。类别层面音乐与环境声差距尤为显著，且转录消融显示无音频时性能骤降，证实必须进行真正的听觉理解而非文本推理。结论适用边界限于英语trivia分布与中等规模本地可跑模型，检索增强或指纹工具链能否闭合差距尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要解决什么，为什么值得做？
这篇论文的输入是真实世界音频片段加自然语言问题，输出是可验证的离散答案。任务属于音频问答，但作者强调的不是声音事件分类或看图说话式的描述，而是需要把分散在较长音频中的多个线索与世界知识连起来才能回答的 trivia 推理。举例来说，论文讨论的题型包括听一段主题音乐判断属于哪部电影、听一段演唱判断歌手是谁、听一段人物说话判断角色名，这类题不能只靠听到一个鼓点或一个词就作答。
目标读者需要先建立学习依赖：先理解音频问答已有的 3 条路线，再理解 AUDITA 为什么换路线。第一条是声音标注路线，把短片段映射到封闭标签，例如引擎声、掌声，输入短、答案空间小。第二条是字幕派生路线，从音频字幕或元数据自动生成问题，例如是否有人在笑，这类题常常不听音频也能猜。第 3 条是合成模板路线，用固定程序拼接声音事件再套模板提问，例如某声音出现几次，语言多样性低。论文报告说，这些路线让模型可以用词汇先验、数据集偏置或元数据旁路拿到分数，却没有真正做听觉推理。
必须保留的关键信息是规模与难度信号。论文报告 AUDITA 共 9690 个音频问题对，独立音频 8713 个，平均问题长度 12.47 个词，平均音频时长 36.98 秒，时长范围 0.42 秒到 478.33 秒。人类平均准确率 32.13%，模型平均低于 8.86%，这构成全文反复核对的中心矛盾。输出上论文同时要求自由作答和四选一多项选择两种形态，以便分别观察生成与判别。本解读只讲论文实际研究的音频实体链接与长程时间推理，不把通用多模态进步当作本论文的结论。
同输入同目标的前人做了什么，还缺哪块？
在同输入、同目标、同运行阶段的意义上，前人音频问答工作可按构造方式对照。早期合成工作如 CLEAR 用 GoodSounds 的单音符叠加成声景，问题由逻辑模板生成，优点是语义可控，缺点是语言单一。DAQA 把 32 类声音事件拼接成变长片段，问是否出现或计数，答案空间限于是否与数字。更自然的 ClothoAQA 让众包工人对环境录音写问题，例如室内还是室外、什么动物在叫，但论文指出其存在词汇先验，去掉音频也能取得有竞争力的成绩。Music-AVQA 等则用是否快慢、什么乐器等模板，同样鼓励走捷径。
在相邻的多模态问答中，视觉问答经历过去偏置、补平衡、再用场景图重建的过程，音频侧尚未系统走完这一步。DCASE 2025 音频问答挑战扩大了生物声学、时间 soundscape 等域覆盖，但仍以多项选择为主，缺少对抗式人类撰写成分。大音频语言模型对误导文本敏感的证据也被引用，说明当前评测对文本偏置不够稳健。
缺的那块是系统的人类基线与题目质量诊断。论文指出已有基准很少在相同音频与问题条件下采人类答案，难以判断模型离人类听觉理解有多远。同时含糊、预设错误、答案键欠指定、重叠声源等问题会抬高或扰动分数。AUDITA 的定位因此不是再加一个大而弱的语料，而是提供人类撰写、真实指称、长音频、多线索的探测集，并用项目反应理论把题目难度与区分度分开建模。
什么样的题才算真正考听觉推理？
论文把好题的操作定义讲得很具体。第一，答案不能从孤立文本或孤立声音线索单独得出，需要跨时间整合。第二，干扰项要有表面相似性，共享性别、流派、年代或职业口音等属性，但在关键听觉证据上不同。第三，问题要是封闭式、可验证的实体问法，而不是开放描述。教学例子是论文给出的蝙蝠侠题：问这些电影的同名主角是谁，正确为 Batman，干扰为 Spider-Man、Superman、Iron Man，均为超级英雄，若没有把握住音频线索就会系统性选错。这是一个例子，用来说明强干扰如何把随机猜测变成系统性误选。
反面例子也在附录中归纳。含糊题如同时听到鸟和狗却问什么动物在叫；弱接地题如是否有人在笑，可从字幕直接回答；答案键欠指定如 dog、puppy、hound 被当作不同答案；错误预设如假设某指令词出现而实际不存在。
重叠声源如警笛与车 horn 交叠导致目标不清。论文用项目反应理论的语言说，这类题表现为难度高但区分度低，即难而无信息量。
因此问题形式化为：给定音频波形与自然语言问题，在无 transcript、无外部检索的条件下输出文本答案或从 4 个选项中选一。自由作答的偶然猜中概率实际为零，因为答案空间大；四选一的偶然基线为 25%。论文强调自由作答评分从严，近似 miss 如续集混淆、翻唱与原唱混淆仍判错，所以即使中等准确率也反映有意义的听觉推理。
AUDITA 全景：从题源到可评测三元组要走哪三步？
AUDITA 的构造全景可沿一个样本走完。输入是一段连续 trivia 音频与一段适用多题的文字说明，例如听以下车辆声音判断各有多少轮子。处理先做对齐，把连续内容切成 1 次只问一题的音频问题对；再做规范化，清洗编码与 QuizBowl 标记，统一可接受答案的或关系；最后做分类，把题归入 6 个可理解的大类以便按专长分配与按域分析。输出是音频、问题、答案三元组，外加选择题版本的 3 个干扰项。
题源分布是理解代表性的关键。下段先提出比较问题：在来源与类别上是否偏向单一音乐题，若偏向则跨域结论受限。
以下柱状图显示按来源与按类别的问题占比，蓝色为来源分布，橙色为类别分布，可用来核对多样性主张。
看图路径： 1. 先看左侧按来源的三根蓝色柱，确认 Quizmasters 占比最高而 Pavement 最少；2. 再看右侧按语义类别的六根橙色柱，确认环境声与音乐类占比突出；3. 对照正文 9690 题与 8713 个独立音频的说明，理解一题一音频为主但有复用
论文图 1。原论文 Figure 1：“Distribution of questions across sources and categories in the dataset.”。
该图左半显示 Quizmasters 占比最高，AudioPackets 居中，Pavement 最少；右半显示环境声与音乐类占比突出，人物、地理、流行、作品类相对较少。结合正文 9690 题与 8713 独立音频的规模，说明多数题拥有独立音频，复用有限。教学含义是模型不能只靠背熟几段音乐拿分，必须处理多域。需要提醒的是题源仍来自公开 trivia 与英语撰写，这限制向其他语言口音的推广，后文局限节会回到这一点。
6 个大类按论文命名为文化地理之声、音乐歌曲艺术家作曲家、人物是谁、音乐作品要素、流行文化与媒体、环境与声学识别。分类由 GPT-4o-mini 初标再折叠为 6 类，仅用于分析与任务分配，不改变题目语义。选择题干扰项按答案语义类型匹配属性生成，例如歌手匹配性别流派年代且必须为真实存在、非同一人非别名，演员匹配性别年代职业口音，第二作者独立复核以防可轻易排除的选项。
题目质量如何度量：难度与区分度怎样分开？
白话先说项目反应理论：它把每次作答看作能力与题目属性共同作用的结果，而不是简单平均分。英文为 Item Response Theory，缩写 IRT。能力参数记为 theta，题目难度记为 b，题目区分度记为 a。难度回答题目有多难，区分度回答题目区分高手低手有多陡。
探测式提问 × 金字塔式提问： 探测式提问分工是主动寻找人类能懂而模型易错的区分点，金字塔式提问分工是把一条题目按线索从 obscure 到 obvious 逐段展开、奖励用更少声学上下文答对；二者搭配的理由是前者决定问什么才算推理，后者决定怎么给音频才算公平递增，组合意义是在 AUDITA 里把音乐、人物、影视题做成多线索实体链接而非单标签分类。
题目难度 × 题目区分度： 题目难度分工是刻画需要多高能力才能达到 50% 答对率，题目区分度分工是刻画该题区分高低能力者的陡峭程度；搭配理由是只看难度会把含糊难题误当好题，组合意义是在双参数逻辑模型中用难度定位题目、用区分度加权题目信息量，从而识别低区分的含糊题和真正的高区分推理题。
沿样本走：输入是二值正确矩阵，行是被试含人类与模型，列是题目；表示是每个被试一个能力值、每题 1 对难度与区分度；组件是双参数逻辑函数，把能力减难度再乘区分度后过 logistic；目标是用极大似然联合估计这些参数，约束平均能力为零以保证可识别；输出是每个模型的能力估计与每题的难度区分度。论文明确说负能力值不是负百分比，例如负 2.91 表示能力远低于数据集平均难度，在中等区分度题目上答对概率都很低。
以下公式是全文唯一的展示公式，选择它是因为所有能力比较都依赖它，先解释符号再看计算目标。
\[P(correct | θ) = σ(ai(θ −bi))\]该式中 P 为给定能力答对第 i 题的概率，sigma 为 logistic 函数，ai 为区分度，bi 为难度，theta 为被试能力。计算目标是把观测到的对错矩阵解释为能力与题参的函数，实现是标准双参数模型拟合，不涉及神经网络梯度，原文未给出优化器细节时本解读不猜。它的作用是让异质人群可比，并识别低区分题：区分度接近零的题无论能力高低答对率都差不多，对排名没有信息量。
本研究训练了什么，没有训练什么？
本研究没有训练任何新的音频语言模型，这是数据集论文，必须明确说明以免误解。没有训练阶段意味着不存在本论文的反向传播路径、冻结与更新划分、学习率与重置时机等训练超参数。论文的计算过程是构造、标注、过滤与评测调用，而非拟合权重。
真实计算过程分四块。第一是抽取与对齐：对 GitHub 托管的 QuizBowl 式来源按目录与索引把题面、答案行与音频对齐，对 Pavement 纠正早期索引错位。第二是规范化：字符级把变音符号转 ASCII 并清 Unicode 伪影，格式级去掉下划线与方括号编辑标记，把可接受答案改写为 A or B 形式，语境级仅在规则不足时用 GPT-4o-mini 改写格式。论文强调该模型只做格式规范化与受控的答案规范化，不新增别名，例如把 Pathétique Sonata 的原注释中明确许可的下划线部分展开，不做语义重解释，存疑时宁可保守保留原标签。
第三是外部集过滤：对 OpenAQA 运行原作者过滤脚本，去掉生成管线自认不可答的项，论文报告去掉 18.65%，保留 81.35% 有确定答案的项，再按原混合比例抽样。第四是推理调用：18 个模型用公开 checkpoint 或 API 按推荐设置推理，无任务微调，音频统一转单声道并重采样到各模型期望采样率，按各管线要求给波形或 log-mel 或 codec 标记。
因此复现者不应寻找本研究的训练脚本，而应复现三元组清洗、对齐脚本与评测管线。未报告的是 IRT 拟合的具体优化器与初值，但双参数模型的标准约束已交代，缺项在复现节会列为待补。
人类与模型在什么相同条件下比较？
比较问题是人类与模型是否听到同一音频、看到同一题面。论文的人类评测招募 trivia 社区参与者，共 87 人、1517 次作答尝试，不预选为特定题的专家，但熟悉音乐影视流行等常见域。参与者先选自己擅长的类别，再听标准 mp3 或 wav 作答，不给 transcript，不许用外部资源。流程是先自由作答 1 次，再四选一一次，随后看到正确答案与 2 次正误，并累计文本分与选择分。音频播放时长被记录但不计分。
自由作答用 PEDANTS 框架判语义等价，允许措辞差异；选择题按选中选项判对错。
自由作答 × 多项选择： 自由作答分工是检验生成式语义等价，要求模型在开放答案空间中写出实体名，多项选择分工是检验判别式选择，要求在 3 个强干扰项中排除表面相似项；搭配理由是自由作答易受语言先验和评分宽严影响而多项选择可控，组合意义是同一音频题同时看生成与判别，两条线一致拉开才支持推理缺口而非评分产物。
模型侧共 18 个，含 16 个开源中规模语言骨干约 4B 到 13B，分全模态、音频语言、语音能力 3 组，另加 GPT-4o 与 Gemini 2.5 Pro 作为专有对照。论文把模型也按需分为音频理解、语音感知、统一音频语音 3 组，以覆盖歌词理解与纯声学推理的不同需求。所有模型在音频加问题到文本答案的设置下评测，即使能生成语音也只看文本，以保证一致。输入表示上人类听通用格式，模型按各自管线预处理，但题面原文呈现，不做模板化。
指标方向是准确率越高越好，能力值越高越好。聚合对象按自由与选择分别聚合，并按来源与类别拆分。人类 topline 的解释需要小心：32% 不是不可答，而是开放 trivia 本就难，且评分从严；前 20% 高水平参与者在开放题一致性 0.91、选择题 1.0，说明题可答。仅 26 题从未被任何人类答对，进一步支持题目基本成立而非系统性错键。
人类领先多少，在哪些类别上最明显？
要回答的主问题是差距有多大、是否跨类别稳定。论文报告自由作答人类 32.13% 对模型平均 8.86%，选择题人类 60.16% 对模型平均 15.65%。IRT 能力上人类约 0.05 到 0.08，模型平均约负 2.91 到负 2.45，区间不重叠。系统排名在准确率与能力下基本一致，Gemini 2.5 Pro 与 GPT-4o 领先，自由作答分别为 17.02% 与 14.87%，选择题为 39.18% 与 34.89%，但仍远低于人类。
能力参数 × 准确率： 准确率分工是直接统计答对比例，能力参数分工是在统一量尺上估计扣除题目难度差异后的潜在水平；搭配理由是不同类别题目难度分布不同，直接比准确率会混淆题难与人强，组合意义是用能力参数确认人类与模型排名在两种度量下一致，从而把差距归因于稳定能力差而非抽到容易题。
下表先问：在相同自由与选择条件下，人类与模型的总量差距与数据规模是否支持结论。公平条件是同题同音频，指标方向为准确率与能力越高越好。
| 条件 | 指标 | 人类 | 模型平均 | 数据规模 |
|---|---|---|---|---|
| 自由作答 | 准确率 | 32.13% | 8.86% | 9690 音频问题对 |
| 多项选择 | 准确率 | 60.16% | 15.65% | 9690 音频问题对 |
| 人类抽样 | 作答尝试 | 1517 人次 | 未适用 | 87 名参与者 |
| 外部对照 | 来源占比 | 未适用 | 未适用 | 外部 3230 题 |
该表显示总量差距在两种形态下都大，选择题人类超 25% 偶然基线而模型平均低于偶然基线，说明不是随机猜测而是系统性误选。代价是人类 32% 仍不高，不能当作上限；未胜出项是外部集上模型 13.49% 自由与 20.59% 选择相对较高，说明短感知题确实更容易，AUDITA 人类撰写部分的差距更大。
类别定位用下图核对。导读：上排看准确率柱高差，下排看能力点分离，6 类是否都分离决定失败是系统性还是标注噪声。
看图路径： 1. 对比上排自由作答与选择题中蓝色人类柱与橙色模型柱的高度差；2. 观察下排能力点位置，确认人类能力点接近零附近而模型点在负值区；3. 按 Persona、Geo、Music、Pop、Elem、Env 六类逐列检查差距是否普遍存在
论文图 2。原论文 Figure 2：“Category-level accuracy and average item difficulty for humans and models on free-form and multiple-choice questions.”。
解释该可见内容：上排自由与选择中蓝色人类柱在每类都明显高于橙色模型柱，音乐作品要素类人类自由 41.6% 选择 64.8% 而模型仅 8.7% 与 11.3%，音乐命名类人类 39.4% 与 67.6% 而模型 5.4% 与 9.7%，环境类选择人类 86.7% 对模型 14.9%。下排能力点人类贴近零线附近，模型在负二附近加减一标准差，误差棒不接触人类点。含义是差距跨类别稳定，指向听觉推理本身而非某类标注问题。论文还报告题目难度均值越高准确率越低，但模型下滑更陡，人类在难题上更稳健。
去掉音频还能答吗，干扰项为什么能把模型带偏？
反证问题分两层：文本捷径是否存在，错误是否只是缺知识。论文做文本只给问题、转录只给 Whisper 文本、多模态给音频加文本三档对比。报告说文本设置接近零，转录 4.26%，多模态 8.86%，说明不用声学信息拿不到分数。选择题文本加选项 1.29%，转录加选项 7.05%，多模态加选项 15.65%，仍低于 25% 偶然线。输出分布检查显示四选项预测占比约 25.45%、29.16%、24.65%、20.74%，误差分布也分散，排除坍缩到单一位置的解释，支持被 plausible 干扰项系统性带偏。
转录文本 × 原始音频： 转录文本分工是提供可被语言模型直接调用的言语内容，转录由 Whisper 输出，原始音频分工是保留旋律、音色、配器、环境结构等非言语声学证据；搭配理由是比较二者可分离感知失败与知识失败，组合意义是若转录对而音频错则判为感知局限，若音频对而转录错则判为依赖声学线索，若都错则更可能是知识局限。
下表把该对照整理为可运行策略比较，条件是同一问题集、同一模型群，指标为准确率越高越好。
| 设置 | 输入 | 自由作答准确率 | 选择题准确率 | 偶然基线 |
|---|---|---|---|---|
| 文本 | 仅问题 | 接近零 | 1.29% | 选择 25% |
| 转录 | 问题加转录 | 4.26% | 7.05% | 选择 25% |
| 多模态 | 音频加文本 | 8.86% | 15.65% | 选择 25% |
| 含义 | 声学增益 | 依赖音频 | 仍低于偶然 | 需听觉接地 |
表后解释：主要收益是确认非零分依赖声学输入，转录因音乐环境声无言语或碎片化而丢失旋律配器结构。代价是转录 4.26% 到音频 8.86% 的提升仍小，说明感知接通只是必要非充分。未胜出项是转录在有歌词题如 Joni Mitchell 的 River 上能对而音频错，判为感知局限；Carl Orff 题音频对而转录错，判为声学依赖；Frank Spencer 题两者都错，判为知识局限。论文对错误归因给出知识型 78.23%、感知型 8.82%、声学线索型 12.95%，但提醒 78.23% 不等于纯缺知识，因为许多转录为空或乱码时相关信号只存在于声域，失败是知识与模态约束交织。
能力分布图进一步把差距可视化。导读：先看双峰位置，再看虚线区间是否重叠。
看图路径： 1. 确认横轴为能力值、纵轴为密度，蓝色人类峰与橙色模型峰是否分离；2. 查看虚线标注的人类最小最大值与模型最小最大值区间是否重叠；3. 注意模型分布更宽更矮而人类分布更窄更高，理解稳健性差异
论文图 3。原论文 Figure 3：“Distributions of IRT ability (θ) for humans (blue) and models (orange) are shown on a shared scale.”。
解释可见内容：蓝色人类密度峰在零附近又高又窄，橙色模型密度峰在负三到负二之间又矮又宽，两组虚线区间基本不重叠。含义是即使模型间有差异，整体潜在能力仍与人类分离，且随题难增加模型鲁棒性下降更快。这与按题难度画准确率的趋势一致，但此处是按人分能力，更直接支持人类模型 gap 超出原始准确率所见。
哪些边界会让结论打折，规模能补上吗？
论文用一节加附录讨论规模质疑，结论是规模 alone 不太可能闭合差距。理由有三：音频语言模型把音频特征投影到文本 token 空间，语言骨干决定知识型问答，但弱音频接地与文本偏置导致的自信错答不随单纯放大消失；MMAU 上人类约 82.23 而 Gemini Pro 1.5 约 52.97，强开放模型接近，增益幅度不足以把 AUDITA 上近偶然行为变成可靠推理；本研究聚焦中规模可本地运行的开放 checkpoint，对 9690 题全量跑云端大模型成本高，未做全扫描。原文明确不声称覆盖全部专有云端系统。
另一边界是工具增强不在评测内。论文不测加自动语音识别加检索、音乐指纹、数据库查找或网页搜索的管线，因为那测的是另一能力，即外部知识链接，而非端到端音频接地推理。同样语音生成能力被统一为文本输出比较，可能低估语音交互设计的实际价值。
心理测量与题源边界也需保留。IRT 依赖 1517 次人类作答的广度与质量，噪声重叠欠指定音频仍会影响估计；参与者不是均匀的 trivia 专家，总人类准确率应视为基线而非上限；题源来自公开 trivia 且英语中心，向其他语言口音与小众音频域的推广受限；平均 37 秒短片段加稳定元数据与获取脚本的做法遵循 TVQA 等多媒体基准，但仍是短片段而非长节目。
下图用来理解难度机制而非证明规模结论。导读：横轴为题目难度，纵轴为题目准确率，两条趋势线分别代表人类与模型。
看图路径： 1. 沿横轴题目难度从负到正移动，分别跟踪蓝色人类趋势与橙色模型趋势；2. 注意模型趋势在难度零附近的陡降段，对照人类趋势的缓慢下降；3. 确认在高难度端两者都趋近零，但人类在中等难度仍保持明显优势
论文图 4。原论文 Figure 4：“Item accuracy plotted against item difficulty (b) for humans (blue) and models (orange).”。
解释可见内容：蓝色人类趋势从低难度近 100% 向高难度缓慢下降，中段有平台再下降；橙色模型趋势起点已只有约 30%，平缓一段后在难度零附近陡降到零并保持为零。含义是差距随难度扩大，人类在中高难度仍有可观准确率而模型迅速失效。像素不能精确读出的具体数值不硬写，趋势方向已足以支持难题暴露模型局限的判断，但不能把末端零推广为所有条件下全错。
要复现与核对，先做什么，需要什么？
复现先做三件事。第一，按来源重建三元组：对 Pavement 与 AudioPackets 按一致音频标识对齐题面与答案行，对 Quizmasters 按类别手工配题并保留时长采样率等元数据，对 PAVEMENT 保留 notes 中的可接受答案与澄清。第二，跑规范化：字符与格式规则优先，GPT-4o-mini 只做格式重写，不新增别名，存疑保守保留原标签。第三，用相同协议采人类答案：同音频同题、无 transcript、无外部资源，先自由后选择，用 PEDANTS 判自由作答。
下表整理数据集构成以便核对划分，比较问题是人类撰写与外部对照各占多少，金字塔与 trivia 各占多少。
| 划分 | 题目数 | 来源细节 | 外部占比 | 备注 |
|---|---|---|---|---|
| 总量 | 9690 题 | 人类 6460 题 | 外部 3230 题 | 独立音频 8713 |
| 人类金字塔 | 2322 题 | Pavement 673 题 | AudioPackets 1649 题 | 需切分为单题 |
| 人类 trivia | 4138 题 | Quizmasters 题 | 未适用 | 类别手工配题 |
| 外部 | 3230 题 | OpenAQA 2907 题 | ClothoAQA 323 题 | 开放与众包对照 |
表后说明：主要收益是可按来源拆分验证主结论是否只在人类撰写部分成立，论文主张外部题人类更高、差距更小，而人类撰写题更难更推理密集。代价是外部 OpenAQA 需跑原过滤去掉 18.65% 自认不可答项，ClothoAQA 虽为众包但仍有第 2 节所述结构局限，只能作对照不能当核心目标。未评测边界是 18 个模型的具体 checkpoint 与 API 版本需按附录 E 核对，音频转单声道与重采样必须跟各模型管线走，否则公平性打折。
资源可得性必须如实写：论文正文给出 github 与 huggingface 链接，但本次收到的资源状态为未发现完成验证的绑定，本解读不得声称代码模型数据已公开，复现前需自行确认链接当前是否可达。伦理上人类评测经机构审查与知情同意，邮箱仅用于报酬且不与作答关联发布，音频来自公开或许可材料，仅发布评测所需的派生标注。
何时值得尝试 AUDITA，还需补哪项验证？
何时值得尝试取决于研究目标。若目标是检验长程声学整合、音频实体链接与抗文本捷径能力，AUDITA 的人类撰写部分加 IRT 诊断是合适的起点，因为它用真实指称与强干扰把分类与字幕捷径堵住，并用难度与区分度区分好难题与坏难题。若目标只是刷环境声分类或字幕问答分数，则不应直接拿 AUDITA 总分对比，因为任务定义不同，类别差异不能当同条件胜负。
复现后的最小验证应补两项。第一，在自己模型上跑文本、转录、音频三档，确认增益来自声学而非语言先验，并检查选择题是否低于 25% 且分布分散，以复现系统性误选而非位置偏置。第二，按类别与难度拆分报告准确率与能力，确认音乐与环境类是否仍是短板，难题差距是否扩大，避免只报总量掩盖结构。
可能的误解需要澄清。人类 32% 不代表题不可答，前 20% 高手近乎满分一致性与仅 26 题无人答对已说明可答但难。模型选择题低于偶然不代表数据集坏，而是强干扰加细粒度声学区分下的结构性误校准。78% 知识错误不代表加检索就能解决，因为许多信号只在声域存在，转录退化本身就是模态约束。总体上论文报告的是直接测得的差距，有限解释是 IRT 支持的诊断，可能待验证的是更大规模或工具增强能否缩小差距，原文未测延迟成本误判率时本解读不承诺这些量会改善。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses