📄 只给答案分不清哪里错:AuDiR 用加规则和加听觉描述来定位音频推理失败
英文题目:AuDiR: Diagnosing Audio Reasoning with Rule and Percept Interventions
评分:5.8/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Chengwei Wei:机构信息未能在本次解析中与作者逐人可靠绑定
- Yi Ma:机构信息未能在本次解析中与作者逐人可靠绑定
- Nancy F. Chen:机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
音频推理需要同时完成三件事:从声音里听出题目要用的量,知道题目依赖的通用规律,再把规律用到听出的量上得出答案,答错本身无法说明哪一步出错。AuDiR为每道选择题同时准备音频、问题、任务通用规则文本和听觉观察文本,观察文本写出解题所需的频率、时刻、数量等具体数值。先让同一模型在只给音频和问题的输入下作答并提取基线答案,再把任务通用规则文本送入同一题目重新作答以检验规则缺失,最后把听觉观察文本与规则一起送入作答以检验感知缺失,首次答对的位置输出该模型与题目组合的操作性分组。另设去掉音频只留问题和规则的对照,用于检验不听音频能否猜对。当前构建包含201道四选一题目,分属18个族,来自9个来源,平均音频时长6.8 s。在Gemini-3.8-flash的初步评测中,无附加信息准确率为29.3%,附加规则后为31.3%,再附加观察文本后达到98.5%,无音频对照为23.9%,95% Wilson区间包含25.0%的随机猜测水平。该结论只适用于单次作答、单模型和当前201题集合的聚合比较,不支持把感知分组增益等同于更换音频编码器的效果;存在16题在附加规则后由对变错等非单调响应、部分分类题可用直接识别绕过所述规则、观察文本准确性未经人类听音验证且答案独立性仍待溯源审计,这些条件下失效归因可能失败。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
音频推理题的输入是什么,要保留什么信息
这篇论文处理的是音频条件语言模型的选择题推理。输入是一段录音加一道四选一问题,目标是选出正确选项。必须保留的信息有两类,一是做题需要的通用关系,二是从声音里才能拿到的本题特有的量。输出只看选项字母是否正确,不给过程分,也不把模型写的解释当作计分依据。
举一个贯穿全文的例子。路边麦克风录下一辆匀速经过的汽车,问题问车速是多少。要回答它,既需要多普勒关系这样的通用规则,也需要听到汽车接近和远离时的发动机音调。论文把后者叫做听觉观察,把前者叫做规则。只看最终答对答错,分不清是不知道规则、没听出音调,还是有了两者仍算错,这正是论文要解决的具体困难。
对刚入门的读者,可以把这三者的关系想成查表做题:规则是公式表,听觉观察是代入公式的测量数,问题是要求算出的结论。公式表可以提前给,测量数必须自己听,结论必须现场算。论文的全部干预都围绕这三者展开,后文的 4 个输入条件也是每次多给其中一张牌,再看模型在哪一步开始答对。
已有评测为什么分不清错在哪一步
论文把相关工作分成两条线。第一条是音频推理基准。AIR-Bench、MMAU、MMAR 和 STAR-Bench 规模和技能覆盖不同,但主要报告答对率。MMAU 和 MMAR 用高斯噪声替换音频,看模型是否还受影响;STAR-Bench 用机器生成的说明文字替换音频,发现早期基准用文字就能携带不少信息。这些都是在基准建成后做的模型级检查,论文指出它们报告但不剔除可不听音频答对的题,也不能说清哪道题靠哪种补信息能修好。
第二条是阶段归因。一种做法是事后读模型的失败解释并人工分类,如 MMAR 读 100 个失败预测标成感知、知识、推理或其他错误,依赖解释且需要人工。一种做法是从跨任务族的平均分变化推断瓶颈,如 STAR-Bench 的结论,它描述的是模型在基准上的总体表现,不是逐题的干预效果。还有一种做法是打开模型做探针,如并行的 SonicBench 在冻结编码器输出上训练两层探针,检验声音线索能否被解码出来。论文强调探针需要拿到表征,而 AuDiR 只改输入文字,所以也能用于只能调接口的模型,但补文字后答对并不定位信息在模型内部哪里丢失。
这两条线的共同缺口是证据层级。噪声替换和说明文字替换回答的是基准是否需要音频,事后分类回答的是解释文字像哪类错误,探针回答的是表征里能否解码出线索。它们都不回答这道题给规则能否修好、给听觉文字能否修好。论文正是把这个逐题干预效果作为设计目标,而不是事后分析指标。
论文要解决的区分问题是什么
论文把答错的可能来源写成 3 种。缺知识指模型不知道任务需要的规则,例如经过车辆的音调变化与速度的关系,或轴音频率与转速的关系。感知失败指知道规则但没从音频恢复出规则要用的量。应用失败指有了规则和量仍然得出错误答案。
难点在于同一张答题卡上的错误可能来自其中任何一种,而事后解释不一定反映产生答案的计算。论文的选择是不再依赖解释,而是把归因做进题目设计。每一题都写成可分离的三部分,测的时候控制补什么信息,看回答随输入怎样变化,再给出去掉音频的对照。这样归因证据来自受控输入,而不是来自对解释的再解释。
这里的措辞需要小心。论文给出的不是内部因果鉴定,而是操作性标签:第 1 次在哪个补信息条件下答对,就记为哪种回答模式。标签的解释依赖所补规则正确可用、所补听觉文字充分准确,还要求回答随信息增加大致向好。如果这些前提不成立,标签就只记录现象,不能说清模型内部哪一步坏了。
整体流程:三部分题目加四种输入
每道题包含音频、问题、任务通用的规则和回答本题所需的听觉观察的文字表述。问题字段还包括选项和在各条件下保持不变的非声音已知量,例如容器半径。规则不能带本题的听觉观察和目标答案,听觉描述文本要和问题中的已知量一起足以应用规则,同时应写观察而不是直接写答案。
规则 × 听觉观察 × 问题: 规则指跨题目复用的通用关系,只讲怎么算,不带本题的听到的数和答案;听觉观察指为回答本题必须从录音里恢复出的具体量,如两个频率或起止时刻;问题指把前两者结合后要做的判断。三者分工是把知识、感知和应用分开操作,组合起来才能让补规则和补听觉描述分别对应不同的干预条件。
测评时同一道题跑 4 次独立推理。3 种诊断输入是累积补信息,去掉音频的是单独对照。第 1 次答对的诊断条件决定操作性标签,3 次都不对则归为应用失败。论文反复提醒,这些标签概括的是干预下的回答模式,其解释依赖所补信息充分且正确,也不假设回答随补信息单调变好。
下面这张图用车辆速度说明了两条路径的分离。音频走上面的预测路径,独立测量走下面的定答案路径,两者在计分时才相遇。读图时先从左侧车辆录音看两条分支,再看中间三框如何汇入右侧预测,最后确认金色答案的来源。
看图路径: 1. 先从左侧车辆录音看两条分支:麦克风音频向上走,巡航速度记录向下走;2. 再看中间听觉观察、规则、问题三框如何汇入右侧模型预测;3. 最后看金色答案框的箭头来自独立参考,而不是来自音频估计
论文图 1。原论文 Fig. 1::“An AuDiR item illustrated with vehicle speed.”。
这张图确实可见左侧车辆与麦克风、巡航记录指向独立参考,中间听觉观察框标出接近与远离频率并注明仅在第 3 个条件以文字提供,规则框写出多普勒关系,问题框写出速度选项,右侧模型预测框与金色答案框之间是按选项计分的虚线。它帮助理解听觉观察与独立答案依据为什么必须分离,也说明规则应用这一步在输入中被保留在哪里。基础条件并不提供频率文字,金色答案来自巡航速度记录的分箱,而不是从音频估计速度。
四个条件分别给了什么,又在比什么
4 个条件的完整输入在论文中有明确定义。基础条件只有音频加问题,不给规则也不给听觉描述。加规则条件在音频和问题之外补上任务通用的规则。加听觉条件再补上听觉观察的句子,引入语是 Given (measured from the sound):,让模型能区分所补观察与规则。无音频条件与加规则条件文字相同,只是请求中去掉音频文件,它相对的是第二个条件,而不是第 3 个条件的直接音频消融,因为第 3 个条件与无音频条件同时差了音频和听觉文本。
诊断条件 × 对照条件 × 操作性标签: 诊断条件指音频加问题、再加规则、再加听觉描述文本的三次累积输入,用于看第一次答对出现在哪里;对照条件指去掉音频只留问题和规则,用于看不听音频能否答对;操作性标签指按第一次答对位置给出的回答模式名称,它只描述输入变化与回答变化的对应,不直接断定模型内部哪个部件坏了。
下表对照 4 个条件的输入组成,诊断序列每次多给一种文字信息,对照条件则拿掉音频只留问题和规则,问题包含题干、选项和固定已知量,听觉文字是声音观察的文本表示。
| Condition | Full input | Intervention |
|---|---|---|
| ① Base | A+QA+Q | No supplied rule or percept |
| ② ++Knowledge | A+Q+KA+Q+K | Rule supplied |
| ③ ++Percept | A+Q+K+PA+Q+K+P | Observations also supplied |
| ④ No audio | Q+KQ+K | Audio-necessity control |
这种对照每次只改变一种信息。诊断序列回答的是补规则和补听觉文字各带来什么变化,对照回答的是只留问题和规则时能否不听音频答对。无音频单题答对 1 次可能是猜测,所以论文只在总体上把无音频准确率与选项隐含的偶然率比较,不用它给单题发无捷径证书。指标方向都是准确率越高越好,偶然率为四选 1 对应的水平。
诊断分配规则用正确性模式表示。记 3 次诊断是否答对为三元组,首个答对位置决定分组,星号表示两种结果均可。基础答对归为有能力,加规则后首次答对归为缺知识,加听觉后首次答对归为感知失败,3 次都不对归为应用失败。基础答对的题即使后面答错仍留在有能力组,所以非单调回答必须和分组规模一起看。
缺知识 × 感知失败 × 应用失败: 缺知识指补上规则后第一次答对的模式;感知失败指补上规则仍不对、补上听觉描述文本后第一次答对的模式;应用失败指三个诊断条件都不对的模式。三者都是对干预反应的概括,不是内部原因鉴定,还要受规则是否正确可用、描述文本是否充分准确以及回答是否单调的影响。
下面这张图把构造筛选和诊断分配画在了一起,上半是配对筛选与 4 个输入,下半是首次答对的分组流向。读图时先看上半从候选配对到设计筛选再到 4 个输入的箭头,再看下半按答错向右、答对向下如何分流,特别注意无音频被标成单独的有效性对照。
看图路径: 1. 先看上半部分从候选配对到设计筛选再到四个输入的箭头;2. 再看下半部分三个诊断条件按答错向右、答对向下的分流;3. 注意无音频条件被单独放在有效性对照位置,不参与首次答对排序
论文图 2。原论文 Fig. 2::“AuDiR construction and diagnosis. (a) Candidate percept–target pairings are screened and materialized into four inputs.”。
这张图确实可见上半列出可听性、音频必要性、推理步骤、可测性与独立标准答案等筛选项,下半 3 个诊断条件按首次答对分流,3 次都不对进入应用失败。它帮助理解诊断条件与有效性对照的分工,也说明标签描述的是回答模式而非内部部件。无音频条件不参与首次答对排序,只做有效性对照。
没有训练时,构造流水线实际执行了什么计算
这篇论文没有训练新的音频模型,训练一节应理解为基准构造过程。流水线有 7 个阶段,约束最紧的不是音频质量或题目数量,而是答案能否用音频之外的测量来核对。候选以听觉量与目标量的配对形式提出,一个录音来源可产生多个配对,分别准入或拒绝。
独立答案依据 × 听觉描述文本: 独立答案依据指不从待测音频估计出的判分来源,如转速计、尺子量出的几何、实验前设定的变换参数;听觉描述文本指用测量程序从音频里提取并写成句子的可听量,只用于第三个诊断条件。两者必须走两条分离的推导路径,否则用音频估计去验证音频理解就成了自己和自己比对。
准入用 5 条标准筛选。可听性要求规则要用的线索在录音带宽和噪声下人能听到。音频必要性要求答案不能从题面文字、文件名或数据集先验得到。真实推理步骤要求规则必须被应用,听觉量即答案的配对只测识别。独立标准答案要求答案用不来自待分析信号的测量核对。
可测性要求听觉量能可靠恢复,使正确链条能到达正确答案。论文指出独立标准答案淘汰最多候选,它有循环和缺失两种失败方式,缺失只能靠找更好的语料或自己录制解决。
通过配对要做两条分离的操作。用音频提取听觉值,只写第 3 个条件的文字;用独立来源定答案。听觉句子由按题族写的测量程序按固定模板生成,音高与频移用基频跟踪在规则需要的时刻读数,事件数与时刻用起始检测并在有来源时间戳时受其约束,能量用短时能量,带宽用长期谱中有能量的最高频率,共振峰用线性预测。规则按题族写 1 次并复用,检查是否混入本题观察和答案。
选项按绝对估计的连续分箱、分类的自然类别、比较的比率带构造,分箱边界按该族标准答案值切分,并硬性要求把规则用于听觉句子得到的值落进与标准答案同一分箱,否则第 3 个条件对按要求做的模型也不可答。最后把同一字段渲染成 4 个提示,选项顺序与条件无关。
检查并不完整。规则用于听觉文本与金色答案在 129 题一致、0 题不一致、60 题不适用;重测在 79 题一致、18 题不一致、92 题不适用;与标准工具比较在 43 题一致、5 题不一致、141 题不适用。另有金色选项与记录参考值分箱一致性检查,93 题一致、0 题不一致、108 题不在该数值检查内。
12 道心率题在三项听觉检查中没有记录。论文明确说这些分歧和缺覆盖需要进一步复核,不能据此说每条听觉文本都已验证。早期版本还出现过无时长事件率描述和直接命名类别的描述,说明充分性和保留应用步骤都需要审计。
当前题库的来源、题族与题目形式
当前版本有 201 题,分属 18 个题族,来自 9 个来源。音频总长 23 分钟,平均 6.8 秒,中位 3.5 秒,范围 0.1 秒到 48 秒。全部题目都是四选一,所以均匀猜测的偶然率为 25.0%。题干形式包括 95 道绝对估计、60 道分类和 46 道比较或比率。
题族 × 感知轴: 题族指同一来源、同一可听量、同一规则的题目模板,如多普勒速度或和弦性质;感知轴指按要恢复的听觉需求归类的方式,如频移、事件计数、共振音高。题族是构造和复用规则的单位,感知轴是按听觉难度组织结果的视角,当前多数感知轴只出现在一个来源中,所以轴效应和来源效应一般分不开。
下表列出部分来源的录音内容、答案依据与规模,比较问题是每个来源为什么能进基准,答案依据是否独立于待测音频。完整组成还包括吉他、水声、事件场景、转速机械、元音、心脏声音与受控变换录音等,另有 1 道保留的 MMAR 井深题作为高风险污染案例计入总数。
| Source | Audio | Answer reference | Fam. | Items |
|---|---|---|---|---|
| VS13 | single vehicles passing a roadside microphone at constant speed | speed held on the vehicle’s cruise control, logged per pass | 2 | 24 |
| Sound of Water | water poured into vessels of known geometry | ruler-measured net height and container geometry | 2 | 20 |
| MAFAULDA | rotating machinery under controlled fault conditions | tachometer channel recorded alongside the audio | 2 | 24 |
| Constructed from real recordings | real engine, guitar and pouring recordings put through a controlled transformation | the transformation parameter, fixed before rendering | 4 | 48 |
| Total | Total | Total | 18 | 201 |
这张表要回答的比较问题是每个来源为什么能进基准。准入按配对而不是按语料整体,同一录音可用于一些目标量而被另一些目标量拒绝。例如车辆经过录音用巡航速度做多普勒题,水声录音用尺子量出的几何做容器高度与比较题,吉他录音用按弦通道得到的转录做音程、和弦与调性题,机械录音用同录的转速计通道做转速题。48 题是对真实录音做受控变换,用渲染前固定的参数作答案,声音仍是真实发动机、吉他或倒水声,而不是纯合成音。
题族把一种可听量、一种目标量和一条规则绑在一起。感知轴再按听觉需求组织,如频移、事件计数、转速音、音高模式、共振音高、频率轨迹、响度趋势、带宽、共振峰、用到的音级、拍频、周期计时与延迟计时。论文提醒多数轴目前只出现在一个来源,所以不能把轴差异与来源差异分开,跨来源泛化也还没有证据。物理规则占一半以上,频率类听觉也因更易配到独立测量而偏多。
评测对象、提示与计分如何保持可比
初步评测只完整覆盖了一个模型,即通过音频接口访问的 Gemini-3.8-flash,全部 201 题乘 4 个条件都跑了。其他模型的评测在进行中,不纳入比较。评测要求联合音频与文本输入并输出文本答案,不需要模型权重或中间表示。
提示每个条件只用一轮用户消息,没有系统消息,至多按规则、听觉句、问题、选项的固定顺序拼接并用空行分隔。基础条件只给问题和选项,加规则条件前置规则,加听觉条件再前置听觉句,无音频条件与加规则条件文字相同但去掉音频。每轮都要求模型先推导并以 Answer: X 结尾,不给示例,也不按题族调模板。解码用温度 0,每题每条件跑 1 次,标签跨重复调用的稳定性没有测量。计分看结尾 Answer 行的字母,缺失则用最后一个独立选项字母,找不到字母判错,不给部分分,也不评推理文字。准确率报告 95% Wilson 区间,该区间只概括本题库内题目结果,没有考虑同族题目之间的依赖。
这种固定模板的好处是 4 次运行之间只有前置文字和是否附音频不同,选项顺序与条件无关。代价是单次运行的随机性和解析规则都会进入标签,重复调用、选项置换和听觉改写是否改变首次答对位置,目前都没有测量,所以标签稳定性仍是开放问题。
补规则与补听觉文字各带来多少变化
核心结果是信息增量与回答变化的对照。基础、加规则、加听觉、无音频 4 个条件在同一模型、同一题目集上比较,指标都是四选一准确率,方向是越高越好,偶然率是 25.0%。下表把论文直接报告的总体数字整理在一起,方法行是实际可运行的 4 个输入条件,没有引入事后最优或已知答案的上限。4 个条件使用同一模型和同一题目集并按同一计分规则评分,只改变所给文字和是否提供音频。
| Condition | Gemini-3.8-flash |
|---|---|
| ① | 29.3 [23, 36] |
| ② | 31.3 [25, 38] |
| ③ | 98.5 [96, 99] |
| ④ | 23.9 [19, 30] |
| Chance | 25.0 |
这张表比较的问题是补什么信息能改变答案。加规则只带来小幅总体变化,补上听觉文字后准确率升到很高。因为第 3 个条件与第二个条件只差听到的量是否写成文字,这个对比衡量的是所补听觉表示的好处。要把它读成纯感知缺损,还需要听觉文本完整且保留了应用步骤,而总体变化也会掩盖非单调的逐题反转。无音频总体与偶然率一致,只能作为总体基线证据,不能证明单题没有文字捷径,也不能推广到其他模型。
按首次答对分组,59 题基础答对,20 题加规则后首次答对,122 题加听觉后首次答对,3 个诊断条件都不对的为 0。最后这个零不意味着应用从不失败,因为加听觉条件仍有 3 题答错,只是它们在更早条件答对过所以被归入更早的组。回答不是单调的,有 16 题基础答对但加规则后答错,在相邻转换为答对变答错的共 18 题。论文据此提醒,补听觉文字不等于改进音频编码器,感知失败组的规模也不能当作换编码器能带来多少提升的估计。去掉污染案例和变换录音后的敏感性分析仍待完成。
规则回忆探针与分组的关联意味着什么
加规则总体增益小可能有多种原因,可能是本来就知道规则,也可能是没用所给文字,还可能是进步与退步相互抵消。论文为此做了一个题族级知识回忆探针,每族问 1 次支配关系及其符号,不给音频、选项和参考规则,再用同一模型的另 1 次调用按等价、部分或不同打分。打分提示隐去答题者身份,但答题与打分用同一模型仍是局限,标签也没有人工独立验证。
下表是探针分组下的各条件准确率与加规则变化,比较问题是规则回忆不完整是否伴随更大的加规则收益,单位是百分比与百分点,变化指加规则减基础。
| Probe outcome | Fam. | nn | ① | ② | Δ | ③ |
|---|---|---|---|---|---|---|
| states the same rule | 10 | 107 | 25.2 | 25.2 | +0.0 | 97.2 |
| states it incompletely | 5 | 58 | 20.7 | 32.8 | +12.1 | 100.0 |
| states a different rule | 3 | 36 | 55.6 | 47.2 | -8.3 | 100.0 |
这张表要回答的是规则回忆不完整是否与更大的加规则收益伴随出现。被判等价的 10 族 107 题净变化为 +0.0 个百分点,被判部分的 5 族 58 题提高 +12.1 个百分点,方向与不完整时受益更大的解释一致。但它不证明某次回答真的用了所给规则,零净变化也可能藏着方向相反的逐题变化。被判不同的 3 族 36 题净变化为 -8.3 个百分点,打分方案不能确定该回答是有效替代路径还是错误关系,所以探针只是关于规则回忆的补充证据,不能独立定每题的失败原因。探针还需要人工独立打分和重复测量才能支持更强结论。
哪些听觉需求更容易靠补文字修好
按感知轴分组可以看听觉需求与首次答对位置的关系,但题型、来源与感知轴没有独立变化,所以只能描述性阅读。下面选取部分轴展示总体模式,比较问题是在不同听觉需求下首次被听觉文字修好的比例有何不同,完整分解还包括频移、音高模式、带宽、用到的音级与共振峰等,唯一的井深题已从该分解中排除但仍计入总数。
| Percept axis | nn | ① | ② | ③ | ③% |
|---|---|---|---|---|---|
| resonant pitch | 20 | 5 | 0 | 15 | 75 |
| cycle timing | 12 | 3 | 0 | 9 | 75 |
| event count | 24 | 7 | 2 | 15 | 62 |
| pitch classes used | 12 | 7 | 0 | 5 | 42 |
| formants | 12 | 10 | 0 | 2 | 17 |
这张表比较的问题是在不同听觉需求下首次被听觉文字修好的比例有何不同。共振音高与周期计时的该比例较高,元音身份不靠补信息答对的份额最大。论文提醒一些分类题可能允许直接识别,例如不显式报共振峰也能命名元音,不枚举音级也能认调性,符合这类路径的书面回答值得按真实推理步骤标准再审计,但不能据此断定模型实际走了哪条计算。高基础准确率本身也不是规则不必要的证据。
按题型看,比较题中 70% 首次靠听觉文字解决,绝对题为 64%,分类题不靠补信息答对的份额最大,占 60 题中的 45%。这些差异仍需受控比较才能归因于感知难度或识别捷径,且多数轴只出现在一个来源中。
哪些限制决定了结论的适用范围
第一个限制是可文字化。协议只能诊断所需观察能写成一句话的推理,音色、质地或同时多声流这类难用短文本描述的听觉不在范围内,这本身就排除了很多音频感知。
第二个限制是行为归因。感知失败指补上听觉文字后可解,不指已定位模型某个部件没编码。所补规则也可能改变提示或注意,正确选项也不一定反映成功的推理链。听觉文本不完整会让第 3 个条件仍需感知,听觉文本直接写出答案则会绕过应用步骤,早期版本中无时长的事件率描述和直接命名类别的描述正是这类例子。
第 3 个限制是规模与偏斜。题库仍在建设,若干题族较小所以族级区间宽,族大小也不均衡。48 题是真实录音的受控变换,受控变换给出已知参数,但可能让物理关系比非受控录音更容易应用。物理题占一半以上,频率类听觉也因更易配到独立测量而过多,响度、计时与带宽类是少数,不能把基准读成对音频感知的均匀覆盖。构造筛选本身用听觉提取与参考值的一致性选题,所以结果描述的是这个精选集,而不是随机音频推理任务。
第 4 个限制是验证与评测范围。听觉文本来自测量程序,存储检查覆盖 189 题,心率 12 题缺记录,已有不一致待解决,也没有系统的人听研究。只报告了一个模型的完整结果,探针用同一模型打分,重复运行、选项置换与听觉改写的稳定性都没测。发布仍是提议状态,来源许可与最终许可待确认,手稿本身不构成已发布数据集。当前也没有完成验证且可用的作者资源,不应声称代码、模型或数据已公开。
要复现第一步做什么,需要哪些材料
复现应从题目记录与 4 套已物化提示开始。每题记录带标识与题族、来源、许可与污染标记、问题、选项与金色答案、规则字符串、听觉名称与听觉文本,4 套提示与本地音频关联。论文说发布拟把题目记录与分析代码和来源音频分开,音频按各来源条款打包,不许重分发的部分用来源标识、时间段与变换指令在本地重建。
运行复现时保持提示模板固定。规则、听觉句、问题、选项按固定顺序拼接,加听觉条件用 Given (measured from the sound): 引出听觉句,无音频条件与加规则条件文字相同但不附音频。每轮要求以 Answer: X 结尾,温度 0,每题每条件 1 次,按结尾字母计分。来源未确认不是技术缺陷,当前没有完成验证且可用的作者资源,所以不应声称代码、模型或数据已公开。
还需补的验证包括人听研究、重复运行与选项置换、听觉改写稳定性、探针的人工独立打分、每来源多轴覆盖与单独的污染集对照。敏感性分析如去掉污染案例与变换录音后重算,论文说仍待完成。这些步骤决定了操作性标签是否稳定,以及无音频对照能否从总体基线推进到逐题筛选。
什么时候值得尝试这个诊断思路
当研究问题是答案分对错不够用,需要知道补规则还是补听觉描述能改变回答时,这个思路值得尝试。它的代价是构造端的人工与测量工作,收益是把一部分归因从读解释变成看受控输入下的回答变化,并自带无音频总体对照。适用条件是所需听觉能量化成短文本,规则能写成任务通用且不带本题答案,答案能用音频之外的测量或构造参数核对。
对当前证据应保守解读。补听觉文字带来大增益支持继续研究声音观察在推理中的使用,但听觉验证不完整、可能的直接识别路径与非单调回答限制了更强归因。下一步应先做人听验证与稳定性检查,再扩展模型与来源,然后才谈这些模式能否指导模型改进。论文本身也把结论停在动机层面,没有声称已经定位了编码器或推理部件的缺陷。
📎 论文与评分元数据
排名:前50% | 文档类型:数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses

