📄 答对不等于听对:对大音频语言模型的声源级反事实审计

英文题目:Right Answers, Inconsistent Evidence: Source-Level Counterfactual Auditing of Large Audio-Language Models

评分:7.3/10 | 创新 1.5/2 | 技术严谨 1.4/1.5 | 实验充分 1.2/1.5 | 清晰度 0.9/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Yi Zhang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Yi Li:机构信息未能在本次解析中与作者逐人可靠绑定
  • Hongwei Du:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

大型音频语言模型需要根据包含目标与干扰声的混合录音判断指定声音是否存在,输入为波形与文字问题,输出为存在与否的判定,猫、汽车喇叭与笑声相互重叠时答对有时来自场景本身而目标本身并未被有效登记。目标与竞争者消融反事实证据审计先对同一问题计算存在与缺席答案对数概率之差作为边际分,再分别删除目标与每个竞争者后重算该分得到去除效应并保持其余声源增益与偏移不变,最后仅用冻结模型已有的答案逻辑值组合去除效应成排序统计量检验目标缺席视图是否低于全部目标存在视图。与只检查目标删除或只看答案是否翻转的做法相比,该方法把排序冲突与阈值可修复错误分开,无共享阈值可修复排序冲突因而需不同补救。在8个开放大模型与3456组ESC-50对照混合的评测中,18911个答对里6.3%存在排序冲突,在各级均答对的5466个配对单元上目标SNR从+5 dB降至-5 dB时冲突占比从4.9%升至8.4%,而全部单元的ACC从75.7%降至60.8%。结论仅适用于声源集合已知且可精确删除的合成混合与字母选项判别问法,响度归一化与重配背景对照下趋势仍成立,真实录音与开放作答尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

混合录音里问有没有某种声音到底在问什么

刚进入音频领域的同学可以先把任务想成很具体的一件事。输入有两部分,一段几秒的波形录音,加上一个用自然语言写成的存在性问题,例如这段音频里有没有猫叫。模型要在是与否之间选择,实际评测里写成字母选项 A 代表是、B 代表否。输出必须保留的信息是被问到的那个声音事件到底在不在,而不是整段录音听起来像什么场景。

真实录音很少只有一种声音,论文开头举的情形就是猫叫、汽车喇叭和笑声叠在一起,模型被问其中之一。混合让判断变难,因为正确答案可能来自猫本身,也可能来自恰好包含猫的场景,两种情况在混合上都回答是。论文关心的就是这种区别,在需要按存在判断采取行动时,靠错理由答对的模型在场景变化时不会平稳退化。

为了把这种区别测出来,录音的构成必须是已知的。论文用 ESC-50 的 5 秒公开片段作为声源,50 个类别里取样,把几路干声按设定增益和起止叠成 4 秒混合。每个混合都知道哪一路是被问目标,哪几路是竞争干扰,删掉一路就恰好去掉一个标签。这样每个删除视图的有无标签都由构造固定,不依赖模型猜测。

以前用什么办法检查模型是不是幻听

宽泛理解评测先要分清。AIR-Bench、AudioBench 和 MMAU 测的是大范围理解,时间推理基准加的是跨片段和时间维度的推理,音频文本匹配有工作发现模型更多对上名词动词而非整句。这些任务的输入、目标和聚合方式与本文的存在性判断不同,不能直接当成同条件胜负。

幻听和反事实检查离本文最近。视觉里用是否型探针查物体幻听,后来搬到音频查不存在事件是否被报告,对齐方法里还有用反事实难负例训练的 AHA。另一路同时干预音频和思维链,看推理者的解释是否扎根于听到的内容。BEAF 记录物体删除前后的回答变化,并跟踪从未被删除物体的回答是否稳定,也有工作把同样设计用于声音事件。这些检查的共同点是读反事实回答本身。

扰动归因提供了另一条路线。LIME 对扰动输入拟合局部代理,audioLIME 开关声源分离出的成分。本文的 TRACE 不用估计的分离结果,而是用真实干声做删除,每个视图都有精确标签。区别在于输入是否已知可删、监督来自哪里、运行阶段是否需要重训,比较时要把这些条件对齐。

为什么答对了还不能证明听到了目标

论文用一个反直觉的现象开头。大音频语言模型能正确回答混合里有没有猫,删掉猫之后它的置信度也会下降,但这仍不能说明它能把有猫和无猫区分开。原因在于下降只说明目标对分数有正贡献,没说明这种贡献是不是全组视图里最大的,也没说明目标缺席视图是否低于所有目标仍在视图。

已有检查恰好漏掉后一半。只删目标看分数是否下降,会漏掉删竞争干扰降得更多的情形。对每个删除视图都判回答对错,能把这类样本记成反事实错误,但给的是一个不区分的错误数,说不清是证据排序坏了,还是排序没坏只是决策阈值落在了可分的排序中间。两种情况需要的修复不同,论文要的就是把后者里的前者挑出来。

论文采用的准则是顺序的。登记了被问声音的模型,应当给每个仍包含它的视图打出高于删掉它那个视图的分数。单个阈值能修好误读的回答,但修不好排序冲突,所以用 H 小于等于 0 命名后者。

混合音频 × 目标声源 × 竞争声源: 混合音频指由已知干声叠加而成的待测录音,目标声源指当前问题直接询问的那一路声音,竞争声源指混合里其余每一路会被逐个删除的声音,三者搭配才能把是目标本身在支撑回答,还是别的声音在撑着回答区分开,组合后得到每个视图的确切有无标签。

沿一个样本想,混合音频是起点,目标声源是问题指向,竞争声源是其余干扰。只看混合回答正确,无法知道支持来自哪一路,必须把目标和每一路竞争逐个拿掉再比,才知道回答的证据排得对不对。

TRACE 把一次提问拆成哪些删除视图来比

TRACE 的全称是 Target-and-Rival Ablation for Counterfactual Evidence,做法是固定同一个存在性问题,先在完整混合上打分,再删掉被问目标打一次,再把每一路竞争声源轮流删掉各打一次。每次删除只拿掉一路干声,其余各路的增益和起止不变。删目标把标签变为无,删竞争保持标签为有,因此只需要冻结模型本来就会产生的回答选项对数概率,不生成文本,不重训,不录新音频。

下面这张总览图左半是一个实测混合,右半是全部答对样本的分布,读图时把左半的具体数值和右半的整体位置对照起来看。左半能看到删谁代价更大,右半能看到这类样本在全部答对里占哪里。

看图路径: 1. 先看左图三块波形与下方三组边界分值,确认混合、删目标、删竞争分别对应什么标签;2. 再看左图两种阈值下三视图的对错,理解为什么没有单一阈值能同时分对;3. 最后按图例核对红色圆点、红色三角形和灰色点分别对应无依据、竞争混淆与排序一致及其百分比,再看星标位置

原论文 Figure 1:Overview of TRACE. (a) A mixture (door wood creaks + footsteps; Qwen3-Omni-30B, 0 dB, partial…

论文图 1。原论文 Figure 1::“Overview of TRACE. (a) A mixture (door wood creaks + footsteps; Qwen3-Omni-30B, 0 dB, partial overlap).”。

左图混合是门木头吱呀声加脚步声,用 Qwen3-Omni-30B 在 0 dB 部分重叠条件下提问门吱呀声是否存在。3 个视图的边界分值分别是混合 +3.63、删目标 +2.87、删脚步声 +0.88,标签依次为有、无、有。目标单独看下降了,似乎通过检查,但删竞争降得更多。阈值为 0 时删目标视图误判为有,阈值为 3.0 时删竞争视图误判为无,没有共享阈值能同时分对 3 个视图。右图把 18,911 个答对回答按目标移除效应和最强竞争移除效应展开。

红色圆点为无依据(ungrounded),占 3.6%,红色三角形为竞争混淆(competitor-confused),占 2.7%,灰色点为排序一致(ordering-consistent),占 93.7%。星标就是左图这个样本,位于虚线上方,属于竞争混淆。

边界分值和移除效应具体怎么算

先把打分讲清。对固定问题 q,允许回答 yp 表示有、ya 表示没有,边界分值 M 是两者的对数概率之差,大于 0 判为有。这个分值不是对输入的梯度,只是同一问题下两个字母选项的相对支持度,后文都沿用边界分值这个称呼。

\[M(x,q)=\log p(y_{p}\mid x,q)-\log p(y_{a}\mid x,q),\]

再看 3 个视图怎么来。混合给出 mf,删目标给出 mt 且标签为无,每个删竞争 j 给出 mj 且标签仍为有。移除效应就是混合减去删除后,目标的是目标移除效应,竞争 j 的是竞争移除效应。正值表示被删那路在支撑回答,竞争效应为负表示删掉它反而让目标的边界分值升高。

\[\Delta_{t}=m_{f}-m_{t},\qquad\Delta_{j}=m_{f}-m_{j}.\]

边界分值 × 目标移除效应 × 竞争移除效应: 边界分值指同一问题下回答有与回答没有两个选项对数概率之差,大于 0 判为有,目标移除效应指混合分值减去删掉目标后分值,竞争移除效应指混合分值减去删掉某一路竞争声源后分值,三者搭配把一次删除改变了多少支持度量化出来,组合后才能比较删谁代价更大。

沿门吱呀声的例子走,mf 为 +3.63,mt 为 +2.87,mj 为 +0.88,算得目标移除效应为 +0.75,删脚步声的效应为 +2.75。目标确实提供了正支持,但竞争提供的更多,这正是目标单独检查会放过而排序检查要抓住的情形。每次删除只动一路干声的做法,保证了效应比较的是同一问题、同一模型、同一背景下的变化。

排序统计量怎样区分两种失败

对混合回答正确即 mf 大于 0 的样本,论文用一个排序统计量 H 综合所有移除效应。H 等于目标移除效应减去 0 和所有竞争移除最大值中的较大者,也等于混合与所有删竞争视图中的最小分值再减去删目标分值。H 小于等于 0 判为排序失败,含义是目标缺席视图的分值不低于某个目标仍在视图,没有共享局部阈值能把本混合的视图组全部分对。

\[H=\Delta_{t}-\max(0,\max_{j}\Delta_{j})=\min\!\left(m_{f},\min_{j}m_{j}\right)-m_{t}\;\leq\;0,\]

失败再分成两小类便于解读。目标移除效应小于等于 0 叫无依据,删掉目标后模型报有时置信反而持平或更高,连目标单独检查都不过。目标移除效应大于 0 但最强竞争移除不小于它叫竞争混淆,目标单独检查通过,但目标缺席视图超过了某个目标仍在视图。论文强调这两个标签描述的是分值行为,不是已定位的内部机制。H 大于 0 为排序一致,此时某路竞争的移除效应仍可能大于目标,只是不破坏顺序。

排序失败 × 无依据 × 竞争混淆: 排序失败指目标缺席视图的分值不低于某个目标仍在视图,包含无依据和竞争混淆两种分工,无依据指删掉目标后分值反而持平或更高,竞争混淆指目标有正支持但删掉某路竞争声源代价更大,三者搭配把阈值能修和阈值修不好的错误分开。

这个读法是顺序且稳定的,不是刀锋阈值。H 大于 0 当且仅当删目标视图低于每个目标仍在视图,也等价于存在共享局部阈值把本组视图全部分对,而 H 的符号在各视图共享的严格递增重缩放下不变。实测只有 86 个答对恰好打平,把绝对值不超过 0.05 都算有序也只把份额降到 5.5%。份额以答对混合为条件,这是集合定义而非效应来源,把进入条件 mf 大于阈值在负 1 到 2 之间移动,份额在 4.6% 到 8.5% 之间,阈值为 0 时是 6.3% 的 18,911 个。

这篇论文训练了什么,冻结了什么

这篇论文没有训练文中的大音频语言模型。8 个受测模型都是冻结检查点,音频重采样到 16 kHz,MiMo-Audio 为 24 kHz,模型跑在 bfloat16 下。每个视图的分值都从下一个词元位置读两个字母选项的对数概率,给定检查点就是确定的,不生成文本。

唯一的训练对照是 AHA 的 LoRA 适配器,接在 Qwen2.5-Omni-7B 同一个底座上,提供同底座训练对比。TRACE 本身不需要新监督,标签来自 ESC-50 类别标注和构造时的删除操作,2 位不看声源角色和模型结果的听者核对了 192 个面板片段,确认所称事件可听且无其他可命名事件。

原文没有报告训练超参数、优化器、梯度路径或重置时机,缺的是哪一项就指出来,不从模型名字猜实现。无训练不等于确定性求解,参数冻结也不推出系统输出确定,这里的确定性仅指同一检查点下字母分值读取是确定的。每个混合要多做目标删除和逐路竞争删除的前向,这是主要的额外计算代价。

受控混合音频是怎么搭出来的

声源来自 ESC-50 的 5 秒片段、50 个类别,论文抽了 192 个片段覆盖 49 个类别,排成 64 个三声源元组,每个元组 3 个标签互不相同。把被问目标在元组内轮转得到 192 个目标角色,每个角色再交叉目标信噪比为负 5、0、正 5 dB、时间重叠为全重叠或部分重叠、干扰数为一或两个。只有一个干扰时每一路竞争轮流使用,由此每模型得到 3,456 个混合条件,8 个模型共 27,648 次模型混合评测。

响度与时间按规则固定。目标增益固定,干扰联合缩放以设定目标对干扰信噪比,用整段均方根在 4 秒裁剪上计算。全重叠各路在 1 s 同起点,部分重叠干扰相对目标提前或滞后 0.75 s,混合长 4 s。每个元组 3 类不同保证每次删除恰好去掉一个标签,视图标签由构造固定。重配背景从面板 49 类声源表里重抽两个干扰,从不重复被问类别。全部 11,520 个视图复用同一 192 个哈希校验片段。

模型怎么读题打分,条件怎么配平

受测 8 个为 Qwen2-Audio-7B、Qwen2.5-Omni-3B 和 7B、Qwen3-Omni-30B、Step-Audio 2 Mini、MiMo-Audio-7B、Audio Flamingo 3,以及 Qwen2.5-Omni-7B 上的 AHA LoRA。问题是字母是否题,问是否那里有某类声音,答 A 为是或 B 为否,映射在面板上 50.0% 平衡,且在同一角色内跨删除视图、信噪比和模型固定。分值从两个字母选项读出,每个回答都能解析。映射本身有影响,一种映射下失败 4.6%,另一种 7.6%,但竞争梯度在两种映射下都为正,分别在 2,355 和 3,111 个单元上上升 2.0 和 4.6 个点,用的角色不同。

接口稳健性单独用问法交换面板重渲染,每个角色用相同音频在 4 种措辞和两种映射下只变接口。2,670 个联合答对配对上成对结论一致 92.4%,全部 6,144 上 H 相关正 0.91,失败结论一致超出各自比率预测,卡帕为 0.71,是独立结论重叠的 7.3 倍。另有缺席事件面板 512 个条件,64 个全重叠双干扰混合交叉 4 种措辞和两种映射,规范措辞下每模型 128 个缺席问题。置信区间是对 64 个声源元组的 95% 百分位自助 10,000 次,替换面板 42 个、重配背景 192 个目标角色,簇内保持所有模型和条件。压力轴对比只用在各级都答对的单元,保证进入答案相同而只变声学。

答对里面藏了多少排序失败

主结果看 18,911 个正确混合回答的归因。混合后,6.3% 是排序失败,共 1,184 个,95% 区间 4.9% 到 7.8%,其中 2.7% 是竞争混淆,3.6% 是无依据。每个模型都有失败,数量不跟准确率走,Qwen2-Audio-7B 准确率排第三,失败却排第二。目标单独分数检查漏掉其中 42.5%。另有缺席面板用同样混合问每路都没有的类别,8 个模型对存在问题 55.2% 答是,对缺席问题 23.6% 误报,两臂声学相同但问题类别不同,与表 2 准确率不能直接比。

目标单独检查 × 答案翻转检查 × 排序检查: 目标单独检查只看目标移除效应是否大于 0,答案翻转检查看删除后二值回答是否改变,排序检查看目标缺席视图是否低于所有目标仍在视图,三者分工在于前两者只读单点或答案,后者比较整组视图的相对顺序,组合后才能看到藏在答对里的证据错位。

下表比较同一批答对上 4 种检查的报警构成,统一分母为 18,911 个正确混合回答。指标看报警中多少是排序冲突、多少是局部可分的阈值问题,冲突需要修排序,可分可用阈值修。

CheckFlaggedConflictSeparable
Target-only score3.63.60.0
Target-removed answer27.35.621.7
Answer flip30.86.324.5
TRACE (ordering)6.36.30.0

表 1 显示目标单独分数只报 3.6%,且全是冲突,目标删除回答报 27.3% 其中 5.6% 冲突、21.7% 可分,答案翻转报 30.8% 其中 6.3% 冲突、24.5% 可分,TRACE 只取 6.3% 冲突。代价是翻转规则要读所有视图的二值答案,限制是可分只对本混合自家视图局部成立,不是全局阈值。

下表按模型拆开正确混合回答的准确率与失败构成,准确率是存在问题的混合准确率,失败份额的分母是各模型自家答对子集,跨模型未配平。

ModelAcc.Conf.Ungr.RFail
Audio Flamingo 360.41.32.23.5
MiMo-Audio-7B46.34.51.45.9
Qwen2-Audio-7B74.43.55.69.1
Qwen2.5-Omni-3B62.91.92.34.2
Qwen2.5-Omni-7B78.62.11.43.6
+ AHA (LoRA)72.01.91.33.2
Qwen3-Omni-30B84.32.22.74.9
Step-Audio 2 Mini68.44.211.315.6
Pooled68.42.73.66.3

表 2 显示 Qwen3-Omni-30B 准确率 84.3% 失败 4.9%,Qwen2.5-Omni-7B 准确率 78.6% 失败 3.6%,加 AHA 后准确率 72.0% 失败 3.2%,Step-Audio 2 Mini 准确率 68.4% 失败高达 15.6% 其中无依据 11.3%,Audio Flamingo 3 准确率 60.4% 失败 3.5%,MiMo-Audio-7B 准确率 46.3% 失败 5.9%。未胜出项很清楚,最高准确不等于最低失败,AHA 在共同答对上也没有可检出的冲突下降,后文配对训练行会量化。

失败为什么集中在某些声音事件上

把 49 个至少 30 个答对的 ESC-50 类别按失败份额分成五等分,最高组 22.3% 对最低组 0.8%,差距正 21.5 个点,95% 区间 15.7 到 27.8。差距在独立重配背景面板上为正 25.9 个点,区间 17.3 到 36.1,3 个模型方向相同,跨面板类别排序 Spearman 正 0.79。也不是回答置信的重缩放,在混合边界分值分箱内差距仍在正 17.1 到正 26.6 个点之间。

两面板都固定目标录音,类别与特定片段难易纠缠,所以又对最高最低两组的 56 个角色换了同类别不同录音重渲染,背景、信噪比、重叠、配对、问题和映射逐字节相同,只换目标波形及其响度匹配增益。160 个替换录音落在 56 个角色上,8 个模型共 23,040 个评测单元,其中 8,064 个目标冻结。删目标视图两臂是同一文件,差距从正 20.9 降到正 15.7 个点,区间正 10.1 到正 21.8,差中差负 5.3 个点,区间负 9.3 到负 1.9,8/8 个模型都保持正。按角色排序 Pearson 正 0.69。只看两版目标都答对的单元,差距仍有正 20.0 个点,区间正 13.3 到正 27.4,同单元冻结为正 22.6,说明存活差距不是分母变化的假象,但幅度依赖目标选片。

下表比较各面板自家答对上的失败份额,份额单位为百分号,差距为最高组减最低组的点差,冻结行是该对照自家基线而非主面板复述,重配行汇集 3 个模型其余汇集 8 个。

PanelQ1Q2Q3Q4Q5Gap
Main (frozen targets)22.310.44.42.00.8+21.5
re-paired backgrounds31.220.312.07.85.3+25.9
targets frozen21.4–––0.5+20.9
targets replaced17.3–––1.6+15.7

表后要读限制。主面板差距正 21.5 个点,重配正 25.9 个点,换录音后仍剩正 15.7 个点,说明集中在特定声源事件且可复现,但从正 20.9 到正 15.7 的收缩说明片段本身也有贡献。中间 3 组主面板为 10.4%、4.4%、2.0%,重配为 20.3%、12.0%、7.8%,份额单位均为百分号,显示失败是连续分布而非只有两极,替换对照只覆盖最高最低两组,不能推广到全部 49 类。本表数值与单位依据论文 PDF。

声音越挤失败为什么越多

压力轴对比只用在各级都答对的单元,所以进入答案完全相同,只变声学。3 个目标信噪比上份额从 4.9% 经 6.3% 到 8.4%,从 +5 到−5 dB 上升 3.5 个点,区间 2.7 到 4.3,8 个模型全为正,最小的上升 1.9 个点,而每个进入答案都保持正确。各信噪比全体单元上准确率从 75.7% 降到 60.8%,梯度在把每个删除视图重缩放到混合自身响度的响度匹配对照下存活。

增加的是竞争而不只是候选数。在固定目标对干扰信噪比下干扰联合缩放,双干扰与单干扰总干扰能量相同,加倍仍明显上升。只保留一路随机竞争计算最强效应,也明显高于单干扰基线。训练对照上 AHA 与其底座在共同答对上都是 3.1%,差 0.0 个点,区间负 0.5 到 0.4,没有可检出下降。

下表是排序失败份额(%)的配对对比,差为 B 减 A,单位为点,区间是对声源元组的 95% 自助。竞争行用各级都答对的公共正确单元,单留一路行把最大值只限一路随机保留的竞争,训练行比 AHA 与其底座在共同答对上的条件。

ContrastAB∆95% CI
Acoustic competition (common-correct units)
same, RMS-matched views5.28.0+2.9[2.1, 3.8]
Distractors, 1 →2 (5,120)4.08.3+4.3[2.8, 5.9]
same, one randomly kept rival4.06.5+2.5[1.3, 3.7]
Training (Qwen2.5-Omni-7B → +AHA, common-correct)
Ranking-failure share3.13.1+0.0[-0.5, 0.4]

表后解释支持什么。信噪比下降 3.5 个点、干扰加倍 4.3 个点、单留一路仍 2.5 个点,且响度匹配后 2.9 个点仍在,支持冲突由竞争驱动而非单纯响度或候选数。限制是这些份额都以公共正确为条件,绝对准确率同时在掉,不能说排序失败独立于整体变难,训练无下降也只在 2,466 个共同答对条件和该适配器下成立。本表数值与单位依据论文 PDF。

响度、换背景和已知检测器说明了什么

先看配对是否只是固定搭配的假象。主面板每个目标角色绑一组固定干扰,于是对 192 个冻结目标角色在全重叠双干扰格上重抽两个干扰 5 次,目标片段、增益和信噪比固定,抽取不看模型结果。重配份额 13.8%,在 5,220 个两种配对都答对的回答上冻结配对失败 10.8%,重配背景 10.6%,差负 0.3 个点,区间负 3.0 到正 2.4,基本持平。

目标信噪比 × 干扰数量 × 响度匹配对照: 目标信噪比指目标相对干扰的总能量比,干扰数量指混合里竞争声源是一路还是两路,响度匹配对照指把每个删除视图重缩放到与混合相同的均方根响度,三者搭配检验失败上升是竞争本身还是总响度下降所致,组合后才能排除响度解释。

再看标记超出二值。593 个冻结混合上被全检查标记的答对里,173 个带排序冲突,420 个是阈值可修错误。有正确重绘条件下,冲突回答在 566 次合格重绘里失败 35.5%,可修回答在 1,724 次里失败 11.7%,差正 23.9 个点,3 个模型全为正。在模型、混合边界 0.5 分箱和信噪比格内标准化,去掉不足 3 个可修单元的格,可修单元定参照并按合格重绘加权,冲突仍高 13.5 个点,区间正 4.1 到正 22.7,共 434 次重绘 33 层,基线单元 5 次重绘在自助里算一个单元。只看 338 次原映射重绘仍高 13.7 个点,区间正 2.7 到正 25.2,支持用 TRACE 给答对排稳健测试优先级。

两个对照支撑读法。按构造固定的检测器里,记分映射为对数形式,底数为最响干声千分之一的地板值,能量取干声自身而非混合的均方根,只读被问干声的从不失败,从不读目标的恒失败,不带声源身份的均方根和代理为 45.0%。在 2,466 个与底座都答对的条件下,AHA 没有可检出的排序冲突下降。响度匹配、重配和检测器 3 路都指向同一结论,失败不是响度或配对假象,但 AHA 负结果说明难负例对齐不自动修好排序。

这些结论在什么边界内才成立

适用范围先划清。声源只来自 ESC-50 的 5 秒事件,混合是三声源 4 秒裁剪,全或部分重叠,干扰一或两个。TRACE 要求声源集合已知可删,每次删除恰好去掉一个标签,真实长场景里没有干声时不能直接用。问题是字母是否题,从两字母对数概率读边界分值,不涉及生成文本的解释,结论不能搬到自由问答的措辞质量上。

统计口径也要记住。份额都以正确混合回答为条件,各模型答对子集不同所以表 2 比率未配平,准确率最高不等于失败最少。H 大于 0 只保证本混合自家视图可被一个局部阈值分开,不保证模型像听者那样认出声源。可分性也是局部的,不是全局阈值。映射本身改变失败率 4.6% 对 7.6%,缺席误报 23.6% 与存在准确率分母不同不能直接比,类别差距幅度依赖目标选片。

没有测的东西不能承诺。原文没有测量误判率之外的延迟、算力或输出帧率,总体趋势推不到每一组结果。相关不等于因果,竞争梯度在公共正确和响度匹配下存活,支持竞争驱动但没证明内部机制。来源未确认不是技术缺陷,重配与替换的自助区间都只对所抽元组和角色成立。

要复现第一步该准备什么

第一步是把音频摆对。准备 192 个哈希校验的 ESC-50 片段,覆盖 49 类,按 64 个三元组排好,轮转得到 192 个目标角色,再按负 5、0、正 5 dB、全或部分重叠、一或两个干扰渲染 4 秒混合,目标增益固定、干扰联合缩放,全重叠 1 s 同起点、部分重叠错开 0.75 s。音频重采样到 16 kHz,MiMo-Audio 用 24 kHz,保留增益和起止,只删一路干声。

第二步是把打分摆对。每个模型用自家提示格式,在预测追加词元的位置读 A 与 B 两个单字母的对数概率,算边界分值,再对同一问题算混合、删目标、逐路删竞争的分值与效应,合成 H。提示以回答键收尾并带模型自家回答前缀,映射在角色内固定,全部回答可解析。模型跑 bfloat16,自助用固定种子 10,000 次按声源元组抽,报告用未取整份额算差。

论文文末给出代码和数据链接https://github.com/yikise/TRACE,文中的第三方链接只证明提到该地址。复现要核对同一批 192 片段、11,520 视图、27,648 次评测、5,220 共同答对重配、2,466 共同答对训练对比等规模,以及响度匹配重缩放和峰值限制增益的实现细节,缺失的峰值参数不要猜。

什么时候值得用 TRACE,还缺哪些验证

当存在判断会驱动行动,又有已知可删声源时值得尝试。TRACE 在准确率之外多做目标删除加逐路竞争删除的前向,把答对里排序坏掉的 6.3% 挑出来,竞争越强份额越高,类别集中且换背景可复现,还能按冲突与可修把全检查的 30.8% 报警拆成 6.3% 与 24.5%。已有冻结模型直接可用,不重训不录新音频,代价是每问多倍前向和对干声的依赖。

复现第一步是先跑通单样本全视图链路。用门吱呀加脚步声这类已知混合,固定同一问题和映射,读出混合、删目标、删竞争 3 组边界分值,算出目标与竞争移除效应和 H,确认阈值 0 与 3.0 都不能同时分对三视图,再扩大到多信噪比和干扰数。

还缺的验证要补 3 类。声源库要走出 ESC-50,到更长更密的真实场景和更多干扰。问题形式要走出字母是否题,看生成文本打分是否同理。训练要找到能把 H 小于等于 0 真正降下来的方法,AHA 在当前条件下没有下降说明难负例对齐不够,还要补延迟、算力和人工听辨对照,才能谈部署。

📎 论文与评分元数据

排名:前50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-13 语音/音乐/音频论文速递