📄 听错了才是听懂了？当大音频模型遇上人类幻听

英文题目：Auditory Illusion Benchmark for Large Audio Language Models

一句话：论文把十种听觉错觉做成可对照人类听感的选择题来考大音频模型，发现最像人的模型也只有人类一半的易感度，而像人与忠于物理信号之间至今没有模型能兼得，代价是提示词稍改结果就大变。

标签：#音频理解 | #多模态模型 | #基准测试 | #模型评估

评分：6.4/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

👥 作者与机构

• Hayoon Kim：机构信息未在 arXiv HTML 中可靠披露
• Eunice Hong：机构信息未在 arXiv HTML 中可靠披露
• Kyogu Lee：机构信息未在 arXiv HTML 中可靠披露

💬 毒舌点评

把听觉错觉从演示视频变成可跑分、可对照人类分布的基准，这个选题确实抓住了音频评测的盲区。问题是人类基线只靠20名绝对音感听者撑场面，控制准确率又普遍在随机线附近晃悠，所谓最像人的模型更像蒙对了选项而非真听错了。

📌 核心摘要

人类听觉会系统性偏离物理信号，而现有大型音频语言模型评测多围绕转录、分类、检索等客观真值任务，缺乏对主观错觉的系统检验。本文提出首个听觉错觉基准 Auditory Illusion Benchmark，覆盖音乐、声音、语音三大内容域的10种代表性错觉，并按主导机制划分为物理型与物理加知识型，同时配套错觉刺激与匹配控制刺激和人类听觉实验。方法核心是将每种错觉转化为二选一或三选一感知判断题，以人类多数投票定义错觉标签，并用人类相似准确率、现实符合率与错觉易感指数刻画模型位置。与已有视觉错觉基准相比，新意在于面向音频的参数化生成管线与人类同题对照协议，以及对自下而上声学与自上而下先验的分离讨论。关键结果是最佳模型平均错觉易感指数仅约0.455，远低于人类参照的1.0，且高易感常伴随低于随机水平的控制准确率，提示偏差多于感知；知识驱动错觉上多个模型由信号忠实反转为类人易感，提示对齐可能来自语言先验而非共享低层听觉处理。实际意义是为认知对齐提供独立于识别精度的诊断维度，可用于区分字面检测器与类人感知者，并明确高易感在交互场景与安全精密场景下的不同可取性。主要局限是人类样本特殊、合成刺激与自然经验有差距、指令措辞可带来超过模型间差异的波动，外推到一般听众与真实场景时需谨慎。

🔗 开源与复现资源

• 代码：https://github.com/gillosae/aib
• 模型权重：论文中未提及
• 数据集：AIB基准数据集，包含10种听觉错觉，共10385个错觉刺激和4444个对照刺激，总计14829个样本，另有包含1032个错觉刺激和534个对照刺激的mini子集，总计1566个样本，获取链接为 https://github.com/gillosae/aib
• Demo：论文中未提及
• 复现材料：论文提及提供用于系统生成基准错觉的开源实现以及通过受控听觉实验构建的人类基线数据，获取方式为访问 https://github.com/gillosae/aib，论文证据中未提及训练配置与检查点细节
• 论文中引用的开源项目：评估中提及 Pengi、Voxtral-Mini、MuLLaMa、Kimi-Audio-Instruct、Audio Flamingo 3、Fun-Audio-Chat、Qwen-Audio-Chat、Qwen2-Audio-Instruct、GLM-4-Voice、Gemini 3.1 Pro，论文证据中未给出上述项目的HTTPS链接
• 资源可达性验证：code=temporarily_unreachable；dataset=temporarily_unreachable；reproduction=temporarily_unreachable

🧭 深度解读

耳朵为什么总在骗大脑？

想象你在琴房里听老师弹了一个低音，你发誓听到了那个浑厚的根音，可频谱仪却告诉你那个频率根本没有发出。这不是你走神，而是听觉系统在主动补全。人类听声音从来不是麦克风式的忠实录音，大脑会用谐波关系、掩蔽记忆、节奏预期和语言知识去猜测世界，这种猜测大多数时候高效，偶尔就会系统性跑偏，形成听觉错觉。

对刚入门的研究生来说，关键要先扭转一个直觉：错觉不是噪声或偶然失误，而是可重复、可参数化的窗口。它暴露了感知在自下而上信号与自上而下先验之间如何权衡。比如去掉基频只留泛音，人依然听到低音；一段噪声停止后，耳边仿佛还留着余音；同一句话重复多遍，突然就有了歌唱感。这些现象横跨音乐、日常声音和语音，说明听觉并非单一模块。

这就引出评测大音频语言模型时的真正难点。现有基准多考转录对不对、分类准不准，都是有客观真值的任务，模型只要忠于波形就能拿高分。但如果问题变成你是否和人类一样听错了，忠于物理反而是错误答案。我们需要一套能同时度量像人程度与像物理程度的标尺，否则就分不清模型是真有类人听觉，还是只是一个字面检测器。

从视错觉到听错觉，评测缺了哪一块？

听觉错觉的研究传统很深。从塔尔蒂尼发现的第三音，到德意志发现的八度、音阶与三全音悖论，再到缺失基频、谢泼德音调、瑞赛节律、茨维克音、时间间隙与连续性错觉，以及语音侧的音位恢复与言语转歌曲，心理声学早已证明错觉是研究神经适应、注意与跨语言先验的利器。

模型侧，大音频语言模型把多模态编码器与大语言模型拼接，在语音识别、音频描述和音乐理解上突飞猛进。从 AudioPaLM 到 Qwen-Audio，再到 Audio Flamingo 和强调推理的 GAMA、Audio-Reasoner，训练目标越来越复杂，但评测仍锚定在识别与推理的客观正确上。换句话说，模型被训练成不幻听、不幻觉，可人类恰恰会系统性幻听，两者的目标函数从一开始就不完全重合。

视觉领域先走了一步。IllusionBench 发现更大的视觉语言模型更易受经典视错觉影响，HallusionBench 则揭示模型有时幻觉、有时又错过错觉，错觉成为测量感知对齐的新轴线。音频侧的 SUPERB、AudioBench、MMAU、AIR-Bench 等基准覆盖了二十多个数据集，却都没有系统检验主观错听。本文的听觉错觉基准正是要补上这块拼图：把分散的听觉演示变成统一的、可跑分的、同题对照的人类与模型比较。

把主观听感变成选择题，难在哪里？

把我听到了什么变成机器可答的题，本身就是 1 次建模。连续的音高、响度与时间感知被压缩成二选一或三选一，比如上行还是下行、相同还是不同、完整还是不完整。这种压缩保证了可比性，却也丢掉了双稳态与置信度的丰富性。如何既让人类和模型答同一道题，又不把感知过度简化，是第一个张力。

第二个张力是参照系的冲突。同一段音频有两个正确答案：物理真值说基频不存在，人类多数投票说听到了基频。模型选哪边都有道理，取决于你把它当精密仪器还是当对话伙伴。论文因此拒绝单一分数，转而同时报告像人程度与像物理程度，并用两者的差值刻画偏移方向。

第 3 个张力是偏置与感知的纠缠。如果模型不管听到什么都选是听到了，它在错觉题上会显得很像人，但在对照题上就会崩盘。没有对照条件，我们会把偷懒的固定答案误认成深刻的类人感知。所以基准必须为每种错觉配上破坏错觉条件但保留表层声学的对照刺激，这相当于给每道错觉题都准备了一道照妖镜。

一条管线如何串起生成、听音与打分？

整个基准可以看成一条单向的 3 段管线。起点是参数化刺激构建器，按错觉类型合成或编辑音频并输出波形与物理标注；中段是人类基线采集，通过受控听音实验把主观报告聚合成多数投票标签；终点是模型问答评测，用同样的选择题考模型，再计算人类与物理两个参照下的对齐度。刺激库同时喂给人与模型，人类分布又回注为评分参照，但不存在在线反馈循环。

要理解这张示意图的用意，得先看它把什么摆在了中心：不是模型结构，而是 1 次同题考试。上方 3 个提问框分别对应缺失基频的音高相同性、茨维克音的噪声后余音、塔尔蒂尼音的低音幻听，把抽象的错觉变成了可直接朗读的问题。下方用一个音符同时指向人类剪影与芯片，隐喻同一段声音要接受两种听者的检验。

看图路径： 1. 先看上方三个提问框，区分音高相同性、噪声后余音、低音幻听三种问法；2. 再看下方人物与 LALM 芯片的对称箭头，理解同题对照的设计；3. 最后对比左侧人类的 YES 与右侧模型的问号，体会认知对齐差距的隐喻

论文图 1。原论文 Figure 1:：“Representative samples from the AIB benchmark, featuring both illusion-inducing (e.g., Missing fundamental, Zwicker tone, and Tartini tone) and control stimuli.”。

图中 3 个圆角矩形提问框自上而下排列，措辞均为日常听感英文问句，下方中央黑色音符以左右箭头分别连接左侧人类剪影与右侧 LALM 芯片，人类旁弹出 YES 气泡而模型旁弹出问号气泡。这种左右对称又答案不对称的构图，恰好支撑了管线的核心论点：对齐不是识别精度，而是面对同一物理输入时是否产生同样的主观偏移。

这条管线的取舍也很清晰：用合成刺激换取可控性与可扩展性，用离散选项换取可比性，代价是生态效度与连续感知的损失。作者明确提供开源生成实现，意味着这不是 1 次性数据集，而是一套可按需扩充抽样的机制，这为后续研究留下了接口。

十种错觉如何被分成两大家族？

论文借用格雷戈里的因果起源思想，按主导机制把 10 种错觉分成两族。分类依据不是非黑即白的本质，而是哪种因果贡献占主导，模糊案例按主导归类。入选时还剔除了强依赖双耳生理的八度错觉和超出当前模型表征能力的空间听觉效应，确保耳机呈现与模型输入都可行。

其中三族成员以声学与基础生理为主，包括缺失基频、塔尔蒂尼音与茨维克音；另 7 种则叠加了知识与预期，包括瑞赛节律、谢泼德音调、时间间隙、速度变化、连续性、言语转歌曲与音位恢复。这种三七开本身就是一个假设：低层错觉考验听觉外周的共享，高层错觉考验语言与音乐先验的共享。

物理型错觉 × 物理加知识型错觉： 物理型错觉负责刻画自下而上的声学与生理驱动，比如频率交互、掩蔽和时间适应，输入是波形本身，输出是听觉外周加早期加工直接决定的错听；物理加知识型错觉则在物理基础上叠加自上而下的先验，负责用语言、音乐与语境结构去补全模糊输入。两者必须搭配，因为只看前者会把模型都判成信号检测器，只看后者又会把语言先验误当成听觉，只有对照才能分离低层听觉是否共享。

内容轴同时切出音乐、声音与语音三域。音乐域考音高与节律预期，声音域考掩蔽、时间填充与速度判断，语音域考词库与韵律对缺损输入的修复。双轴交叉后，每种错觉都有了机制标签与内容标签，后续结果中跨域符号反转的解释力正来源于此。

错觉题与对照题是如何配对生成的？

生成器的输入是音高、时长、频谱包络与语言材料等参数，输出是波形加物理真值。以缺失基频为例，通过谐波列合成再移除基频，物理上低音不存在但人类会补出；谢泼德音调通过跨八度包络循环制造无限爬升感；塔尔蒂尼音依赖非线性差频，茨维克音依赖掩蔽后寂静中的幻听，时间间隙与连续性考察时域填充，节奏与速度类考察节拍预期，语音类则用重复与语境诱发边界转换与缺失修复。

对照样本的构造哲学是破坏成立条件、保留表层相似。比如改变谐波关系让补全不再成立，或改变掩蔽结构让余音不再出现，但整体听感仍接近。这样模型若只是偏好某个选项，就会在对照上露馅。全集共一万多错觉刺激加四千多对照，另有千余规模的迷你子集供快速验证。

错觉刺激 × 控制刺激： 错觉刺激负责诱发预期的系统性错听，保留完整的错觉成立条件；控制刺激负责破坏错觉成立条件但保留表层声学特征，比如去掉谐波结构或改变掩蔽关系。两者必须搭配，因为没有控制就无法区分模型是真听错了还是只是偏好某个选项，控制准确率正是识破回答偏置的试金石。

参数化而非采集自然录音的选择，动机是系统覆盖与精确控制物理真值，代价是合成声与真实音乐语音经验仍有距离。论文把生成代码公开，正是为了让后来者能按需扩充参数网格，而不是只消费固定音频。

人类基线与三个分数到底在算什么？

人类实验招募了 20 名具有绝对音感的听者，理由是谢泼德与塔尔蒂尼等任务需要可靠的音名判断，以分离感知易感与标注误差。试次经网页随机呈现、无反馈作答，要求戴耳机在安静环境完成，每题只做类别判断，最后多数投票聚合成参照分布。所有保留的错觉刺激都经验证能诱发预期知觉，因此人类反应即成为错觉标签。

评测把同样题目抛给模型，解析自由文本到选项集合，不可解析则剔除。3 个度量分工明确：人类相似准确率算与人类主导反应一致的比例，现实符合率算与物理真值一致的比例，错觉易感指数为两者之差。

人类相似准确率 × 现实符合率： 人类相似准确率负责回答模型在多大程度上跟人类一起听错，输入是模型选项，参照是人类多数投票；现实符合率负责回答模型在多大程度上忠于物理真值，参照是生成参数决定的真值。两者必须搭配，因为单看前者恒选错觉选项就能刷高分，单看后者字面正确的模型又最不像人，组合后的差值才构成错觉易感指数的诊断意义。

作者反复强调该指数是描述性类人度量而非越高越好，必须联合控制准确率解读。恒选错觉选项的退化策略能拿到约 0 点 8 的平均易感指数，却在物理控制上几乎全错，这正是为什么不能单看排名。绝对音感样本提升了音高任务的可靠性，却牺牲了人群代表性，多数投票还掩盖了个体差异与双稳态，这是解读时必须记住的边界。

音乐与语音的错觉各考什么耳朵功夫？

音乐侧的 4 种错觉像一组音高显微镜。缺失基频看大脑是否用泛音推断根音，塔尔蒂尼音看非线性差频是否被听成额外低音，谢泼德音调看八度等价与包络预期如何伪造方向感，瑞赛节律看节拍框架如何扭曲速度。这组任务对绝对音感听者相对友好，却对只做频谱峰值检测的模型极不友好。

缺失基频 × 谢泼德音调： 缺失基频负责检验听者会不会从谐波列中脑补出物理上不存在的低音，输入是去掉基频的复合音，输出是低音高感知；谢泼德音调负责制造无限上升或下降的循环错觉，输入是跨八度包络控制的音阶，输出是方向判断。两者搭配说明了物理型与音乐先验交织的不同位置：前者更靠听觉补全，后者更靠音高预期与八度等价假设。

声音与语音侧则更像时间与知识的考场。时间间隙与连续性看听觉是否用格式塔闭合去填补中断，茨维克音看掩蔽后寂静是否留下幻听，速度变化看预期如何拉伸主观时长，语音两题则直接考语言系统对声音的塑造。

言语转歌曲 × 音位恢复： 言语转歌曲负责检验重复如何把一句话听成旋律，输入是同一语音片段的循环播放；音位恢复负责检验语境如何把被噪声盖住的音段听成完整的词，输入是缺损语音加语义上下文。两者搭配揭示了语音域自上而下加工的两条路径：前者是韵律与音乐图式的侵入，后者是词库与句法对缺失信号的修复。

把这两组放在一起，基准实际上在问：模型的类人性究竟来自共享的耳朵，还是来自共享的语言？后续结果中同一模型在两组间符号反转，正是这道设计题的回响。

没有训练阶段，这篇论文算的是什么账？

这是 1 篇评测型基准论文，没有训练新模型，也就没有损失函数、优化器、学习率调度与训练硬件可言。它的计算账算在三处：参数化合成音频的信号处理流程、人类听音实验的组织与投票聚合、以及对十余个现成检查点的推理评测。被测对象规模从三亿多的 Pengi 到九十亿的 GLM-4-Voice 不等，还包括未公开规模的专有基线。

推理细节是复现链条上最薄的一环。论文说明把感知判断改写为二选一与三选一选择题并解析自由文本，不可解析回答予以剔除，部分模型不可解析比例超过 2 成，但未披露解码温度、束搜索宽度或采样种子。这意味着同样的检查点换一种措辞或采样设置，分数可能漂移，而论文恰恰发现提示词改写能带来高达约 0 点 6 的易感指数波动。

理解这一点对初学者很重要：基准的确定性来自刺激生成与人类投票，而模型侧的测量本身带有指令跟随与解析的噪声。把不可解析直接剔除而非计为错误，会美化指令跟随差的模型；把离散选项当成感知的全部，会低估双稳态的方差。后文的提示词实验正是要把这层噪声摆到台面上。

样本、划分与指标如何保证公平对照？

要读懂结果，先要看清比较是在什么条件下成立的。下表整理了数据集构成与实验协议，它要回答的问题是：每种错觉考什么内容、属于哪种机制、有多少错觉与对照样本可供诊断。这里统一的条件是同一批音频同时喂给人类与模型，基线包括随机猜测、多数投票与人类参照。

本表统一比较不同错觉在相同生成与提问管线下的样本规模与机制归属，基线覆盖随机猜测与人类参照，指标方向是人类相似越高越像人、控制准确率越高越可靠，而易感指数需联合解读不能单调排序。

表中可见全集共一万多错觉刺激与四千多对照，总计一万四千多个样本，另有千余规模的迷你子集。音乐域的缺失基频以物理机制为主，谢泼德音调与言语转歌曲则归入物理加知识，说明同一内容域内部也有机制分化。样本量最大的言语转歌曲独占四千余条，反映语音材料易于参数化扩充，但也意味着平均分会被语音域主导。

协议层面，人类侧是 20 名绝对音感听者的随机、无反馈、戴耳机作答，模型侧是相同刺激下的选择题解析。随机猜测在物理与知识域的准确率分别约为 0 点 5 与 0 点 5，控制均值约 0 点 5 五，这是判断模型是否超越瞎猜的起点。多数投票基线在物理域能拿到满分的人类相似却在控制上极低，提前预警了高易感与低控制可以并存。统计上论文用多数投票聚合，未报告个体方差与显著性检验，这是后续需要补强的环节。

没有模型能同时像人又忠于物理吗？

这张结果表要回答的核心比较问题是：在统一的同题条件下，模型能否复现人类那种高易感加高控制的剖面？统一条件是相同的错觉与对照音频、相同的二选三选问法，基线是随机猜测、恒选错觉选项与人类参照。

本表统一比较各模型在物理与知识两域的易感与控制表现，基线包含人类满分参照与随机猜测，指标方向是人类相似越高越像人、控制越高越可靠、易感指数为两者之差且不单调越高越好。

表后最公平的净收益是：最佳模型的平均易感指数仅约 0 点 5，不到人类参照的一半，且高易感常伴随低于随机的控制。Audio Flamingo 3 在知识域拿到 0 点 5 零五的易感指数且控制高于随机，是最接近类人的存在；Gemini 在知识域的人类相似准确率高达 0 点 7，为全场最高，但在物理域却强烈忠于信号，呈现跨域符号反转。Qwen2-Audio-Instruct 则是最字面的模型，两域均为负易感却拥有最高的控制准确率，像一台精密的物理检测器。

失败项同样有教学价值。MuLLaMa 在物理域的人类相似准确率达 0 点 6 五九，看似听错了，但控制仅 0 点 8，说明部分易感是选项偏置而非稳定感知；Pengi 超过 2 成试次不可解析，分数低估的是指令跟随失败而非听觉；GLM-4-Voice 呈现负易感加远低于随机的控制，属于不稳定剖面。这些反例说明，不能把易感排名直接读成感知能力榜。

哪些结论不能由这张表推出？首先，不能推出语言先验驱动对齐的因果机制，符号反转只是相关性证据，缺乏干预性实验；其次，不能推出规模决定论，同规模模型横跨整个易感区间；最后，不能外推到一般听众，因为人类参照来自特殊的绝对音感群体，且合成刺激与真实场景仍有距离。

换一句问法，模型的耳朵就变了吗？

论文用 3 组检查点的复测回答了一个尖锐问题：易感性是检查点固有属性，还是模型加提示词的联合属性？统一条件是同一批音频、同一评分管线，只改精炼后的提示措辞。结果显示，Qwen2-Audio-Instruct 的物理易感指数从负 0 点 5 四一跌至负一，物理控制升至满分，平均易感从负 0 点 7 跌至负 0 点 8 九六，波动幅度超过多数模型间差异。

相比之下，Qwen-Audio-Chat 在两种措辞下物理易感仅从负 0 点 6 变为 0 点 8，变化轻微；Pengi 的物理人类相似准确率从零升至 0 点 4，但控制始终极低且不可解析率高。这种异质性说明，指令微调模型的听感在很大程度上是被问法塑造的，而非内在听觉的稳定表达。

这个发现对工程选型是当头棒喝。如果只报告单一措辞下的排名，很可能只是在比较谁的提示词更讨巧。后续基准需要系统报告措辞鲁棒性，把提示词敏感性当成方差来源而非脚注。对认知科学而言，它也划清了界限：当前对齐更可能来自高层语言先验而非共享的低层听觉处理，因为低层处理本不该被一句话彻底改写。

这套基准的边界在哪里？

作者承认的局限首先是分类的柔性。物理与物理加知识反映主导贡献而非严格 2 分，模糊案例按主导归类，这为解释留了余地，也为争议留了接口。其次，双耳与空间听觉类错觉因超出当前模型表征能力被排除，基准覆盖的只是可被耳机呈现、可被现有模型输入的那部分听觉。

审稿视角的潜在问题更值得初学者细品。人类基线只靠 20 名绝对音感听者，可能高估音高类错觉的稳定性，多数投票还掩盖了个体差异；控制准确率普遍在随机线附近，意味着高易感难辨真假；不可解析直接剔除会美化指令跟随差的模型；合成刺激与自然经验的差距未被量化。这些都不是致命伤，但决定了结论的外推半径。

还有一个方法论提醒：易感指数加控制的双指标设计逻辑自洽，却没有给出统计不确定性。同样的模型多跑几次、多换几种措辞，区间会有多宽？论文用个案展示了波动可达 0 点 6，却未系统报告置信区间。把这套基准当成诊断谱而非排行榜，才是它最健康的使用方式。

想复现这项工作，需要准备什么？

复现这条管线需要三样材料：刺激生成代码与参数、人类基线数据、评测脚本与提示词原文。论文给出代码仓库地址指向生成与评测实现，数据集包含全量一万四千余样本与迷你子集，获取方式为访问该仓库。人类实验条件披露了人数、绝对音感要求、随机呈现、无反馈、网页界面与耳机要求，但未提及伦理审查编号与报酬信息。

模型侧需要准备十余个检查点，规模从三亿到九十亿不等，外加专有基线。由于解码温度、束搜索等推理细节未说明，建议复现时固定贪婪解码并记录种子，同时保留不可解析率作为独立指标，而不是简单剔除后只报准确率。提示词必须同时跑原始与精炼两版，否则无法复现波动最大的发现。

硬件与预算方面，论文未披露训练与推理成本，因为没有训练阶段，成本主要在批量推理与人工听音组织上。对实验室而言，迷你子集的一千五百余条样本是低成本验证的起点，全量评测则需考虑音频输入的时长与并发开销。资源可达性在校验时曾出现暂时不可达，实际使用前需确认仓库有效性。

我们该想要会听错的机器吗？

回到最初的问题：听错了才是听懂了，这句话只对了一半。在人机交互中，高易感可能意味着更自然、更共情的伙伴，它能听出言外之意的停顿与弦外之音；在安全关键与精密测量中，低易感反而是美德，我们要的是忠于分贝与赫兹的仪器。基准的价值正在于把模型摆在这条光谱上，而不是颁发唯一的冠军。

对研究生而言，这篇工作的可学之处不只是 10 种错觉的名单，而是一种提问方式：当客观正确与主观对齐冲突时，如何设计对照、如何定义差值指标、如何用失败项约束解释。它把视觉错觉基准的思想迁移到听觉，又用参数化生成与同题对照补上了音频特有的控制。

未来的路也很清晰：扩大错觉覆盖、强化人类基线的代表性、探索推理导向训练能否在不牺牲控制的前提下提升类人性。在那之前，最稳妥的判断是：当前大音频模型仍是早期的、不稳定的听者，它们有时像人，有时像仪器，有时两者都不像，而这套基准第 1 次让我们能清晰地说出它们在何时像谁。

⚖️ 评分依据与证据（展开查看）

← 返回 2026-09-03 语音/音乐/音频论文速递