高分不等于听见：文本先验与局部音频线索如何抬高音频语言评测

英文题目：All That Glitters Is Not Audio: Rethinking Text Priors and Audio Reliance in Audio-Language Evaluation

会议身份：conference:interspeech:2026:conference-paper-id:foo26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#评测协议 #音频大模型 #模型评估 #音频问答

评分：7.1/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Leonardo Haw-Yang Foo：机构信息未能从会议 PDF 纯文本可靠映射
• Chih-Kai Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Chen-An Li：机构信息未能从会议 PDF 纯文本可靠映射
• Ke-Han Lu：机构信息未能从会议 PDF 纯文本可靠映射
• Hung-yi Lee：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

大型音频语言模型（Large Audio-Language Models，LALMs）的评测输入为音频片段加文本选择题，输出为选项或开放回答，难点是高分可能来自语言先验而非听觉感知。本文提出双轴诊断，先以文本骨干（Text Backbone，TB）、去音频（None）与全音频（Full）对照分离文本先验，再将音频切分为N等长片段独立作答并计算保持率（Retention Rate，RN）以检验全局依赖，最后按三条件正确性将题目划入5类以支撑后续细粒度分析。与用30秒静音替代无音频的前人做法不同，该框架完全移除音频输入以避免静音干扰，并用片段充分（Fragment-Sufficient，FS）与跨片段（Cross-Segment，XS）类别区分局部线索与整体理解。在MMAU语音任务评测下，Full条件的准确率为67.2%，高于None条件的准确率39.5%，且音频依赖题目中仅3.0%至4.2%需要完整音频。该结论适用于当前以短时问答为主的MMAU系列基准，对长时叙事与交互式听觉推理的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么分数会骗人？

这篇解读的输入是论文原文提供的 3 基准 8 模型对照证据与两张官方原图像素，目标是让刚进入语音音乐音频方向的研究生能复述诊断方法并自己重跑对照，必须保留的信息包括无音频条件如何构造、分片如何切分、文本先验率与保留率如何计算、题目如何分成 5 类，以及关键范围数字与适用条件，输出是一套可核对的中文技术解读。论文研究的任务不是训练新的音频语言模型，而是审计现有评测是否真的测到了听觉理解。

输入是一个音频片段加一道文字选择题或开放问答题，目标是模型必须结合声音内容作答。初学者容易误以为满音频分数越高听觉能力越强，但论文指出存在两条捷径。第一条是文字先验，也就是不听声音只看题干与选项加常识就能猜对，例如拟声词直接暗示声源的题目。第二条是局部线索，也就是全片很长但答案只藏在一个短片段里，模型只听到局部即得分。

教学例子是拟声词题目，明确标为例子，不代表所有题目都有同样明显的文字暗示，它的作用是说明文字信息本身可以携带答案分布。理解这两条捷径后，才能明白论文为何要同时设置无音频对照与分片对照，而不是只报告标准满音频准确率。

同类评测与捷径研究处在什么位置？

在输入输出与运行阶段相同的条件下，语音与音频评测已有大量基准，例如覆盖声音音乐语音的大规模多任务理解基准、强调认知分层与多模态组合的推理基准，以及包含选择开放与指令跟随的综合基准。论文选择其中 3 个公开基准作为审计对象，原因是有源证据显示它们被广泛用来论证听觉理解进步，且题型覆盖选择与开放问答。

与自然语言推理中只看假设即得高分的假设偏置研究相比，音频领域的文字先验问题类似，都是标注分布与语言常识泄露了答案。与视觉问答中只看问题不看图像仍能答对的语言先验研究相比，音频同样可能出现不接地到声音证据即得分的情况。区别在于此前音频领域多用静音替换音频来近似无文字行为，论文明确指出静音本身会独立干扰模型输出，不是干净的文字条件，因此本研究改为完全省略音频输入。

这一改动不是修辞选择，而是为了避免把静音带来的扰动误读为声音的贡献。相关工作的对照意义在于，论文不否认满音频分数有进步，而是追问进步中有多少来自声音，有多少来自文字与局部相关性。

要回答的具体问题是什么？

论文把模糊的担忧拆成两个可测量的问题。第一个问题是文字先验有多强，也就是在完全不给音频时，模型能保留多少满音频准确率。如果去掉声音后仍保留六至 70%，说明基准分数在很大程度上可用文字信息复现。第二个问题是音频依赖有多深，也就是在只给等长局部片段时，性能保留多少，以及在确实需要音频的题目中，有多少必须听到全片跨片段信息才能答对。

如果短片段已能恢复大部分增益，且跨片段题目只占音频需求项的百分之几，说明基准更多要求局部线索而非整体理解。两个问题共用同一批题目与同一评分器，保证比较条件一致。指标方向很明确，无音频保留率越高表示文字先验越强，分片保留率越高表示对全局上下文依赖越弱，跨片段占比越低表示需要 holistic 理解的题目越少。论文不承诺降低延迟或训练成本，也不测量误判率随阈值的变化，只讨论评测有效性。

初学者要记住数值相同不等于指标相同，满音频准确率、无音频准确率、分片平均准确率与保留率是不同聚合对象，不能直接相减或混排。

诊断框架把一次评测拆成哪些对照？

沿一个样本走一遍最清楚。输入是一段完整音频与一道文字题，模型在满音频条件下同时看到两者并给出答案，这是标准评测路径。然后同一道题去掉音频输入，只给文字题，让同一个大音频语言模型作答，这是无音频条件。同时用该模型的原始文字骨干模型只看文字题作答，这是纯文字基线。3 条路径的输出都用同一混合评分器判定对错，再在数据集层面聚合成准确率。

接着把同一段音频按时长切成数量为二到五的等长连续片段，每个片段单独配同一文字题独立作答，记录每个片段是否答对，再平均得到分片准确率并除以满音频准确率得到保留率。最后在题目层面比较满音频、无音频与分片 3 组对错，把每题归入文字可解、片段充分、跨片段、音频有害与不可解 5 类中的一类。这 1 流程覆盖了从输入构造到表示调用再到目标判定的完整链路，但不包含任何新模型训练。

它的新增作用是把原来单一的满音频分数展开成文字贡献与声音贡献，以及局部声音与全局声音的 2 维证据。

两个诊断轴与五分类如何分工？

文字先验轴的白话含义是题目在多大程度上不用听就能做对，对应英文为 text prior。音频依赖轴的白话含义是模型做对到底用了多长声音，对应英文为 audio reliance。前者通过比较文字骨干、无音频与满音频三者准确率实现，后者通过比较满音频与不同粒度分片的保留率以及题目分类实现。无音频条件的白话含义是把声音输入整个拿掉，满音频条件的白话含义是给完整声音加文字题，二者必须同模型同题同评分，否则差值没有意义。

片段充分的白话含义是至少有一个局部片段已足够答对，跨片段的白话含义是所有单个片段都不够、必须全片信息才行，二者共同构成音频需求项的子集。文本骨干模型的白话含义是多模态训练之前的原始大语言模型，大音频语言模型的白话含义是接入声音后的版本，对比它们可以看出多模态训练是削弱还是增强了文字捷径。保留率的白话含义是部分音频下保留了多少满音频水平，满音频准确率是归一化分母，二者相除消除了绝对能力差异。

文本先验 × 音频依赖： 文本先验负责刻画只给文字问题时模型仍能答对的比例，音频依赖负责刻画必须听到声音信号才能答对以及需要多长声音的程度，二者搭配的原因是只看满音频分数无法区分文字捷径与听觉推理，组合后才能把分数拆成文字可解、片段可解与必须听完全局三部分。

无音频条件 × 满音频条件： 无音频条件负责给出多模态模型在完全去掉声音输入后的文字行为，满音频条件负责给出同时听到完整声音与文字时的标准行为，二者搭配的原因是只有同模型同问题同评分下对比才能算出文本先验率，组合意义在于把提升归因到声音增量而非模型本身变强。

片段充分 × 跨片段： 片段充分负责标记音频需求项中任一局部等长分片已能答对的情况，跨片段负责标记没有任何单个分片能答对、必须依赖全片分布信息的情况，二者搭配的原因是只报告平均保留率看不出信息是局部还是全局，组合后才能判断基准是否真的要求整体听觉理解。

文本骨干模型 × 大音频语言模型： 文本骨干模型负责提供多模态训练之前的纯文字推理基线，大音频语言模型负责在无音频与满音频条件下接受同一文字问题的对照测试，二者搭配的原因是要区分文字能力本来就强还是多模态训练强化了文字捷径，组合意义在于解释为何多数模型的无音频准确率反而高于其骨干模型。

保留率 × 满音频准确率： 满音频准确率负责作为分母给出完整声音下的总体水平，保留率负责把部分音频或无音频下的平均分片准确率归一化到该分母，二者搭配的原因是不同模型与基准的绝对分数不可比，组合后才能用接近 1 表示局部信息已足够、明显偏低表示需要全局上下文。

五分类是互斥且完备的，同一基准内 5 类题目数之和等于总题数。文字可解要求满音频与无音频都对，音频需求要求满音频对而无音频错，片段充分与跨片段进一步划分音频需求，音频有害指无音频对而满音频错，提示声音起到了干扰作用，不可解指两者都错。这种划分让研究者能定位该修题目还是该修模型。

本研究训练了什么，没有训练什么？

本研究没有训练任何新的大音频语言模型，也没有更新任何语音编码器、适配器或语言模型参数，因此不存在梯度路径、优化器状态、冻结与更新划分、监督损失或检查点重置需要交代的训练阶段。缺项需要明确指出，原文未报告任何训练超参数、数据配比或计算预算，不能从模型名称推定其训练实现。实际计算过程全部是调用与评估。

首先调用 8 个已有大音频语言模型及其对应的文字骨干模型，模型规模从数十亿到数百亿参数不等，包含指令模式与思考模式两种运行方式，解码除思考模式按推荐温度外其余采用贪心解码。其次调用混合评分器，先用正则表达式抽取选项字母，抽取失败再调用语言模型判分，开放问答与指令跟随沿用原基准的判分规则。再次执行分片推理，把每段音频按时长等分为 2 到 5 个连续片段，逐片段独立推理并记录对错，再按公式聚合成保留率。

整个过程的成本是推理调用量随分片数线性增加，但原文未给出硬件型号与耗时，因此不能承诺复现所需时间，只能提示分片评估是主要开销来源。

数据、模型与评分条件如何对齐？

数据方面，论文使用 3 个公开音频语言基准，分别覆盖声音音乐语音的大规模选择题、按认知层与模态组合组织的推理选择题，以及包含选择开放问答与指令跟随的综合基准。其中一个基准使用 1000 题测试子集，另一个包含 1000 题规模，第 3 个包含数 1000 题并区分选择开放与指令跟随。划分与采样按原文交代采用官方测试划分与等长分片，不自行构造新划分。模型方面，共评估 8 个大音频语言模型，每个模型配对其原始文字骨干模型，保证文字能力对照可追溯。

实验阶段分为满音频、无音频、文字骨干与分片 4 种条件，同一题目在不同条件下使用同一文字提示。指标方面，选择题采用混合评分器，原因是人工标注的格式敏感案例显示语言模型判分与人工一致率远高于字符串匹配，开放与指令跟随沿用原基准判分。聚合对象是数据集准确率与题目占比，保留率是分片平均准确率除以满音频准确率。统计方法按原文为模型平均与基准平均，未报告置信区间与显著性检验。硬件预算未报告，这是明确缺项。

公平条件是同题同提示同评分器，指标方向是准确率越高越好，保留率越高表示局部信息越充分。

无音频与短片段各保留了多少性能？

比较的核心问题是去掉声音后分数掉多少，以及把声音切短后分数掉多少，公平条件是同模型同题同评分，指标方向是保留率越高说明对完整声音依赖越弱。下表整理论文直接报告的总体保留范围，它回答了文字先验是否普遍存在的问题，不能替代每个模型在每个基准上的具体准确率，阅读时应把范围理解为跨模型跨基准的总体趋势而非每组都成立。

表前已提出比较问题与公平条件，表后需要解释收益与代价。表中最主要的判断是无音频仍能保留六至 70% 满音频水平，支持基准分数被文字先验大幅抬高的结论。具体代价是满音频提升不能直接解读为听觉进步，因为很大一部分增益在无声音时已存在。未胜出项是部分模型的无音频准确率低于其文字骨干，说明多模态训练不总是增强文字捷径，需要逐模型核对而非一概而论。

以下导读针对保留率随分片数变化的官方原图，同一小节内形成导读与解释闭环，重点看分片变短时曲线是否缓慢下降以及无音频点的落差。

看图路径： 1. 先确认三块面板分别为 MMAU、MMAR 与 MMAU-Pro，横轴为分片数 2 到 5 与 None，纵轴为保留率百分比；2. 再沿每条模型折线从左向右看随分片变短保留率是否缓慢下降；3. 最后对比最右端 None 点与分片点的落差，判断声音增量中有多少可被短片段恢复

论文图 1。原论文 Figure 2：“Retention rate (%) across three benchmarks for eight models. Higher retention indicates greater reliance on informa- tion preserved in short audio fragments.”。

该图显示 3 个基准中随分片数从二增加到五，多数模型折线缓慢下移，但即使在较短片段下保留率仍处高位，而最右端无音频点明显低于分片点。这支持论文的有限解释，也就是声音相对文字确有增量，但增量中大部分可被短片段恢复。像素不能精确辨别的单点数值不硬写，以原文的总体趋势为准。结合此前无音频保留六至 70% 的证据，可以判断当前基准测量的是文字先验加局部音频线索的混合物，而不是稳健的整体听觉理解。

题目分类与任务细分揭示了什么边界？

这一节按论文特有细节展开两类分析，一是题目层面的五分类分布，二是按任务类别的满音频与无音频差距。下表整理音频需求与跨片段依赖的范围，回答的是需要声音的题目占多少以及其中多少真正需要全片信息，公平条件是同题 3 条件对错比较，指标方向是占比越高表示对声音或全局信息依赖越强。

表后解释主要收益与反例。收益是分类把文字可解与片段充分显式分离，让基准设计者知道该优先重写哪类题目。代价与反例是音频有害与不可解题目同时存在，前者表示声音有时起干扰作用，后者表示模型能力边界，删除不利类别会高估诊断效果，因此必须保留全部分布。未评测边界是分片为等长切分，未按语义事件切分，可能低估真正的全局推理需求，这是待验证的局限。任务细分显示指令跟随差距最大但占比很小，语音任务比声音音乐更依赖音频，开放问答甚至出现无音频略好的情况，提示强文字先验下声音可能成为干扰项。

以下导读针对模型平均堆叠分布官方原图，重点读每条横条上标注的百分比与极窄的跨片段段。

看图路径： 1. 先确认横轴为模型平均题目占比百分比，纵轴为三个基准，三色堆叠段分别对应文字可解与片段充分等类别；2. 再读每条横条上标注的文字可解、片段充分、音频有害与不可解的具体百分比；3. 最后对比跨片段细条的宽度，判断需要全片信息的题目是否始终是极少数

论文图 2。原论文 Figure 3：“Model-averaged stacked distribution of item cate- gories across the three benchmarks.”。

该图显示 3 个基准的文字可解段均占约 20% 以上，片段充分段次之，跨片段细条几乎难以用肉眼分辨，不可解段在综合基准中占比最高。这支持只有极少数音频需求项真正需要跨片段信息的判断。总体趋势不等于每模型都相同，原文同时给出跨模型极小值到极大值的区间，复现时应报告分布而非只报均值。

哪些结论不能推广，哪些证据还缺？

论文直接报告的是 3 个基准与 8 模型在特定评分器下的行为，支持文字先验强与全局依赖弱的判断，可能但待验证的是该结论能否推广到其他音频任务、更长音频或语义切分下的评估。缺失证据不是技术错误，但必须明确。原文未测量误判率随阈值变化、推理延迟、分片推理的额外成本与人工听觉基线，因此不能承诺诊断框架能降低成本或提升用户体验。

等长分片是工程近似，不是语义事件分割，局部片段恰好命中答案事件的概率与音频长度分布有关，原文未给出事件级对齐分析。评分器本身依赖语言模型判分，虽然在百余例格式敏感案例上与人工一致率较高，但判分模型可能引入新的文字偏好，这一循环依赖未被完全排除。跨片段定义要求所有单个片段都不对，只要有一个片段猜对即归为片段充分，这对猜测行为敏感，随机猜对会低估全局需求。

相关性不是因果，无音频表现好只能说明题目可用文字解决，不能证明模型在满音频时没有听声音，需要结合分片与分类证据联合解读。

要复现诊断需要先做什么？

复现先做三件事。第一，按原文条件重建 4 种推理调用，分别是满音频、完全省略音频输入、原始文字骨干只看文字，以及把每段音频按时长等分为 2 到 5 个连续片段后逐片段独立推理，同一题目在所有条件下使用相同文字提示。第二，固定评分器，先用正则抽取选项，失败再用同一语言模型判分，温度设为零以减少随机性，开放与指令跟随沿用原基准规则，并记录正则失败率以评估判分器影响。

第三，按题目对齐 3 组对错，先算文字骨干、无音频与满音频准确率及无音频除以满音频的文本先验率，再算分片平均准确率除以满音频准确率的保留率，最后按满音频、无音频与是否存在答对片段归入 5 类并核对总数。何时值得尝试是当你怀疑新基准分数虚高或想证明模型改进来自听觉而非文字时。还需补的验证包括语义事件切分下的保留率、人工可听性基线，以及更换判分器后的稳定性。

资源状态是正文开源声明的唯一依据，本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码模型或数据已公开，复现应以论文文字描述为准。

今天的评测应该怎么改？

综合所有证据，当前基准的高分更多反映文字先验与局部线索的混合，而非稳健的整体听觉理解。对基准设计者的实践建议是测量并报告文字先验，剔除或重写无音频即能答对的题目，并用保留率衡量对声音信号的依赖，为强调整体理解的任务设计必须跨片段才能解决的题目。对模型开发者的建议是同时报告有无音频的性能，验证提升来自听觉推理而非文字捷径，尤其注意开放问答中声音可能成为干扰项的情况。

对初学者的提醒是不要把满音频准确率直接等同于听见，不要把保留率曲线的缓慢下降误读为模型完全没有用声音，也不要把末端无音频点的数值推广到所有任务。论文特有的误解在于静音替换不等于无音频，前者会独立干扰输出，后者才是干净的文字对照。记住诊断框架的 3 个组件是文字先验轴、音频依赖轴与题目分解，三者缺一不可，只有联合使用才能回答分数中有多少来自文字、有多少来自局部声音、有多少真正需要全局听觉。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总