当文字和声音打架时，音频大模型听谁的

📄 当文字和声音打架时，音频大模型听谁的

英文题目：Text Dominance in Paralinguistic Conflict: Tracing Suppression Through Audio LLM Circuits

评分：6.3/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

👥 作者与机构

• Ankur Banerjee：机构信息未能从 arXiv PDF 文本可靠映射
• Vishnu Guntakala：机构信息未能从 arXiv PDF 文本可靠映射
• Danity Pike：机构信息未能从 arXiv PDF 文本可靠映射
• Advay Roongta：机构信息未能从 arXiv PDF 文本可靠映射
• Kevin Yang：机构信息未能从 arXiv PDF 文本可靠映射
• Ruizhe Li：机构信息未能从 arXiv PDF 文本可靠映射

📌 核心摘要

读者需要理解的对象是音频大模型在文字与声音矛盾时更相信哪一路证据，困难在于跟随文字可能来自听不见，也可能来自听见了却不用，处理要求先筛查音频单模态能力，再定位信息保留位置与使用路径，最后做定向干预。论文构建3594条副语言冲突基准，覆盖情感韵律、说话人身份与讽刺语速，让文本声称与真实音频矛盾。机理部分选文本主导最强且通过筛查的Qwen2-Audio-7B-Instruct，用线性探针检验说话人性别等信息是否可线性解码，用归因补丁估计文本与音频通路贡献，再试回贴增强音频与注意力阻断削弱文本。相对已有词汇冲突研究的关键差异是音频增强无效而文本中继阻断有效，意义是把修复目标从提高音频显著性转向切断文本在中间token的反复转写。在LISTEN式冲突条件不匹配条目上，六个音频大模型的平均文本主导率为0.78，排除讽刺后该指标高于包含时为0.86。在自由生成评测设置下，中间层阻断文本声称的生成文本主导率gen-TDR低于基线，韵律从1.000降到0.375，身份从1.000降到0.433，匹配条目能力基本保留。结论只适用于通过音频单模态筛查的模型与所测两类冲突，不适用于封闭式多选评分与讽刺类未定标签。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么只看转写文字是不够的

音频大模型的输入是两路：一路是原始语音波形经过音频编码器和投影器后变成的音频 token，另一路是文字指令和随附的文字描述。目标是在回答情感、说话人身份、讽刺等问题时，同时利用字面内容和声音里才有的线索。必须保留的信息恰恰是转写会丢掉的部分：语调、音高、强度、节奏、重音，以及音色所携带的性别年龄等说话人特征。

论文举的例子很具体：危机热线来电者嘴上说一切都好，声音却透露异常；笔录声称是男性，声音却是女性，这直接关系到欺诈检测；顾客的讽刺只存在于语气里；抑郁和创伤筛查同样依赖声音情感。在这些任务里，非文字信号会修正甚至推翻字面意思，如果模型只跟文字走，处理原始音频的核心优势就不存在了。

对刚入门的读者，关键是分清两种失败：一种是编码器根本没把副语言信息送进语言模型，另一种是信息送到了但决策时被文字压制。本文的全部机制分析都围绕区分这两者展开，而且只在模型能从纯音频答对的任务上谈压制，避免把听不见误判为压制。

已有路线只做到哪一步

第一条路线是行为测量。LISTEN 把词义信息和声音信息拆成中性、匹配、失配和纯副语言等条件，发现 6 个模型普遍更信词义，冲突时常退回中性解读。MCR-Bench 用对抗性文字描述考验声音分类，PARSA-Bench 在波斯语上发现纯文本基线反而超过音频模型，说明依赖文字不只限于英语。ALME 则比较跨语言的音频文本冲突，发现音频文本冲突的文本主导率远高于文本与文本冲突。这些工作都只报告跟从文字的比例，没有定位内部组件。

第二条路线是词义冲突的机制解释。Cho 等人发现文本和音频在早期走不同通路、后期汇合，且文本分支是抑制而非替换音频表征，并提出回贴这种免训练修复：把后层激活送回前层再处理一次。推理时转向注意力的 PASTA、沿探测方向平移激活、对比解码等方法，则都是在纯文本流内解决上下文与参数知识冲突。它们都不需要经过音频编码器和投影器。

本文要补的缺口正在这里：当冲突信息由韵律、情感和说话人身份携带，必须先过编码器再进残差流时，原来那套电路和修复是否还适用，负责压制的组件在哪里，一种干预有效而另一种无效的原因是什么。

本文要解决的具体冲突是什么

论文自建了 3594 个样本的副语言冲突基准，分 3 类。情感韵律冲突例如欢快字面配愤怒声调；说话人身份冲突例如笔录声称成年男性配成年女性声音；讽刺节奏冲突例如诚恳笔录配明显讽刺语气。数据来自已有标注语音库，用 MUStARD++ 提供的标签和 RAVDESS 文件名中编码的情感信息构造，提示模板区分了中性文本、类别匹配、类别失配和纯副语言 4 种条件。

文本主导 × 副语言冲突： 文本主导指模型在文字与音频矛盾时跟从文字作答的倾向，副语言冲突指矛盾信息不在字面语义而在韵律、情感、说话人身份或讽刺语气中，二者搭配才能区分是没听见还是听见了却不用。

测量的核心量是失配项上的文本主导率，即文字加音频矛盾时模型回答跟从错误文字主张的比例。6 个模型在可做模态分离计分的单元格上平均为 0.78，去掉讽刺类后为 0.86。机制部分只聚焦通过能力筛选的模型中最偏向文字的 Qwen2-Audio-7B-Instruct，追问压制发生在感知阶段还是决策路由阶段。

四步诊断的总体流程

作者把诊断排成固定顺序。第一步用线性探测检验副语言信息从音频编码器各层到投影器输出是否保留，权重冻结，只看信息是否线性可解码。第二步用归因补丁估计冲突决策时模型依赖音频和文字信号的位置，并做忠实度检查，看得分最高的组件能否单独复现完整模型行为。第三步试增强音频通路：回贴和直接放大音频跨度，看能否把音频权重抬到压过文字。第四步反过来试削弱文字：用注意力阻断切断答案位置或全部下游位置对虚假文字主张的注意。

这个顺序是有理由的：只有先证明信息存在，才能把高文本主导率解读为压制；先定位再干预，才能判断干预打在被定位的通路上。每种干预都在多选和开放生成两种评测下检验，并配匹配项和纯文本对照，区分真正修复与把模型搞坏导致的假改善。

需要提醒的是，机制结论主要来自一个模型和两个冲突类别，讽刺类因纯音频标签不够确定而被排除在机制分析之外，非 Whisper 编码器的模型也没有做机制实验。

信息还在吗：线性探测怎么做

沿着一个说话人身份样本走一遍：女性声音进入 Whisper 系编码器，逐层变换后经投影器变成语言模型输入空间的向量，再与文字主张成年男性拼接。线性探测就在编码器每一层和投影器输出处取激活，训练一个不更新原模型权重的线性分类器预测说话人性别，看准确率。

线性探测 × 归因补丁： 线性探测只在冻结的表征上训练简单分类器，检验副语言信息是否还在线性可分地保留；归因补丁用梯度近似估计每个组件对冲突决策的因果贡献，二者分工是先确认信息存在，再定位模型实际用了哪条通路。

结果是性别从编码器第 13 层起恢复准确率达到 1.000，到投影器输出仍保持线性可解码，作者称之为天花板水平，且与该模型家族性别接近天花板的已有基准一致。这意味着声学证据已经送到语言模型门口，观察到的跟从文字不是因为没听见或没编码好。作者也明确该结论的边界：探测只对筛选过的模型和性别这类易解码属性成立，不能推广到所有副语言线索。

谁在起作用：归因与两种干预的含义

归因补丁是对全量激活补丁的梯度近似，不用逐个组件跑一次前向，而是估计替换某个组件激活会多大改变输出。论文报告文字贡献为 3.29，音频贡献为 0.18，比例约 18 比 1，且取归因得分前 20% 的组件即可 100% 复现原模型行为，通过忠实度检查。音频影响在第 9 层附近见顶，到后层衰减到很低，这为后面选回贴源层提供了依据。

回贴 × 注意力阻断： 回贴指把后层音频跨度的隐状态写回前层，试图增强音频通路；注意力阻断指禁止某些位置 attending 到虚假文字主张，试图削弱文字通路，二者分别对应增强音频与抑制文字两种修复假设。

回贴的具体操作是把解码器 31 或 32 层音频 token 跨度的隐状态写进第 0 层等早期层，再从该点重新运行，想法是让模型多一次处理音频证据的机会。直接放大则是把音频跨度按 1.5 倍、2 倍、3 倍、5 倍原地缩放。注意力阻断则相反，把特定 token 位置到虚假主张跨度的注意力权重设为零，阻止主张信息经注意力传播。只封答案位置和封主张之后所有位置，是两种不同的路由假设。

本文训练了什么，没有训练什么

本文没有训练或微调任何音频大模型，也没有更新编码器、投影器或语言模型的权重。6 个被测模型都是直接拿来推理，精度固定为 16 位，以避免精度混淆准确率和文本主导率测量。唯一的拟合发生在诊断工具层面：线性探测在冻结激活上训练线性分类器，归因补丁计算梯度近似，干预都是推理时改写激活或注意力。

因此不存在优化器、学习率、梯度回传路径和权重重置需要报告的问题。复现时关键是保持提示格式、音频截断方式、层编号起点和多选计分规则一致，因为回贴这类按层号固定的干预对这些细节敏感。论文也没有报告训练成本，推理开销只体现在干预需要重跑和逐步生成时重复施加阻断上。

模型、条件与统计规则

行为部分测 6 个模型，覆盖两种编码器家族。四款用 Whisper 系编码器：Qwen2-Audio、SALMONN、DeSTA2.5 和 30,000,000,000 参数的 Audex，后者用来看大尺寸是否仍有文本主导；两款用非 Whisper 编码器：Phi-4-multimodal 用定制卷积 conformer 编码器，Baichuan-Omni-1.5 用残差向量量化音频 tokenizer，后者语言模型主干与 Qwen2-Audio 同为 Qwen2.5-7B，但比较的是编码器而非主干。行为图还展示了 AZeros，仅作完整性补充，不计入 6 模型统计比较。

条件上每个类别都有中性文本、类别匹配、类别失配和纯副语言 4 种。能力筛选要求纯音频条件下超过随机，否则高文本主导率可能只是没有可用声学表征。Baichuan 在情感韵律纯音频得 0.099，低于 0.125 的随机水平，被排除在该类之外；SALMONN 在说话人身份上用选项对数概率计分得 0.453，低于 0.500 而被排除，尽管其行为计分因排除不可解析回答而显示为 0.600。作者强调筛选测的是在给定提示格式下能否从音频答对，不能区分听不见与不会按格式作答。

统计上先用 Cochran Q 对 6 模型文本主导率做总检验，情感韵律 Q 为 201.04，说话人身份 Q 为 218.09，讽刺节奏 Q 为 345.00，自由度均为 5，样本量分别为 304、331、369，p 均小于 10 的负 40 次方；再用 McNemar 配对检验做 15 组两两比较并经 Holm-Bonferroni 校正。作者特别指出，说话人身份上除 SALMONN 外 5 模型统计不可区分，8 个点的原始差距不应读作模型排名。

行为结果：跟从文字有多普遍

在失配的文字加音频项上，6 模型平均文本主导率为 0.78，去掉讽刺类后为 0.86。分模型看，情感韵律上 Audex 和 Qwen2-Audio 高达 98.7%，DeSTA2.5 相对最低为 68.8%；说话人身份上 DeSTA2.5 反而高达 98.5%，SALMONN 最低为 70.7%；讽刺节奏整体低很多，Phi-4-multimodal 的 65.3% 已是最高，DeSTA2.5 仅 20.9%。这说明文本主导普遍但幅度随类别变化，讽刺类不能与前两类同等看待。

纯音频能力对照显示，情感韵律纯音频准确率普遍不高，Qwen2-Audio 为 54.1%，Baichuan 仅 9.9%；说话人身份纯音频则多在 90% 以上，Qwen2-Audio 为 98.7%。加上文字后，失配条件准确率大幅掉落，例如 Qwen2-Audio 情感韵律匹配时 100.0%，失配时 33.0%，说话人身份匹配时 100.0%，失配时 38.4%。这正是需要机制解释的现象：纯音频能做对，加上虚假文字就被带偏。

该结论成立的条件很明确：使用模态分离计分、完整样本剔除不可解析回答、SALMONN 因计分口径不同被排除在均值之外。换计分或把纯文本项混入都会抬高文本主导率，因此跨表比较时必须核对分母。

增强音频为什么没有修好

在 Qwen2-Audio 上，增强音频通路的尝试都没有可测量的修复。回贴把后层音频状态写回早期层的扫描显示，最好的源层是第 16 层，相对基线负 7.32 nat 只挽回 0.511 nat，约 7% 的差距；更后层的源反而使边界比基线低 0.381 nat。把目标窗口从宽度 1 扩到 3、5、7 没有帮助，直接把音频跨度放大到 5 倍时能力从 1.000 掉到 0.100，决策边界变得不可定义，按范数重缩放注入向量也没有改善。附录在无截断音频上的扫描同样没有配置能闭合超过 12% 的差距。

关键在于回贴在它原本的词义任务上也没有复现。为此作者用 TTS 重合成了 ALME 的词义冲突任务，按发表的层配置对 4 种英文翻转类型各跑 75 个样本，共 300 个。以下表格的比较问题是：在原作者音频被替换为不同 TTS 的条件下，按层号固定的回贴能否复现发表的增益。指标是音频一致准确率，方向是越高越好，基线与干预配对比较。

汇总的配对 95% 区间为负 0.027 到正 0.040，26 个样本改变结果，其中 14 个修好 12 个修坏，McNemar 精确 p 为 0.845，而原论文报告为正 0.160。作者没有把这读作推翻原结果，而是指出发表配置是在原作者音频上按翻转类型调好的，换 TTS 后层号固定的干预很可能失配，应理解为配置敏感。正因在词义任务上没有可用的阳性对照，回贴在副语言冲突上的零结果被定为无信息，不能用来推断两类机制是否相同。有分量的音频侧证据是探测和放大：信息在线性可解码层面完好，而单纯提高音频显著性只会压垮能力，不改变跟从文字的决策。

切断文字中转为什么只在自由生成中有效

先看只封答案位置的假设：如果虚假主张只通过主张到答案的一条直接边起作用，封住它就该修好。实测在多选设置下没有效果，情感韵律准确率从 0.000 到 0.000，说话人身份从 0.067 到 0.083，文本主导率基本不动。作者的解释是主张在早期就被拷贝进问题和选项 token，到作答时答案位置读的是这些中间 token，而不再是主张本身。

于是比较问题变成：封住答案位置与封住主张之后所有位置，效果是否不同。以下表格在封闭式计分下比较被阻断的位置，指标是音频一致准确率，越高越好，同时报告决策边界变化和匹配项能力。

封住主张之后所有位置把情感韵律从 0.000 提到 0.533，说话人身份从 0.067 提到 0.717，对应文本主导率从 0.983 降到 0.150 和从 0.933 降到 0.283，但能力分别掉到 0.367 和 0.800。这说明起作用的不是动了哪几层，而是封了哪些位置：多选只动最后答案位置，自由生成则对每个新生成 token 都重新施加阻断，切断整条中继链。

自由生成 × 封闭式多选： 封闭式多选只在固定答案位置读出选项，自由生成则逐个产生新 token 且每步都可转述前文，二者搭配揭示了文字主张靠中间 token 逐级中转，只有在生成全程阻断才能切断中继。

在自由生成下按层带阻断看，中层 10 到 21 层把生成文本主导率从 1.00 降到 0.38 左右，情感韵律命名真相比例从 0.000 升到 0.500，说话人身份升到 0.567；只封后层则生成文本主导率仍为 1.000。作者因此把机制定位为中间中继：主张影响分布在中间位置并在每步生成中重建，而不是经单条可切断的边传递。这也解释了为什么依赖封闭式多选的基准会系统性看不见这类干预。

怎么排除只是把模型搞坏了

一个自然的怀疑是中层阻断只是整体损伤处理，碰巧让模型不跟文字。匹配项对照否定了这一点：阻断下匹配项准确率不降反升，韵律从 0.767 升到 0.900，身份从 0.933 升到 1.000；纯文本无音频时韵律保持 0.567、身份保持 1.000，说明文字主张本身没有被删掉，模型在没有音频时仍能用文字。

匹配项 × 纯文本项： 匹配项指文字主张与音频一致的样本，检验干预是否损伤正常能力；纯文本项指无音频只有文字主张的样本，检验干预是否只是把文字删掉，二者都是判断修复是否成立的对照条件。

层带对照进一步收窄解释：只封后层不改变文本主导率，封全部层虽进一步压低文本主导率但把匹配项韵律能力压到 0.667，代价明显。流畅度用无修改模型在无主张上下文中打分的平均 token 对数概率衡量，中层阻断后没有变差，反而从负 1.28 升到负 0.64 左右。因此有效干预是特异地削弱了主张经中间位置的转述，而不是删除输入或破坏生成。

仍需注意的代价是能力损失在韵律上更大，匹配项之外的自由生成只用了有限样本，个别配置差异不宜过度解读。无条件削弱主张还留下未测的情形：当音频模糊而文字主张可靠时，是否应该让文字覆盖音频，本文没有测试。

结论在什么边界内才成立

数据边界首先是表演性。RAVDESS 和 MUStARD++ 是摆拍的情感和讽刺，副语言信号和图文冲突比自然对话更范畴化；全部冲突都是英语，跨语言是否同样路由尚待验证，ALME 报告的不同语言冲突率提示不能直接外推。机制分析覆盖情感韵律和说话人身份两类，讽刺因纯音频标签不够确定而被排除，非语音事件、口音方言和发声力度等冲突完全未测。

模型边界是单模型为主。探测、归因、回贴和注意力阻断的主要结果都来自 Qwen2-Audio-7B-Instruct，它用 Whisper 系编码器，结论可能只适用于该编码器家族。第二个模型只验证了信息可恢复的前提，没有独立验证中继机制。干预的生效范围限于自由生成，在封闭式多选中无效，且依赖在中间层对主张之后全部位置持续施加阻断。

推断边界是回贴零结果不提供机制信息。由于词义任务复现同样为零，且任务与 TTS 实现与原文不同，只能说层号固定的干预对配置敏感，不能据此断言词义与副语言机制相同或不同。样本量有限时，自由生成中个别配置的数值差异不应读作排序。

要复现第一步做什么

复现应从行为基准搭起：按附录提示模板构造中性、匹配、失配和纯副语言 4 种提示，情感用 RAVDESS 文件名情感，讽刺用 MUStARD++ 标签，注意附录示例中失配与匹配的文字主张写法以及提醒音频与描述可能不一致的措辞。计分要分开模态分离计分和选项对数概率筛选，两者分母不同，SALMONN 的差异正来自不可解析回答是否计入分母。

机制复现的关键超参数是层号、窗口和位置。回贴需核对层编号从 0 还是从 1 起算，论文已检验两种起点下汇总增益仍为 0.007 和 0.003，p 为 0.845 和 1.000；注意力阻断需在自由生成每一步对主张之后所有位置在中层 10 到 21 施加，而不是只封答案位置。附录还给出源层、目标窗口和放大幅度的完整扫描，可先跑小规模验证基线文本主导率 0.793 对纯音频上限 0.908 是否再现，再谈修复。

来源方面，论文正文称代码和数据在 GitHub 公开，但本次只依据论文原文和官方原图，没有收到可验证的可用资源记录，因此不能写作者资源当前可用。RAVDESS 为 CC BY-NC-SA 4.0，MUStARD++ 仅限学术研究无正式许可，各模型许可不同，复现须按非商业学术研究使用。

什么时候值得尝试，还缺什么验证

当你的音频应用出现文字与声音矛盾且必须听声音时，这套诊断值得按顺序尝试：先做纯音频能力筛选，再做线性探测确认信息是否送到语言模型输入端，若信息完好而失配时仍跟文字，再考虑在自由生成中对主张做中层全下游阻断。封闭式多选分数好看不代表路由已修好，因为选项 token 本身就是中继冗余的来源。

直接可用的策略是生成时阻断，而非增强音频。回贴和 5 倍放大在本研究手中没有修复，且放大直接压垮能力；注意力阻断在韵律上把生成文本主导率从 1.000 降到 0.375 左右、在身份上降到 0.433 左右，同时保持匹配项和纯文本性能，但这是以部分能力和特定层带为代价的，不是无损修复。

还缺的验证很具体：自然对话而非摆拍语音上的中继是否存在，非 Whisper 编码器是否同样经中间 token 转述，模糊音频配可靠文字时无条件削弱主张是否会帮倒忙，以及更大样本下层带与位置选择的稳定性。隐私层面也需注意，同样的副语言敏感性在实现听觉 grounded 推理的同时，也会推断情感或身份等敏感属性，部署需考虑 consent 与用途限制。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-20 语音/音乐/音频论文速递