📄 无关音频为何改变文字推理：配对漂移定位与按需门控
英文题目：Selective Listening: Mechanism-Guided Control of Audio Influence in Large Audio-Language Models
标签：#音频理解 | #测试时自适应 | #音频大模型 | #环境声 | #语音
评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Yulin Sun：College of Computer Science and Technology, National University of Defense Technology；State Key Laboratory of Complex & Critical Software Environment
- Kele Xu：College of Computer Science and Technology, National University of Defense Technology；State Key Laboratory of Complex & Critical Software Environment
- Yong Dou：College of Computer Science and Technology, National University of Defense Technology；State Key Laboratory of Complex & Critical Software Environment
📌 核心摘要
大型音频语言模型在只需文本即可作答的选择题推理中，会因无关环境声或自然语音改变答案，总体正确率可能因修好与修坏相抵而看不出变化。论文先对同一题目比对干净文本与加入干扰音频的作答，用配对的影响率和答案翻转率刻画漂移，再对音频通路做缩放干预，把引发下游决策变化的晚期位置及其衰减系数离线确定为各模型的可控点。提出的指令条件音频通路门控在线先按任务指令做路由判断，显式要求听音频时输出保持通路不变，否则输出模型专属衰减，该系数随即作为临时通路调制的输入，全程只需一次生成。在4个模型、2个推理基准、2类干扰共16组全量评测中，门控方法的IR与Flip点估计均低于无门控推理，例如Qwen2.5-Omni-7B在MMLU-FSD上正确率几乎不变而IR从11.80%降至9.16%。固定压制会抬高400条LibriSpeech dev-clean语音识别的词错误率，而门控方法与无门控WER持平。推理成本在1张NVIDIA A800 80GB GPU上以bfloat16测得，门控方法单次生成耗时约为无门控的0.894倍至1.057倍，8次采样的自洽解码耗时为无门控的7.031倍至9.215倍。结论限于ARC与MMLU选择题、FSD环境声与随机5秒单人语音干扰，以及已评测的语音识别任务，隐含音频需求与对抗语音尚未验证。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文面对的是什么输入和输出
论文研究大音频语言模型做文字推理时的情形。输入是一道文字选择题，包括任务指令、题干和选项，输出是模型生成的回答再经答案抽取器得到的选项。关键在于，题目本身不需要听音频就能解答，音频只是额外配给模型的。理想行为是音频只在提供解题证据时才影响预测，当音频与答案无关时，同一道题加不加音频应得到相同决策。论文把必须保留的信息说得很明确：正确答案由文字输入决定，无关音频不携带答案信息。
输出则要同时考察两件事，一是答对与否，二是决策是否被音频带偏。举例来说，环境噪声或一段与题目无关的朗读语音被同时送入模型，模型本应忽略它们，但实验发现答案可能从干净条件下的选项改变为干扰条件下的另一选项，这就是后文要量化和控制的现象。
已有路线为什么没有解决可控点问题
相关工作分为 3 条线。第一条是大音频语言模型本身，从早期把语言模型接到音频表示，到后来扩展音频指令微调、长上下文推理和端到端语音交互，出现了音频与语言接口不同的系统，论文点名了 Qwen2.5-Omni、Phi-4-Multimodal 和 Voxtral 等架构差异，这使得如何按任务需求调节音频影响成为跨架构问题。
第二条是无关或干扰模态的鲁棒性，文字、检索、视觉等多模态研究都发现无关上下文会干扰推理，针对音频的工作发现无关静音、合成噪声和环境声会扰动文字推理，并试过提示词和自洽解码等推理时缓解方法，但这些方法停留在输入提示或输出聚合层面，没有指出模型内部无关音频在何处变得可操作。第 3 条是机制干预与条件计算，前者用因果中介、激活补丁和表征补丁等定位影响行为的计算，后者用门控、特征条件和专家路由调节信息流。
论文的衔接点是把基于干预的通路定位与按任务需求的控制结合起来，直接对已定位的后期音频通路做缩放，而不是只在输入或输出端做补救。
配对评测如何把隐藏漂移暴露出来
论文为每个样本设置 3 种对齐条件：干净纯文字推理、加入无关音频的未加门控推理、同样加入音频但施加通路控制的推理。3 种预测分别记为干净预测、未加门控预测和受控预测，干净条件是度量音频带来变化的配对参照，而正确性另外对照标准答案独立记录。推理漂移被操作化为相对干净参照的正确性状态变化或抽取答案标识变化。下面的公式先给出 3 种预测的记号，符号中 x 是推理文字输入，a 是无关音频，f 是模型，E 是答案抽取器，下标 c、u、g 分别表示干净、未加门控和通路受控。
\[\hat{y}^{\,c}_{i}=E\!\left(f_{\theta}(x_{i})\right),\qquad\hat{y}^{\,u}_{i}=E\!\left(f_{\theta}(x_{i},a_{i})\right),\qquad\hat{y}^{\,g}_{i}=E\!\left(f_{\theta,G}(x_{i},a_{i})\right),\]在此基础上定义正确性与正确率，以及两个配对漂移指标。影响率统计正确性状态改变的比例，答案翻转统计答案标识改变的比例，后者包括错答案之间互换。下面的公式给出这两个指标，公式中 s 是正确性指示，Acc 是平均正确率。
\[\mathrm{IR}(k)=\frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\!\left[s_{i}^{k}\neq s_{i}^{c}\right],\qquad\mathrm{Flip}(k)=\frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\!\left[\hat{y}^{\,k}_{i}\neq\hat{y}^{\,c}_{i}\right].\]论文进一步写出配对漂移与总体正确率差异的精确关系。设由对变错和由错变对的转移数分别为两类计数，则影响率是两类之和除以总数，而正确率差是两类之差除以总数。这解释了为什么总体分数几乎不变时个体预测可能大量移动，因为相反方向的转移在加总时抵消。下面的公式表达这一分解。
\[\mathrm{IR}(k)=\frac{n_{\mathrm{cw}}^{(k)}+n_{\mathrm{wc}}^{(k)}}{N},\qquad\mathrm{Acc}(k)-\mathrm{Acc}(c)=\frac{n_{\mathrm{wc}}^{(k)}-n_{\mathrm{cw}}^{(k)}}{N}.\]为判断通路干预是否把被音频带偏的样本拉回干净决策，论文还定义净恢复类过渡度量，分别统计干净答对但被干扰带错后又被门控修回的数量减去反向损坏，以及答案标识恢复减去破坏。结合影响率和答案翻转，这些配对量共同说明控制是否逆转了无关音频引入的具体变化。
配对漂移 × 总体正确率： 配对漂移指同一道文字题在干净无音频和加入无关音频两种配对条件下，正确性状态或抽取答案是否发生变化；总体正确率指全部题目答对比例的平均值。二者分工不同，前者记录每个样本是否被音频带偏，后者只看总体分数升降。搭配的原因是修复与损坏可能相互抵消，总体分数不变时配对漂移仍可能很大，组合后才能同时看到分数稳定性和个体决策稳定性。
影响率 × 答案翻转： 影响率指正确与错误状态发生改变的样本占比，答案翻转指抽取到的选项标识发生变化的样本占比，包括错答案之间互换。影响率关注是否跨过对错边界，答案翻转关注决策标识是否移动。两者搭配可以区分只在错误选项间摇摆和真正由对变错的情况，组合后对漂移的刻画比单一指标更完整。
下面这张示意图把上述评测逻辑画成两条并行路径，左侧是同一份文字输入，中间分成无音频的干净条件和配有无关环境声或语音的干扰条件，右侧是模型给出的两个可能不同的答案。读图时注意干扰音频明确标注为任务无关，模型内部同时画出音频编码器、模态适配器和语言主干，说明音频确实经过原生多模态通路进入计算。
看图路径： 1. 先看左侧同一份文字输入如何分成干净条件和干扰条件两条路径；2. 再看中间 LALM 方框内音频编码器与语言主干的位置关系；3. 最后看右侧干净答案与干扰答案之间标注的配对决策漂移箭头
论文图 1。原论文 Figure 1:：“Paired decision drift under task-irrelevant audio.”。
图 1 的教学价值在于把行为层面的问题固定下来：比较对象是同一题目的 2 次决策，而不是 2 次总体分数；干扰类型包括环境声和语音两类；模型结构提示后续机制定位要在音频通路内部找可控点。该图本身不证明通路位置，只为后文的配对指标和干预实验提供问题定义。
从行为到机制再到控制的总体流程
论文的流程分 3 步。第一步是行为测量，用配对干净与干扰评测计算影响率、答案翻转和正确率，确认无关音频是否改变决策，并揭示总体分数掩盖的不稳定。第二步是机制定位，用配对轨迹、答案选项相对对数几率变化和模块级消融与输出缩放，测试音频通路中哪个位置的调制能改变下游推理转移，找出干预敏感的后期音频通路。
第 3 步是控制，用 ICAP-Gate 按任务指令对每个架构已定位的通路做条件缩放，无关文字推理时衰减，显式要求听音频时保持不变，整个在线推理只需 1 次生成。下面这张总览图把 3 步连起来，子图 a 表示通路缩放识别后期通路并恢复干净决策，子图 b 表示可操作控制点按架构适配，子图 c 表示按指令路由后单次生成。读图时先看子图 a 上下两条路径如何通过缩放系数联系，再看子图 b 3 个模型高亮块的位置差异，最后看子图 c 菱形判断框如何分出两条门控取值。
看图路径： 1. 先看子图 a 中干净路径与无关音频路径在后期蓝色通路处的缩放箭头；2. 再看子图 b 中三个模型各自被高亮的后期音频块编号是否不同；3. 最后看子图 c 中指令路由器按是否显式需要音频分出两条门控取值
论文图 2。原论文 Figure 2:：“Mechanism-guided selective control of irrelevant-audio influence in LALMs.”。
图 2 表明方法的核心主张是可用性不意味着影响力：音频输入始终存在，但其向下游的影响要按任务需求开关。该图还提示控制规则在高层共享、在实现层按架构适配，具体通路编号和衰减系数随模型而异。后续各节分别展开定位证据、门控公式和评测条件，图中的单次生成标注对应后文与 8 次采样的自洽方法在延迟上的对比。
后期音频通路是如何被定位为可控点的
定位的逻辑是先看哪里分叉，再验证调制哪里能逆转分叉。论文比较干净纯文字输入与配对音频条件下的中间表示和答案选项对数几率，教师强制轨迹和渐进条件比较显示音频条件同时改变内部轨迹和选项相对分值，说明行为效应伴随多模态计算变化。但轨迹本身不能给出唯一干预位置，直接对单个残差状态做补丁也不能稳定复现完整行为效应，提示相关扰动分布在单个隐状态替换之外。
于是论文转向模块级消融与输出缩放，用配对漂移和转移恢复标准比较候选后期音频模块和衰减强度。干预形式是把深度为 l 的音频通路模块输出乘以系数，系数为零对应切除，介于零和一之间对应柔和衰减。下面的公式给出该缩放操作，公式中 z 是模块输出，上标波浪线表示干预后。
\[\widetilde{\mathbf{z}}_{\ell}=\alpha\mathbf{z}_{\ell},\qquad 0\leq\alpha\leq 1,\]在 Qwen2.5-Omni 上的互补诊断与干预把后期音频通路识别为可操作控制点，在该通路上的干预能逆转音频引起的答案变化并恢复干净决策。论文还对比了激活均方根与干净标准答案间隔：由对变错样本与稳定对照样本在两个后期位置的激活均方根相近，而干净标准答案对数几率间隔差异很大，说明影响更像方向或融合方式改变，而不是激活幅度整体变大。同一干预逻辑在 Phi-4-MM 和 Voxtral-Mini-3B 上复现为模型专属的后期音频通路，模块与衰减尺度按架构而定，但高层模式一致，即无关音频影响仍可通过后期音频处理加以控制。
后期音频通路 × 通路缩放： 后期音频通路指音频编码器堆叠中靠近输出端的若干模块输出，其表示继续向下游推理传递；通路缩放指把该模块输出乘以系数 α，α 为零是切除，介于零和一之间是衰减。通路是被干预的对象，缩放是干预手段。搭配后可以通过观察缩放是否逆转音频带来的答案变化，判断该通路是否在因果上控制配对转移。
ICAP-Gate 按指令决定衰减还是保持
定位显示同一通路具有条件效用：音频无关时衰减它有利于减少漂移，显式音频需求任务中保留它才能维持语音识别能力。因此论文提出有选择的模态影响控制，具体实现为 ICAP-Gate。对模型 m，设所选音频通路为 lm，校准得到的衰减系数为 λm，任务指令为 I，显式音频需求指示为 r，取值为零或一。门控取值为分段函数，显式要求音频理解时取一保持通路不变，否则取 λm 施加模型专属衰减，然后把所选通路表示乘以该门控值。下面的公式给出该规则，公式中 g 是门控，z 是所选通路表示。
\[g_{m}(I)=\begin{cases}1,&r(I)=1,\\ \lambda_{m},&r(I)=0,\end{cases}\qquad\widetilde{\mathbf{z}}_{\ell_{m}}=g_{m}(I)\mathbf{z}_{\ell_{m}}.\]关键细节是路由只看任务指令部分的显式音频需求线索，而不是题目正文中的偶然词汇，线索清单与路由审计在附录中给出。指令级路由使决策透明可审计。在线推理时先提取指令并判断是否需要音频，再挂载临时缩放钩子做单次生成，生成后立即移除钩子，不需要干净参照遍，也不需要辅助相关性模型。通路与系数的选择离线完成，Qwen 两个尺寸选音频塔第二十五层附近并取 0.25，Phi-4-MM 选音频嵌入编码器第二十三层并取 0.1，Voxtral 选音频塔第三十层并取 0.25，各自在全量划分上确认。
任务指令 × ICAP-Gate： 任务指令指查询中说明要做什么的那部分文字，例如做选择题还是做听写；ICAP-Gate 指按指令决定门控取值的控制方法，显式要求听音频时取值为 1 保持通路，否则取值为模型专属衰减系数。指令提供是否需要听的依据，门控执行对已定位通路的放大或衰减。组合后实现有选择的影响控制，而不是删掉音频输入。
本研究没有训练什么，实际计算是什么
本研究没有训练或微调任何语言模型与音频编码器，也没有学习新的门控参数。所有模型权重保持冻结，实际计算是推理时干预与评测。离线阶段是在规定的选择划分上比较候选后期模块与衰减系数，用配对漂移和转移恢复标准选定每个架构的通路与系数，选定后锁定再到全量划分上确认，没有用全量结果反选通路。在线阶段是对每个查询做 1 次指令路由判断，再对所选通路表示做临时乘法缩放并生成 1 次回答。
监督信号来自标准答案的正确性判断和相对干净参照的配对变化，不涉及梯度更新、优化器步骤或参数重置。论文未报告梯度路径与训练超参数，因为本方法不需要它们；缺失的是跨检查点与跨随机解码种子的不确定性量化，论文明确指出所报置信区间只刻画所评样本上的不确定性，不刻画检查点、推理后端或独立随机种子间的变异。
评测用了哪些模型、题目和干扰音频
评测覆盖 4 个大音频语言模型：Qwen2.5-Omni-7B、Qwen2.5-Omni-3B、Phi-4-MM 和 Voxtral-Mini-3B，在 ARC-Challenge 与 MMLU 两个推理基准的全量测试集上进行。干扰条件有两类，环境声条件把每道推理题与来自 FSD50K 的真实环境片段配对，语音条件把每道题与来自 LibriSpeech 开发干净集的自然语音片段独立配对，标准答案仍由文字决定。语音片段处理为 16 kHz 单声道固定 5 秒时长，长句随机裁剪、短句补零，ARC 语音条件无放回采样，MMLU 语音条件有放回采样。
每个模型与每道题都在相同文字输入、配对干扰音频和模型专属解码配置下得到干净、未加门控与门控 3 种预测，记录按样本标识对齐后再算配对指标。音频相关保留能力用每模型 400 条 LibriSpeech 开发干净集话语的词错误率衡量，词错误率越低表示识别越好，且因包含插入错误可能超过 100%，不能理解为错句比例。
下面这张表说明主实验的评测矩阵，比较问题是不同推理任务与干扰来源下配对样本量是否一致，公平条件是同一题集跨干扰条件保持对齐，指标方向是后续漂移越低越好。
| Task | Reasoning dataset | Interference source | Examples |
|---|---|---|---|
| ARC-FSD | ARC-Challenge | FSD50K environmental sound | 1,172 |
| ARC-SIB | ARC-Challenge | LibriSpeech dev-clean speech | 1,172 |
| MMLU-FSD | MMLU | FSD50K environmental sound | 14,042 |
| MMLU-SIB | MMLU | LibriSpeech dev-clean speech | 14,042 |
该矩阵显示 ARC 两种干扰各有 1172 个配对样本，MMLU 两种干扰各有 14042 个配对样本。它的限制是只覆盖随机单说话人语音与环境声，语义相近、对话、多说话人与对抗性语音不在本次范围内。语音条件的任务无关性另外用转录本逆文档频率重叠筛查加人工复核支持，MMLU 语音全部转录本可恢复，筛出 28 个候选，经复核无潜在相关与无答案承载语音。
语音干扰与转录本审计是如何构造的
语音干扰库来自 LibriSpeech 开发干净集，共 40 位说话人、九十七章节、约 5.39 小时源语音。ARC 语音含 1172 对文字语音无放回采样，每条语音在该条件内唯一；MMLU 语音含 14042 对有放回采样，使用 2694 个唯一话语，平均复用 5.212 次，中位数 5 次，九十五分位数 9 次，最大 14 次。两任务共享 1170 条话语，并集共 2696 条，因此绝大多数 ARC 语音也在 MMLU 语音中出现，两条件是在相关语音配对下评测不同文字任务。
构造脚本用固定 5 秒片段，长句随机裁剪、短句补零，记录默认种子为零且省略均方根归一化，文件支持从标准路径恢复说话人与章节标识。
下面这张表汇总 MMLU 语音构造与转录本审计，比较问题是随机配对是否意外引入与题目相关或承载答案的语音，公平条件是全部配对转录本可恢复再经逆文档频率重叠筛查，指标是候选数与人工复核分类。
| Audit item | Result |
|---|---|
| MMLU-SIB pairs | 14,042 |
| Unique source utterances | 2,694 |
| Speaker/chapter coverage | 40/97 |
| Mean/max utterance reuse | 5.212/14 |
| Transcripts recovered | 14,042/14,042 |
该表显示全部 14042 条转录本可恢复，重叠候选 28 条占 0.2%，其中 22 条为词汇假阳性、6 条为弱主题相关，经复核无潜在相关与无答案承载语音。限制是筛查依赖词汇重叠阈值，语义改写层面的相关性可能漏检；复用统计表明 MMLU 语音存在重复使用，配对漂移的自助区间采用受试者分层重采样作为稳健性检查，方向结论与独立同分布自助一致。
门控是否在十六组全量评测中降低配对漂移
主结果的比较问题是同样配有无关音频时，未加门控推理与 ICAP-Gate 受控推理的配对漂移谁更低，公平条件是同一模型、同一题集与同一配对音频，指标方向是影响率与答案翻转越低越好，正确率同时报告以观察总体分数是否被牺牲。论文报告在 4 模型乘以 2 基准乘以两干扰共 16 组全量模型条件评测中，ICAP-Gate 的影响率与答案翻转点估计全部低于未加门控推理。举例来说，Qwen2.5-Omni-7B 在 MMLU 环境声上正确率几乎不变，未加门控与门控分别为 67.58% 与 67.55%，而影响率从 11.80% 降到 9.16%，答案翻转从 16.06% 降到 12.60%。自然语音条件也呈现相同方向，说明稳定效果不限于环境声。
下面这张整理表把论文原句中的关键数字集中呈现，便于复述从总体分数不变到配对漂移下降的分离，以及单次生成与 8 次采样的代价差异。表前已说明比较问题与指标方向，表后将解释收益、代价与未胜出项。
| 条件 | 指标 | 未加门控 | ICAP-Gate | 比较对象 |
|---|---|---|---|---|
| MMLU 环境声 | 正确率 | 67.58% | 67.55% | Qwen2.5-Omni-7B |
| MMLU 环境声 | 影响率 | 11.80% | 9.16% | Qwen2.5-Omni-7B |
| MMLU 环境声 | 答案翻转 | 16.06% | 12.60% | Qwen2.5-Omni-7B |
| ARC 干扰 | 每次查询生成数 | 8 | 1 | 自洽方法对门控 |
| ARC 干扰 | 相对未加门控延迟 | 7.031-9.215× | 0.894-1.057× | 自洽方法对门控 |
该表的主要收益是总体正确率几乎不动时配对漂移明显下降，代价是门控仍需 1 次路由判断与临时钩子，但保持单次生成。限制是 16 组中有多组配对置信区间与零重叠，点估计更低不等于每组都有统计分辨力；Phi-4-MM 与 Voxtral 部分条件的绝对漂移仍处高位，门控只是部分缓解。未胜出项是八样本自洽解码在 4 个匹配比较中点估计更低，尤其在 ARC 语音上优势可分辨，说明输出端多次聚合仍有更强稳定效果，只是延迟约为未加门控的 7 到 9 倍。
下面这张图从跨架构视角补充上述结论，左侧显示固定抑制与门控在语音识别词错误率上的分离，右侧热力图显示全量影响率降低量。读图时注意左侧虚线是未加门控参照，门控点紧贴参照而固定抑制点明显右移；右侧数值越大表示降低越多，实心点表示配对区间排除零。
看图路径： 1. 先看子图 a 横轴相对未加门控的词错误率变化，区分蓝色圆点与红色三角；2. 再看子图 b 热力图中每个模型与干扰条件格子的影响率降低数值；3. 注意子图 b 中实心与空心圆点表示配对置信区间是否排除零
论文图 5。原论文 Figure 5:：“Selective control preserves evaluated ASR while reducing reasoning drift across architectures.”。
图 5 的可见内容支持两个判断：一是门控在所测语音识别任务上没有增加词错误率，而固定抑制在 4 个架构上都增加；二是全量影响率降低量全部为正，但不同模型与条件幅度不同，Qwen 小尺寸在 ARC 环境声上降低约 4 个百分点，而 Phi-4-MM 在 ARC 环境声上仅降低约 0.6 个百分点。这与后文要讲的按架构选衰减系数的必要性一致。
基线本身有多不稳定，门控修了哪类转移
理解门控效果需要先看未加门控基线有多不稳定。比较问题是相对各自干净参照，未加门控引入多少配对漂移，公平条件是相同解码配置与样本对齐，指标方向仍是漂移越低越好。基线显示音频在每个模型与两种干扰下都改变决策，Phi-4-MM 与 Voxtral 部分条件漂移更大，这正是按模型选通路的动机。
下面这张表给出 16 组全量模型任务组合的干净正确率、未加门控正确率、未加门控影响率与答案翻转，表前已说明比较问题，表后解释其对门控的意义与限制。
| Model | Condition | Clean Acc. | Ungated Acc. | Ungated IR | Ungated Flip |
|---|---|---|---|---|---|
| Qwen2.5-Omni-7B | ARC-FSD | 84.56 | 83.53 | 8.19 | 9.04 |
| Qwen2.5-Omni-7B | ARC-SIB | 84.56 | 82.85 | 9.39 | 11.09 |
| Qwen2.5-Omni-7B | MMLU-FSD | 67.42 | 67.58 | 11.80 | 16.06 |
| Phi-4-MM | ARC-FSD | 81.66 | 75.51 | 22.53 | 25.00 |
| Phi-4-MM | ARC-SIB | 81.66 | 73.21 | 23.46 | 26.54 |
从表中可见，Qwen2.5-Omni-7B 的未加门控影响率约在 8% 到十四之间，而 Phi-4-MM 在 MMLU 上接近 30%，Voxtral 也在 20% 以上。门控的净恢复度量进一步说明方向：在多数条件下净由对变错恢复数与净答案恢复数均为正，表示把被干扰带偏的样本拉回干净决策多于反向破坏；但 Voxtral 在 ARC 环境声上净由对变错为负七，伴随正确率从 73.38% 降到 71.76%，说明该条件下存在正确率代价。限制是基线漂移幅度受解码方式影响，Qwen 用确定性解码而 Voxtral 用温度 0.2 的核采样，跨模型绝对值不宜直接排名。
与提示词和自洽解码相比，门控的位置有何不同
这组比较回答机制位置问题：输入层提示、输出层聚合与内部通路控制哪种更直接。比较对象是先前无关音频研究中的两种推理时策略，提示词在生成前作用于输入，八样本自洽解码用温度 0.5 生成 8 个回答再取众数，ICAP-Gate 则缩放已定位的后期音频通路。公平条件是同一 Qwen2.5-Omni-7B 检查点与对齐来源样本，且影响率与答案翻转各自相对本方法的干净参照计算，因为缓解策略可能改变干净预测。提示词与门控均用全量 ARC 与 MMLU 划分，自洽用全量 ARC 与每条件 1000 条的匹配 MMLU 子集。
下面这张表报告实测耗时，比较问题是达到各自稳定性所需的测试时间代价，公平条件是同一块八十吉显存显卡、半精度、预热后两百查询 3 次重复且不计模型加载，指标方向是延迟与显存越低越好。
| Dataset | Method | Gen./q. | Mean (s) | Median (s) | Rel. | VRAM (GiB) | Tok./q. |
|---|---|---|---|---|---|---|---|
| ARC-FSD | Ungated | 1 | 6.8881 | 6.4671 | 1.000 | 17.03 | 85.8 |
| ARC-FSD | Prompting | 1 | 6.6079 | 5.8928 | 0.959 | 17.04 | 81.2 |
| ARC-FSD | ICAP-Gate | 1 | 7.2840 | 6.6174 | 1.057 | 17.03 | 94.3 |
| ARC-FSD | Self-Consistency | 8 | 63.4709 | 57.7551 | 9.215 | 17.03 | 819.4 |
| ARC-SIB | Ungated | 1 | 8.8734 | 8.0748 | 1.000 | 16.85 | 88.8 |
表中门控每次查询生成 1 次，在 ARC 环境声与语音上相对未加门控延迟分别为 1.057 倍与 0.894 倍，峰值显存与未加门控基本持平；自洽每次查询生成 8 次，相对延迟分别为 9.215 倍与 7.03 倍，生成词数约为八百。论文原句还报告，缓解提示词的影响率与答案翻转点估计在 4 个评测设置中全部高于门控，在 MMLU 语音上差异分别达 8.87 与 11.76 个百分点且区间排除零。
自洽点估计在 4 个匹配比较中全部低于门控，但在除 ARC 语音外的 3 组中差异无明确分辨。结论是门控在单次生成范围内提供有竞争力的稳定性，输入层提示不能复现通路控制的配对稳定性，而自洽的优势来自重复解码的高延迟。
固定抑制 × 指令条件路由： 固定抑制指对所有查询都把所选通路衰减，不看指令内容；指令条件路由指只看任务指令部分是否显式要求音频理解，再决定保持还是衰减。前者是无条件的因果验证手段，后者是兼顾推理稳定与语音识别保留的部署规则。对比两者可以说明同一通路在无关音频时衰减有益、在显式听写任务时必须保留。
衰减系数为何不能跨模型共用
论文对 Phi-4-MM 做了全量 MMLU 双尺度比较，固定编码器第二十三层，比较衰减系数取 0.1 与 0.25。结果显示不同尺度在两个 MMLU 条件下呈现不同转移轮廓，所报全量结果选用每条件已选尺度。这支持把衰减系数与架构适配通路一起选择，而不是把单一数值当作通用值。Qwen 两个尺寸共用第二十五层与 0.25，Voxtral 用第三十层与 0.25，Phi-4-MM 用第二十三层与 0.1。
跨模型证据支持的是共享计算角色而非共享层号，即可操作位置都出现在各自后期音频通路，但具体模块与衰减强度必须按架构校准。该消融的限制是只在 Phi-4-MM 全量 MMLU 上报告两种尺度，其他模型的尺度搜索细节在附录中，外部复现时应保留按模型重校的步骤，不能直接套用 Qwen 的数值。
结论在什么条件下才成立，还有哪些范围未测
结论成立依赖 3 个条件。第一，推理任务的答案由文字决定，无关音频经转录本筛查确认不携带答案信息，MMLU 语音的筛查覆盖全部 14042 对转录本，只发现 28 个逆文档频率重叠候选且人工复核无潜在相关。第二，路由只看任务指令中的显式音频需求线索，普通文字指令与问题内容硬负例的审计显示指令级作用域能避免问题词汇触发高尺度，而全查询匹配会引入假阳性。
隐式依赖与无线索改写在该规则下会被漏检，论文明确审计不是通用语义相关性基准。第三，音频相关保留只在所测的 400 条朗读语音识别任务上验证，固定抑制在该任务上显著抬高词错误率而门控与未加门控持平，但更广的音频理解安全性不在本次评测内。未测范围包括语义相近、对话、多说话人、对抗性语音、信噪比控制干扰，以及跨检查点与跨随机种子的变异。
总体分数与漂移是两个独立结果，自动指标也不等于人工评价，不能把点估计更低读成所有样本都更稳。
复现第一步做什么，需要哪些配置与检查
复现先从配对记录对齐做起，而不是直接跑门控。第一步是为同一模型与同一题目生成干净、未加门控与门控 3 种预测，保持文字输入、配对干扰音频与模型专属解码配置一致，保存生成回答、抽取答案、门控决策、所用尺度与模块名，再按样本标识、来源索引、问题、选项与标准答案对齐，剔除来源索引不匹配、缺答案或任务字段不兼容的记录。
答案抽取用首先匹配到的答案标记映射为规范选项，主评测保留首个人类回答边界，另用首答案行截断做稳健性检查以分离决策变化与续写效应。统计全部在样本层配对，报告正确率、影响率、答案翻转与两类净恢复，不确定性用 20000 次配对百分位自助、种子零估计；路由审计用名义威尔逊区间，但因含匹配场景族与重复模板，只能描述受控审计，不能当作总体推广区间。
自洽审计中八千多条记录出现约 3.78% 的平票，按生成顺序首个选项确定，无无法解析与全弃权。论文未绑定经超文本安全验证的作者资源，本次未发现可用代码、模型或数据链接，因此复现需按正文与附录的协议、解码设置、数据集构造与通路编号自行实现，不能声称作者资源已公开。硬件预算方面，耗时测量用单卡八十吉显卡半精度，门控单次生成而自洽 8 次生成，显存峰值基本持平，词数差异主要来自生成次数。
什么时候值得尝试，还需补哪项验证
当文字推理必须与音频输入共存、但音频多数时候与答案无关时，值得尝试这种按指令开关后期音频通路的做法，例如带语音界面的问答或同时接入环境麦克风的推理服务。尝试时保留关键信息条件：明确哪些指令算显式音频需求，只解析指令部分而不看题干词汇；为所用架构重校后期通路与衰减系数，不能照搬他模型的层号与数值；在全量划分前先用选择划分锁定配置，再到锁定划分上确认。
预期收益是在总体正确率基本不变时降低配对漂移点估计，同时在所测听写类任务上不增加词错误率；预期代价是 1 次路由判断与临时钩子管理，以及在个别条件下可能出现的小幅正确率权衡。还需要补的验证是隐式与无线索音频需求的语义路由、多说话人与语义冲突语音下的稳定性、更广音频理解任务的安全性，以及跨检查点与跨随机种子的重复性。只有补齐这些，才能把单次生成的机制引导稳定从所评条件推广到更一般的部署。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses