📄 音频注意力可在语言模型运行前被线性读出：先验排序与两段式 Triage
英文题目：Audio Token Attention Is Predictable Before the Language Model Runs
标签：#语音识别 | #模型剪枝 | #音频问答 | #高效推理 | #长音频处理
评分：8.6/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.7/1 | 影响力 1.1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Kyoungjun Park：The University of Texas at Austin
- Yunzhe Li：The University of Texas at Austin
- Lili Qiu：The University of Texas at Austin
📌 核心摘要
大音频语言模型将每分钟语音展开为750-1500个音频词元并全部预填充，上下文与预填充同时受限，而图像常用的第2层后剪枝对音频既非弱关注也非已排序。Triage先在编码器输出上拟合无标签闭式岭回归先验以预测全层注意力排序并在语言模型运行前完成第1阶段筛选。接着在第2层引入见过问题的观测注意力做精度融合修正并执行第2阶段精选，其输出直接决定保留词元集合。转写分支仅用覆盖时间线的分箱保留以维持连续性，问答分支则用两阶段top-K保留以保住关键片段。相对依赖语言模型内注意力的中途剪枝与依赖能量或编码器自注意力的编码器侧启发式，该方法不看问题即可在运行前给出排序，且仅编码器前剪枝能用连续位置扩展窗口。在DREAM基准的多选任务评测下，Triage的准确率为.823，高于DART的准确率.765。该结论适用边界受限于先验仅为注意力代理且线性假设外失效，压缩率需无标签自洽校准。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源：https://audio-triage.github.io — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
一分钟语音为何会变成上千个 token？
输入是波形，目标是让大音频语言模型直接回答语音、声音和音乐问题。论文把音频编码器和投影器合称为编码器，它为每个音频 token 输出一个向量，也就是语言模型收到的编码器输出。1 分钟语音会变成 750 到 1500 个 token，每个 token 有两份代价：语言模型必须对它做预填充，它还要占据上下文窗口位置。Qwen2.5-Omni-3B 的窗口只能放 21.8 分钟音频，因此 1 小时讲座放不下。只有在语言模型运行前剪枝才能同时省去这两份代价。
在模型内部剪枝只能省去后面若干层，且被丢弃的 token 已经占过位置。 本节要回答的教学问题是：为什么图像剪枝的老位置不能直接搬到音频。论文用对照说明，在第 2 层这个图像方法常切分的位置，音频仍然分走大量注意力，且按当时注意力排序与按全层注意力排序的一致性很低。也就是说音频同时不满足弱关注和已排好序 2 个条件，所以需要一个在语言模型运行前就给出的排序。
下面这张按层统计注意力占比的图先建立直觉：横轴是语言模型前 8 层，纵轴是文本位置注意力中分给一个模态的份额，比较音频、图像、视频 3 条曲线在切分层附近的高低。
看图路径： 1. 先确认横轴是语言模型层 L 从 1 到 8，纵轴是文本位置注意力中分给各模态的百分比；2. 再看橙色竖条标出的切分层 L 等于 2 处音频曲线的位置；3. 比较同一层上音频、图像、视频三条曲线的相对高低
论文图 6。原论文 Figure B.1:：“Figure B.1: Attention mass by layer, the panel behind the attention condition of §3.1.”。
这张图显示，在前 8 层的每一层，音频分到的份额都高于两种视觉模态；从第 2 层起，视频虽然 token 数更多且同样是时序模态，分到的份额却远低于音频，更接近图像。这支持正文判断：在中间预填充方法动手的位置做无差别剪枝，会删掉语言模型仍在关注的 token。结合后文第 2 层排序一致性只有 0.39 的测量，可以理解为何论文坚持把排序提前到语言模型之前。
已有压缩路线分别在何处切分、按什么排序？
按切分位置可分 3 类。键值缓存逐出在预填充之后按语言模型注意力排序，只释放解码缓存。中间预填充剪枝在模型内部按已走过的注意力排序后剪枝，例如 FastV 在第 2 层，FastAV 在中间层。编码器侧方法在语言模型之前按位置、声能、自信息、相似度或编码器自注意力排序。论文报告，响度、自信息和编码器注意力对语言模型注意力的预测都很弱。
另有两个视觉方法训练网络在运行前预测语言模型注意力，SpeechPrune 需要问题并只近似第 1 层注意力。 教学上要区分监督与运行阶段：需要先跑语言模型才能排序的方法，天然省不掉前段预填充和上下文位置；只用编码器输出的方法省位置但排序信号弱。Triage 属于第 3 类位置、第一类目标：切分在模型前，目标是拟合模型自身的全层注意力，而非声音本身的响亮程度。论文还对照了训练式重采样器，它输出新向量而不再保留原 token，因此第二阶段没有可修正的逐 token 分数。
已有方法的失配点在后文被量化：编码器自注意力、声能、自信息等信号与目标的相关性远低于先验；把 DART 搬到第 2 层隐状态上仍不能在 DREAM 上追平；均匀池化虽然也覆盖时间轴，但在全部 24 个转录情形中字错率都更高。这些对照说明位置正确不等于排序正确。
要预测的量是什么，为何它与问题无关？
论文把第 i 个音频 token 的语言模型注意力记为 gi，定义为所有音频位置在所有层、所有头上给它的注意力之和。在所用提示中问题跟在音频之后，因果注意力下音频位置看不到问题，因此 gi 不依赖于问题，在问题到达前做出的剪枝可以使用它。任务分为两类：转录需要整段语音，选择题只需要与问题有关的部分。评估用转录的字错率和选择题的准确率，压缩倍数定义为保留 token 数 K 等于 N 除以 c。 关键难点是排序时机。
图像剪枝常在第 2 层后切分，那时图像 token 已弱关注或已排好序。音频不满足这两点：相同段落以语音和渲染页面两种形式给出并配相同问题时，音频在第 2 层分走的注意力是页面的 2 倍以上，且按当时答案注意力排序与全层排序的一致性只有 0.39。因此必须在语言模型形成自己的排序之前给出排序。 下表把该判断压缩为可核对的三行：浅层关注强度、浅层排序成熟度、先验的可预测性，每行都保留原文报告的方向和阈值，细节数值以正文引用为准。
| 比较维度 | 观测位置 | 指标与方向 | 音频侧报告 | 对照侧报告 |
|---|---|---|---|---|
| 浅层关注份额 | 第 2 层 | 注意力占比越高越难剪 | 音频约为页面 2 倍以上 | 页面与图像更低 |
| 排序成熟度 | 第 2 层 | 与全层排序一致性越高越可剪 | 仅 0.39 | 图像与视频只差排序一项 |
| 事前可预测性 | 模型前 | 预测全层排序相关越高越好 | 11 个模型上 0.69 以上 | 声能等弱信号远低 |
该表提出的问题是：在第 2 层动手是否安全。表后解释是：音频关注高且排序未收敛，因而在模型内切分既省不掉位置也容易误删。
先验在多数模型上达到 0.69 以上的排序相关，才让模型前切分有依据。未胜出项是两类 Qwen-Audio 模型，先验在线性形式下失效，后文用 1 次无标注前向的漂移筛查把它区分出来。
Triage 的两段切分如何分工？
方法全景是一个模型对应一个先验，编码器和语言模型保持冻结。Stage1 在语言模型运行前用先验把 N 个音频 token 减到 K1 个短表，只传更短的连续位置序列。Stage2 只用于选择题，在第 2 层把短表再减到 K 个，用观测到的注意力校正先验。转录只用 Stage1，因为需要全时间轴；选择题用两段，因为问题首次在 Stage2 的后置提示中出现。
校准在无标注音频上以模型自身全音频输出为参照，设定保守或激进两种允许漂移预算。 沿一个样本走一遍：波形进入音频编码器得到 N 个向量，先验对每个向量打分，转录按分箱覆盖每段时间留最高分，选择题按 top-K 留最高分；短表进入语言模型走两层，读出后置提示位置给每个短表 token 的注意力，与先验做百分位融合后保留 K 个继续向后。保留 token 在 Stage1 后取连续位置，在 Stage2 后保留已有位置编号。
下图是该流程的导读：左侧是音频到编码器到音频 token 的主路径，中间是 Stage1 剪刀，右侧是语言模型框内第 2 层处的 Stage2 剪刀，左下小图对比 top-K 可能留空整段而分箱覆盖每段必留。
看图路径： 1. 沿左侧音频波形到音频编码器再到音频 token 的箭头看主路径；2. 看先验条形在 Stage1 剪刀处哪些变实线被保留；3. 看语言模型框内第 2 层橙色剪刀后保留与虚线丢弃的区别
论文图 4。原论文 Figure 4:：“Triage: two cuts, one prior. Stage 1 cuts the encoder’s N audio tokens to K_1 before the language model runs.”。
图中可见先验条形在 Stage1 处部分变实线表示保留，问题向量在 Stage2 才汇入，语言模型框内第 2 层后部分 token 变虚线表示丢弃。冻结标记说明编码器和语言模型都不更新，拟合标记只属于先验本身。这对应后文实现：Stage1 每 token 只加 1 次点积，无需额外前向；Stage2 只需后置提示行在两层内的注意力行，可与高效注意力并行重算。
先验分数与精度融合分别计算什么？
先验是对编码器输出的线性映射，记第 i 个 token 的编码器输出为 ei，分数为权重向量与 ei 的点积加偏置。目标 gi 是该 token 在全部层头上从音频位置收到的注意力之和。拟合是闭式无标注求解，在 120 个无标注 LibriSpeech 片段上拟合、在 100 个留出片段上以逐片段 Spearman 相关度量排序一致性。部署时每个模型用一个在多基准混合池上拟合的通用先验，服务转录、选择题和长音频。
编码器输出 × 语言模型注意力： 编码器输出负责在语言模型运行前提供每个音频 token 的现成向量，语言模型注意力负责定义该 token 在全部层头上被关注的总量，二者搭配的理由是因果提示下音频位置看不到后置问题因而目标与问题无关，可以在模型前拟合，组合意义是用一个线性读出把事后才会展开的关注度提前变成可排序分数。
先验 × top-K： 先验负责给出每个 token 的预测分数，top-K 负责在选择题上只保留分数最高的短表，二者搭配是因为选择题只需要与问题有关的部分而不需要覆盖全时间轴，组合后形成与问题无关的第一道粗筛，为第二层见到问题后的精修留下候选集合。
分箱覆盖 × 转录： 分箱覆盖负责把时间轴等分成 K1 段并在每段内只留先验最高的一帧，转录负责逐字还原全部语音内容，二者搭配的理由是转录需要时间覆盖而非只留高峰，组合意义是在保证每段时间都有代表帧的前提下再用先验在段内选最值得保留的一帧。
精度融合 × 头一致性权重： 精度融合负责把先验百分位与第 2 层观测注意力的百分位加权相加，头一致性权重负责用多头均值除以标准差的百分位决定观测项占多大比重，二者搭配是因为观测项刚见到问题但头部不一致时噪声大，组合后在头部一致处多信观测、在分歧处多信先验。
短表 × 第 2 层切分： 短表负责把 N 个音频 token 先压缩到 K1 个并送入语言模型前两层，第 2 层切分负责读出后置提示位置的注意力并再压缩到 K 个，分工是第一段省去全部层的预填充和上下文位置，第二段引入问题信息做校正，组合后既省上下文又让问题首次影响剪枝。
先看目标的原始定义，符号含义是层数、头数、查询位置集合与注意力权重，计算目标是对所有层头和音频查询位置求和。
\[g_{i}\;=\;\sum_{\ell=1}^{N_{\mathrm{layer}}}\sum_{h=1}^{H}\sum_{q\in\mathcal{Q}}a_{\ell,h}(q,i),\]该式说明 gi 来自模型自身而非声音属性，这解释了为何声能虽最易被预测但剪枝效果差：目标必须来自模型，单纯好预测不够。再看第二阶段的融合，符号是观测百分位、预测百分位与逐 token 头一致性权重。
\[\gamma_{i}\;=\;\alpha_{i}\,r^{\text{obs}}_{i}\;+\;(1-\alpha_{i})\,r^{\text{pred}}_{i},\]该式把量纲不同的线性分数与注意力质量放在同一百分位尺度上，头一致时多信观测，头分歧时多信先验。Stage1 保留 K1 取整并至少留 2 个，Stage2 保留 K 取整并至少留 1 个；转录取 K1 等于 K 的分箱覆盖，选择题取 top-K 短表加融合终选。
没有梯度训练时，拟合与校准做了哪些计算？
本研究没有训练编码器和语言模型，两者冻结；也没有为剪枝训练神经网络。唯一的拟合是先验的闭式线性求解，每个模型 1 次，在 CPU 上数秒完成，输入是无标注音频在通用提示下的编码器输出和由全量预填充捕获的目标注意力，不用转录文本、答案或标签。对照的多层感知机有 1,300,000 参数、Perceiver 连接器有 8,500,000 参数且需数千步经过冻结模型的梯度，但论文报告它们在部署压缩范围内没有显著更准，在更低保留率下反而落后，因此部署仍用线性先验。
校准同样无标签：对每个基准和预算，在无标注片段上各解码 1 次全音频输出和每个候选保留率组合的输出，转录用相对全音频转录的字错率，选择题用全音频答案概率的下降。先取满足预算的最省 token 终选率，再取不明显更差的最省短表率，保守预算允许漂移 0.08，激进预算允许 0.20。候选同时在校准划分和留出划分上取较大下降，避免只过拟合一划分。
需要指出的缺项是：原文未报告先验求解的正则系数和数值稳定细节，也未给出校准网格的完整候选表，只给出部署点的 r1 与 r2。复现时应先按论文的划分规模重建流程，再对齐部署点，而不应从模型名称推定实现细节。
在哪些数据、模型和基线上比较，条件如何对齐？
模型覆盖 Qwen3B、Qwen30B、Voxtral 和 Phi-4，任务覆盖转录的 LibriSpeech、FLEURS 和 TEDLIUM，以及选择题的 MMSU、DREAM 和 AudioMarathon-RACE。转录用贪婪解码并以语料字错率评分，选择题用选项字母的 logit 评分，避免解析丢失。每个任务有 24 种情形，即 4 模型乘 3 基准乘 2 预算。同一情形下所有选择器保留相同 K 值，同类切分用相同拼接方式，编码器侧切分交出真正更短的连续序列，中间预填充切分在已有缓存中按位置索引保留。 基线按切分位置分组以对齐代价：编码器侧有均匀池化、能量语音活动检测、随机、DART，选择题再加 SpeechPrune。
中间预填充有 FastV 变体和 HeadRouter 变体；短表类只差 Stage2 规则。先验和校准只见无标注音频，评估片段在先验拟合片段之外划分。长音频另用拼接 RACE 的针尖问答和 QuALITY 故事的自然长录音，问题在拟合与定点之后首次运行。 下表把协议归纳为可复述的清单，数字来自正文连续描述而非自行估算。
| 任务 | 基准与语音长度 | 评分指标 | 样本规模 | 基线分组 |
|---|---|---|---|---|
| 转录短语音 | LibriSpeech 与 FLEURS 读语音 | 语料字错率越低越好 | 每情形 300 段 | 均匀池化与能量检测等 |
| 转录长语音 | TEDLIUM 自发演讲 | 全篇拼接后语料字错率 | 7 篇共 92 分钟 | 同上加中间预填充 |
| 选择题 | MMSU 与 DREAM 与 RACE | 准确率越高越好 | 每情形 400 段 | 再加 SpeechPrune |
| 长音频 | 拼接针尖与自然故事 | 准确率越高越好 | 针尖多时长各 100 问 | 截断与逐窗投票 |
表后说明公平条件：同列同 K、同类切分同拼接、比较在同一样本内取配对间隔。
未评测边界包括超长音频超过 80 分钟后的行为和非问答生成任务。Qwen30B 转录取前 100 段，TEDLIUM 按整篇自助重采样，这些聚合口径在核对数字时必须同时注明。
主结果在两种预算下分别保住了什么？
转录侧部署分箱覆盖单段切分。保守预算压缩约 1.11 到 2.00 倍，中位代价 0.017 字错率，在 12 种情形中 10 种低于全部基线；激进预算压缩约 1.18 到 2.86 倍，在 12 种情形中全部低于全部基线，中位低于 DART0.064。选择题部署两段精度融合，激进压缩 2.22 到 5.00 倍，平均领先 DART0.043，区间为 0.032 到 0.053，在 12 种情形中 11 种领先、最强基线中 9 种领先；保守压缩 1.54 到 2.86 倍，12 种情形中 9 种与全音频差距在 0.02 以内且最大落后 0.031。 下图先解释为何第 2 层值得校正：横轴是语言模型层，纵轴是各种排序与答案注意力的排序一致性，蓝色是只用截至该层的模型注意力，绿色是模型前固定的先验，菱形是二者平均。
看图路径： 1. 先看横轴语言模型层采用对数间隔并画出全部 48 层；2. 再看蓝色曲线随层数上升而绿色先验线保持水平；3. 找到切分条附近代表二者平均的菱形标记的位置
论文图 2。原论文 Figure 2:：“Where Stage 2 cuts, the prior ranks the audio tokens better than the language model’s own attention, and the two combined rank them best.”。
在切分层附近，先验已高于模型自身截至该层的注意力，而二者平均最高。这支持 Stage2 不用观测替代先验而是做校正的设计。结合后文先验在第 2 层 top 召回全面高于原始观测的测量，可以理解短表为何不可替换为随机短表。 下表把转录结果按预算组织，保留原文报告的中位代价和与 DART 的差距方向，压缩倍数为原文校准给出的部署点范围。
| 预算 | 压缩范围 | 本方法形态 | 与全音频差距 | 与基线比较 |
|---|---|---|---|---|
| 保守转录 | 1.11 到 2.00 倍 | 分箱覆盖单段 | 中位 0.017 字错率 | 10/12 低于全部基线 |
| 激进转录 | 1.18 到 2.86 倍 | 分箱覆盖单段 | 低于 DART 中位 0.064 | 12/12 低于全部基线 |
| 保守选择题 | 1.54 到 2.86 倍 | 两段精度融合 | 9/12 在 0.02 内 | 接近全音频 |
| 激进选择题 | 2.22 到 5.00 倍 | 两段精度融合 | 平均领先 DART0.043 | 11/12 领先 DART |
表后解释主要收益与代价：收益是同 K 下字错率最低或准确率最高且无需标签；代价是激进压缩仍低于全音频，Phi-4 等个别点落后 0.03 左右。反例是 Qwen30B 的 FLEURS 保守点 DART 领先 0.002，说明在接近无压缩时差距可忽略。
声音类 MMAU-mini 与 MMAR 上保守剪枝与全音频差距在 0.03 以内，情绪任务上仍领先纯转录级联。
哪一段切分贡献了多少，能否只留一段？
论文做了短表与规则的交叉：先验短表换成同尺寸随机短表，或把精度融合换成纯观测。结论是短表的影响大于规则，在 Qwen3B 激进点上随机短表代价为 0.047 到 0.147 准确率；在同短表上精度融合平均高于纯观测 0.024。转录上单段分箱覆盖在 8 个 Qwen 短语音点中 7 个优于两段，说明转录不需要第二段。目标研究显示，在保留 25% 时剪枝准确率与可预测性的秩相关为 0.66，与直接切分准确率的秩相关仅 0.23，因此选目标的关键是先验能否预测它，而非它本身直接切分有多好。 下图把同 K 下的压缩-质量曲线放在第二样本上，红虚线是全音频，阴影是两点带，三列分别为 3 个选择题基准。
看图路径： 1. 先确认三列分别是 MMSU、DREAM、RACE，横轴是压缩倍数且所有选择器取相同 K；2. 再看红色虚线代表的全音频参考线与两侧两点带；3. 比较绿色 Triage 曲线与其他基线曲线何时掉出两点带
论文图 5。原论文 Figure 5:：“At the same K, Triage stays within two points of full audio to higher compression than every baseline.”。
可见 Triage 在 MMSU 和 DREAM 上到 2.9 倍仍在带内、在 RACE 上到 6.7 倍仍在带内，而基线在前两者上不超过 2 倍、在后者上不超过 4 倍。这支持等质量压缩的判断：在 Qwen3B 上 Triage 比任一基线多 1.4 到 2.0 倍压缩。需注意这是固定两点阈值下的结论，换阈值会改变绝对倍数。 下表汇总效率与长音频的可核对数字，压缩与加速均为原文部署点的实测范围。
| 场景 | 压缩或保留 | 质量对比 | 效率结果 | 对照基线 |
|---|---|---|---|---|
| 预填充 GH200 | 激进多点 | 接近全音频 | 1.2 到 3.7 倍 | 编码器另计 |
| 预填充 A100 | DREAM 激进 5 倍 | 同 K 比较 | 55 分钟 4.5 倍与 20 分钟 6.3 倍 | 全音频预填充 |
| 上下文窗口 | 激进 2.86 倍 | 单遍运行 | 21.8 分钟到约 62 分钟 | 分块全音频超限 |
| 并发服务 | 激进最省点 | 同模型同卡 | 4 倍并发 55 分钟流 | 全音频流数 |
| 自然长录音 | 激进同 K | 0.584 准确率 | 高于截断 0.046 | DART 与池化 |
表后解释代价：编码器仍跑全部帧，端到端加速小于纯预填充加速；Qwen30B 因混合专家预填充中有与 token 数无关的权重开销且短表更宽，增益较小。
针尖问答上保守点 0.731 对投票 0.706、激进点 0.722 与投票相当，说明一遍压缩可匹配 20 到 45 遍投票，但 35 分钟附近各方法都偏低，提示长流评估仍有波动。
线性先验在何处失效，如何提前识别？
直接局限是线性先验在两类 Qwen-Audio 模型上失效，相关仅 0.29 和 0.57 左右，而在 11 个模型上达到 0.69 以上。论文用 1 次无标注前向的漂移量区分两组，定义为音频位置经过前两层的相对位移，阈值 0.25 按两类边缘的几何均值取得，在 13 个模型上全部分对，并在 79 次测量中保持在阈值同侧。筛查不需要先验、标签或任务运行，在单卡数分钟内完成。编码器家族不能单独决定分组，9 个 Whisper 编码器分落两侧就是证据。 第二层局限是目标本身是注意力的代理，而非有用性的直接度量。
声能对照说明了风险：先验预测声能可达 0.88，但按它剪枝准确率只有 0.662，远低于按注意力目标的 0.815。因此好预测不等于好剪枝，目标必须来自模型。论文称同一闭式拟合可换任何逐 token 目标，但未验证更接近有用性的目标，相关性也不应读成因果。 第三层局限是长音频与跨域的覆盖度。自然长录音只在 QuALITY 故事和固定问题上验证，问题为文本读者编写，无音频基线仍可答对一部分。
80 分钟实验只用特定拟合的先验；声音与音乐只在保守点验证接近全音频。删除实验支持先验选出的 token 更重要，但在 Phi-4 上用后置行目标拟合的先验会出现符号反转，说明目标定义不可随意替换。
复现应先重建哪三步，资源状态如何？
第一步重建目标与先验：用通用提示对无标注音频做全量预填充，按音频查询位置汇总全层头注意力得到 gi，再对编码器输出做闭式线性拟合；以逐片段 Spearman 在留出片段上验收，论文的协议是 120 段拟合、100 段测试，部署用 6 基准混合的通用先验。转录规则在 Qwen 的 LibriSpeech 与 FLEURS 点上选定为分箱覆盖后冻结，再用于 TEDLIUM、Voxtral 和 Phi-4，不要按模型重调。 第二步重建两段剪枝：Stage1 按任务取 top-K 或分箱覆盖并保留时间顺序，Stage2 在第 2 层读后置提示行的注意力并按百分位融合，头权重用均值除以标准差的百分位。
同批请求在固定层和固定 K 下保持可批处理。第三步重建无标签校准：以全音频输出为参照，在校准与留出划分上取较大下降，先定终选率再定短表率，保守 0.08、激进 0.20。硬件上精度表在 GH200 上、部分目标与缩放表在 A100 上，加速比只在同平台内比较。 项目页资源状态是公开声明的唯一依据，本次收到的资源状态显示代码链接当前可用，可按链接获取实现细节；若链接不可达则应写本次未能确认可达，不把权重下载与系统可运行混为一谈。
还需补的验证是正则与网格细节、更多长于 60 分钟的自然录音，以及非选择题生成任务上的表现。
何时值得尝试 Triage，何时应先停下？
当音频很长且语言模型预填充或上下文成为瓶颈、当任务是转录或多选问答且允许小幅漂移、当模型通过 0.25 漂移筛查时，值得尝试模型前先验剪枝。转录直接用分箱覆盖单段，选择题用先验短表加第 2 层精度融合，预算先从保守开始并用自身全音频输出做无标签校准。长音频场景应把编码按 5 分钟窗口拼接后再剪枝，而不是依赖默认单次调用的静默截断。
当模型未通过筛查、当任务需要逐字以外的韵律与情感细节且只剩激进压缩可用、当编码器相对语言模型很重而端到端加速要求很高时，应先停下或降低压缩。因为编码器仍跑全量帧，端到端加速必然小于预填充加速；Qwen3B 编码器代价可达预填充的 1.9 到 2.6 倍就是实例。 回到中心矛盾：音频在浅层仍被高度关注且排序未收敛，因此排序必须提前；注意力排序恰好可从编码器输出线性读出，因此提前排序可行。
Triage 的价值在于把事后注意力变成事前可执行的保留决策，代价是线性形式与注意力代理的适用边界，筛查、目标选择和分任务规则正是为守住这条边界而设。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses