📄 长语音推理为何变慢变错：C3 如何只取一小部分音频 KV 还能跟住转写
英文题目：C3: Speech-Guided KV Retrieval for Long-Context SpeechLLM Inference
评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5
👥 作者与机构
- Dancheng Liu：University at Buffalo, USA
- Markus Müller：Amazon AGI, USA
- Rupak Vignesh Swaminathan：Amazon AGI, USA
- Jing Liu：Amazon AGI, USA
- Srikanth Ronanki：Amazon AGI, USA
- Aram Galstyan：Amazon AGI, USA
📌 核心摘要
语音大模型把音频编码为高时间分辨率的键值序列，输入变长时缓存迅速膨胀，解码需要在全部音频键值上计算注意力。论文研究只保留完整缓存但每步按查询取回少量音频键值的检索推理，输入是长语音与文本提示，输出是转写、翻译或摘要文本，难点是检索选错会改变隐藏状态并影响后续检索。C3在预填充阶段对每个键值头用递归二分k均值建立二叉层次索引，用质心代表所含键，前沿面划分全部音频且大小固定。解码时共享同一键值头的查询头用最大余弦相似度对同一前沿面竞争同一预算，胜出簇的键值被取回并计算精确注意力。随后按指数滑动平均跟踪簇与近期查询的相关性，把高优先级节点分裂为两个子节点，把低优先级兄弟对合并为父节点，使细粒度持续跟随相关区域。相对固定时间分块和静态键空间聚类，该方法同时引入非连续键空间单元、组内共享竞争和持久分辨率重分配。在Qwen3-Omni上，在LS-Long长语音识别评测中128键值预算下词错率从ClusterKV的180.94%降至7.07%，在LongSpeech语音翻译评测中256键值预算下chrF从25.91升至55.79。作者承认混合架构、硬件实现和超过32K音频标记的生成质量尚未验证。原文未披露训练成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
长语音输入为什么会让推理又慢又占显存
语音大模型的输入是一段很长的音频加上简短的文字提示，目标是逐词生成转写、翻译或摘要。要生成正确文本，解码器每一步都需要回看音频中与当前词对应的证据，不能只靠已生成的文字猜测。
音频的麻烦在于时间分辨率远高于文字，1 分钟语音会展开成大量音频记号。论文把每个音频位置的键和值都存在 KV 缓存里，长度为 N 时缓存随 N 线性增长，注意力计算和显存占用也随之增长，32K 音频记号时全量注意力已很沉重。
KV 检索的思路是缓存全部保留但每步只用其中 B 个。理想情况下 B 远小于 N，若选得准，计算量从正比于 N 降到正比于 B 加上挑选代表的开销。风险在于一旦漏掉关键帧，输出就会偏离，后文会基于偏离的隐状态继续选错。
KV 缓存 × KV 检索： KV 缓存指解码时为避免重复计算而保存的每一步键和值，随音频变长而迅速膨胀；KV 检索指完整保留这份缓存但每步只挑与当前查询相关的一小部分做精确注意力，用少量计算逼近全量注意力的输出，二者组合的意义是以保留全部信息为前提换取按需计算。
已有 KV 节省路线与本文检索定位有何不同
论文把相关工作分为 3 类。第一类是删除，用新近性或累积注意力分数永久丢弃一部分缓存条目，代表有 StreamingLLM 和 H2O 一类方法。丢弃后无法恢复，若早先被认为不重要的 1 帧后文又需要，就会永久丢失。
第二类是检索，完整保留缓存但每步动态选子集，包括按固定时间页选择的 Quest、按均值加离散修正选页的 UNIQUE、按键相似度聚类的 ClusterKV，以及粗到细搜索和近似最近邻索引。它们大多为文本设计，检索单位固定且每步重新计算选择。
第 3 类是语音专用压缩，如学习池化冗余语音 KV 的 SpeechKV、分块加滑窗的 Murmur、限制解码器音频注意范围的 TRADE，以及需要约 40% 保留率才接近无损的 AudioKV。论文指出这些方法属于删除聚合或架构约束，与按查询动态检索处于不同工作点，本文只研究后者并强调非连续键空间单元加跨步持续自适应是与 UNIQUE 等页方法的区别。
选错一小部分为什么会让整段转写跑偏
论文用长语音识别例子说明失败形态。检索轨迹起初沿着与转写对齐的音频区域推进，但在第 276 步附近突然跳到靠后的音频段，之后生成的转写失去与语音的对齐并提前输出结束符，而全量注意力本应继续沿斜带推进。
要理解这个读图任务，先看横轴是生成步、纵轴是音频位置，绿色是全量注意力的主推进带，红色是检索实际跟随的位置。前段红绿重合说明选对了，后段红色竖直上跳说明选错了，下方转写对照显示绿色继续写 steamed perhaps 而红色提前结束。
看图路径： 1. 对比绿色全量注意力带与红色检索轨迹在前段的重合情况；2. 找到灰色虚线 EOS@276 处红色轨迹的纵向跳变；3. 对照下方转写由继续生成变为提前输出结束符的差异
论文图 3。原论文 Figure 3:：“Retrieval-induced generation drift. The retrieval trajectory initially follows the relevant audio region but later jumps forward, causing the transcript to lose alignment and…”。
该图确实可见红色曲线长期贴合绿色斜带并在虚线处向上折断，下方红色分支提前出现结束符，绿色分支继续生成。这帮助理解检索误差不是孤立的一步变差，而是改变隐状态和下一个查询从而改变下一次选择，形成自回归放大的漂移。
论文用保留质量形式化单步扰动。记 R 为非音频上下文加被选音频位置的集合，rho 为该集合在全量注意力中的权重和，扰动等于漏掉的质量乘以保留与漏掉两部分值向量加权平均的差异。
\[\widetilde{\mathbf{o}}_{t}-\mathbf{o}_{t}=(1-\rho_{t})\mathbf{d}_{t},\]该式要约束的是同一查询下全量子集注意力的输出差，关键符号 rho 是标量保留质量，d 是两部分值表示差异向量，下标 t 表示解码步。漏掉同样权重时若值差异大则扰动更大，而在 K 个音频预算下选全量权重最大的 K 个可最大化 rho 并最小化该上界，这就是检索的预言机目标，实际方法只能用分组代表去逼近它。
检索诱发的生成漂移 × 保留注意力质量： 保留注意力质量指被选中的位置在全量注意力中所占的权重和；检索诱发的生成漂移指一次漏选导致注意力输出偏差并经自回归放大为后续检索选错和文本跑偏的连锁过程，提高保留质量就是直接减小单步扰动上界从而切断漂移的起点。
C3 的整体流程如何把粗选和细算分开
C3 的全称是 Cluster–Compete–Compete，对应 3 个 C：内容聚类、查询头竞争预算、自适应竞争分辨率。输入是每层每个 KV 头的全部音频键值，输出是每步至多 B 个被选中的音频 KV 供精确注意力使用，非音频提示和已生成词仍走原始全量路径。
流程沿一个样本可分为预填充建树、按步打分排序、按序取够 B 个做精确注意力、更新分辨率 4 步。预填充时对音频键做递归二分 k 均值形成二叉层次树，每个节点用质心代表其下所有键。解码开始时取中间一层的 A 个节点作为活动前沿，保证每个音频帧恰属于一个活动节点。
下面的总览图把下部 CPU 的树与上部 GPU 的匹配选择对应起来，颜色表示簇归属，箭头表示查询与质心匹配后收集 KV 再回头调整前沿的过程，适合先建立整体分工再看细节公式。
看图路径： 1. 先看底部 Keys 到 L1 到 L3 的树形归组，确认细粒度在下粗粒度在上；2. 再看上部查询头与彩色质心的匹配箭头如何选出绿色簇；3. 最后看右侧 Gather 箭头如何把选中簇的 KV 送入注意力并回头做合并与分裂
论文图 1。原论文 Figure 1:：“Overview of C3. Audio KVs are organized into a hierarchical key-space index.”。
图中确实可见底部 Keys 上方有多层质心连线，上部查询头与橙蓝绿质心相连并框出绿色为胜者，右侧收集条与自下而上的 Gather 箭头相接，同时标注合并橙蓝分裂绿色的更新。这说明 C3 把打分用的粗代表和精确计算用的细 KV 分开，前者只算 A 个质心相似度，后者只算至多 B 个选中位置，从而把每步开销控制在 A 加 B 的量级。
为什么同一 KV 头的查询头要共用一份预算
在分组查询注意力下，多个查询头共享一个 KV 头。若给每个查询头独立且相当的预算，分散注意力的头会占用大量名额，而真正集中的头漏掉一个高权重位置就会损失很多保留质量。
论文展示的注意力分工热力图可以印证这一点。图中行是不同 KV 头，列是同一组内的不同查询头，横轴是生成步、纵轴是音频位置，亮点表示峰值注意力权重高的位置。可见有的 KV 头长期跟踪推进前沿，有的几乎全暗，而在活跃的 KV 头内部分查询头亮线集中重叠，另一部分则弥散。
先按读图任务观察活跃头内亮线的重合度，再比较不同 KV 头之间的明暗差异，就能理解为何检索决策应在 KV 头之间保持独立而在组内共享。
看图路径： 1. 横向比较同一 KV 头内不同查询头的亮点集中程度；2. 纵向比较 KVH 2 与其他 KV 头在整段生成中的活跃差异；3. 注意颜色条峰值注意力权重从深蓝到浅黄的变化含义
论文图 4。原论文 Figure 4:：“Attention specialization across KV and query heads.”。
该图确实可见第三行 KV 头内多列都出现清晰的斜亮线且位置相近，而其他行大多黑暗或只有零星暗点，右侧颜色条标示峰值权重从深蓝到浅黄的变化。这对应正文报告的集中组约占三分之一查询头、归一化熵约 0.40 对 0.79、音频注意力质量占比约 85% 对 12% 的分化，以及集中头之间顶部位置高度重叠的现象。
分组查询注意力 × KV 头： 分组查询注意力指多个查询头共享同一个 KV 头的键值结构；KV 头是被共享的那一份音频键值，查询头是发出检索请求的多个视角，C3 让属于同一 KV 头的查询头共同竞争同一份检索预算而不是各拿各的预算，从而把有限名额让给最集中的匹配。
落实到计算，C3 对每个活动节点只算它与组内最匹配的查询头的余弦相似度，取最大而不是平均，这样任何一个强匹配都能把该簇推上去，避免被分散头的低分平均掉。
\[\sigma_{t,n}=\max_{g\in[G]}\widehat{\mathbf{q}}_{t}^{(g)\top}\widehat{\mathbf{c}}_{n},\]该式要计算的是活动节点 n 在当前步 t 的得分，符号 q 为归一化查询向量，c 为归一化质心向量，上标 g 遍历组内 G 个查询头，下标 n 遍历活动前沿。先形成每个查询头与质心的点积，再跨查询头取最大，得到全组共用的一份簇排序，随后按该排序依次消耗 B 个名额，组内所有查询头共享同一份选出的至多 B 个音频 KV。
为什么检索单位不能只取连续时间段
语音注意力虽有随生成推进的主带，但高权重位置并不都落在主带里。论文报告在前 64 名注意力中落在主带之外的比例识别为 34%、翻译为 29%、摘要高达 78%，若只取主带连续区间会系统性漏掉大量高权重支持。
即使在主带附近，注意力也是碎片化的。放大图显示相邻帧并非帧帧重要，而是若干分离位置被点亮，时间上相邻的键并不天然构成好的检索单位，连续块会把中间的低权重帧一起带进来浪费预算。
观察时先看大图绿色主带与红色离带点的疏密，再看局部放大框内横条的断续排列，就能体会连续块与稀疏支持之间的错位。
看图路径： 1. 先看大图绿色主带随生成步推进的走向与红色离散点的分布；2. 再看右下放大框内绿色与红色横条在相邻帧上的间隔出现；3. 体会为何只取连续时间段会漏掉或多带不相关帧
论文图 5。原论文 Figure 5:：“Full audio attention during long-form decoding.”。
该图确实可见绿色主带从左下向右上延伸而红色点散布在带外，右下放大框内绿色与红色横条在纵向音频索引上交替出现而非整段连续。这支持用键表示相似性而非时间邻近性来分组，因为表示相似的键对同一查询往往得分相近，即使时间相隔很远也可共享一个检索单位。
键空间聚类 × 时间块检索： 时间块检索按音频时间先后切出连续片段作为检索单位；键空间聚类按键向量本身的相似程度把时间上可能相隔很远但查询响应相似的位置归为一组，C3 采用后者是为了容纳非连续的高注意力支持，避免把不相关的中间帧一起带进来。
C3 因此在预填充阶段按音频键做递归二分 k 均值，每层每个 KV 头独立建树，节点质心作为该簇的代表。初始活动前沿取平均粒度约 16 的一层，平均节点大小在不同可用分辨率上为 32、16、8、4 个音频记号，检索时只打分 A 个质心，选中簇的成员继承其祖先得分再截取至多 B 个，从而实现非连续但响应相似的位置共享同一决策。
分辨率如何在生成过程中跟着相关区域走
若全程保持最细粒度，需要维护和打分大量代表；若全程保持粗粒度，又会在关键区域把不相关成员一起带入。论文利用的信号是高注意力区域随步缓慢变化，识别任务上相隔 1、2、4、8 步的前 64 交集均值分别为 0.58、0.46、0.34、0.24，翻译和摘要也有类似衰减，音频相关头的峰值位置每步中位移动约 4 个音频帧即 0.3 秒。
C3 用指数滑动平均跟踪每个活动节点与最近查询的匹配强度，越是持续被强匹配的节点越优先获得细化。更新时每次做 R 组配对交换，每组把一个高优先级节点替换为它的两个孩子，同时把 1 对低优先级兄弟节点合并回父节点，前沿总数 A 保持不变，只是细粒度从无关区搬到相关区。
活动前沿 × 分裂合并更新： 活动前沿指当前划分音频的全部代表节点的集合，每个音频帧恰属于其中一个节点；分裂合并更新指每步把最相关的节点拆成两个更细的子节点同时把最不相关的一对兄弟节点合并回父节点，前沿总数不变但细粒度被搬运到当前相关区域，不增加代表总数就能提高局部精度。
该状态更新的计算是新旧得分的加权平均，当前相似度权重为 1 减 lambda，历史状态权重为 lambda，新激活的子节点继承父状态、新父节点取孩子状态的最大值。
\[e_{t,n}=\lambda e_{t-1,n}+(1-\lambda)\sigma_{t,n}.\]该式要约束的是分辨率调度的记忆长度，符号 e 为节点相关度的平滑估计，sigma 为上一步公式得到的最大余弦得分，下标 t 为解码步，lambda 为平滑系数，R 为每步配对交换数。默认 lambda 为 0.5、R 为 2，lambda 为 1 时退化为不再吸收当前得分而无法跟随新区域，论文消融显示该设置最差。分裂合并候选经掩码最大最小归约选出而不排序，全部写入固定形状缓冲以便用 CUDA 图捕获。
本文训练了什么以及实际执行了哪些计算
本文没有训练任何语音大模型，也不修改模型结构与权重，属于免训练的推理期检索方法。4 个被测模型直接沿用已有权重，所有评估在 BF16、批量为 1、贪婪解码温度为 0 下运行，提示词在同一任务内对所有检索方法保持相同。
实际执行的计算分为离线建树和在线检索两部分。离线部分对每层每个 KV 头做递归二分 k 均值，每次分裂做 8 轮迭代、随机种子为 0，查询与质心都做归一化后算余弦相似度。在线部分每步计算 A 个质心得分、排序截取至多 B 个音频位置、用 Triton 内核算集到分页缓存的音频槽并用 FlashInfer 做精确注意力，非音频与生成词仍走原缓存路径。
需要说明的缺口是原文未报告建树本身的耗时占比与不同 k 均值初始化的方差，只固定种子为 0 并固定提示词与样本，因此复现时应先固定这三者再比较检索预算的影响，不要把随机性误读为方法差异。
在什么模型任务与预算下比较检索方法
评估覆盖 4 个语音大模型：Qwen3-Omni-30B-A3B、Qwen2.5-Omni-3B、Gemma-4-E4B、Voxtral-Mini-3B，主实验用单张 NVIDIA H200，效率对比还用 Ada 6000 以对齐 ClusterKV 的设置。任务包括 LibriSpeech-Long 长英文识别、多语 LibriSpeech 拼接的约 4 分钟多语识别、LongSpeech 上的六语翻译与首个分区的摘要，以及 AudioMarathon、MMAU-Pro、MSP-Podcast 等理解任务。
指标方向为识别用词错率越低越好，翻译用 chrF 越高越好，摘要用 ROUGE-L 越高越好，理解用准确率与宏平均 F1 越高越好。目标预算 B 定义为每 KV 头每层每步访问的不重复音频 KV 数，比较时对独立选子集的基线按去重后并集大小校准到 128、256、512、1024，共享选择的 UNIQUE 与 C3 变体直接以 B 为目标，默认检索粒度为 16。
基线包括全量注意力、固定时间页的 Quest、按均值加偏置选页的 UNIQUE 即 Quest 均值加偏置加共享竞争、键空间静态聚类的 ClusterKV 即 C1，以及在两种基底上叠加共享竞争与自适应分辨率的变体。检索只作用于音频 KV，音频长度不超过 B 时直接旁路检索。
小预算下谁还能跟住长语音
比较问题是在相同去重后音频 KV 预算下，哪种检索在识别翻译摘要上更接近全量注意力，重点看 128 与 256 的紧预算。公平条件是同一模型同一样本同一提示同一步贪婪解码，指标方向为词错率越低越好、chrF 与 ROUGE-L 越高越好。
| Qwen3 Omni 30B A3B | ||||
|---|---|---|---|---|
| Full | 2.02 | 4.83 | 74.75 | 25.52 |
| C1 (ClusterKV) | 180.94 | 75 | 25.91 | 24.06 |
| +C2+C3 | 7.07 | 10.05 | 55.79 | 24.71 |
上表截取紧预算四列，行保留全量、静态键空间聚类与完整 C3，可见紧预算下静态聚类在多模型上崩溃而完整 C3 大幅挽回。在 Qwen3-Omni 上 128 预算的长英文识别词错率从静态聚类的 180.94% 降到完整 C3 的 7.07%，256 预算的多语识别从 75.00% 降到 10.05%，256 预算的翻译 chrF 从 25.91 升到 55.79，摘要 ROUGE-L 从 24.06 升到 24.71。代价是仍未完全达到全量的 2.02%、4.83%、74.75、25.52，且在 Qwen2.5-Omni 的 128 预算下完整 C3 仍有 40.48% 词错率，说明紧预算结论依赖模型与任务，不能推广为所有长语音都可用 128 预算。
大预算下差距是否缩小
比较问题是把预算放宽到 512 与 1024 时，检索与全量的差距是否收窄，以及自适应分辨率是否还有额外价值。条件与指标方向与上一节相同，只是每步允许访问更多不重复音频 KV。
| Qwen3 Omni 30B A3B | ||||
|---|---|---|---|---|
| Full | 2.02 | 4.83 | 74.75 | 25.52 |
| C1 (ClusterKV) | 2.81 | 5.62 | 70.15 | 24.91 |
| +C2+C3 | 1.98 | 5.18 | 71.96 | 25.29 |
上表切换为大预算四列，行同样保留全量与两种检索，可见差距明显收窄但紧预算的排序依然有参考价值。该表显示在 512 与 1024 预算下完整 C3 在 Qwen3-Omni 上长英文识别为 1.98% 与 1.98%、多语为 5.39% 与 5.18%、翻译为 67.05 与 71.96、摘要为 24.76 与 25.29，已接近全量，但在部分设置下自适应分辨率相对仅共享竞争略有回退。限制是 Quest 因 16 记号页粒度无法达到 128 目标，大预算的接近全量不代表短回答理解任务也有同样大的增益，后文理解表将验证这一点。
短回答理解任务是否也受益
比较问题是当答案很短、自回归放大机会较少时，检索是否仍接近全量。条件同样是相同模型与样本，理解指标越高越好。
| Qwen3 Omni 30B A3B | ||||
|---|---|---|---|---|
| Full | 83.3 | 61.8 | 57.9 | 37.2 |
| C1 (ClusterKV) | 80.2 | 60.3 | 54.3 | 31.3 |
| + C2C3 | 81.4 | 60.9 | 58.1 | 37.1 |
上表给出 Qwen3-Omni 在理解任务上的 128 与 256 预算结果，行保留全量、静态聚类与完整 C3，可见差距远小于长生成任务。在理解任务上 128 与 256 预算的完整 C3 分别为 AudioMarathon 81.4% 与 82.3%、MMAU-Pro 60.9% 与 61.3%、情感准确率 58.1% 与 58.0%、宏平均 F1 37.1% 与 37.3%，与全量的 83.3%、61.8%、57.9%、37.2% 相差仅几点，且共享竞争贡献了大部分提升，自适应分辨率增益较小。这与长生成的漂移机制一致：步数少则误差不易累积，分辨率跟随的价值就小。反例是 Voxtral 的 AudioMarathon 上时间基线掉到约 35% 到 45% 而完整 C3 回到 74% 到 76%，说明基底差异在某些模型上仍很大。
找针任务与延迟表现如何
本表比较 4 种语音大模型在音频 KV 检索预算为 128 和 256 时的理解与问答表现，覆盖 AudioMarathon 六子集平均准确率、MMAU-Pro 准确率以及 MSP-Podcast 情绪识别准确率与宏 F1，数值越高越好，加粗为各模型各列下最优检索结果。
| AudioMarathon | AudioMarathon | MMAU-Pro | MMAU-Pro | MSP/acc | MSP/acc | MSP/F1 | MSP/F1 | |
|---|---|---|---|---|---|---|---|---|
| KV | 128 | 256 | 128 | 256 | 128 | 256 | 128 | 256 |
| Qwen3 Omni 30B A3B | Qwen3 Omni 30B A3B | Qwen3 Omni 30B A3B | Qwen3 Omni 30B A3B | Qwen3 Omni 30B A3B | Qwen3 Omni 30B A3B | Qwen3 Omni 30B A3B | Qwen3 Omni 30B A3B | Qwen3 Omni 30B A3B |
| Full | 83.3 | 83.3 | 61.8 | 61.8 | 57.9 | 57.9 | 37.2 | 37.2 |
| Quest | – | 79.2 | – | 57.9 | – | 54.8 | – | 33.1 |
| Quest/mean | 78.1 | 80.0 | 57.0 | 59.3 | 53.9 | 56.4 | 30.4 | 34.7 |
| + C2 | 79.9 | 81.3 | 58.9 | 59.9 | 57.3 | 57.8 | 36.1 | 37.0 |
| + C2C3 | 80.5 | 81.7 | 59.5 | 60.2 | 57.4 | 57.9 | 36.1 | 37.0 |
| C1 (ClusterKV) | 80.2 | 81.8 | 60.3 | 61.4 | 54.3 | 56.7 | 31.3 | 35.6 |
| + C2 | 80.9 | 82.1 | 60.7 | 61.2 | 58.0 | 58.0 | 37.3 | 37.3 |
| + C2C3 | 81.4 | 82.3 | 60.9 | 61.3 | 58.1 | 58.0 | 37.1 | 37.3 |
| Qwen2.5 Omni 3B | Qwen2.5 Omni 3B | Qwen2.5 Omni 3B | Qwen2.5 Omni 3B | Qwen2.5 Omni 3B | Qwen2.5 Omni 3B | Qwen2.5 Omni 3B | Qwen2.5 Omni 3B | Qwen2.5 Omni 3B |
| Full | 82.6 | 82.6 | 54.5 | 54.5 | 50.4 | 50.4 | 32.2 | 32.2 |
| Quest | 73.5 | 77.9 | 48.7 | 51.2 | 47.7 | 48.4 | 25.2 | 28.7 |
| Quest/mean | 74.0 | 76.4 | 51.3 | 53.1 | 47.7 | 48.2 | 28.4 | 30.4 |
| + C2 | 78.8 | 80.0 | 53.5 | 54.3 | 49.0 | 50.0 | 31.1 | 32.0 |
| + C2C3 | 80.6 | 81.3 | 53.6 | 54.5 | 49.4 | 50.0 | 31.2 | 31.9 |
| C1 (ClusterKV) | 81.3 | 82.2 | 54.1 | 55.6 | 47.0 | 47.5 | 29.1 | 30.9 |
| + C2 | 82.1 | 82.3 | 55.8 | 56.1 | 49.4 | 50.0 | 32.2 | 32.0 |
| + C2C3 | 82.1 | 82.4 | 55.0 | 55.9 | 49.4 | 50.1 | 31.8 | 32.1 |
| Gemma-4-E4B | Gemma-4-E4B | Gemma-4-E4B | Gemma-4-E4B | Gemma-4-E4B | Gemma-4-E4B | Gemma-4-E4B | Gemma-4-E4B | Gemma-4-E4B |
| Full | 78.0 | 78.0 | 46.9 | 46.9 | 50.8 | 50.8 | 28.0 | 28.0 |
| Quest | – | 73.0 | – | 42.8 | – | 50.1 | – | 25.8 |
| Quest/mean | 72.7 | 73.3 | 45.3 | 46.3 | 50.2 | 50.7 | 26.1 | 27.2 |
| + C2 | 74.2 | 75.3 | 46.3 | 47.1 | 50.7 | 50.8 | 27.4 | 27.7 |
| + C2C3 | 74.9 | 75.9 | 46.4 | 46.9 | 50.7 | 50.8 | 27.2 | 27.8 |
| C1 (ClusterKV) | 74.7 | 76.7 | 45.8 | 46.1 | 50.6 | 50.8 | 26.8 | 27.6 |
| + C2 | 76.4 | 76.7 | 47.0 | 46.9 | 50.7 | 50.8 | 27.7 | 27.9 |
| + C2C3 | 76.2 | 76.7 | 47.3 | 46.7 | 50.7 | 50.8 | 27.7 | 27.9 |
| Voxtral Mini 3B | Voxtral Mini 3B | Voxtral Mini 3B | Voxtral Mini 3B | Voxtral Mini 3B | Voxtral Mini 3B | Voxtral Mini 3B | Voxtral Mini 3B | Voxtral Mini 3B |
| Full | 78.8 | 78.8 | 42.0 | 42.0 | 45.9 | 45.9 | 22.6 | 22.6 |
| Quest | – | 44.9 | – | 35.0 | – | 43.6 | – | 10.8 |
| Quest/mean | 38.5 | 38.8 | 35.6 | 38.0 | 43.8 | 45.4 | 12.9 | 19.0 |
| + C2 | 34.3 | 53.5 | 37.4 | 38.8 | 45.5 | 46.1 | 18.2 | 21.5 |
| + C2C3 | 47.9 | 60.0 | 37.4 | 38.8 | 45.6 | 45.9 | 18.7 | 21.1 |
| C1 (ClusterKV) | 70.4 | 74.9 | 37.0 | 39.3 | 45.8 | 46.6 | 17.9 | 22.4 |
| + C2 | 72.6 | 74.9 | 39.4 | 40.5 | 46.5 | 46.5 | 21.0 | 22.9 |
| + C2C3 | 74.2 | 75.6 | 39.1 | 40.8 | 46.2 | 46.4 | 19.6 | 21.9 |
上表显示多数设置下检索结果与全量注意力相差 few points，共享查询头竞争在时域分组和内容聚类上都带来主要提升，完整 C3 在多数列为最优或并列最优，差距最清晰的是 Voxtral 的 AudioMarathon，时域基线约 35% 到 45%，内容聚类加共享竞争恢复到 74% 到 76%，全量为 78.8%，这些任务答案序列较短，自适应分辨率的额外增益小于长文生成。孤立证据测试使用约 13 到 16 分钟含三处 7 位数字密码的 120 条样本，在 Qwen3-Omni 上 C3 用 32 个 KV 达 95% 精确匹配率，64 个 KV 无损恢复，而基线需数百个 KV 才接近，延迟测试使用 32K 音频上下文和 512 预算，短上下文检索因打分收集有额外开销，约 8K 音频记号起完整 C3 快于全量，超过 32K 的内存扩展为解析投影而非该长度的生成质量实测。
三个 C 各自贡献多少以及平滑与更新频率怎么选
论文把内容聚类记为 C1、共享查询头竞争记为 C2、自适应分辨率记为 C3，完整 C3 为三者叠加。附录大表在 128、256、512、1024 全预算下比较时间基底与键空间基底单独加 C2 再加 C3 的效果，总体趋势是 C1 一般优于固定时间分组但两者在最紧预算下都可能失效，C2 是最大且最稳定的增益，C3 在紧预算下额外增益最大而在大预算下边际缩小偶尔略低于仅 C2。
以 Qwen3-Omni 为例，时间均值基底在 128 预算长英文识别为 178.89%，加 C2 后降到 70.33%，再加 C3 到 35.12%；键空间基底从 180.94% 加 C2 到 24.12% 再到完整 7.07%。完整配置在 48 组模型任务预算中的 39 组为最好或并列最好，主文 32 组中的 31 组为最好，说明排序稳健但并非每组都最优。
超参数消融在 256 预算粒度 16 下扫 lambda 与每步交换数 R。lambda 为 1 意味着不再吸收当前相似度而前沿无法跟随新区域，为最差设置。Qwen3-Omni 对参数不敏感，默认 lambda 为 0.5、R 为 2 即为长英文识别最优的 1.98%；Qwen2.5-Omni 更敏感且偏好更弱平滑更快适应，长英文从默认 11.08% 到 lambda 为 0.2、R 为 4 的 8.75%，多语从 31.98% 到 lambda 为 0.0 的 26.55%。这提示复现时不要照搬默认，应在验证集上小范围扫 lambda 与 R。
这些结论在哪些范围内才成立
评估只覆盖 4 个语音大模型与所列长识别翻译摘要及理解任务，精度与效率权衡会随模型结构、音频编码器与生成设置变化。特别地，混合架构中全注意力层越少，可被优化的 KV 状态越少，检索收益自然变小。
系统性能依赖硬件与内核，测量基于单张 H200 与 Ada 6000，检索快于全量的约 8K 分界会随加速器与专用内核漂移。固定簇粒度下活动代表数随音频长度增长，极长上下文需更粗粒度或额外层次搜索，而 32K 以上的系统结果是内存与吞吐的解析预期而非该长度的生成质量实测。
未胜出与未评测的范围也应明确：大预算下完整 C3 相对仅 C2 偶有小幅回退，Gemma-4 找针残留约 3 个百分点差距，短 MSP-Podcast 是经两侧各补 2 分钟静音才放入长上下文，真实短语音延迟行为不在主结论内。缺证据不等于技术有错，只是不能把趋势推广到每一组结果或每一步。
复现第一步要固定什么以及到哪里找材料
复现第一步是固定可比性：同一模型权重、同一批样本、同一提示词、贪婪解码温度为 0、BF16 与批量为 1，并按去重后并集大小把基线校准到目标 B，共享选择的方法直接以 B 为目标。检索只作用于音频 KV，非音频与生成词走原路径，音频长度不超过 B 时旁路检索。
第二步是固定建树与调度：每层每 KV 头递归二分 k 均值 8 轮迭代种子为 0，查询与质心归一化后算余弦，初始前沿平均粒度为 16，默认 lambda 为 0.5、每步 2 组分裂合并，新子节点继承父状态、新父节点取孩子最大值。先在 256 预算上跑通长英文与多语识别，再扫紧预算与 lambda 与 R。
关于材料可得性，本次未发现来源绑定且完成验证的作者资源，不得声称代码模型或数据已公开。论文正文提到的方法细节与附录已足够复现算法逻辑，但权重下载、数据获取与可运行系统是三件不同的事，需分别按原文模型与数据集引用自行准备，不可混为一谈。
什么时候值得尝试 C3 以及还需要补什么验证
当任务是分钟级长语音的识别翻译摘要、音频 KV 远超显存或延迟预算、且观察到紧预算下转写提前截断或翻译漏段时，值得尝试完整 C3。预期是小预算下相对静态聚类与时间页方法有大幅挽回，大预算下接近全量，但短回答理解任务的增益较小，不必为此引入自适应调度的复杂性。
容易产生的误解有三点。其一，无训练不等于确定性求解，k 均值初始化、批量之外的系统噪声与贪婪之外的采样都会带来波动，固定种子只是控制变量。其二，共享预算不是让所有头平均用力，而是让最集中的头决定排序，分散头少占名额。其三，键空间聚类不是按语义理解音频，而是按键向量对查询的响应相似性分组，时间远但响应相似即可同组。
还需要补的验证是更长原生音频上下文的生成质量实测、其他音频编码器与混合架构的敏感性、建树开销在不同加速器上的分摊，以及 lambda 与 R 在翻译摘要上的联合选择。若只能做一项，建议先补紧预算下保留质量与最终指标的对应曲线，以确认漂移上界在新模型上是否依然是主要的失效解释。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses