Do We Need Distinct Representations for Every Speech Token? Unveiling and Exploiting Redundancy in Large Speech Language Models

英文题目：Do We Need Distinct Representations for Every Speech Token? Unveiling and Exploiting Redundancy in Large Speech Language Models

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.742

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#模型压缩 #语音大模型 #高效推理 #语音识别

评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

Bajian Xiang：机构信息未能从会议 PDF 纯文本可靠映射
Tingwei Guo：机构信息未能从会议 PDF 纯文本可靠映射
Xuan Chen：机构信息未能从会议 PDF 纯文本可靠映射
Yang Han：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

大型语音语言模型以每秒数十个语音token为输入、输出文本语义，其序列长度远超底层语义含量，导致预填充计算浪费与长语音首token时延高企。该工作先用基于词级强制对齐的预言干预在各层试探合并，定位浅层敏感而深层冗余的可压缩位置，其输出的层选择直接决定后续压缩落点。接着提出亲和池化，若当前token与回看窗口内最近token的余弦相似度超过阈值则归入活动组并均值池化，否则截断成组，从而自适应形成合并边界。再以双重亲和池化在输入层与深层各执行一次合并，前者削减全网计算量，后者最大化压缩率并保持高层语义完整。与固定降采样和均匀插值不同，该方法依据表征亲和度而非固定步长决定合并，更贴合语音信息非均匀分布。在Qwen2-Audio三任务基准下，激进配置DAP的ASR平均WER为2.95，高于Vanilla基线的2.94。该结论适用边界受限于识别问答与翻译等语义任务，尚未验证说话人音色韵律保真与噪声重叠超长对话外推，其推理开销表现为预填充计算量降至基线的72.52%且最终保留率仅14.91%。

🔗 开源与复现资源

演示资源：https://xchen-zero.github.io/speech-token-redundancy/ — 链接可访问（HTTP 200）可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，阅读时要保留什么？

本文输入是连续语音经编码器转成的音频序列加上文本指令，目标是让大语言模型主干完成识别、问答与翻译等语义任务。必须保留的信息有 3 类：实验用的模型与层数，压缩作用的层位与阈值，以及指标方向与聚合口径。输出是这篇解读按学习依赖重走方法与证据，不做超出原文的推广。

大语音语言模型，英文为 Large Speech Language Models，后文简称 LSLM，通常由语音编码器、对齐模块与大语言模型主干组成。语音 token，英文为 speech token，是语音编码器输出的序列单元。白话说，前者是整套系统，后者是系统内部按时间排开的语音小块。论文起点是常用每秒 12.5 到 25 个 token 的高 token 率保声学保真，结果是序列远长于实际语义内容，推理时要为大量冗余位置付费。

阅读时要盯住两个动作：先看作者如何证明冗余分层存在，再看如何把证明转化为推理时可用的压缩。所有数字都要同时核对数据集、模型、层位、指标与保留率，不能只记一个百分比。官方演示页当前可用，地址见资源声明，但正文事实仍以论文原文证据为准。

已有路线做了什么，本文在什么条件下与它们比较？

相关工作分两条线。第一条是语音大模型本身，按编码器哲学分为连续式、离散式与混合式，例子如直接提取声学特征的连续编码器、把语音量化的离散编码器、以及两者结合的混合方案。它们的共同点是都倾向高 token 率，暗示冗余普遍存在。第二条是多模态大模型的序列压缩，视觉语言模型已有基于注意力的剪枝与基于相似度的合并，甚至从启发式走向可解释的选择。

语音侧压缩仍较少，已有尝试多在语言模型输入前做注意力引导剪枝或可学习聚合，或直接搬视觉方法处理频谱图，或只在特殊结构中压缩。论文明确指出缺口是冗余在层间分布未知，导致不知在何处、以多大力度压缩。本文对照讲究同输入同目标同运行阶段：比较都在同一模型与同一保留预算下比较可运行策略，不把类别差异当同条件胜负。

后续固定预算对比中，信号级加速与线性插值作为信号无关基线，与相似度合并在相同输入层与相同保留比例下比较，这才是公平的压缩能力比较。这种对照设计避免了用不同预处理或不同解码设置制造的虚假优势。

要回答的核心问题：每个语音 token 都需要独立表示吗？

核心问题是稠密 token 化是否必要。具体化为 3 个可操作问题：冗余是否随层加深而增长，中间层是否处于声学到语义的过渡态，以及冗余是随机还是有时间结构。论文把可恢复性定义为压缩后能否经自动语音识别任务还原原文，用词错误率度量。为分离语义丢失与退化解码，还引入截断后的误差指标。

举一个教学例子，不代表实测数值：假设一句话对应几十个音频位置，若在深层只留 1/4 仍能正确解码，则说明深层不需要每个位置都独立。论文正是把这类直觉变成逐层单点干预实验。干预只改音频隐状态而保留文本隐状态，下一层处理缩短后的拼接序列，从而把性能变化归因到被压缩的那一层。

这个问题的难度在于层间表示不断变化，同一压缩在浅层与深层含义不同。因此作者先用外部对齐做受控探针，再用无监督相似度做可部署方法，两步回答何处可压与如何去压。

方法全景：先用外部对齐探针定位，再用相似度压缩落地

全景分两步。第一步是解剖，用单词级时间戳做外部对齐，把音频流按词划分语义窗，每个窗压缩到固定预算，再看识别能否恢复。第二步是落地，提出按特征余弦相似度无监督合并的方法，并在输入层与深层各做 1 次得到双阶段版本。

Oracle 干预 × Affinity Pooling： Oracle 干预分工是用外部单词时间戳划分语义窗并做受控丢弃或合并以度量各层可恢复性，Affinity Pooling 分工是用余弦相似度无监督决定相邻表示是否合并，搭配原因是前者先回答何处可压缩后者再回答如何不依赖标注实现压缩，组合后新增的含义是把有监督探针发现的分层规律转化为推理时可部署的训练无关算法。

下图是外部对齐干预的框架，理解它才能理解后文所有层曲线。左侧是整体前向路径，右侧是 3 种算子的局部放大，阅读时注意干预只发生在单层而不改动其他层。

看图路径： 1. 先沿底部波形到语音编码器再到多层变换器的主路径看序列流向；2. 再看中间干预点如何只压缩音频隐状态而保留文本隐状态；3. 最后对比右侧三种算子对同一语义窗的不同保留方式

论文图 1。原论文 Figure 1：“Framework of oracle intervention experiments. We align audio tokens to semantic units and apply compression operators to a single layer at a time to investigate redundancy.”。

图中左侧底部是文本编码器与语音编码器，语音波形先变成音频位置，蓝色为文本位置，米色为音频位置，虚线框为被丢弃位置。中间红色干预箭头表示第 l 层音频隐状态被压缩为更短序列后送入第 l 加 1 层。右侧三行分别是随机丢弃、均匀丢弃与均匀合并在保留数为 2 时的示意，语义窗用虚线分组标出。均匀合并把每组内向量取平均而非直接删除，这是后文合并优于丢弃的关键伏笔。

三个压缩算子与相似度动态各自分工是什么？

外部对齐阶段的 3 个算子分工不同。随机丢弃，英文为 Random Drop，随机采样保留位置，用于检验无结构假设。均匀丢弃，英文为 Uniform Drop，按固定步长采样，保留时间结构。均匀合并，英文为 Uniform Merge，把窗内等分为若干箱并做均值池化，保留被删位置的分布式信息。三者在相同保留预算下比较，原文在不同模型上按帧率换算为相同比例。

大语音语言模型 × 语音 token： 大语音语言模型分工是把语音编码器输出与文本指令一起送入大语言模型完成语义推理，语音 token 分工是作为两者之间的按时间排开的序列载体，搭配原因是高 token 率带来长序列与高计算负担，组合后新增的含义是只需在语音 token 层面做压缩就能降低主干计算而不改动模型权重。

为解释为何深层可压缩，作者跟踪 3 类余弦相似度：邻居相似度、全局均值与词内最大相邻相似度。下图显示它们的层间演化，重点不是绝对值而是升降阶段与相对关系。

看图路径： 1. 先看横轴层索引与纵轴余弦相似度的整体上升趋势；2. 再定位中间段邻居相似度下降的第二阶段凹陷；3. 最后对比词内最大相似度在深层的高位与全局均值走向

论文图 4。原论文 Figure 4：“Layer-wise cosine similarity dynamics for Qwen2-Audio and Kimi-Audio.”。

图中左右分别为 2 个模型，横轴为层索引，纵轴为余弦相似度。无监督指标呈上升、下降、再上升的 3 个阶段，中间下降段对应表示重组期。词内最大相似度整体上行并在深层见顶，顶部全局均值也很高，说明深层把同一语言单元内的位置映射为高度相似向量，这为激进合并提供了表示基础。另一模型在第 3 阶段有所回落，原文解释与其特定层被复用于声学解码的设计有关。

沿一个样本走完流程有助于建立直觉：波形先被切分为稠密音频序列，浅层保留细粒度声学起伏，中间层开始重组，深层把同词或多词映射为相近向量。此时按相似度合并相邻向量，只是把已相近的表示取平均，而按固定步长删除则可能砍掉关键音素。

本研究训练了什么，没有训练什么，真实计算是什么？

本研究没有训练或微调任何语音大模型，也没有学习新的压缩模块权重。需要明确说明的缺项是：不存在优化器、梯度路径、损失函数与参数更新，冻结与更新的划分不适用。真实计算全部发生在推理与分析时，分为两类过程。

第一类是分析性计算：用强制对齐工具离线得到词时间戳，按层逐个做干预并用贪心解码生成转写，最长生成 256 个 token，在测试集上计算误差。第二类是部署性计算：相似度合并在前向过程中按算法扫描序列，当前向量与回看窗内最近若干向量算余弦相似度，超过阈值则并入当前组，否则把当前组均值池化后输出并开启新组。该过程无训练无梯度，只是推理时的序列重写。

超参数按原文固定为：主模型输入层与第 29 层分别作用，激进配置输入阈值 0.8 深层阈值 0.7，保守配置输入阈值 0.9 深层阈值 0.8，回看窗输入层取 1 深层取 3。阈值越大保留越多，阈值越小压缩越激进。阈值与窗口共同决定压缩率与精度的权衡。

在什么数据、模型与指标下测量，条件如何保持一致？

模型为 32 层每秒 25 个 token 的主模型与 28 层每秒 12.5 个 token 的另一模型。解剖实验用英文朗读测试集，干预以 5 层为间隔逐层单点进行。下游评估覆盖 3 类语义任务：识别用中文带噪集与英文干净与困难划分，以词错误率评价；问答用长音频推理、真实口语查询与合成 trivia，以准确率评价，其中正确性由大模型判分接受改写；翻译用英中与中英方向，以 BLEU 评价。效率侧报告预填充计算量与最终保留率，最终保留率指全部压缩阶段后剩余音频比例。

词错误率 × 截断词错误率： 词错误率分工是如实记录包含重复循环等退化解码的全部编辑代价，截断词错误率分工是对单样本误差做上限截断以隔离语义损失与解码失稳，搭配原因是中间层易出现循环导致标准指标虚高，组合后新增的含义是两者并列才能区分表示真的丢失语义还是解码器陷入循环。

一致性做法是：同一模型内比较压缩与未压缩基线，固定预算对比时强制所有方法保留相同比例，延迟与显存测量固定在单卡与相同时间分桶。需要保留的细节是：问答评估依赖模型判分而非精确匹配，翻译在另一模型中英方向基线本身接近零分，不能把低分归因于压缩。硬件预算与采样数按原文交代，长中短分桶各取 100 条，关注首 token 时间与动态显存增量。

分层冗余的证据：深层为何敢大幅压缩？

要回答的测量问题是压缩后语义可恢复性如何随层变化，比较条件是同一保留率下不同层与不同算子的误差，指标越低越好。下图是逐层外部对齐干预结果，横轴为层索引，纵轴为对数刻度误差，颜色表示保留率。

看图路径： 1. 先确认四面板分别为两模型在两种误差指标下的层间曲线；2. 再比较低保留率曲线在浅层高企到深层贴近基线的收敛行为；3. 最后区分中间层两种指标开口所指示的循环与幻觉问题

论文图 2。原论文 Figure 2：“Layer-wise oracle interventions on Qwen2-Audio and Kimi-Audio.”。

可见规律有三点。第一，冗余随深度单调增长，深层在仅保留约 1/4 时仍贴近基线。第二，中间层出现标准与截断指标的大开口，原文用解码实例说明这是重复循环、跨语言幻觉与语义漂移所致，表明中间层已抽象语义但未对齐词形。第三，均匀丢弃持续优于随机丢弃，均匀合并在 2 模型与各预算下误差最低，支持冗余具有时间结构且被删位置仍含可聚合信息。

Uniform Merge × Random Drop： Uniform Merge 分工是在每个语义窗内等分并做均值池化以保留被删位置的分布式信息，Random Drop 分工是随机采样保留以检验冗余是否无结构，搭配原因是两者在相同保留预算下对比可分离时间结构与随机冗余，组合后新增的含义是实验证明合并持续优于随机丢弃从而确认冗余 token 仍含可聚合信息。

下表是固定预算下输入层压缩的能力对比，比较问题是在相同保留比例下相似度合并是否优于信号无关方法，公平条件是同层同预算，指标为词错误率越低越好。

Vanilla	3.28	1.65	3.88	2.94
speedup	7.85	6.14	18.45	10.81
interpolate	3.52	1.79	4.34	3.22
APin	3.84	1.65	3.79	3.09
APin	4.04	2.21	4.42	3.56
APin	5.94	4.38	6.78	5.70

表中基线为未压缩，另两行是信号级加速与嵌入序列线性下采样，最后一行是本文输入层亲和合并。表后解释是预算越紧信号无关方法退化越快，信号加速在低预算下平均误差显著恶化，线性插值次之，而亲和合并在低预算下仍保持相对最低误差。代价是即使最优方法在低预算下误差也高于基线，说明输入层不能无限制压缩。未胜出项恰是固定下采样，它在稀疏区保留冗余而在稠密区丢掉音素细节。

主模型分算子分层的完整数字进一步支撑上述判断，比较问题是各层对随机与结构化压缩的敏感度差异，条件是同比例同层，指标为标准与截断误差。

25.67%	177.15	65.89	2.20	1.98	1.63	1.63
25.67%	141.13	58.21	2.38	1.91	1.63	1.63
Uniform 47.57%	23.78	17.29	1.79	1.79	1.64	1.64
25.67%	183.57	58.21	1.83	1.83	1.64	1.64
Uniform 47.57%	12.07	11.59	1.70	1.70	1.63	1.63

表后解释是浅层在低保留率下误差可达数十乃至上百，而深层在各算子下均接近基线；均匀合并在中间层的截断误差明显低于随机丢弃，说明合并保留了更多语义。反例是输入层均匀合并在最低保留率下误差仍高，表明浅层声学细节需要高保留预算。两类误差并列才能避免把循环误读为语义彻底丢失。

亲和合并的粒度、层位与窗口如何决定取舍？

消融要回答 3 个参数问题：阈值与层位如何权衡，输入层与深层的回看窗为何不对称，以及合并后的粒度是否真的从声学变为语义。下图是代表性语句的可视化，颜色为合并组，竖线为词边界，右侧数字为压缩后剩余数。

看图路径： 1. 先沿纵轴从浅层到深层看合并色块由碎变宽的过程；2. 再对照顶部单词边界竖线看深层单组跨越多词的现象；3. 最后核对右侧压缩后剩余 token 数随层加深而持续下降

论文图 5。原论文 Figure 5：“Visualization of Affinity Pooling (τ=0.7, ω = 3) on Qwen2-Audio (top) and Kimi-Audio (bottom).”。

图中顶部与底部分别为 2 个模型，测试句包含多个单词。可见浅层组碎而短，深层组宽而长，主模型在深层常把多个词并为一组，另一模型形成连续块。关键是该句在所有可视化层均保持零词错误率，说明组变宽并未丢失转写所需语义。像素能辨别的是组宽度与数量变化，不能精确读出每个位置的相似度数值，因此不硬写阈值外的数值。

APin × APdeep： APin 分工是在输入层做 1 次相似度合并以尽早缩短全网序列长度，APdeep 分工是在深层对已抽象的语义表示再做 1 次合并以压榨剩余冗余，搭配原因是浅层压缩节省全局计算而深层压缩容忍更激进阈值，组合后新增的含义是两者叠加为双阶段压缩并在效率与精度之间取得可配置的平衡。

另一模型的对应明细显示同样趋势，比较问题与指标方向相同，只是基线与层数不同，条件是同比例同层比较标准与截断误差。

25.67%	74.81	65.80	251.76	55.47	1.90	1.90
25.67%	66.73	61.91	199.48	48.80	2.13	1.88
47.57%	17.66	17.66	23.17	8.76	1.45	1.45
25.67%	54.32	51.48	8.09	5.73	1.47	1.47
47.57%	13.58	13.58	1.98	1.98	1.38	1.38

表后解释是该模型深层在各保留率下迅速恢复到基线附近，而中间层在低保留率下仍有高误差与循环风险。未胜出项是随机丢弃在中间层的高误差，它验证了无结构压缩在过渡态最脆弱。2 模型共同说明深语义层稳定、浅声学层敏感、中间过渡层最不稳定，因此压缩应跳过中间层。

下表整理论文直接报告的关键可运行数字，比较问题是双阶段与单阶段变体在精度与效率间的实际取舍，指标为保留率越低越省而误差越低越好。

配置	预填充计算量变化	深层压缩效果	输入层压缩效果
双阶段激进配置	降低 27.48%	保留 5.18%，误差 1.64%，基线 1.65%	保留 74.32%，误差 1.99%，对照 2.50% 保留 76.08%
保守与激进权衡	计算量降低较小	深层保留较高误差接近基线	输入层保留较高精度持平或略升

表后解释是主要收益是激进双阶段把预填充计算量减少约 1/4 以上，同时问答精度持平或略升；深层单点在低阈值时可把序列压到约 5% 而误差与基线相当；输入层以约四分之三保留取得低于外部对齐的误差，支持内在相似度比刚性词边界更能抓住本质信息。具体代价是激进输入压缩会扰动深层可利用的长程冗余，使双阶段最终保留率略高于仅做深层压缩；中间层在激进阈值下出现误差尖峰，最佳做法是跳过中间层。原文还报告长语音首 token 加速与动态显存节省，但这是特定硬件与分桶下的实测上限，不能推广为所有长度的承诺。

窗口消融显示输入层适合严格相邻而深层适合更宽回看，层敏感性显示输入嵌入层最稳而其后数层显著退化，深层则在宽阈值范围内稳定。这些共同支持非对称配置：输入层用小窗做初始缩减，深层用大窗做最大压缩。

哪些结论有边界，哪些量没有被测量？

论文直接报告的是语义任务上的可压缩性，有限解释是中间层不稳定源于声学到语义的重组，未验证推测是更动态的架构能按语义密度分配计算。必须区分的 3 类表述是：层曲线与下游数字是报告，深层相似度解释是支持，架构展望是可能且待验证。

明确边界有三处。第一，评估集中在语义导向任务，对细粒度声学细节的影响未充分探索，不能把语义保持等同于音质无损。第二，外部对齐依赖强制对齐的词边界，而边界只是近似，可能与真实声学过渡不完全吻合，会轻微影响压缩分析精度。第三，可比的开源语音压缩方法很少，固定预算对比主要针对信号处理基线，不能解读为对所有未来方法的胜负。

未测量的量包括误判率的统计显著性、逐样本延迟分布与训练成本，原文未给出这些量的改善承诺。总体趋势不等于每组都成立，例如深层在极低阈值下仍可能破坏关键对齐，阈值校准仍必要。相关性不等于因果，相似度高与可合并之间的机制仍需更多验证。

复现先做什么，需要保留哪些超参数与信息条件？

复现先做解剖再做压缩。第一步用离线对齐得到词时间戳，按 5 层间隔对单层做随机丢弃、均匀丢弃与均匀合并，贪心解码并同时记录标准与截断词错误率，复现随深度下降的误差曲线与中间层开口。第二步实现亲和合并扫描算法，固定回看窗与阈值，先在输入层与深层分别单点测试，再叠加为双阶段。

必须保留的关键超参数是：主模型输入层与第 29 层、输入窗 1 与深层窗 3、激进阈值 0.8 与 0.7、保守阈值 0.9 与 0.8；另一模型按其层数对应调整深层位置。信息条件是压缩只看音频隐状态的余弦相似度，不依赖词边界与额外训练。评估时保留数据集划分、贪心解码与最大长度、问答的模型判分提示词、翻译的语言方向，才能对齐数字。

代码与权重状态按资源声明判断：演示页当前可用，但不等于训练代码与权重可一键运行，复现前需确认论文仓库的可用性与模型下载方式。还需补的验证是在自有长语音上测首 token 时间与显存增量，并检查中间层跳过是否仍最优，避免把单硬件结论当通用收益。