📄 Compress the Cache, Not the Speech Embedding: KV Compression for Efficient Speech LLMs

#语音识别 #语音大模型 #模型压缩 #高效推理

7/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1/1.5

✅ 7/10 | 前50% | #语音识别 | #模型压缩 | #语音大模型 #高效推理 | arxiv

👥 作者与机构

• 第一作者：Ke-Han Lu（台湾大学，工作于Microsoft实习期间完成）
• 通讯作者：Keqi Deng（Microsoft, USA）
• 作者列表：
  • Ke-Han Lu（台湾大学 / Microsoft, USA）
  • Keqi Deng（Microsoft, USA）
  • Ruchao Fan（Microsoft, USA）
  • Rui Zhao（Microsoft, USA）
  • Jinyu Li（Microsoft, USA）

💡 毒舌点评

这篇论文的核心洞察——“在LLM内部压缩语音KV Cache，而不在Adapter层提前丢弃信息”——精准地抓住了Speech LLM推理效率的核心矛盾。实验证据链相当完整，从层间相似性分析（发现深层冗余）到注意力图可视化（验证浅层对齐前移），逻辑自洽。在4倍压缩下反超无压缩基线的现象足够吸睛，工业部署价值明确。然而，方法本质上是将通用的KV Cache压缩思想适配到语音场景，技术内核（学习门控+softmax池化）过于朴素，缺乏实质性的理论突破。实验仅限ASR任务和Qwen3-1.7B单一backbone，对于语音翻译、语音问答、情感识别等更依赖高层语义理解的语音任务完全未涉及，这使得其宣称的"高效通用Speech LLM方案"显得操之过急。与参数量更大的开源模型（如Phi4-mm）WER接近但未展开深度对比，略显可惜。整个故事虽好，但更像是为"在语音LLM内部而非外部压缩"这个idea精心设计的一场成功演示，而非具备普适性的方法论创新。

📌 核心摘要

1. 问题：Speech LLM中，语音编码器产生帧率远高于文本序列的嵌入（约3-4倍于同语义文本），导致自回归解码时KV Cache中语音部分占比极高，造成严重的内存和计算开销。传统方案（Adapter层压缩）提前丢弃时序细节，造成不可逆的信息损失，制约了ASR等任务的细粒度识别能力。
2. 方法核心：提出SpeechKV，将语音序列的压缩操作推迟到LLM内部执行。从LLM第5层（l0=5）开始，对每一层自注意力的键（K）和值（V）投影，使用一个可学习的线性门控+softmax加权池化，将每R个连续语音帧的K/V合并为1个代表向量。文本词的K/V和所有位置的查询（Q）保持全分辨率不变。
3. 新颖性：首次系统分析了Speech LLM的层间表示演变，通过量化相邻帧的局部相似度，发现前4层完成局部声学特征聚合后，深层帧间高度相似，为"在LLM内部深层而非Adapter层外部压缩"提供了有力的实证依据。通过专门设计HS Compression（连Q一起压缩）作为对比，精确分离并验证了"保留全分辨率Q"的核心价值。
4. 主要结果：

   方法	压缩比	In-house ER↓	In-house ASR↓	OpenASR↓
   MLP Baseline	1x	14.41	5.78	6.12
   Concat-MLP	4x	15.84	6.29	6.07
   Window Q-Former	4x	14.70	6.23	6.02
   HS Compression	4x	15.22	5.79	6.06
   SpeechKV	4x	13.46	5.71	5.98
   SpeechKV在4倍压缩下全面超越未压缩基线，在域外实体识别任务上相对提升6.6%，OpenASR基准提升2.3%。同时，在vLLM框架下实现1.49x-2.02x的解码加速，增益随输入音频长度增加而提升。

5. 实际意义：为Speech LLM的推理部署提供了一个轻量、即插即用的加速方案。该方法与模型训练流程及vLLM等主流推理框架兼容，在无需修改LLM主体架构的前提下，显著降低长语音场景的计算成本，具有明确的工业落地潜力。
6. 主要局限性：仅在ASR任务上验证，缺少对语音理解、翻译等更广泛任务的测试；仅基于Qwen3-1.7B一个LLM架构，其最佳压缩起始层的结论（l0=5）可能不具备跨模型泛化性；当压缩比R>8时，解码瓶颈从语音KV转移至FFN和文本KV，加速收益递减。

🔗 开源详情

• 代码：论文未提供代码仓库链接。
• 模型权重：论文未提及模型权重是否或何时公开。
• 数据集：训练数据均为公开数据集，总时长约71K小时，具体清单见论文Table I，各数据集可通过其原始文献引用获取。评估使用OpenASR Leaderboard的公开基准、内部的ASR和实体识别测试集。
• Demo：论文未提及交互Demo。
• 复现材料：论文提供了详细训练配置，但未提供训练脚本或模型检查点。
• 论文引用的主要开源项目：
  • Qwen3（https://github.com/QwenLM/Qwen3）
  • vLLM（https://github.com/vllm-project/vllm）
  • OpenASR Leaderboard（https://github.com/huggingface/open-asr-leaderboard）

🏗️ 方法概述和架构

SpeechKV的整体设计遵循“语音编码器–适配器–大语言模型”的三阶段范式，但其核心创新在于将压缩操作从传统的适配器层级推迟到大语言模型内部，从而在保留全分辨率语音嵌入的同时，显著降低自回归解码阶段的KV缓存开销。整个处理链路可概括为：输入语音信号首先经过语音编码器提取帧级声学特征，随后由不包含任何时序下采样的适配器投影到LLM的嵌入空间，与文本嵌入拼接后送入因果解码器；从LLM的特定中间层开始，对语音部分的关键张量和值张量施加可学习的加权池化，压缩后的KV张量参与后续所有层的注意力计算，最终通过下一词预测损失进行端到端优化。推理阶段，压缩操作仅在Prefill阶段执行一次，后续解码步直接复用压缩后的KV缓存，实现缓存大小和注意计算量的成倍缩减。

以下对各核心组件进行逐一剖析。

语音编码器负责将原始语音波形转换为具有丰富声学特征的时间序列表示。具体采用一个预训练的编码器–解码器自动语音识别模型中的编码器部分，其结构由3层卷积下采样和24层Conformer块串联组成。卷积下采样层将原始音频的采样率逐步降低，提取局部频谱特征并减少序列长度；Conformer块则结合自注意力与卷积的优势，捕获长距离声学依赖和细粒度局部特征。该编码器的工作帧率为每80毫秒产生一个特征帧，因此输入一段长度为T帧的语音x后，输出全分辨率的声学特征序列Z ∈ ℝ^{T×d_e}，其中d_e为编码器隐藏维度。这一高帧率输出的设计意图在于为后续LLM提供尽可能完整的语音信息，避免在早期阶段丢失对识别和语义理解至关重要的声学细节。

适配器是连接语音编码器与LLM的关键桥梁。本工作中，适配器由一个2层多层感知机构成，其核心设计选择是不执行任何形式的时序压缩或下采样。具体而言，适配器接收编码器输出的每一帧特征向量Z_t，通过两层全连接与非线性激活将其投影到LLM的输入嵌入空间，得到A ∈ ℝ^{T×d}，其中d为LLM的嵌入维度。由于没有采用常见的CTC合并、CIF累积或Q-Former压缩等操作，适配器输出的语音序列长度T与编码器输出完全一致，帧率仍为80毫秒每帧。这一设计的关键动机在于：论文初步实验观察到LLM浅层会自然地对邻近声学信息进行聚合，过早压缩可能造成不可恢复的信息损失；而保留全分辨率语音嵌入能够使LLM的浅层以最丰富的信息进行内部融合，为深层的压缩提供更优的表示基础。

适配器的输出随后与文本嵌入E ∈ ℝ^{N×d}（N为文本词数）沿序列维度拼接，形成形如[A; E]的混合模态输入序列，总长度为T+N。该序列被送入LLM的因果解码器。

LLM骨架选用Qwen3-1.7B，一个具有28层Transformer因果解码器的预训练模型。其层索引从0到27。前4层（索引0至3）对全分辨率语音加文本序列进行标准的前向计算，不施加任何压缩。这一安排的动机源于层间局部相似性的分析：通过测量相邻语音位置在每层隐藏状态中的余弦相似度，论文发现前4层相似度急剧上升，表明模型正在主动聚合局部声学特征；而从第5层开始，相似度进入平台期，说明局部聚合已基本完成，语音表示出现了自然的时空冗余。基于此，SpeechKV将压缩的起始层设定为l0=5，即从第5层开始对语音KV张量进行池化。第5层之前的全分辨率处理为后续压缩提供了充分的信息融合基础，而在冗余显现后立即压缩，既避免了浅层压缩造成的信息损失，又能最大化地减少深层计算量。

SpeechKV压缩模块是整个架构的核心创新，它并非一个独立的网络层，而是插入在LLM第5层及之后每一层的K、V线性投影与缩放点积注意力计算之间的一组可学习操作。该模块的功能是对语音帧对应的K、V序列进行固定比率的压缩，而文本位置的K、V以及所有位置（语音+文本）的查询序列Q均保持原始维度不变。这种设计使得注意力计算时Q能够以全分辨率进行查询，从而更精细地提取压缩后KV序列中的信息，这是相比于直接压缩整个隐藏状态（HS Compression）的显著优势。

压缩操作的具体实现为一个可学习的池化算子P_R，其压缩比率R为预定义超参数。给定某一层中语音部分的键张量K ∈ ℝ^{T×d_h}（d_h为注意力头维度），首先将T个帧划分为不重叠、大小为R的均匀窗口。对于每个窗口内的R个键向量{k_1, ..., k_R}，门控函数g: ℝ^{d_h} → ℝ对每个键向量输出一个标量逻辑值g(k_j)，再通过softmax函数在窗口内归一化为权值系数：

α_j = exp(g(k_j)) / Σ_{j'=1}^{R} exp(g(k_{j'}))。

窗口的压缩结果定义为该窗口内所有键向量的加权和：

k̂ = Σ_{j=1}^{R} α_j k_j。

对值张量V采用完全相同的组合权重进行加权求和：

v̂ = Σ_{j=1}^{R} α_j v_j。

因此，每个语音段的R个帧被压缩为一个聚合表示，整个语音序列压缩为⌈T/R⌉个位置。文本位置的K和V保持不变。由此得到压缩后的序列K̂, V̂，长度显著缩短。

门控函数g初始化为零，使得训练起始点的压缩操作等价于窗口内的均匀平均，模型能够在初始阶段保留均匀的上下文信息，随后通过训练逐渐学习每个窗口内不同帧的重要性权重，实现自适应的特征保留。

在压缩操作之后，每一层仍使用全分辨率的查询序列Q（形状为(T+N) × d_h）与压缩后的K̂, V̂进行缩放点积注意力：

Attention = softmax(Q K̂^⊤ / √d_h) V̂。

因为语音部分被压缩，序列的总长度由T+N缩短为⌈T/R⌉+N，因果掩码也相应调整为基于此新序列长度的下三角矩阵，确保每一位置仅能关注当前及之前的压缩位置，维持自回归解码的因果性。这种“全分辨率Q×压缩KV”的注意力设计是SpeechKV的关键亮点：Q的细粒度保持不变，使得模型能够以原有时序精度检索压缩后的KV信息，从而在显著减少注意计算量和缓存大小的同时，最大限度地保持对细微声学差异的辨别能力。

训练阶段，SpeechKV压缩操作被整合进LLM各目标层的前向计算中，直接通过下一词预测损失进行端到端联合优化。可训练参数包括语音编码器、适配器、门控函数以及LLM低秩适配权重（LoRA），而LLM主体权重保持冻结。这种在线压缩的设计消除了训练与推理之间的不一致性，模型在学习过程中就能适应压缩后的缓存模式。推理阶段，压缩仅在Prefill阶段执行一次：对输入语音进行一次完整的前向计算，在达到压缩起始层时依据已学得的门控权重将语音KV压缩，压缩后的KV张量存入KV缓存；后续的解码步直接复用该压缩缓存，不再进行压缩计算。这使得每一步解码中语音KV缓存的大小直接缩减为原来的R分之一，对应的注意力计算量也同比降低，从而实现解码延迟的显著降低。实验显示，在4倍压缩比下，对于30秒音频可获得1.49倍的解码加速，且该加速比随音频长度增加而进一步提升。

综上所述，SpeechKV通过“浅层全分辨率处理–中间层压缩语音KV–全分辨率Q关注压缩KV”的架构设计，将压缩操作的时序后移并限定于KV张量，在保持模型识别精度的前提下，极大地缓解了语音大语言模型中的长效序列解码瓶颈。

详细架构与组件：

1. 语音编码器（Speech Encoder）：使用一个预训练的编码器-解码器ASR模型中的编码器部分，由3层卷积下采样和24层Conformer块组成，对输入语音x进行声学特征提取，输出帧率为80ms/帧的全分辨率特征序列\(Z \in \mathbb{R}^{T \times d_e}\)。
2. 适配器（Adapter）：一个2层MLP，不进行任何时序下采样或合并，仅将编码器输出投影到LLM的输入嵌入空间，得到\(A \in \mathbb{R}^{T \times d}\)。此设计确保LLM的浅层能访问最完整的语音信息。之后与文本嵌入\(E \in \mathbb{R}^{N \times d}\)拼接送入LLM。
3. LLM骨架（Backbone）：采用Qwen3-1.7B，这是一个28层的因果解码器模型。前4层（层索引0-3）正常处理全分辨率语音+文本序列。
4. SpeechKV压缩模块（核心创新）：
   • 作用位置：从第5层（l0=5）开始，在每一层的K、V线性投影之后，以及缩放点积注意力计算之前插入。
   • 操作对象：严格限制于语音帧对应的K、V张量。文本词的K、V序列，以及所有位置（语音+文本）的Q序列均保持不变。
   • 池化机制：将语音K序列划分为非重叠、固定大小为R的均匀窗口。在每个窗口内，使用一个可学习的线性门控函数g将每个K向量\(k_j \in \mathbb{R}^{d_h}\)映射为一个标量logit，再通过softmax归一化为各帧的加权系数\(\alpha_j\)。窗口的压缩结果为该窗口内所有帧的加权和\(\hat{k} = \sum \alpha_j k_j\)，V同理。该门控使用零初始化，使训练起始点为窗口内均匀平均。
   • 注意力计算：全分辨率Q与压缩后的\(\hat{K}, \hat{V}\)进行标准缩放点积注意力，因果关系掩码根据压缩后的新序列长度相应调整。
5. 训练与推理：训练时压缩操作在线执行，直接通过Next-Token Prediction损失进行端到端联合优化，无训练-推理不一致问题。推理时，在prefill阶段对语音KV进行一次压缩并存入缓存，后续解码步直接使用压缩后的KV Cache，实现KV缓存大小和解码计算量的R倍缩减。

💡 核心创新点

1. “迟压缩"范式：明确主张并验证了应在LLM内部进行语音序列压缩，而非在Adapter层提前执行。这颠覆了多数Speech LLM通过Adapter进行下采样的惯例，实验证明其显著优于Concat-MLP、Window Q-Former等Adapter压缩方案，在保持甚至提升性能的同时实现高效推断。
2. “Q保真，KV压缩"的精细消融设计：通过设定HS Compression（直接压缩包含Q的整个隐状态）这一独特的对比实验，精确定量地分离出"仅在K/V空间压缩，而保留全分辨率Q"所带来的性能增益。实验表明，HS Compression在实体识别等任务上表现不佳，有力地证明了保留Q的完整性对于深层注意力进行细粒度聚焦的重要性。
3. 基于层间动力学分析的压缩层位选择：通过测量并绘制相邻语音帧在不同层的余弦相似度曲线，发现模型在浅层（1-4层）快速聚合局部声学特征（相似度陡增），在深层（5层及以后）趋于饱和。这一发现不仅为SpeechKV选择层5作为压缩起始点提供了数据驱动的依据，也为理解Speech LLM内部表示的重组过程贡献了独特见解。
4. 结构性正则化效应：通过可视化注意力图，揭示并解释了"压缩后性能反超"的潜在机制：SpeechKV的训练迫使模型在更浅的层形成语音-文本的对齐，并使深层注意力从分散于冗余位置变得高度聚焦。这表明压缩操作起到了促进跨模态对齐的正则化器作用。

📊 实验结果

主实验结果（完整数据来自论文Table II）：

关键发现与消融分析：

• 压缩比与性能：R=4时，SpeechKV不仅在所有测试集上全面超越同压缩比的其他方法，甚至反超了未压缩的MLP基线（In-house ER 14.41 -> 13.46）。即使在更激进的R=8下，SpeechKV的退化也非常平缓（ER仅相对退化3.5%），远优于其他方法（Concat-MLP退化达21.6%），显示了对高压缩比的鲁棒性。
• 压缩起始层消融（论文Table III）：对l0（压缩起始层）的消融实验表明，无论是对SpeechKV还是HS Compression，l0=5均表现最佳。l0=3（过早压缩）或l0=7（过晚压缩，浅层冗余未被利用）都会导致性能下降，尤其是在更具挑战性的域外 In-house 测试集上。这证实了层间相似度分析对选择压缩时机具有指导意义。
• 推理加速效果（论文Figure 4）：在A100 GPU上使用vLLM部署，端到端解码加速比随音频长度增长而提升。以R=4为例，30秒音频加速1.49倍，10分钟音频加速2.02倍。R=8的加速收益相比R=4提升有限（10分钟音频为2.03倍），论文将此归因于推理瓶颈从语音KV转移至FFN和文本KV部分。

🔬 细节详述

训练数据：

• 总规模71K小时，由11个开源英文ASR数据集组成，详细组成见论文Table I。主要部分为Multilingual LibriSpeech (en) 44.7K小时、GigaSpeech 13.7K小时。
• 未提及任何数据增强方法。

损失函数：

• 标准Next-Token Prediction交叉熵损失（论文公式3），无任何辅助损失。

训练策略：

• 优化器：AdamW，峰值学习率 \(2 \times 10^{-5}\)。
• 学习率调度：Warmup-Decay策略，前100步为线性预热。
• 批次大小：约200K tokens/批次（包含语音和文本token）。
• 总训练步数：10,000步，约遍历训练集一次。
• 分布式：DeepSpeed ZeRO Stage 1。
• 参数与微调：语音编码器、Adapter和解码器LLM中的LoRA模块（rank=32）参与训练，LLM的其他权重冻结。可训练参数约480M（总参数量约2.2B的~22%）。

关键超参数：

• LLM骨架：Qwen3-1.7B，28层 Transformer解码器。
• 语音编码器：3层卷积 + 24层Conformer，输出帧率80ms/帧。
• 适配器：2层MLP，无时序降采样。
• 压缩配置：起始层 l0=5，压缩比率R=4或8，使用非重叠均匀窗口。
• 池化门控 g：单层线性映射 \(\mathbb{R}^{d_h} \rightarrow \mathbb{R}\)，零初始化。
• LoRA秩：32（未说明应用于哪些具体层）。

训练硬件与时长：

• 8 × H100 GPU，约1天完成一个完整训练。

推理部署细节：

• 框架：vLLM。
• 硬件：A100 80GB GPU。
• 批处理：测试时使用最大化GPU显存的批次大小。论文未明确说明解码策略（如贪心搜索或束搜索、温度系数等）。

⚖️ 评分理由

• 创新性 (1.2/2)：问题定义清晰，核心洞察“在LLM内部而非Adapter压缩”打破了Speech LLM领域常见的“提前压缩”惯例，具有启发意义。通过HS Compression对比实验清晰地分离出“保留Q”的贡献，论证严密。然而，核心方法（学习门控+softmax加权池化）的技术内核本质上是针对语音场景的结构化稀疏化/池化操作（类似于DMC等通用KV压缩工作），缺乏更深层次的理论突破或全新的网络结构设计，方法层面的新意有限。

• 技术严谨性 (1.1/1.5)：方法推导清晰，实验设计逻辑性强。层间相似性分析为l0的选择提供了明确依据，HS Compression的消融精确有效，注意力图可视化进一步佐证了核心论点。主要失分点：仅在Qwen3-1.7B一个模型上验证，层聚合行为的普适性存疑；对性能反超的“结构正则化”解释有一定说服力，但缺乏如对齐精度、可分离性等更量化的指标来支撑，尚不能作为定论。

• 实验充分性 (1.0/1.5)：在ASR任务上实验设计相当完备，从域内（OpenASR）到域外（In-house，测试鲁棒性），从WER到更敏感的EER，与Adapter压缩及内部压缩方法的对比全面且公平。主要局限：任务单一，严重缺乏在语音理解（例如翻译、指令遵循、情感识别）上的验证，这极大地削弱了其宣称作为通用“Speech LLM”高效推理方案的强度；缺少与其他推理加速技术（如量化）的结合分析；无统计显著性检验，性能微小波动的可靠性存疑；部分关键的推理加速对比（如Adapter压缩法的推理速度）缺失。

• 清晰度 (1.0/1)：论文结构标准，写作流畅，核心思想的阐述和图1示意图都非常清晰。公式定义准确。主要扣分项在于，虽然主实验很充分，但部分细节（如推理解码参数）的缺失，以及未充分讨论固定窗口压缩在变语速场景下的潜在问题，在一定程度上影响了论文的自包含性。

• 影响力 (0.8/1.5)：在"高效语音LLM推理"这一具体子领域，提出了一个简单、有效且与现有推理框架兼容的解决方案，对工业界部署有直接的吸引力，直接影响高。但在更广泛的Speech LLM研究社区中，其价值需要等到在更多元化的语音理解任务和模型架构上得到验证，目前的影响力更多是展示了一个成功案例而非一个被证实的通用范本。

• 开源 (0.5/1.5)：论文未提供任何代码仓库、模型权重或在线Demo的链接。尽管详细描述了训练数据、参数和流程，并引用了vLLM等开源项目，但核心的SpeechKV实现及训练好的模型权重均未开源，复现和直接应用的门槛较高。

• 可复现性 (0.4/0.5)：训练数据组合、超参数（学习率、batch size、LoRA rank等）和模型配置（Qwen3-1.7B）均已清晰提供，训练硬件规格明确。对于经验丰富的研究者来说，复现流程基本清晰。但关键的推理解码策略（如是否使用beam search）、训练时的数据预处理细节（stacking/padding等）的缺失，使得要严格复现论文中的精确数值（尤其是小数点后两位的WER）存在不确定性。

• 工程/实践价值 (1.0/1.5)：可直接嵌入现有的Encoder-Adapter-LLM范式中，无需模型架构大改，并与vLLM等框架兼容，工业落地成本低。4倍压缩下性能无损且推理加速1.49-2.02倍的结论极具商业吸引力。然而，“极限压缩”收益递减（R=8 vs R=4加速不明显）的问题，以及其增益依赖于长音频的特性（意味着对短语音交互场景提升有限），使其场景适用性存在边界。

🚨 局限与问题

论文明确承认的局限：

• 仅在ASR任务上验证，未来需向其他语音任务扩展。
• 压缩起始层l0的选择依赖模型特定的层间相似性分析，自适应跨层动态调整压缩比是未来方向。
• R>8后的加速瓶颈转移至FFN和文本KV Cache。

审稿人发现的潜在问题：

1. 单一backbone的过拟合：核心发现"从第5层开始压缩最佳"是基于Qwen3-1.7B模型的层间表示动态得出的。不同LLM架构（如Llama、Mistral系列）的层数、特征聚合速度和处理语音的方式可能存在巨大差异。直接将此经验规则套用到其他LLM上可能导致性能不佳，该方法的跨模型泛化性存疑。
2. 任务单一的风险：Speech LLM的核心优势在于能进行多任务处理（如语音到文本翻译、口语理解）。本文仅在ASR上验证，无法评估KV压缩是否会损害模型对更高层语义信息（如情感、意图、翻译对齐）的捕捉能力。可能在ASR这个更适合局部信息聚合的场景work了，但在需要更全局信息的非ASR任务上失效。
3. 反超基线的现象解释不够严谨：将R=4压缩后性能反超归因为"结构性正则化"是一个合理猜想，但还有其他可能性：例如，在固定步数下（论文训练10K步），压缩减少了每步的计算量，等效于在相同训练预算内，模型参数（主要是LoRA）经历了更高效的更新和收敛，而非真正找到了一个更好的局部最优解。缺少同等计算量（而非同等步数）的对比训练曲线，无法排除此假设。
4. 压缩粒度的非自适应性：固定窗口R的均匀压缩假设了语音信息密度是均匀分布的。真实语音中，语速、静音、重音等变化很大。对一个语速快、信息量大的片段使用与无意义停顿段相同的压缩比，可能导致关键信息丢失。与基于CTC对齐的动态压缩方案相比，这种缺乏数据依赖性的压缩策略在理论上显得粗糙。
5. 与SOTA开源模型的对比缺位：论文提及Whisper-L-v3和Phi4-mm性能更优，但归因于训练数据量级差异后便未做深入讨论。实际上，SpeechKV在OpenASR上的WER（5.98）已经接近甚至优于一些参数量大得多的模型。如果能与这些SOTA模型在同等或近似条件下进行更细致的效率/效果对比，会极大增强说服力，现在的处理方式略显保守和遗憾。

← 返回 2026-07-09 语音/音乐/音频论文速递