4 比特保翻译、3 比特现悬崖：Diet-KIT 如何把 16 GB 语音大模型压进 4 GB

英文题目：Diet-KIT: Post-Training Quantization for Speech LLMs

会议身份：conference:iwslt:2026:conference-paper-id:2026.iwslt-1.21

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#模型量化 #音频大模型 #后训练 #语音翻译

评分：6.3/10 | 创新 1.1/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Danni Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Sai Koneru：机构信息未能从会议 PDF 纯文本可靠映射
• Jan Niehues：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

英语语音到德语与中文文本的翻译需将16GB的Qwen2-Audio-7B压至4GB以下磁盘体积，而基座模型原始翻译能力不足使压缩退化与任务无能难以区分。流水线先以半二次量化建立4比特线性层基线并直接序列化打包权重以满足磁盘约束，其输出进入嵌入表2比特激进量化与分组粒度调优阶段以换取体积。灵敏度分析阶段逐层将多层感知机切至3比特并以教师强制交叉熵度量容忍度，仅将最不敏感的四层保留为3比特以跨过存储线，末端再以激活感知量化做数据相关的逐通道缩放修正。与统一整体降至3比特及首尾中间等位置启发式选层相比，该链条以实测灵敏度替代人工先验并保留高敏感输出头精度，因而在存储边界附近损失更小。在ACL 60/60金标准切分测试集下，灵敏度选中层方案的英德BLEU得分为24.8，低于行8基线方案的BLEU 25.3。结论的适用边界限于域内金标准切分与英德英中两个方向，盲测中域外噪声集与自动切分下增益不再稳定。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/dropbox/hqq — 暂时无法访问 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，4 GB 限制卡在哪里？

这篇论文的输入是连续语音，输出是另一种语言的文本翻译，评估的 2 个方向是英语到德语和英语到中文。起点模型是 Qwen2-Audio-7B，半精度下磁盘占用约 16 GB，而共享任务要求落盘不超过 4 GB。也就是说，论文要解决的不是换一个更小的模型重新训练，而是在保留已有语音理解和翻译能力的前提下，把同一个 7,000,000,000 参数量级模型的磁盘文件压到原来的 1/4 左右。

对刚进入语音音频领域的研究生来说，需要先建立一个基本动作链：语音先进音频编码器变成声学表示，再与文本提示拼接进入大语言模型解码器，最后自回归生成译文。压缩发生在这个链条的权重存储环节，而不是改变音频前端或解码流程。论文反复强调的落盘大小，指的是量化后保存的整数张量加缩放和零点等元数据经安全张量格式写到磁盘的大小，而不是运行时显存占用。运行时是否加速、显存降多少，原文没有作为主指标报告，因此不能把磁盘变小直接等同于推理变快。

开场必须保留的关键信息是：最终系统是 3.98 GB，ACL 60/60 测试集金标准切分下 en→de 的 COMET 为 74.4、en→zh 为 77.1，而未压缩的微调模型对应为 75.6 和 79.5。这个对照说明压缩代价大约是 1 到 2 个 COMET 点。后续所有组件都要回到这个对照来理解：每一步省了多少磁盘，又掉了多少翻译质量。

蒸馏和量化两条路线为何只选其一？

论文把模型压缩归纳为两大范式。第一类是蒸馏，先得到一个更小的学生模型，再让它模仿教师模型的词概率分布、隐层表示或教师生成的合成数据，优点是能得到结构更小的模型，代价是需要额外的训练过程和监督信号设计。第二类是量化，基本不重训，直接把权重从高精度数值转成低精度数值，目标是用最小的性能损失换存储下降。

论文选择后训练量化而不是蒸馏，理由是任务约束和研究目标共同决定的。任务要求从指定的 Qwen2-Audio-7B 出发并满足磁盘阈值，量化可以直接作用于现有权重并落盘，而蒸馏需要构造学生结构并重新训练，会引入更多与量化无关的变量。相关工作部分还提到文本大模型的 8 比特矩阵乘、稀疏剪枝、非均匀 4 比特网格等方法，但作者指出这些方法在纯文本上的结论不一定适用于语音大模型，特别是校准数据的行为可能不同。

初学者容易误解的是类别差异等于优劣。论文没有在同等训练预算下比较蒸馏和量化谁更好，而是把量化当作符合任务阶段的运行选择。后续的结论也只在量化管线内部成立，不能推广为量化一定优于蒸馏。

为什么不能直接量化原始预训练模型？

论文发现一个前置问题：直接拿到的 Qwen2-Audio-7B 预训练模型翻译能力很弱。在 ACL 60/60 测试集上，它的 en→de 和 en→zh 得分明显低于微调后模型，论文用实例表展示了标签残留、语言混杂、重复幻觉等问题，例如输出中出现音乐标签、中文与德文混排、同一符号不断重复。如果从这样一个本来就不会翻译的模型开始压缩，就无法区分质量下降是量化造成的，还是模型本来就不会翻译。

因此论文先做了一步适配：用 CoVoST 和 Europarl-ST 采样得到的多语言语音翻译子集对模型做基于低秩适配的微调，语言覆盖德语、土耳其语、中文、日语、西班牙语、法语、荷兰语、意大利语、波兰语、葡萄牙语、罗马尼亚语等，不只针对评测的 2 个方向。作者明确说用全量数据可能更高，但目标不是刷最高分，而是得到一个会翻译的起点，使后续量化分析有意义。也正因为用了超出 ACL 60/60 的额外训练数据，投稿属于非受限赛道。

这个安排对复述方法很重要：后面所有行号为微调后加量化的结果，其基线都是微调后未压缩模型，而不是原始预训练模型。把压缩后系统与原始预训练模型对比，会夸大量化后提升，正确的可比基线是同一微调起点。

Diet-KIT 的顺序管线是怎样一环扣一环的？

Diet-KIT 不是 1 次把所有参数压到目标比特，而是顺序管线，每一步都建立在上一步的检查点之上。第一步是用半 2 次量化对线性层做 8 比特和 4 比特基线，确认 4 比特可行、3 比特出现悬崖，于是把 4 比特模型作为后续基础。第二步是处理默认不量化的嵌入表，尝试 4 比特和 2 比特，并验证语言模型头不能同样激进压缩。第三步是调分组大小，从默认 64 放宽到 128、256、512，观察磁盘下降与质量损失的交换。第四步是在组大小 128 的基础上，只把最不敏感的 4 个多层感知机层降到 3 比特，刚好压进 4 GB。第五步是在体积不变的情况下加激活感知权重定量校准，做数据驱动精修。

沿一个语音样本走一遍有助于记住全景：一段英语语音先被编码成声学特征并与翻译提示拼接，送入已微调的解码器；解码器中的线性层权重已经是 4 比特打包存储加分组缩放，嵌入表是 2 比特，个别多层感知机层是 3 比特，语言模型头保持 4 比特；推理时反量化或低精度计算后生成德文或中文译文；校准阶段则用开发集语音计算激活统计，对显著通道做缩放保护，但不改变落盘比特数和文件大小。

顺序设计的含义是每 1 阶段的结论都依赖前 1 阶段的条件。例如选层实验的起点是组大小 128 的 4.03 GB 模型，校准实验的起点是已选层压缩到 3.98 GB 的模型。单独抽出某一步的最优数字去和其他论文的独立最优比较，会破坏这种条件一致性。

为什么用半二次量化而不用常见 4 比特后端？

论文花篇幅解释序列化方式的选择。常见 Transformer 后端中的 4 比特量化只在运行时压缩权重，落盘时仍保存原始精度，因此磁盘检查点不会变小，不满足任务对落盘 4 GB 的硬要求。半 2 次量化则把量化形式化为最小化原始权重与量化权重之间误差的问题，用半 2 次求解器优化量化参数，保存的是打包后的整数张量以及对应的缩放和零点，落盘文件本身就是压缩后的体积。

后训练量化 × 半 2 次量化： 后训练量化负责在不重训大模型的前提下把权重转成低精度以省存储，半 2 次量化负责把量化写成权重重构误差最小化问题并用半 2 次求解器优化缩放与零点，二者搭配的原因是语音大模型已具备翻译能力但磁盘超限，需要一种不改训练流程又能显式压小落盘文件的压缩底座，组合意义是得到可直接序列化保存的 4 比特线性层起点。

在实现动作上，管线先对微调合并后的模型做半 2 次量化，再把状态字典经安全张量格式直接保存，捕获的整数权重加元数据就是最终计入 4 GB 的实体。论文报告 8 比特几乎无损，4 比特在 2 个方向上 COMET 只掉 1.6 和 1.4 个点，而全模型统一 3 比特则出现悬崖。这个悬崖是后续所有选择性压缩的前提：不能靠统一降比特完成任务，必须找局部可压的位置。

需要提醒的是，原文没有给出半 2 次量化的完整优化公式和求解超参数细节，也没有报告推理延迟和显存变化。复现时只能按原文描述复现落盘流程，不能自行脑补求解器步数或断言推理加速。

嵌入、语言模型头和组大小各自承担什么交换？

默认半 2 次量化只处理线性层，但嵌入表和输出投影占了可观参数，必须单独处理。论文的动作是把 4 比特线性模型基础上的输入嵌入表分别压到 4 比特和 2 比特。结果显示嵌入对激进量化很鲁棒，4 比特版本体积降到 4.41 GB 且翻译质量几乎不变，2 比特版本进一步到 4.26 GB，COMET 与 4 比特线性基线只差 0.4 到 0.5 个点。

分组量化 × 组大小： 分组量化负责把连续权重切块、每块独立存一套缩放与零点以保留局部数值范围，组大小负责控制块有多大从而权衡保真度与元数据开销，二者搭配的原因是更小的组能更好地包住离群权重但会增加落盘体积，组合意义是用 64 到 512 的切换找到既接近 4 GB 又不让翻译质量大滑的中间点。

输入嵌入表 × 语言模型头： 输入嵌入表负责把词表序号映射为输入向量，语言模型头负责把最后隐状态投影回全词表以决定生成，二者搭配讨论的原因是它们都占大量参数但对量化误差的敏感度完全不同，组合意义是嵌入可以用到 2 比特而语言模型头必须留在 4 比特，避免把能压的部分和不能压的部分一视同仁。

与嵌入相反，语言模型头做同样的 2 比特量化会导致生成能力完全丧失。论文给出的有限解释是语言模型头把最后隐状态投影到全词表，与输出校准紧密耦合，因此后续配置把语言模型头留在 4 比特。词汇剪枝作为另一条省嵌入体积的思路也被否定：Qwen2 词表 151643 个词中，拉丁字母约占 62.0% 用于德语，中日韩字符约占 17.1% 用于中文，标点数字约占 12.5% 两方向都需要，只有西里尔、阿拉伯等脚本约 8% 可安全删除，大约只省 20 MB，相对整体预算意义很小。

组大小实验延续同样的体积与保真交换。组从 64 放宽到 128 时体积降到 4.03 GB，质量只小幅下滑，但仍略高于 4 GB；继续放宽到 256 和 512 虽然能进 4 GB，en→de 的 BLEU 从 25.3 掉到 22.1 和 19.5，COMET 在 512 时比 128 低 4 个点以上。因此论文选定 128，再用选层解决最后约 0.05 GB 缺口，而不是继续放宽分组。

微调阶段到底训练了什么，量化阶段训练了什么？

本研究的神经网络训练只发生在起点适配阶段，没有在量化阶段重新训练主干。微调采用低秩适配而非全量微调，动机是减少对预训练模型的偏离并节省计算，训练 3 个轮次，每设备批量 8，学习率 1 乘 10 的负 6 次方，预热比例 0.03，低秩秩为 64，缩放系数 128，丢弃率 0.05，提示模板把音频标记和翻译指令拼接。推理时适配器合并回基模型，参数总量不变。附录表格给出了这些超参数，复现起点时应原样保留。

量化阶段没有梯度更新主干权重。半 2 次量化是权重重构误差优化，分组缩放、嵌入低比特、选层 3 比特都是直接改存储精度；激活感知校准用小校准集计算激活统计并做逐通道缩放保护，也不做大规模反向传播训练。因此不能把校准集增大等同于训练轮数增加，也不能把冻结参数理解为输出确定。论文未报告优化器在量化阶段的任何使用，未报告梯度路径和重置时机，这些缺项应如实指出，而不是从模型名称推定。

对初学者来说，关键区分是监督来源不同：微调的监督来自 CoVoST 加 Europarl-ST 的语音翻译对，选层的监督是开发集上的教师强制交叉熵变化，校准的监督是开发集语音的激活分布。3 个阶段用的数据和目标各不相同，不能混为 1 次训练。

数据、切分、指标和基线如何保证可比？

论文贯穿使用的开发与测试划分是 ACL 60/60，方法部分的分数多在金标准切分下计算，而盲测官方集是未切分语音，需要用 SHAS 默认参数先切分，只有口音集例外。作者说明在较 noisy 的集上 SHAS 会丢掉一些片段，可能与音频质量敏感有关，但因为与量化主题正交，没有更换更鲁棒的切分器。这个细节意味着金标准切分下的数字与盲测数字不能直接对比，切分变化本身会带来差异。

指标同时报告 BLEU 和 COMET，但校准选型以 COMET 为主。BLEU 对字面重合敏感，COMET 更接近语义质量，论文中两者升降方向大体一致但幅度不同，不能把 BLEU 差值当成 COMET 差值，也不能把百分点变化说成相对百分比。所有比较都固定在同一微调起点和同一测试切分下进行，行号之间的递进关系就是公平条件的记录。

训练与评估成本方面，论文致谢了 KIT 的高性能计算支持，但没有给出微调耗时、量化耗时、推理延迟或硬件预算表格。复现时应先准备 Qwen2-Audio-7B 权重与采样后的多语言训练子集，再复现微调起点，否则直接量化原始模型会得到不可比的低分。

从 16 GB 到 3.98 GB，主结果省了多少又掉了多少？

要回答主结果问题，需要同时看体积和两个翻译方向的质量，并且以微调后未压缩模型为基线。最终系统在磁盘上为 3.98 GB，en→de 的 COMET 为 74.4，en→zh 为 77.1，而未压缩微调模型为 75.6 和 79.5。4 比特线性基线已经能把质量保持在 74.0 和 78.1，说明大部分压缩代价不是来自 4 比特本身，而是后续为进 4 GB 所做的精细调整。

下表把起点、中间基线与最终系统的体积和 COMET 放在同一条件下对照，指标方向都是越高越好，体积越小越好。阅读时先看体积是否满足阈值，再看 2 个方向是否同时保持，避免只看一个语言得出压缩无损的结论。

上表显示最终系统相对未压缩微调模型在 en→de 掉 1.2 个点，在 en→zh 掉 2.4 个点，体积从 16 GB 降到 3.98 GB。有意思的反例是最终系统的 en→de 反而略高于 4 比特线性基线，这来自选层加校准的组合，而不是压缩越多质量越高。未胜出的对照是全模型统一 3 比特，它的 BLEU 和 COMET 会 collapse 到接近未微调模型的水平，因此不能作为可部署策略，只作为证明统一激进压缩不可行的反证。

哪些精细调整真正补上了最后的体积缺口？

第二个需要细看的问题是最后 1 GB 左右的缺口是如何补上的。嵌入 4 比特到 4.41 GB、嵌入 2 比特到 4.26 GB、组大小 128 到 4.03 GB，每一步都省体积但还差一点。组大小继续放宽能进 4 GB 但质量 steep 下滑，因此论文转向只压 4 个多层感知机层到 3 比特，用 4.03 GB 到 3.98 GB 的微小体积换取阈值达标。

下表把悬崖与中间省体积手段并置，BLEU 与 COMET 都是越高越好，用于说明统一 3 比特不可行而局部压缩可行。注意 en→zh 的 BLEU 基数与 en→de 不同，不能跨语言直接比绝对值，只能看各自的升降。

表后需要强调代价与反例。统一 3 比特的代价是 BLEU 从 24.4 掉到 11.0、从 40.5 掉到 15.6，COMET 掉 10 点以上，这是必须放弃的策略。嵌入 2 比特的代价很小，但语言模型头 2 比特是完全失败的反例。组大小 512 的代价是 en→de BLEU 掉到 19.5，说明不能靠无限制放宽分组进阈值。选层实验进一步显示敏感度选出的 4、21、22、24 层优于前 4 层、后 4 层、中间 4 层和随机 4 层，其中前后 4 层掉得最多，中间 4 层在 en→de 尚可但在 en→zh 明显变差，证明位置启发式不能跨语言泛化。

敏感度引导选层 × 多层感知机层： 多层感知机层负责 Transformer 块内的逐位置非线性变换，敏感度引导选层负责逐层试探把该层多层感知机换成 3 比特后的教师强制交叉熵变化并选出最不敏感的层，二者搭配的原因是统一把所有层压到 3 比特会崩，但部分多层感知机层更耐压缩，组合意义是用最少层数的 3 比特换取从 4.03 GB 到 3.98 GB 的最后缺口。

校准与盲测暴露了哪些不稳定与未验证边界？

激活感知校准是体积不变的精修，但论文报告的效果并不稳定。校准数据尝试了纯源语音、en→de 对、en→zh 对 3 种组成，以及 128、256 和全部 468 个开发样本 3 种大小。结果是没有一致趋势：最好成绩分散在不同大小和组成下，成对翻译数据并没有稳定优于纯源语音。这与纯文本上 128 样本就够的已有结论相反，论文用可能、待验证的语气解释为语音大模型的激活统计更不稳定，需要进一步研究，而不是断言校准无用。最终选择全量开发集的纯源语音校准，因为它在更具挑战的 en→de 上得到 74.4 的 COMET。

激活感知权重定量 × 校准集： 激活感知权重定量负责利用输入激活分布找出显著权重通道并做逐通道缩放保护，校准集负责提供计算这些激活统计的语音或语音翻译样本，二者搭配的原因是只看权重幅值不知道哪些权重真正影响输出，组合意义是在不改变磁盘大小的前提下做 1 次数据驱动的精修，但语音大模型上校准集大小与组成的效果并不稳定。

盲测结果进一步暴露领域鲁棒性边界。主提交与对比系统在域内 ACL 集上校准有增益，但在 TVSeries、ChallengeAccent、YouTube 等域外集上增益不一致，部分集出现重复与空输出，低分说明在这些域上实用性有限。论文指出长度惩罚和更鲁棒的切分可能部分缓解，但这属于未实施的推测，不能当成已验证的修复。

还有三项未测量边界必须明确：推理延迟、显存占用和输出帧率没有报告，不能承诺压缩改善了这些量；层删除、层间蒸馏、早退等未来方向只在结论提出，没有本论文的实测支撑；词汇剪枝只估算约 20 MB 节省，没有作为最终手段采用。把缺失证据当成技术错误是不对的，但把未验证推测当成结论同样不对。

要复现 Diet-KIT，先做什么再做什么？

复现的第一步是重建会翻译的起点，而不是直接下载原始权重就量化。需要按原文采样 CoVoST 与 Europarl-ST 的多语言子集，用给定的低秩适配超参数微调 Qwen2-Audio-7B，训练 3 轮并合并适配器，然后在 ACL 60/60 金标准切分上确认 en→de 与 en→zh 达到接近 75.6 和 79.5 的 COMET。如果起点差距很大，后续量化数字将不可比。

第二步是按顺序复现压缩：先用半 2 次量化得到 8 比特与 4 比特线性基线并落盘称重，确认 4 比特只掉 1 到 2 个点而 3 比特悬崖出现；再依次加嵌入 4 比特、嵌入 2 比特，检查是否到 4.41 GB 和 4.26 GB 且质量波动很小；再把组大小从 64 切到 128，确认到 4.03 GB；接着在该检查点上逐层把多层感知机换成 3 比特并算教师强制交叉熵，按损失增量选出最不敏感的 4 层，目标是从 4.03 GB 到 3.98 GB；最后用开发集纯源语音做激活感知校准，复现 en→de 到 74.4 左右。选层与校准都依赖前一步检查点，顺序打乱会得到不同结果。

信息条件方面，论文给出的是方法与超参数细节，没有在证据中给出可运行代码链接的可用性声明。解读中提到的半 2 次量化官方实现链接在本次证据中状态为本次未能确认可达，因此复现前还需自行确认量化与序列化工具链可用，并保留落盘文件大小、BLEU、COMET 三者的完整记录，避免只记质量不记体积。

何时值得尝试这套压缩，何时应该换思路？

当任务是把已具备语音翻译能力的 7,000,000,000 参数模型塞进 4 GB 磁盘，且允许离线量化加落盘保存时，这套管线值得尝试。它的可迁移经验是：先用 4 比特分组量化守住质量，再在嵌入等鲁棒部件上激进压缩，剩余小缺口用敏感度选出的少数多层感知机层补足，最后用与任务语言匹配的校准做小幅精修。每一步都要同时记录体积与 2 个方向的 BLEU、COMET，避免单指标误判。

当目标是降低延迟、显存或提升域外鲁棒性时，不应直接套用本文结论。原文没有测量这些量，盲测也显示域外集上仍有重复与空输出问题。此时更需要补的验证是更鲁棒的语音切分、长度惩罚与解码约束，以及在目标域上的激活统计稳定性测试，而不是继续放宽组大小或扩大统一低比特范围。

对初学者最后的检查口诀是：先问基线是不是同一个微调起点，再问体积是不是落盘大小，再问比较是否在同一测试切分和同一指标下进行。满足这 3 条，才能说 3.98 GB、74.4 和 77.1 是压缩的真实代价，而不是切分、基线或指标不一致造成的假象。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 iwslt-2026 论文汇总