语音激活动态范围过大时，为何要把校准写成两步优化再用进化策略搜缩放因子

英文题目：Evolution Strategy-Based Calibration for Low-Bit Quantization of Speech Models

会议身份：conference:interspeech:2026:conference-paper-id:rakotoarivony26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#模型量化 #高效推理 #语音 #语音识别

评分：7.0/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Lucas RAKOTOARIVONY：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音模型要做全整数推理必须同时量化权重与激活，但音频激活累积分布高度压缩、动态范围极大，最大截断 Maximum、分位 Percentile 与熵 Entropy 等只看分布的校准会把多数值挤进同一量化桶。本文提出演化策略校准 Evolution Strategy-based Calibration，简称ESC，先用均方误差 Mean Squared Error逐层独立初始化卷积、线性与层归一化算子的激活缩放因子，提供稳定起点。再把全部缩放向量拼接为连续向量，以校准集上任务误差为目标用CMA-ES做全局无梯度联合优化，通过采样排序更新分布捕捉跨层依赖。与仅看激活分布的准则不同，该方法直接优化量化后输出误差并绕开舍入不可微问题。该流程在RTX 3090上用TensorRT部署评测INT8模型的推理延迟与显存占用。在LibriSpeech上Conformer的W8A8词错率为16.01%，接近全精度15.94%；在Speech Commands V2上AST的W4A4准确率为96.41%，相对全精度98.13%下降约1.75%，叠加HyQ后达96.76%。该结论限于上述三类算子用ESC、其余算子与权重量化用Max的流程，依赖每任务训练集100样本校准与RTX 3090加TensorRT部署栈，INT4只报精度未测加速，外推到大词汇流式系统与嵌入式平台尚未验证。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要保留什么？

本文解读的输入是论文正文与两张官方原图像素，目标是让刚进入语音或音频方向的研究生能复述方法与实验条件。必须保留的信息包括研究对象是语音模型的整数量化，关键动作是校准激活缩放因子，核心机制是先做逐层均方误差初始化再做全局进化策略联合优化，实验覆盖 5 类语音任务与全 INT8 和全 INT4 两种设置。输出是 1 篇按学习依赖展开的技术解读，不做营销式判断。

语音任务在这里指把声音信号变成文字、身份、干净语音、声学频谱或类别标签的一类任务。论文实际研究了语音识别、说话人识别、语音增强、文本转语音和音频分类 5 种任务，分别对应 Conformer、ECAPA、MP-SENet、FastSpeech 2 和 AST 5 个模型。初学者容易把量化理解成简单地把小数变成整数，本文后面会沿着一个校准样本走完输入到输出，讲清为什么截断区间选不好会让很多不同的激活值挤到同一个整数上。

阅读时要先建立一个可核对的习惯。凡是说某个方法更好，都要回到同一数据集、同一模型、同一比特设置、同一指标与方向上核对。凡是说更快更小，都要区分是 INT8 整网部署的实测，还是只量化权重的估算。论文没有提供可验证的代码与模型资源，本次收到的资源状态也没有绑定可用链接，因此本解读不声称代码或权重已公开，所有可复现动作只写到论文明确给出的校准样本数、优化器初值和评测划分。

已有路线把量化分成哪几步，语音为什么没有直接照搬？

已有路线通常把量化拆成三件事。第一是确定量化公式，即如何把实数值映射到均匀间隔的整数。第二是校准，即用少量数据估计激活分布并选出截断区间。第三是训练后补偿，即在不重训或少量调整下减少精度损失。视觉与语言方向已经有较多训练后量化方法，论文提到的例子包括自适应舍入、块重构、平滑缩放、偏置补偿以及针对视觉 Transformer 和扩散模型的方法。

语音方向此前的探索相对分散。一部分工作依赖量化感知训练，需要用到不可忽略比例的训练数据。另一部分工作研究语音模型的训练后量化，但往往只针对特定结构或只量化权重，缺少对激活量化的完整整数流水线。初学者要注意，权重在训练完成后是固定的，分布相对稳定，而激活随输入样本变化，对截断区间更敏感。

训练后量化 × 量化感知训练： 训练后量化分工是在不重训或只用少量校准数据下确定量化参数并弥补精度，量化感知训练分工是在训练前向中模拟量化并用梯度更新权重以适应低比特；搭配原因是语音大模型重训代价高，论文选择以后者思路做全局目标但仍保持不重训权重的训练后流程。

这组对照的教学意义是明确运行阶段。量化感知训练发生在训练阶段，可以用梯度更新权重；训练后量化发生在模型已经训练好之后，只能调缩放因子、舍入或偏置等少量参数。论文的方法属于后者，它借用了全局目标的思想，但没有重训主干权重，因此不能把它的全局优化理解成又做了一轮大规模训练。

语音激活的分布难在哪里，为什么常规校准会挤掉信息？

论文提出的问题可以复述为一句话。语音模型的激活值动态范围可以非常大，如果直接用最大值或分位数决定截断区间，量化格点会被离群值撑开，大量常见的小数值就会落进同一个整数桶，造成信息损失。这个问题在全 INT8 时尚可容忍，在全 INT4 时会被放大，因为 4 比特只有很少的整数等级可以分配。

下面这张图是理解该问题的关键证据。左图比较了语音、视觉与语言 3 类模型的归一化激活累积分布，右图比较了在最大校准下只量化权重与只量化激活时的相对性能。读图时不要把曲线向下直接当成性能变差，要先确认纵轴是累积比例还是相对性能，再看分组条件。

看图路径： 1. 先看左图横轴归一化激活值与纵轴累积比例，比较三条曲线爬升快慢；2. 再看右图 W4/A32 与 W32/A4 两组柱子，定位 Conformer 在哪一组明显掉下去；3. 对照图注中均匀分布、快速饱和与高度压缩三种描述与曲线形状是否对应；4. 把激活量化敏感的结论只限定在该图使用的最大校准条件下理解

论文图 1。原论文 Figure 1：“Illustration of quantization behavior across audio (Conformer [3]), vision (ResNet [16]), and NLP (BERT [17]) models.”。

从像素可见，左图横轴是归一化激活值，纵轴是累积比例，3 条曲线的爬升速度明显不同。其中一条曲线缓慢爬升，说明数值铺得很开；另两条曲线很快贴近顶部，说明大部分数值集中在很小的归一化区间内。图注把这种差异描述为视觉模型近似均匀、语言模型快速饱和、语音模型高度压缩。右图按 W4/A32 与 W32/A4 分组，语音模型在只把激活压到 4 比特的一组明显低于视觉与语言模型，而在只把权重量化到 4 比特时三者都保持得相对较好。这支持论文的一个判断，即语音量化的主要矛盾在激活校准，而不是权重本身。

一个教学用的例子可以帮助理解，但它不是论文数据。假设截断上限被一个极大离群值定到 100，而日常语音帧的激活大多落在 0 到 2 之间，那么 4 比特的十几个等级中大部分区间都在描述很少出现的很大数值，日常数值只能共享一两个整数。这就是论文所说的量化桶分布不均衡。例子讲完后仍要回到原文证据，即只有在最大校准下的对比才能支持上述敏感性结论，不能推广到所有校准方法。

两步校准的全景是什么，先稳住每层再修正整网吗？

论文把方法命名为基于进化策略的校准，简称 ESC。它的全景可以沿着一个校准样本走一遍。样本先进入浮点模型得到每层输出与最终目标，同时进入带待定缩放因子的整数模型得到对应的层输出与最终输出。第一步对每一层独立求缩放因子，使该层的量化输出尽量接近浮点层的输出。第二步把所有层的缩放因子拼成一个向量，用进化策略联合调整，使整网的量化输出在任务误差上尽量接近真实目标。

下面这张总览图把两步画成了左右两个区域，左侧是逐层比较，右侧是整网闭环，初学者可以先看主路径再看反馈回路。

看图路径： 1. 沿底部校准数据与目标 y 向上追踪进入第一层与各层输出的路径；2. 比较左侧浮点模型与中间整数模型之间每层 MSE 方框的连接方向；3. 再看右侧目标函数、进化策略与参数向量构成的闭环箭头回到哪里；4. 确认局部逐层优化与全局联合优化在图中分别由哪种底色区域承载

论文图 2。原论文 Figure 2：“Overview of the proposed ESC method. First, each layer-wise activation scaling factor is locally optimized by min- imizing the MSE between the FP32 and quantized layer outputs.”。

从像素可见，底部是校准数据与目标，向上分别进入左侧浮点模型的各层与中间整数模型的各层。每层之间用 MSE 方框连接，标注了各自的缩放因子。右侧是一个纵向闭环，上方是任务误差目标函数，中间是进化策略模块，下方是全部缩放因子组成的参数向量，箭头从参数回到整数模型，又从整网输出与真实目标回到目标函数。左侧底色与右侧底色不同，分别对应局部优化与全局优化。这种画法的真实含义是，第一步只看层输出是否像，第二步只看最终任务输出是否对，两个目标不一致时以第二步为准。

需要强调的安排理由是原文明确写出的。只做局部优化不足以处理跨层依赖，因此需要全局联合优化；全局目标不可微且非凸，因此不用梯度法而用进化策略。论文对卷积、线性与层归一化算子的激活使用该方法，对其他算子与权重使用最大校准，这个分工在复现时要保留，不能理解成所有张量都用进化策略搜索。

缩放因子、截断区间与均匀量化之间如何换算？

先用白话解释 3 个术语。均匀量化指整数等级是等间距的，适合在通用硬件上做整数运算。截断区间指先把实数值裁到一个区间再映射，超出区间的数值会被截断。缩放因子指区间长度除以整数等级数得到的步长，它决定了一个整数步对应多大的实数变化。论文采用对称量化，即区间关于零对称，零点为零，这样只需要确定一个边界值。

校准 × 缩放因子： 校准负责决定截断区间[α,β] 从而确定缩放因子 s，缩放因子负责把实数值 r 映射到均匀整数格点 Q(r)；二者搭配的原因是语音激活离群值会撑大截断区间，组合意义是把选区间从按分布取最大值或分位数，改为按量化后误差直接优化 s。

具体计算关系按原文公式组织。设截断区间为区间上下界，比特数为比特宽，则缩放因子等于区间长度除以二的比特次方减一。量化时把实数值除以缩放因子并减去零点，再做取整。初学者容易把最大值直接当成最优边界，论文的反例是最大值对离群值敏感，分位数需要针对每个模型任务调阈值，熵方法在某些结构上会明显失效。因此论文把选边界改写成直接最小化任务误差的优化问题。

局部优化 × 全局优化： 局部优化分工是逐层最小化浮点层输出与量化层输出的重构误差以给出稳定起点，全局优化分工是联合调整全部层的缩放向量以最小化整模型任务误差；搭配原因是只做局部会忽略跨层依赖，组合后先稳住每层再修正整网的累积偏差。

局部目标是每层独立最小化浮点层输出与量化层输出的平方误差，全局目标是最小化带量化参数的整网在校准样本上的任务误差。局部解作为全局搜索的起点，这种先后关系是原文明确的，不能调换成先全局再局部。全局搜索的输入是缩放向量，输出仍是缩放向量，不更新主干权重，这一点决定了它仍属于校准而不是重训。

进化策略 × CMA-ES： 进化策略分工是提供不需要梯度的种群式连续参数搜索，CMA-ES 分工是具体用多元正态分布的均值、协方差和步长来自适应采样与更新；搭配原因是缩放因子的舍入和任务指标不可微，组合后可以用排序选优的方式在非凸噪声目标上推进。

在实现上，进化策略在每次迭代从多元正态分布采样一批候选缩放向量，按目标函数排序后更新分布的均值、协方差与全局步长，直到用完预设的评估预算。最终输出取最后采样分布的均值，而不是单次最好的候选，原文给出的理由是提高鲁棒性。初学者不要把这种取均值理解成简单的平均 trick，它是该类方法在噪声与病态目标下常用的稳定化选择。

没有重训时，真正的计算与搜索过程是什么？

本研究没有训练主干模型的阶段，所有语音模型都是已经训练好的浮点模型。所谓训练一节在这里应理解为校准与搜索的计算过程，而不是梯度反传更新权重。论文没有报告对主干权重做梯度更新，也没有报告学习率、优化器更新或权重重置时机，因此不能从模型名称推定任何训练实现。缺失的训练细节不是技术错误，只是本研究的设计使然。

实际发生的计算分为两段。第一段是逐层初始化，对每一层在校准数据上比较浮点输出与不同缩放因子下的量化输出，选出使均方误差最小的缩放因子。第二段是全局搜索，把第一段得到的向量作为搜索分布的起点，用任务误差做选择压力，反复采样、评估、更新分布。评估时权重保持固定，只有缩放因子变化；监督来源是校准样本对应的参考目标与任务相关的误差度量，例如识别用错误率、增强用语音质量指标、合成用频谱损失、分类用准确率。

关于可复现的预算，论文明确写出校准与进化策略使用同一批来自训练集的样本，进化策略的初始步长与总评估预算也有明确数值，下一节的配置表会集中整理。需要提醒的是，进化策略不是确定性求解，即使固定起点与预算，不同随机采样也可能得到不同结果。论文用最终分布均值提高稳定性，但没有在本证据中报告多次运行的方差，因此复现时应至少记录随机种子与多次搜索的波动，不能把 1 次搜索结果当成确定性最优。

在哪些数据与模型上测，用多少校准样本与搜索预算？

要判断量化方法是否公平，首先要核对数据划分、模型、比特设置与校准条件是否一致。论文在 5 个任务上各选一个代表模型与公开数据集，并在官方测试划分上评测。语音识别用 Conformer 在 LibriSpeech 上测词错误率与字错误率，错误率越低越好。说话人识别用 ECAPA 在 VoxCeleb 上测等错误率与最小检测代价，同样越低越好。语音增强用 MP-SENet 在 VoiceBank-DEMAND 上测语音质量与可懂度，越高越好。

文本转语音用 FastSpeech 2 在 LJSpeech 上测梅尔频谱损失与后处理网络损失，越低越好。音频分类用 AST 在 Speech Commands 第二版上测准确率与平均精度，越高越好。

比特设置分为全 INT8 与全 INT4 两种，权重与激活都量化，以支持完全整数推理。校准对象是卷积、线性与层归一化算子的激活，其余算子与权重用量化中的最大值策略。所有实验包括校准、进化策略、训练后量化与推理都在同一型号图形处理器上进行，部署时用追踪导出与推理加速工具，但原文也说明该流程不限于图形处理器。

下表把论文明确给出的可复现配置集中为 5 个并列维度，比较问题是搜索起点与预算是否交代清楚，公平条件是同一批样本同时用于校准与搜索。表后一段会解释这些取值的代价与限制。

表中取值的含义与限制需要紧接着说明。样本数与预算都很小，好处是校准成本低，代价是搜索只能在起点附近做有限探索，对 INT4 这种敏感设置可能不够。初始步长决定了每次采样偏离当前均值多远，预算决定了总共能试多少批候选向量。论文没有报告不同预算下的曲线，因此不能推定增大预算必然更好；也没有报告校准样本的选取方式与随机性，复现时应固定采样并记录划分，否则跨论文比较容易失真。

主结果测什么，与谁比，INT8 与 INT4 各付出什么代价？

主结果要回答两个问题。在全 INT8 下，ESC 相对最大值、分位数、熵与均方误差 4 种基线是否保持精度。在全 INT4 下，ESC 是否明显好于这些基线，以及与视觉和语言方向的训练后量化方法叠加后能否接近浮点精度。比较的公平条件是同一模型、同一数据集测试划分、同一全量化比特设置，指标方向按任务而定，错误率与频谱损失越低越好，质量、准确率与精度越高越好。

论文报告的总体趋势是，ESC 在 INT8 下取得最优或接近最优，在 INT4 下相对基线有实质改善。原文对基线的定性描述值得保留。最大值在 INT8 尚可但在 INT4 受离群值影响大，分位数常靠去掉极端值取得不错结果但最优分位需要调参，熵方法在部分结构上好但在另一些模型上退化明显，均方误差是基线中整体最好的，而 ESC 以均方误差解为起点再做全局改进。论文还报告了两个看似反常但有解释的现象，语音增强在 INT4 下质量指标超过浮点，作者用正则化效应解释；音频分类在全 INT4 下只下降很少，显示该任务对低比特相对鲁棒。

下表不重复尚无逐字证据的完整精度矩阵，而是把原文用完整句子直接报告的总体收益与代价集中为 5 个并列维度，比较问题是低比特到底换来了多少速度与多少精度损失。表后一段会结合未胜出项说明限制。

表后需要同时讲收益与代价。收益是 INT8 在部署上持续减小体积并提速，平均值与区间分别给出了总体印象与模型间差异。代价是 INT4 并非在所有模型上都接近无损，论文的另一处表述把音频分类的相对下降写成约 1%，与此处 1.75% 的写法并存，初学者应理解为相对百分比的口径或四舍五入差异，而不是同一指标的矛盾。更重要的是，识别与合成类任务在 INT4 下仍有明显误差，说明低比特的收益不能只看分类或增强上的好结果。未胜出项也要保留，熵方法在部分模型上退化严重，说明没有一种传统校准在所有语音结构上都稳赢，这正是论文主张按任务误差直接优化的动机。

叠加其他训练后量化方法后，谁稳定谁只在个别模型上爆发？

这一节按问题组织。既然 ESC 只决定激活缩放因子，它能否与已有的训练后量化方法叠加。论文把来自视觉与语言方向的多种方法直接搬到语音模型上，并在 ESC 校准之上再做补偿，测试条件仍是全 INT4。需要区分论文直接报告、有限解释与未验证推测。直接报告是各方法在不同模型上的起伏很大，没有一种方法在所有模型上都最优。

有限解释是噪声偏置、偏置补偿与平滑缩放等方法通常带来小而稳定的改善。未验证推测是为什么某种方法在某个模型上爆发，论文没有给出因果证明，只能说结果提示需要为音频专门设计训练后量化。

具体到有源细节，论文点名了两处相对基线改善较大的例子。一种混合结构量化方法在说话人识别上有约 27% 的相对改善，一种自适应舍入方法在文本转语音上有约 15% 的相对改善，音频分类结合其中一种方法后准确率接近浮点。这些数字是相对 ESC 基线的改善，不是相对浮点的绝对精度，初学者不要误读为已经完全恢复浮点性能。同时也有反例，某些在特定模型上好的方法会在其他模型上明显拖累性能，说明直接迁移存在风险。

从复现角度看，叠加实验的动作是先用 ESC 定激活缩放，再套用第三方训练后量化流程。论文没有交代每个第三方方法的超参数是否针对语音重调，也没有报告多次运行的统计显著性，因此把某个组合写成通用最优是不稳妥的。更可行的结论是把 ESC 当作稳定的校准底座，再按模型逐个试探兼容的补偿方法，并始终保留不叠加的 ESC 基线作为对照。

哪些边界没有测，哪些改善不能直接承诺？

先说论文明确报告的限制。INT4 下的误差在不同任务上差异很大，识别类任务的错误率仍明显高于浮点，合成类任务的频谱损失也明显偏高，因此近无损的说法只在部分任务或叠加特定训练后量化后成立，不能推广为所有语音模型在全 INT4 下都近无损。传统校准中没有一种在所有结构上稳定，分位数需要调阈值，熵方法在个别模型上失效，这些都说明校准选择仍依赖任务与结构。

再说未评测的边界。论文的延迟与体积对比只针对 INT8，因为所用加速硬件对 INT4 权重的加速支持与对 INT8 整网的支持不同，所以不能把 2.31×平均加速直接理解成 INT4 也能加速。校准样本固定为每个任务 100 个训练样本，没有报告样本量、采样策略与随机种子变化时的稳定性。进化策略的预算固定为 100 次评估，没有报告预算曲线与多次搜索方差，因此不能承诺增大预算一定更好。相关性不等于因果，语音增强质量超过浮点的现象只得到了正则化方向的解释，没有对照实验证明因果。

最后说资源与可运行性。论文没有提供经验证的代码、模型或数据链接，本解读也不继承任何外部生成分析的评价。复现时应把重点放在可核对的计算上，即用同一批校准样本复现局部初始化，再用同一任务误差复现全局搜索，而不是先假设存在官方脚本。训练资源、推理开销、输出帧率与端到端延迟要分别讨论，总体加速趋势不等于每个模型每一步都加速。

复现先做什么，需要保留哪些超参数与信息条件？

复现的第一步是准备评测管线。按任务装好对应的浮点模型与官方测试划分，确认指标方向。语音识别看错误率越低越好，说话人识别看错误率与检测代价越低越好，语音增强看质量与可懂度越高越好，合成看频谱损失越低越好，分类看准确率越高越好。不要混用不同指标的差值，也不要把自动指标当成人评。

第二步是实现量化公式与校准范围。采用均匀对称量化，权重与其他非目标算子用最大值校准，卷积、线性与层归一化的激活留给 ESC。对每个目标层，用同一批 100 个训练样本比较浮点层输出与量化层输出，选出均方误差最小的缩放因子作为起点。这一步要记录样本编号，否则全局搜索的对比会失去公平性。

第三步是运行全局搜索。把所有待优化缩放因子拼成向量，以任务误差为目标，用初始步长 0.1、总预算 100 次评估的 CMA-ES 做采样与更新，最终取分布均值作为结果。搜索时冻结主干权重，只更新缩放向量。建议固定随机种子并做多次重复，报告均值与波动，而不是只报最好的 1 次。如果要叠加第三方训练后量化，应先保留纯 ESC 结果，再逐个叠加并报告相对 ESC 的变化，避免把事后最优组合当成可部署的默认收益。

何时值得尝试这种方法可以给一个务实的判断。当语音模型必须走完全整数推理且激活离群值明显，同时又拿不到大量训练数据做量化感知训练时，这种小样本校准加免梯度全局搜索是值得试的。当模型本身对激活量化不敏感，或已有充足数据与算力做重训时，直接照搬该流程的收益可能有限。还需补的验证包括更大样本下的稳定性、更大预算下的收益曲线、INT4 部署的真实延迟与功耗，以及在更多语音结构上的重复性。

如何一句话复述方法，又不误解它的适用条件？

可以用一句话复述全文。先逐层按重构误差定缩放因子，再把全部缩放因子当成连续向量按整网任务误差用进化策略联合修正，从而在不重训权重的前提下缓解语音激活大动态范围带来的量化信息损失。这个复述包含了输入、表示、组件、目标与输出，缺一不可。输入是小批量校准语音与参考目标，表示是每层缩放因子与整网缩放向量，组件是均方误差初始化与 CMA-ES 搜索，目标是层误差与任务误差，输出是可部署的整数模型。

论文特有的误解需要最后澄清。第一，进化策略不是在训练神经网络，它只搜索缩放因子，不能替代数据与模型本身的质量。第二，全局最优不是数学证明的最优，它是在有限预算与随机采样下的经验改进，换种子或换样本可能变化。第三，INT8 的加速与体积收益不能自动推广到 INT4，论文的部署结论明确限定在 INT8。第四，个别任务上超过浮点或接近浮点的结果不能推广为所有语音任务都如此，识别与合成在 INT4 下仍有明显代价。记住这些边界后，这篇工作可以被准确地理解为一个稳定的语音校准底座，而不是一劳永逸的低比特万能解。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总