Quantized Approximate Signal Processing (QASP): Towards Homomorphic Encryption for Audio

英文题目：Quantized Approximate Signal Processing (QASP): Towards Homomorphic Encryption for Audio

会议身份：conference:odyssey:2026:conference-paper-id:nguyen26_odyssey

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#模型量化 #时频分析 #隐私保护 #音频分类

评分：6.9/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

Tu Duyen Nguyen：机构信息未能从会议 PDF 纯文本可靠映射
Adrien Lesage：机构信息未能从会议 PDF 纯文本可靠映射
Clotilde Cantini：机构信息未能从会议 PDF 纯文本可靠映射
Rachid Riad：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为客户端原始语音波形，输出为服务端在加密态直接得到的时频谱及其描述符或分类判定，难点在于全同态加密仅支持低位宽整数查表运算而传统谱计算依赖高精度复数乘法与对数变换。该链路先将短时傅里叶变换与Mel、倒谱系数与Gammatone滤波器重写为固定权重卷积网络，使其输出进入量化编译工具链。接着以膨胀抽取、变窗与Poor Man投影等近似压缩累加器位宽需求，把省出预算留给激活量化以降低整体量化误差。最后经范围仿射量化编译为TFHE电路，在密文上执行描述符统计或浅层分类，密文结果解密后逼近明文流水线输出。与以往仅加密后端而前端仍在明文计算特征的做法不同，该工作把前端本身加密，以牺牲部分高频谱精度换取量化误差下降，具有补齐隐私短板的实际意义。在VocalSet任务下，膨胀d=4的错误率为8.3%，低于传统STFT的错误率10.4%。其结论适用边界受限于短片段离线批处理与低频主导描述符，高频谐波损失严重且MFCC误差最大，在VoxCeleb等大规模说话人验证上尚未验证。原文披露64ms音频加密短时傅里叶变换在Apple M2硬件上延迟约12970s而明文仅0.004s，但帧间可并行故推理开销须靠服务器级加速分摊。

🔗 开源与复现资源

第三方资源：https://github.com/zama-ai/concrete — 链接可访问（HTTP 200）
第三方资源：https://doi.org/10.5281/zenodo.3333552 → https://zenodo.org/records/22146916 — 链接可访问（HTTP 200）
第三方资源：https://heir.dev/ — 链接可访问（HTTP 200）可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么推理时也要加密？

输入是一段客户端录制的原始波形，论文记为长度为 M 的信号 x。目标是在服务器看不到波形和中间频谱的情况下，完成从波形到时频表示再到后续操作的完整推理，并在客户端用私钥解出最终结果。必须保留的信息是说话人识别和副语言分析依赖的前端是 Mel 滤波器组、倒谱系数和 Gammatone 滤波器，而这些前端传统上在明文下计算，会泄露年龄、性别、情绪和临床标记。

白话解释全同态加密（Fully Homomorphic Encryption，FHE）：一种允许对密文做任意函数计算、解密后与明文计算结果一致的加密，本文用基于 TFHE 的 Concrete 实现。全同态加密的分工是保证非交互的隐私推理，量化（Quantization）的分工是把浮点值按校准区间映射为低比特整数。论文选择 TFHE 而不用 CKKS，原文理由是后者只处理有界操作且按设计引入噪声，而 Concrete 用查找表编译函数并受 16 比特中间值限制，因此所有函数必须先量化再编译。

下面这张系统对比图值得先建立整体印象，它把旧路线和新路线画在同一张客户端服务器分层图上。

看图路径： 1. 先沿中间竖向箭头看原始波形经公钥加密后送入服务器的路径；2. 再对比左侧点线框内本地算特征加解密分类器的旧路线；3. 最后确认右侧私钥只在客户端解密最终结果的位置

论文图 1。原论文 Figure 1：“Secure audio processing with FHE: client audio is processed in encrypted form. T is the time-frequency transfor- mation, g represents subsequent operations (e.g. a classifier).”。

上图上半绿色为客户端，下半红色为服务器。中间实线是本文路线：原始波形经公钥加密成密文波形送到服务器，服务器在密文域执行时频变换加分类器得到密文结果，再返回客户端用私钥解密。左侧点线框是以前工作路线：在本地明文算梅尔倒谱特征，只把分类器放在加密域。右侧钥匙图标区分了公钥加密和私钥解密的位置。读懂该图后可以明确本文的矛盾点：要把最难量化的前端也搬进密文，而不是只加密后端。

以前的隐私语音路线为什么没有解决前端问题？

同输入同目标的对照是说话人验证和语音识别中的加密推理。以往路线包括在明文梅尔倒谱上做安全高斯混合计算、在加密梅尔和 Bark 倒谱上做识别评估、用同态加密保护声纹模板和厂商模型参数。这些工作的共同条件是假设时频特征已在本地明文算好，运行阶段仍把原始音频暴露给特征提取器。

同运行阶段但不同保护目标的对照包括差分隐私和联邦学习保护训练数据、语音匿名化去掉说话人特性、安全多方计算需要多轮交互。论文指出前两者在推理时仍留明文音频，匿名化与需要保留说话人特性的生物识别和临床应用冲突，安全多方计算可扩展性受限，且这些方法仍可能受成员推断和数据重构攻击影响。

另一条相关路线是加密域浅层模型或完全绕开信号处理，例如本地算短时傅里叶音素概率再加密后续计算。论文的直接贡献是首次把短时傅里叶、Mel、倒谱和 Gammatone 的计算本身放进加密域，补上现代说话人和语言识别系统共用的前端缺口。这一定位决定了后文评估必须覆盖频谱保真度、描述符保持和端到端分类 3 层，而不是只报分类准确率。

要解决的量化瓶颈具体卡在哪里？

问题可以沿一个样本走一遍。取一段歌唱或非言语发声波形，先按跳长分帧加汉宁窗，对每帧做离散傅里叶变换得到短时傅里叶，再求能量谱并经过 Mel 或 Gammatone 滤波、取对数和离散余弦变换得到倒谱，最后把频谱送入描述符统计或浅层卷积分类器。论文把该链条记为时频变换 T 和后续操作 g 的复合，目标是在加密域近似实现该复合。

卡点在编译前的量化。Concrete 要求输入、输出、权重和中间值都用低比特整数表示，论文用基于范围的仿射均匀量化，校准区间来自校准数据，位宽控制精度速度折中。对于点积输出，最坏情况下所需比特随项数和输入权重位宽增长，减少项数或更激进量化可以避免累加器溢出并释放比特给其他量。

教学例子：假设 1 帧有点积项很多，若权重保持高精度，累加器很快触及 16 比特上限，输出激活只能分到很少比特，能量分布就会被压扁。论文的思路是允许时频变换本身有近似误差，用近似版本替代精确变换，使得量化误差的下降超过近似误差的增加，从而整体更接近明文结果。这就是量化近似信号处理的含义。

整体方法如何把信号处理装进可加密的量化网络？

方法全景分 3 步。第一步把短时傅里叶、Mel、倒谱和 Gammatone 写成固定核权重的卷积神经网络，短时傅里叶是步长为跳长、核长为窗长的卷积，权重来自傅里叶核与窗函数乘积，从而能用 Brevitas 做量化感知处理。第二步对每层控制 4 个位宽参数：输入位宽、输出位宽、权重位宽和中间值位宽，在校准集上独立搜索 2 到 8 比特、按皮尔逊相关选最优配置。第 3 步在卷积核和能量计算上引入 5 种近似：膨胀、频率相关窗、贫民变换、L1 能量和频带裁剪。

Mel 滤波器组 × 倒谱系数： Mel 滤波器组负责按人耳尺度合并频带能量并取对数，倒谱系数负责再做离散余弦变换得到紧凑倒谱向量，二者分工是前者保留频谱包络后者去相关，搭配理由是现代说话人和副语言系统都从该前端提取嵌入，组合意义在于论文必须同时加密验证这 2 级，因为以往工作只加密了后端而把前端留在本地明文计算。

下图是理解实现的关键，它上下对照了常规谱计算和量化近似谱计算的数据流。

看图路径： 1. 先看上半常规谱计算从加窗到取实虚部平方求和的主链；2. 再看下半新增的输入输出权重量化节点与粉色近似模块插入位置；3. 对照右下图例确认校准数据与四种位宽符号的含义

论文图 2。原论文 Figure 2：“Top: conventional spectrogram computation. Bottom: our quantized approximate STFT formulations.”。

上图上半从波形 x 经汉宁窗和复指数系数得到实部虚部，再平方求和得到能量谱。下半在同样主链上插入了输入量化、权重窗量化、中间值量化和输出量化节点，粉色方块标出频率相关窗、L1 能量、膨胀、裁剪和贫民变换的作用位置，右下图例给出输入信号、复数向量、4 种位宽和校准数据的符号。读图时重点看近似只改动核的采样或系数值，不改变后续滤波器组结构，因此同一套量化搜索可复用于 4 种时频表示。

三种核心近似各自改了什么计算？

先讲膨胀。膨胀卷积按间隔 d 跳过采样点，论文按奈奎斯特给出每个频率档最大膨胀为窗长除以 2 倍频率序号的下取整。膨胀短时傅里叶只保留满足整除条件的采样点求和，误差随 d 增大而增大，尤其在低频引入混叠噪声。分工上膨胀减少点积项数从而降低累加器位宽需求。

再讲频率相关窗。受恒 Q 变换启发，对高频用更窄窗，窗宽取最小窗按最大频率与当前频率比缩放后再与原窗长取小，频率专用窗补零以维持核尺寸。该近似改变了时间频率分辨率折中，高频时间定位更好但频率平滑更多。

然后讲贫民变换。原始贫民离散傅里叶把每个复指数投影到 1、负 1、虚数单位和负虚数单位 4 个点，只剩符号变化。论文推广到 L 个等间隔点的投影，L 等于 4 回到原始形式，近似短时傅里叶用投影后的核计算，并给出与窗加权信号能量相关的上界。该近似是权重的极端量化。

全同态加密 × 量化： 全同态加密负责让服务器在看不到明文的情况下执行计算，量化负责把浮点信号和卷积权重压缩成低比特整数以满足 Concrete 查表 16 比特中间值限制，二者搭配的理由是加密电路无法直接处理浮点三角函数，组合后形成先量化再编译为加密电路的流水线，新增作用是让时频变换可以在密文域运行。

短时傅里叶变换 × 卷积神经网络： 短时傅里叶变换负责把分帧加窗后的波形映射到时频能量分布，卷积神经网络负责提供固定权重的卷积算子载体，二者搭配的理由是短时傅里叶本质是步长为跳长的复数卷积，组合后可用 Brevitas 对输入、输出、权重和中间值分别设置位宽，新增作用是统一了频谱计算和后续分类器的量化搜索框架。

膨胀卷积 × 混叠噪声： 膨胀卷积负责按间隔 d 跳采输入点以减少点积项数 L，混叠噪声是跳采后高频能量折叠到低频的代价，二者搭配的理由是奈奎斯特界给出每个频率档最大可用膨胀 dk，组合后在低频保留结构的同时释放累加器比特，新增作用是以可控的近似误差换取更小的量化误差。

贫民变换 × 比特预算： 贫民变换负责把复指数投影到单位圆上 L 个等间隔点从而只剩符号翻转，比特预算负责在输入位宽 Bi、输出位宽 Bo、权重位宽 Bw 和中间位宽 Bm 之间分配，二者搭配的理由是权重极端量化后省下的位可分给激活，组合后形成权重只占约 15% 而输出激活占超 35% 的启发式，新增作用是整体保真度反而高于常规高精度权重方案。

另外两种近似是 L1 能量和裁剪。L1 能量用实部绝对值加虚部绝对值代替平方和，节省比特是因为平方会使位宽翻倍而绝对值只需多一比特。裁剪是把给定频带外的短时傅里叶系数置零，论文用 1 千赫兹上限。这些近似都在减少需要高精度表示的数值范围，代价是改变了能量定义或丢弃高频信息。

本研究训练了什么，没有训练什么？

本研究没有训练时频变换本身。短时傅里叶核、Mel 矩阵、倒谱离散余弦矩阵和 Gammatone 滤波器权重是固定的信号处理系数，不更新，也不经过梯度。真实计算过程是调用既有变换作为固定卷积核，再在校准集上搜索 4 个位宽参数。校准只定量化的区间上下界，不改变核数值。论文未报告校准集的具体音频时长分布和区间估计算法细节，这是复现时需要补看代码的缺项，不能从模型名称推定其实现。

训练只发生在下游分类器部分。论文用两卷积块加池化和两全连接层的浅卷积网络做性别二分类和发声练习四分类，用量化感知训练和直通估计器，优化器为 Adam，学习率千分之一，训练 10 到 20 轮，在固定分层划分上跑 5 个随机种子。该深度不是按识别精度选的，而是受当前全同态电路约束。时频前端在分类器训练时保持冻结，梯度只更新分类器权重，监督来源是性别和练习标签。

推理阶段分明文和密文两条路径对比。明文路径直接用浮点前端加浮点或量化分类器，密文路径把量化后的前端和分类器编译为加密电路执行。论文未给出分类器量化位宽与前端位宽联合搜索的完整流程，只说明按任务选最优模型，因此不能把单次最优解读为可部署的统一配置。

数据、划分、指标和基线条件是什么？

数据用两个集合。VocalSet 约 10 小时 20 位歌手的 4 种发声练习变化，用于 144 对音频类别的统计检验和分类。OxVoc 含 173 段婴儿、成人和动物的非言语发声，用于 27 对类别检验。划分是 10% 校准加 90% 评估，分类用 80% 训练加 20% 测试的固定分层划分。硬件预算按原文交代，加密短时傅里叶在苹果 M2 上耗时量级远高于明文，帧间可并行。

指标分 3 层。内在指标是归一化频谱间 2 维欧氏距离，强调能量分布而非绝对能量。描述符层在加密频谱上算每频带随时间标准差的均值、均方根的均值和标准差，用明文与密文描述符的皮尔逊相关选位宽，再对每对类别做曼惠特尼 U 检验，以是否保持明文下显著性定义真阳性、假阴性等，并算错误率即假发现加漏检之和。分类层报测试准确率均值加标准差。

基线条件是常规短时傅里叶加全同态的流水线，所有近似方法与该基线在同一数据集、同一描述符和同一检验阈值下比较。位宽搜索空间同为 2 到 8 比特独立搜索，因此比较的是各方法在各自最优量化下的表现，而不是同一位宽下的表现。论文明确未做多重比较校正，并提醒 OxVoc 只有 27 对，单对翻转就会改变约 3.7 个百分点，解读时需谨慎。

频谱保真度和描述符保持的主结果是什么？

先看频谱视觉印象，下图是同一段 VocalSet 音频的 4 种表示上下对照。

看图路径： 1. 先对比上下两排同一列在低频亮带位置是否对齐；2. 再观察上排高频大面积暗区与下排仍有纹理的差异；3. 最后比较倒谱列与其他三列在明暗分布上的不同形态

论文图 3。原论文 Figure 3：“Comparison of log-scale spectrograms with FHE-friendly transformation corresponding to lowest Euclidean distance, of a given audio from the VocalSet dataset.”。

上图上排为加密计算的短时傅里叶、Mel、倒谱和 Gammatone，下排为对应明文，横轴为 0 到约 1.5 秒时间，纵轴为频率或系数序号。可见上排低频亮带位置与下排大致对齐，但上排高频大面积偏暗，说明谐波在 4 千赫兹以上丢失较多，倒谱列呈块状而与其他三列形态不同。该图对应最低欧氏距离的加密变换，属于各方法中的最好情况，不能推广为平均情况。

内在距离上论文报告倒谱受量化影响最大，在 2 数据集上均值最高，其余 3 种变换距离较低且跨数据集一致，但短时傅里叶、Mel 和 Gammatone 仍有个别离群值超过 1，尽管均值和标准差保持在 20% 以下。这支持对数加离散余弦链对均匀量化更敏感的判断。

描述符统计错误率的比较问题是：在相同检验框架下，哪种近似能更好地保持明文下的类别可分性。公平条件是同一数据集和同一显著性阈值，指标方向是错误率越低越好。下表整理论文直接报告的平均错误率，常规方法为基线，贫民变换和膨胀为实际可运行的近似策略。

数据集	评估对象	常规短时傅里叶平均错误率	贫民变换 L 等于 4 平均错误率	膨胀因子 4 平均错误率
VocalSet	音频描述符统计	5.9%	4.9%	4.7%
OxVoc	音频描述符统计	6.5%	3.7%	1.9%

上表显示膨胀因子 4 在 2 数据集上均为最低，贫民变换原始形式次之且均优于基线。代价是该平均值掩盖了描述符差异，原文分表显示频率自适应窗、L1 能量和裁剪在多数列上 worse，最大膨胀按档取上限时错误率显著升高。反例是膨胀因子 2 和 3 在部分描述符上波动，说明并非膨胀越大越好，未胜出的裁剪和 L1 能量提示单纯丢弃高频或改变能量定义不足以补偿量化损失。

分类和位宽分配支持什么机制解释？

分类比较的问题是：在加密前端下，不同表示和近似对下游任务的影响是否一致。公平条件是同一浅卷积结构和同一训练协议，指标方向是准确率越高越好。下表用论文直接报告的范围整理性别任务，随机基线另行标明以避免把搜索最优当可部署收益。

任务	特征举例	明文准确率范围	加密准确率范围	计算代价备注
发声练习四分类	Mel 等表示	待验证	膨胀最优但仍低于明文	输出激活占超 35% 权重占约 15%

上表显示性别任务加密与明文差距小且对表示不敏感，更难的四分类任务表示选择影响更大，膨胀在短时傅里叶、Mel 和倒谱上最好。代价是加密执行时间主要由查找表大小决定，近似主要改善量化精度而非速度。未胜出项是贫民变换在分类上并未如描述符层那样稳定，说明描述符保持与分类精度并非完全单调。

位宽事后分析支持权重让位给激活的机制。论文报告最优模型中卷积权重只占约 15% 预算而输出激活占超 35%，这与贫民变换通过极端量化权重释放比特的逻辑一致。但该分布是跨方法数据集任务汇总的最优值分布，属于事后最优，不能直接当作可部署的统一启发式，复现时仍需按校准集搜索。

哪些边界没有测，哪些结论不能推广？

论文直接报告的局限包括高频谐波丢失、倒谱对均匀量化敏感、分类任务只覆盖性别和发声练习而未在 VoxCeleb 等标准说话人基准上验证。原文明确倒谱链中对数操作在均匀量化下产生离群值，提出对数 Mel 和非均匀量化可能更友好，但这属于待验证推测，尚未测量。

运行代价方面，64 毫秒音频加密短时傅里叶耗时量级为 10000 秒级，即使帧间可并行并设想服务器级硬件和加速后端，仍只定位于法医音频或临床试验等离线批处理，不支持实时推理。论文未测量误判率随并发规模的变化，也未给出完整流水线的端到端延迟分解，因此不能承诺延迟得到改善。

统计层面，描述符检验未做错误发现率校正，OxVoc 样本对很少，单对翻转影响大。分类网络浅于当前说话人识别标准，作者称同一加密前端可直接用于 x 向量和 ECAPA 类系统，但这属于有限解释而非已验证结论，因为并未实际加密运行这些嵌入网络。区分直接报告与推测有助于避免把趋势当成每组每步都成立。

复现先做什么，需要哪些信息条件？

复现先做明文流水线。准备 VocalSet 和 OxVoc 的同样划分，用固定卷积实现短时傅里叶、Mel、倒谱和 Gammatone，复算归一化频谱距离和 4 种描述符，确认明文下类别显著性分布与论文一致。再接入 Brevitas 按 2 到 8 比特独立搜索 4 个位宽，用皮尔逊相关选配置，最后用 Concrete 编译并在小规模音频上试运行加密短时傅里叶。

关键超参数和信息条件包括汉宁窗长、跳长、校准集 10% 划分、Adam 学习率千分之一和 5 种子固定分层划分。论文给出膨胀上限公式和贫民投影定义，裁剪用 1 千赫兹上限，频率自适应窗用最小窗 80 点，这些是复现近似必须保留的条件。缺失项是校准区间估计算法和分类器与前端联合量化的搜索顺序，需查代码补齐。

资源状态是正文开源声明的唯一依据，本次收到的官方原图像素之外，第三方资源可用性为 Concrete 仓库可用、Zenodo 记录可用、HEIR 站点可用。可用仅表示链接当前可达，不代表权重下载或系统可一键运行，复现时应先验证编译器版本与 16 比特限制是否与论文一致，再补延迟和并行规模的测量。

何时值得尝试这种加密前端？

当任务必须保留说话人特性且推理时不能暴露原始音频，例如临床语音评估和需要保护声纹模板的验证系统，同时能接受离线批处理的高延迟，该管线值得尝试。选择近似时优先试膨胀因子 4 和贫民变换原始形式，因为它们在 2 数据集描述符错误率上一致优于常规基线，且分类上膨胀对 3 种表示最好。

不值得的情况包括需要实时响应、依赖 4 千赫兹以上谐波细节或依赖倒谱精度的系统，因为论文显示高频丢失和倒谱距离最大，L1 能量和裁剪等简化反而恶化统计保持。复现后还需补两项验证：一是在目标人群数据上重做描述符显著性保持检验并加多重比较校正，二是在真实服务器并行条件下测量端到端耗时与准确率的折中。只有这两项补齐，才能判断从性别和练习任务到说话人验证的推广是否成立。