键盘声能泄密吗：语音预训练表示在跨键盘与 VoIP 失真下的泛化与 KAN 适配

英文题目：Impact Analysis of Speech Representation Learning Models for Acoustic Side-Channel Attack

会议身份：conference:interspeech:2026:conference-paper-id:choudhury26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #迁移学习 #鲁棒性 #音频安全 #音频分类

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Nitin Choudhury：机构信息未能从会议 PDF 纯文本可靠映射
• Bikrant Bikram Pratap Maurya：机构信息未能从会议 PDF 纯文本可靠映射
• Arun Balaji Buduru：机构信息未能从会议 PDF 纯文本可靠映射
• Orchid Chetia Phukan：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

声学侧信道攻击输入为键盘敲击短音频，输出为按键标签，难点是脉冲短促易混且跨键盘硬件与VoIP编解码后谱时漂移严重。方法先系统性构建KEYAC数据集，按笔记本麦克风、手机近场与实时VoIP流三通道采集37把键盘敲击录音。再冻结Wav2Vec2、HuBERT、WavLM等六种语音预训练模型抽取帧级表征并池化为定长向量，仅训练轻量下游头做按键分类。最后在键盘留存与编解码泛化协议下对比全连接、卷积与KAN头，KAN在连接上用可学习一维样条替代固定线性权重以显式拟合复杂非线性交互。在KEYAC编解码泛化评测设置下，WavLM加KAN的准确率为58.36%，高于同骨干卷积基线的准确率45.21%。该结论限于受控采集的 37 把键盘与特定 VoIP 链路，未验证开放词汇密码推理、真实会议噪声与自适应防御下的外推。其适用边界尚未验证跨语言布局与真实会议噪声下的外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：要解决的泄露问题从哪里来？

本解读的输入是论文正文提供的文字证据与一张官方原图，目标是让刚进入语音或音频方向的研究生能复述方法与实验条件。输出是 1 篇可核对的技术讲解，必须保留的关键信息包括数据集规模与通道划分、6 种语音表示的冻结使用方式、3 种下游头的结构与训练超参数、3 种泛化协议的定义以及准确率与宏平均 F1 的报告口径。

声学侧信道攻击说的是白话里的偷听键盘声猜按键。用户在公共场所或在线会议中用笔记本键盘输入密码或敏感文档时，不同按键会因位置与机械结构产生细微不同的脉冲声。攻击者若能用笔记本麦克风、近场手机或会议软件音频流录到这些声音，就可能把声音映射回按键序列。英文名是 Acoustic Side-Channel Attack，缩写为 ASCA，后文统一称侧信道攻击。

语音预训练模型说的是先在大规模语音上学通用表示、再迁移到新任务的编码器。英文名是 Pretrained Models，文中称 PTMs，后文统一称预训练模型。把语音预训练模型用于侧信道攻击的直觉是，语音与敲击声都是时频结构化的声信号，语音模型学到的频谱纹理与时序上下文可能对短促敲击脉冲也有判别力。但敲击声是毫秒级瞬态，持续时间远短于音素，且信道变化会显著改变频谱包络。直接复用为语音设计的分类头可能无法捕捉分布式非线性交互。

声学侧信道攻击 × 语音预训练模型： 声学侧信道攻击分工是把键盘敲击的短促脉冲声映射到具体按键，语音预训练模型分工是把原始波形先转成通用声学表示；搭配理由是敲击声与语音共享频谱与时序结构，可复用语音学到的特征，组合意义是用冻结语音编码器加轻量分类头检验表示能否跨键盘和跨传输条件泛化。

初学者容易误以为准确率高就等于攻击一定成功。论文任务是封闭集按键分类，用准确率和宏平均 F1 衡量表示与适配头的判别能力。它没有建模语言模型纠错、打字习惯或真实窃听中的检测与切分误差。因此分类分数只是攻击链中识别环节的上限参考，不能直接等同于端到端恢复密码的成功率。

已有路线卡在哪里：为什么还要做新数据集？

此前的侧信道攻击研究多依赖手工特征或语谱图表示，配合经典机器学习或深度学习模型，在标准录音条件下做键盘泛化。论文指出这类工作的两个缺口。第一是数据层面，常用数据集来自较旧硬件或小规模采集，评估多局限于键盘泛化。第二是表示层面，尚无对现代语音预训练模型在侧信道攻击中泛化能力的系统评估，尤其是在网络电话编解码失真下。

语音表示学习此前的常规做法是编码器冻结、只训练轻量下游头，例如用全连接或卷积探针检验表示质量。论文沿用这一范式，但把对象从语音基准换成敲击声，把失真条件从干净语音换成跨设备与编解码。这意味着比较的公平条件是所有预训练编码器都不更新，只比较表示本身加相同量级下游头的效果。而不是比较谁的全量微调更强。

教学上可以举一个例子帮助理解，但它不是论文的实验。例子是同一台键盘在安静书房用笔记本麦克风录 1 次，再经由会议软件压缩后录 1 次。人耳可能都觉得是清脆的哒声，但压缩会改变高频衰减与瞬态包络。若分类器只记住了第一种录音的高频细节，第二种录音就可能被判错。这个例子只说明信道失真为何值得单独设协议，不附带任何数值结论。

到底要测什么：三种泛化如何拆分键盘与信道？

论文把问题定义为在冻结语音表示上的按键识别泛化。输入是单个敲击事件的音频片段，输出是按键类别。研究问题不是能否在同一键盘同一录音条件下过拟合，而是表示与适配头能否跨未见键盘与跨传输条件保持判别力。

为此论文提出 KEYAC 数据集。按原文交代，该数据集包含 37 把键盘共 37440 个敲击事件，均匀分布在 3 个通道，每个通道 12480 个样本。3 个通道分别是本地笔记本麦克风、智能手机近场与实时网络电话流管道如 Zoom 与 Teams。它们覆盖直视、非直视与编解码失真等声学环境，并提到自动增益控制与回声消除引入的条件变化。所有音频在特征提取前重采样到 16 千赫兹。

评估拆成 3 种协议。第一是标准录音下的键盘泛化，用键盘留出策略，把一把键盘的样本留作测试，其余键盘的标准录音做训练。第二是网络电话条件下的键盘泛化，保留键盘留出，但测试用留出键盘对应的网络电话流音频，训练仍用其余键盘的标准录音。第三是编解码泛化，与键盘无关，训练用标准录音，测试用网络电话流音频。域内与域外分别对应交叉验证内的折划分测试与上述留出测试，指标为准确率与宏平均 F1，越高越好。

方法全景：一个样本如何走完输入到输出？

先沿一个样本走完全流程。假设取到一个标准通道的敲击片段，预处理将其重采样到 16 千赫兹，然后送入冻结的语音预训练编码器，得到一个定长向量。例如 Wav2Vec2、WavLM 与 HuBERT 给出 768 维，XLS-R 给出 1024 维，X 向量与 Whisper 编码器给出 512 维。该向量就是表示，之后送入三选一的下游适配头，再经任务相关的分类层输出按键类别。训练时只更新下游头，编码器保持冻结。

论文评估 6 种表示。4 个自监督骨干是 Wav2Vec2、WavLM、HuBERT 与 XLS-R，其中 XLS-R 是 Wav2Vec2 架构的多语扩展。两个监督表示是 X 向量与 Whisper，X 向量来自为说话人辨认训练的时延神经网络，Whisper 只用其编码器部分提取嵌入。这种选择覆盖了掩码预测、去噪、多语与说话人判别等不同预训练目标，便于观察哪类语音目标更适合脉冲声。

下游头有 3 类。基线是全连接网络与卷积网络，提出的方法是基于柯尔莫哥洛夫阿诺德网络的适配器。英文名是 Kolmogorov-Arnold Networks，缩写为 KAN，后文统一称 KAN 头。图 1 展示了这种三支并列的评估框架，顶端是攻击场景示意，中部是冻结的预训练模型与表示，底部是 3 种可替换的下游路径。

下段是该图在方法小节中的导读，说明阅读顺序与比较意图。读图时应先确认输入来源与冻结标记，再横向比较 3 条支路的差异，而不是把 3 条支路看成串联的流水线。中间支路的卷积与池化标注表明它侧重局部时序聚合，右侧支路用整块表示非线性函数建模，三者最终都接到各自的分类头。导读强调控制变量的设计意图，为后文解释性能差异归因做准备。

看图路径： 1. 先看顶部三类生活化图标如何汇入中间的波形符号，再向下追踪到冻结的预训练模型；2. 对比左中右三条支路的下游方框标注，确认全连接、卷积与 KAN 是并列可替换的适配头；3. 检查中间支路卷积块标注的重复次数与池化标注，理解其局部时序建模意图；4. 沿每条支路最下方的分类头与输出箭头，确认三者输出的是同一按键识别任务

论文图 1。原论文 Figure 1：“Downstream Architectures Considered for Evaluation”。

该图可见顶部用 3 个生活化图标表示窃听来源，中间用波形符号汇聚声音，随后分出三列相同的冻结预训练模型与表示框，区别只在下游方框。左侧标注为全连接网络的方框体量较大，中间标注为 1 维卷积加最大池化且注明重复 2 次，右侧标注为 KAN 的方框。每列底部都有分类头与输出箭头，右上还有冻结图例。这种布局的教学价值在于一眼看出控制变量的设计：表示相同、只换适配头，因此性能差异可归因于适配头对非线性交互的建模能力，而不是编码器容量不同。

组件如何计算：全连接、卷积与 KAN 各做什么？

全连接下游头的做法是把表示向量送入含 90 个隐单元的稠密层，再接分类层，二分类用 Sigmoid，多分类用 Softmax。它的分工是做全局加权求和，优点是简单、参数少。缺点是交互形式固定，主要靠一层非线性激活刻画复杂关系。

卷积下游头的做法是用 2 个卷积块，每个块是核大小为 3 的卷积层加池化大小为 2 的最大池化层，最后接与全连接相同的分类层。它的分工是在表示维度上做局部滑动聚合，适合捕捉相邻维度的局部模式。论文让两种基线共用分类层写法，意图是更好地评估表示本身的能力，而不是靠分类层技巧拉开差距。

冻结编码器 × 下游适配头： 冻结编码器分工是保持预训练权重不变以考查表示本身的泛化性，下游适配头分工是只学习从表示到按键标签的映射；搭配理由是避免全量微调掩盖表示差异，组合意义是让全连接网络、卷积网络与 KAN 在同一输入表示上公平比较建模能力。

KAN 头的想法来自柯尔莫哥洛夫阿诺德表示定理，白话是多元连续函数可写成多个 1 维函数变换后再组合。与常规网络把权重做成固定标量不同，KAN 把连接上的权重换成可学习的 1 维非线性函数。实践中常用样条基如 B 样条实现，以获得灵活而平滑的函数逼近。给定输入向量，KAN 层先对每个输入维度用可学习的单变量映射变换，再聚合成隐单元，最后再用另一组可学习函数组合成输出。这种设计更显式地建模特征间的非线性交互。

VoIP 编解码失真 × 表示漂移： VoIP 编解码失真分工是引入压缩、自动增益控制与回声消除带来的频谱与时序改变，表示漂移分工是描述同一按键在标准录音与 VoIP 流下嵌入位置发生偏移；搭配理由是只有同时保留传输条件标签才能分离键盘差异与信道差异，组合意义是解释常规线性适配在编解码条件下失效。

论文的实现是单个隐藏 KAN 层含 30 个单元，网格数为 5，样条阶数为 3，后接任务相关的输出层，同样按二分类与多分类选用 Sigmoid 与 Softmax。

全连接网络 × KAN： 全连接网络分工是用固定权重加固定激活做全局线性组合，KAN 分工是把连接上的标量权重换成可学习的 1 维样条函数；搭配理由是编解码后的表示存在复杂非线性特征交互，常规浅层难以显式建模，组合意义是以更具表达力的单隐藏层 KAN 适配器替代分类头来提升跨信道鲁棒性。

需要提醒的是，论文没有给出 KAN 内部样条初始化、正则化细节与参数量对比，也没有报告推理延迟。初学者不应从名称推定 KAN 一定更轻或更快，只能按论文证据说它在该数据集与该训练配置下分类分数更高。

只训练哪里：冻结、损失与优化如何安排？

训练职责在本研究中特指下游头的学习，6 个预训练编码器全程冻结，不更新。监督来源是按键标签，损失按任务选择，二分类用二元交叉熵，多分类用类别交叉熵。优化器为 AdamW，训练 20 个轮次，批量大小为 16，学习率为 2.2e-4，并用 Dropout 与早停减轻过拟合。

域内采用 5 折交叉验证，每次用四折训练、一折测试；域外则按 3 种泛化协议划分训练与测试。梯度路径因此只经过下游头与分类层，不回传到语音编码器。这种安排的理由在正文中有明确交代，即沿用语音表示学习的既定做法，在编码器冻结下做轻量下游微调，以检验表示的内在能力。

未报告的缺项包括早停的具体耐心值、Dropout 率、折划分是否按键盘分层，以及 KAN 优化是否使用不同的学习率或正则。这些都不能从模型名称推定。复述时要区分原始目标与实现，原始目标是最小化按键分类的交叉熵，近似手段是只调下游头。论文没有把无编码器训练等同于确定性求解，因为同一表示在不同随机初始化下仍可能学到不同的下游头。

实验条件：数据、特征与协议如何对齐？

数据侧总量与通道划分已在前文交代，此处强调可复现的对齐细节。特征提取前统一重采样到 16 千赫兹，各模型嵌入维度按原文分别为 768、1024 与 512。评估指标为准确率与宏平均 F1，两者都以百分比报告，越高越好。宏平均 F1 对每类同等加权，比单纯准确率更能反映按键类别不均衡下的平均表现，但论文未给出每类的样本数与混淆细节。

键盘留出 × 编解码泛化： 键盘留出分工是训练与测试用不同键盘以检验对未见硬件的泛化，编解码泛化分工是训练用标准录音、测试用 VoIP 流以隔离信道失真的影响；搭配理由是现实攻击常同时遇到新键盘与会议软件压缩，组合意义是把单一变量与双重困难拆成 3 种协议分别度量。

协议对齐是理解数字的前提。标准键盘泛化的训练与测试都是标准录音，只是键盘不同；网络电话键盘泛化的训练是其余键盘的标准录音，测试是留出键盘的网络电话音频；编解码泛化的训练是标准录音，测试是网络电话流。3 种协议分别回答未见硬件、硬件加信道双重变化、纯信道变化 3 个问题，不能混为一谈。

资源状态需要如实说明。本次收到的证据中资源状态为无绑定来源完成验证，不得声称代码、模型或数据已公开。原文脚注称数据集将按申请仅供研究使用，但这只是作者的未来计划，不是当前可用性的证据。硬件预算、训练时长与统计显著性检验在正文中未报告，复现时应把这些记为缺项，而不是默认配置足够。

主结果：谁在标准与 VoIP 下更稳？差距多大？

比较问题是，在编码器冻结且下游头轻量的公平条件下，哪种语音表示在 3 种协议下更稳。公平条件是同一表示、同一训练超参数、只换下游头；指标方向是准确率与宏平均 F1 越高越好。下表聚焦卷积基线下的域内起点，便于看清不同表示的初始差距。

上表整理自正文连续原句中的基线数字，目的是在同一视图下比较不同表示的起点高低。表中 WavLM 在 3 种域内条件下均为卷积基线中最强，而 HuBERT 与 XLS-R 明显偏低。需要强调的是该表只呈现域内基线，未包含域外留出键盘的下降幅度，完整的域外数字见原文大表。复述时不应把域内最强推广为所有条件下无条件最强。

表后解释主要收益与代价。论文报告在标准键盘泛化下卷积下游整体强于全连接，其中 WavLM 加卷积在域内取得上述分数，而 HuBERT 与 XLS-R 仅在 30% 量级，差距表明并非所有语音表示都同样适合脉冲声。在域外键盘留出下所有模型下降约 8 至 10 个百分点，说明未见硬件本身就是难点。进入 VoIP 条件后整体进一步下降，WavLM 仍相对最稳。未胜出项是 HuBERT 与 XLS-R，它们在语音识别等任务上很强，但在该敲击声任务的轻量冻结评估下表现靠后。这支持表示目标与任务匹配很重要的判断，但仍是有限解释而非因果证明。

换适配头有多大用：KAN 相对基线的提升是否一致？

比较问题是，保持表示与训练配置不变，只把下游头换成 KAN 后，提升是否跨协议一致，以及代价是什么。公平条件与主结果相同，指标方向同样是越高越好。下表以 WavLM 为例对比 KAN 与卷积基线，控制变量只有适配头。

上表数字来自正文关于 KAN 的连续原句，WavLM 加 KAN 在 3 类域内条件下均明显高于卷积基线。跨表示看，论文报告即使原来偏弱的表示在 KAN 下也大幅抬升，说明提升不是只属于最强表示。表后解释收益与反例，论文报告 KAN 在所有预训练模型与评估场景下一致优于基线。

表后进一步说明边界。论文报告标准键盘留出域外下 WavLM 加 KAN 仍保持较高分数，明显高于卷积与全连接基线，在编解码域外下退化相对温和。这支持作者的假设，即常规适配层难以捕捉分布式表示中的复杂非线性交互，而 KAN 更适合编解码改变后的声学模式。但代价与边界同样要写清，论文未报告 KAN 的参数量、训练时间与推理延迟，也未做去掉样条或改变网格数与阶数的消融。因此不能说提升必然来自样条本身，也不能承诺延迟或成本得到改善。未评测的边界包括全量微调、其他编解码器与真实会议噪声下的端到端攻击，这些都属于待验证。

哪些还不能下结论：缺项与冲突如何处理？

首先是证据层面的缺项。论文未公开可验证的代码与数据链接，本次资源状态也不支持写已公开，复现者只能按文字描述重建。其次是统计与预算缺项，没有标准差、显著性检验、硬件型号与训练时长，单次分数的波动范围未知。

再次是超参数缺项，早停阈值、Dropout 率、折划分细节与 KAN 正则均未交代，不同随机种子下的稳定性无法判断。其次是方法层面的限制，冻结评估能公平比较表示，但不代表实际攻击者不会做全量微调或结合语言模型纠错。因此实验室分数是识别环节的参考，不是端到端威胁的直接度量。

论文把 VoIP 下降归因于常规适配层对非线性交互建模不足，这属于有限解释，原文用假设一词引出，尚未通过针对性的消融证明因果。最后是报告层面的细节，正文多处出现键盘留出后下降约 8 至 10 个百分点的概括，但不同模型与协议的实际降幅并不完全相同。阅读时应以大表中的具体域内域外配对为准，而不是把区间当成每组精确值。不同指标的差值不能混放，百分点变化与相对百分比变化是两回事，复述提升时应说明是百分点还是相对比例，避免夸大。

要复现先做什么：最小可运行步骤是什么？

第一步是重建数据管线。按原文收集 37 把键盘的敲击事件，保证总量 37440 且 3 通道各 12480，分别保留本地麦克风、手机近场与会议软件流 3 种来源，并记录每段的键盘标签与通道标签。所有音频重采样到 16 千赫兹，再按模型要求提取对应维度的冻结嵌入。

其中 Wav2Vec2、WavLM 与 HuBERT 为 768 维，XLS-R 为 1024 维，X 向量与 Whisper 编码器为 512 维。第二步是实现 3 种下游头，全连接头用 90 隐单元加分类层，卷积头用两块核 3 卷积加池化 2 最大池化再接分类层。KAN 头用单隐藏层 30 单元、网格 5、样条阶 3 再接分类层，二分类与多分类分别用 Sigmoid 与 Softmax。

训练只更新下游头，用 AdamW、20 轮、批量 16、学习率 2.2e-4，加 Dropout 与早停，损失按任务选二元或类别交叉熵。第三步是严格执行 3 种协议，域内做 5 折交叉验证，域外按键盘留出、VoIP 键盘泛化与纯编解码泛化分别划分。统一报告准确率与宏平均 F1 的域内域外配对，建议额外记录每次运行的随机种子、早停轮次与训练时长。在未获得数据前，不应声称系统可运行，只能说按文字描述的重建方案待验证。

何时值得尝试：带什么条件去用这个结论？

当你的任务也是短瞬态声事件分类，且面临设备与传输双重变化时，这篇工作的结论值得参考。它的可操作建议是，先用冻结语音表示加轻量探针快速筛选表示，WavLM 在这类脉冲声上起点较高可优先试。但不要跳过 Whisper 与 Wav2Vec2 的对照，因为信道不同时排序可能变化。若基线在压缩条件下明显下降，再试 KAN 这类更具表达力的适配头，而不是直接加深全连接或卷积。

使用时必须附带适用条件。结论依赖标准录音训练、VoIP 流测试的划分，若你的部署是反过来或完全是 VoIP 训练，则不能直接套用提升幅度。同时要补做论文未做的验证，包括多随机种子的方差、推理延迟与参数量对比、不同编解码器与真实背景噪声下的表现。以及结合检测切分与语言纠错后的端到端效果，只有补齐这些，才能把分类分数的提升转化为对实际鲁棒性的判断。

一句话收束是，语音表示为敲击声提供了可用的起点，跨键盘与跨编解码仍是主要难点，而更显式的非线性适配是当前证据下最有效的改进方向。但其因果机制与部署代价仍待进一步验证，初学者应带着缺项清单去读数，而不是只记最强的几个百分比。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总