不出声也能画像：联邦语音模型权重差如何泄露口音与年龄

英文题目：Personal Attribute Leakage in Federated Speech Models

会议身份：conference:interspeech:2026:conference-paper-id:alali26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#联邦学习 #隐私保护 #语音 #语音属性识别

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Hamdan Al-Ali：机构信息未能从会议 PDF 纯文本可靠映射
• Ali Reza Ghavamipour：机构信息未能从会议 PDF 纯文本可靠映射
• Tommaso Caselli：机构信息未能从会议 PDF 纯文本可靠映射
• Fatih Turkmen：机构信息未能从会议 PDF 纯文本可靠映射
• Zeerak Talat：机构信息未能从会议 PDF 纯文本可靠映射
• Hanan Aldarmaki：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文研究联邦学习下自动语音识别模型的个人属性泄漏，输入为全局模型与目标说话人单样本微调后模型的权重差分，输出为性别与年龄与口音及情感与构音障碍的属性推断，难点在于攻击者无法接触目标语音而只能利用细微权重更新信号。该方法链分三步衔接：第一步在公开语音上为每个标注样本复刻单语句微调以构造带标签的影子模型权重库，第二步对每个参数张量抽取均值与标准差与最值并拼接为定长向量，其输出的压缩向量直接作为第三步输入。第三步按类别计算质心并用归一化欧氏距离对目标向量做最近质心分类，从而将权重空间位移转化为属性标签。与以往需目标语音前向探测或成员推断的方法不同，该机制完全不使用音频探测而只比较权重功能位移，因而在更弱更现实的威胁模型下仍能验证画像风险。在语音口音档案库口音二分类中Wav2Vec2达到100%准确率，而性别任务在三种模型上仅为46%至64%，表明覆盖缺失属性更易泄漏。结论边界在于小样本受控朗读与单语句微调条件，连续年龄与开放口音及自然情感的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要回答什么？

本文的输入是联邦学习中服务器能合法看到的两份权重，一份是下发前的全局语音识别模型，一份是用户在本地用一条语音做个性化微调后上传的本地模型，攻击者看不到任何原始音频、文本转写与元数据。目标是判断仅凭这两份权重的差异，能否推断出说话人的性别、年龄段、口音是否为母语、情绪状态以及是否存在构音障碍。必须保留的关键信息是威胁是被动的白盒观察，方法是基于公开数据构造影子模型并做质心最近邻分类，实验覆盖 3 种基座模型。

输出是 1 篇可复述的技术解读，先讲任务与相关路线，再讲方法全景与计算细节，然后讲数据划分与实验条件，最后讲主结果、反证与复现要点。本文只研究自动语音识别模型在联邦个性化场景下的属性泄露，不研究从音频直接分类属性，也不研究重构语音内容。教学中举的例子会明确标为例子，例如把影子模型比作模仿考试，只是帮助理解，不增加新的数值结论。

资源状态方面，本次未发现来源绑定且完成验证的资源，因此不得声称代码、模型或数据已公开，只能按论文文字交代数据集名称与划分。

已有路线研究了什么，本文的空位在哪里？

语音隐私已有 3 条相关路线。第一条是集中式语音识别的记忆与成员推断，例如用部分掩蔽输入诱发模型输出训练中见过的人名，或判断某段音频是否参与过训练，这条路线关心模型是否记住了具体样本。第二条是联邦学习的通用隐私分析，例如证明梯度更新可以泄露训练数据的敏感属性或成员关系，但多数结论来自图像领域，不能直接搬到语音的时序声学与大规模预训练编码器上。

第 3 条是联邦语音中的说话人重识别，例如用少量目标说话人音频探测微调后模型的激活变化来做说话人验证，这条路线依赖拿到目标语音做探测。与上述路线相比，本文的空位是无目标语音条件下的属性推断，也就是不听目标人一句话、不查询模型，只看权重差能否猜出人口统计学与临床属性。论文还提到语音情绪识别联邦场景下曾有人用模型权重推断性别，并有人提出用差分隐私缓解，但据作者所知尚无针对语音识别的系统性属性推断研究。

因此本文的贡献定位是首次在 3 种常用语音识别基座上同时测试 5 类属性，并进一步检验覆盖不足假设。

为什么联邦学习仍可能泄露个人属性？

联邦学习的直觉是原始音频不出设备，只传模型更新，似乎就保护了隐私。但更新本身是本地数据梯度的函数，为了让识别错误下降，优化必须沿着对本地语音最敏感的方向移动参数。如果本地语音带有强烈的口音、年龄或病理特征，而全局模型对此不熟悉，那么同一次微调产生的梯度方向与幅度就会与其他人群不同。服务器即使不干预训练，也能比较更新前后的权重，从这种系统性差异中读出属性。

风险在于这种泄露不需要知道说话人是谁，仅知道口音、情绪或是否患病就可能构成画像、监视或歧视，并触及法律保护议题。论文强调即使不识别身份，仅揭示口音或情绪也属于严重隐私破坏。理解这个问题的关键是区分更新幅度与更新语义，幅度可能在各人群上几乎一样，但语义位移可以相差很大，后文的功能位移分析正是为此设计。初学者容易误以为联邦学习等于隐私保证，本文要纠正的是它只减少了直接暴露音频的面，并未消除更新中的统计可分性。

方法全景：一个样本如何走完输入到输出？

先沿一个样本走完全程。假设目标说话人有一条朗读语音，设备收到全局权重后在本地做 1 次单条语音的个性化微调，得到本地权重并上传。攻击者在服务器端拿到全局与本地两份权重，计算每个参数张量的统计向量，再与事先建好的男性与女性质心比较，距离谁近就判为谁。

影子模型的构建是同一流程的复刻，攻击者从公开数据集中取已知性别的多条语音，每条都从同一全局权重出发独立微调出一个影子模型，并记录其统计向量与标签，从而算出男女质心。测试时对目标模型做同样的统计提取与归一化欧氏距离比较，完成推断。整个过程不使用目标音频，不需要转写文本，也不需要模型输出概率，只依赖权重本身。

权重差 × 影子模型： 权重差负责提供目标说话人个性化前后可观测的唯一证据，影子模型负责用公开数据模拟同样个性化过程并产出带属性标签的权重样本，二者搭配的理由是攻击者没有目标语音，只能用公开语音复刻相同的从全局到本地的映射，组合后新增的作用是把无标签的待测权重差转化为有监督的质心分类问题。

该方法的非参数特性意味着没有可训练的攻击分类器，只有按类平均与最近邻比较，这降低了对影子样本量的依赖，但也意味着性能完全取决于统计向量空间本身是否可分。论文对每个说话人只用单条语音做个性化，这既模拟了联邦初始入网时数据极少的苛刻条件，也放大了欠代表属性的惊异效应。

统计向量与质心比较具体算什么？

组件分为提取与比较两步。提取时对影子或目标模型的每一个参数张量计算 4 个数，分别是均值、标准差、最小值与最大值，然后按固定顺序拼接成定长向量。论文举例说明该压缩的幅度，例如参数量为两亿四千多万的 Whisper Small 会被压缩到一千九百多维，这说明比较发生在张量级分布层面，而非逐参数比对。

比较时先对同一属性类别内的所有影子向量求平均得到质心，例如男性质心与女性质心，然后对目标向量与每个质心计算归一化欧氏距离，取距离最小的类别作为预测。该距离对向量做归一化处理，以消除不同模型尺度的影响，并可自然扩展到多分类口音任务。实现上攻击者需要知道模型结构以便按张量切分，但不需要知道训练超参数以外的本地细节。

未报告的缺项是本地微调的具体学习率、优化器步数与冻结策略，论文只说明是单条语音的个性化微调，不能从模型名称推定这些实现细节。

联邦学习 × 属性推断攻击： 联邦学习负责把原始语音留在本地、只上传模型更新以完成协作训练，属性推断攻击则负责在服务器端只观察更新前后的权重差来猜测说话人属性，二者搭配的理由是更新必须携带足够完成识别任务的梯度信号，而该信号同时携带了说话人特质，组合后新增的作用是把隐私问题从是否泄露语音内容转移到是否仅从权重几何就能画像。

本研究训练了什么，没有训练什么？

本研究没有训练新的语音识别基座模型，也没有训练参数化的攻击网络。实际发生的计算有 3 类。第一类是复用已有的 3 个基座模型，分别是参数量约九千五百万的 Wav2Vec2 Base、约三亿的 HuBERT Large 与约两亿四千四百万的 Whisper Small，其中前两者在 960 小时的 LibriSpeech 上预训练并微调，Whisper Small 在 680000 小时的多语言多任务标注数据上训练。

第二类是为每个影子样本与每个目标说话人执行 1 次从全局权重出发的单条语音微调，得到大量 1 次性个性化模型，这些模型的权重只用于提取统计向量，不用于发布新的识别系统。第 3 类是质心计算与最近邻判定，属于无梯度的算术平均与距离排序。监督来源是公开数据集提供的属性标签，例如语音口音档案库的性别与口音标注、TORGO 的患病标注与 RAVDESS 的情绪标注。

需要明确的是冻结与更新策略、梯度是否截断等细节原文未完整交代，因此复述时只能说按个性化微调处理，不能断言具体哪几层被冻结。

参数张量统计 × 类别质心： 参数张量统计负责把每个影子模型数量巨大且结构不同的参数压缩为每个张量取均值、标准差、最小值和最大值的定长向量，类别质心负责把同类属性的统计向量平均为一个代表点，二者搭配的理由是直接比较全量参数不可行且噪声大，而统计量保留了更新幅度与分布偏移，组合后新增的作用是用归一化欧氏距离最近质心完成多分类推断。

数据、划分与评估条件如何保证可比？

实验按属性分别设计为二分类检测。性别用语音口音档案库中 200 名母语英语说话人，男女各一百，训练测试按 75% 与 25% 划分且性别平衡，控制朗读内容为同一英文句子以隔离说话人特质。年龄同样用该档案库，但为避免连续年龄边界模糊，只取十八到二十四岁与三十五到四十四岁两个分离区间，共 70 名男性母语者，每类 35 人，采用五折交叉验证。口音用 200 人，母语与非母语各半，同样是 75% 与 25% 划分。

情绪用 RAVDESS 的 24 名专业说话人，每人固定语句，构造平静对愤怒、快乐对悲伤、平静对恐惧 3 个二分类任务，每个任务基于 48 条语音做六折交叉验证。构音障碍用 TORGO 的 15 名说话人，其中 8 名患病、7 名健康，每个说话人选 10 条较长语音，是唯一语言内容不一致的任务，采用留一说话人交叉验证。评估指标是攻击成功率即分类准确率，随机基线为 50%，交叉验证结果用标准误与 t 分布的 95% 置信区间表示。

惊异度 × 功能位移： 惊异度负责度量全局模型在目标口音上微调前后的交叉熵损失下降，功能位移负责度量微调前后输出分布的散度变化，二者搭配的理由是权重向量的欧氏范数在各人群上几乎相同，无法解释为何有的属性更易泄露，组合后新增的作用是证明欠代表口音引起更大的行为改变，从而在统计向量空间中更可分。

论文特有的细节是单条语音个性化与控制语句设计，前者让攻击难度更高，后者让性别年龄口音的比较更公平，而情绪与障碍任务样本少、变异大，需要结合置信区间判断显著性。

主结果：哪些属性泄露，哪些接近随机？

比较的问题是同一攻击流程下不同属性与不同基座的泄露强度，公平条件是同一属性内影子与目标遵循相同的单条语音微调与质心分类，指标方向是准确率越高表示泄露越严重。下表整理性别、年龄与母语口音 3 个二分类任务的主数字，第五列为基于原文的定性判断，不引入新数值。表前已说明比较问题与条件，表后将解释收益与代价。

表后解释如下。年龄与口音在 3 个模型上达到 80% 到 100%，其中 Wav2Vec2 在两者上均达到 100%，说明权重差中包含高度可分的信号。性别则在 46% 到 64% 之间，最难推断，尽管性别在原始语音中通常很易区分，这构成一个反直觉的反例，提示泄露不等于语音可听性。未胜出项是 Whisper 在性别上低于随机，说明并非所有模型对所有属性都泄露，需要按属性分别讨论，不能把总体趋势推广到每一组。

第二个比较问题是临床与情绪属性是否同样泄露，条件与指标同上，下表整理对应数字。

表后解释如下。Whisper 在除性别外的所有属性上均超过 70%，是情绪与障碍任务上最可靠的基座，而 Wav2Vec2 与 HuBERT 在多个情绪任务上接近随机。愤怒的检测率最高，其他情绪变异更大。需要强调的代价是情绪与障碍样本量小，置信区间宽，只有结合区间是否明显高于随机基线才能判断显著性，年龄任务则在所有模型上显著，因此原文图中省略了年龄的区间条。

预训练覆盖 × 灾难性遗忘： 预训练覆盖负责说明基座模型在训练时见过哪些性别、年龄与口音分布，灾难性遗忘负责解释即使早期见过、后期未再出现的属性也可能产生大梯度，二者搭配的理由是泄露强度不只取决于语音本身的可区分性，更取决于模型对该属性是否熟悉，组合后新增的作用是把口音高泄露与性别低泄露统一为覆盖充分则更新平滑、覆盖不足则更新显著的机制假设。

下面先导读收到的像素图。该图展示情绪 3 个二分类与构音障碍共 4 个分组下 3 个模型的平均准确率与 95% 置信区间，纵轴为准确率，横轴为任务，图例区分 Wav2Vec2、HuBERT 与 Whisper，品红虚线为随机基线，阅读时应先确认分组与颜色映射，再看柱高与误差线是否稳定高于基线。

看图路径： 1. 先看横轴四个任务分组与每组内蓝黄绿三根柱子的对应关系；2. 再看纵轴准确率与品红虚线表示的二分类随机基线位置；3. 比较同一任务下三根柱子的高低与误差线是否跨过基线；4. 重点观察右侧构音障碍组与左侧情绪组在模型间的差异模式

论文图 1。原论文 Figure 1：“Mean accuracy for binary classification of Emotion & Dysarthia with 95% confidence intervals.”。

结合像素可见，左侧 3 组情绪任务中绿色代表的 Whisper 柱子系统性高于蓝色与黄色，且误差线下端多在基线之上，而蓝色与黄色的多根柱子与基线重叠。右侧构音障碍组中蓝色最低、黄色居中、绿色最高，但三者的误差线都较长，说明小样本下点估计为 50% 九到 80% 一，仍有较大不确定性。该图不支持把 Wav2Vec2 的情绪推断说成有效，也不支持把末端一点推广为全程趋势，必须按任务与模型分别下结论。

反证：换层、换口音覆盖后泄露如何变化？

论文做了 3 组反证。第一组是逐层分析，仅在 Wav2Vec2 的编码器各变换层上重复质心攻击，测试年龄、平静对愤怒与构音障碍。结果是年龄在所有层上保持高准确率，说明仅用子集参数即可有效攻击，而情绪与障碍在层间波动大，某些中后层甚至超过全量参数，说明属性信息在层间分布不均，针对特定层有时能提升推断。

第二组是细粒度口音分类，选取语音口音档案库中最多的 10 种口音加训练用的阿姆哈拉语，每种口音用 15 个样本训练、20 名未见说话人测试，Wav2Vec2 在所有测试口音上达到 90% 以上，类似结果在另 2 个模型上也被观察到，说明二分类的高泄露可推广到多分类。第 3 组是针对性微调防御，先用每种口音至多 20 条、共 137 条的多口音数据微调全局模型，再重复攻击，结果是所有口音的攻击成功率骤降到 0.2 以下。

第 4 组是未见口音泛化，对日语、意大利语、德语、波兰语与马其顿语等先前未覆盖的口音各用 6 条构造影子、14 名未见说话人测试，仍获得高精确率与召回率，例如日语与波兰语与马其顿语的精确率与召回率均为 1.00。这 4 组共同支持覆盖不足导致泄露的解释，但也指出部分覆盖不足以保护隐私，尤其在初始入网遇到新属性时依然脆弱。

哪些结论有限，哪些不能推广？

直接报告的是在给定数据集与单条语音个性化下的准确率数字，有限解释的是用惊异度与散度差异说明欠代表口音产生更大功能位移，待验证的是把该机制推广为所有属性泄露的因果解释。

功能分析中 15 个独立 Wav2Vec2 模型的测量显示，权重更新的欧氏范数在英语男、英语女与韩语口音男 3 组上均为 11.21 左右，几乎相同，但惊异度下降均值在英语平均约 62.7、韩语口音约 155.7，约为 2.5 倍，散度从英语平均约 914.1 升至韩语口音约 1827.5，约为 2 倍。这支持行为位移而非幅度差异是可分来源，但相关性不是因果，且样本仅 15 个模型。

未测量的边界包括误判率在真实部署分布下的表现、攻击延迟与计算成本、差分隐私等防御的代价，以及语言内容不一致对障碍任务的系统性影响，原文已注明交叉验证不能消除系统性语言差异。因此不能承诺多样化预训练一定消除泄露，也不能把单步结果推广为多轮联邦全程，不能把自动准确率当作人工可感知的严重程度。

复现先做什么，需要哪些信息条件？

复现应先准备与论文相同的公开数据与基座权重，再复刻单条语音个性化与张量统计流程。第一步获取语音口音档案库的控制语句、TORGO 的长语音子集与 RAVDESS 的固定语句与情绪标签，并按原文的训练测试比例、五折六折与留一说话人方式划分，注意障碍任务是唯一语言内容可变的任务。第二步加载 3 个指定的基座权重，保持论文所述的参数规模与预训练来源一致，但不要自行假设学习率与冻结层，需要在复现记录中标明缺项并做敏感性扫描。

第三步对每个影子样本从同一全局权重出发独立微调出影子模型，按每个参数张量取均值、标准差、最小值与最大值拼接成向量，按类平均得到质心，再对目标模型用归一化欧氏距离做最近质心判定。第四步先复现性别年龄口音的主表，再复现情绪与障碍的置信区间，最后复现多口音微调前后的对比与未见口音泛化。信息条件方面，关键超参数与随机种子在原文中未完全给出，硬件预算也未报告，因此复现应固定种子多次重复并报告区间。

由于本次未发现可验证的公开资源，不得声称代码已公开，只能按论文文字与上述步骤从零搭建。

何时值得尝试这种分析，还需补哪项验证？

当你的联邦语音系统需要接入新人群、新口音或临床场景，且只能看到模型更新时，值得用本文的影子质心流程做 1 次泄露审计，优先检查年龄与口音，因为它们在 3 个基座上均显示强泄露，而性别可作为阴性对照。如果审计发现某欠代表群体显著可分，应先补多样化数据的针对性微调，并重新测量攻击成功率是否降到随机附近，同时用惊异度下降与输出分布散度记录功能位移是否同步缩小。

还需补的验证包括多轮联邦下的累积泄露、不同微调步数与冻结策略的敏感性，以及差分隐私或更新压缩在保持识别性能下的防御代价。论文特有的误解需要澄清，性别在语音中听感明显不等于在权重差中可分，更新幅度相同不等于行为相同，部分口音覆盖不等于对未见口音安全。

总体判断是联邦学习减少了音频直接暴露，但保护是不均匀的，覆盖不足的属性仍可能通过权重差被可靠推断，预训练与入网前多样化可能是兼顾代表性与安全性的方向，但仍需更系统的防御评估。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总