一个全局模型不够用：按说话人相似度分别平均构音障碍语音模型

英文题目：Towards Personalized Federated Learning for Dysarthric Speech Recognition

会议身份：conference:interspeech:2026:conference-paper-id:zhong26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#联邦学习 #隐私保护 #言语障碍 #语音 #语音识别

评分：5.4/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.6/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• Tao Zhong：机构信息未能从会议 PDF 纯文本可靠映射
• Mengzhe Geng：机构信息未能从会议 PDF 纯文本可靠映射
• Jiajun Deng：机构信息未能从会议 PDF 纯文本可靠映射
• Shujie Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Xunying Liu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为构音障碍者的孤立词（UASpeech）与连续语音（TORGO）声学波形，输出为文字转写，难点在于数据稀缺、与正常语音严重失配、说话人间障碍程度与可懂度差异大，且医疗语音隐私敏感不宜集中。方法链分为三步：先将 HuBERT-large 拆为底层的说话人无关（Speaker-Independent，SI）部分与顶层的说话人相关（Speaker-Dependent，SD）部分；再对 SI 部分做按样本量加权的联邦平均以学习共享声学表示；最后对 SD 部分做数量权重与说话人相似度权重的凸组合个性化聚合，相似度来自参数差余弦或 SI 输出嵌入余弦。与强制全层共享的正则化联邦平均（Federated Averaging，FedAvg）相比，关键差异是 SD 层不再全局一致而是向相似邻居倾斜。在 UASpeech 上相对正则化 FedAvg 获得 0.99% 绝对词错率（Word Error Rate，WER）下降（31.45%到30.46%，3.15%相对），在 TORGO 上获得 0.56% 绝对下降（11.83%到11.27%，4.73%相对），均通过匹配对句子片段词错率（Matched Pairs Sentence-Segment Word Error，MAPSSWE）显著性检验（\(\alpha=0.05\)）。结论仅在 16 与 8 个说话人的英语构音障碍语料及 HuBERT-large-ls960-ft 联结时序分类（Connectionist Temporal Classification，CTC）微调设置下验证，未验证跨语言、老年语音与大规模客户端场景。原文未披露学习率、优化器、批量大小、解码策略与训练推理成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

本文解读的输入是题为朝着个性化联邦学习用于构音障碍语音识别的论文正文与 3 张官方原图像素，目标是让刚进入语音与音频领域的研究生能够核对条件并复述方法。必须保留的信息包括任务定义、联邦划分方式、模型拆分方式、两种相似度平均的计算流程、基线种类、数据集划分与评价指标、关键词错误率数字及其显著性说明、折中系数的取值，以及隐私处理的具体动作。

输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断，不引入证据之外的公开代码或数据断言。构音障碍语音识别通俗说就是让机器听懂发音肌肉控制受损人群的语音，英文名是 dysarthric speech recognition。难点在于与正常语音失配大、采集困难导致数据稀缺、说话人之间差异远大于口音与性别差异。医疗场景又高度重视隐私，因此作者选择联邦学习，英文名是 federated learning，即原始音频保留在本地设备，只上传本地模型更新，由服务器聚合后再下发。

全文围绕一个矛盾展开：保护隐私要求协同训练，而说话人异质性要求区别对待，强行共享同一套参数对重度障碍者尤其不利。

此前路线解决了什么，还缺哪一块？

在正常语音上，联邦学习已被用于说话人确认、情感识别、关键词检测和语音识别，常用聚合是联邦平均，英文名是 FedAvg，按各客户端样本数比例加权。针对语音还出现过按词错误率加权的聚合。针对异质性，正则化联邦学习曾尝试参数对齐、嵌入对齐和基于散度的损失对齐，本文的直接基线就是这类带正则的联邦平均。在正常语音的个性化联邦学习中，有用近邻选择的方法，有用卷积增强 Transformer 做设备端个性化的方法，也有用元学习思路做个性化的方法。

医疗语音的联邦研究多集中在阿尔茨海默病或帕金森病检测，做识别的很少，做构音障碍个性化识别的更少。作者把本文定位为据其所知首个面向构音障碍识别的个性化联邦学习工作，区别在于不是孤立微调，而是在聚合阶段就把更新拉向声学相关的邻居，以减少无关障碍模式的负干扰。教学例子：可以把以往全局模型想象成给所有学员发同一件均码外套，本文则是按体型相近度互相借鉴裁剪，但布料来源仍是各家私有数据，例子不代表任何效果数字。

要解决的具体问题与成功标准是什么？

具体任务是在不集中原始音频的前提下，为每个构音障碍说话人得到更准的识别模型。每个说话人的训练数据单独放在一个客户端，英文名是 client。UASpeech 取 16 名构音障碍者，每人一个客户端；TORGO 取 8 名构音障碍者，每人一个客户端。成功标准是词错误率下降，英文名是 word error rate，缩写是 WER，数值越低越好，并用基于句段的配对显著性检验判断是否显著，显著性水平为 0.05。

失败条件也在文中明确讨论：若说话人相似度算不准，或个性化部分选得过大过小，平均过程可能引入无关说话人的干扰，导致在某些可懂度分组上不提升甚至变差。因此后文所有比较都必须同时核对数据集、基线、说话人无关部分范围、折中系数和显著性标记，不能只看总体数字。

整体系统如何运转，一个样本走完全程经历什么？

系统骨干是在 960 小时 Librispeech 上微调过的 HuBERT 大模型，卷积特征编码器固定，上面是 24 层 Transformer 加最后用于联结时序分类的全连接层，联结时序分类英文名是 Connectionist Temporal Classification，缩写是 CTC。每一轮通信包含上传聚合与下发 2 个方向，本地用私有数据训练，服务器只见模型参数与少量嵌入，不见原始音频。沿一个样本走完全程：该说话人客户端的音频先经固定的卷积编码器得到帧表示，再经当前下发的共享底层与个性化顶层得到 CTC 输出，本地用一轮训练更新参数。

随后按安排只上传需要聚合的部分，服务器分别平均后再下发，客户端用新参数开始下一轮。关键设计是把可训练部分切为说话人无关部件与说话人相关部件，前者按数据量平均，后者按数据量加相似度平均。

联邦学习 × 个性化： 联邦学习负责在原始音频不出设备的前提下协同训练，个性化负责不让差异很大的说话人被同一个平均模型拖累，二者搭配的理由是隐私要求不能集中数据而异质性又要求区别对待，组合意义是全局共享学共性、按相似度加权学特性。

以下导读帮助建立联邦通信的整体图像，重点是数据不动而模型动，实线与虚线方向不同。

看图路径： 1. 先看底部三个绿色本地模型与青色私有数据框，确认数据不出设备；2. 再看黑色实线向上汇入黄色聚合菱形，表示上传本地更新；3. 最后看灰色虚线从粉色全局模型返回各客户端，表示下发全局模型

论文图 1。原论文 Figure 1：“Illustration of the federated learning based HuBERT ASR system.”。

该图显示上方灰色服务器框内有粉色全局模型与黄色模型聚合菱形，下方 3 个灰色客户端框内各有绿色本地模型与青色私有数据椭圆。黑色实线箭头从本地模型指向上方聚合，表示上传；灰色虚线从全局模型指向各本地模型，表示下发。图中标注 HuBERT 说明全局与本地是同一架构，私有数据始终留在框内，这是后文一切隐私讨论的前提。

模型切成两段后，两段分别如何平均？

切分动作发生在可训练的 Transformer 与 CTC 部分，固定卷积编码器不参与个性化讨论。说话人无关部件英文名是 speaker-independent，缩写是 SI，说话人相关部件英文名是 speaker-dependent，缩写是 SD。实验尝试把第 1 至 3 层、第 1 至 6 层、第 1 至 12 层、第 1 至 18 层作为 SI，其余层与 CTC 作为 SD。SI 部分沿用标准联邦平均，即按样本数比例加权。SD 部分则把数量加权与说话人相似度加权按折中系数混合，UASpeech 取 0.8，TORGO 取 0.6，含义是更信任相似邻居。

基于参数的方法先固定 SD 训练 SI 并聚合 SI，再固定 SI 训练 SD，然后用各客户端 SD 更新量相对初始值的余弦相似度经归一化得到相似度矩阵，最后用该矩阵指导 SD 平均。基于嵌入的方法先聚合 SI，再在每个客户端用 SI 输出经序列维平均池化后在数据上再平均得到客户端嵌入，为保护隐私每轮只随机抽 20% 私有数据计算嵌入，接着固定 SI 训练 SD，最后用嵌入间余弦相似度指导 SD 平均。两种方法都把固定部分不上传，因此通信量与标准联邦平均可比，相似度计算在本地训练之后，开销相对较小。

说话人无关部件 × 说话人相关部件： 说话人无关部件分工是学所有说话人可共享的底层表示，用数据量加权平均，说话人相关部件分工是保留与障碍类型和严重程度有关的顶层变换，用相似度加权平均，搭配理由是底层更通用而顶层更敏感，组合意义是只在需要区分的地方做个性化。

基于参数的平均 × 基于嵌入的平均： 基于参数的平均用本地更新量之间的余弦相似度衡量说话人相近程度，基于嵌入的平均用说话人无关部件输出的平均池化向量之间的余弦相似度衡量相近程度，前者分工是直接看模型改动方向，后者分工是看共享编码空间中的发音表征，搭配理由是两种信号互补，组合后可以进一步加权平均。

以下导读对比标准平均与本文平均在结构上的差异，重点是切分位置与平均权重的来源不同。

看图路径： 1. 先对比上半部分整体黑框与下半部分左右分开的黑框加红框；2. 再看右侧图例中蓝色说话人无关与黄色说话人相关的划分；3. 最后确认左侧固定的卷积特征编码器不参与聚合

论文图 2。原论文 Figure 2：“Illustration of the standard FedAvg and our proposed approaches.”。

该图上半为标准联邦平均，所有客户端的 Transformer 块与 CTC 模块被同一个黑框包住，标注数量平均，含义是整模型只有一个全局版本。下半为本文方法，左侧蓝色框标为说话人无关，右侧黄色红框标为说话人相关，左侧仍用数量平均，右侧用数量加说话人相似度平均。右侧图例明确区分卷积特征编码器、Transformer 块、CTC 模块与两类部件，左侧固定的编码器不在任何平均框内，与正文固定编码器的安排一致。

每轮谁冻结谁更新，梯度与监督从哪里来？

训练不是 1 次把所有参数全量更新，而是分步冻结与更新。基于参数的方法第一步冻结 SD，只训练 SI，损失为 CTC 损失，梯度只流经 SI，更新后的 SI 上传并按数量加权平均；第二步冻结 SI，只训练 SD，梯度只流经 SD，更新后的 SD 上传并按混合权重做个性化平均，两步合在一起计为一轮通信。基于嵌入的方法第一步同样聚合 SI，第二步计算客户端嵌入时不更新参数，只是前向得到 SI 输出再做 2 次平均，第 3 步冻结 SI 训练 SD 并做个性化平均，3 步合在一起计为一轮通信。

监督来源始终是本地私有数据的 CTC 标签，不使用外部文本或额外对齐。本地每轮训练一个周期，通信轮数设为 100。正则化基线对 SI 部分施加参数与嵌入正则，惩罚权重分别取 0.001 与 0.001，原文说明忽略基于损失的正则，因为模型有多个输出，取对数分布做约束不方便。未报告的缺项是优化器种类、学习率与 batch 大小，解读不从模型名称推定这些实现，复现时需按缺项处理。

数量加权 × 相似度加权： 数量加权按各客户端样本数比例分配话语权，相似度加权按当前轮算出的说话人相似度分配话语权，前者保证数据多的客户端贡献大，后者保证声学上更相近的邻居贡献大，组合意义是用折中系数贝塔把两者线性混合，避免只看数据量而引入无关口音的负干扰。

该节没有引入新的全局目标函数，原始目标仍是各客户端 CTC 损失下的联邦协同，近似体现在用相似度加权的平均代替单一全局平均，停止梯度体现在冻结段不接收梯度，优化步骤体现在本地一轮更新与服务器端加权平均交替进行。

数据、划分、基线与评价条件如何对齐？

UASpeech 是孤立词任务，原文报告约 103 小时 29 人，其中 16 名构音障碍者与 13 名健康对照，实验只用构音障碍者，B1 与 B3 训练、B2 测试，去静音与增强后训练约 17.8 小时、测试约 9 小时，按可懂度分为极低、低、中、高 4 组。TORGO 共 8 名构音障碍者与 7 名对照，含约 13.5 小时语音，实验只用 8 名构音障碍者，取其中三分之二数据训练、三分之一测试，去静音与增强后训练约 15 小时、测试约 1 小时，按严重、中度、轻度分组。客户端划分按说话人划分，UASpeech 为 16 个客户端，每客户端约 0.71 至 1.54 小时，TORGO 为 8 个客户端，每客户端约 0.54 至 2.41 小时。

基线包括集中式训练的说话人无关模型、在其上加适配器的说话人相关微调模型，以及带正则的联邦平均。集中式适配器由每层两个全连接加中间激活构成，放在每层全连接之后，原文注明若把高层大范围作为说话人相关部分会导致显存溢出，因此集中式与联邦的切分实验都受显存约束。评价指标为词错误率，越低越好，显著性用配对检验，水平为 0.05，硬件为两块英伟达 A40。

HuBERT × CTC： HuBERT 分工是提供在大规模正常语音上预训练好的卷积特征编码器加 24 层 Transformer 表示，CTC 分工是提供无需帧级对齐的序列损失和最后全连接分类层，二者搭配理由是先用通用表示缓解构音障碍数据稀缺，再用 CTC 把声学帧映射到词或字序列，组合后每个客户端本地微调一轮再上传。

下表提出比较问题：在相同数据与轮数下，不同方法划分与聚合是否可比，指标方向是否为越低越好，表中数字需与数据集、阶段和聚合对象同时核对。

表后解释：该表说明 2 数据集任务形式不同，UASpeech 为孤立词，TORGO 词汇量为 1573 个不同词且包含连续语音，因此绝对词错误率不可跨数据集直接比较。

代价是每说话人数据很少，联邦下每客户端不足 2 小时，任何个性化都必须在小样本下估计相似度。未胜出边界是健康对照数据在本文实验中被排除，方法对正常语音是否仍有效未评测。

主结果在相同基线下提升多少，代价是什么？

比较问题是：在以带正则的联邦平均为基线、条件一致时，两种相似度平均能否显著降低总体词错误率，指标越低越好。UASpeech 上参数平均与嵌入平均分别最高带来显著下降，嵌入平均最优时总体下降最多；TORGO 上同样两者都显著优于基线，嵌入平均略优。把两者再结合还能进一步下降。个性化在联邦下带来的总体下降幅度，与集中式下从说话人无关到加适配器的下降幅度接近，说明个性化收益不是联邦特有的假象。

最值得关注的是极低可懂度组下降幅度最大，直接回应重度偏差处全局模型最差的问题。

表后解释：主要收益是总体显著下降且重度组下降更大，代价是需要在每轮维护个性化权重并调折中系数，SI 范围也需搜索。

反例是当 SI 取到第 1 至 18 层即 SD 只剩很小顶层时，UASpeech 与 TORGO 的总体词错误率都不再下降甚至回到基线附近，说明个性化容量过小会失去意义。另一未胜出项是部分中轻度分组提升微弱，总体趋势不等于每组都显著。

切分位置与折中系数如何影响结果？

该节回答两个可操作问题：SI 切到哪一层，数量与相似度各占多少。切分消融显示，把第 1 至 6 层作为 SI 时 2 数据集表现最好，把第 1 至 3 层作为 SI 时仍有提升但幅度较小，把第 1 至 12 层与第 1 至 18 层作为 SI 时提升收窄，说明底层共享过多或个性化剩余过少都不理想。折中系数消融固定 SI 为第 1 至 6 层，扫描 0.2 到 1.0，UASpeech 在 0.8 最低，TORGO 在 0.6 最低，两侧偏离都会回升，呈先降后升的 U 形。

表后解释：该表支持数量与相似度需要混合而非只用其一，UASpeech 更偏向相似度而 TORGO 相对均衡，可能与说话人数与数据量分布有关，但原文未验证因果，只能记为待验证。

代价是结合两种相似度还要再调 3 组权重，UASpeech 用 0.2、0.3、0.5，TORGO 用 0.3、0.3、0.4，跨数据集不能直接搬运。以下导读聚焦折中系数的曲线形状，重点是最低点位置与两侧回升。

看图路径： 1. 先确认横轴是折中系数贝塔从 0.2 到 1.0，纵轴是词错误率；2. 再对比蓝色嵌入线与橙色参数线随贝塔先降后升的走势；3. 最后找到左右两图最低点分别在 0.8 与 0.6 附近

论文图 3。原论文 Figure 3：“The performance (WER) with different values of the trade-off weight β in UASpeech and TORGO.”。

该图左右分别为 UASpeech 与 TORGO 下词错误率随贝塔的变化，横轴为 0.2 至 1.0，纵轴为词错误率。两图中蓝色嵌入线与橙色参数线都从高位下降，在中间取得最低后略微回升，UASpeech 最低在 0.8 附近且嵌入线更低，TORGO 最低在 0.6 附近且嵌入线同样略低。像素可辨的是曲线单调性而非精确小数，解读只报告原文给出的最优点，不硬读中间刻度数值。

隐私与开销的边界在哪里，什么还没有被证明？

隐私方面，原文报告原始音频不出设备是根本优势，嵌入计算每轮随机抽 20% 私有数据并经时间维坍缩为 1024 维向量，作者认为这对语言内容重建有抵抗作用。必须区分直接报告与有限解释：不出设备与抽样比例是报告，高度抵抗重建是支持性解释而非形式化差分隐私证明，未测量误判率与重建成功率，因此不能承诺内容不可恢复。

开销方面，通信量与标准联邦平均可比是因为固定部分不上传且嵌入很小，计算相似度开销相对本地训练较小，但原文未报告 wall-clock 时间、显存峰值与推理延迟，训练用两块 A40 共 100 轮的预算不能直接换算为部署延迟。适用边界是健康对照未参训、老年语音留作未来工作、SI 过大时收益消失、轻度组提升有限。相关性不等于因果，相似度高与识别准同时出现，不能反推相似度必然导致识别准。

要复现应先固定哪些条件，再跑哪组对照？

复现先固定信息条件：只用构音障碍者数据，按说话人划分客户端，UASpeech 用 B1 加 B3 训练、B2 测试，TORGO 用三分之二训练、三分之一测试，去静音与增强流程保持一致。再固定模型条件：HuBERT 大模型卷积编码器冻结，24 层 Transformer 加 CTC，本地每轮一周期，共 100 轮，显著性水平 0.05。先跑带正则的联邦平均作为基线，惩罚权重按参数 0.001、嵌入 0.001 记录；再跑 SI 为第 1 至 6 层的参数平均与嵌入平均，贝塔分别按 UASpeech 0.8、TORGO 0.6 起步；最后再试两者结合的三权重。

资源状态是正文开源声明的唯一依据，本次未发现来源绑定且完成验证的资源，因此不得声称代码、模型或数据已公开，复现需自行实现聚合与嵌入抽样。缺项清单包括优化器、学习率、批量大小、随机种子与精确预处理脚本，补齐前不宜声称完全可重放。若显存溢出，优先缩小 SD 范围或降低批量，而不是改动切分语义。

何时值得尝试这种个性化，还需补哪项验证？

当任务同时满足三点时值得尝试：数据因隐私不能集中、说话人之间差异大到单一全局模型在重度组明显失效、有预训练表示可以分出通用底层与敏感顶层。此时可先切出中等大小的 SI，再用小样本估计的相似度指导 SD 平均，并用折中系数保留数量信息。若重度组是主要服务对象，本文在 UASpeech 极低组的下降最具参考价值；若以轻度组为主，则预期收益较小。

还需补的验证包括跨数据集的贝塔迁移性、在更大客户端数下的稳定性、对嵌入重建风险的定量评估，以及推理延迟与通信轮数减少后的表现。回到中心矛盾：隐私要求合在一起学，异质性要求分开来平均，本文的答案是底层合、顶层按相似分，证据是 2 数据集总体显著下降，代价是多一组切分与权重搜索。初学者复述时抓住这一句即可还原全文方法与实验安排。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总