标签：#语音识别 | #联邦学习 | #半监督学习 | #语音
评分：7.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Wonho Bae：Apple
- Zakaria Aldeneh：Apple
- Martin Pelikan：Apple
- Jan “Honza” Silovsky：Apple
- Tatiana Likhomanenko：Apple
- Sheikh Shams Azam：Apple
📌 核心摘要
服务端持有少量带标注种子数据、客户端仅持有无标注音频是半监督联邦自动语音识别（Automatic Speech Recognition， ASR）的现实输入，输出为可变长字符序列转写，难点在于伪标签错误沿序列与通信轮次复合放大并引发发散。方法链分为三步：首先在种子数据上集中训练种子模型并初始化全局学生与指数滑动平均（Exponential Moving Average， EMA）教师，随后每轮广播模型后由全局教师或在线教师生成伪标签并完成多步本地随机梯度下降（Stochastic Gradient Descent， SGD），最后以概率 \(p\) 交错执行服务端有监督更新以回锚全局模型。与冻结种子或固定全局教师不同，在线教师利用轮内本地适应产生更贴合当前客户端的伪标签，而过渡教师在强种子早期用全局稳定后期切回在线。在域内测试集评估下，所提稳定配方的WER为9.3，低于静态伪标签基线的WER 17.7，且在11个种子到客户端配对中对Rao等取胜9对、域内平均相对改善达20.8%、跨域平均改善达10.0%。结论仅在英语读物、演讲、众包与电话语料仿真内成立，短种子加小批量或强掩蔽仍会发散，且未验证语言模型解码与差分隐私下的外推。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
为什么联邦语音识别的无标注客户端特别难用？
输入是这篇论文要解决的任务设定：服务器手里只有少量带文本标注的种子语音，记为种子数据，而大量语音散在客户端且没有文本，客户端不能把音频传回服务器，只能把本地算出的模型改变量传回聚合。目标有两个，一是把客户端所在目标域的词错误率做低，二是不把服务器种子域的词错误率搞坏，因为后者是已有服务基线。
必须保留的信息是论文只做公开数据集上的仿真，没有用真实用户数据，也不加差分隐私噪声，解码用贪心且不用语言模型和置信度过滤，以便单独看清伪标签来源和服务器锚点的效果。输出是一套可复述的配方：何时用在线教师、何时用全局教师，以及服务器更新的批量和增强该怎么配。学习时先把联邦半监督理解成教师打标签、学生学标签、服务器再用干净数据校方向的 3 步循环，后面所有发散和收敛都能挂到这 3 步上。
同输入同目标的已有路线差在哪里？
同输入同目标是指同样服务器有标注、客户端无标注的语音联邦半监督。静态伪标签路线是先用种子模型 1 次性把所有客户端音频转写成文本，之后训练全程不再更新，论文把它和 FedNST 归为冻结种子教师。另一条是全局教师路线，每轮用服务器广播模型的指数滑动平均重新打标签，Rao 等人和改到语音上的 Diao 等人属于此类，服务器侧再以 held-out 客户端梯度或单批有监督步做正则。
图像领域的 FedSwitch 和 BSemiFL 也讨论全局与本地教师切换或加权，但它们依赖离散标签和客户端跨轮复现，不适用于变长序列和每轮换一批新客户端的语音设定。白话说，已有语音工作默认不敢让每个客户端用自己正在变的那份模型打标签，担心本地漂移带崩全局。本文要检验的正是这个默认是否成立，以及服务器校正该以独立批更新还是折叠进聚合里做。
伪标签错误为什么在语音里会复利放大？
问题可以沿一个样本走一遍。客户端拿到一句话音频，先用教师模型解码出一个假设文本，这就是伪标签；再对同一音频加 SpecAugment 掩蔽和 dropout 扰动，用学生模型去拟合这个假设文本，做若干本地随机梯度步；最后把本地模型与广播模型的差作为伪梯度发回服务器平均。表示是字符级 CTC 后验，输出是变长字符序列，错一个字符会连带影响整句对齐，这是与图像固定类别不同的地方。
机制难点有两层，一是序列内复利，一个错词会污染整句训练信号，二是轮次间复利，本轮被污染的全局模型下一轮打出更差的标签。例子仅为教学：比如把一句长朗读音频的尾部漏解码成空，后续轮次就更容易学到遇到长句就提前截断的坏习惯。论文把设计空间压缩成两个轴，教师轴管标签从哪来，锚点轴管服务器何时用种子数据把方向拉回来，约束是每轮只广播一个模型且客户端不跨轮保留状态。
两轴配方的全景是什么？
方法全景是 2 阶段模板。先在服务器上用标注种子把模型训到收敛得到种子模型，同时初始化学生和教师的指数滑动平均。然后进入联邦轮循环：服务器选一批客户端并广播全局模型，每个客户端用指定教师打伪标签、可选过滤、加增强做本地训练，回传伪梯度；服务器用 LAMB 做聚合更新，再以概率 p 决定是否在种子数据上另做 1 次有监督服务器更新，最后更新教师。
教师有 4 种，全局是在轮内冻结、跨轮滑动平均的广播模型，在线是轮内随本地步演进的本地模型，局域滑动平均是在二者之间插值，过渡是前 r 轮用全局、之后切在线。锚点侧论文主张最简单的独立批更新，而不是把服务器梯度与客户端梯度加权平均成一步，也不是把标注数据伪装成云端客户端一起平均。理解这张全景图后，读者应能复述每一轮谁产生标签、谁被优化、干净信号在何处注入。
教师如何产生伪标签？在线为什么敢用？
先把符号讲清。记解码函数为教师参数化的贪心解码，输入是客户端第 i 个用户第 j 条音频，输出是假设文本。全局教师用跨轮滑动平均参数，在同一轮所有本地步保持不变；在线教师用当前本地步参数，每做一步本地更新标签源就变 1 次。两者的差别只在本地步数大于 1 时出现，若每轮只做一步，二者完全相同。
论文的计算目标是让标签尽量反映客户端当前分布，同时不让各客户端标签互相打架。原文实现是打标签用干净特征，不加 SpecAugment 和 dropout，训练时才加增强防过拟合到伪标签。
全局教师 × 在线教师： 全局教师分工是在每轮开始时广播一个全客户端共享的伪标签源，靠指数滑动平均跨轮缓慢更新，保证同一轮内所有客户端标签一致；在线教师分工是让每个客户端用自己正在训练的本地模型在本地步内实时重打标签，捕捉本客户端分布的轮内适应；二者搭配的理由是稳定性与适应性不可兼得，组合成过渡教师后先用全局教师度过早期不准阶段，再切到在线教师收割后期适应增益。
\[\displaystyle\hat{\mathbf{y}}_{i,j}=\hat{f}\!\left(\mathbf{x}_{i,j};\ \phi_{t}\right),\]该公式只定义全局教师的打标签动作，输入是原始音频和冻结的滑动平均参数，输出是伪文本，不包含训练损失和梯度。论文报告在线教师在域内从最初几轮就低于全局且差距保持到最后，机制验证是把同批客户端模型在本地步 0、10、40、160 处拿出来解码共享验证集，词错误率单调下降，说明轮内适应真实发生。局域滑动平均的衰减越靠近在线一端越好，进一步支持最新一步比平滑历史更重要。但在线的适应性也是不稳定之源，没有足够频繁的服务器校正时它会漂移发散，这是下一节锚点要解决的。
服务器锚点在何处注入？过渡教师何时切换？
锚点的安排理由是抑制伪标签漂移。均值教师、时间集成和噪声学生等集中式方法都是用慢动检查点锚住标签源，联邦里对应的就是服务器用种子数据周期性地把全局模型拉回。论文比较了不做服务器更新、每轮全量扫种子、held-out 客户端 rehearsal、单批更新 4 种做法，结论是简单的轮间独立批更新已足够且更易调。过渡教师的动机来自种子强度实验：种子越强，全局起点越准，留给在线的改进空间越小。弱种子下过渡从第 0 轮就切在线最优，域内无间隔时也不需要过渡；强种子下早期全局更稳，后期在线更适应，设一个切换轮 r 能同时吃到两段好处。
伪标签 × 服务器更新： 伪标签分工是把无标注客户端音频变成可训练的监督信号，教师解码得到文本假设后学生再在其上做增强训练；服务器更新分工是在聚合之后用标注种子数据再做 1 次有监督校正，把被噪声伪标签带偏的全局模型拉回种子流形；搭配原因是伪标签噪声会在序列和轮次间复利放大，只有锚点持续注入干净梯度方向，激进的在线伪标签才不会漂移发散。
种子模型 × 过渡教师： 种子模型分工是先在服务器标注数据上集中训练到收敛，为联邦阶段同时初始化学生和教师，提供初始可用的伪标签质量；过渡教师分工是规定前 r 轮用全局教师、之后切在线教师，解决强种子早期全局更准而后期在线更适应的矛盾；搭配原因是种子越强留给在线适应的空间越小，过渡策略把早期稳定性和后期适应性串成一条时间线。
需要指出的缺项是论文固定了滑动平均衰减为 0.99，没有报告该衰减本身的扫描，切换轮 r 也只在个别对上给出约 2000 轮的取值，不能当成通用常数。复述时要区分已验证的切换存在性与未给出的自动选 r 方法，后者属于待验证。
聚合、服务器步和稳定性度量怎么算？
训练过程分客户端优化器和服务器优化器两条线。客户端用无学习率调度的随机梯度下降，Ted 源学习率 0.2，LibriSpeech 源 0.4；服务器聚合和服务器有监督步都用 LAMB 带指数衰减调度。聚合是把每轮抽到的客户端伪梯度做无加权平均，再交给服务器优化器得到下一轮全局模型，时长批量按音频秒数计而非按条数，以保持每步计算量一致。服务器更新以概率 p 决定是否执行，p 为 0.5 约等于平均每两轮校 1 次，p 为 1 是每轮都校，p 为 0 是关闭。
论文还定义了两个诊断量，伪标签敏感度是同一句话多次独立加扰后解码结果的平均字符错误率，越低越稳定；流形距离是把固定种子样本过模型取倒数第二层时间平均特征拟合高斯，再与初始种子参考分布算 Fréchet 距离，越大说明被推离越远。
SpecAugment 强度 × 服务器批量： SpecAugment 强度分工是控制服务器更新时输入级噪声，掩蔽过强会把模型推离种子表示流形，使客户端预测对微小扰动高度敏感；服务器批量分工是控制优化器级梯度方向噪声，大批量只锐化方向而不放大步长，降低方差；二者搭配的原因是它们从输入和优化两个通道向同一服务器锚点注噪，必须同时进入稳定区间，在线教师的一致性才能恢复。
\[\bar{g}_{t}=\frac{1}{|\mathcal{S}_{t}|}\sum_{i\in\mathcal{S}_{t}}g_{t}^{i},\qquad\theta_{t+1}=\textsc{ServerOpt}\!\left(\theta_{t},\,\bar{g}_{t}\right),\]该公式只描述联邦聚合一步，输入是各客户端伪梯度，输出是下一轮全局模型，不含服务器有监督步，服务器步是之后独立执行的另一优化步。
\[\mathrm{FID}_{t}=\|\mu_{0}-\mu_{t}\|^{2}+\mathrm{Tr}\!\left(\Sigma_{0}+\Sigma_{t}-2(\Sigma_{0}\Sigma_{t})^{1/2}\right).\]该公式是流形距离的计算目标，输入是当前步与初始步的高斯均值和协方差，输出是一个标量距离，用于支持强增强和小批量把模型推离的解释，属于事后诊断而非训练目标。
数据、模型和联邦配置如何保证可比？
数据用 4 个英语语料覆盖朗读、演讲、众包朗读和电话对话：LibriSpeech 约 960 小时约 2 千说话人，TED-LIUM 约 452 小时约 2 千说话人，Common Voice 约 1593 小时约 3.5 万说话人，Fisher 约 1928 小时约 1.1 万说话人。服务器与客户端说话人集合不相交，客户端按说话人切成模拟联邦用户，服务器不切分而是均匀随机按时长组批，过长音频按 30 秒过滤。种子与客户端配对写成源到目标，例如 LS100 到 LS860 是同语料内 100 小时标注种子对 860 小时无标注客户端，CV10 到 CV90 是 10% 对 90% 切分，跨域则是不同语料配对。
模型是约 255M 参数的 Transformer 编码器加 CTC 头，80 维对数梅尔特征，前端卷积下采样 3 倍，字符词表 28 加空白，贪心解码不用语言模型。种子阶段 dropout 为 0.3，联邦阶段降到 0.1 以增大容量。联邦步数多数对 3000 步，两个域内对 2000 步；每轮 cohort 按客户端池约 1% 到 3% 取，LS 和 Ted 为 64，CV 为 1024，Fisher 为 256；本地步 LS 客户端用 160 步，其余默认 20 或 40 中按验证集选优。
分析与调参看开发集，最终大表看测试集，同时报告目标域和源域词错误率以检查是否以遗忘种子为代价换目标提升。资源状态方面，本次未发现来源绑定且完成验证的开源资源，不得声称代码模型数据已公开。
种子增强时在线与全局的差距如何收窄？
该节要回答的问题是种子变强后在线教师的轮内适应还值多少钱，比较条件是固定目标为 Common Voice、种子从 LS100 经 360、600 加到 960，指标是验证集词错误率（%）越低越好。表前需要明确公平条件：同一目标、同一联邦模板，只换种子强度和教师，稳定器未施加时的纯教师对比。
| 种子强度 | 指标 | 全局教师验证 WER | 在线教师验证 WER | 差值含义 |
|---|---|---|---|---|
| LS360 到 CV | 验证词错误率 | 34.27 | 33.38 | 在线优 0.89 |
| LS600 到 CV | 验证词错误率 | 30.05 | 28.89 | 在线优 1.16 |
| LS960 到 CV | 验证词错误率 | 20.94 | 21.55 | 在线差 0.61 |
| LS960 到 CV 过渡 | 目标验证 WER | 全局 20.9 | 过渡 19.7 | 过渡优 1.20 |
表后解释主要收益与代价：差距从 LS100 的 2.52 个点收窄到 LS960 的负 0.61 个点，说明强种子本身已把伪标签做准，在线适应的边际变小，强种子早期甚至是在线略差而全局更稳；过渡教师在正文文字中报告在每个种子强度追平或超过二者中的较优，在 LS960 到 CV 上用约 2000 轮切换实现约 1.2 个点的改进，代价是切换轮依赖种子和域间隔，弱种子和域内对上过渡并无增益。未胜出项是纯在线在最强种子下被纯全局反超，边界是该结论只在 Common Voice 目标上系统扫描过。
下面先导读种子强度柱状图，它把全局与在线随种子增强的变化画成 4 组对比，横轴是种子强度，纵轴是验证词错误率，浅蓝色为全局，浅红色为在线，图中仅包含这两类柱子。
看图路径： 1. 先看横轴四个种子强度从左到右验证错误率整体下降的主趋势；2. 再对比每组内浅蓝色全局柱与浅红色在线柱的高低变化；3. 重点观察最右 LS960 组在线柱略高于全局柱的翻转点；4. 确认图中只画出两类柱子，没有第三类过渡教师系列
论文图 4。原论文 Figure 4:：“Best WER across seed strengths (LS100/360/600/960 \rightarrow CV) for the global, online, and transitioning teacher.”。
论文图 4。原论文 Figure 4：“Best WER across seed strengths (LS100/360/600/960 \rightarrow CV) for the global, online, and transitioning teacher.”。像素实际只画出全局与在线两类柱子，没有画出过渡教师系列，图注声称的第三类系列与像素不一致。4 组柱子整体随种子增强而降低，前 3 组在线低于全局，到最右 LS960 组在线略高于全局形成翻转；该图因此只能支持在线优势随种子增强而收窄的判断，不能单独支持过渡教师可回收差距的判断，后者只按正文文字归因，过渡在强种子下的增益另见带稳定器的过渡曲线讨论。
域内和固定弱种子跨域是在线赢吗？
该节回答固定弱种子下在线是否已能赢全局，比较对象是同模板下的全局与在线，条件是服务器更新概率固定 0.5 且客户端加增强、打标签用干净特征，指标方向仍是词错误率越低越好。
| 配对 | 指标 | 全局教师 | 在线教师 | 源域是否回归 |
|---|---|---|---|---|
| LS100 到 LS860 | 目标验证词错误率 | 基线较高 | 低约 2.88 个点 | 开发集差距在 0.5 个点内 |
| LS100 到 CV | 目标 CV-dev 词错误率 | 39.9 | 37.7 | 源域未回归 |
| LS100 到 Ted | 目标 Ted-dev 词错误率 | 12.6 | 11.6 | 源域未回归 |
| LS 到 Ted | 目标词错误率 | 收敛 | 在线优于全局 | 正常 |
| Ted 到 LS | 目标词错误率 | 收敛 | 发散 | 不对称破缺 |
表后解释收益与反例：域内和两个固定弱种子跨域上在线都优于全局且不牺牲源域，这是轮内适应的直接收益；但反例是把源和目标对调后 LS 到 Ted 收敛而 Ted 到 LS 发散，同理 LS 到 CV 收敛而反向可能出问题，说明不能用对称的域距离解释失败，必须看方向，具体是服务器更新所用源数据的性质。未评测边界是该节多为开发集曲线最优值，部署收益应以测试集大表为准。
下面导读带稳定器的教师曲线，它说明稳定器把全局与在线差距压缩后过渡仍有小幅增益，横轴是联邦更新次数，纵轴是 CV 开发集词错误率，3 条线为全局、在线和过渡。
看图路径： 1. 先沿横轴联邦更新次数看三条曲线共同下降的收敛趋势；2. 再比较全局、在线与过渡三条线在前中期的相对位置；3. 重点观察过渡虚线在中后期如何贴住或略低于另两条线；4. 把小幅领先与正文稳定器已压缩差距后增益变小的解释对应
论文图 12。原论文 Figure 12:：“Teachers with the stabilizer”。
论文图 12。原论文 Figure 12：“Teachers with the stabilizer”。该图显示 3 条曲线都随训练下降且互相贴近，稳定后全局约 18.65%、在线约 18.73%、过渡约 18.25%，过渡虚线在中后期略低于另两条；这支持正文过渡只恢复早期劣势、小幅一致改进的有限解释，不支持把它当成通用必选项，是否值得为零点几的增益多调一个切换轮需按自身验证集决定。
服务器更新的增强和批量如何决定发散还是收敛？
该节回答在线教师不对称破缺的根因，操作是固定种子模型只换服务器更新所用源数据，再分别扫增强强度和批量。先排除种子侧：把 Ted 拼成与 LS 同分布时长的 Ted-Long 仍发散，扫种子训练的掩蔽宽度和提前早停都不能根治，于是锁定联邦阶段的服务器步。强增强默认是 2 个频域掩蔽最大 30 bins 加 10 个时域掩蔽最大 50 帧并按句长 0.1 封顶，中等增强是 15 与 25 的较弱组合；批量按音频秒数计，从 120 秒小批到 3840 秒大批，内存不够时梯度累积。
| 服务器设置 | 指标方向 | 小批量或强增强 | 大批量或中等增强 | 教师差异 |
|---|---|---|---|---|
| Ted 到 LS 服务器步 | LS 开发集词错误率越低越好 | 强增强发散 | 中等增强收敛并优于种子 | 仅在线发散全局仍收敛 |
| Ted 到 LS 服务器步 | 伪标签敏感度越低越好 | 强增强在约 3.8k 步处突增 | 中等增强保持低位 | 与删除错误爆发同步 |
| Ted 到 LS 服务器步 | 流形距离越低越好 | 强增强漂移更远 | 中等增强贴近参考 | 支持推离流形解释 |
| 批量扫描 120 到 3840 | 词错误率与敏感度 | 120 秒轨迹更噪且终值更高 | 3840 秒恢复稳定低值 | 大批只锐化方向 |
| 采样方式随机互斥重叠 | 收敛性越高越好 | 随机各批量都差 | 重叠全收敛 | 分散度是主因 |
表后解释机制与代价：强增强的错误签名是删除错误高而插入接近零，模型输出变空，敏感度突增与之同步，流形距离也更大，指向输入级病态；小批量不一定发散但终值更高更抖，增大批量通过降梯度方向噪声恢复稳定，指向优化器级病态。分散度与重叠度的拆分用随机高分散、互斥低分散无重叠、重叠低分散有重叠 3 种采样，随机在各批量都差，互斥只在最小批量发散，重叠全收敛，支持分散度是主因、重叠是次因且可用批量补偿。
下面导读跨域稳定器网格图，它用四列配对、上下两排教师展示默认与稳定配置的完整对比，是本节泛化性的核心证据，上排是在线教师，下排是全局教师，红色为默认，蓝色为稳定。
看图路径： 1. 先确认上排是在线教师、下排是全局教师的行含义；2. 再对比每列中红色默认曲线与蓝色稳定曲线的走向差异；3. 重点看上排前三列红色曲线在中期陡升至顶部的发散形态；4. 观察下排蓝色稳定曲线始终低于红色的整体增益
论文图 11。原论文 Figure 11:：“Cross-dataset WER comparison across seed \rightarrow client grid.”。
论文图 11。原论文 Figure 11：“Cross-dataset WER comparison across seed \rightarrow client grid.”。该图上排在线在默认红色下前三列都出现中期陡升到顶的发散，只有 CV10 到 Ted 一列收敛，而蓝色稳定曲线全收敛且明显更低；下排全局红色虽不发散但平台更高，蓝色稳定后在四列都更低。这支持稳定器跨对泛化、且对全局也有增益的报告，但也提醒全局对增强和批量不如在线敏感，跨域时选全局是更稳的默认。
分散度 × 重叠度： 分散度分工是描述服务器种子数据内部有多散，越散则单批梯度方差越大，需要更大批量平均掉噪声；重叠度分工是描述服务器批与客户端分布有多像，越像则有监督校正越能直接代表客户端方向；搭配做消融的原因是要拆开大批量到底是靠降方差还是靠撞见客户端样本来稳定训练，论文用随机、互斥、重叠 3 种采样证明分散度是主因，重叠只是次要因素。
下面补充服务器训练概率扫描的对照整理，用以说明稳定所需的频率下限与最优点的位置，该对照与前述增强和批量共同构成服务器更新稳定性的完整论证。
| 服务器训练概率 | 指标方向 | 零与低概率表现 | 足够概率表现 | 最优点与默认 |
|---|---|---|---|---|
| LS100 到 LS860 扫描 | 词错误率越低越好 | p 为 0 时发散 | p 不小于 0.2 时收敛到 10 到 11 区间 | p 为 0.3 时词错误率为 10.27 |
| LS100 到 LS860 扫描 | 训练稳定性越高越好 | p 为 0.1 时仍不稳定且词错误率为 12.8 | 提高概率不再带来显著增益 | 固定 0.5 作为后续默认 |
| 总体指南 | 相对改进越高越好 | 无服务器训练则偏离标注分布 | 中等频率已能抑制漂移 | 9 对上超最强基线 |
| 容量设置 | dropout 越高越好 | 联邦 0.1 种子 0.3 | 增大容量学无标注数据 | 遵循既有实践 |
| 平均趋势 | 域内跨域改进 | 域内 20.8% | 跨域 10.0% | 缩小到全监督差距 |
表后补充说明频率机制与边界：零概率直接发散、低概率仍不稳定且终值偏高，达到下限后进入稳定区间且继续增大概率并无显著额外收益，因此后续统一固定为中等频率；该频率下限结论与增强强度和批量的稳定器正交，共同说明服务器更新必须保持足够且低噪的标注信号注入，否则在线教师的跨轮漂移会累积成发散。
哪些条件变了结论可能不再成立？
论文直接报告的局限要逐项保留。语言与数据局限是只做了英语四语料，声调语言、低资源或非拉丁文字的掩蔽覆盖阈值和在线与全局权衡可能不同。架构与训练局限是只用 Transformer 编码器加 CTC 头贪心解码，不用语言模型，RNN-T、注意力编解码器和 Conformer 可能对两种失败模式表现不同，客户端 SGD 加服务器 LAMB 的组合也可能与 FedAdam 等自适应服务器优化器交互不同。
联邦设定局限是静态数据集按说话人仿真客户端，没有建模非平稳、掉线、网络故障和持续 churn，大批量稳定器如 480 秒累积 10 步需要可观的服务器算力，服务器预算受限时不能直接套用。基线比较局限是与 FedNST 和 Rao 等人的对比是端到端而非服务器机制的控制消融，因为基线在教师上也不同，推荐独立批更新主要是图其简单有效，严格的机制对照留待未来工作。
隐私方面配方本身不增加通信，在线伪标签全在本地，但未在差分隐私下测试，逐层裁剪和噪声可能抵消大批量的降方差，需要在隐私预算下重调。
复现时先做什么才能跑通稳定版本？
复现先按信息条件准备数据与划分：用标准 train、dev、test 切分，开发集做调参，测试集只在最终大表用 1 次；客户端按说话人切分，服务器均匀随机按时长组批并过滤超 30 秒音频；域内用 LS100 对 LS860 和 CV10 对 CV90 的不相交切分，跨域用论文 11 对网格。模型与特征按原文固定：80 维对数梅尔、25 毫秒窗 10 毫秒移、CTC 损失、字符词表、贪心解码；种子先在服务器上集中训到收敛再同时初始化学生和滑动平均教师，联邦阶段 dropout 固定 0.1。
联邦超参起点是聚合用 FedAvg 无加权平均，服务器更新概率先取 0.5，本地步 LS 目标取 160 其余取 20 或 40 按验证选优，cohort 按池大小取 64 到 1024。稳定器按源数据分散度配批量，高分散 Ted 源用大批量累积，SpecAugment 对在线教师按源音频时长校准，短音频用弱掩蔽，长音频才容忍强掩蔽，全局教师可用默认强掩蔽。验证项要补的是切换轮 r、滑动平均衰减 0.99 之外的取值、以及语言模型融合与置信度过滤叠加后在线优势是否还在，这些在原文是固定或未测，不能默认成立。
何时值得尝试这套配方？
综合 11 对测试集大表，带稳定器的全局和在线在 9 对上超过最强的 Rao 等人，域内平均相对改进约 20.8%、跨域约 10.0%，域内相对静态伪标签基线从约 17.7 降到约 9.3，降幅约 48%，但这些是平均趋势不等于每对每步都成立，且 FedNST 因每轮全量扫种子在共享 77 天墙钟内被截断，比较时要记住算力不对等。实践指南是不需要逐对调参的两条：高度重叠的域内用在线教师吃轮内适应，域间隔明显的跨域用全局教师保稳健。
服务器更新保持轮间独立批步骤，批量随源分散度放大，增强对在线按时长校准、对全局可用强掩蔽。何时尝试取决于能否先判断重叠度，领域知识不足时可用论文的说话人嵌入相似度做定量代理，域内对约 0.56 到 0.59 明显高于跨域 0.38 到 0.44。还需补的验证是自身数据的增强覆盖阈值、批量上限、cohort 与本地步的通信计算权衡，以及隐私噪声下的重调，只有这些都测过，才能把论文的收敛从仿真搬到真实部署。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses