深模型不必全跑完：用早退出口适配联邦语音微调的算力与任务分层

英文题目：Adaptive Federated Fine-Tuning of Self-Supervised Speech Representations

会议身份：conference:interspeech:2026:conference-paper-id:guo26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#联邦学习 #自监督学习 #隐私保护 #语音 #语音识别

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Xin Guo：机构信息未能从会议 PDF 纯文本可靠映射
• Chunrui Zhao：机构信息未能从会议 PDF 纯文本可靠映射
• Hong Jia：机构信息未能从会议 PDF 纯文本可靠映射
• Ting Dang：机构信息未能从会议 PDF 纯文本可靠映射
• Gongping Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Xianrui Zheng：机构信息未能从会议 PDF 纯文本可靠映射
• Yan Gao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文面向联邦学习下自监督语音表示的异构微调，输入为保留在本地的原始波形，输出为转写文本、分类标签或验证分数，难点在于设备算力差异导致的掉队效应与不同下游任务所需表示深度不一致。第一步由客户端进行资源与任务感知的深度选择，依据内存与算力及任务复杂度确定最大可训练深度并选定退出层。第二步沿弹性多出口主干仅前向至该深度并经任务头计算损失、回传更新该深度以内参数，深层保持冻结，输出的各层局部更新直接作为服务器聚合的输入。第三步由服务器做深度加权的逐层部分聚合，仅汇总训练过该层的客户端更新并按样本量与训练深度加权，形成浅层全员稳健优化、深层由高资源客户端精化的金字塔结构。与统一全模型平均相比，该设计将模型深度与设备能力解耦，兼顾效率与任务适配性。在LibriSpeech自动语音识别（Automatic Speech Recognition，ASR）test-clean上，异构按层聚合词错误率（Word Error Rate，WER）为8.79%，优于同配置标准联邦平均（Federated Averaging，FedAvg）的9.21%，与同质最优深度的8.81%持平。在内存上，关键词检测（Keyword Spotting，KWS）从12层降至3层显存从562.36 MB降至319.02 MB，降幅43.27%。该结论仅在Wav2Vec 2.0 Base与5类英语任务上验证，未检验大模型、跨语言或大规模客户端漂移下的外推能力。跨语言与大规模漂移的适用边界尚未验证，现有深浅分组已显示客户端硬件差异直接决定计算量与显存占用。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？要解决的联邦语音微调矛盾是什么？

这篇工作的输入是原始语音波形，目标是在语音数据保留在本地、不上传中央服务器的前提下，完成自监督语音模型的微调。所用主干是 Wav2Vec 2.0 Base，结构为多层卷积特征编码器加 12 层 Transformer 上下文编码器，直接从波形提取分层声学表征。输出是面向下游任务的预测，例如识别出的文字、关键词类别、说话人身份或情绪类别。必须保留的关键信息是：隐私约束要求只聚合模型更新而非原始数据；设备算力差异大，统一全模型微调会让低功耗设备出现高延迟、高能耗甚至内存溢出。

不同任务需要的表征深度不同，简单分类用浅层声学模式即可，复杂识别需要深层语义与上下文。本文的输出是一套可核对的方法解读，帮助研究生复述从样本输入到聚合更新的完整链路。本文不声称代码、模型或数据已公开，因为本次未发现来源绑定且完成验证的资源。

自监督语音表征 × 联邦学习： 自监督语音表征负责用大量无标注语音预先学到通用声学与语义特征，联邦学习负责在原始语音不出本地的前提下协同训练；二者搭配的理由是语音数据敏感且分散，组合意义是把中央集中微调改为只聚合模型更新，从而在保护隐私的同时复用分布式数据。

已有路线为什么在异构联邦下会变慢或浪费？

第一条相关路线是语音自监督学习，例如 Wav2Vec 2.0 和 HuBERT，通过对比学习或掩码预测从大规模无标注数据学通用表征，再用少量标注数据微调到自动语音识别、说话人识别和情绪识别等任务。这条路线在集中式条件下有效，但默认做法是把全量数据汇到中央，涉及个人助手与移动设备语音时会触及通用数据保护条例等合规顾虑。第二条路线是联邦学习，通过聚合模型更新代替原始数据来利用分布式数据，已有工作尝试联邦自监督语音表征与端到端联邦声学模型。

第三条路线是处理异构的联邦优化与模型自适应，例如有序丢弃与异构联邦学习方法，以及用早退加速推理的分支网络与动态早退方法。原文指出，现有联邦微调常对所有任务激活整个主干，造成不必要的计算开销；同时深 Transformer 全量微调对资源受限设备负担重，会产生掉队者效应。本节只做有源对照，不把类别差异当作同条件胜负。

与同输入同目标的工作如何对照而不误比？

对照应按同输入、同目标、同监督与同运行阶段进行。同输入都是原始波形，同目标都是语音内容、说话人与副语言任务，同监督都是先自监督预训练再用少量标注微调，同运行阶段区分集中微调与联邦微调。本文与集中微调的差异不在特征本身，而在训练是否要求数据集中；与已有联邦语音工作的差异不在是否做联邦，而在是否允许不同深度的弹性训练与按层聚合。

早退思想来自加速推理的分支网络，但本文把它从推理加速扩展到联邦训练与推理的提前终止，并增加了按数据量与深度加权的服务器聚合，这是组合的新增作用。比较精度时只能在相同划分与相同轮数下比，不能把集中的上限直接当作联邦方法的基线，也不能把搜索出的事后最优层当作可部署的固定策略来宣称收益。

系统异构与任务异构具体卡在哪里？

系统异构卡在统一深度上。联邦网络同时包含高性能服务器与低功耗物联网设备，若要求所有客户端都前向与反向传播到第 12 层，弱设备会拖慢整轮，甚至无法装下激活与梯度。任务异构卡在统一策略上。语音表征天然分层：浅层捕捉足以做关键词检测的声学模式，深层编码自动语音识别所需的语义与上下文信息。若对关键词检测也跑完全部 12 层，就是冗余计算。

若对识别任务只给浅层，又会缺上下文建模能力。因此问题可表述为：如何在 1 次联邦训练中，让不同算力的客户端训不同深度，让不同任务选不同出口，并在服务器端正确合并维度不一致的更新。评价时需要同时看识别与分类精度、通信轮数与内存占用，不能只看一端。

三组件如何把一个深模型变成可弹性训练的联邦系统？

方法全景包含 3 个组件。第一是客户端的资源与任务感知本地训练，每轮开始前根据硬件与任务复杂度确定最大可训深度 Lmax。第二是弹性多出口主干，在选定的中间 Transformer 层集合 E 上接独立预测头，把单输出网络变成层级特征提取器。第三是服务器端的深度加权按层部分聚合，对每一层只聚合训过该层的客户端，并按数据量与深度加权。

一个样本的完整走法是：波形进入卷积编码器得到帧级特征，依次经过 Transformer 第 1 层向上，到达本客户端的 Lmax 层后进入该层的统计池化与线性分类或序列建模头，计算任务损失并只更新 Lmax 及之前层的参数，更深层保持冻结；上传后服务器按层分别加权平均，再下发新的全局模型。下面结合框架图理解各方数据流向。

看图路径： 1. 从左侧云端下发箭头看到三类客户端的最大深度标注；2. 沿中间波形经卷积编码器到第 3、6、9、12 层出口的主路径走一遍；3. 对比右侧共享浅层与独占深层的方框划分；4. 找到右下角权重公式中数据量与深度的相乘关系

论文图 1。原论文 Figure 1：“Overview of the proposed Adaptive Federated Learning framework.”。

图中从左到右依次是云服务器下发、按资源选深度的 3 类客户端、中间 Wav2Vec 2.0 模块的卷积编码器加第 3、6、9、12 层与 4 个出口、右侧区分共享浅层与独占深层的全局聚合。图中还给出权重与数据量和深度的关系，浅层被所有客户端共同优化，深层只由高资源客户端更新。回到底层逻辑，这种解耦让深度不再被最弱设备锁定，从而缓解掉队并稳定收敛。

主干与出口如何构造？每层算什么？

主干构造以预训练 Wav2Vec 2.0 Base 为起点，所有实验用 LibriSpeech 100 小时子集预训练的参数初始化。原文把早退点放在第 3、6、9、12 层 Transformer，形成出口集合。不同配置共享相同的预训练初始化，仅有效编码器深度不同，因此计算复杂度与表征能力随深度变化。浅配置大幅减少计算，适合资源受限客户端；深配置提供更强上下文建模，利于复杂任务。

预测头按任务区分：自动语音识别把帧级表征送入序列建模模块再经线性层映射到词表空间，用联结时序分类目标训练；在教学例子中，可以把一句话的每 1 帧先得到向量，再对齐到字符序列求损失，但这只是帮助理解流程的例子，不代表原文的解码实现细节。对于关键词检测、情绪识别与说话人任务，帧级表征先经统计池化聚合成固定维度的 utterance 级嵌入，再经线性层加 Softmax 做分类；说话人验证复用同样的 utterance 嵌入做验证并报告等错误率。

早退出口 × 弹性多分支主干： 早退出口指在第 3、6、9、12 层 Transformer 后接的任务相关预测头，允许前向只算到某层就求损失；弹性多分支主干指把原来单输出的 Wav2Vec 2.0 改成多出口分层结构，分工是前者提供可提前终止的计算点，后者提供共享的层级表征基础，搭配后不同客户端可选不同深度训练而不改变预训练初始化。

资源感知深度选择 × 任务感知出口选择： 资源感知深度选择根据内存与算力定出本轮最大可训深度 Lmax 以防溢出与掉队，任务感知出口选择根据任务复杂度为简单任务选浅出口以省冗余计算；二者共同决定客户端实际训练到哪一层，使低资源设备贡献浅层更新、高资源设备在需要时优化深层。

按层部分聚合 × 深度加权： 按层部分聚合指服务器对每一 Transformer 层只用训过该层的客户端集合 Sl 做平均，解决不同深度更新维度不对齐使标准 FedAvg 不可用的问题；深度加权指权重正比于本地数据量 ni 与最大训练深度 Li，分工是前者确定谁参与哪一层，后者确定参与者占比，组合形成浅层由全员稳健更新、深层由深客户端精修的金字塔优化。

按层聚合的权重与参与集合如何执行？

服务器不再对整个主干做 1 次平均，而是对每一层 l 独立聚合。只有训练过该层的客户端集合 Sl 参与该层的平均，这允许低层即使在高层只有子集客户端训练时仍能被协同优化。聚合权重正比于本地数据量 ni 与最大训练深度 Li，原文给出公式为按 ni 乘 Li 加权后的归一化平均。这种设计形成金字塔优化：低层声学层被所有客户端更新以获得统计稳健性，高层语义层由训得更深的客户端精修。

需要明确的是，原文未给出该加权公式之外的额外动量、裁剪或归一化细节，解读时不从模型名称推定未报告的实现。若某层没有任何客户端训练，则该层无更新来源，但在本实验的异构划分中浅层恒有全员参与，因此未出现空集合的边界情况。

本地如何前向、反向与上传？冻结了什么？

每轮训练的操作顺序是固定的。先由客户端根据本地内存、算力与任务复杂度确定 Lmax，Lmax 取值限定在出口集合内。本地前向只执行到 Lmax 层，在该层用任务损失计算梯度；反向只更新 Lmax 及之前层的参数，更深层保持冻结，不计算也不更新。每轮被选中的客户端做 1 至 3 个本地 epoch，然后把更新后的参数上传到服务器。

服务器执行按层部分聚合，得到新的全局模型后再评估。原文未报告学习率、优化器类型、批量大小与梯度裁剪等超参数的具体数值，因此复现时只能确定流程与冻结范围，不能补写未给出的优化细节。自动说话人验证没有以联邦方式单独训练，而是用说话人辨认任务训练 200 轮后的全局模型直接评估，这是原文明确的安排，解读时必须保留，不能误认为所有 5 个任务都经历了独立联邦训练。

数据、任务与联邦环境如何划分？测什么指标？

实验遵循 SUPERB 基准的任务分类思路，选 5 个代表性下游任务，覆盖内容识别、说话人建模与副语言分析。内容类包括自动语音识别与关键词检测，识别用 LibriSpeech 并报告词错误率，关键词检测用 Google Speech Commands 的 35 类全集与 12 命令子集并报告分类错误率。副语言与说话人类包括情绪识别、说话人辨认与说话人验证，情绪识别用 IEMOCAP 四分类，说话人与验证用 VoxCeleb1，辨认报告多分类错误率，验证报告等错误率。指标方向都是越低越好。联邦环境用 Flower 框架结合 SpeechBrain 工具实现，分为集中训练上限、同构联邦与异构联邦 3 种。

同构指所有客户端用相同深度，用于衡量分布式的收敛差距；异构沿系统与数据 2 维构造，系统上各 50% 分为低资源与高资源，数据上关键词、情绪与识别按说话人身份划分形成非独立同分布，辨认与验证则随机打乱为独立同分布。下表先把通信轮数、划分与出口配置等可运行条件固定下来，便于后文比较公平性。 表前比较问题是：在不同任务收敛速度与数据划分不同的情况下，各任务实际跑了多少轮、用什么划分与出口，以保证后文精度比较的条件一致。

公平条件是所有配置共享相同预训练初始化，仅深度不同；指标方向均为错误率越低越好。

表后解释是：轮数差异反映收敛难度，关键词检测在非独立同分布下最慢因而轮数最多，情绪识别收敛较快因而轮数最少。

验证任务不单独联邦训练是重要代价与边界，解读其等错误率时必须关联到辨认模型的迁移评估，而不能当作独立训练的最优值。未胜出项是该表本身不含精度，精度比较留给后表，此表只承担条件对齐作用。

中间层是否真比全 12 层更好？异构聚合带来什么？

主结果围绕两个问题组织。第一是不同深度在集中与同构联邦下的表现，比较对象是第 3、6、9、12 层出口，条件是相同初始化与各自任务头。原文报告显示，最优出口随任务而变，全 12 层并非总是最好。自动语音识别在两种范式下都偏好第 9 层，原因被解释为序列到文本识别更依赖中深层上下文与语义整合；关键词检测在联邦下最优在第 6 层，直觉是其依赖稳定的局部声学与短时模式，更深的语义表征不一定有帮助。

情绪识别在联邦下最优在第 9 层，因其需要更丰富的韵律与高层表达信息。原文还报告，在 IEMOCAP 上第 9 层联邦模型超过最好的集中结果，可能与联邦平均带来的隐式正则有关，这属于有限解释而非因果证明。第二是异构下的聚合比较，基线是同构联邦的最优出口参考，以及异构深度加标准 FedAvg，实际可运行策略是异构深度加按层深度加权聚合。下表固定该比较，指标均为错误率且越低越好。

表前比较问题是：在浅深客户端共存且更新维度不一致时，按层深度加权是否优于直接全模型平均，能否接近全员用最优深度的同构参考。公平条件是相同的深浅分组划分，区别仅在聚合方式；指标方向统一为错误率越低越好。

表后解释是：按层深度加权在多数任务上优于标准平均，并在识别与情绪任务上达到甚至超过同构参考，支持其通过分层整合不同深度更新来缓解异构不稳定的判断。

具体代价是 35 命令关键词检测的异构结果仍明显差于同构参考，说明非独立同分布下的分类任务仍受数据异构拖累。未胜出项必须保留：标准平均在部分任务上更差，但同构参考在关键词任务上依然最好，不能把按层聚合说成在所有任务全面超越。

说话人任务与内存代价如何随深度变化？

除核心识别与分类结果，论文特有两个细节值得单独展开。一是说话人辨认与验证的层偏好与集中训练分散的现象。原文报告联邦下辨认的最优出口也在第 9 层，提示中深层在联邦平均下对说话人特征更稳健；而集中训练的最优层更分散，例如情绪与 12 命令关键词偏好第 6 层，辨认甚至在第 3 层最好。这种集中与联邦不一致说明最优深度依赖训练范式，不能把集中调出的最优层直接搬到联邦部署。

二是系统代价的定量测量，用固定输入长度与批量的语音输入测不同 Transformer 深度的显存占用。原文报告内存随层数近似线性增长，从 12 层降到 3 层可降低可观比例。下表把 4 个任务的下降比例并列，承担宽表要求，比较问题是深度缩放是否提供可预测的内存控制手段。 表前比较问题是：把深度从 12 层降到 3 层时，不同任务头的内存下降是否一致，能否作为资源受限联邦的配置依据。公平条件是固定输入长度与批量，仅改变有效 Transformer 层数。

指标为内存下降百分比，越大表示节省越多。

表后解释是：下降幅度因任务头开销占比不同而不同，关键词头本身较轻因而主干缩减收益最大，识别头本身较重因而相对收益最小；这支持深度缩放是有效且可预测的内存控制手段，但总体趋势不等于每组输入都严格线性，实际部署仍需按自己的序列长度与批量重测。

未评测边界是原文未报告延迟、能耗与通信量的实测值，因此不能把内存下降直接承诺为端到端延迟同比例下降。

哪些结论还不能推广？缺了什么验证？

首先，异构划分是人工设定的两组各 50%，低资源限于浅层如第 3 层，高资源训到任务最优层而非固定 12 层，这与真实边缘设备的连续算力分布仍有差距，掉队缓解的程度可能随分组比例变化。其次，数据异构只覆盖按说话人划分与随机打乱两种，噪声环境、口音与设备信道差异未建模，因此 35 命令关键词在异构下仍有较大差距的原因只能说与非独立同分布相关，不能断定为唯一因果。

第三，超参数与统计显著性缺项较多，原文未给出学习率、优化器、批量大小与多次随机种子的方差，表格数字相同也不能跨指标比较，百分点与相对百分比含义不同。第四，成本只测了显存占用，未测量误判率之外的延迟、能耗与通信字节数，也未报告推理帧率与实际延迟的对应关系。最后，资源状态为未发现可用绑定，因此不能写代码或模型已公开，复现需按论文文字重写流程。

要复现先固定什么？第一步跑通什么？

复现先固定信息条件：主干为 Wav2Vec 2.0 Base 并用 LibriSpeech 100 小时子集预训练参数初始化，出口固定在第 3、6、9、12 层，任务头按原文区分序列建模加联结时序分类与统计池化加线性分类两种。数据按任务取对应语料，关键词、情绪与识别按说话人划分，非独立同分布，辨认与验证随机打乱。联邦用 Flower 实现，每轮随机采样部分客户端，每客户端本地做 1 至 3 个 epoch，轮数按任务固定为关键词 1000 轮、识别 100 轮、辨认 200 轮、情绪 50 轮，验证复用辨认模型。

第一步建议先跑通集中训练的 4 个深度，对齐各任务的最优层，再跑同构联邦得到参考基线，最后引入深浅各 50% 的异构分组并对比标准平均与按层深度加权。记录时必须同时记数据集、模型深度、实验阶段、指标与聚合对象，避免把词错误率、分类错误率与等错误率混在同一列比较。若显存不足，优先降深度而非改批量，因为原文的内存结论是基于固定输入长度与批量得到的。

何时值得尝试这种早退联邦微调？

当部署同时满足 3 个条件时值得尝试：设备算力分层明显且弱设备无法跑全 12 层；任务对表征深度的需求已知不同，例如关键词检测可用中层而识别需要中深层；隐私要求原始语音不出本地且能接受多轮联邦通信。此时可按资源定 Lmax、按任务选出口，服务器按层加权聚合，浅层求稳健、深层求精修。若所有设备算力一致且任务单一，同构全深度微调更简单，不必引入多出口的额外头与聚合复杂度。

还需补的验证包括：连续算力分布下的收敛曲线、真实设备上的延迟与能耗、多次种子的方差，以及更重噪声与口音异构下最优层是否漂移。记住关键的可重放点：出口集合、深浅分组比例、按说话人划分的范围、固定轮数与验证复用辨认模型的安排，这些是复述方法与判断结论适用边界的依据。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总