英文题目：Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking
标签：#语音识别 | #联邦学习 | #多语言 | #LoRA | #音频大模型
评分：6.3/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Jordi Luque：机构信息未在 arXiv HTML 中可靠披露
- Aleix Sant：机构信息未在 arXiv HTML 中可靠披露
- Fernando López：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
本文处理多语言自动语音识别的联邦学习问题，输入为分散在316个说话人客户端的8种欧洲语言语音，输出为对应语种转写文本，难点是语言、说话人、信道三重异构引发的客户端漂移。方法链分4步推进：语音编码器将波形映射为帧级声学特征，跨模态连接器经帧堆叠与线性投影把声学表征对齐到文本嵌入空间，语言解码器以自回归方式生成转写，联邦服务器以FedAvg或FedProx聚合各客户端的低秩适配器与连接器更新。相比以往整体微调单体编码器的做法，该文按编码器、连接器、解码器拆分优化对象并引入近端正则对抗漂移，意义在于揭示语言先验容量对联邦鲁棒性的调节作用。在Multilingual LibriSpeech测试集上，Whisper加EuroLLM在解冻编码器并差异化调参后词错率达到0.117，相对同架构冻结编码器FedAvg基线0.133有明显下降。结论仅适用于朗读类英语主导数据与1.1B至3B规模解码器，未验证自发对话、强噪声及更大规模模型的迁移能力。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要回答哪两个问题？
本文的输入是分散在多个客户端的语音，不允许把原始音频集中到服务器，目标是在保护隐私的前提下训练能识别 8 种欧洲语言的多语自动语音识别系统。研究对象是语音大模型，即声学编码器加跨模态连接器加语言解码器的 3 段式结构。作者要回答两个可操作的问题。第一是架构问题：在客户端按语言、口音、说话人和录音条件同时异构时，哪种编码器加解码器组合更稳健，编码器是有过语音识别监督的 Whisper 还是自监督的 WavLM 会有不同表现。
第二是聚合问题：在这种多语语音大模型联邦场景下，带近端正则的 FedProx 能否缓解客户端语言漂移。全文围绕这两个问题组织实验，默认从原文独立写作，不引入外部评价。需要保留的关键信息是 4 种架构、两种聚合、冻结与解冻编码器、按部件调学习率、316 个客户端的划分方式和词错率指标方向，词错率越低越好。资源状态方面，本次未发现来源绑定且完成验证的资源，因此不得声称代码、模型或数据已公开，只能按论文文字复述方法与条件。
联邦语音识别此前做了什么，为何还没回答语音大模型问题？
联邦语音学习早于语音大模型，早期工作主要针对传统端到端语音识别，动机同样是语音数据高度异构且隐私敏感，因此发展了非独立同分布优化、个性化和通信高效训练方法。近期工作把参数高效微调引入联邦语音编码器，表明低秩适配和适配器类方法可以在有限通信与算力下适配基础模型。但论文指出这些工作停留在单体语音编码器或基于语言模型的旧架构，没有直接研究联邦训练下的语音大模型。
也就是说，编码器、连接器、语言解码器三者应如何协同，在多语非独立同分布客户端下如何分配学习率和冻结策略，此前没有可用对照。另一条相关路线是通用联邦优化，客户端漂移会破坏联邦优化稳定性，由此产生 FedProx 和 SCAFFOLD 等聚合策略。FedProx 的直觉是在本地目标上加约束防止本地模型跑偏，SCAFFOLD 则用控制变量校正漂移。本文只实际运行了 FedAvg 和 FedProx，没有运行 SCAFFOLD，因此关于 SCAFFOLD 的讨论只能作为背景，不能当作本文证据。
同输入同目标的对照应是同为多语语音识别、同为联邦训练、同为词错率评估的工作，而本文的增量恰是把比较对象换成 4 个语音大模型家族，并固定数据划分来隔离异构影响。
多语联邦为什么比单语联邦更难复现？
难点在于异构同时发生在 3 个层面。语言层面每个客户端至多一种语言，声学层面每个客户端只有一个说话人身份、一种麦克风和房间，领域层面朗读书籍的语速和录音条件也不同。联邦每轮只抽样部分客户端本地训练多轮再平均，若各客户端梯度方向不一致，平均后会相互抵消。论文把这种现象称为编码器更新抵消，假设是每个客户端把编码器调向自家说话人，平均后接近于零，而解码器面对的是共享的语言任务，更新更容易在平均中保留。
这是一个有限解释，不是已证明的因果，需要用冻结与解冻、不同学习率和不同解码器的对照来支持。另一个复现难点是说话人泄露。因为多语 LibriSpeech 源自 LibriVox 有声书，同一朗读者可能同时出现在训练、验证和测试划分。集中训练存在 3.5% 的说话人泄露，近似独立同分布划分中有 59 个客户端受影响，非独立同分布说话人划分中有 8 个客户端对应测试集说话人。
作者明确提醒集中与近似独立同分布上限因此受益于说话人熟悉度，联邦非独立同分布的真实退化比原始差距显示的略小。复述时必须保留这一限制，不能把联邦与集中的差距全部归因于联邦算法。
一个样本如何走完编码器到解码器？
先沿一个样本走完全程。输入是一段语音波形，记为语音向量，附带一条文本提示词，例如要求转写。语音先进入声学编码器得到帧级特征序列，时间步数较多且维度属于编码器空间。然后连接器做两件事，先把相邻帧堆叠实现下采样，再用可训练线性层投影到语言模型维度，得到较短的音频令牌序列。与此同时提示词经分词器变为文本嵌入。
两类令牌拼接后作为条件上下文送入语言解码器，解码器按自回归方式逐个生成转写词，损失只算在转写词上，音频令牌和提示嵌入只作条件。推理时同样拼接后生成，直到结束。
语音编码器 × 语言解码器： 语音编码器负责把连续语音波形变为帧级声学特征，承担音素、说话人、信道等声学变异的建模；语言解码器负责利用文本预训练获得的语言先验把特征序列变为转写文本，承担词汇、语法和跨语言泛化；两者搭配的理由是单一编码器难以直接输出多语文本，而单一解码器无法听懂语音，组合后新增的作用是可以用提示词控制的端到端语音识别。
下图是全文唯一的结构总览，阅读时不要先猜模块位置，先按箭头确认主路径与汇合点。下图展示了从语音输入到音频编码器再到连接器再到音频令牌，以及从文本提示到分词器再到文本令牌，最后两路汇合进入大模型解码器输出转写的完整管线，左侧还标注了每步的矩阵形状变化。
看图路径： 1. 先从底部绿色语音输入沿箭头向上追踪到音频编码器与连接器；2. 再看蓝色音频令牌与橙色文本令牌在何处拼接后送入解码器；3. 核对左侧矩阵维度标注中时间步除以下采样倍数的变化
论文图 1。原论文 Figure 1:：“Speech-LLM architecture: encoder \mathcalE maps speech \mathbfx to frame-level features; connector \mathcalC downsamples by k; decoder \mathcalL generates \hat\mathbfy from the…”。
该图可见的关键是双路汇合逻辑。左侧蓝色支路标注了帧堆叠把多帧压成一个令牌，再经投影变为语言模型维度，中间用蓝色圆点表示音频令牌数量多于文本令牌，右侧棕色支路表示提示词经分词器变为橙色文本令牌，两路在中间拼接符号处汇合后向上进入解码器，顶部公式与图注一致表明输出是对拼接序列的条件生成。这种设计解释了为何连接器必须从零训练，而编码器和解码器可以用预训练权重加低秩适配。
该过程的形式化定义是转写等于解码器对拼接序列的映射，符号含义是帽子表示预测，方括号表示拼接，分号左侧是投影后的音频，右侧是文本嵌入。
\[\hat{\mathbf{y}}=\mathcal{L}\left([\mathcal{C}(\mathcal{E}(\mathbf{x}));\,\mathbf{E}_{\mathrm{text}}]\right).\]该公式的计算目标是把变长语音与变长提示统一为解码器可接受的定长维度令牌序列，原文明示的实现是三部件联合训练，最小化转写词上的标准自回归交叉熵，音频部分不产生损失。
四种架构的编码器、解码器和连接器各有何不同？
4 种组合覆盖了两种编码器路线和 3 种解码器路线。第一种是 Whisper 加 TinyLlama，Whisper large-v3-turbo 编码器输出 768 维帧表示，投影到 2048 维以对齐 TinyLlama-1.1B，TinyLlama 共 22 层，Whisper 编码器共 32 层且已见过多语语音识别监督，因此声学特征本身已具备跨语言鲁棒性。第二种是 Whisper 加 EuroLLM，编码器完全相同，解码器换成在多语欧洲文本上预训练的 EuroLLM-1.7B-Instruct，用于检验多语文本先验的作用。第 3 种是 WavLM 加 TinyLlama，编码器换成自监督的 WavLM-Large，输出 1024 维、24 层，从未见过语音识别监督，用于检验联邦能否把自监督编码器适配到识别任务。
第四种是 Voxtral-Mini，基于 Whisper-large-v3 的音频编码器加 30 层 Ministral-3B 文本解码器，端到端在音频理解和识别上联合预训练，连接器也不同。连接器方面，前 3 种共享设计，步长为 2 的帧堆叠把相邻 2 帧拼接，再用单个可训练线性层投影，只有该线性层从零训练。Voxtral 则把音频下采样 4 倍后接两层多层感知机投影，两层都训练，压缩更高、容量更大。
训练时低秩适配只加在语音编码器注意力的查询、键、值投影和大模型解码器注意力的查询、值投影，秩为 8，缩放系数多为 16 而 Voxtral 为 32，丢弃率为 0.05，连接器全量训练，只有这些可训练参数在客户端与服务器之间传输。
连接器 × 低秩适配： 连接器负责把编码器输出的长帧序列下采样并投影到解码器输入维度，解决长度与空间不对齐问题；低秩适配负责只训练注意力投影上的小秩旁路矩阵而不动原始大权重，解决联邦通信与显存开销问题；两者搭配的原因是连接器必须从零学习跨模态对齐而适配器保留预训练知识，组合后新增的作用是以极少可传输参数实现三部件联合微调。
理解冻结含义很重要。冻结编码器指编码器原始权重与适配器都不更新，只有连接器和解码器适配器参与联邦；解冻编码器指编码器侧也加入低秩适配并参与更新，但更新幅度需要单独学习率控制，否则容易被异构平均抵消。论文对 Voxtral 之外的连接器都从零初始化，因此联邦数据必须同时教会连接器对齐与解码器转写，这是联邦比集中更难的原因之一。
本地训练与全局聚合的计算步骤是什么？
联邦采用同步客户端服务器优化。每轮服务器随机抽取比例为 0.3 的客户端，316 个客户端对应每轮约 94 个客户端参与。被抽中客户端在本地用 AdamW 做 10 个本地轮次，批量大小 16，半精度 bf16，最大学习率十万分之一并余弦衰减，然后把可训练参数上传，服务器按样本数加权平均得到新全局模型。非独立同分布说话人划分训练 40 个全局轮次，近似独立同分布划分因收敛快、词错率优化早衰，只报告第 9 轮。
超参数中编码器学习率乘子、FedProx 系数和本地轮数都在验证集上选择，测试集只评估选定检查点。集中训练作为上限用同样优化器在全量数据上最多训练 10 个轮次，按验证词错率选最优检查点，实际多在第 44 轮左右收敛。
联邦平均 × 联邦近端： 联邦平均负责每轮按样本数加权平均各客户端上传的适配器与连接器参数，承担全局聚合功能；联邦近端负责在客户端本地损失上加一项偏离全局模型的 2 次惩罚，承担抑制客户端漂移功能；两者搭配比较的理由是多语按说话人划分天然非独立同分布，组合对照新增的作用是检验正则项是否在不同语音大模型主干上一致有效。
本地优化的监督来源是转写词上的自回归交叉熵，音频令牌只作条件，教师强制提供历史词。形式化为对所有转写位置的负对数似然求和，可训练参数集合只含低秩适配器与连接器投影。
\[\mathcal{L}_{\mathrm{CE}}(\boldsymbol{\theta})=-\sum_{s=1}^{S}\log p_{\boldsymbol{\theta}}\left(y_{s}\mid\mathcal{C}(\mathcal{E}(\mathbf{x})),\,\mathbf{E}_{\mathrm{text}},\,y_{\lt s}\right),\]全局聚合若用联邦平均，则新模型等于各参与客户端模型的样本数加权平均，权重为各客户端样本数除以本轮总样本数。
\[\boldsymbol{\theta}^{(t+1)}=\sum_{k\in S_{t}}\frac{n_{k}}{\sum_{j\in S_{t}}n_{j}}\boldsymbol{\theta}^{(t,k)},\]若用联邦近端，则客户端目标在本地损失上加一项全局模型偏离惩罚，系数缪控制偏离代价，用于限制因客户端声学分布过窄导致的漂移。
\[\min_{\boldsymbol{\theta}}\mathcal{L}_{\text{local}}(\boldsymbol{\theta})+\frac{\mu}{2}\left\lVert\boldsymbol{\theta}-\boldsymbol{\theta}^{(t)}\right\lVert_{2}^{2},\]原文未报告梯度在连接器两层与适配器内部的逐层路径细节，也未给出 SCAFFOLD 等其他校正的实现，因此复述时只讲到损失、加权平均与近端项这一层，不从模型名称推定未写明的梯度截断或重置时机。
数据、划分、评估与基线条件是否一致？
全部实验使用多语 LibriSpeech 有声书语料，覆盖 8 种欧洲语言。联邦训练池用官方训练划分共 685.7 小时，验证用开发划分，评估用测试划分共 138 小时、19492 条样本，总体词错率在 8 种语言合并层面报告，词错率以比例表示，例如 0.1415 对应 14.15%。划分有两种。说话人划分把同一说话人的全部语句分给同一客户端，共 316 个客户端，每个客户端至多一种语言，是最强的非独立同分布。近似独立同分布划分把语句随机混合分给客户端而不管说话人，作为隔离异构影响的对照。
两种划分的客户端数相同，但报告轮次不同，比较时必须注意轮次不一致。评估还报告宏观平均词错率，即 8 种语言词错率的无加权均值，用于避免英语大客户端主导总体词错率。
说话人划分 × 多语混合划分： 说话人划分负责把同一说话人的全部语句分给同一客户端，承担复现语言、口音、麦克风和房间同时异构的非独立同分布条件；多语混合划分负责把语句随机打散到各客户端而不管说话人，承担近似独立同分布的对照条件；两者搭配的原因是要把架构差异与数据异构的影响分开，组合后新增的作用是可以量化从对照到非独立同分布的性能下降。
下表是按说话人划分的训练数据构成，阅读问题是各语言的时长与客户端数是否极度不均，公平条件是同一张表同时给出时长与说话人客户端数，指标方向是时长越少、客户端越少的语言越考验多语先验。
| Language | Hours | Speakers/Clients |
|---|---|---|
| French | 251.6 | 15 |
| German | 160.9 | 19 |
| English | 105.3 | 256 |
| Spanish | 83.8 | 9 |
| Italian | 27.3 | 7 |
| Polish | 25.7 | 1 |
| Portuguese | 18.5 | 5 |
| Dutch | 12.7 | 4 |
| Total | 685.7 | 316 |
该表的主要含义是客户端分布严重偏向英语，256 个客户端占 80% 以上，而波兰语只有一个客户端，荷兰语只有 4 个。代价是总体词错率会被高资源评测词主导，因此后文必须同时看宏观平均与分语言词错率，否则会低估低资源语言的改进或退化。未胜出项在这里就已可见，即任何只优化总体词错率的方法都可能在英语上持平而在低资源语言上波动，这正是后文 FedProx 在德语上退化的背景。
主结果：谁在联邦非独立同分布下最好，代价是什么？
比较问题是 4 种架构在冻结编码器的联邦平均下谁的总体词错率最低，公平条件是同为说话人非独立同分布划分、同为冻结编码器、同为联邦平均，指标方向是词错率越低越好。下表整理原文直接报告的集中上限与联邦结果，保留必要基线与实际可运行策略，不把事后最优学习率当作默认可部署收益。
| 条件 | 指标 | 集中上限 | 联邦平均冻结编码器 | 联邦近端或解冻对照 |
|---|---|---|---|---|
| Whisper 加 TinyLlama 总体 | 词错率 | 0.072 | 0.1415 | 解冻 0.1418 |
| Whisper 加 EuroLLM 总体 | 词错率 | 0.066 | 0.133 | 联邦近端 0.1217 |
| WavLM 加 TinyLlama 总体 | 词错率 | 0.24 | 0.5559 | 解冻 0.5338 |
| Voxtral 总体 | 词错率 | 0.1238 | 0.1442 | 解冻 0.1362 |
该表的主要收益是多语预训练是联邦性能的首要驱动。把解码器从 TinyLlama 换成 EuroLLM，集中从 0.072 降到 0.066，联邦冻结编码器从 0.1415 降到 0.133，相对约 6%。Voxtral 联邦为 0.144，不如 EuroLLM 管线。WavLM 集中已达 0.24，联邦恶化到 0.5559，表明有无语音识别监督的编码器差距在联邦下从 3.3 倍放大到约 3.9 倍。具体代价有三。
其一联邦相对集中退化巨大，Whisper 加 TinyLlama 相对退化约 96.8%。其二 FedProx 并非通用解药，在 Whisper 加 TinyLlama 上随系数增大单调变差，在 Voxtral 冻结与解冻上也分别从 0.144 变为 0.149、从 0.1362 变为 0.1468。其三唯一显著受益的是 Whisper 加 EuroLLM 的联邦近端 0.1217，相对联邦平均约 8.5% 改善，也是冻结编码器中最好，但仍远差于集中 0.066。
词错率 × 客户端漂移： 词错率负责在 8 种语言合并测试集上度量转写错误词比例，承担主性能指标功能；客户端漂移负责描述各客户端因只见一种语言和一个说话人而把本地模型推向不同方向的现象，承担解释联邦退化的机制功能；两者搭配的原因是只看词错率不知道退化来源，组合后新增的作用是把总体词错率、宏观平均词错率和分语言词错率联系到异构程度。
分语言视角进一步支持上述判断。比较问题是 EuroLLM 相对 TinyLlama 的优势是否来自低资源语言，公平条件是同为冻结编码器联邦平均，指标仍是分语言词错率越低越好。下表为原文分语言词错率，表头分别为集中 TinyLlama、联邦平均 TinyLlama、联邦平均 EuroLLM、联邦近端 EuroLLM。
| Lang. | Cent. | FedAvgWT | FedAvgEL | FPEL |
|---|---|---|---|---|
| Dutch | 0.110 | 0.270 | 0.265 | 0.195 |
| English | 0.049 | 0.100 | 0.098 | 0.090 |
| French | 0.061 | 0.075 | 0.078 | 0.072 |
| German | 0.071 | 0.104 | 0.098 | 0.125 |
| Italian | 0.121 | 0.233 | 0.186 | 0.189 |
| Polish | 0.110 | 0.270 | 0.237 | 0.228 |
| Portuguese | 0.093 | 0.225 | 0.160 | 0.177 |
| Spanish | 0.046 | 0.085 | 0.075 | 0.068 |
| Overall | 0.072 | 0.142 | 0.133 | 0.122 |
表后解释聚焦收益与反例。联邦平均下 EuroLLM 在 8 种语言中 6 种优于 TinyLlama，葡萄牙语、意大利语、波兰语等低资源语言绝对下降最明显，宏观平均从 0.170 降到 0.150，差距大于加权总体的 0.9 个百分点，证实优势由低资源语言驱动。联邦近端 EuroLLM 在 5 种语言上继续改善，荷兰语从 0.265 降到 0.195，波兰语、英语、法语、西班牙语也有改善，但德语从 0.098 恶化到 0.125，意大利语和葡萄牙语也略退化。未胜出项必须保留：德语的退化说明近端正则在中等资源语言上结果混杂，总体趋势不等于每种语言都成立。
解冻编码器与按部件调学习率是否值得？
该节的消融问题是解冻编码器能否在联邦下带来增益，操作是扫描编码器相对解码器的学习率乘子。公平条件是同一架构、同一联邦平均、只变编码器学习率，指标仍是总体词错率越低越好。对 Whisper 加 TinyLlama，解冻后为 0.1418，与冻结基线 0.1415 基本持平，即使尝试 0.01 到 0.10 的乘子与 3、5、10 的本地轮数仍保持平坦。作者提出有限解释为编码器更新抵消，即各客户端把编码器推向自家声学方向，平均后接近于零。对 WavLM 同样只有边际改善，解冻从 0.5559 到 0.5338，未能弥合与 Whisper 的鸿沟。
对 EuroLLM 则完全不同，编码器学习率乘子扫描显示从 0.178 单调改善到 0.117，最优点在 0.02 倍解码器学习率，相对冻结的 0.133 约 12% 改善。Voxtral 解冻也有小幅改善，从 0.144 到 0.136。结论是不能把语音大模型当作单体调统一学习率，编码器与解码器梯度尺度与适配需求不同，低速编码器加高速解码器的差分学习率在预训练良好的编码器上尤为关键。
下图是编码器学习率扫描曲线，导读是先确认横轴为乘子、纵轴为词错率、虚线为冻结基线，再比较两条实线的相对位置与走向。下图横轴为编码器学习率乘子，纵轴为词错率，蓝色为 Whisper 加 TinyLlama，绿色为 Whisper 加 EuroLLM，两条虚线分别为 0.1415 与 0.1330 的冻结基线，像素点标注了各乘子下的具体词错率。
看图路径： 1. 先确认横轴为编码器学习率乘子纵轴为词错率及两条虚线基线含义；2. 再比较蓝色 TinyLlama 曲线与绿色 EuroLLM 曲线的相对位置与斜率；3. 读出绿色在 0.02 处最低点与随乘子增大单调上升的具体数值
论文图 2。原论文 Figure 2:：“WER vs. encoder learning-rate multiplier (relative to LLM LR).”。
该图可见的内容支持差分学习率判断，但走向与初版描述相反需要纠正。虚线基线约 0.1415 与 0.1330，蓝色 Whisper 加 TinyLlama 在 0.1 处为 0.1757、在 1.0 处为 0.1842，明显高于基线；绿色 Whisper 加 EuroLLM 从 0.1170、0.1325、0.1495、0.1601 到 0.1778 单调上升，不是先降后升。绿色在最小乘子 0.02 处显著低于自身冻结基线，乘子增大后词错率单调上升并在 1.0 处超过冻结基线，说明大学习率破坏了预训练编码器。像素可辨的数值不应外推到未测乘子，也不能把该图推广为所有本地轮数下的结论，因为两条曲线本地轮数并不相同。
哪些边界尚未评测，哪些推断只是可能？
首先是轮次与划分不对齐。近似独立同分布只报告第 9 轮而说话人划分报告第 40 轮，原文解释是混合划分收敛快、早衰，因此跨划分的数值比较只能定性，不能当作同轮次胜负。其次是说话人泄露。集中、近似独立同分布和说话人划分都继承了标准划分的泄露，集中与对照上限因说话人熟悉度偏高，联邦非独立同分布的真实退化略小于原始差距，论文已明确提醒，复述时必须保留。第三是 FedProx 的架构依赖性。
论文报告 FedProx 改善 EuroLLM 但损害 TinyLlama 和 Voxtral，并用受控配对比较提出多语解码器容量有助于在近端正则下吸收漂移，但同时承认连接器深度与编码器预训练等多种部件差异带来次要效应，因此容量解释只能表述为支持而非证明，待验证。第四是未评测边界。本地轮数、缪系数和学习率乘子的扫描范围有限，没有运行 SCAFFOLD，没有测量延迟、通信字节数之外的推理开销和误判率分布，也没有在真实设备异构与掉线条件下验证。缺失这些证据不是技术错误，但不能承诺延迟或成本改善。
最后是总体趋势不等于每组成立，FedProx 在德语、意大利语、葡萄牙语上的退化，以及总体词错率被英语主导的问题，都要求同时报告宏观平均与分语言结果。
复现前先固定什么，才能得到可比的词错率？
复现的第一步是固定数据与划分。下载多语 LibriSpeech 官方训练、开发、测试划分，训练池 685.7 小时，测试 138 小时 19492 条。按说话人划分复现 316 个客户端，每位说话人独占一个客户端，记录每种语言的时长与客户端数，特别是英语 256 个、波兰语 1 个的偏态。另做随机混合划分作为对照，但注意对照只取第 9 轮，非独立同分布取第 40 轮，不可混比。第二步固定模型与可训练参数。
Whisper large-v3-turbo 或 WavLM-Large 作编码器，TinyLlama-1.1B 或 EuroLLM-1.7B-Instruct 或 Voxtral-Mini 作解码器，连接器对前 3 种用步长 2 堆叠加单线性层、对 Voxtral 用下采样 4 倍加两层感知机，低秩适配秩 8、缩放 16 或 32、丢弃 0.05，只加在编码器查询键值与解码器查询值投影，连接器全量训练。第三步固定优化与聚合。Flower 加 Ray 仿真，每轮抽样 0.3 即约 94 个客户端，每客户端本地 10 轮、批量 16、bf16、最大学习率十万分之一余弦衰减，编码器学习率用 0.02 倍解码器学习率作起点，FedProx 缪从 0.001 起试。超参数在开发集上选择，测试集只做 1 次评估。第四步固定指标。
总体词错率按合并词数计算，同时计算 8 种语言无加权宏观平均，词错率以比例记录并保留 4 位小数。信息条件方面，原文未提供可用资源链接，本次也未能确认代码可达，因此只能按文字复现，不可假设权重下载或一键运行脚本存在。
何时值得尝试文中的路线，何时应换路线？
当部署场景是隐私敏感、数据分散、多语且每端数据量小，中心收集音频不可行，而设备能负担低秩适配与连接器传输时，文中的路线值得尝试。优先选择有语音识别监督的编码器加多语文本预训练的解码器，例如 Whisper 加 EuroLLM 类组合，冻结编码器先跑通联邦平均，再以 0.02 倍解码器学习率解冻编码器并单独调优，避免统一大学习率破坏编码器。若使用 FedProx，必须按架构单独验证缪，不能默认 0.001 在所有主干上有效，TinyLlama 与 Voxtral 在本文中反而变差。
当编码器是自监督且从未见过识别监督，或低资源语言只有一个客户端时，应降低预期，因为 WavLM 在联邦下退化更大，波兰语等单客户端语言的方差也大，此时可考虑先集中预热连接器或增加该语言的客户端覆盖，但这些做法本文未验证，只能作为待验证方向。当目标是降低延迟、通信字节或推理成本时，本文没有提供可直接引用的测量，不应把词错率改善等同于系统可运行。
收束一句话：多语解码器容量与差分学习率是本文最可复用的两条经验，而聚合策略必须与主干联合选择。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses