语言偏斜下只聚合投影器：联邦语音大模型何时逼近集中式识别

英文题目：Fed-SpeechLLM: Federated Learning Speech Language Models for Multilingual ASR

会议身份：conference:interspeech:2026:conference-paper-id:ali26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#联邦学习 #LoRA #多语言 #语音 #语音识别

评分：7.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.6/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Mohamed Nabih Ali：机构信息未能从会议 PDF 纯文本可靠映射
• Daniele Falavigna：机构信息未能从会议 PDF 纯文本可靠映射
• Alessio Brutti：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

多语言语音识别需把分布式多语言语音转写为文本，难点是声学条件与语言统计双重非独立同分布导致客户端漂移与跨语言干扰。该工作构建联邦语音大模型框架，先用冻结语音编码器抽取声学表征并经可训练投影器映射到大语言模型输入空间，再用低秩适配微调大语言模型生成转写，最后在服务端只聚合投影器等可训练参数并调度多语言客户端参与。与已有单语联邦语音识别相比，该机制把语言异构显式纳入客户端选择与加权，保留预训练多语言知识并降低通信量。在英语 LibriSpeech 与意大利语 Multilingual LibriSpeech 双语联邦实验中，早期语言偏置策略在英语测试集上取得 9.5% 词错率，显著优于随机选择的基线并接近集中训练的 6.1%。该结论目前仅在朗读语音双语设置下验证，未覆盖自发语音、更多语系与大规模客户端场景。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/mnabihali/Fed-SpeechLLM — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决哪一个矛盾？

本文的输入是分散存放的英语朗读语音与意大利语朗读语音，输出是对应语言的转写文本，评价用词错误率，数值越低越好。目标是在不集中原始音频的前提下，训练一个能同时处理两种语言的语音大模型。必须保留的信息是数据划分方式、每轮参与比例、冻结与更新的部件、以及联邦与集中式在相同测试集上的对照。本文的输出是一套可复述的联邦语音大模型流程与双语条件下的性能边界。

对于刚进入语音与语言模型交叉领域的读者，关键矛盾是语音大模型通常依赖集中式大规模多语言语料，而多语言语音天然分散在不同机构、司法管辖区与设备上，受隐私与数据主权约束无法集中。联邦学习允许多方在本地训练、只上传更新量，但多语言带来新的非独立同分布轴：客户端可能只持有一种语言，或语言混合比例严重偏斜，本地更新反映发散的语言统计量，导致全局收敛变慢与跨语言干扰。本文选择英意双语作为类型差异明显但仍可控的试验场，先验证单语联邦是否可行，再暴露双语随机参与的问题，最后测试选择与偏置策略能否缩小差距。

阅读时要抓住一条主线：同一个语音大模型结构，先在单语联邦下逼近集中式，再在双语联邦下被语言偏斜拉开差距，最后靠客户端选择把差距压回去。所有结论都依赖相同的模型部件与相同的测试集，不能把不同语言、不同轮次、不同选择策略下的数字直接比较。代码当前可用，已公开在官方仓库，可用于核对超参数与训练细节。

同输入同目标的已有路线与本文位置有何不同？

在相同输入与相同识别目标下，已有工作可分为 3 条路线。第一条是单语联邦语音识别，常用较小声学模型，研究声学与说话人异质性下的联邦优化，但结构简单且不涉及大语言模型。第二条是集中式语音大模型，把冻结语音编码器经可训练投影器接入冻结或轻量适配的大语言模型，在识别、翻译与口语问答上表现强，但要求把多语言语料集中到一处。第 3 条是通用联邦通信效率方法，研究稀疏化、聚合与客户端选择，但多在文本或图像上验证。

本文的位置是三者的交集：模型是语音编码器加投影器加大语言模型的多模态结构，运行阶段是每轮抽样部分客户端的横向联邦，监督是带转写文本的监督识别，目标是双语联邦下的收敛与泛化。论文明确指出，多语言语音大模型的联邦优化此前未被系统研究，现有联邦语音方法多为单语且结构更简单。因此本文不是提出新的编码器或新的大模型，而是固定模型族，系统比较联邦优化与客户端选择在双语非独立同分布下的行为。

这种定位决定了对照方式：公平对照是同一模型、同一数据划分下联邦与集中式的比较，以及同一联邦预算下随机选择与聚类选择的比较。不能把本文的联邦语音大模型与纯声学模型的联邦结果当作同条件胜负，因为参数量、预训练数据与解码方式都不同。理解这一点，才能正确解释为何单语下联邦能逼近集中式，而双语下需要额外机制。

双语联邦的难例具体长什么样？

难例来自两个叠加的不平衡。第一个是数量不平衡：英语用朗读语料约 100 小时、251 个训练说话人，意大利语用多语言朗读语料的意大利部分约 247 小时、仅 65 个训练说话人。也就是说，英语客户端多但每人数据少，意大利语客户端少但每人数据多。若按说话人建客户端，一个客户端就是一个说话人，联邦平均容易被客户端个数或本地样本量推向一方。第二个是语言统计不平衡：两种语言在音系、形态与韵律上差异大，本地梯度指向不同语言的最优方向，直接平均会产生跨语言干扰。

举一个教学用的例子，不代表论文实测值：假设某轮抽到的英语客户端占多数，全局投影器会被推向英语映射；下一轮若意大利语客户端占多数，又被拉回。这种来回拉扯在论文的双语随机选择曲线中表现为英语词错误率波动大、终点偏高。例子只是帮助理解方向，真实幅度以后文表格中报告的词错误率为准。

因此问题可表述为：在编码器与大模型主体冻结、只更新投影器与低秩适配参数的约束下，如何设计服务器聚合与客户端采样，使全局模型在两种语言上同时收敛，且通信轮次控制在 100 轮、每轮只用 30% 客户端、每客户端本地训练 10 个轮次的预算内。这是后文所有策略的共同约束。

方法全景：一个样本走完输入到输出需要经过什么？

先沿一个样本走完全程。输入包括三部分：16 kHz 原始语音波形、任务提示文本例如转写语音、以及仅在训练时出现的标准转写文本。语音波形进入冻结的语音编码器，得到编码器维度的声学嵌入；该嵌入进入可训练的投影器，先做线性映射再做时域平均池化，变成大模型维度的语音嵌入。提示与标准文本经分词与嵌入得到文本嵌入。

3 类嵌入沿序列维度拼接后送入大语言模型，自回归生成转写文本。推理时没有标准文本分支，只用语音加提示生成。

本段前导读解释图 1 的阅读顺序：左面板是单样本的模型内数据流，右面板是多客户端的联邦外循环。读者应先看左图自下而上的主路径，再看右图自下而上的聚合路径，两图通过可训练参数连接。

看图路径： 1. 先沿左图从底部波形经语音编码器、投影器到大语言模型的箭头走一遍主路径；2. 再看右侧提示分支与文本分支在何处拼接到同一序列维度；3. 最后看右图客户端本地模型与服务器聚合公式的上下对应关系

论文图 1。原论文 Figure 1：“(a) SpeechLLM architecture. (b) Fed-SpeechLLM.”。

对上图的解释是：左图底部是输入语音波形，上方深色框为冻结的语音编码器，红色框为可训练的投影器，顶部深色框为大语言模型主体加红色低秩适配分支，右侧橙色框为提示分支。火焰图标表示可训练，雪花或蓝色图标表示冻结。右图底部是多个客户端各自持有本地数据与本地模型，顶部是服务器的聚合操作，公式含义是将多个客户端的更新取平均。论文强调只聚合可训练参数，编码器与大模型主干保持冻结，以保留预训练的多语言知识并降低通信量。

从联邦视角看，每轮服务器下发全局可训练参数，被抽中的客户端在本地说话人数据上训练 10 个轮次，再把更新上传，服务器用联邦平均或其加权变体得到新全局模型。这种内外两层循环是后文所有选择策略的共同骨架，区别只在抽谁、如何加权、是否在服务器补做微调。

编码器与投影器各自做什么，为何如此搭配？

语音编码器采用自监督预训练的大模型，论文主体用 24 层的大规模编码器处理 16 kHz 音频，消融中对比多语言弱监督的中等规模编码器。编码器在联邦训练中保持冻结，作用是提供稳定的声学表示，避免在小而偏斜的本地数据上破坏预训练表示。投影器是轻量线性层加 1 维平均池化，核与步长为 2，负责把 1024 维编码器输出映射到大模型所需的 2048 维，并把序列长度减半以降低计算量。投影器从零训练，是联邦同步的核心。

语音编码器 × 投影器： 语音编码器负责把 16 kHz 原始音频变成 1024 维的声学表示，保留预训练的音素与说话人信息；投影器负责把该表示映射到大模型的 2048 维输入空间并做时域池化。两者搭配的原因是编码器已在大规模语音上预训练而不宜扰动，投影器轻量且从零训练，组合意义是以最小可传输参数完成模态对齐。

这种搭配的理由在原文有明确安排：编码器参数量大且已见过大量无标注语音，冻结可省通信与计算；投影器参数少但决定模态对齐，直接决定联邦是否收敛。复述时要注意，论文摘要曾提到选择性聚合语音编码器与投影层，但方法与实验细节强调编码器冻结、只更新投影器，读者应以方法部分的冻结说明与聚合只针对可训练参数为准，不从模型名称推定编码器被更新。

对初学者而言，可把编码器理解为听觉前端，把投影器理解为翻译插头。插头虽小，但双语偏斜时所有语言冲突都挤在插头上，这解释了为何后文的语言偏置主要影响投影器的收敛轨迹。

大语言模型与低秩适配如何分工？

大语言模型主体采用约 1,100,000,000 参数的指令微调小模型，隐藏维度 2048，与投影器输出对齐。主体在联邦中保持冻结，提供多语言建模与指令跟随能力。低秩适配通过两个低秩矩阵的乘积近似权重更新，秩远小于原始维度，只训练该增量分支。论文在单语与双语实验中均采用可训练投影器加冻结主干加低秩适配的组合，目的是在资源受限下保持有竞争力的性能。

大语言模型 × 低秩适配： 大语言模型负责在拼接后的语音嵌入、提示嵌入和文本嵌入上自回归生成转写文本，提供跨语言的语言建模能力；低秩适配负责以低秩矩阵近似权重更新量而冻结主干。搭配原因是 1.1B 模型全量联邦传输代价过高，组合意义是在保留多语言知识的同时只同步少量可训练增量。

搭配的工程含义是通信只传投影器与低秩矩阵，而非 11 亿全量。训练时监督来自标准转写文本，梯度经生成损失回传到投影器与低秩分支，不更新编码器与主干。原文未报告低秩的秩值、作用层位与学习率等细节，复现时需回到公开仓库核对，不能从模型名称推定实现。若仓库与正文冲突，以正文报告的冻结范围为判断基准，缺项明确记为缺项。

这种设计也解释了单语联邦为何稳定：大模型先验强，只需小插头对齐声学，本地漂移空间有限；而双语时同一插头要同时对齐两种语言统计，漂移空间放大，必须靠选择策略约束。

联邦训练每轮具体做什么，如何加权与偏置？

基础联邦流程用开源框架实现，每个说话人部署为一个客户端。每轮随机实例化 30% 的客户端，每个被选中客户端本地训练 10 个轮次，上传更新后服务器用联邦平均聚合，共进行 100 轮。优化器用自适应矩估计，更多超参数指向公开仓库。这是所有场景的共同预算，比较时轮次与参与率保持一致。

联邦平均 × 非独立同分布： 联邦平均负责在服务器端对各客户端上传的梯度或参数做加权平均得到全局模型；非独立同分布描述客户端在声学条件与语言组成上系统性偏斜。两者搭配的原因是平均隐含同分布假设，组合意义是当语言偏斜存在时平均会被大客户端或多数语言主导，需要用加权与选择来修正。

在此骨架上有 3 种操作。第一种是样本聚类：按数据集规模中位数把客户端分成大小组，每轮约 70% 采样自小组，并在服务器按本地样本数加权，小组权重系数取 1.5，其余取 1，不改变本地训练。第二种是语言聚类偏置：前若干轮保持英语与意大利语各 50%，之后把参训比例切到英语 80% 加意大利语 20%，论文测试晚偏置在第 30 轮切换与早偏置在第 5 轮切换。第 3 种是服务器微调：在全客户端联邦基础上，每轮聚合后用英语开发集在服务器额外微调至多 3 个轮次，以偏向目标语言。

样本聚类 × 语言偏置： 样本聚类负责按本地样本量中位数把客户端分成大小组并提高小客户端的采样与聚合权重；语言偏置负责在指定轮次后把参训客户端的语言比例转向目标语言。搭配原因是前者处理数量不平衡，后者处理语言统计发散，组合意义是从数量公平与语言分布两个轴同时减少全局漂移。

复述时要保留关键信息条件：采样比例、切换轮次、加权系数、微调数据与轮次。原文未报告每轮确切的客户端总数抽样随机种子与统计显著性检验，相关不确定性应在复现时记录，不把单次曲线的末点差距当作必然显著。

数据、划分、基线与指标如何保证可比？

数据用英语朗读语料的 100 小时子集与意大利语多语言朗读语料的意大利部分，测试分别用英语干净测试集与意大利语测试集。训练按说话人划分客户端，英语 251 个、意大利语 65 个，全量共 316 个客户端。客户端平衡场景每种语言各取 65 个说话人，以控制参训客户端个数，但每人时长差异仍然存在。指标是词错误率百分比，越低越好，曲线横轴是联邦通信轮次。

基线是相同模型与相同数据下的集中式训练，单语与双语分别报告。论文用星形标记表示集中式终点，用折线表示联邦随轮次变化。单语集中式英语约为 6%，意大利语双语集中式约为 18.4%，这些是判断联邦差距的上界参照。所有联邦结果都应先对齐语言与轮次，再读差距，不能把英语与意大利语的绝对值直接比较，因为语料规模与难度不同。

硬件与完整超参数未在正文充分展开，正文指向公开仓库。复现前应先确认编码器版本、大模型版本、池化因子、本地轮次、参与率与聚合实现是否与正文一致，再跑通单语联邦作为连通性检查。若单语不能逼近集中式，应先查冻结范围与数据加载，而非直接调双语偏置策略。

单语联邦能否逼近集中式，双语随机选择差在哪里？

本节先回答单语问题，再回答双语随机选择问题。单语联邦的比较条件是同一语言、同一模型、联邦 100 轮对集中式终点，指标方向是词错误率越低越好。下图前导读：左为英语单语随轮次变化，右为意大利语单语随轮次变化，读者应先看起点 100% 附近的快速下降段，再看 20 轮后的平坦段，最后看终点与星形标记的距离。

看图路径： 1. 先确认左右两图横轴均为通信轮次 0 到 100、纵轴均为词错误率百分比；2. 再比较橙色英语曲线与绿色意大利语曲线在前 20 轮的下降斜率；3. 最后看第 100 轮处星形集中式标记与联邦折线的纵向差距

论文图 2。原论文 Figure 2：“WER with Monolingual SpeechLLM (a) LS. (b) MLS.”。

对上图的解释是：英语联邦曲线在前 20 轮从约 100% 急剧下降，到第 100 轮约为 6% 至 7%，与集中式约 6% 几乎重合；意大利语联邦到第 100 轮约为 22%，集中式约为 20%，残余差距小。论文据此报告单语联邦接近集中式，且与从零训练的传统联邦语音模型不同，借助冻结主干与轻量适配能稳定收敛。这支持在同质条件下只传小参数的可行性，但尚未证明双语异质下同样成立。

双语随机选择的 3 种设置需要用数字表对照。表前问题是：在相同 100 轮预算下，全客户端、客户端平衡、服务器微调 3 种可运行策略相对集中式差距多大，代价是什么。公平条件是同一双语数据、同一模型、同一轮次，指标为两语言各自的词错误率。

表后解释是：全客户端随机下英语终点 16.8%、意大利语 19.7%，英语距集中式约 10 个百分点，意大利语仅差约 1.3 个百分点，说明干扰主要落在英语侧。客户端平衡把说话人数拉平到每种 65 人，但因意大利语每人时长更长，英语反而退到 33.8%，证明只平衡个数不够。服务器微调把英语压到 12.1%，代价是意大利语升到 21.1%，差距从 1.3 扩大到 2.7 个百分点。未胜出项是客户端平衡的英语结果，它是重要的负结果，提示数量均衡不等于语言均衡。

服务器端微调 × 客户端平衡： 客户端平衡负责让英意各取 65 个说话人以均衡参训客户端个数；服务器端微调负责在每轮聚合后用英语开发集在服务器上额外训练至多 3 个轮次。搭配原因是只均衡个数仍遗留每人时长差异，组合意义是比较纯联邦选择与借助少量服务器侧目标语言数据的偏置效果及其对非目标语言的代价。

下图前导读对应双语随机三面板：左为全客户端，中为客户端平衡，右为加服务器微调，横轴均为轮次、纵轴均为词错误率百分比。读者应重点看中间面板英语折线在 40 至 60 轮的起伏，以及右面板英语终点是否低于左面板。

看图路径： 1. 先按图例区分联邦英语折线、联邦意大利语折线与两个集中式星形标记；2. 再横向比较左中右三面板中英语折线在 60 轮附近的波动幅度；3. 最后看右面板服务器微调后英语终点相对左面板是否下移

论文图 3。原论文 Figure 3：“Bilingual WER using random selection strategies: (a) Full clients, (b) Clients Balanced, (c) Full clients with server-finetuning.”。

对上图的解释是：左面板两条联邦折线均从 100% 快速下降，英语终点低于意大利语但仍高于集中式星形；中面板英语折线波动最大，在 60 轮附近明显上翘，与意大利语的平稳形成对比；右面板经服务器微调后英语全程更低且更平稳，意大利语略有上移。像素可辨的趋势与上表数字一致，但具体中间轮次的精确数值不应硬读，结论以 100 轮终点与集中式差距为准。

聚类选择与编码器替换带来多大改进，代价是什么？

本节组织两个对照：聚类选择内部比较，以及语音编码器替换。先看聚类选择的比较问题：在相同双语数据与 100 轮预算下，样本聚类、晚偏置、早偏置 3 种可运行策略谁更接近集中式，对另一语言有何代价。公平条件与上节相同，指标仍是分语言词错误率。

表后解释是：样本聚类用 70% 偏向小客户端与 1.5 倍加权，英语 9.7%、意大利语 19.6%，优于随机选择。语言偏置中，晚偏置在第 30 轮把英语比例切到 80%，英语从 30% 降到 15%，意大利语从 25% 缓慢降到 20%，但英语仍差 12 至 15 个百分点；早偏置在第 5 轮切换，英语终点 9.5%，把差距压到约 5 个百分点，代价是意大利语终点 21.4% 略高于样本聚类。未胜出项是晚偏置的英语，它说明延迟干预效果有限。论文据此支持早期跨语言暴露更关键，但这是在英语为目标语言下的结论，换目标语言需重新验证。

下图前导读对应聚类三面板：左为采样聚类，中为晚偏置，右为早偏置，中右面板有灰色竖线标志切换轮次。读者应先找到竖线，再比较竖线后英语斜率，最后看终点星形距离。

看图路径： 1. 先确认三面板横轴仍为轮次、纵轴仍为词错误率百分比；2. 再在中右面板找到标志语言比例切换的灰色竖线所在轮次；3. 最后比较早偏置与晚偏置下英语曲线在切换点后的走向差异

论文图 4。原论文 Figure 4：“Bilingual WER using clustering strategies: (a) Sampling, (b) Late biasing, (c) Early biasing.”。

对上图的解释是：左面板无竖线，两条曲线平稳下降；中面板在 30 轮附近有竖线，英语曲线在竖线处出现明显转折后继续下行；右面板竖线靠近起点，英语曲线早期快速下探后长期平坦，意大利语全程高于英语。像素显示的切换位置与正文报告的第 30 轮、第 5 轮一致，趋势支持早偏置更有效，但中间轮次的圈形标记较多，不宜逐点读数。

编码器消融把主体编码器换成多语言弱监督的中等规模模型，只在样本聚类下比较。报告显示新编码器在更少轮次下达到英语 7.7%、意大利语 16.4%，意大利语完全追平集中式，且收敛更快，通信与计算效率更高。但原文限定实验范围为样本聚类选择，未报告该编码器在随机或偏置策略下的表现，也未报告可运行轮次外的外推。因此结论应表述为编码器选择影响精度与收敛速度，而非新编码器在一切策略下必然更优。

哪些边界尚未评测，不能从现有数字推出什么？

首先是语言覆盖边界：实验只有英语与意大利语双语，未评测更多语言、类型差异更大或低资源语言的扩展，跨语言干扰的严重程度可能随语言数变化，不能把双语结论推广到多语言。其次是数据条件边界：语料均为朗读语音，未覆盖自发对话、噪声、远场与多口音，声学异质性的结论有限。第三是方法边界：服务器微调依赖英语开发集，早偏置依赖预先指定目标语言与切换轮次，若目标语言未知或动态变化，现有策略不可直接部署。

其次是测量缺项：论文未报告误判率之外的延迟、能耗、上传字节数与每轮 wall-clock 时间，也未报告多次随机种子的方差与显著性。总体趋势不等于每轮都成立，例如客户端平衡下英语曲线中段上翘，说明单看终点会掩盖不稳定性。相关性不等于因果，早期偏置与更好终点的伴随关系不能直接断言为唯一原因，还可能与采样随机性与数据量差异交织。

最后是报告冲突的澄清：摘要提到选择性聚合语音编码器与投影层，而方法强调编码器冻结、只更新投影器。复述时应明确实际更新的是投影器与低秩分支，编码器冻结，不从名称推定编码器被传输。若后续仓库显示编码器有可训练部分，应以实验部分的冻结说明为准并记录版本差异。

复现应先做什么，需要保留哪些超参数与信息条件？

复现第一步是环境与数据准备：按公开仓库安装联邦框架与依赖，下载英语 100 小时子集与意大利语部分，核对训练与测试的时长与说话人数是否与正文一致，并按说话人划分客户端，全量 316 个客户端、平衡场景每种 65 人。第二步是模型组装：加载冻结的语音编码器与约 1,100,000,000 参数的指令模型，搭建线性映射加池化因子为 2 的投影器，配置低秩适配分支，确认冻结范围只留投影器与低秩分支可训练。第三步是连通性检查：先跑单语联邦至 100 轮，看英语是否接近约 6%、意大利语是否接近约 20% 至 22%，若差距过大先查数据加载与冻结，而非调双语策略。

必须保留的超参数与信息条件包括：每轮 30% 客户端参与、每客户端本地 10 个轮次、共 100 轮、联邦平均聚合、样本聚类的小组比例约 70% 与加权系数 1.5 和 1、语言偏置的 50% 对 50% 起始比例、80% 对 20% 目标比例与第 5 轮或第 30 轮切换点、服务器微调的英语开发集与至多 3 个轮次。指标为分语言词错误率百分比，比较时固定轮次与语言。

代码当前可用，已公开，但权重下载与系统可运行是三件不同的事：有代码不等于有权重，有权重不等于能在本地复现 100 轮联邦。复现时应记录编码器版本、随机种子、参与客户端列表与每轮聚合权重，并保存终点与曲线。若要验证早偏置，应固定除切换轮次外的所有条件做成对比较，至少重复多次以观察波动，不能只用单次终点宣称必然改善。

何时值得尝试这种方法，如何一句话记住它？

当语音数据因隐私或合规无法集中、语言分布偏斜、且已有较强的预训练编码器与大语言模型时，值得尝试冻结主干、只联邦更新投影器与低秩分支的路线。单语或语言相对均衡时，随机联邦已接近集中式；当一方语言客户端多而每人数据少、另一方相反，或目标语言明确但数据偏少时，再引入样本聚类与早期语言偏置。服务器微调适合服务器侧有少量目标语言开发数据的场景，但要接受非目标语言小幅退化的代价。

不值得盲目尝试的情况包括：语言数远超双语、目标语言事先未知、客户端计算极弱无法承担大模型前向，或需要严格的延迟与能耗保证而论文未测量这些量。此时应先补评测边界，而非直接扩大偏置比例。

一句话记忆是：大模型提供语言先验，小插头在联邦中对齐声学，语言偏斜的压力集中在小插头上，因此选择谁参与、加权谁、何时偏向谁，决定了双语联邦能否逼近集中式。复述方法时按样本流、联邦轮次、选择策略、对照差距的顺序讲，就能完整还原论文的证据链。

单语对照的数字可整理如下，用于快速核对连通性，指标仍为词错误率百分比，越低越好。

表后说明是：该表支持单语可行性判断，但不能替代双语表。若单语复现差距远大于上表，应优先检查冻结与数据划分；若单语已对齐而双语英语偏高，再按前文顺序测试样本聚类与早偏置，并同时记录意大利语是否出现代价。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总