联邦学习

针对声码器伪造与编解码伪造分布差异大的问题，论文用本地 FedProx 加逐层按到中心距离加权的聚合做联邦伪造语音检测，最强证据是双客户端下平均等错误率降到 0.266% 接近集中联合训练，代价是仍略逊于集中训练且只验证了两客户端严重非独立同分布情形。

针对伪造语音类型持续新增且原始语音不能集中共享的问题，FedCFM 让每个客户端在嵌入层训练条件流匹配生成器并交换生成器，再用生成回放加知识蒸馏更新分类器，在相同训练数据组合下报告了低于所比较集中式与联邦基线的等错误率，但生成器交换轮带来约 164.1 MB 的单客户端通信开销。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音抑郁检测中联邦非独立同分布、多模态不一致与成员推理泄露问题，FedMPA 用模态特异原型与指数滑动平均全局原型库加原型引导损失与混合推理，在 E-DAIC 上以 0.89 无加权平均召回和 0.52 成员推理曲线下面积取得 0.92 隐私性能分数，但仍只验证了黑盒置信攻击与单一数据集。

论文在被动服务器威胁下只用全局与本地权重差做非参数质心分类，证明口音与年龄可被高准确率推断而性别接近随机，并以针对性微调与功能位移分析解释泄露与预训练覆盖不足的关系。

针对构音障碍说话人差异大而单一全局模型建模不足的问题，该文把模型拆为说话人无关与说话人相关两部分并用说话人相似度加权平均，在 UASpeech 上最高降低 0.99% 绝对词错误率、在 TORGO 上最高降低 0.56%，代价是每轮要分步训练并额外计算相似度。

针对分散在医院且无专家标注的临床音频诊断问题，论文提出联邦自上下文化 FSC，用聚类产生的语义空洞伪标签训练音频语言模型的上下文推理技能，2-way 2-shot 达到 71.6% 准确率并超出最强基线 9 个百分点以上，代价是更长上下文会稀释注意力且三分类明显下降。

针对组织级客户端之间说话人互斥导致的数据异构问题，论文用全局分类头与本地分类头共同指导嵌入提取器，并在服务端的全局分类头聚合中引入按说话人 ID 加权的优势因子，在 VoxCeleb2 上相对本地训练平均 EER 改善 46.5%、相对 FedAvg 改善 7.6%，在 VoxCeleb 加 CN-Celeb 联合训练下相对本地训练改善 68.8%、相对 …

针对客户端数据分布不一致导致本地模型学到冗余知识的问题，该工作用费雪信息矩阵选出全局嵌入中的关键维度并做表示对齐，在 VoxCeleb 系列上把各客户端等错误率降到最低，但跨域的 CN-Celeb1 上仍有一项不如 FedFSS 且未报告通信与计算开销。

针对联邦环境中设备算力不一与语音任务所需表征深度不同，该工作在 Wav2Vec 2.0 中间层插入独立预测头并按层独立聚合，证据显示中间层常优于全 12 层，而浅层可大幅降低内存占用。

针对联邦语音情感识别同时要保数据本地化和抗白盒对抗样本的问题，该文用训练时联邦对抗训练加推理时随机放缩填充的两阶段防御，在 DEMoS 上把 FGSM 和 PGD 下的可用性拉回约 90% 水平，而代价是 DeepFool 仍只能部分恢复且需额外对抗样本生成开销。

论文在英语与意大利语双语识别上只联邦更新投影器与 LoRA 而冻结编码器与大模型主体，用 100 轮、每轮 30% 按说话人划分的客户端对照集中式训练，最强证据是单语联邦与集中式差距仅 0.3 至 2.6 个百分点，而双语随机选择下英语差距扩大到约 10 个百分点，需用样本聚类与早期语言偏置把英语差距压回约 3 个百分点。

该文研究服务器只有少量标注种子、客户端只有无标注语音的半监督联邦 ASR，用每客户端在线教师打伪标签加轮间服务器有监督更新做锚点，最强证据是稳定后在线教师在域内和多数跨域上持平或超过全局教师，代价是必须把服务器增强强度和批量调进稳定区间否则发散。

该研究在 316 个按说话人划分的多语联邦客户端上比较四种语音大模型与 FedAvg 和 FedProx，最强证据是 Whisper 加 EuroLLM 在解冻编码器并调低其学习率时取得 0.1170 词错率，而 FedProx 只在该多语解码器上有效，代价是联邦仍远差于集中训练且对编码器预训练类型高度敏感。

论文诊断单池逐层裁剪在语音大模型中的跨组件预算崩溃，提出双池 α-split 在保持联合灵敏度与全局 DP 保证不变下恢复可用词错误率，并以编码器 4.47 倍等效噪声换取语言模型仅 2.6% 开销。

语音识别 | 7.1/10

联邦学习 | 7/10

语音识别 | 6.2/10

音频分类 | 8.5/10

标签分布学习 | 8.0/10