知识蒸馏

针对非因果教师特征含未来上下文与因果学生零前视能力冲突的问题，该文用下三角掩码的样本内时间关系蒸馏加离线双向拓扑先验，在 GSC V2 上把因果 1D-CNN 准确率从 95.12% 做到 96.91%，并在 1.0 FA/h 下把连续流误拒率从 8.52% 降到 4.15%，且不增加部署参数与单步延迟。

针对重型自监督模型难以部署到实时边缘端的问题，MSMC 用无泄漏遮罩卷积编码器加均值教师多尺度蒸馏，在 IEMOCAP 即兴子集十折留一说话人验证下达到 76.0% 加权准确率，代价是仍只在该数据集与该协议下验证且依赖 60% 时域遮罩等特定训练条件。

针对非平稳噪声下静态说话人验证泛化不足的问题，论文用全局噪声生成低秩权重、用局部噪声做帧级门控并以对比蒸馏对齐干净流形，在 VoxCeleb1 混合 MUSAN 上报告带噪平均 3.05% 与干净 1.70%，代价是 ECAPA 配置总参数增至 24.19M。

针对因果视听说话人分离缺未来上下文且视觉前端笨重的问题，论文用因果化 DeepAVSR 加在线 AV-CrossNet 做基线，再用渐进加权的视觉知识蒸馏把前端压缩到约 48 倍参数与 7.5 倍计算量，并在 LRS2、LRS3 与 VoxCeleb2 上取得在线最优，同时保留教师性能。

针对单通道带噪混响语音中房间信息易被噪声掩盖的问题，论文采用纯混响对比学习、带噪混响对比学习、冻结教师对齐学生三阶段学出噪声鲁棒的房间嵌入，并以声学参数探针和条件化深滤波增强验证其可读性与一致增益，代价是弱识别器仍受增强伪影影响且动态多通道场景未验证。

针对说话人确认在非言语发声上跨域失效且微调会遗忘语音的问题，论文用冻结 Data2Vec 加 ECAPA-TDNN 配合层间混合专家与只对语音蒸馏的教师约束加跨域对比损失，在保持可运行基线的条件下把语音对非言语 EER 从 38.93% 降到 22.66%，代价是标准语音 EER 仍高于大规模预训练的 5.60%。

论文把音频推理退化归因于文本替代推理并用模态接地蒸馏把推理拉回声学证据，语音转文字平均 83.6% 与语音对话推理 96.1% 的报告显示长思考可以变好，代价是需要格式奖励维持思考长度与中等难度数据筛选。

针对声音事件检测需要帧级定位而轻量模型容量不足的问题，论文提出以教师 logits 为公共蒸馏空间、配合时序投影器和置信度加权损失的 TAT-KD，最强证据是 4.548M 参数的 SE-CRNN 学生达到 PSDS 0.574，代价是训练期要附加多级投影器并依赖冻结教师的帧级输出质量。

针对北萨米语标注只有 20 小时的问题，论文比较大教师生成全部伪标签与大小模型一致过滤子集，并证明先伪标签后人工标注的两阶段微调能让 95M 小模型在域外测试上相对降低字符错误率，而混合训练与反向顺序会退化。

USAD 2.0 针对语音、通用音频与音乐教师失配问题，采用领域感知加权蒸馏先融合三个自监督专家，再用有监督专家做第二阶段对齐并以降帧率加深度扩展到 1036M 参数，在 HEAR、MARBLE 与 XARES-LLM 上取得可比或更优的可复述结果，代价是仍需依赖教师与领域标签且大模型推理成本上升。

ZipCodec 针对语音分词器依赖重型预训练编码器和多阶段流程的问题，采用 Zipformer 编码器加有限标量量化加 Zipformer 流匹配解码器的单阶段自编码结构并辅以编码器一致性正则，在 23.4375 Hz 与约 1.97 kbps 下报告了可复述的重建与零样本合成结果，代价是仍依赖 Vocos 声码器与流匹配多步推理并需蒸馏加速。

针对 0.5 kbps 下残差向量量化各级等码率却贡献递减的问题，P2PSynCodec 用一路普通量化传输加三路伪量化解码端预测补齐，在 LibriTTS 上以 0.5 kbps 达到与 2.0 kbps 基线可比的主客观质量，代价是伪量化网络带来额外参数与计算。

针对电话退化下说话人无法自知不清的问题，Coco-VC 在听者端用电话增强加双教师蒸馏做流式转换，在 FLEURS-8k 模拟电话上把词错误率从 0.451 降到 0.338，代价是在该严重噪声下主观质量略低且依赖大规模域内数据与解码器条件。

针对语言模型语音合成中束搜索易时间坍缩且延迟高的问题，论文用轻量学生做块级束扩展、原教师模型做树形评估与选择，并加硬重复约束，报告在保持基线实时率的同时相对传统束搜索最高加速 5.1 倍、相对采样解码最高降低词错误率 50%，代价是仍需蒸馏训练与多超参数配合。

针对深而窄语音学生模型蒸馏训练慢的问题，论文提出每次把复制层插回原层之后以保持层位置一致的交错堆叠，在 SUPERB 四任务上以约 1.16-1.24 倍加速达到接近或超过全量训练的性能，代价是仍需分四阶段调度和中间层损失权重。

针对跨医院设备与人群的域偏移与隐私限制，Lung-CL 用类别特定高斯混合的隐空间生成回放加多层次谱感知蒸馏做无缓冲域增量学习，在三数据集序列上报告 S1 准确率 61.81% 与后向迁移 -4.0%，代价是强能量门控正则下准确率略低于常规蒸馏分支。

MAC-VAD 针对噪声、混响和遮挡下纯音频 VAD 不可靠的问题，用 WavelNet 音频编码器与 EfficientViT 视觉编码器加动态视听交叉注意力融合，并以冻结 Wav2Vec 2.0 做蒸馏，在 MMVAD 上达到 93.52% 准确率与 86.39% F1，代价是 21.4M 参数与对人脸裁剪的依赖。

针对一步零样本语音转换中固定重型内容编码器成为推理瓶颈的问题，MeanVoiceFlow2 用可训练轻量内容编码器与学生平均速度网络联合学习，以转换蒸馏加真实数据重建、扩散判别器混合对抗和教师引导条件增强为手段，在保持说话人相似度的代价约束下把推理实时率降低约 9 倍并提升感知质量。

针对自动语音识别错误导致意图分类语义失真的问题，论文用先在干净转写上训练教师再冻结指导学生去噪与判别蒸馏的三元对抗框架，在 SLURP 噪声条件下相对 GAN-BERT 取得 4.49% 和 6.46% 绝对提升，代价是分阶段训练与多系数联合调参。

该工作把视觉分支的监督从唇语识别和联合训练的口部线索换成音位束识别，用跨模态蒸馏得到因果轻量视觉前端，再配因果分离器，在最低乘加运算量下取得可比或更好的分离质量，但跨域时仍受视觉前端训练域限制。