知识蒸馏

针对电话退化下说话人无法自知不清的问题，Coco-VC 在听者端用电话增强加双教师蒸馏做流式转换，在 FLEURS-8k 模拟电话上把词错误率从 0.451 降到 0.338，代价是在该严重噪声下主观质量略低且依赖大规模域内数据与解码器条件。

针对语言模型语音合成中束搜索易时间坍缩且延迟高的问题，论文用轻量学生做块级束扩展、原教师模型做树形评估与选择，并加硬重复约束，报告在保持基线实时率的同时相对传统束搜索最高加速 5.1 倍、相对采样解码最高降低词错误率 50%，代价是仍需蒸馏训练与多超参数配合。

针对深而窄语音学生模型蒸馏训练慢的问题，论文提出每次把复制层插回原层之后以保持层位置一致的交错堆叠，在 SUPERB 四任务上以约 1.16-1.24 倍加速达到接近或超过全量训练的性能，代价是仍需分四阶段调度和中间层损失权重。

针对跨医院设备与人群的域偏移与隐私限制，Lung-CL 用类别特定高斯混合的隐空间生成回放加多层次谱感知蒸馏做无缓冲域增量学习，在三数据集序列上报告 S1 准确率 61.81% 与后向迁移 -4.0%，代价是强能量门控正则下准确率略低于常规蒸馏分支。

MAC-VAD 针对噪声、混响和遮挡下纯音频 VAD 不可靠的问题，用 WavelNet 音频编码器与 EfficientViT 视觉编码器加动态视听交叉注意力融合，并以冻结 Wav2Vec 2.0 做蒸馏，在 MMVAD 上达到 93.52% 准确率与 86.39% F1，代价是 21.4M 参数与对人脸裁剪的依赖。

针对一步零样本语音转换中固定重型内容编码器成为推理瓶颈的问题，MeanVoiceFlow2 用可训练轻量内容编码器与学生平均速度网络联合学习，以转换蒸馏加真实数据重建、扩散判别器混合对抗和教师引导条件增强为手段，在保持说话人相似度的代价约束下把推理实时率降低约 9 倍并提升感知质量。

针对自动语音识别错误导致意图分类语义失真的问题，论文用先在干净转写上训练教师再冻结指导学生去噪与判别蒸馏的三元对抗框架，在 SLURP 噪声条件下相对 GAN-BERT 取得 4.49% 和 6.46% 绝对提升，代价是分阶段训练与多系数联合调参。

该工作把视觉分支的监督从唇语识别和联合训练的口部线索换成音位束识别，用跨模态蒸馏得到因果轻量视觉前端，再配因果分离器，在最低乘加运算量下取得可比或更好的分离质量，但跨域时仍受视觉前端训练域限制。

针对 Whisper 类模型在英语多领域顺序适配中的灾难性遗忘，论文提出以熵加权 token 蒸馏提纯保持方向、仅在冲突时对监督梯度做可调投影并只调解码器，最终平均词错误率 8.12% 相对不忘学习降低 7.2%，代价是新领域适配词错误率有所上升且 η 需权衡。

针对无说话人标签时伪标签噪声大且低置信样本难利用的问题，该方法用预训练模型多层聚类一致性选出高置信集合做伪监督，并对低置信集合做教师软目标蒸馏与一致性正则，在 Vox1-O 上报告 EER 为 1.09%，代价是需要多轮聚类与重训的迭代流程。

针对神经音频编解码流式匿名中情感被续写偏置抹平的问题，论文用同说话人中性提示配情感源重构监督并在慢自回归声学隐状态做帧级蒸馏，在 VoicePrivacy 2024 上把情感保留推到流式最优，同时延迟保持 180 ms 且推理不新增模块。

针对离散音频令牌在文本无关说话人确认中明显弱于滤波器组特征的问题，论文用滤波器组教师指导令牌学生的跨特征知识蒸馏对齐说话人嵌入方向，在 VoxCeleb 上把令牌系统的等错率从 3.38% 降到 2.25%，代价是需要先训练好教师并使用远大于常规的蒸馏权重。

TTBA 针对文本到双耳音频中方向不可控与声道间线索不稳的问题，采用交叉排列离散表征加空间提示编码器与 Transformer 自回归生成，并在 BEWO-1M 上以内容蒸馏稳定语义，多声源条件下语义与空间指标多优于 SpatialSonic，但单静态与单动态子集的部分指标仍有反复。

针对发音词典只能覆盖约百种语言而制约多语言合成的问题，UR-BERT 用通用罗马化统一输入并增加语音 token 预测来对齐声学，在 11 种语言的 VITS 对比中多数指标占优，代价是仍依赖教师语音模型与强制对齐质量且极低资源下可懂度提升有限。

针对解码器自回归语音合成中全量自注意力导致键值缓存随长度增长的问题，WAND 把条件提示词保留全局注意力、把已生成声学 token 限制在固定滑动窗口，并用全注意力教师蒸馏加课程收缩做单轮适配，在 10 秒生成上报告最高 66.2% 的缓存下降和接近常数的单步延迟，而英文词错误率保持在基线 0.2% 以内。

WavSLM 把 WavLM 第 6 层表示压缩为单码本离散序列，再把 7 至 24 层改造为一次预测 4 个词元的因果语言模型，在仅用语音且无文本预训练条件下取得可比的一致性与生成质量，代价是大词表更难学、大分块损害保真与连贯。

论文比较基于三音子后验不确定性的 PHOBI 与基于 WavLM 加教师-学生模仿 HASPI 的 HASA-Net+，在 10500 余条双耳可懂度与听觉费力度评分上总体相关超 0.88，而 PHOBI 平均误差更小但在食堂噪声低信噪比处出现可复述的失效模式。

HybridCodec 针对语音离散化中语义解耦与推理速度的矛盾，采用双流结构加语义蒸馏，在 LibriSpeech 上以 RVQ-1 词错误率 15.36% 显示更强的首码本语义集中性，并以 0.014 实时率实现约 3 倍于 DualCodec 的推理加速，但声学保真指标略有让步。

针对仅用 ASR 标注训练多语言语音大模型时共享查询投影器出现语言干扰的问题，论文用查询库加门控做语言相关的蒸馏，在冻结编码器和大模型下报告了开放式指令平均 14% 增益和 Audio-MLQA 上 32% 提升，但合成评测与判分器依赖构成主要代价与边界。

针对自监督音频伪造检测模型过大难以端侧部署的问题，论文用跨域知识蒸馏补监督、用移动分数引导结构化剪枝保关键结构，在 90% 稀疏下做到 31.9M 参数与 6.3× FLOPs 下降而多数据集平均性能只降 1.30%，代价是蒸馏仍受教师在无标注域外数据上误差的上限约束。