知识蒸馏

针对 Whisper 类模型在英语多领域顺序适配中的灾难性遗忘，论文提出以熵加权 token 蒸馏提纯保持方向、仅在冲突时对监督梯度做可调投影并只调解码器，最终平均词错误率 8.12% 相对不忘学习降低 7.2%，代价是新领域适配词错误率有所上升且 η 需权衡。

针对无说话人标签时伪标签噪声大且低置信样本难利用的问题，该方法用预训练模型多层聚类一致性选出高置信集合做伪监督，并对低置信集合做教师软目标蒸馏与一致性正则，在 Vox1-O 上报告 EER 为 1.09%，代价是需要多轮聚类与重训的迭代流程。

针对神经音频编解码流式匿名中情感被续写偏置抹平的问题，论文用同说话人中性提示配情感源重构监督并在慢自回归声学隐状态做帧级蒸馏，在 VoicePrivacy 2024 上把情感保留推到流式最优，同时延迟保持 180 ms 且推理不新增模块。

针对离散音频令牌在文本无关说话人确认中明显弱于滤波器组特征的问题，论文用滤波器组教师指导令牌学生的跨特征知识蒸馏对齐说话人嵌入方向，在 VoxCeleb 上把令牌系统的等错率从 3.38% 降到 2.25%，代价是需要先训练好教师并使用远大于常规的蒸馏权重。

TTBA 针对文本到双耳音频中方向不可控与声道间线索不稳的问题，采用交叉排列离散表征加空间提示编码器与 Transformer 自回归生成，并在 BEWO-1M 上以内容蒸馏稳定语义，多声源条件下语义与空间指标多优于 SpatialSonic，但单静态与单动态子集的部分指标仍有反复。

针对发音词典只能覆盖约百种语言而制约多语言合成的问题，UR-BERT 用通用罗马化统一输入并增加语音 token 预测来对齐声学，在 11 种语言的 VITS 对比中多数指标占优，代价是仍依赖教师语音模型与强制对齐质量且极低资源下可懂度提升有限。

针对解码器自回归语音合成中全量自注意力导致键值缓存随长度增长的问题，WAND 把条件提示词保留全局注意力、把已生成声学 token 限制在固定滑动窗口，并用全注意力教师蒸馏加课程收缩做单轮适配，在 10 秒生成上报告最高 66.2% 的缓存下降和接近常数的单步延迟，而英文词错误率保持在基线 0.2% 以内。

WavSLM 把 WavLM 第 6 层表示压缩为单码本离散序列，再把 7 至 24 层改造为一次预测 4 个词元的因果语言模型，在仅用语音且无文本预训练条件下取得可比的一致性与生成质量，代价是大词表更难学、大分块损害保真与连贯。

论文比较基于三音子后验不确定性的 PHOBI 与基于 WavLM 加教师-学生模仿 HASPI 的 HASA-Net+，在 10500 余条双耳可懂度与听觉费力度评分上总体相关超 0.88，而 PHOBI 平均误差更小但在食堂噪声低信噪比处出现可复述的失效模式。

HybridCodec 针对语音离散化中语义解耦与推理速度的矛盾，采用双流结构加语义蒸馏，在 LibriSpeech 上以 RVQ-1 词错误率 15.36% 显示更强的首码本语义集中性，并以 0.014 实时率实现约 3 倍于 DualCodec 的推理加速，但声学保真指标略有让步。

针对仅用 ASR 标注训练多语言语音大模型时共享查询投影器出现语言干扰的问题，论文用查询库加门控做语言相关的蒸馏，在冻结编码器和大模型下报告了开放式指令平均 14% 增益和 Audio-MLQA 上 32% 提升，但合成评测与判分器依赖构成主要代价与边界。

针对自监督音频伪造检测模型过大难以端侧部署的问题，论文用跨域知识蒸馏补监督、用移动分数引导结构化剪枝保关键结构，在 90% 稀疏下做到 31.9M 参数与 6.3× FLOPs 下降而多数据集平均性能只降 1.30%，代价是蒸馏仍受教师在无标注域外数据上误差的上限约束。

针对语音语言模型偏向语言先验而忽视声学证据的问题，CAAD 用元数据锚定的伪真值同步生成教师双路径对比分布并蒸馏给单路径学生，在 Dynamic-SUPERB 上相对标准蒸馏提升约 8% 并在 MCR-BENCH 上把 Shift 降到 79.03，代价是仍需调对比权重 α 并受限于小模型自身能力。

针对加噪监督微调改善噪声却损伤干净集并过拟合特定损坏的问题，DASH 增加无标签编码器自蒸馏阶段学习干净与噪声视图的一致性，在 LibriSpeech 上保持干净集的同时改善多种噪声条件，额外开销约为微调时间的 4%。

针对标注少、无标注多且有教师模型的语音识别，论文把有监督学习放顶层、无监督学习放中层、知识蒸馏放底层做三层嵌套优化，用两次惩罚型双层梯度下降求解，在 LibriSpeech 上以词错率下降为证据，但惩罚系数调度敏感且解码与资源条件受限。

针对口语语种识别在白盒梯度攻击下急剧退化的问题，论文提出自防御对抗重训练 SDART，用渐进式对抗样本挖掘加无教师动态在线标签平滑和语言一致性约束，在 VoxLingua-10 与 Common Voice 上同时改善干净与受攻击样本的等错误率和平均代价，但强迭代攻击与跨库绝对数值仍有明显残留误差。

该工作用共享语音编码器加两条属性分支同时对齐语义教师与说话人教师，在多语言检索上接近单语义模型并在说话人验证上接近教师模型，代价是需要双教师监督与大规模多语言训练。

针对 ASVspoof 5 训练集中真假语音文本内容错位导致的语言捷径问题，论文用 Common Voice 训练的语言教师经梯度反转引导 XLSR 学生学语言不变表示并以变分信息瓶颈约束去除强度，在九个域外评测集上把混合等错误率降到 8.72% 但在 ASVspoof 5 域内评测上仍弱于挑战赛前四名。

PUBG Ally 用事件驱动的语言模型做高层意图与语音、每刻运行的行为树做移动战斗恢复来解决语音协同与实时控制的矛盾，最强证据是 2B 端侧学生在能力评分上追平 31B 教师且端到端语音往返约 1.6 秒对云端约 3.4 秒，代价是安全加强后良性拒答小幅上升且残局战斗评分仍偏低。

针对音频语言模型靠文本捷径答题的问题，论文用同一冻结教师有音频与无音频的对数概率差重塑蒸馏目标，在两个 3B 学生和三个基准上超过普通同策略蒸馏，代价是训练时每步要多做一次无音频教师前向。