知识蒸馏

针对 CPU 上低延迟流式说话人日志问题，论文把说话人识别网络改成因果帧级编码器并配以置信度门控在线聚类，在低重叠数据上取得领先但重叠语音仍是主要代价。

HelixWorld 用连续 6-DoF 相机轨迹加离散动作同时驱动视频与双声道立体声音频，先训双向教师再蒸馏为因果学生，在单卡上实现 24 帧每秒的同步交互，并在 HelixBench 上显示出更强的随视角变化的声场对齐能力，但结论只在原文的数据筛选、评测子集与硬件条件下成立。

论文要解决英文 CLAP 无法理解印度语言描述的问题，只训练一个基于 XLM-RoBERTa 的多语言文本编码器去对齐冻结的 CLAP 空间，最强证据是混合目标在 AudioCaps 检索上超过教师而翻译质量和模态间隙决定了结论成立的边界。

论文针对标注很少且教师本身也在同样少标注下训练的声音分类，提出先把真值换回前 k 高置信集合再把支撑内关系、支撑与补集质量、补集内关系分开蒸馏，在城市声场景和鸟鸣两个基准上稳定优于独热基线和常规全分布蒸馏，但对其他强蒸馏基线的相对优势随任务、预算和指标而变化。

针对英语语音到德日中文本的同传任务，论文用完整语音自译作锚点从部分波形合成单调前缀监督，对比单轮强制前缀与多轮追加解码，并用置信度阈值调节质量延迟，最强证据是多轮训练把提交校准误差降低六成以上而小合成裕度只在短句低延迟段有条件改善。

MUNITE 用一个随观测子集变化的完整观测潜变量条件分布统一编码与生成，用共享潜变量样本加各模态独立解码器保持联合一致，并用更丰富观测的自蒸馏从不完整样本中学习，在三个基准上主要提升一对多与无条件联合一致性，单目标质量保持可比。

Paradee 针对单音色 af_heart 把 Kokoro-82M 的文本侧与解码器分别蒸馏并直接拼接，在 200 句 held-out 上 UTMOS 4.41 接近教师 4.52，代价是保留 2-8 kHz 相位相关的轻微嗡嗡声并依赖相位锁定滤波做训练后修正。

Salt++ 针对流式音视频同时需要因果建模和少步蒸馏的问题，先用加噪历史做表示自监督训出因果教师，再让生成器与两个分数模型共用同一因果前缀做分布匹配，在 480p 四步条件下把视觉与运动质量做到超过同条件 OmniForcing 约 57% 和 45%，再把同样的四次调用拆到低分辨率和高分辨率做到 1664×960。

论文要从流行音乐录音恢复节奏、和声、旋律与曲式的统一主旋律谱，用大规模 MIDI 合成音频补监督、用分阶段结构化解码保证拍点与音高连贯、再蒸馏为自回归模型，主结果在八个评测集上多数指标领先，但只在稳拍流行音乐与限定词汇条件下成立。

该文针对 XLSR-AASIST 这类 3 亿参数量级检测器难以部署的问题，用跨域知识蒸馏补泛化监督、用移动分数引导结构化剪枝保关键结构，在 90% 稀疏度下做到 31.9M 参数和 23.3G FLOPs 且多数据集平均只上升 1.30% EER。

VoiceWeaver 用结构化标签前缀把情感、语气和声音事件拼进同一文本音频序列，再按情感到语气再到事件的顺序分阶段学习并用回放蒸馏保持旧能力，在中英文封闭标签测试中情感事件联合正确率达到约 70% 和 66%，代价是文本错误率高于外部大体量语音合成基线。

该文用探针偏差诊断和同噪声对照证明互相关对角项在独立噪声下抑制噪声方差，而自相关项只重排特征空间以提升干净下游任务准确率，但音乐中依赖音高音色的任务仍会受损。

针对图表与语音数值推理中远端接口只收固定媒体的问题，ReCast 用本地文本中间记录改写实体主题并映射数值再重建同模态替身，远端只做选操作数写程序、本地恢复原始操作数后执行，在 4000 个 ChartQA 与 NMSQA 样本上保留 92.43% 远端原生精度而求解器侧泄露为 7.95%。

针对音频语言模型怕噪声、怕遮挡、怕注入文本误导的问题，AnchorPrompt 冻结模型只训练解码器输入处的 8 个软提示向量，用干净输入的教师答案做自蒸馏目标并在证据不足时学拒答，报告显示九组干净准确率中有六组提升且重度破坏下幻觉回答大幅下降，代价是拒答目标的零样本外推仍有两组混响一致性下降。

针对一步零样本语音转换中内容编码器耗时约为主流程十倍的问题，MeanVoiceFlow2 用教师 MeanVoiceFlow 做转换蒸馏并联合训练轻量内容编码器与平均速度网络，再以真实数据重建、扩散判别器混合对抗和教师增强条件扩充提升真实感与解耦，在 VCTK 上自然度高于教师且推理约快 9 倍、说话人相似度基本持平。

问题是扩展新模态时文本检索遗忘与模型膨胀，方法选择是冻结文本主干并以其自身对密集级联标题的嵌入为教师目标，只训练投影器与编码器 LoRA，最强证据是 0.9B 保持 49.57 文本分并覆盖五新增模态、2.3B 以 51.39 总体均值超过闭源对照 49.51，主要代价是 0.9B 在语音音频图像视频上落后于更大开放多模态基线。

针对 MOS 预测器跨域排序不稳的问题，论文用小规模已有人工评分拟合逐句自适应路由以合并四个教师并在 807k 无标注语音上蒸馏出单个 wav2vec 2.0 学生，在 URGENT 上 Spearman 达到 0.802、在 mos260 上达到 0.636，代价是目标上限仍受教师集成约束且绝对分值向中间压缩。

针对环境噪声与竞争语音干扰下的音频视觉问答，OP-CAD 用干净音频视觉加验证答案的冻结特权教师，在学生受损输入生成的同一前缀上做在线蒸馏，并按音频移除与损坏两路敏感度加权，在受损平均准确率与配对保持率上超过同教师的均匀在线蒸馏，代价是每样本四路教师前向与三阶段课程训练的额外开销。

针对混响导致跨房间泛化下降的问题，PG-SELD 用相同声场景的自由场表示作参照对混响分支做特征级蒸馏与课程训练，在 STARSS23 真实录音上报告了一致改善，但混响表数值因证据绑定不合格本文不复述具体指标值。

针对训练有 16 kHz 高分辨率音频而部署只有 1.25 kHz 低分辨率音频的活动识别错位，RAST 先把教师表示压缩为离散令牌与邻域结构做预热再做局部难负例对齐，在 SAMoSA 和 AudioIMU 上相对低分辨率基线提升约 6.1% 至 7.8%，代价是仍需配对高低分辨率训练数据与三阶段流程。