知识蒸馏

论文针对只有一对参考文本语音时固定目标监督微调导致推理提前结束的问题，提出在当前策略采样轨迹上学习的 GRPO 和 OPSD，在 LLaSA-1B 与 Seed-TTS-Eval 英文子集上提高说话人相似度并保持可懂度，但 GRPO 每步耗时远高于 OPSD。

D2 把已具备理解与生成能力的半双工语音模型按固定短块切分对话，用流式编码器蒸馏加全双工监督微调实现边听边说，在 80 毫秒块下 Qwen3-Omni-D2 仍保持 70.1 的 VoiceBench 总分，但小块会明显削弱停顿容忍并保留合成与数据构造等限制。

论文用先预测文本词再生成对应语音段的序列构造解决语音到语音续写的内容建模问题，最强证据是在相同模型和数据下生成困惑度从 151.7 降到 58.9，蒸馏与文本回放进一步保留事实知识，代价是需要词级对齐和双头生成。

针对自回归语音识别逐词生成慢的问题，论文用复用目标模型声学与解码器表示的轻量 Speech-Draft 做草稿加并行验证，在 LibriSpeech 上 Whisper 达 1.91 倍、Conformer 达 2.43 倍且识别结果不变，代价是需额外训练草稿模块并调草稿长度。

针对离散语音编码易丢声学细节而连续隐变量难做离散建模的问题，SemiCodec 用同步的离散 token 加连续隐变量做波形重建，并用先保留后接地两阶段训练缓解连续通路捷径，在 LibriSpeech test-other 上以 25 帧每秒实现 PESQ-WB 4.03 与 WER 5.02%，代价是仍需保留连续通路和两阶段训练。

该文研究把多步扩散与流模型压缩到 4 次函数求值的问题，提出只做在轨速度回归并加上训练期残差代理与弱预测排斥的 SMD 框架，在图像、编辑、3D、视频与 33B 音频视频联合模型上验证了对齐与质量表现，但结论依赖同网格评测与原文报告的基线配置。

论文固定结构和评测，只把蒸馏损失从 DistilHuBERT 损失换成相关性损失，比较权重插值和激活排列两种合并，发现后者在语音侧更稳、需要搬动的通道更少，但在标准宽度音乐侧仍是旧损失更好。

DMAD 针对少步学生需要拟合自身演化分布的高成本问题，用两个判别器头的对数密度比分类代替辅助分数拟合，在 ImageNet 单步 1.04、COCO 四步 14.47、Wan14B 四步 85.15 上取得对照内最优，但每步一次判别器更新与缓存教师样本等条件不可去掉。

针对 CPU 上低延迟流式说话人日志问题，论文把说话人识别网络改成因果帧级编码器并配以置信度门控在线聚类，在低重叠数据上取得领先但重叠语音仍是主要代价。

HelixWorld 用连续 6-DoF 相机轨迹加离散动作同时驱动视频与双声道立体声音频，先训双向教师再蒸馏为因果学生，在单卡上实现 24 帧每秒的同步交互，并在 HelixBench 上显示出更强的随视角变化的声场对齐能力，但结论只在原文的数据筛选、评测子集与硬件条件下成立。

论文要解决英文 CLAP 无法理解印度语言描述的问题，只训练一个基于 XLM-RoBERTa 的多语言文本编码器去对齐冻结的 CLAP 空间，最强证据是混合目标在 AudioCaps 检索上超过教师而翻译质量和模态间隙决定了结论成立的边界。

论文针对标注很少且教师本身也在同样少标注下训练的声音分类，提出先把真值换回前 k 高置信集合再把支撑内关系、支撑与补集质量、补集内关系分开蒸馏，在城市声场景和鸟鸣两个基准上稳定优于独热基线和常规全分布蒸馏，但对其他强蒸馏基线的相对优势随任务、预算和指标而变化。

针对英语语音到德日中文本的同传任务，论文用完整语音自译作锚点从部分波形合成单调前缀监督，对比单轮强制前缀与多轮追加解码，并用置信度阈值调节质量延迟，最强证据是多轮训练把提交校准误差降低六成以上而小合成裕度只在短句低延迟段有条件改善。

MUNITE 用一个随观测子集变化的完整观测潜变量条件分布统一编码与生成，用共享潜变量样本加各模态独立解码器保持联合一致，并用更丰富观测的自蒸馏从不完整样本中学习，在三个基准上主要提升一对多与无条件联合一致性，单目标质量保持可比。

Paradee 针对单音色 af_heart 把 Kokoro-82M 的文本侧与解码器分别蒸馏并直接拼接，在 200 句 held-out 上 UTMOS 4.41 接近教师 4.52，代价是保留 2-8 kHz 相位相关的轻微嗡嗡声并依赖相位锁定滤波做训练后修正。

Salt++ 针对流式音视频同时需要因果建模和少步蒸馏的问题，先用加噪历史做表示自监督训出因果教师，再让生成器与两个分数模型共用同一因果前缀做分布匹配，在 480p 四步条件下把视觉与运动质量做到超过同条件 OmniForcing 约 57% 和 45%，再把同样的四次调用拆到低分辨率和高分辨率做到 1664×960。

论文要从流行音乐录音恢复节奏、和声、旋律与曲式的统一主旋律谱，用大规模 MIDI 合成音频补监督、用分阶段结构化解码保证拍点与音高连贯、再蒸馏为自回归模型，主结果在八个评测集上多数指标领先，但只在稳拍流行音乐与限定词汇条件下成立。

该文针对 XLSR-AASIST 这类 3 亿参数量级检测器难以部署的问题，用跨域知识蒸馏补泛化监督、用移动分数引导结构化剪枝保关键结构，在 90% 稀疏度下做到 31.9M 参数和 23.3G FLOPs 且多数据集平均只上升 1.30% EER。

VoiceWeaver 用结构化标签前缀把情感、语气和声音事件拼进同一文本音频序列，再按情感到语气再到事件的顺序分阶段学习并用回放蒸馏保持旧能力，在中英文封闭标签测试中情感事件联合正确率达到约 70% 和 66%，代价是文本错误率高于外部大体量语音合成基线。

该文用探针偏差诊断和同噪声对照证明互相关对角项在独立噪声下抑制噪声方差，而自相关项只重排特征空间以提升干净下游任务准确率，但音乐中依赖音高音色的任务仍会受损。