知识蒸馏

论文针对自监督语音模型卷积前端占用约三成计算的问题，用从 HuBERT、data2vec 和 WavLM 蒸馏的两层感知机替换卷积加投影，在 SUPERB 系列任务上基本保持性能，把前端乘加操作降到约百分之三，整体推理时间减少两成以上。

针对输入截止频率多变且多步采样太慢的问题，论文用截止感知的流桥学习多步轨迹，再蒸馏为一步生成器并做对抗细化，在 VCTK 多带宽上取得最低对数谱距离且只需 1.80M 参数和一次网络评估。

论文把音频到解码器的接口限定为冻结文本词嵌入的凸组合，用 C-Gate 路由实现，并在 VoiceBench 十一任务平均 75.36 分的语音知识推理优势与转写和非语音理解上存在取舍的条件下验证其可行性。

针对 Both 类同时含有爆裂音和哮鸣音造成的四分类困难 PAC-KD 用两个二分类病理专家分别学习两种事件存在性再蒸馏给四分类学生并按梯度一致性调节权重 在 ICBHI 和 SPRSound 上平均 Score 最高但特异度有所下降

论文针对语音大模型从声音推断性别并产生刻板关联的问题，先用对抗训练去掉编码器中的性别信号，再用蒸馏保留性别感知但压低无关场景的偏差，第一步能把显式检测压到接近随机而第二步只在部分模型上轻微改善且受数据集与回答风格制约。

论文诊断投影类与 CKA 类特征蒸馏在强 logit 蒸馏下对英语与非英语的不同作用，用只走非英语适配器并截断共享编码器梯度的 CAFE 把平均词错误率从 8.55% 降到 8.02%，代价是需要已知或估计语种且增加约 0.5M 参数。

论文要解决多人多智能体长时间交互中动作后果易丢失的问题，用 DAO 维护可计算的共享世界状态、用 JING 按观察者条件逐段生成第一人称视听体验，在 WBench 上双向与四步自回归版本取得 Full 平均 81.0 与 79.9 分，代价是需要分阶段训练、记忆检索与蒸馏来控制历史与步数。

论文以敲击声提取的品质因子 Q 为目标，先用冻结编码器探测音频与单帧视觉的排序能力差距，再把冻结音频教师蒸馏到冻结 CLIP 加可训练投影头，并用留一材料协议检验增益是否超出类别识别。

论文用一个共享语音编码器加四个属性分支同时向语义、说话人、语言、情感四个冻结教师做余弦蒸馏，在多语义检索、说话人确认、语言辨识和情感识别上接近单任务学生，代价是小幅性能折损和一次多教师联合训练。

FLARE 针对唇读中视觉线索模糊且对姿态和分辨率敏感的问题，用 Whisper 深层语音表示经随机投影量化做掩码预测预训练，并用脸与唇双流联合建模加辅助音频和模态丢弃学习视觉表示，最好的大模型加语言模型解码在 LRS2、LRS3 和 WildVSR 上取得 11.7%、13.2% 和 34.3% 的词错误率，但双视觉分支增加了计算开销且跨任务迁移尚未验证。

论文把几分钟到几十分钟提示条件下不微调即复现韵律作为新任务，用 37 人双语基准和分维度指标检验以 32 个向量压缩长提示的参考系统，发现提示增至约 10 分钟多项韵律指标改善而更长后趋于饱和。

SNOAR 在重混之前先用教师自身的噪声估计滤除语音通道的残留噪声再按比例加回原始含噪观测，在 WHAM!上从 MixIT 教师接近监督上限，在真实 CHiME-3 上稳定改善感知与识别，而代价是加回比例与滤波必须搭配使用。

论文针对只有一对参考文本语音时固定目标监督微调导致推理提前结束的问题，提出在当前策略采样轨迹上学习的 GRPO 和 OPSD，在 LLaSA-1B 与 Seed-TTS-Eval 英文子集上提高说话人相似度并保持可懂度，但 GRPO 每步耗时远高于 OPSD。

D2 把已具备理解与生成能力的半双工语音模型按固定短块切分对话，用流式编码器蒸馏加全双工监督微调实现边听边说，在 80 毫秒块下 Qwen3-Omni-D2 仍保持 70.1 的 VoiceBench 总分，但小块会明显削弱停顿容忍并保留合成与数据构造等限制。

论文用先预测文本词再生成对应语音段的序列构造解决语音到语音续写的内容建模问题，最强证据是在相同模型和数据下生成困惑度从 151.7 降到 58.9，蒸馏与文本回放进一步保留事实知识，代价是需要词级对齐和双头生成。

针对自回归语音识别逐词生成慢的问题，论文用复用目标模型声学与解码器表示的轻量 Speech-Draft 做草稿加并行验证，在 LibriSpeech 上 Whisper 达 1.91 倍、Conformer 达 2.43 倍且识别结果不变，代价是需额外训练草稿模块并调草稿长度。

针对离散语音编码易丢声学细节而连续隐变量难做离散建模的问题，SemiCodec 用同步的离散 token 加连续隐变量做波形重建，并用先保留后接地两阶段训练缓解连续通路捷径，在 LibriSpeech test-other 上以 25 帧每秒实现 PESQ-WB 4.03 与 WER 5.02%，代价是仍需保留连续通路和两阶段训练。

该文研究把多步扩散与流模型压缩到 4 次函数求值的问题，提出只做在轨速度回归并加上训练期残差代理与弱预测排斥的 SMD 框架，在图像、编辑、3D、视频与 33B 音频视频联合模型上验证了对齐与质量表现，但结论依赖同网格评测与原文报告的基线配置。

论文固定结构和评测，只把蒸馏损失从 DistilHuBERT 损失换成相关性损失，比较权重插值和激活排列两种合并，发现后者在语音侧更稳、需要搬动的通道更少，但在标准宽度音乐侧仍是旧损失更好。

DMAD 针对少步学生需要拟合自身演化分布的高成本问题，用两个判别器头的对数密度比分类代替辅助分数拟合，在 ImageNet 单步 1.04、COCO 四步 14.47、Wan14B 四步 85.15 上取得对照内最优，但每步一次判别器更新与缓存教师样本等条件不可去掉。