知识蒸馏

针对语音语言模型偏向语言先验而忽视声学证据的问题，CAAD 用元数据锚定的伪真值同步生成教师双路径对比分布并蒸馏给单路径学生，在 Dynamic-SUPERB 上相对标准蒸馏提升约 8% 并在 MCR-BENCH 上把 Shift 降到 79.03，代价是仍需调对比权重 α 并受限于小模型自身能力。

针对加噪监督微调改善噪声却损伤干净集并过拟合特定损坏的问题，DASH 增加无标签编码器自蒸馏阶段学习干净与噪声视图的一致性，在 LibriSpeech 上保持干净集的同时改善多种噪声条件，额外开销约为微调时间的 4%。

针对标注少、无标注多且有教师模型的语音识别，论文把有监督学习放顶层、无监督学习放中层、知识蒸馏放底层做三层嵌套优化，用两次惩罚型双层梯度下降求解，在 LibriSpeech 上以词错率下降为证据，但惩罚系数调度敏感且解码与资源条件受限。

针对口语语种识别在白盒梯度攻击下急剧退化的问题，论文提出自防御对抗重训练 SDART，用渐进式对抗样本挖掘加无教师动态在线标签平滑和语言一致性约束，在 VoxLingua-10 与 Common Voice 上同时改善干净与受攻击样本的等错误率和平均代价，但强迭代攻击与跨库绝对数值仍有明显残留误差。

该工作用共享语音编码器加两条属性分支同时对齐语义教师与说话人教师，在多语言检索上接近单语义模型并在说话人验证上接近教师模型，代价是需要双教师监督与大规模多语言训练。

针对 ASVspoof 5 训练集中真假语音文本内容错位导致的语言捷径问题，论文用 Common Voice 训练的语言教师经梯度反转引导 XLSR 学生学语言不变表示并以变分信息瓶颈约束去除强度，在九个域外评测集上把混合等错误率降到 8.72% 但在 ASVspoof 5 域内评测上仍弱于挑战赛前四名。

PUBG Ally 用事件驱动的语言模型做高层意图与语音、每刻运行的行为树做移动战斗恢复来解决语音协同与实时控制的矛盾，最强证据是 2B 端侧学生在能力评分上追平 31B 教师且端到端语音往返约 1.6 秒对云端约 3.4 秒，代价是安全加强后良性拒答小幅上升且残局战斗评分仍偏低。

针对音频语言模型靠文本捷径答题的问题，论文用同一冻结教师有音频与无音频的对数概率差重塑蒸馏目标，在两个 3B 学生和三个基准上超过普通同策略蒸馏，代价是训练时每步要多做一次无音频教师前向。

针对流式语音增强只能用过去帧且延迟受限的问题，RT-SEMamba 用全因果时频 Mamba 做在线推理，并用渐进知识蒸馏把 8 层教师压缩到 1 层学生在 25 ms 算法延迟下从 3.06 提升到 3.18 PESQ，代价是仍与 8 层教师的 3.32 存在差距。

针对 whisper-large-v3-turbo 编码器 32 层冗余问题，用留一层词错率变化选出 6 层直接删除，再以无标签英语语音做编码器隐状态均方误差蒸馏恢复，四语平均词错率从基线 18.2% 升至零样本 21.9% 再回落到 20.1%，代价是仍残留 1.9 个百分点的绝对升高和编码器参数减少 118M。

该研究把频域声码器 Vocos 改写为脉冲版本，用脉冲 ConvNeXt 加幅度捷径、自结构蒸馏和时间移位解决二值信息瓶颈，4 步模型在感知质量接近基线时仅消耗约 14.7% 能量，但信号级精度指标仍有差距。

针对级联大语言模型语音交互中需等整句才能合成的问题，S5-TTS 用编码器解码器语言建模加单调对齐做逐词增量合成，以前视因果掩码和交错多源蒸馏在两词前视下接近全上下文质量，代价是自然度仍需蒸馏恢复且过大前视反而损害可懂度。

论文在 Whisper 家族内比较剪枝、量化与蒸馏的部署后公平性，发现 50% Wanda 剪枝使 large-v3 的 Black/AA 与 Asian 时间税差扩大 111%，INT4 在小模型上使西非口音灾难循环成倍增加，而蒸馏在 27 格中 21 格缩小差距。

针对语音语言模型做自动语音识别特化后语音问答能力下降的问题，论文用特化前模型做问答老师、特化后模型做识别老师，让学生按任务分别采样轨迹并只接受对应老师的监督，在 500 小时蒸馏数据上提升识别的同时保住问答，但全文特化模型本身的识别上限仍未被完全追平。

针对端到端语音大模型相对文本模型在推理与指令任务上的退化，论文提出跨模态同策略蒸馏 X-OPD，让学生在语音与文本上自己采样再由文本教师做 token 级打分，最强证据是 Qwen3-Omni-A3B 语音平均下降从 11.29% 降到 3.43% 且 MMAR 保持在 69% 以上，代价是需要严格语义一致的平行语音文本对与在线教师打分开销。

论文把文本图像视频音频放进同一个共享主干做任意到任意检索，用四阶段对比训练与同源采样和蒸馏优化，在 MMEB-v3 等基准上取得领先，但多条件文本与记忆检索仍有短板且低维压缩在细粒度任务上损失更大。

针对文本查询的音视事件时间定位，论文提出按边界可靠性分配教师监督位置的 OV-OrthKD，在 OV-AVEBench 上达到 0.816 片段 AP 且未见类 F1@0.5 提升 3.4 个百分点，代价是角色固定且仅做局部权重验证。

针对序列级塔布拉鼓点转录标注稀缺问题，该工作用教师模型生成伪标签、S-CEM 估计每个鼓点可信度、CMW-ATC 在不确定片段上按马尔可夫转移加权候选序列，在三组评测上把序列错误率降到 18.3、33.3 和 12.7，但仍需序列级标注和固定转移矩阵。

针对交错式流式语音识别大模型中外部强制对齐与模型自身对齐不一致的问题，该文用冻结非流式教师的文本音频注意力经置信度回退和单调搜索构造学生训练序列，并叠加 logit 与隐状态蒸馏，以聚合错误率从 9.35% 降至 7.80% 为最强证据，代价是相同蒸馏配置下闪烁高于强制对齐对照。

该文用 16 层 Conformer 编码器加 CTC 解决英文短语音转写，在仅公开数据与三阶段训练下以 470M 参数进入 OpenASR 速度精度前沿，代价是依赖大幅降采样与 16K 子词建模。