知识蒸馏

针对流式语音增强只能用过去帧且延迟受限的问题，RT-SEMamba 用全因果时频 Mamba 做在线推理，并用渐进知识蒸馏把 8 层教师压缩到 1 层学生在 25 ms 算法延迟下从 3.06 提升到 3.18 PESQ，代价是仍与 8 层教师的 3.32 存在差距。

针对 whisper-large-v3-turbo 编码器 32 层冗余问题，用留一层词错率变化选出 6 层直接删除，再以无标签英语语音做编码器隐状态均方误差蒸馏恢复，四语平均词错率从基线 18.2% 升至零样本 21.9% 再回落到 20.1%，代价是仍残留 1.9 个百分点的绝对升高和编码器参数减少 118M。

该研究把频域声码器 Vocos 改写为脉冲版本，用脉冲 ConvNeXt 加幅度捷径、自结构蒸馏和时间移位解决二值信息瓶颈，4 步模型在感知质量接近基线时仅消耗约 14.7% 能量，但信号级精度指标仍有差距。

针对级联大语言模型语音交互中需等整句才能合成的问题，S5-TTS 用编码器解码器语言建模加单调对齐做逐词增量合成，以前视因果掩码和交错多源蒸馏在两词前视下接近全上下文质量，代价是自然度仍需蒸馏恢复且过大前视反而损害可懂度。

论文在 Whisper 家族内比较剪枝、量化与蒸馏的部署后公平性，发现 50% Wanda 剪枝使 large-v3 的 Black/AA 与 Asian 时间税差扩大 111%，INT4 在小模型上使西非口音灾难循环成倍增加，而蒸馏在 27 格中 21 格缩小差距。

针对语音语言模型做自动语音识别特化后语音问答能力下降的问题，论文用特化前模型做问答老师、特化后模型做识别老师，让学生按任务分别采样轨迹并只接受对应老师的监督，在 500 小时蒸馏数据上提升识别的同时保住问答，但全文特化模型本身的识别上限仍未被完全追平。

针对端到端语音大模型相对文本模型在推理与指令任务上的退化，论文提出跨模态同策略蒸馏 X-OPD，让学生在语音与文本上自己采样再由文本教师做 token 级打分，最强证据是 Qwen3-Omni-A3B 语音平均下降从 11.29% 降到 3.43% 且 MMAR 保持在 69% 以上，代价是需要严格语义一致的平行语音文本对与在线教师打分开销。

论文把文本图像视频音频放进同一个共享主干做任意到任意检索，用四阶段对比训练与同源采样和蒸馏优化，在 MMEB-v3 等基准上取得领先，但多条件文本与记忆检索仍有短板且低维压缩在细粒度任务上损失更大。

针对文本查询的音视事件时间定位，论文提出按边界可靠性分配教师监督位置的 OV-OrthKD，在 OV-AVEBench 上达到 0.816 片段 AP 且未见类 F1@0.5 提升 3.4 个百分点，代价是角色固定且仅做局部权重验证。

针对序列级塔布拉鼓点转录标注稀缺问题，该工作用教师模型生成伪标签、S-CEM 估计每个鼓点可信度、CMW-ATC 在不确定片段上按马尔可夫转移加权候选序列，在三组评测上把序列错误率降到 18.3、33.3 和 12.7，但仍需序列级标注和固定转移矩阵。

针对交错式流式语音识别大模型中外部强制对齐与模型自身对齐不一致的问题，该文用冻结非流式教师的文本音频注意力经置信度回退和单调搜索构造学生训练序列，并叠加 logit 与隐状态蒸馏，以聚合错误率从 9.35% 降至 7.80% 为最强证据，代价是相同蒸馏配置下闪烁高于强制对齐对照。

该文用 16 层 Conformer 编码器加 CTC 解决英文短语音转写，在仅公开数据与三阶段训练下以 470M 参数进入 OpenASR 速度精度前沿，代价是依赖大幅降采样与 16K 子词建模。

针对直播带货语音合成中流畅度、语调、情感和直播感需要分维度评价的问题，论文先把 Gemini 的成对判断蒸馏为开源的 Live-ProsodyJudge，再用去掉总体结论、按维度掩码与分段归因的 Decoupled 版本解决维度塌缩，十次平衡顺序采样的 LPJ 在四个主测试集点准确率高于单次 Gemini 调用，而 D-LPJ 的混合维度一致率达到 …

针对电子喉语音与健康语音域失配且大模型难流式部署的问题，论文用冻结自监督模型的离散音素目标加电子喉微调识别模型的瓶颈特征做三阶段渐进蒸馏，最好的 Mel-Conformer 把电子喉词错误率从最强零样本基线的 39.3% 降到 21.2%，代价是仍需平行语料做对齐且只用识别探测验证，ONNX 单核实时率为 0.30。

针对端到端语音合成读错生僻词和日语声调的问题，该文用常见词的自身合成做教师来蒸馏读音与声调控制通道，在 Sarashina2.2 上未见词声调实现率达 0.89 且自然度非劣效，代价是相对纯假名低 0.069-0.091 及跨骨干迁移时声调与自然度不完全保持。

针对不规则麦克风阵列难以得到可用 FOA 的问题，该文用常规编码加信号相关残差构成四通道接口，并用理论 FOA 教师做帧级置换不变蒸馏来优化事件与定位信息，代价是信号级重建误差反而变大。

针对对话历史决定说话方式的 CoT-TTS 任务，论文用三阶段清洗续训、545K 合成蒸馏与级联过滤的 CA-DPO 对齐官方基线，并在 500 样本中英测试上报告全面超越，但偏好判断依赖大模型打分且未验证延迟与成本。

针对救护车、消防车、警车与道路背景四分类问题，AVNet 用逐秒对齐的视频查音频交叉注意力做融合，并用单模态教师的软分布蒸馏融合分支，在 281 个 AudioSet 测试片段上融合达到 66.6%，但消防车出现融合低于纯音频的反例且模型容量受限于 D 等于 128。

论文发现相同语音输入下交错语音文本生成的内部文本准确率大幅低于纯文本回答，提出联合输出在策略蒸馏用冻结的语音到文本策略监督学生自己的联合轨迹，在 Step-Audio-2-mini 上把输出模式差距从 42.87 降到 16.26 个百分点而语音到文本基本不变，代价是仍残留十余点差距且口语答案增益小于内部文本增益。

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读