高效推理

针对一步零样本语音转换中固定重型内容编码器成为推理瓶颈的问题，MeanVoiceFlow2 用可训练轻量内容编码器与学生平均速度网络联合学习，以转换蒸馏加真实数据重建、扩散判别器混合对抗和教师引导条件增强为手段，在保持说话人相似度的代价约束下把推理实时率降低约 9 倍并提升感知质量。

针对脉冲神经网络做语音增强时相位难恢复、时频建模割裂的问题，GSU-DBNet 用双路门控脉冲单元同时估计幅度掩蔽与复数滤波系数，在 VoiceBank+DEMAND 上以 394K 参数达到 PESQ 3.04，代价是幅度分支的参数增加与频率双向建模带来的非因果约束。

针对 2-3 比特下标准 GPTQ 把所有语音帧等同对待导致静音和填充主导校准的问题，DiffAQ 用编码器隐状态帧间差的幅度给 Hessian 加权，在 Whisper Medium LibriSpeech test-other 2 比特上把 WER 从 17.53% 降到 12.93%，代价是仍不能挽救 Base 模型 2 比特的表征容量不足且对突发噪声 …

针对语义 Token 到波形解码器在流匹配多步采样下延迟过高的问题，该文把 MeanFlow 一步生成放在 25 Hz 低维波形变分自编码器隐空间并用波形域微调缓解隐分布失配，在 LibriSpeech test-clean 上以 140M 模型实现 0.0046 实时率和 3.41% 词错率，代价是感知质量仍略低于 10 步基线。

该工作把视觉分支的监督从唇语识别和联合训练的口部线索换成音位束识别，用跨模态蒸馏得到因果轻量视觉前端，再配因果分离器，在最低乘加运算量下取得可比或更好的分离质量，但跨域时仍受视觉前端训练域限制。

针对视听目标说话人提取中深度融合会被野外噪声上限问题，论文用冻结纯音频分离骨干保保真、用 C×C 潜在转向矩阵加视觉门控做通道选择，在 LRS2-2mix 上保持原骨干感知质量并把路由计算降到 256.82G 与实时率 0.147，代价是侵入式分离分提升不如全量微调。

针对流式文本输入下缺少前视导致韵律不自然和上下文无界导致长文崩溃，该文用韵律边界标记加有限前视与滑动窗口提示改造 CosyVoice2，最强证据是长文词错误率从 71.0% 降到 4.8%，代价是仍需每块 5 词加 2 词前视的累积等待与流式声码拼接。

论文研究能否把噪声条件语音分类器冻结为多尺度主干、只训练轻量解码子网来预测扩散分数，在 SC09 上以 4.4M 可训练参数达到与 16.6M 全量 U-Net 相当或略优的质量，但条件生成仍依赖同一分类器做分类器引导且梯度抽头带来额外计算。

Samsone 针对端侧音频问答任务，采用 Whisper-Tiny 编码器加 SmolLM2 解码器的标准结构并做词汇表缩减与深度剪枝，在 MMAU 等基准上以 99M 至 356M 参数取得可比大模型的成绩，代价是语言通用能力下降且未做硬件级优化。

针对资源受限下音频推理难部署的问题，论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤，在 MMAR 上以 1.5 B 取得 46.40 准确率，但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。

针对解码器自回归语音合成中全量自注意力导致键值缓存随长度增长的问题，WAND 把条件提示词保留全局注意力、把已生成声学 token 限制在固定滑动窗口，并用全注意力教师蒸馏加课程收缩做单轮适配，在 10 秒生成上报告最高 66.2% 的缓存下降和接近常数的单步延迟，而英文词错误率保持在基线 0.2% 以内。

针对说话距离与噪声导致电平剧烈起伏时固定起音与释放常数难以兼顾的问题，WaveNorm 用因果时域编码器加循环瓶颈直接从波形学增益映射，在 TIMIT 与 VoiceBank 加 DEMAND 上把宽输入区间收敛到目标响度带，并在固定阈值下把 Silero 语音活动检测的误报率降到 0.272 而代价是召回略低于 WebRTC 前端。

针对分钟级零样本对话合成在稠密梅尔谱上做条件流匹配时显存和耗时随长度暴涨的问题，ZipL-Dialog 把生成搬到 4 倍时间压缩的 25 Hz 确定性隐空间并重设 ZipFormer 下采样，用 CoVoMix2 上最大峰值显存 3.23 GB 对 36.21 GB、推理 1.075 秒对 2.396 秒的实测换取可听自然度基本保持，代价是词错误率和说话人 …

针对开放式助听器通气孔漏声破坏双耳增强的问题，ABSE-NET 用双耳 MVDR 做粗增强再接轻量网络同时做漏声抵消与失真补偿，在 24 小时仿真数据上取得 PESQ 3.626 与 STOI 0.955 并把参数量压到 0.112M 与 0.184G FLOPs，代价是 SI-SDR 略低于参数量大两个数量级的 ASE-TM。

针对多分支卷积只做简单相加而没有补偿各分支局限的问题，该工作把通道、时间、频率与联合时频权重按感受野特性交叉分发，在 TAU 2020 上报告 72.03% 准确率，代价是保留分支导致失去重参数化合并的推理简化。

针对混合结构先把频率轴塌缩再做全局建模会丢失显式谱时结构的问题，C2D-ST 在主干全程保留二维谱时网格并用邻域注意力做局部、用轴向注意力做频率与时间全局建模，仅在最后阶段做时间建模，在 VoxCeleb 上以 6.9M 参数达到平均 EER 0.507，代价是最终仍需时间聚合与 AS-Norm 等评分补偿。

HybridCodec 针对语音离散化中语义解耦与推理速度的矛盾，采用双流结构加语义蒸馏，在 LibriSpeech 上以 RVQ-1 词错误率 15.36% 显示更强的首码本语义集中性，并以 0.014 实时率实现约 3 倍于 DualCodec 的推理加速，但声学保真指标略有让步。

针对扩散语音增强多步反向采样计算量大的问题，论文用条件网络预增强替代干净语音构造桥分布、用辅助网络自适应估计桥权重与方差并只做单步桥接，在 URGENT 2024 数据上以 9.40M 参数和 3.84 GMAC/s 取得 PESQ 2.58 与主观 MOS 3.95 的顶排名。

针对语音神经假体中 CTC 解码依赖约 320 GB 内存的加权有限状态机问题，LightBeam 用固定间隔的延迟融合把大模型引入首遍束搜索，在两套基准上降低内存到约 10 GB 并保持实时因子小于 1，代价是更频繁地调用大模型。

针对谱域生成把音高音色内容纠缠且语义条件与谱特征失配的问题，PhASE-Flow 把增强建模搬到 WavLM 表示域内、用高层语音内容表示条件化低层声学表示的流匹配并用独立训练的声码器重建波形，在 DNS 2020 无混响与有混响集上取得可核对的感知与可懂度收益，代价是依赖冻结大编码器与独立声码器且四步推理外的效率与幻觉边界仍有限。