高效推理

该工作把视觉分支的监督从唇语识别和联合训练的口部线索换成音位束识别，用跨模态蒸馏得到因果轻量视觉前端，再配因果分离器，在最低乘加运算量下取得可比或更好的分离质量，但跨域时仍受视觉前端训练域限制。

针对视听目标说话人提取中深度融合会被野外噪声上限问题，论文用冻结纯音频分离骨干保保真、用 C×C 潜在转向矩阵加视觉门控做通道选择，在 LRS2-2mix 上保持原骨干感知质量并把路由计算降到 256.82G 与实时率 0.147，代价是侵入式分离分提升不如全量微调。

针对流式文本输入下缺少前视导致韵律不自然和上下文无界导致长文崩溃，该文用韵律边界标记加有限前视与滑动窗口提示改造 CosyVoice2，最强证据是长文词错误率从 71.0% 降到 4.8%，代价是仍需每块 5 词加 2 词前视的累积等待与流式声码拼接。

论文研究能否把噪声条件语音分类器冻结为多尺度主干、只训练轻量解码子网来预测扩散分数，在 SC09 上以 4.4M 可训练参数达到与 16.6M 全量 U-Net 相当或略优的质量，但条件生成仍依赖同一分类器做分类器引导且梯度抽头带来额外计算。

Samsone 针对端侧音频问答任务，采用 Whisper-Tiny 编码器加 SmolLM2 解码器的标准结构并做词汇表缩减与深度剪枝，在 MMAU 等基准上以 99M 至 356M 参数取得可比大模型的成绩，代价是语言通用能力下降且未做硬件级优化。

针对资源受限下音频推理难部署的问题，论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤，在 MMAR 上以 1.5 B 取得 46.40 准确率，但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。

针对解码器自回归语音合成中全量自注意力导致键值缓存随长度增长的问题，WAND 把条件提示词保留全局注意力、把已生成声学 token 限制在固定滑动窗口，并用全注意力教师蒸馏加课程收缩做单轮适配，在 10 秒生成上报告最高 66.2% 的缓存下降和接近常数的单步延迟，而英文词错误率保持在基线 0.2% 以内。

针对说话距离与噪声导致电平剧烈起伏时固定起音与释放常数难以兼顾的问题，WaveNorm 用因果时域编码器加循环瓶颈直接从波形学增益映射，在 TIMIT 与 VoiceBank 加 DEMAND 上把宽输入区间收敛到目标响度带，并在固定阈值下把 Silero 语音活动检测的误报率降到 0.272 而代价是召回略低于 WebRTC 前端。

针对分钟级零样本对话合成在稠密梅尔谱上做条件流匹配时显存和耗时随长度暴涨的问题，ZipL-Dialog 把生成搬到 4 倍时间压缩的 25 Hz 确定性隐空间并重设 ZipFormer 下采样，用 CoVoMix2 上最大峰值显存 3.23 GB 对 36.21 GB、推理 1.075 秒对 2.396 秒的实测换取可听自然度基本保持，代价是词错误率和说话人 …

针对开放式助听器通气孔漏声破坏双耳增强的问题，ABSE-NET 用双耳 MVDR 做粗增强再接轻量网络同时做漏声抵消与失真补偿，在 24 小时仿真数据上取得 PESQ 3.626 与 STOI 0.955 并把参数量压到 0.112M 与 0.184G FLOPs，代价是 SI-SDR 略低于参数量大两个数量级的 ASE-TM。

针对多分支卷积只做简单相加而没有补偿各分支局限的问题，该工作把通道、时间、频率与联合时频权重按感受野特性交叉分发，在 TAU 2020 上报告 72.03% 准确率，代价是保留分支导致失去重参数化合并的推理简化。

针对混合结构先把频率轴塌缩再做全局建模会丢失显式谱时结构的问题，C2D-ST 在主干全程保留二维谱时网格并用邻域注意力做局部、用轴向注意力做频率与时间全局建模，仅在最后阶段做时间建模，在 VoxCeleb 上以 6.9M 参数达到平均 EER 0.507，代价是最终仍需时间聚合与 AS-Norm 等评分补偿。

HybridCodec 针对语音离散化中语义解耦与推理速度的矛盾，采用双流结构加语义蒸馏，在 LibriSpeech 上以 RVQ-1 词错误率 15.36% 显示更强的首码本语义集中性，并以 0.014 实时率实现约 3 倍于 DualCodec 的推理加速，但声学保真指标略有让步。

针对扩散语音增强多步反向采样计算量大的问题，论文用条件网络预增强替代干净语音构造桥分布、用辅助网络自适应估计桥权重与方差并只做单步桥接，在 URGENT 2024 数据上以 9.40M 参数和 3.84 GMAC/s 取得 PESQ 2.58 与主观 MOS 3.95 的顶排名。

针对语音神经假体中 CTC 解码依赖约 320 GB 内存的加权有限状态机问题，LightBeam 用固定间隔的延迟融合把大模型引入首遍束搜索，在两套基准上降低内存到约 10 GB 并保持实时因子小于 1，代价是更频繁地调用大模型。

针对谱域生成把音高音色内容纠缠且语义条件与谱特征失配的问题，PhASE-Flow 把增强建模搬到 WavLM 表示域内、用高层语音内容表示条件化低层声学表示的流匹配并用独立训练的声码器重建波形，在 DNS 2020 无混响与有混响集上取得可核对的感知与可懂度收益，代价是依赖冻结大编码器与独立声码器且四步推理外的效率与幻觉边界仍有限。

论文用 1.6 到 100 Hz 的 DAC 受控消融追问低帧率劣化原因，用固定序列长度训练把 6.25 Hz 的词错误率从 107.40% 拉回到 15.37%，代价是更低帧率下随音素负载平滑上升的可预期信息损失。

针对自监督前端加图池化后端这一语音防伪路线，SpAArSIST 把可学习图池化与堆栈节点注意力换成可控稀疏与轻量聚合，在后端计算量下降 20.7% 条件下把 In-the-Wild 等错误率从 4.64% 降到 2.82%，代价是 ASVspoof5 域内等错误率从 4.49% 微升到 5.05%。

针对自监督音频伪造检测模型过大难以端侧部署的问题，论文用跨域知识蒸馏补监督、用移动分数引导结构化剪枝保关键结构，在 90% 稀疏下做到 31.9M 参数与 6.3× FLOPs 下降而多数据集平均性能只降 1.30%，代价是蒸馏仍受教师在无标注域外数据上误差的上限约束。

针对边缘端算力受限下语音分离需要低计算量而非小参数的问题，论文提出在 mel 带切分的 Conformer 双路径上对前馈层做时间维与频率维稀疏专家路由，在 Libri2Mix 上以 4.1 GMACs/s 达到 17.7 dB SDR，代价是专家参数量成倍增加与专家数过大时路由难学。