高效推理

针对语音情感描述在端侧算力不足与云端传输音频隐私风险之间的矛盾，该研究提出只把高熵词块送云端校验的不确定性引导推测解码，在 MER2024 中英子集上以 18.2% 词元上云比例缩小与全云差距，同时把端到端时间从 40.21 s 降到 28.67 s。

EffVOC 用因果卷积加循环加逐级上采样的声码器结构，从幅度谱或梅尔系数直接生成宽带与全带语音波形，在 20 毫秒算法延迟下取得接近真值的 MOS 主观分，但小模型与梅尔输入在部分客观指标上仍有代价。

该文把轮次结束检测改写为固定视界的语音端点预报问题，用双流 EPA-M 模型提前触发大模型与语音合成管线，在 SpokenWOZ 与 Switchboard 上优于语音活动投影基线，并在 Unmute 集成中以约 28.4% 推测计算换取 505 ms 平均延迟降低。

针对流匹配语音生成的音色泄漏与推理慢问题，论文用异构数据扰动切断语义 token 的声学捷径、用蒸馏加在线拉直消除分类器无关引导开销，在 3 步推理下实现约 3.25 倍加速并提升说话人相似度，代价是极端拉直带来轻微可懂度波动。

针对语音模型激活范围大导致常规校准信息损失的问题，论文把每层激活缩放因子校准写成局部均方误差初始化加全局任务误差优化，并用 CMA-ES 免梯度搜索求解，在五个语音任务上报告 INT8 基本无损、INT4 结合 PTQ 接近无损，但平均 2.31×加速等部署收益与部分 INT4 大误差并存。

针对对话式语音合成既要流式进文本又要低首包延迟的问题，FlashTTS 用滞后多轨道输入加并行多词元预测与两步 X 预测平均流解码，在 Minimax 子集上把首包延迟降到 325 ms，代价是五路并行时相似度和主观分下降且部分语言可懂度仍落后离线大模型。

针对音频谱图变换器被掩蔽块仍占自注意力计算的问题，该文把频谱增强改为按块对齐的掩蔽并在位置编码后对全零块做逐维取大合并，在平衡音频集上以合并对数 100 保持平均精度 34.07 到 34.08 而吞吐从 43.3 提升到 49.3 样本每秒，代价是可合并比例受掩蔽块数量上限约束。

针对 50% 及以上重叠 STFT 相邻帧高度相关造成的轻量模型冗余计算，HALO 在不改 STFT/ISTFT 流程下用两个自适应动态卷积做降帧与复帧，使主干处理半帧率序列，在 DNS3 上以相近 MAC/s 加宽通道后 GTCRN 的 PESQ 提升 0.1、SI-SNR 提升 0.5 dB，代价是同一步内要一次生成两帧而峰值计算并未降低。

论文把 Parakeet-CTC 的相对位置注意力、Swish 和异常激活全部改写为整数运算，在 LibriSpeech test-other 上以 4.97% 词错误率和 0.048 实时率跑通手机 NPU，代价是相对浮点基线仍高约 1.21 个百分点且依赖静态图与填充。

LavaSR 把 8-48 kHz 输入先重采样到 48 kHz 再用 Vocos 式生成器补高频并用平滑交叉精修拼接，在 VCTK 上以 0.85 的 8→48 kHz 对数谱距离持平强基线，代价是相位精细度略逊于双分支结构但 CPU 与 GPU 吞吐高出一个数量级以上。

针对自注意力平方复杂度与语音帧间高冗余的矛盾，该研究用查询保持原分辨率、键和值做平均池化压缩的非对称注意力，并在 Zipformer 中按层设置不同步长，报告在 AISHELL-1 上最高降低 0.2% 字错率、在 LibriSpeech 上降低 0.3% 词错率，代价是干净语音小模型细节可能被平滑以及流式部署仍待验证。

针对语音情感识别中音频语气与文本内容可能缺失或冲突且大模型难以在消费级 CPU 上实时运行的问题，论文提出只训练约 64k 参数的 Light-DMF 分离融合结构，用冻结的 Distil-Whisper-large-v3 与 all-MiniLM-L6-v2 做特征、用三路输出分别给出判断，并在 Intel Core i7-5600U 上以 1 分钟音频需 …

针对自回归 Transformer 语音合成二次复杂度导致长序列显存与延迟过高的问题，MamTra 把预训练 Transformer 的部分层替换为 Mamba 并用多级蒸馏恢复性能，最强证据是在仅用约 2% 英文数据下推理显存降低可达 34%，代价是 1:1 配置词错误率绝对上升 0.25% 且激进替换会明显损伤可懂度。

针对稀有术语难识别且已有音频对音频关键词检出存不下大词表的问题，该文用层稀疏选择加隐维和帧率压缩构造可预存的压缩关键词库，在不微调识别模型下以 128 倍内存节省和数倍延迟下降保持实体召回，但在大而未清洗词表上仍受干扰词影响。

针对自回归解码慢、非自回归精度差的矛盾，该文用音频条件掩码扩散解码器加两步自我纠正训练与位置偏置采样，在多英语基准上达到 1.8%/3.6% 等词错误率并保持并行加速，代价是仍需多步迭代且未覆盖更广泛语言域。

针对多人混合中用注册语音抽取目标说话人的任务，MeanFlow-TSE 沿用背景到目标的混合比流形并改用平均速度训练，在 Libri2Mix 上以单步推理取得 Clean 集 3.26 PESQ 与 18.80 dB SI-SDR，代价是无参考自然度指标仍落后于部分多步模型且复现依赖原文超参数。

针对多通道分离中判别模型信号保真高但听感差、生成模型自然但需多步迭代的问题，MeCo 用条件平均速度场做一步校正并引入数据空间优化，在 WSJ0+WHAM!上达到 10.08 dB SI-SDR 与 3.19 DNSMOS，代价是只增加 1 次函数求值和 0.0068 实时率。

针对重型自监督模型难以部署到实时边缘端的问题，MSMC 用无泄漏遮罩卷积编码器加均值教师多尺度蒸馏，在 IEMOCAP 即兴子集十折留一说话人验证下达到 76.0% 加权准确率，代价是仍只在该数据集与该协议下验证且依赖 60% 时域遮罩等特定训练条件。

OnDA 针对常开关键词识别的说话人与环境偏移，把权重自学习与结构化通道剪枝都搬到端上，用伪标签的域内数据做剪枝与微调，在 HeySnips/HeySnapdragon 上以 0.5 次误报每小时下等精度实现最高 9.63×压缩，代价是伪标签噪声与微调样本更少且剪枝时机影响端上能耗回本点。

针对因果视听说话人分离缺未来上下文且视觉前端笨重的问题，论文用因果化 DeepAVSR 加在线 AV-CrossNet 做基线，再用渐进加权的视觉知识蒸馏把前端压缩到约 48 倍参数与 7.5 倍计算量，并在 LRS2、LRS3 与 VoxCeleb2 上取得在线最优，同时保留教师性能。