语音增强

共分析 137 篇 ICML 2026 论文

该研究在吵闹真实场景的人体模型录音上验证：AI 语音增强在放大通路内各设备改善相近，但只有压住未经处理的直接声通路后，其信噪比改善才能从高频扩展到低频，宽带加权信噪比因此明显提高，而单独开主动降噪几乎不改善信噪比。

论文用带约束的强化学习结构搜索解决 22M 参数音视增强模型难以部署到手机等边缘设备的问题，以 35 次候选评估找到 2.9M 参数、14.5 dB SI-SNR 提升的模型，代价是比基线低 0.7 dB。

论文把多通道复数掩码估计问题交给全连接脉冲网络，用直接编码与率编码两种脉冲序列实现多麦克风空间信息的利用，并在固定仿真条件下刻画了模型宽度与脉冲长度带来的增强质量与计算代价权衡。

该文针对麦克风信号中回声、近端语音和噪声混叠的问题，用一个多输出网络同时估计可变步长与转移因子的滤波器参数并做残留回声后处理，在约束递归训练下以 253 k 参数在仿真验证集和 AEC 挑战评估集上提升了信号质量与可懂度。

AuraSE 针对生成式增强会改写内容与说话人的问题，用双流文本声学网络约束内容，再把不同解码配置产生的候选差异变成在线偏好训练信号，在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分，部署时只用固定 10 步 ODE 解码。

本文针对带混响和噪声的球形阵列录音，用基于相对谐波系数的多输出波束形成同时提取目标声场并约束残留干扰的空间分布，仿真显示目标声场相似度保持在 0.99 而干扰相似度优于现有方法，但结论只在给定仿真房间和先验条件下成立。

该文把构音障碍语音增强做成紧凑发音瓶颈上的残差修正，在合成平行数据上预训练再用音素和对抗目标适配自然病理语音，合成数据上错误率明显下降而自然语音上仍未超过原始录音，且发音瓶颈保留了可解释的轨迹含义。

该文把刷分定义为扰动带来的加分并以编解码往返输出为基准，用五个攻击者取最坏情况做测量，发现四个常用预测器可攻击率差一个数量级以上，而闭环打补丁只在自家攻击空间内有效且随机扰动基线就能持平，还伴随域外一致性下降。

LIFT-SE 用自回归模型先预测干净编解码器令牌锁定语言内容，再用条件流匹配把量化隐变量修正为连续隐变量，代价是需要两步串行推理和约 193M 可训练参数。

论文研究训练集中噪声类型与类别标签系统绑定的多类情绪识别问题，对比每次叠加其余所有类噪声的全量交叉增强与语音增强预处理，发现只有前者在可控信噪比下消除噪声捷径，而增强会引入新的可判别伪影，但全量叠加要付出有效信噪比下降的代价。

针对仿真训练在真实远场混合上泛化不足的问题，UltraM2M 用同一增强网络同时接受仿真监督、混合重构约束和冻结语音识别损失的弱监督，在 CHiME-4 真实集上降低词错误率，多通道时还提升感知质量，但结论只在该数据集和给定评测识别器条件下成立。

论文针对只报告最终训练能耗会低估项目代价的问题，用 Grid5000 作业日志回算实验室、团队和四个音频项目的开发能耗，报告开发能耗约为最优单模型训练的 3 到 256 倍，而法国低碳电网与假设美国电网下的碳排放差距可达近十倍。

论文引入系统级偏好准确率检验预测 MOS 能否复现人评的系统两两优劣，发现在两个增强任务上单模型最高仅 76.8%，集成与领域自适应也只在限定条件下改善，说明相关系数高不等于比选可靠。

论文把增强语音直接加可优化扰动去推高四个 MOS 预测器均值，在七个 URGENT 2026 系统上四个目标分数都上升而未见预测器至多变化 0.03、参考指标基本不动，MUSHRA 显示优化版并不更好却能把排名提前数位。

针对耳机助听器等电池供电设备的语音去噪功耗问题，Zephyr 把 Spiking-FullSubNet 改写为 INT8 硬件友好版本并配以稀疏感知的复用 PE 阵列，在 Intel N-DNS 上报告 14.54 dB 与 52.9nJ 每帧的估算能耗，代价是相对浮点原版约 0.66 dB 下降且能耗为 45nm 估算而非实测。

针对免提通话需要因果低延迟联合回声噪声控制的问题，DiffVQE2 用因果卷积加单向 GRU 改造混合扩散框架并辅以有限前视，在 ICASSP 2023 AEC 盲测上以更低算力取得更高的主观 MOS，但客观双讲指标仍有代价。

针对生成式语音增强在新声学域上微调会遗忘旧域、零样本又适应不足的问题，论文用冻结的 GPT 式主干加域专属 LoRA 逐域增量学习，在四个异构数据集上以平均 SpeechBertScore 保持旧域并适应新域，代价是域不可知时依赖熵选适配器且推理需多路前向。

论文以可听偏好为目标检验两种 PESQ 辅助损失，显示它们虽抬高匹配集上的 PESQ 与复合指标，却未改善多数独立指标并在主观盲听中被无 PESQ 模型稳定胜出，而复合指标的方差分析揭示其高度依赖 PESQ 本身。

针对助听级单片机算力与功耗约束，论文用卷积网络估计最小方差无失真响应权重加轻量变换器逐帧修正，并以交错执行与混合精度在 GAP9 上实现 15 毫秒帧延迟，部署后报告 STOI 97.65%、SI-SNR 20.26 dB、宽带 PESQ 3.676、平均功耗 45.9 毫瓦，语音占空比下可超 16 小时续航，代价是权重刷新周期拉长到 564 毫秒且依赖语音 …