把基频滤波当作语音增强:用 Wave-U-Net 直接提基频波形再求瞬时频率
针对含谐波和噪声时基频滤波不准会拖累瞬时基频的问题,该研究用 Wave-U-Net 直接增强基频波形再求解析信号瞬时频率,在干净与加噪条件下取得更高的粗正确率,但干净强调制跟踪仍不及 NINJAL 且存在下采样混叠的待验证解释。
针对含谐波和噪声时基频滤波不准会拖累瞬时基频的问题,该研究用 Wave-U-Net 直接增强基频波形再求解析信号瞬时频率,在干净与加噪条件下取得更高的粗正确率,但干净强调制跟踪仍不及 NINJAL 且存在下采样混叠的待验证解释。
论文把卷积的时间填充在过去与未来之间重新分配,用双缓冲加选择性状态更新解决分块流式的状态污染,在固定 1.37M 参数下实现 12.5 ms 时 PESQ 3.35 到 75.0 ms 时 PESQ 3.43 的延迟可配族,代价是每个延迟点需独立训练且大块才能实时。
针对全双工对话中时延漂移与能量失配导致回声残留和过抑制问题,LMPAN 用多路径软对齐加注意力融合与动态目标加两阶段 SSL 训练,在约 480K 参数和 126M 计算量下取得与 DeepVQE-S 可比的主观与下游任务表现,代价是动态目标会略微拉低整体 MOS。
针对含噪说话人确认中干净参考仍带通道残留而误导增强的问题,该研究用双解码器加混合一致性约束做面向确认的分解,在 VoxCeleb1 加 MUSAN 上 Vox2 训练平均等误率做到 1.19%,代价是干净与高信噪比下不占优且依赖受控仿真条件。
针对脉冲神经网络做语音增强时相位难恢复、时频建模割裂的问题,GSU-DBNet 用双路门控脉冲单元同时估计幅度掩蔽与复数滤波系数,在 VoiceBank+DEMAND 上以 394K 参数达到 PESQ 3.04,代价是幅度分支的参数增加与频率双向建模带来的非因果约束。
针对低码率低信噪比下神经语音编码器重建失真问题,FocalSE 在 DAC 连续嵌入空间中用聚焦掩码去噪、分离噪声嵌入并做噪声分类,在 LibriTTS 加 ESC-50 混合数据上重建指标优于 SECE 与 FD-CBR,代价是推理参数增至 159M、含识别分支时达 222M。
针对自回归语音增强语言模型只用词元交叉熵训练、与感知评价脱节的问题,该文用组序列策略优化在线直接优化 DNSMOS 加 WER 加 UTMOS 组合奖励,在 DNS2020 和 DNS5 上提升整体质量,而单一 DNSMOS 奖励出现人评低于基线的奖励黑客代价。
针对噪声、混响、限带与削波并存的通用语音修复问题,SEMamba++ 以频率 GLP 模块、多分辨率并行时频双路径块与可学习 softplus 映射改进 SEMamba,在 VCTK-GSR 与多个域外集上提升感知质量,而代价是频率轴线性操作限制了采样率无关部署。
针对受物理约束只能放少量麦克风的问题,论文用生成虚拟麦克风信号与特征去增强多通道语音增强,在受限的仿真条件下接近全阵列性能,但虚拟通道位置与阵列几何绑定且需额外计算。
针对合成训练难迁移到真实环境的问题,论文用 2.9 小时 CHiME-3 真实带转录噪声加 VCTK 合成对做开关双模式微调,在 CHiME 上把词错误率从 63.66 降到 20.27 并把感知质量做到 3.23,代价是增强偏置与识别偏置仍需二选一且加长开关会回落感知质量。
针对多通道语音增强中均匀 SDR 损失忽视音素级时频线索的问题,该研究提出基于局部语音存在、语音干扰比和谱通量加权的时频加权 SDR 框架,在白噪声下实现更强的干扰抑制和辅音与爆破音识别提升,代价是在语音形噪声下部分失真指标和短时客观可懂度略有下降。
针对多通道增强依赖固定阵列几何的问题,该工作提出由麦克风坐标动态生成卷积核的 Geo-DConv 适配器,在 RealMAN 真机录制数据上让 SpatialNet 与 TF-GridNet 适配可变阵列并在多拓扑与跨数据集上保持提升,代价是增加少量坐标建模参数与计算。
针对增强伪影损伤识别的问题,该文提出免训练的置信度加权观察相加方法,在多种增强与识别组合上降低词错误率,但当含噪与增强差距过大时仍可能不及最强单路。
针对带噪低分辨率输入的噪声鲁棒带宽扩展问题,VeRe-Flow 在流匹配骨干上同时引入速度对比正则和中间表示对齐,并在 Valentini-Botinhao 带噪测试集上报告了生成式基线中最低的频谱距离和最高的整体感知分数,其代价是需要配对干净高分辨率监督与冻结的噪声鲁棒自监督特征。
针对说话距离与噪声导致电平剧烈起伏时固定起音与释放常数难以兼顾的问题,WaveNorm 用因果时域编码器加循环瓶颈直接从波形学增益映射,在 TIMIT 与 VoiceBank 加 DEMAND 上把宽输入区间收敛到目标响度带,并在固定阈值下把 Silero 语音活动检测的误报率降到 0.272 而代价是召回略低于 WebRTC 前端。
针对远近场电平起伏与噪声下传统增益控制易放大噪声的问题,WaveNorm 选择全因果时域卷积加 GRU 瓶颈的端到端映射,在 -70 dB 宽动态与多种噪声下报告约 6 dB 降噪与符合 P.56/P.79 的响度稳定,代价是 49 M MACs 与 55 KB 的端侧预算约束。
针对开放式助听器通气孔漏声破坏双耳增强的问题,ABSE-NET 用双耳 MVDR 做粗增强再接轻量网络同时做漏声抵消与失真补偿,在 24 小时仿真数据上取得 PESQ 3.626 与 STOI 0.955 并把参数量压到 0.112M 与 0.184G FLOPs,代价是 SI-SDR 略低于参数量大两个数量级的 ASE-TM。
针对加性噪声下相位符号难判的问题,该研究用余弦与正弦几何算出候选相位,再用双路一致性迭代收敛到其中之一,oracle 试验证明上限可达 0.87 余弦相似度,盲测在保持可运行条件下与直接相位估计相当并在背景抑制上略优。
针对可穿戴设备低算力实时增强能力不足的问题,论文用冻结的大容量云端模型以延迟输出、中间层特征和协方差融合三种方式辅助边缘小模型,在标准集上把 SI-SDR 从 1.97 dB 提升到 5.74 dB,在挑战集上从 -1.16 dB 提升到 2.33 dB,边缘侧仅增加约 1.5% 参数和 2.4% 计算量。
该文把近端聆听增强做成在谱-时间调制域上学习全局掩蔽并保持总能量不变,在多种噪声和客观加主观指标上报告了优于时频基线的平均增益,但低信噪比下个别条件仍被基线反超且主观验证规模很小。