先建干净房间空间再对齐噪声:三阶段房间脉冲响应嵌入及其增强条件化
针对单通道带噪混响语音中房间信息易被噪声掩盖的问题,论文采用纯混响对比学习、带噪混响对比学习、冻结教师对齐学生三阶段学出噪声鲁棒的房间嵌入,并以声学参数探针和条件化深滤波增强验证其可读性与一致增益,代价是弱识别器仍受增强伪影影响且动态多通道场景未验证。
针对单通道带噪混响语音中房间信息易被噪声掩盖的问题,论文采用纯混响对比学习、带噪混响对比学习、冻结教师对齐学生三阶段学出噪声鲁棒的房间嵌入,并以声学参数探针和条件化深滤波增强验证其可读性与一致增益,代价是弱识别器仍受增强伪影影响且动态多通道场景未验证。
针对联合去噪去混响,论文用薛定谔桥中间状态训练 Mamba 主干并在退化端单步推理,在真实录音与混响集上取得多项领先,代价是干净对照集上部分语义指标未胜出且需补流式与统计验证。
针对会议中噪声与音量起伏并存的问题,SE-AGCNet 用 MP-SENet 做增强加轻量 AGC 做响度归一并联合训练,在 LibriAGC 与两套真实会议数据上把响度拉回 -23 LUFS 附近并降低识别错误率,代价是依赖仿真数据与两阶段课程训练。
针对带噪语音中语音与噪声在声学空间纠缠导致高频衰减和频谱空洞的问题,Seed-Enh 把增强拆到语义空间与音色空间分别处理再用流匹配融合,在 DNS 盲测与 LibriTTS+wham 上取得最高的整体质量分 3.095 与 3.193,代价是字符错误率仍高于判别式基线且对干净参考仍有依赖。
针对加性噪声、混响与非线性失真同时出现的语音增强问题,SLICE 把退化表征加到时间步嵌入以逐层传播,在受控多退化测试上 ESTOI 达 0.80、SI-SDR 达 3.7 dB,而同编码器只做输入层相加时反而跌到 0.73 与 1.4 dB,代价是混响类样本的 SI-SDR 仍为负且野外数据的编码器增益变小。
针对扩散增强需要多步迭代带来的延迟问题,论文用漂移模型把去噪写成前推分布向干净分布的平衡,用语义潜空间的漂移场做单步映射,最强证据是直接映射在 VoiceBank-DEMAND 上报告 PESQ 3.15 和 SI-SDR 16.1 dB、条件生成报告 SCOREQ 4.33,代价是注入噪声会牺牲波形精度且非配对下配对指标明显下降。
针对生成式增强容易幻觉且强混响强噪声下质量不足的问题,StuPASE 用干声微调修正目标分布并把声学模块换成流匹配,在保持低词错率的同时把主观质量做到最高,代价是客观说话人相似度略降且依赖两阶段训练。
针对线性路径下目标速度场与时间无关的问题,论文提出去掉时间步嵌入的自洽整流流 ARF,只用当前状态与带噪观测估计噪声,在 VoiceBank+DEMAND 上 NFE=5 时 PESQ 达 3.11 且 NFE=1 时 RTF 低至 0.02,代价是混响泛化仍明显下降。
该研究以人耳转写为基准比较多种现代语音识别模型在噪声与增强失真下的词正确率,报告显示大模型趋势更接近人类但绝对分数更高且会掩盖声学损伤,文本归一化等细节也会改变系统排序。
论文在同一神经音频编解码器下比较连续表示预测与离散词元分类两种增强路线,报告全微调连续路线在多组 DNS-MOS 上领先且增强器计算量更低,代价是仍需完整编解码流水线与干净语音先验码本。
该研究用连续语音特征作条件、以解码器自回归生成离散语音令牌统一语音恢复、目标说话人提取与语音分离,并用两阶段偏好微调提升感知质量,代价是全 utterance 条件与自回归解码效率限制。
该文研究无配对语音增强中干净语音与噪声先验失配导致的源泄漏问题,采用同时建模语音和噪声的双分支对抗框架,在 VCTK 加 Demand 基准上以 PESQ 2.58 和 COVL 3.08 取得可比最优感知质量,代价是 CBAK 偏低且依赖域内先验数据。
针对仿真与真实远场语音分布不一致导致轻量模型失效的问题,该研究用 70 小时真实配对数据训练两阶段框架,先由冻结 GTCRN 粗增强再由轻量映射模块对齐到干净近场隐空间,在仅 0.8 GMAC/s 下取得 P.835 OVRL 2.94 与 P.808 3.35,但代码与权重当前不可用。
针对耳戴设备模数转换器功耗高的问题,CAPS 把采样降到 4 kHz 与 8 比特等次奈奎斯特条件以省电,再在手机端用频谱增强、上采样与幅相增强级联重建宽带语音,直接报告在 Pixel7 上 55.11 ms 推理与约 3.31 倍耳端省电,代价是手机端约 1.15 W 的恢复功耗与未评估加密和编码的影响。
该演示用同一含噪语音对比三种增强路线对 7 个神经学生物标志物和加权风险分数的扰动,显示感知清晰度提升不能保证临床特征稳定,而代价是方法相关的频谱与韵律漂移。
针对气导易受噪、骨导带宽受限而融合模型又难上穿戴设备的问题,CCAP 用双路零掩蔽相对多模态响应的保持度给卷积通道打分并剪掉低分通道,在 TAPS 上多架构保持 PESQ 与 STOI 的同时把 50% 剪枝 LAU-Net 在 Cortex-M7 上的延迟降到 87 ms,但高剪枝率与单次剪枝加微调仍是主要代价与边界。
DiffVQE 针对免提通话中声回声加背景噪声,用条件判别网络先估计近端语音再用单步分数扩散精修,在受控合成验证集与公开盲测集上多数质量与可懂度指标超过同数据重训的 DeepVQE,代价是回声单项略低且系统仍为非因果。
针对单麦克风无人机自噪声语音增强,DroFiT 用全带与子带并行压缩加频率维 Transformer 建模,在 VoiceBank-DEMAND 混合无人机噪声上达到与 DCU-net 和 SMoLnet-T 可比的 SI-SDR 与 PESQ,代价是仍需验证更广泛机型与实时延迟。
针对悬停无人机自噪声在极低信噪比下同时破坏方位估计、噪声协方差估计和残留噪声抑制的问题,该研究用相位一致性选时频格、交叉频率混合掩蔽做最小方差无失真响应波束形成、再加零陷参考后滤波,在无混响负 25 分贝输入下报告方位准确率 98.12% 并提升语音质量,但计算只计乘加操作且只验证悬停状态。
针对生成式语音增强中条件信息不可靠的问题,HFMSE 用轻量谐波编码器提取基频与谐波掩码作为持久条件约束流匹配模型,在 DNS Challenge 2020 上提升感知质量与说话人相似度,但推理仍需 ODE 求解与声码器级联。