仿真越像真实房间,多通道增强在实测上错得越少
该文研究多通道语音增强训练数据的房间声学仿真保真度问题,对比几何声学与波加几何混合仿真训练的 SpatialNet 在实测 Eigenmike 数据上的词错误率,最强证据是混合仿真在 OV40 上相对 ISM-U 降低 38.3%,代价是需要高精度几何、频变材料与全波接收建模。
该文研究多通道语音增强训练数据的房间声学仿真保真度问题,对比几何声学与波加几何混合仿真训练的 SpatialNet 在实测 Eigenmike 数据上的词错误率,最强证据是混合仿真在 OV40 上相对 ISM-U 降低 38.3%,代价是需要高精度几何、频变材料与全波接收建模。
针对扩散语音增强多步反向采样计算量大的问题,论文用条件网络预增强替代干净语音构造桥分布、用辅助网络自适应估计桥权重与方差并只做单步桥接,在 URGENT 2024 数据上以 9.40M 参数和 3.84 GMAC/s 取得 PESQ 2.58 与主观 MOS 3.95 的顶排名。
针对谱域生成把音高音色内容纠缠且语义条件与谱特征失配的问题,PhASE-Flow 把增强建模搬到 WavLM 表示域内、用高层语音内容表示条件化低层声学表示的流匹配并用独立训练的声码器重建波形,在 DNS 2020 无混响与有混响集上取得可核对的感知与可懂度收益,代价是依赖冻结大编码器与独立声码器且四步推理外的效率与幻觉边界仍有限。
该文在干净与多种噪声及信噪比下比较经典与神经编码的句子级可懂度和听音努力,并检验编码前语音增强的作用,最强证据是低信噪比下经典编码更稳健而增强能显著挽回部分神经编码的可懂度,代价是效果因编码器和噪声类型而异且低信噪比主观评分一致性下降。
针对语音与噪声频谱重叠时增强模型顾此失彼的问题,论文把语音衰减惩罚与残留噪声惩罚拆成两项并用 λ 加权组合,在四种架构上报告 λ 与语音质量正相关、与噪声抑制负相关,最强证据是 13 个 λ 下相关系数 0.95 与 -0.96,代价是两端极值会出现过抑制或噪声泄漏。
针对 STM32N6 上 Neural-ART 只支持静态整数量化卷积图的问题,该研究把 LiSenNet 双路 GRU 瓶颈改为卷积频率混合加因果空洞时间卷积并配套可折叠归一化与有界激活,最终以 46.2k 参数实现板载 int8 PESQ 3.01 与每 16 ms 跳 4.83 ms 处理,代价是 154 KiB 的 25 个 FIFO 流状态。
针对固定采样率建模与频点数增加带来计算膨胀的问题,TF-Refiner 把深层分析限定在可配置截止频率以下并用浅层解码加局部复数滤波保持全频带输出,同一套在两种采样率训练的参数可用于未见采样率,代价是推理时仍需按预算选择截止频率的工作点。
针对谐波注意力依赖先验字典而清音恢复弱的问题,论文提出对注意力键和值做有限标量量化的无字典离散注意力,并在 TFGridNet 上验证其与谐波注意力的互补增益,最强组合在可见集提升 0.10 PESQ 与 0.56 dB SISNR,代价是前端与注意力替换带来的额外计算与结构复杂度。
该文在因果语音增强梯子上用深监督加逐帧单调修复得到可比静态族,证明路由相对专用静态可高出约 0.11 感知质量但与修复后静态前沿差距小于 0.01,且在 STM32N6 实测时延上动态执行只提供同一梯子内的中间工作点。
针对固定白噪声增益阈值在阵列失配下顾此失彼的问题,该工作用双分支网络同时预测噪声掩蔽与频率相关 WNG 约束并嵌入可微 QEP 鲁棒 MVDR 层,在 8 元线阵仿真与变间距失配条件下以 SNR 增益和 SDR 改善为证据,代价是依赖仿真训练与早期参考信号监督。
针对流式语音增强只能用过去帧且延迟受限的问题,RT-SEMamba 用全因果时频 Mamba 做在线推理,并用渐进知识蒸馏把 8 层教师压缩到 1 层学生在 25 ms 算法延迟下从 3.06 提升到 3.18 PESQ,代价是仍与 8 层教师的 3.32 存在差距。
RT-Tango 针对双耳助听的分布式低功耗实时降噪问题,用 ERB 压缩加分组循环掩码估计加固定跳帧稀疏化和非对称短时傅里叶变换加在线空间统计,在 33.41 MMACs/s 与 8 ms 算法延迟下保持可比的增强质量,而在线流式版本以 SI-SDR 下降为代价实现严格因果运行。
该研究针对外毛细胞损伤导致的可懂度下降,用听觉模型响应的正常与损伤差异训练 dCoNNear 助听模型,并在 19 名受试者的矩阵测试中获得显著可懂度提升,但客观音质指标 HASQI 出现下降 trade-off。
论文把去除水印建模为先加高斯噪声再做语音增强的严格黑盒攻击,对六种神经水印与六种增强模型做范式级对比,显示基于语言模型的生成式增强去除最彻底,而判别式增强与纯频谱重建难以撼动与谐波对齐的高能量水印,且需以音质与音色变化为代价。
针对穿混凝土墙雷达语音带限与杂波干扰问题,论文提出逐层扩频的 CAF-Former,先用共享键值的多查询时间注意力守住低频时序,再用频率注意力融合引导高频恢复,在仿真与实测上 STOI、DNSMOS 和 CS-MFCC 最优,代价是仿真 PESQ 略低于 EBENet 与 TF-Locoformer 且参数量为 2.726M。
针对生成增强在真实噪声下语言一致性不足的问题,该文用转录本计算的负词错误率奖励对预训练 FlowSE 做 Reinforce Adjoint Matching 后训练,在 CHiME-4 真实录音上把词准确率从 76.98% 提高到 82.06%,而报告的非侵入式音质指标未下降,默认奖励强度下主观听感无显著偏好。
针对无平行干净-带噪数据时的语音增强问题,UFL-GAN 用话语级与帧级双判别器加 APC 辅助特征约束 NTVF 生成器,在 VoiceBank+DEMAND 上达到 PESQ-WB 2.64 等接近领先无监督方法水平,但仍需非平行干净语音且未验证混响与削波。
针对低信噪比下判决引导增益过度衰减弱语音的问题,论文提出逐帧下限增益的 ABCDD 结构并用轻量 MLP 自动预测贝塔,在代表性样本上全面优于谱减法和经典 DD,在 100 条未见 VoiceBank-DEMAND 测试上把平均对齐信噪比从 9.41 dB 提升到 13.82 dB,代价是贝塔过大仍会残留噪声且感知质量未验证。
针对双麦克风线性阵列只能做一阶、难以保持波束形状随指向平移的问题,该研究用深度网络直接估计两通道复权值去逼近预设的一阶与三阶心形差分图案,在端射方向取得高于经典差分与参数化方法的信号失真比,同时保持跨指向与跨频率的形状一致,并以左右各一个转向模型演示立体声录制,代价是训练依赖无混响仿真与固定阵列几何。
SE-MSB 用扩散薛定谔桥在干净与退化语音分布之间学习双向随机输运,并以端到端 Mamba 波形模型实现,在去混响与混合退化上报告可比拟配对方法的效果,同时保持少步采样与低计算量。