只学干净语音的分布会走丢内容:用锚和键把漂移拴回输入
无配对漂移只优化干净语音的边缘先验而丢失内容与音色,本文用内容锚、身份锚和键控条件先验把输出拴回退化输入,在 VoiceBank-DEMAND 上把词错误率从 11.7% 降到 10.1%、说话人相似度从 0.490 恢复到 0.879,代价是背景质量随键强度下降且去混响质量未改善。
无配对漂移只优化干净语音的边缘先验而丢失内容与音色,本文用内容锚、身份锚和键控条件先验把输出拴回退化输入,在 VoiceBank-DEMAND 上把词错误率从 11.7% 降到 10.1%、说话人相似度从 0.490 恢复到 0.879,代价是背景质量随键强度下降且去混响质量未改善。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
语音的噪声、通道、说话人与跨模态差异本质是分布不一致,本文沿 Monge 到 Kantorovich 再到 Sinkhorn 与神经求解的路线讲清对齐机制,报告在增强、识别与反欺骗中的迁移用法,并指出长序列可扩展性与代价函数选择仍是主要代价。
针对双麦克风相近方向下空间线索不可靠导致轻量双通道模型退化的问题,论文用空间不变的单通道教师加动态仲裁蒸馏约束双通道学生,在 0°–15°难例上提升质量而大角度基本不掉点,代价是训练期要多跑一个冻结教师且只在教师更好时才蒸馏。
ADDSE 把语音增强转写为以带噪码为条件生成干净神经音频编解码码的条件分布,用吸收式离散扩散和 RQDiT 并行解码,在两套跨语料噪声测试上以非侵入指标取得可比质量,尤其在低信噪比和少采样步数下保持稳定,代价是侵入式指标和相位重建能力明显弱于判别式基线。
针对无线声传感器网络中集中式传输代价大而 DANSE 依赖协方差估计与迭代求逆、在低信噪比和非平稳下不稳定的问题,论文提出全神经的 ANDFilter 经单节点滤波、节点选择与多节点融合直接合成复数滤波器,在 LibriSpeech 加 Freesound 仿真上 PESQ、ESTOI 和 DNSMOS 全面超过 DANSE 等基线,代价是每节点仍需传输一路 …
该文在视觉条件扩散语音先验的去噪分数匹配损失上并联对称 InfoNCE 对齐损失,在匹配与跨数据集失配测试中提升干扰抑制与重建,代价是对视觉输入依赖更强且对比权重需仔细平衡。
针对扩散语音增强缺语言约束的问题,该工作用冻结 wav2vec 2.0 特征经 FiLM 在 U-Net 瓶颈调制并做指数平滑,在 VoiceBank-DEMAND 上 PESQ 比同宽 StoRM 提升约 0.4,代价是 SI-SDR 略降且 128 通道仍非实时。
论文把估计两组麦克风之间相对传递矩阵的问题转成监督学习映射,用 SCoNet、FuSNet 和 LAeNet 三套网络分别建模频域与时域关系,在仿真房间中以协方差法为基线比较五项估计误差与语音去噪效果,代价是长窗、固定声源布局与较大的时序推理开销。
DelayGSE 把去噪、去混响和超分放在多码本离散生成框架下,用延迟文本监督约束语义、用重要性加权平衡码本损失,主证据是内部集上词错误率从 0.099 降到 0.063 而 MOS 保持在 4.040 附近,代价是依赖大规模仿真数据与自回归推理。
针对无注册音频时噪声嵌入不可靠的问题,G-MaP-SE 用离线拟合的干净嵌入高斯混合先验对噪声嵌入做软匹配修正,再经门控融合注入 MP-SENet,在 VoiceBank+DEMAND 训练并在 DNS2020 跨域验证,最强证据是跨域条件下缩小与 oracle 干净条件差距,代价是先验质量受干净数据规模限制且部分样本仍可能匹配到次优原型。
针对 50% 及以上重叠 STFT 相邻帧高度相关造成的轻量模型冗余计算,HALO 在不改 STFT/ISTFT 流程下用两个自适应动态卷积做降帧与复帧,使主干处理半帧率序列,在 DNS3 上以相近 MAC/s 加宽通道后 GTCRN 的 PESQ 提升 0.1、SI-SNR 提升 0.5 dB,代价是同一步内要一次生成两帧而峰值计算并未降低。
针对单侧聋用户听不清聋侧正侧方语音的问题,该工作用眼镜侧挂的偶极加全向混合阵列做侧向最小方差无失真波束形成,在 90 度侧向仿真中以 2 偶极加 1 全向组合相对 3 全向提升 0.78 dB 信号失真比和 0.04 扩展短期客观可懂度,但前方和后方优势有限且依赖理想噪声协方差。
针对 Genhancer 中 FAVOR+ 近似导致聚焦不足与特征多样性下降,论文以保持线性复杂度的 Hydra 替换全局注意力并保留扩张卷积负责局部建模,在 DAPS 真实重录上以 106M 参数在多项指标超越 FAVOR+ 并接近 Softmax 上界,代价是长输入外推与生成幻觉仍需单独验证。
针对流式语音增强在不同应用中时延预算不同但多数模型只固定一种前视的问题,论文用共享卷积主干加可切换的前视适配器实现七档时延可控,并在相同训练配方下报告单模型超越逐时延独立模型与参数总量大幅下降,但推理运算量并未下降。
针对视听语音增强中 SI-SNR 与人耳感知不一致的问题,该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励,用 PPO 微调 AVSEC-4 个基线,在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出,代价是奖励文本模式较固定且需额外大模型推理开销。
针对语音增强被动处理与主动投毒假设的矛盾,论文用训练集内高信噪比干净语音作触发器并配对静默目标,仅做数据投毒就在四种模型和两个数据集上实现近 100% 静默攻击成功率,而正常增强的 PESQ 下降多在 2% 以内。
针对带切分前端中循环时间与跨频带模块的串行依赖问题,论文用并行时间—频带混合器替代循环展开并用可学习的观察信号加回抑制伪影,在冻结 Whisper 下降低词错误率,代价是仍需两阶段训练且为话语级非流式混合。
针对单通道语音增强中轻量化导致相位建模退化的问题,QC-GAN 用四元数 Conformer 生成器加 MetricGAN 判别器,在 VoiceBank+DEMAND 上以 0.89M 参数达到 PESQ 3.48,以 35K 参数达到 3.23,代价是四元数运算带来更高的实数乘加量与 CPU 负担。
针对强噪声下轻量声学麦克风增强容量不足的问题,LAU-NetV2 用皮肤加速度计压缩出语音活动和谐波两路线索以特征调制方式控制 U-Net 瓶颈,在 TAPS 加 DNS 噪声上把 PESQ 从 1.78 提升到 2.78,代价是增加约 30k 调制开销并需经 40% 剪枝才能在 MCU 上满足 48.66 ms 推理预算。