先猜出说了什么,再补回声音细节的两阶段生成式语音增强
LIFT-SE 用自回归模型先预测干净编解码器令牌锁定语言内容,再用条件流匹配把量化隐变量修正为连续隐变量,代价是需要两步串行推理和约 193M 可训练参数。
LIFT-SE 用自回归模型先预测干净编解码器令牌锁定语言内容,再用条件流匹配把量化隐变量修正为连续隐变量,代价是需要两步串行推理和约 193M 可训练参数。
针对复数谱对数幅度难以直接求近端算子的问题,论文提出经指数耦合辅助变量间接施加倒谱稀疏等先验的 EPILOG 正则,给出分量近端算子与交替极小 ADMM 流程,去混响实验显示倒谱稀疏版本取得最高平均指标,但收敛性证明留待后续工作。
无配对漂移只优化干净语音的边缘先验而丢失内容与音色,本文用内容锚、身份锚和键控条件先验把输出拴回退化输入,在 VoiceBank-DEMAND 上把词错误率从 11.7% 降到 10.1%、说话人相似度从 0.490 恢复到 0.879,代价是背景质量随键强度下降且去混响质量未改善。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用矩形房间大量仿真房间脉冲响应做预训练,再只用 10 个 L 形与不规则房间微调解码器,在未见过的 40 个目标房间上把均方误差降低 56%,但代价是仍依赖仿真数据与固定采样设置且未验证真实测量房间。
论文把问题定义为让麦克风处物理叠加信号逼近干净目标的主动声重构,用 Transformer-Mamba 生成抵消器信号并以多项声学损失联合训练,在去噪、去混响、去削波三类合成声学通道实验中报告了高于适配后传统与深度主动噪声控制基线的客观分数,但代价是依赖精确仿真通道、未来样点预测和较大生成器参数量。
针对单通道无监督去混响缺少干净参考的问题,ARTT 先用随机合成混响构造可训练的加重混响到观测混响映射,再用均值教师非对称蒸馏提纯,并在 WSJ0CAM-DEREVERB 上以 7.3 dB 的 SI-SDR 和 2.61 的 PESQ 超过已有无监督基线,代价是两阶段流程与仿真参数依赖。
DelayGSE 把去噪、去混响和超分放在多码本离散生成框架下,用延迟文本监督约束语义、用重要性加权平衡码本损失,主证据是内部集上词错误率从 0.099 降到 0.063 而 MOS 保持在 4.040 附近,代价是依赖大规模仿真数据与自回归推理。
针对单通道带噪混响语音中房间信息易被噪声掩盖的问题,论文采用纯混响对比学习、带噪混响对比学习、冻结教师对齐学生三阶段学出噪声鲁棒的房间嵌入,并以声学参数探针和条件化深滤波增强验证其可读性与一致增益,代价是弱识别器仍受增强伪影影响且动态多通道场景未验证。
针对联合去噪去混响,论文用薛定谔桥中间状态训练 Mamba 主干并在退化端单步推理,在真实录音与混响集上取得多项领先,代价是干净对照集上部分语义指标未胜出且需补流式与统计验证。
针对加性噪声、混响与非线性失真同时出现的语音增强问题,SLICE 把退化表征加到时间步嵌入以逐层传播,在受控多退化测试上 ESTOI 达 0.80、SI-SDR 达 3.7 dB,而同编码器只做输入层相加时反而跌到 0.73 与 1.4 dB,代价是混响类样本的 SI-SDR 仍为负且野外数据的编码器增益变小。
针对生成式增强容易幻觉且强混响强噪声下质量不足的问题,StuPASE 用干声微调修正目标分布并把声学模块换成流匹配,在保持低词错率的同时把主观质量做到最高,代价是客观说话人相似度略降且依赖两阶段训练。
针对只有无标注混响语音时的单说话人去混响问题,USDnet++ 在 USDnet 混合重建约束上增加对 WPE/WPD 信号处理结果的重建约束并配合多阶段迭代与 SPD 特征输入,在 WSJ0CAM-DEREVERB 上把无监督基线从 PESQ 2.64 提升到 2.94 左右,代价是需要先训练 USDnet 再交替计算 SPD 与微调且推理可能要跑两个模型 …
该研究以单通道去混响为对象,先证实扩散式与判别式 NCSN++ 深层都学到房间脉冲响应可分的表示,再用对比预训练房间编码器经 FiLM 注入扩散模型,在 N=15 到 100 上提升 PESQ 与 DNSMOS 并加快收敛,代价是需要额外编码器与关闭 EMA 才能稳定训练。
论文用盲扩散去混响处理两库弱混响与强混响录音再经 35 个治疗室脉冲响应卷积,报告连续语音的嗓音排序与电平得到恢复而延持元音恢复有限,代价是第二次去混响对连续语音出现轻微高估且元音等效性不成立。
针对谱域生成把音高音色内容纠缠且语义条件与谱特征失配的问题,PhASE-Flow 把增强建模搬到 WavLM 表示域内、用高层语音内容表示条件化低层声学表示的流匹配并用独立训练的声码器重建波形,在 DNS 2020 无混响与有混响集上取得可核对的感知与可懂度收益,代价是依赖冻结大编码器与独立声码器且四步推理外的效率与幻觉边界仍有限。
针对谐波注意力依赖先验字典而清音恢复弱的问题,论文提出对注意力键和值做有限标量量化的无字典离散注意力,并在 TFGridNet 上验证其与谐波注意力的互补增益,最强组合在可见集提升 0.10 PESQ 与 0.56 dB SISNR,代价是前端与注意力替换带来的额外计算与结构复杂度。
针对解析训练态与自生 rollout 态的暴露偏差,纠正性强制用动态 rollout 纠正加反事实转移一致性统一后训练 SB-VE 与 OT-CFM,在 VoiceBank 上把 SB-VE 的 PESQ 从 3.07 提升到 3.21 并稳定多步 SI-SDR,代价是 UTMOS 提升有限且需额外 rollout 开销。
DriftSE 把语音增强写成潜空间分布对齐问题,用冻结编码器的帧级漂移场在训练时牵引生成分布、推理时丢弃漂移只做一次前向,在四个数据集上以 1 次函数求值取得词错误率最优,但纯声学潜空间会出现幻觉而非配对训练会损失语义保真度。
针对听音房间混响破坏高阶 Ambisonics 解码方向感的问题,作者把常规解码级联一个由闭合球面控制点房间脉冲响应求逆得到的串扰矩阵,在 26 扬声器仿真房间中使同通道能量在 500 Hz 到 4 kHz 高出约 10 dB,代价是依赖已知房间脉冲响应与高频预处理且频带外仍有串扰。