用两个高频专用判别器管住带宽扩展的上频段:HFSWO 解读
带限语音缺失的高频需要补回但不能乱补,HFSWO 用幅度相位双流生成器加高频保护与加权评分配别管住高频能量出现频率和频谱形态,在英法数据上感知质量最好且参数比 AP-BWE 少约 74.6%,代价是训练更慢且部分波形指标并未全面占优。
带限语音缺失的高频需要补回但不能乱补,HFSWO 用幅度相位双流生成器加高频保护与加权评分配别管住高频能量出现频率和频谱形态,在英法数据上感知质量最好且参数比 AP-BWE 少约 74.6%,代价是训练更慢且部分波形指标并未全面占优。
Q-BWE 要从窄带语音恢复缺失高频,用五量子比特的量子混沌判别器一次建模多特征联合分布,并以 FiLM 条件与升余弦掩膜约束生成器,在 VCTK 与 MLS 上以约一半参数达到可比的过平滑与感知质量,但结论只在原文的单种子与多指标折中条件下成立。
论文发现重度退化下缩小自监督特征距离不再对应听感提升,并提出把恢复主干中间特征送入自监督模型的早期恢复注入,在 VoiceFixer 上保真与可懂度占优而感知质量保持竞争,代价是总参数增大但实时率仅小幅上升。
针对输入截止频率多变且多步采样太慢的问题,论文用截止感知的流桥学习多步轨迹,再蒸馏为一步生成器并做对抗细化,在 VCTK 多带宽上取得最低对数谱距离且只需 1.80M 参数和一次网络评估。
针对眼镜超声静音识别配对数据难收集的问题,论文用语音克隆 TTS 加两阶段生成器从文本合成回波包络与条纹,并在 104 小时合成数据预训练后把词错误率从 25.9% 降到 23.6%,叠加故障会话与解码后到 14.9%,代价是需要 TTS 语音、两阶段对抗训练与语言模型重打分。
该文把人声强度转换定义为按连续 dB SPL 目标改写 frozen 特征,再用条件循环 GAN 训练轻量转换器,WavLM 上实现约 83% 的目标强度变化,但绝对感知水平仍依赖源录音且韵律频谱改变量小于自然差异。
DMAD 针对少步学生需要拟合自身演化分布的高成本问题,用两个判别器头的对数密度比分类代替辅助分数拟合,在 ImageNet 单步 1.04、COCO 四步 14.47、Wan14B 四步 85.15 上取得对照内最优,但每步一次判别器更新与缓存教师样本等条件不可去掉。
该文针对开放词汇下每秒事件分类中视听相似度固定融合丢失自由度的问题,用复数卷积网络学习融合视听与文本相似度,并在冻结 ImageBind 上加 iHSV 与相位翻译两路辅助流,在 OV-AVEBench 未见类上达到 66.5/59.1/54.1% 的准确率/段级 F1/事件级 F1,代价是四流推理增加约 135 ms 延迟且跨数据集迁移不稳定。
Paradee 针对单音色 af_heart 把 Kokoro-82M 的文本侧与解码器分别蒸馏并直接拼接,在 200 句 held-out 上 UTMOS 4.41 接近教师 4.52,代价是保留 2-8 kHz 相位相关的轻微嗡嗡声并依赖相位锁定滤波做训练后修正。
该论文把音乐源复原拆成混合级修复、八轨分离和逐轨修复三步,用直接预测频谱的修复模型配合掩蔽式分离模型,在挑战赛测试集上验证每步的分工与代价,并指出验证集筛选的逐轨修复增益并不能稳定迁移到测试集。
针对高频重建局部难、平均型监督易漏掉稀疏失败的问题,该工作用 Swin-1D 格型生成器做幅度相位精修,并用三个轻量决策科学判别器补尾部与过亮监督,在 VCTK 与 MLS 法语上以更少参数取得更高的 NISQA-MOS,但 SI-SDR 等能量指标并未全面占优且实时因子略有增加。
论文以可听偏好为目标检验两种 PESQ 辅助损失,显示它们虽抬高匹配集上的 PESQ 与复合指标,却未改善多数独立指标并在主观盲听中被无 PESQ 模型稳定胜出,而复合指标的方差分析揭示其高度依赖 PESQ 本身。
针对窄带语音缺失高频且稀疏瞬态难以恢复的问题,UDSS-BWE 用双流 Swin-1D 格型生成器建模幅度和相位,并用五个决策科学与不确定性判别器做尾部敏感监督,在 VCTK 与 MLS 法语上以 18.5M 对 72M 的参数量取得更优感知质量,代价是训练期判别分支带来的额外开销。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对 10 dB 信噪比医院环境噪声下心音 S1、S2 与杂音被掩蔽的问题,CLEAR 依次用 Whisper 编码器取长程语义嵌入、掩码图注意力网络做乘性去噪、潜在生成对抗网络在嵌入空间修复连续性,最强证据是单个最优样本从 PESQ 1.0304、SI-SDR -29.3715 dB 恢复到 PESQ 4.6433、SI-SDR 64.3566 dB,代价 …
音乐源修复要同时解混与逆转非线性制作效果,DTT-BSR+ 用生成式 DTT-BSR 做分布拟合再用回归式 Demucs-L 做波形重建,在 MSRBench 上把八个声部的 MMSNR 全部提升并在五个声部超过 X-LANCE,但第二步会推高部分声部的 FAD 均值项。
EffVOC 用因果卷积加循环加逐级上采样的声码器结构,从幅度谱或梅尔系数直接生成宽带与全带语音波形,在 20 毫秒算法延迟下取得接近真值的 MOS 主观分,但小模型与梅尔输入在部分客观指标上仍有代价。
针对语音到 3D 人脸跨模态映射难与级联误差大的问题,ES-3DF 用几何纹理解耦加双分支对齐与多槽记忆对比学习直接重建带纹理 3D 脸,在地标与身份特征指标上优于 CMP 与 VoiceStyle,代价是唇部等动态部位推断仍不适定且依赖受限数据集。
LavaSR 把 8-48 kHz 输入先重采样到 48 kHz 再用 Vocos 式生成器补高频并用平滑交叉精修拼接,在 VCTK 上以 0.85 的 8→48 kHz 对数谱距离持平强基线,代价是相位精细度略逊于双分支结构但 CPU 与 GPU 吞吐高出一个数量级以上。
针对单通道语音增强中轻量化导致相位建模退化的问题,QC-GAN 用四元数 Conformer 生成器加 MetricGAN 判别器,在 VoiceBank+DEMAND 上以 0.89M 参数达到 PESQ 3.48,以 35K 参数达到 3.23,代价是四元数运算带来更高的实数乘加量与 CPU 负担。