用低频子带先验带路:SCNet 如何让黑盒声码器先看清再重建
针对梅尔谱到波形重建中频谱细节丢失与相位卷绕监督不准的问题,SCNet 用低频子带条件网络提供频域先验并用幅度加权相位损失强调高能量区,在域内与跨域评测上优于同量级基线,代价是引入双分支与耦合模块的额外计算。
针对梅尔谱到波形重建中频谱细节丢失与相位卷绕监督不准的问题,SCNet 用低频子带条件网络提供频域先验并用幅度加权相位损失强调高能量区,在域内与跨域评测上优于同量级基线,代价是引入双分支与耦合模块的额外计算。
STSR 把超分放在 MDCT 域用分层谱注意力建长程谐波、用稀疏感知损失保瞬态、用只看高频的混合判别器加压,VCTK 平均 LSD 做到 0.79 且参数仅 66.2M,代价是仍依赖受控语料与重采样评估。
该文在固定 BigVGAN 的 F5-TTS 管线中用配对重合成把检测分离归因到声学梅尔生成,再用不含检测器的对抗微调抬高固定检测器的等错误率,并用只见过微调输出的检测器适应把两类输出重新检出,代价是遗留基准性能随适应语料不同而回落。
该文研究无配对语音增强中干净语音与噪声先验失配导致的源泄漏问题,采用同时建模语音和噪声的双分支对抗框架,在 VCTK 加 Demand 基准上以 PESQ 2.58 和 COVL 3.08 取得可比最优感知质量,代价是 CBAK 偏低且依赖域内先验数据。
该文在 VPC2024 B3 重合成框架下研究 128 维 GST 说话人向量的可控合成,用条件 WGAN-QC 和分类器引导扩散实现性别控制,在保持 EER 与 WER 基本相当的同时把性别准确率做到 90% 以上,但男性引导尺度增大时会出现 WER 明显上升的代价。
针对自动语音识别错误导致意图分类语义失真的问题,论文用先在干净转写上训练教师再冻结指导学生去噪与判别蒸馏的三元对抗框架,在 SLURP 噪声条件下相对 GAN-BERT 取得 4.49% 和 6.46% 绝对提升,代价是分阶段训练与多系数联合调参。
针对穿玻璃墙采集的 -5 dB 到 -1 dB 带限毫米波雷达语音,本文用预训练学带宽扩展加微调学抗噪的两阶段 RAD-GAN 实现 1 kHz 到 4 kHz 重建,最强证据是加权分 0.333 超过 WaveVoiceNet 的 0.260 和 HiFi-GAN 的 0.288,代价是 87,000,536 参数与两阶段共约 20 小时单卡训练。
该研究用 BigVGAN 单元声码器在孟加拉语、印地语、泰米尔语和泰卢固语上对比聚类数与说话人及语言条件,显示增大聚类数主要提升可懂度而显式说话人条件决定音色保持,小聚类下语言监督才有附加增益,但大聚类下附加语言条件可能无益甚至轻微损伤。
针对 GAN 声码器域内保真与未见场景泛化不足的问题,论文提出用语音自监督表示辅助的质量差距加相对配对反馈的训练目标 RAF,在 LibriTTS 训练并在多未见集验证,最强证据是 RAF 版 BigVGAN-base 在感知指标上超过参数量约 8 倍的 LSGAN 版 BigVGAN,代价是训练需更长片段、自监督模型与梯度惩罚带来更高训练开销。
针对噪声、混响、限带与削波并存的通用语音修复问题,SEMamba++ 以频率 GLP 模块、多分辨率并行时频双路径块与可学习 softplus 映射改进 SEMamba,在 VCTK-GSR 与多个域外集上提升感知质量,而代价是频率轴线性操作限制了采样率无关部署。
Zero-VC 针对流式零样本声音转换中音色泄漏与韵律保留难以兼得且基频补偿引入前视延迟的问题,用说话人匿名化做扰动并配全因果编码解码器,在 20 毫秒单帧算法延迟下取得源相似度 0.171、目标相似度 0.521 与 FPC 0.688,代价是可懂度略逊于最优非流式基线且训练仍依赖外部匿名化模块。
针对历史音乐带限与噪声并存且修复标准主观的问题,RESTORE 用单次前向的六轨语义分解加独立高频生成实现可调修复,在合成与 78 转历史录音上以 FAD 与可控性为证据,代价是仍需两阶段对抗训练与配对仿真监督。
针对无平行干净-带噪数据时的语音增强问题,UFL-GAN 用话语级与帧级双判别器加 APC 辅助特征约束 NTVF 生成器,在 VoiceBank+DEMAND 上达到 PESQ-WB 2.64 等接近领先无监督方法水平,但仍需非平行干净语音且未验证混响与削波。
共收录 118 篇 jep-2026 会议论文的 Reader 深度解读
针对大模型预测高码率语音 token 难、表达性数据难对齐的问题,Kraken 用 25 Hz 单层 VQ 低码率 token 加 LLM 与声码器双路源语音条件,在 150k 小时多任务数据上实现可复述的端到端语音到语音翻译,并在 FLEURS 与 CVSS 上保留说话人与韵律,代价是音频质量指标弱于用理想参考音色的大模型。
针对梅尔谱缺相位信息导致相位一对多难学的问题,PhaseGAN 用插值加 ICCRN 先恢复幅度谱再用 R3-GAN 生成相位谱,在 LJSpeech 上报告 UTMOS 4.238 等最优感知指标,代价是两阶段分别训练且推理仍需 6.42G 量级计算。
论文把法语 WavLM 到波形的重建作为连续语音转换的前置步骤,对比只用谱损失与加入多周期多尺度对抗监督的 HiFi-GAN vocodeur,并在 15 个未见说话人样本上用谱、感知和基频指标验证对抗监督带来一致增益,同时以可学习的层融合分析各层贡献。
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
针对广义零样本声事件分类中未见类被大量判为已见类的问题,论文用属性条件 GAN 生成未见类隐特征训练分类器,再以类级分布外检测做分流与概率融合,在 RWCP-SSD 上把调和平均从 36.2 提高到 78.7,代价是类级检测器数量与阈值调节成本增加。
针对事件相机记录的语音致振恢复语音的问题,论文提出两阶段振动到语音模型 EV2A,用 8 个 8×8 感兴趣区域做视觉前端加语音增强端到端训练,在真实薯片袋振动数据上相对事件版视觉麦克风降低词错误率 0.48 但仍保留金属感与表示损失等代价。