匿名也要可控:用条件 WGAN 与分类器引导扩散生成性别可控的伪说话人向量
该文在 VPC2024 B3 重合成框架下研究 128 维 GST 说话人向量的可控合成,用条件 WGAN-QC 和分类器引导扩散实现性别控制,在保持 EER 与 WER 基本相当的同时把性别准确率做到 90% 以上,但男性引导尺度增大时会出现 WER 明显上升的代价。
该文在 VPC2024 B3 重合成框架下研究 128 维 GST 说话人向量的可控合成,用条件 WGAN-QC 和分类器引导扩散实现性别控制,在保持 EER 与 WER 基本相当的同时把性别准确率做到 90% 以上,但男性引导尺度增大时会出现 WER 明显上升的代价。
针对自动语音识别错误导致意图分类语义失真的问题,论文用先在干净转写上训练教师再冻结指导学生去噪与判别蒸馏的三元对抗框架,在 SLURP 噪声条件下相对 GAN-BERT 取得 4.49% 和 6.46% 绝对提升,代价是分阶段训练与多系数联合调参。
针对穿玻璃墙采集的 -5 dB 到 -1 dB 带限毫米波雷达语音,本文用预训练学带宽扩展加微调学抗噪的两阶段 RAD-GAN 实现 1 kHz 到 4 kHz 重建,最强证据是加权分 0.333 超过 WaveVoiceNet 的 0.260 和 HiFi-GAN 的 0.288,代价是 87,000,536 参数与两阶段共约 20 小时单卡训练。
该研究用 BigVGAN 单元声码器在孟加拉语、印地语、泰米尔语和泰卢固语上对比聚类数与说话人及语言条件,显示增大聚类数主要提升可懂度而显式说话人条件决定音色保持,小聚类下语言监督才有附加增益,但大聚类下附加语言条件可能无益甚至轻微损伤。
针对 GAN 声码器域内保真与未见场景泛化不足的问题,论文提出用语音自监督表示辅助的质量差距加相对配对反馈的训练目标 RAF,在 LibriTTS 训练并在多未见集验证,最强证据是 RAF 版 BigVGAN-base 在感知指标上超过参数量约 8 倍的 LSGAN 版 BigVGAN,代价是训练需更长片段、自监督模型与梯度惩罚带来更高训练开销。
针对噪声、混响、限带与削波并存的通用语音修复问题,SEMamba++ 以频率 GLP 模块、多分辨率并行时频双路径块与可学习 softplus 映射改进 SEMamba,在 VCTK-GSR 与多个域外集上提升感知质量,而代价是频率轴线性操作限制了采样率无关部署。
Zero-VC 针对流式零样本声音转换中音色泄漏与韵律保留难以兼得且基频补偿引入前视延迟的问题,用说话人匿名化做扰动并配全因果编码解码器,在 20 毫秒单帧算法延迟下取得源相似度 0.171、目标相似度 0.521 与 FPC 0.688,代价是可懂度略逊于最优非流式基线且训练仍依赖外部匿名化模块。
针对历史音乐带限与噪声并存且修复标准主观的问题,RESTORE 用单次前向的六轨语义分解加独立高频生成实现可调修复,在合成与 78 转历史录音上以 FAD 与可控性为证据,代价是仍需两阶段对抗训练与配对仿真监督。
针对无平行干净-带噪数据时的语音增强问题,UFL-GAN 用话语级与帧级双判别器加 APC 辅助特征约束 NTVF 生成器,在 VoiceBank+DEMAND 上达到 PESQ-WB 2.64 等接近领先无监督方法水平,但仍需非平行干净语音且未验证混响与削波。
共收录 118 篇 jep-2026 会议论文的 Reader 深度解读
针对大模型预测高码率语音 token 难、表达性数据难对齐的问题,Kraken 用 25 Hz 单层 VQ 低码率 token 加 LLM 与声码器双路源语音条件,在 150k 小时多任务数据上实现可复述的端到端语音到语音翻译,并在 FLEURS 与 CVSS 上保留说话人与韵律,代价是音频质量指标弱于用理想参考音色的大模型。
针对梅尔谱缺相位信息导致相位一对多难学的问题,PhaseGAN 用插值加 ICCRN 先恢复幅度谱再用 R3-GAN 生成相位谱,在 LJSpeech 上报告 UTMOS 4.238 等最优感知指标,代价是两阶段分别训练且推理仍需 6.42G 量级计算。
论文把法语 WavLM 到波形的重建作为连续语音转换的前置步骤,对比只用谱损失与加入多周期多尺度对抗监督的 HiFi-GAN vocodeur,并在 15 个未见说话人样本上用谱、感知和基频指标验证对抗监督带来一致增益,同时以可学习的层融合分析各层贡献。
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
针对广义零样本声事件分类中未见类被大量判为已见类的问题,论文用属性条件 GAN 生成未见类隐特征训练分类器,再以类级分布外检测做分流与概率融合,在 RWCP-SSD 上把调和平均从 36.2 提高到 78.7,代价是类级检测器数量与阈值调节成本增加。
针对事件相机记录的语音致振恢复语音的问题,论文提出两阶段振动到语音模型 EV2A,用 8 个 8×8 感兴趣区域做视觉前端加语音增强端到端训练,在真实薯片袋振动数据上相对事件版视觉麦克风降低词错误率 0.48 但仍保留金属感与表示损失等代价。
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
CIS-BWE 针对带限语音缺失高频的问题,用双流 ConformerNeXt 生成器并行恢复幅度和相位,再用李雅普诺夫与去趋势涨落两类混沌判别器约束非线性动态,在 VCTK 与 MLS 上以约一半生成参数取得更优感知质量,代价是训练期李雅普诺夫特征计算使单轮训练时间明显增加。
该文把声码器从条件生成改写为从梅尔退化观测恢复目标谱的两步优化,用可学习伪逆做初始化加分频大核卷积注意力做深层先验,在 3.89M 参数下报告了优于 112M 量级基线与流匹配基线的质量,同时代价是仍需 GAN 判别器训练与多损失调参。