语音转换

📄 NouveauVoice: Generating Novel Pseudo Speakers for Voice Anonymization #语音转换 #变分自编码器 #语音合成 5.9/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.1/0.5 | 工程 1/1.5 📝 5.9/10 | 前50% | #语音转换 | #变分自编码器 | #语音合成 | arxiv 👥 作者与机构 第一作者：Meiying Melissa Chen（论文未提供机构信息） 通讯作者：未说明 作者列表：Meiying Melissa Chen、Anastasia Kuznetsova、Zhenyu Wang、Zhiyao Duan（均未说明机构） 💡 毒舌点评 本文的"插件式"伪说话人生成思路巧妙，通过层次化VAE实现了可调节的匿名强度，工程实用性可圈可点。然而，实验对比对象仅为简单的GMM，完全回避了VoicePrivacy Challenge中B3、B4等主流匿名化基线，且训练与推理的大量关键超参数完全缺失，让该方法在顶会级别的竞争中显得说服力不足。更致命的是，匿名化后未见任何主观听感评测（MOS），生成分布与原始分布的MMD偏差也未被正面解释为自然度损失——审稿人会追问：你生成的伪说话人真的"好听"吗？ 📌 核心摘要 本文针对说话人匿名化中伪说话人身份多样性不足的问题，提出了基于层次化深度变分自编码器（NVAE）的伪说话人嵌入生成框架NouveauVoice，同时引入匿名强度可控的新维度。 方法核心是独立训练一个层次化VAE，学习说话人嵌入空间的分布。该生成器作为即插即用的插件模块，通过采样分层潜变量生成新的伪说话人嵌入，并将其注入现有语音转换（VC）系统实现匿名化，无需修改后端系统的结构或权重。 相比以往在特征空间扰动或用GMM采样的方法，NVAE通过分层条件先验提供了更丰富的说话人多样性，并且可通过渐进式替换不同数量的潜变量组来连续控制匿名化强度——这是此前工作不具备的能力。 在两个SOTA语音转换后端（FACodec与CosyVoice2）上评估，CosyVoice2-NV的EER达36.40%，WER为4.29%，UAR为42.53%；FACodec-NV的EER为38.26%，WER为7.56%，UAR为40.36%；整体上在匿名性与可懂度/情感保持间取得较优权衡。层次化控制实验表明，仅替换前2-3组潜变量即可获得大部分匿名增益，且对可懂度影响极小。 实际意义在于提供了一种轻量、可配置的隐私保护方案，能够以最小化修改将现有高质量语音合成与转换系统转化为说话人匿名化系统，降低了部署门槛。 主要局限性：缺少与VoicePrivacy Challenge强基线（如基于GAN的B3、基于码本的B4）的直接比较，且训练与推理的详细超参数几乎全部缺失，极大降低了可复现性。此外，未见对匿名化语音自然度的主观评测，生成伪说话人的感知质量存疑。 🔗 开源详情 代码：论文中未提及代码链接，仅声明"The demo will be available on GitHub page upon acceptance"。 模型权重：论文中未提及。 数据集：论文使用的数据集包括 LibriTTS（train-clean-100、train-clean-360、test-clean）、LibriSpeech（960h）、VoxCeleb、IEMOCAP，均为公开数据集，但未提供具体下载链接。 Demo：论文中未提及具体链接。 复现材料：论文中未提及。 论文中引用的开源项目： SpeechBrain ECAPA-TDNN 说话人验证模型：https://huggingface.co/speechbrain/spkrec-ecapa-voxceleb SpeechBrain wav2vec2 ASR 模型：https://huggingface.co/speechbrain/asr-wav2vec2-librispeech Facebook wav2vec2-large-960h-lv60-self 基础模型：https://huggingface.co/facebook/wav2vec2-large-960h-lv60-self SUPERB wav2vec2 情感识别模型：https://huggingface.co/superb/wav2vec2-base-superb-er scikit-learn RBF 核函数：https://scikit-learn.org/stable/modules/generated/sklearn.metrics.pairwise.rbf_kernel.html FACodec、CosyVoice2、CAM++ 等模型仅通过参考文献提及，论文未给出直接链接。 🏗️ 方法概述和架构 NouveauVoice的整体流程分为两个阶段：独立训练阶段，利用原始说话人嵌入训练层次化VAE（NVAE）以学习说话人身份分布；推理阶段，从训练好的NVAE中采样生成伪说话人嵌入，直接替换原有VC系统中的说话人嵌入，从而驱动VC系统输出匿名语音。 ...

📄 OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL #自监督学习 #生成对抗网络 #语音增强 #语音分离 #语音转换 7.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1.2/1 | 影响 1.3/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.5/10 | 前50% | #语音识别 | #自监督学习 | #生成对抗网络 #语音增强 | arxiv 👥 作者与机构 作者：Karl El Hajal (Idiap Research Institute, Switzerland; EPFL, Switzerland), Mathew Magimai.-Doss (Idiap Research Institute, Switzerland) 机构：Idiap Research Institute（瑞士），洛桑联邦理工学院（EPFL，瑞士） ...

📄 ProsoCodec: Prosody-Oriented Speech Codec for Voice Conversion #语音转换 #流匹配 #扩散模型 6.6/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.3/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 6.6/10 | 前50% | #语音转换 | #流匹配 | #扩散模型 | arxiv 👥 作者与机构 作者: Jeongsoo Choi, Ji-Hoon Kim, Shujie Hu, Joon Son Chung 机构: KAIST (韩国科学技术院), Chung-Ang University (中央大学), The Chinese University of Hong Kong (香港中文大学) ...

📄 RIVET: Robust Idempotent Voice Attribute Editing #语音编辑 #语音转换 #低资源 8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8/10 | 前50% | #语音转换 | #语音编辑 | #低资源 | arxiv 👥 作者与机构 Dareen Alharthi, Bhuvan Koduru, Rita Singh, Bhiksha Raj 卡内基梅隆大学 (Carnegie Mellon University) 💡 毒舌点评 这篇工作的出发点不错，抓住了语音编辑在大数据时代的一个真实痛点——脏标签。用“幂等性”这剂药方听起来也挺高大上，直觉上说得通。但仔细一看，这药方的“药效”和“适用症”证明得不够扎实。最大的问题是，作者自己搭了个简易擂台（去掉核心损失的自身架构），就宣布自己赢了。这就像只跟昨天的自己比赛，说服力打折扣。而且，对“年龄”这个属性，药效好像不太灵（在EARS上甚至变差了），论文却轻描淡写带过，没给出像样的病理分析。方法部分对模型“怎么做手术”的细节描述比较模糊，光给了个公式和示意图，让人不清楚这“潜在表示空间”的约束到底落在VITS的哪个部位。总之，想法有价值，但就像一篇刚完成初步临床试验的新药报告：看到了希望，但离证明其广泛有效性和弄清所有副作用，还有不少路要走。 📌 核心摘要 本文针对语音属性编辑模型因训练数据中的标签噪声而导致编辑不稳定和身份漂移的问题，提出了RIVET训练框架。其核心在于利用幂等性原理（\(f(f(x)) = f(x)\)）作为正则化。具体实现上，RIVET在模型的编码潜在表示空间（同时针对说话人嵌入和语音潜在表示）施加一致性约束，通过最小化原始编码与“编辑-重建”再编码之间的差异，使模型在噪声标签下也能学习到稳定的映射。实验表明，该方法能有效提升模型在自然噪声（GLOBE）和可控合成噪声（EARS）下的编辑成功率和说话人身份保持能力，尤其是在性别编辑和对抗噪声方面效果显著。 🔗 开源详情 代码：https://github.com/DareenHarthi/rivet (提供了完整的训练和评估代码) 模型权重：论文中未提及提供预训练模型权重。 数据集：论文使用GLOBE和EARS数据集，但未提供直接获取链接，需从官方渠道获取。 Demo：论文中未提及。 复现材料：论文中包含主要的训练细节（如优化器、学习率），但未提供具体的配置文件或脚本。 🏗️ 方法概述和架构 RIVET是一个端到端训练的语音属性编辑框架，其核心组件包括三个部分：说话人编码器、属性编辑模块和语音生成器，并通过引入幂等性损失进行联合优化。 ...

📄 Zero-VC: Zero-Lookahead Streaming Voice Conversion via Speaker Anonymization #语音转换 #流式处理 #生成对抗网络 6.1/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.1/10 | 前50% | #语音转换 | #生成对抗网络 | #流式处理 | arxiv 👥 作者与机构 Li Yudong, Fang Zihao, Qiu Junwen, Jing Ruihai, Shen Ruixiang, Wu Zhizheng. 机构：1. 香港中文大学（深圳） 2. 深圳湾区研究院 3. 深圳传音控股股份有限公司 4. Amphion Technology Co.,Ltd. ...

📄 DDPO-VC: Speaker De-Identification via Diffusion Denoising Policy Optimization #语音转换 #扩散模型 #强化学习 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 6.5/10 | 前50% | #语音转换 | #强化学习 | #扩散模型 | arxiv 👥 作者与机构 作者：Liming Wang, Cody Karjadi, Rhoda Au, James Glass 机构：MIT CSAIL；波士顿大学阿尔茨海默病中心 💡 毒舌点评 动机有点“既要又要”的浪漫主义——既要脱敏又要保真，尤其是在医疗数据上，这本身就是个两难困境。论文提出的RL方法算是条务实的路子，但离“通用解”还差得远。 实验设计还算扎实，和一堆主流方法（KNN-VC, LinearVC, TriAAN-VC, VEVO, FACodec, VALL-E）都比了，数据集也选了公认的ADReSS和FHS gold 92。但结果嘛，只能说赢了一部分，离“显著优于所有基线”还有距离，特别是在FHS gold 92的零样本设定上。 消融实验做了几项，聊胜于无。但关键的点，比如“可训练奖励教师”为什么在更嘈杂数据上会让零样本AUC下降？作者给出的解释（分布偏移）有点轻描淡写，这问题值得深挖。 自然度（UTMOS）和认知效用（AUC）经常不一致这个发现很有意思，点出了当前评估体系的盲点。但论文没进一步给出一个更好的综合评估指标，只是提了个醒。 开源态度不错，给了代码和Demo。但模型权重、训练好的教师模型、完整数据集预处理脚本都没给，想完美复现还是得自己折腾，减分。 📌 核心摘要 本文针对说话人去识别任务中隐私保护与下游任务效用（特别是认知健康评估）难以兼顾的挑战，提出了一种基于扩散模型（DDPM）与强化学习后训练（DDPO）的框架DDPO-VC。该方法无需对隐私与效用变量做解耦假设，而是通过组合来自隐私教师（说话人验证器）和效用教师（痴呆分类器）的奖励信号，直接优化扩散模型以生成既“匿名”又“保真”的语音。在ADReSS和FHS gold 92两个痴呆语音数据集上的实验表明，DDPO-VC在零样本和微调设定下的认知效用（AUC）和隐私保护（EER）上均能取得有竞争力的结果，并通过消融实验分析了教师类型、后训练技术（DDPO vs DPO）和奖励权重的影响。 ...

📄 SSL-GMMVC: Interpretable Voice Conversion via Locally Linear GMM Transforms in Self-Supervised Representation Space #语音转换 #高斯混合模型 #自监督学习 #低资源 6.8/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.6/1.5 | 复现 0.5/0.5 | 工程 0.4/1.5 ✅ 6.8/10 | 前50% | #语音转换 | #高斯混合模型 | #自监督学习 #低资源 | arxiv 👥 作者与机构 作者：Tomoya Tanabu, Hiroshi Nishijima, Daisuke Saito, Nobuaki Minematsu 机构：The University of Tokyo, Japan (东京大学) 邮箱：{tanabu,hiroshi,dsk_saito,mine}@gavo.t.u-tokyo.ac.jp ...

📄 TargetSEC: Plug-and-Play In-the-Wild Speech Emotion Conversion via Arousal-Conditioned Latent Style Diffusion #语音转换 #扩散模型 #自监督学习 6.8/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.8/10 | 前50% | #语音转换 | #自监督学习 | #扩散模型 | arxiv 👥 作者与机构 作者：Constantin Alexander Auga 机构：Hasso Plattner Institute / University of Potsdam, Potsdam, Germany 💡 毒舌点评 这篇工作挺扎实，属于“把已有好工具用对地方”的典范。用潜在扩散模型处理风格嵌入，而不是在声谱图上硬刚，这思路很聪明，直接避免了生成声谱图常见的相位撕裂问题，保住了语音自然度（WVMOS 3.25 vs. 2.56）。消融实验设计得很规矩，一步步把MLP换成扩散、再加说话人条件，证明了每一步都有收益。作者也很诚实地承认了自己方法在极端情绪（如极度愤怒或无聊）上的短板，因为没做时长预测，语速跟不上。但问题是，这论文的“新颖性”有点虚。说是“首次”在嘈杂环境SEC中用LDM，但本质上是把DreamVoice或PromptVC那套“文本驱动LDM生成风格”的框架，里的文本条件换成了情绪嵌入，再套上一个现成的SEC任务。这更像是工程上的适配和验证，理论或方法论上的突破有限。实验只做了客观指标，主观听感完全缺失，对于语音合成任务来说，这是个明显的评审漏洞。开源方面几乎为零，连复现的关键细节（如完整的损失权重、优化器设置）都没给，让“plug-and-play”打了折扣。 ...

📄 SwanVoice: Expressive Long-Form Zero-Shot Speech Synthesis for Both Monologue and Dialogue #语音合成 #语音转换 #数据增强 #变分自编码器 #扩散模型 #强化学习 #课程学习 🔥 8.9/10 | 前50% | #语音合成 | #变分自编码器 | #语音转换 #数据增强 | arxiv 学术质量 6.3/7 | 影响力 1.5/2 | 可复现性 1.1/2 | 置信度 高 👥 作者与机构 作者：Ruiqi Li (1), Yu Zhang (1), Changhao Pan (1,2), Ke Lei (1,2), Xiang Yin (1), Cheng Yang (1) 单位：1 ByteDance, 2 Zhejiang University 通讯作者及贡献：1为共同贡献，2为通讯作者（根据原文格式推断）。 💡 毒舌点评 这篇论文工整地完成了一个大型工业级语音合成系统应做的所有事：堆砌了看似合理的数据处理流程、模型架构和训练策略，最后在自建的Benchmark上宣称自己最好。其核心工作（SwanVoice模型本身）在架构上（VAE+Flow-matching DiT）并非独创，更多是工程上的整合与优化。最大的“贡献”似乎是那个数据处理管道（SwanData-Speech），但这更像是一个内部产品开发文档，而非可复用、可验证的学术方法。论文通篇都在强调“表现力”得分最高，但关键的“内容准确性”却是短板，这在一个语音合成系统中是相当尴尬的权衡。更值得玩味的是，评估所用的核心模型（如SpeechJudge）未开源，这使得其“表现力”领先的结论大打折扣。整篇论文更像是一份技术报告，而非一篇能推动领域进步的学术论文。 ...

📄 UNISON: A Unified Sound Generation and Editing Framework via Deep LLM Fusion #语音合成 #语音转换 #音频生成 🔥 8.2/10 | 前25% | #语音合成 | #语音转换 | #音频生成 | arxiv 学术质量 5.9/7 | 影响力 1.7/2 | 可复现性 0.6/2 | 置信度 高 👥 作者与机构 Zhaoqing Li, Haoning Xu (香港中文大学); Jingran Su (香港理工大学); Yaofang Liu (香港城市大学); Zhefan Rao, Haoxuan Che (香港科技大学); Huimeng Wang, Jiajun Deng, Tianzi Wang, Xunying Liu (香港中文大学); Zengrui Jin (清华大学); Rui Liu (华为香港研究中心)。论文同时列出了六所机构作为合作单位。 ...