语音转换

针对非平行语料无法直接做有监督变声的问题，该文用 WavLM 特征上的 K 近邻离线合成伪源再学回真实目标，并以波形级说话人验证损失约束身份，在仅英文训练下报告了英文身份指标优势与多语言可懂度优势，但感知质量与长参考稳定性仍有限且短参考鲁棒性依赖后训练声码器。

针对自监督语音离散化会丢信息的问题，论文在训练保持硬聚类、推理改用簇后验加权嵌入，在 ASR 与语音合成上优于硬赋值并在非母语等域外数据上更稳，代价是推理要算全簇距离并为每任务调温度参数。

针对时间对齐的电喉转自然语音数据稀缺问题，该研究用 13 分钟真实电喉语音把预训练任意到多说话人转换模型先微调为自然到电喉合成器以批量生成合成平行数据，再用合成数据监督微调出可转多目标音色的一到多电喉到自然模型，最强证据是合成电喉语音的频谱失真和转换后语音的韵律与可懂度优于基线，代价是仍需预训练转换模型与大规模自然语音库且对特殊音素与情感韵律覆盖不足。

针对说话人识别训练压制同一人差异而损害语音生成表现力的问题，该文提出每人学多个子中心的判别训练，并在零样本声音转换上显示高方差配置提升可懂度和自然度，同时保持验证性能，但低方差配置在说话人相似度上更有优势。

针对带噪语音中语音与噪声在声学空间纠缠导致高频衰减和频谱空洞的问题，Seed-Enh 把增强拆到语义空间与音色空间分别处理再用流匹配融合，在 DNS 盲测与 LibriTTS+wham 上取得最高的整体质量分 3.095 与 3.193，代价是字符错误率仍高于判别式基线且对干净参考仍有依赖。

针对录音自语音不自然问题，论文用浏览器交互系统 SELFIX 把搜索约束到音高、声道长度和两种滤波器共四个可感知维度，在 25 人概念验证中发现一致的低频提升和男性特有的降调加长声道，而多滑块组合进一步提高了匹配评分。

针对自监督特征上单次全局线性映射难以适应不同音素局部结构的问题，该文用联合高斯混合的后验加权仿射变换做语音转换，在 CMU ARCTIC 六人互转上以说话人相似度提升为最强证据，代价是混合数增大后高维参数估计不稳定且小数据下无约束模型会出现可懂度和自然度退化。

针对歌曲生成缺零样本音色克隆而歌声转换缺人声伴奏协同的问题，UniSinger 用多模态扩散变换器加跨任务说话人空间与四阶段课程掩码统一两任务，在发音错误率和音色相似度上取得最优，但伴奏联合建模仍带来可测的基线指标下降。

论文把闭集语音内容因子化扩展为通用线性映射，用最小二乘求通用语音到内容矩阵并以数秒目标语音估计说话人矩阵，在保持可懂度和自然度的同时付出说话人相似度弱于闭集与检索基线的代价。

针对流式语音转换中冻结声纹嵌入与帧级声学生成失配的问题，VOSSA 从冻结内容编码器中间层经注意力统计池化提取声纹并与转换目标联合训练，在六个数据集上以相近的 NISQA-MOS 和 WER 换来更高的归一化目标相似度、更小的 F0 误差和更小的元音 F1 分布距离，代价是仍需双路径重建加对比约束联合优化且推理仍保持约 73 ms 延迟。

针对二语者实时口音转换需要低延迟、保内容和保音色的问题，AccentDrift 用稀疏语义分词剥离韵律、用口音适配器与音色适配器分层注入风格，在 0.5 秒级流式延迟下把词错误率做到 6.27 并保持说话人相似度 0.72，代价是仍需多阶段缓存与前视带来的固定延迟。

针对电话退化下说话人无法自知不清的问题，Coco-VC 在听者端用电话增强加双教师蒸馏做流式转换，在 FLEURS-8k 模拟电话上把词错误率从 0.451 降到 0.338，代价是在该严重噪声下主观质量略低且依赖大规模域内数据与解码器条件。

DECRA 针对流式匿名会泄漏情感且离线情感转换无法逐帧调控的问题，用 TVTSyn 骨干加情感解耦与因果 SER 预测的连续效价唤醒轨迹做合成条件，在 ESD 中性化与转换上唤醒一致性达到 0.81 与 0.74 而流式延迟为 76.1 ms，代价是效价控制弱且主观音质低于离线基线。

该工作把人到非人声音转换定义为保留源内容并复刻参考设计音色的任务，用 40 见过与 7 未见过预设和见过与未见过音色源构造配对测试，并以代表性模型的余弦相似度从 0.667 降到 0.610 和 MOS 从 3.81 降到 3.49 为代价展示泛化难度。

针对流式零样本变声在小块下质量退化与参考音频敏感问题，MeanVC 2 用未来感受分块与通用音色令牌编码器实现 40 毫秒块稳定转换，报告显示端到端首包延迟从 211 毫秒降到 110 毫秒左右，但单步解码的计算量略有增加。

针对一步零样本语音转换中固定重型内容编码器成为推理瓶颈的问题，MeanVoiceFlow2 用可训练轻量内容编码器与学生平均速度网络联合学习，以转换蒸馏加真实数据重建、扩散判别器混合对抗和教师引导条件增强为手段，在保持说话人相似度的代价约束下把推理实时率降低约 9 倍并提升感知质量。

MSR-Codec 用语义、音色、韵律与残差四路级联残差结构在 62.5 tokens 每秒下做高保真重建，并用两阶段语言模型做文本到语音，其代价是信号级细节指标仍受码率限制且部分实现细节未完全报告。

针对局部 token 残留说话人信息与韵律丢失的矛盾，SDP-Codec 用连续 vq-wav2vec 特征加紧凑单码本做内容瓶颈、归一化 F0 注入与软标签基频重建恢复韵律，并在单阶段训练下以 0.45-0.52 kbps 取得可比的重建与更强的零样本变声，但 16 kHz 大模型的重建词错误率仍高于部分基线。

StyleStream 用带文本监督和 45 码紧瓶颈的去风格器抽取内容，再用非自回归扩散变换器重上目标风格，在 3000 对测试上把可懂度和三种风格相似度做到最高，代价是需要 5 秒目标上下文和 600 毫秒分块带来的约 1 秒端到端延迟。

针对嗓音质量语用功能难于快速假设与验证的问题，论文用微调的 VoiceQualityVC 加 Streamlit 交互界面实现词级嘶哑、气息、鼻音调节，以约 17 小时 20 分高表现力语料和 45k 步微调为代价换来可直接对比的刺激生成能力。