零样本

针对零样本语音克隆要在质量与延迟之间权衡的问题，DiFlow-TTS 用音素到内容映射器管语言内容、用因子化离散流去噪器同时生成韵律和声学码本，在 470 小时 LibriTTS 训练下以 164M 参数取得 UTMOS 3.98 与 WER 0.05，但说话人相似度仍弱于大规模基线。

针对模块化看脸零样本合成在训练用语音嵌入、推理用脸嵌入导致身份漂移的问题，论文用去语料痕迹的说话人编码器加双向脸声对齐，并在声学模型训练中同时约束嵌入空间与共享身份空间的一致性，最强证据是在保持可懂度的同时提升说话人相似性与一致性，代价是三阶段训练与多组损失权重需要协同调试。

针对自然语言指令难以稳定控制细粒度情感类别与强度的问题，EmoInstruct-TTS 用 48 状态的 Emotion2embed 加 ICE-Flow 映射实现语义与声学双路控制，在 21 组强度与 27 类细粒度零样本任务上提升情感相似度与自然度，而去掉任一路都会下降且推理额外开销仅约 1 到 2%。

论文在只用成人语音训练、冻结自监督表示做儿童测试的严格零样本条件下，比较 Wav2Vec2、HuBERT 和 Data2Vec 逐层表示，证明最好词错误率相近的层误差结构、逐句最优选择和大模型纠错可恢复性并不一致，而互补表示的理想选择在失配更重的 CMU Kids 上增益更大，代价是单层选择不稳定且文本纠错几乎无效。

针对流匹配语音合成缺少在线强化学习的问题，该工作把 ODE 采样改写为 SDE 以获得随机性，再用组内相对优势同时优化说话人相似度、可懂度和感知质量，在 CosyVoice 3.0 上把中文 SS2 从 0.830 提升到 0.859，代价是只微调 FM 的 LoRA 参数且依赖现成奖励模型。

针对非平行语料无法直接做有监督变声的问题，该文用 WavLM 特征上的 K 近邻离线合成伪源再学回真实目标，并以波形级说话人验证损失约束身份，在仅英文训练下报告了英文身份指标优势与多语言可懂度优势，但感知质量与长参考稳定性仍有限且短参考鲁棒性依赖后训练声码器。

论文把近 10 万小时英语预训练的 F5-TTS 直接在 1417 小时 11 种印度语言上微调，用对照实验显示直接微调在总体 MUSHRA 73.4 上超过混入英语与从零训练，并以 10 小时每语言保留涌现能力为代价换来零资源语言的可扩展性。

针对强零样本语音合成系统常规客观指标饱和、与人评排序脱节的问题，论文提出把本轮合成音频作为下一轮参考音频反复合成并聚合多轮指标的 I2D 框架，用十轮迭代把 UTMOSv2 系统级相关从 0.118 提升到 0.464，代价是合成与计算量成倍增加且更偏向稳定性而非多样性。

针对批量内音频文本配对稀疏且跨模态一对一独热目标过硬的问题，该文用冻结编码器算出的文本间与音频间余弦相似度经混合作为跨模态软目标，并把交叉熵换成均方误差做回归，最强证据是小批量小数据条件下多任务检索与零样本分类累积排名超过基线，主要代价是不确定性估计与模态分类分支带来额外编码与调参负担。

针对构音障碍数据稀缺与说话人差异大，论文用单句注册的零样本声音克隆扩充训练集，在 TORGO 上把 Whisper-medium 从 31.62% 降到克隆微调 26.00%，混合微调 25.12%，并在 SAP-1102 跨库从 14.50% 降到 12.84%，但增益高度依赖严重程度且合成数据量超过 15 小时后不再提升。

针对神经编解码语言模型自回归解码中词元级伪影累积与偏离自然分布的问题，MSpoofTTS 冻结 NeuTTS2 等基座模型并用 5 个多分辨率词元级真伪判别器做分层剪枝与重排，在 LibriSpeech 和 LibriTTS 上把感知质量做到最好或次好，但以多候选并行解码的推理开销为代价。

论文把帧级语音直接映射为 22 维音系特征并以发音方式门控保证组合合法，在四种训练语言上以 91.3% 域内和 88.9% 域外平均宏 F1 超过同骨干 CTC 音素基线约 8.8 和 8.6 个点，未见语言平均从 66.9% 提升到 73.6%，代价是特征库存不含鼻化元音与腭化等对比且跨语迁移仍明显掉点。

MuseTimbre 冻结 Stable Audio 3 Medium 并用二值琴卷与微调 CLAP 分别控制音高与音色，在 304 对零样本复调迁移中报告音色命中 57.6% 且帧 F1 为 0.316，代价是音高保持仍低于 TokenSynth 类基线。

OmniVoice 针对两阶段文本到语义再到声学管线的误差传播与信息瓶颈问题，选择单阶段双向 Transformer 直接由文本预测多码本声学词元，并以全码本随机掩码与大语言模型初始化为关键手段，在 581k 小时开源多语数据上实现覆盖 600 余种语言，最强证据是中英文与 102 语可懂度接近真值，代价是长尾低资源语言仍依赖重采样与修复流水线且推理需 32 …

针对一步式交错时间戳会拖累转写质量的问题，论文用同一语音大模型先做纯转写再带时间戳复写，并以模块化低秩适配实现隔离训练，最强证据是英语平均 27.1 毫秒、多语 21.2 毫秒且词错误率与基座持平，代价是模块化分支需处理缓存复用与二次音频注入。

针对未见关键词与未见说话人双重零样本问题，ZP-KWS 用音素监督的关键词分支与 GE2E 预训练的紧凑声纹分支做乘法晚融合，在 LibriPhrase Easy 目标专属模式下把 FRR@1% 从 PK-MTL 的 72.79% 降到 29.47%，代价是保留约 1.55M 参数与阈值调节依赖。

该文把语码切换识别当作可验证奖励问题，用组相对策略优化在仅一成合成语码切换语音上训练，以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系，并用两遍起草加改写让模型再听一次，二十成数据在人工录制的双语测试上超过全量低秩监督微调，但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。

针对连续隐表示在重建保真与合成可懂度之间的权衡，论文提出在变分自编码器隐空间加语义对齐正则的 Semantic-VAE，在 LibriSpeech-PC 上以 2.10% 词错率和 0.64 说话人相似度超过梅尔谱与普通声学变分自编码器基线，而重建质量与普通变分自编码器基本持平。

该文用实时磁共振影像直接估计梅尔谱并合成波形，问题是未见说话人能否不依赖参考语音保留语言内容，方法是用跨模态说话人嵌入引导影像分支学习说话人特征，最强证据是朗读语音的差分词错误率在部分测试说话人上降到约 8% 附近，代价是绝对基频和同性别说话人区分仍受限。

STSR 把超分放在 MDCT 域用分层谱注意力建长程谐波、用稀疏感知损失保瞬态、用只看高频的混合判别器加压，VCTK 平均 LSD 做到 0.79 且参数仅 66.2M，代价是仍依赖受控语料与重采样评估。