零样本

针对病理性语音的个性化语音重建，该文用带情景说明的最佳最差排序区分可懂度和整体重建，并用面向高可懂度分布与原始病理分布的双参照分布分数预测听感排序，代价是低可懂度重度组仍只有极少数零样本系统能超过原录音。

该文针对零样本语音合成中连续且随时间变化的情感控制问题，提出把效价唤醒优势三路低秩更新与正交约束注入主干并用 Flow-DGPO 做偏好对齐，在约 50 小时训练数据上提升情感跟随的同时保持可懂度和说话人相似度，但跨语言提示下说话人相似度仍有差距。

针对词级重音与语速控制易破坏全局自然度的问题，CraftTTS 用外部教师构造偏好数据再经 SFT 加 DPO 加 GRPO 渐进对齐，最强证据是完整模型在 NMOS 达 3.87 和 SPMOS 达 3.35 的同时 CER 为 7.01%，代价是 CER 与说话人相似度略低于原始 CosyVoice 2 个基线。

CtrlSpeech 针对整句级控制难以修改局部韵律的问题，在 DiTAR 连续声学建模上叠加全局说话人条件与音素对齐的音高、响度和时长信号，零-shot 可懂度和相似度与复现 DiTAR 相当，而显式控制使音高、响度和时长误差大幅下降，代价是纯文本时局部韵律仍不准且依赖基频提取与强制对齐质量。

该研究用 61 人 769 条德语语音日记同时比较声学与文本模型推断每日唤醒度效价与压力，文本模型在人群层面明显占优但仍偏向特质差异而非日内状态追踪且声学整体接近零效应。

针对零样本语音克隆要在质量与延迟之间权衡的问题，DiFlow-TTS 用音素到内容映射器管语言内容、用因子化离散流去噪器同时生成韵律和声学码本，在 470 小时 LibriTTS 训练下以 164M 参数取得 UTMOS 3.98 与 WER 0.05，但说话人相似度仍弱于大规模基线。

针对模块化看脸零样本合成在训练用语音嵌入、推理用脸嵌入导致身份漂移的问题，论文用去语料痕迹的说话人编码器加双向脸声对齐，并在声学模型训练中同时约束嵌入空间与共享身份空间的一致性，最强证据是在保持可懂度的同时提升说话人相似性与一致性，代价是三阶段训练与多组损失权重需要协同调试。

针对自然语言指令难以稳定控制细粒度情感类别与强度的问题，EmoInstruct-TTS 用 48 状态的 Emotion2embed 加 ICE-Flow 映射实现语义与声学双路控制，在 21 组强度与 27 类细粒度零样本任务上提升情感相似度与自然度，而去掉任一路都会下降且推理额外开销仅约 1 到 2%。

论文在只用成人语音训练、冻结自监督表示做儿童测试的严格零样本条件下，比较 Wav2Vec2、HuBERT 和 Data2Vec 逐层表示，证明最好词错误率相近的层误差结构、逐句最优选择和大模型纠错可恢复性并不一致，而互补表示的理想选择在失配更重的 CMU Kids 上增益更大，代价是单层选择不稳定且文本纠错几乎无效。

针对流匹配语音合成缺少在线强化学习的问题，该工作把 ODE 采样改写为 SDE 以获得随机性，再用组内相对优势同时优化说话人相似度、可懂度和感知质量，在 CosyVoice 3.0 上把中文 SS2 从 0.830 提升到 0.859，代价是只微调 FM 的 LoRA 参数且依赖现成奖励模型。

针对非平行语料无法直接做有监督变声的问题，该文用 WavLM 特征上的 K 近邻离线合成伪源再学回真实目标，并以波形级说话人验证损失约束身份，在仅英文训练下报告了英文身份指标优势与多语言可懂度优势，但感知质量与长参考稳定性仍有限且短参考鲁棒性依赖后训练声码器。

论文把近 10 万小时英语预训练的 F5-TTS 直接在 1417 小时 11 种印度语言上微调，用对照实验显示直接微调在总体 MUSHRA 73.4 上超过混入英语与从零训练，并以 10 小时每语言保留涌现能力为代价换来零资源语言的可扩展性。

针对强零样本语音合成系统常规客观指标饱和、与人评排序脱节的问题，论文提出把本轮合成音频作为下一轮参考音频反复合成并聚合多轮指标的 I2D 框架，用十轮迭代把 UTMOSv2 系统级相关从 0.118 提升到 0.464，代价是合成与计算量成倍增加且更偏向稳定性而非多样性。

针对批量内音频文本配对稀疏且跨模态一对一独热目标过硬的问题，该文用冻结编码器算出的文本间与音频间余弦相似度经混合作为跨模态软目标，并把交叉熵换成均方误差做回归，最强证据是小批量小数据条件下多任务检索与零样本分类累积排名超过基线，主要代价是不确定性估计与模态分类分支带来额外编码与调参负担。

针对构音障碍数据稀缺与说话人差异大，论文用单句注册的零样本声音克隆扩充训练集，在 TORGO 上把 Whisper-medium 从 31.62% 降到克隆微调 26.00%，混合微调 25.12%，并在 SAP-1102 跨库从 14.50% 降到 12.84%，但增益高度依赖严重程度且合成数据量超过 15 小时后不再提升。

针对神经编解码语言模型自回归解码中词元级伪影累积与偏离自然分布的问题，MSpoofTTS 冻结 NeuTTS2 等基座模型并用 5 个多分辨率词元级真伪判别器做分层剪枝与重排，在 LibriSpeech 和 LibriTTS 上把感知质量做到最好或次好，但以多候选并行解码的推理开销为代价。

论文把帧级语音直接映射为 22 维音系特征并以发音方式门控保证组合合法，在四种训练语言上以 91.3% 域内和 88.9% 域外平均宏 F1 超过同骨干 CTC 音素基线约 8.8 和 8.6 个点，未见语言平均从 66.9% 提升到 73.6%，代价是特征库存不含鼻化元音与腭化等对比且跨语迁移仍明显掉点。

MuseTimbre 冻结 Stable Audio 3 Medium 并用二值琴卷与微调 CLAP 分别控制音高与音色，在 304 对零样本复调迁移中报告音色命中 57.6% 且帧 F1 为 0.316，代价是音高保持仍低于 TokenSynth 类基线。

OmniVoice 针对两阶段文本到语义再到声学管线的误差传播与信息瓶颈问题，选择单阶段双向 Transformer 直接由文本预测多码本声学词元，并以全码本随机掩码与大语言模型初始化为关键手段，在 581k 小时开源多语数据上实现覆盖 600 余种语言，最强证据是中英文与 102 语可懂度接近真值，代价是长尾低资源语言仍依赖重采样与修复流水线且推理需 32 …

针对一步式交错时间戳会拖累转写质量的问题，论文用同一语音大模型先做纯转写再带时间戳复写，并以模块化低秩适配实现隔离训练，最强证据是英语平均 27.1 毫秒、多语 21.2 毫秒且词错误率与基座持平，代价是模块化分支需处理缓存复用与二次音频注入。