文本到语音

E3-System 针对零样本语音合成中文字意图缺乏声学依据、音色与风格纠缠的问题，用 1012 小时多语种 EmoData 构建风格空间、用 Style-RAG 把文字意图映射为语音风格提示、用 Dual-TTS 实现音色与风格解耦合成，在双提示条件下直接语音提示与检索文字控制分别达到不同的可懂度与相似度平衡。

针对扩散式情感合成只强化目标情绪而缺少对竞争情绪建模的问题，Emo-BPO 用同文本倒序情绪对联合学习对齐与对比两个分数分支并在推理时做对比引导，在 ESD 与 EmoVoiceDB 条件下提升了情绪与韵律相似度和主客观情绪准确率，而可懂度保持接近但未超过自回归大模型基线。

论文在土耳其语银行客服录音上比较只用真实数据、只用合成数据和真实加合成三种训练方式，发现只用合成远不如真实，真实加合成在 10 小时和 20 小时时明显降低词错误率而 50 小时收益消失，其中 Seed-VC 和 Vec2Wav2 的增广效果相对更好但多次重复转换会带来退化。

Drama 3 用混合线性注意力骨干加逐码本预测解码器把配音、修订、拼场和补录写成同一种对话，用单一人类偏好奖励做强化学习，在多语克隆和按需修改上测得可复述的提升，代价是更大的总参数和更复杂的推理工程。

GAMW 针对合成语音事后加水印易被复合处理抹除的问题，把内容自适应的多比特残差写进冻结 TTS 产生的梅尔谱再经冻结声码器发声，并用聚焦调节加动态逐比特加权学习解码，在两条 TTS 链路上保持语音质量的同时提升了单种与复合扰动下的解出率。

论文把图像、语音、文本、蛋白质序列与结构都写成固定二进制码，用同一套高斯加噪、按比特预测和部分去噪流程训练一个去噪器，通过控制哪些比特可见来切换联合生成与不同条件生成，并在受控加法、语音文本与蛋白质三组实验中验证一致性与主要代价。

论文把保留内容与韵律的单码本语音单元同时用作统一模型的输入与生成目标，在相同框架和数据下比较识别、判别与合成，并在问答微调后检验保留情况，但合成只用自动指标且局限于英语朗读语音。

NVVSpeech 挑战赛用中英双语 16 类非言语发声的统一任务比较了理解与可控生成的十个系统，发现呼吸与喘息最难、事件控制与字词保真存在权衡，自动评分与人工听感并不完全一致。

论文用 0.6B 双自回归模型做零样本语音克隆，以多语言微调打底、用词错误率和说话人相似度稳住内容和音色，再用对照真人录音的真实感评价模型做强化学习来提升韵律自然感，代价是需要配对真人参考并额外约束时长。

VoTSpeech 针对纯文字指令缺显式声音目标的问题，用流匹配预测连续声音隐变量并双路引导大语言模型与声学扩散变换器，在中文指令评测的描述风格与角色扮演任务上占优，但结论只在同一中文训练与统一评判条件下成立，且推理多出声音采样开销。

论文研究连续自回归语音模型如何构造偏好对、在哪个流噪声水平比较优劣以及更新主干还是声学头，发现在受试设置下固定声学头只更新主干后部能提升自动奖励，但训练损失最低并不对应生成语音最好。

共分析 146 篇语音/AI 论文

该研究用 18 个客观指标在同一土耳其语测试集上对比四个现代合成系统与 VITS 基线和自然录音，发现各系统分别在不同指标族领先且短句与长时漂移会改变结论，代价是只用客观指标且只覆盖单一说话人。

论文针对孟加拉语合成数据少且难以做零样本声音克隆的问题，用两层均衡语料加三步适配改造英语自回归语音基础模型，并用母语人评测证明自然度和克隆保真度的提升与适用边界。

论文用只在训练加替换、采样只用掩码的 DeMaR 检验零样本语音合成，发现字错率下降在不再改写已定词元时依然保留，而两种解码运行方式不同且原文未报告延迟对比。

论文用 AgenticTTS-Forge 让智能体在 CosyVoice2-0.5B 上复现并改进强化学习后训练，再转到声学解码器把坏例从 13.4% 降到 6.1%，但三处测量漏洞说明能走多远取决于测量合同是否覆盖智能体读过的每个通道。

DriftTTS 针对少步声学模型依赖教师蒸馏和固定轨迹的问题，用梅尔域分布匹配漂移力加同策略展开训练四步解码器，在 LJSpeech 上以相近客观指标和盲听自然度接近基线，代价是推理步数不能超过训练深度且长时稳定性仍需更多验证。

EDICT 用可训练的音色编辑器先产生共享的已编辑编解码参考，再用冻结语音合成主干分段生成并在边界重建 KV 缓存，TimbreEdit 与 IntraTTS 评测显示其编辑准确率和局部指令跟随更好，但内容误识率和未提及属性保持存在代价。

论文问文本表示能否保留有序规范内容，用信息分解与构造性反例说明视图一致和各向同性高斯几何不足以保证可恢复，再以 CANOPE 对照实验显示规范 token 监督在可恢复与自然损坏下实现近完美恢复而隐一致失败，并延伸到冻结语音读出仍有巨大词错误率差距，但端到端语音基线更强且语义泛化有限。

论文针对发布语音会被神经编解码、声码器和增强模型重建而抹掉水印的问题，提出在生成全程参与嵌入并在波形与频谱两路按比特选可靠恢复的 Thrive 框架，在两种自回归合成器上无攻击时比特准确率达 0.999，重建攻击下平均约 87.6%，代价是需要两阶段训练与双专家恢复结构。