不微调也能演好角色:用双层控制向量同步“想法” 与“声音”
针对端到端语音角色扮演泛化差且损伤推理的问题,DeSRPA 在冻结的 Qwen3-4B 与 StyleTTS 2 上做推理时向量干预,在 SpeechRole 上以平均 0.8379 与 EEA 0.701 领先开源基线,代价是 TTFA 增至 577 ms 且 WER 为 2.63%。
针对端到端语音角色扮演泛化差且损伤推理的问题,DeSRPA 在冻结的 Qwen3-4B 与 StyleTTS 2 上做推理时向量干预,在 SpeechRole 上以平均 0.8379 与 EEA 0.701 领先开源基线,代价是 TTFA 增至 577 ms 且 WER 为 2.63%。
针对现代希腊语干净单人语料稀缺导致的多说话人平均音色漂移问题,论文用 WhisperX 对齐过滤的有声书管线加 Parler-TTS 两阶段适配解决,以确定性提示词加 3.5 小时单人 LoRA 达到词错误率 10.7% 和说话人一致性 4.24 分,代价是频谱保真度和目标说话人相似度仍有限且仅验证单一男性朗读风格。
论文针对俄语缺少工作室级对话表情语料的问题,构建 20.6 小时三人面对面表演的 Dialogs 并做 12 类逐句标注,用人群 MOS 证明录音质量不输读语音基线且表情与对话自然度更高,再以 VITS2 验证可训出对话感语音,代价是每人仅 4.4-9.9 小时且风格极不均衡。
针对零样本语音克隆要在质量与延迟之间权衡的问题,DiFlow-TTS 用音素到内容映射器管语言内容、用因子化离散流去噪器同时生成韵律和声学码本,在 470 小时 LibriTTS 训练下以 164M 参数取得 UTMOS 3.98 与 WER 0.05,但说话人相似度仍弱于大规模基线。
针对模块化看脸零样本合成在训练用语音嵌入、推理用脸嵌入导致身份漂移的问题,论文用去语料痕迹的说话人编码器加双向脸声对齐,并在声学模型训练中同时约束嵌入空间与共享身份空间的一致性,最强证据是在保持可懂度的同时提升说话人相似性与一致性,代价是三阶段训练与多组损失权重需要协同调试。
针对解码器语音大模型在长难文本上重复与漏读的稳定性幻觉,论文用最优对齐分数约束对齐头并用教师注意力伪对齐做思维链引导,在困难集上报告降低约 2.1% 与 1.6% 词错误率而日常集自然度未下降。
针对扩散情感语音只推高目标情感而缺少对竞争情感建模的问题,Emo-BPO 用同文本倒序情感对联合学习对齐与对比两个分数分支并在推理以后段增强的对比引导组合它们,在 ESD 与 EmoVoiceDB 上把情感相似度做到 99.23、平均自动情感识别准确率做到 0.87,代价是可懂度仍略逊于自回归大模型基线。
针对自然语言指令难以稳定控制细粒度情感类别与强度的问题,EmoInstruct-TTS 用 48 状态的 Emotion2embed 加 ICE-Flow 映射实现语义与声学双路控制,在 21 组强度与 27 类细粒度零样本任务上提升情感相似度与自然度,而去掉任一路都会下降且推理额外开销仅约 1 到 2%。
针对流匹配语音生成的音色泄漏与推理慢问题,论文用异构数据扰动切断语义 token 的声学捷径、用蒸馏加在线拉直消除分类器无关引导开销,在 3 步推理下实现约 3.25 倍加速并提升说话人相似度,代价是极端拉直带来轻微可懂度波动。
针对仅用参考语音或仅用文字描述难以精确改一项声学属性的问题,FineCombo-TTS 用统一声学表示加条件流匹配的方差预测器学习源到目标的相对变化,在 FineEdit 配对数据上把韵律、情感和音色控制精度提高,但可懂度和音色相似度仍需在较强引导下权衡。
针对对话式语音合成既要流式进文本又要低首包延迟的问题,FlashTTS 用滞后多轨道输入加并行多词元预测与两步 X 预测平均流解码,在 Minimax 子集上把首包延迟降到 325 ms,代价是五路并行时相似度和主观分下降且部分语言可懂度仍落后离线大模型。
针对冻结流匹配语音合成持续读错多语专有名词的问题,FlowEdit 冻结 DiT 只优化文本嵌入扰动并存入 Modern Hopfield 记忆,在 312 词基准上把目标词音素错误率降到 3.1% 且通用语音保持 4.1%,单次纠错约 15 秒但声调语言残留误差更高。
针对流匹配语音合成缺少在线强化学习的问题,该工作把 ODE 采样改写为 SDE 以获得随机性,再用组内相对优势同时优化说话人相似度、可懂度和感知质量,在 CosyVoice 3.0 上把中文 SS2 从 0.830 提升到 0.859,代价是只微调 FM 的 LoRA 参数且依赖现成奖励模型。
针对行政标签掩盖真方言差异导致评测失真的问题,GLAD-CSpeech 按《中国语言地图集》划分 16 个方言区 23 个点并分离真方言与带口音普通话,用 163.3 小时以上三层对齐语料在 ASR、TTS、DID 上报告基线,最强证据是 DID 微调后宏 F1 达 99.08% 而零样本仅 72.29%,代价是温州、梅县等非官话点 ASR 仍极难且长文本重 …
该工作针对阿姆哈拉语和阿凡奥罗莫语从零搭建录音室级多说话人语音合成数据与基于 SpeechT5 的微调流程,用 100 小时加 13 小时针对性数据的规模与主观平均意见分 4.65 和 4.43 证明语言学知情数据是关键,代价是同形异义消歧仍依赖规范化输入且未开源验证。
针对低帧率离散化丢失音色和微韵律的问题,论文用离散 token 做自回归骨架加单步连续残差精修,在 LibriTTS 上于 12.5 Hz 把 TTS 自然度从 1.99 拉回 4.10,代价是需维护双路编解码与两类损失的联合训练。
针对编解码语音合成后训练中多指标加权融合导致候选区分度弱的问题,论文用识别机器味输出的 ChatScorer 加间隔偏好构造来保留差距明显的样本,实验显示排序偏好优化在稳定性和坏样本率上优于基线,而代价是丢弃较多提示且在线强化在小数据下仍落后。
论文把近 10 万小时英语预训练的 F5-TTS 直接在 1417 小时 11 种印度语言上微调,用对照实验显示直接微调在总体 MUSHRA 73.4 上超过混入英语与从零训练,并以 10 小时每语言保留涌现能力为代价换来零资源语言的可扩展性。
该研究用同一批句子在朗读、助手、演员、动画角色和自发对话五种设定下同时测人类相似度和合适度,发现合适度随场景独立变化,最强的证据是人类相似度与合适度的句级相关从演员域正相关转为助手域负相关,而常用客观指标在表情丰富的域失效。
针对强零样本语音合成系统常规客观指标饱和、与人评排序脱节的问题,论文提出把本轮合成音频作为下一轮参考音频反复合成并聚合多轮指标的 I2D 框架,用十轮迭代把 UTMOSv2 系统级相关从 0.118 提升到 0.464,代价是合成与计算量成倍增加且更偏向稳定性而非多样性。