LoCA:给自回归流匹配语音合成的句子奖励做帧级分工
LoCA 针对整句奖励分不清局部内容错误、带符号回归容易过度拟合或过度排斥的问题,用语音识别对齐做帧级信用再分配并加双侧阈值控制,在 VoxCPM2 上把多语言 CV3 子集的内容误差降到 4.758% 并把说话人相似度提到 69.137,但结论只在所选评测子集和单种子单主干条件下成立。
LoCA 针对整句奖励分不清局部内容错误、带符号回归容易过度拟合或过度排斥的问题,用语音识别对齐做帧级信用再分配并加双侧阈值控制,在 VoxCPM2 上把多语言 CV3 子集的内容误差降到 4.758% 并把说话人相似度提到 69.137,但结论只在所选评测子集和单种子单主干条件下成立。
论文用交换与重跑定位陈述与疑问核语调由主干隐状态经深度模型写入波形,再用人类模仿语调拟合的均值差向量在生成循环内拨动结尾走向,多数录音跨过升降分界但代价是音质与精确调形受限。
共分析 34 篇语音/AI 论文
本文用两个学生模型和两种专家语音比较四种偏好目标与直接或分阶段桥接两种监督路线,发现目标对分数尺度敏感度不同,而固定专家序列的似然升降与生成可懂度变化并不一致,桥接只能缓解部分退化而不能稳定超越初始模型。
针对越南语多说话人条件流声学模型直接一步采样质量崩溃的问题,MixiSpeech 用 10→4→2→1 课程让一步学生拟合冻结教师的局部积分终点,在 100 组共享文本-说话人评测上恢复到接近 10 步教师的质量,而声学向量场评估降为 1 次、端到端耗时从 0.0662 s 降到 0.0312 s。
本文要解决会话式语音合成读不准罕见药名的问题,用词表扩展加音素增强微调学会读 ARPAbet 音素,再用无需训练的上一轮参考发音稳定输出,在 7,500 条药物评测上把严格正确率从 54.6% 提高到 90.7%,但人工听感优势只在小子集上成立且置信区间重叠。
SEAM 针对条件式 TTS 扩词时新词向量缺乏监督的问题,用子词序列的频谱低通滤波保留语序再以闭式岭回归对齐到预训练流形,在俄语、哈萨克语和法语上以更少微调数据达到接近基线的可懂度和主观偏好,但结论只在可分解、可转写且仍需微调的条件下成立。
VoxDub 针对自动视频配音缺嘴型对齐训练数据的问题,用语音为中心的切分加双识别转写核对与音质人脸同步过滤构建 76 万段中英数据,TTS 实验证明相对 LRS3 与 CN-CVS 可懂度与说话人相似度更好,而配音微调仅得到大致相当的主观同步。
共分析 57 篇语音/AI 论文
DriftTTS 针对多步声学模型推理慢的问题,把迭代采样搬到训练中用漂移目标学习从文本先验到梅尔谱的直接映射,在 LJSpeech 上一次解码达到接近多步基线的自然度和可懂度,但结论只在单说话人、相同声码器和评测条件下成立。
共分析 25 篇语音/AI 论文
ELARSpeech 从濒危语言档案馆整理出 30202 小时、675 种语言的语音,用标注与非标注两部分支撑识别与合成的低资源适配,并用表征评测指出已有大规模多语模型的迁移局限,代价是异构档案噪声与跨语联合训练的干扰。
论文把几分钟到几十分钟提示条件下不微调即复现韵律作为新任务,用 37 人双语基准和分维度指标检验以 32 个向量压缩长提示的参考系统,发现提示增至约 10 分钟多项韵律指标改善而更长后趋于饱和。
NIL-TTS 为解决噪声下合成语音听不清的问题,在流匹配语音合成主干上加入噪声感知通路,先用配对的 Lombard 数据做监督微调,再用 Flow-GRPO 以可懂度奖励直接优化,在 Seed-TTS 中英文评测中低信噪比下显著降低词错误率,而推理开销几乎不变。
针对掩码扩散模型一旦提交预测就不能修改而累积错误的问题,论文用分层二进制量化提供由粗到细的语音表示,并用生成式精修网络以真假混合输入训练和随机丢弃重预测的迭代方式修正错误,在匹配码本下优于有限标量量化,中文可懂度有优势但说话人相似度仍有代价。
针对全流式零样本语音合成在超过训练长度后发音和音色保持不住的问题,论文通过缩小注意力窗口并增强对声音提示的偏置,在不训练的情况下维持了长语音的稳定性和自然度,代价是发音准确率仍不及专门做长语音训练的模型。
共分析 69 篇语音/AI 论文
论文针对治疗师缺乏失语症沟通练习对象的问题,用失语症语料微调轻量非自回归语音合成模型并加入停顿口吃处理与向量偏移扩增说话人,在语速停顿和可懂度指标上复现了失语症特征,但结论只在五十句脚本合成与所选临床指标范围内成立。
论文针对只有一对参考文本语音时固定目标监督微调导致推理提前结束的问题,提出在当前策略采样轨迹上学习的 GRPO 和 OPSD,在 LLaSA-1B 与 Seed-TTS-Eval 英文子集上提高说话人相似度并保持可懂度,但 GRPO 每步耗时远高于 OPSD。
针对参考语音与待合成文本语言不同时无对齐模型按字节估计时长导致失配的问题,论文构建英语与九种印度语言双向评测基准,提出只在推理期引入语言平均每字符时长的修正策略,并在双语与多语 A-DMA 模型上用可懂度、相似度和自然度指标验证改进的范围与局限。