论文解读

同一句话为何重读不同词:CAST 检验语音合成是否真懂上下文

论文用相同句子配对立上下文来检验词级重音,报告显示纯文本模型能从上下文推断重音而所有受测语音合成系统都难以在语音中稳定实现,显式标注也只是不完美的上界。

 · 更新于 2026-10-15 · 约 17 分钟 · 8148 字 阅读 →
论文解读

把无条件向量换成可学习的:语音合成中更稳的分类器无关引导

该研究把固定零向量换成每个条件独立可学习的空嵌入并解耦说话人与文本引导,在相同模型与训练条件下提升说话人相似性与稳定性且在大引导权重下更稳,代价是绝对感知质量分数略降且需在推理时手工权衡相似性与自然度。

 · 更新于 2026-10-15 · 约 16 分钟 · 7747 字 阅读 →
论文解读

同一句话既定身份又定印象时,合成音为何被参考音拽偏

针对声音印象数值控制中无公开语料与参考音频导致印象泄露的问题,论文构建 LibriTTS-VI 并提出双话语解耦训练与无参考生成,最强证据是 11 维印象均方误差客观从 0.61 降到 0.41、主观从 1.15 降到 0.92,代价是无参考方法说话人相似度略降且部分维度仍难控。

 · 更新于 2026-10-15 · 约 16 分钟 · 7997 字 阅读 →
论文解读

一个短语断句可以有多种对法:用大模型造多参考来评测断句标注

针对同一句话存在多个合理韵律断句而单参考评测会误拒有效变体的问题,论文提出用大模型从少量示例生成可复用的多参考查找表做评测,在 1356 条韩语标注上更接近人类判断,但多参考构建仍需推理开销与去噪过滤。

 · 更新于 2026-10-15 · 约 18 分钟 · 8538 字 阅读 →
论文解读

线性效率与全局语义不可兼得?MamTra 用混合替换加蒸馏保住合成质量

针对自回归 Transformer 语音合成二次复杂度导致长序列显存与延迟过高的问题,MamTra 把预训练 Transformer 的部分层替换为 Mamba 并用多级蒸馏恢复性能,最强证据是在仅用约 2% 英文数据下推理显存降低可达 34%,代价是 1:1 配置词错误率绝对上升 0.25% 且激进替换会明显损伤可懂度。

 · 更新于 2026-10-15 · 约 17 分钟 · 8270 字 阅读 →
论文解读

不改模型参数,用多分辨率真伪判断来管住离散语音解码

针对神经编解码语言模型自回归解码中词元级伪影累积与偏离自然分布的问题,MSpoofTTS 冻结 NeuTTS2 等基座模型并用 5 个多分辨率词元级真伪判别器做分层剪枝与重排,在 LibriSpeech 和 LibriTTS 上把感知质量做到最好或次好,但以多候选并行解码的推理开销为代价。

 · 更新于 2026-10-15 · 约 20 分钟 · 9575 字 阅读 →
论文解读

不平坦而是脱钩:神经合成语音在整体语调与元音目标上的双向偏离

该研究用 13100 句配对语料同时检验韵律与音段两个层面,报告全局基频压缩与局部反转增多的跨时间尺度脱钩,以及元音空间收缩到 9-30% 与齿龈协同发音减弱,且两类偏离在句间几乎不相关。

 · 更新于 2026-10-15 · 约 19 分钟 · 9227 字 阅读 →
论文解读

非言语发声不是音效:NV-Bench 把交际功能、对齐与逼真度分开测

针对非言语发声合成缺乏配对真人参考与统一指标的问题,NV-Bench 用 1651 条中英野外语音与双维度协议测控指令对齐与声学逼真度,最强基线 NV-CV3 在普通话单标签上做到 PCER 27.69% 与 OCER 4.90%,但多标签与英文仍有明显差距。

 · 更新于 2026-10-15 · 约 19 分钟 · 9142 字 阅读 →
论文解读

单阶段直达声学码本:OmniVoice 如何把 600 余种语言装进一个扩散语言模型

OmniVoice 针对两阶段文本到语义再到声学管线的误差传播与信息瓶颈问题,选择单阶段双向 Transformer 直接由文本预测多码本声学词元,并以全码本随机掩码与大语言模型初始化为关键手段,在 581k 小时开源多语数据上实现覆盖 600 余种语言,最强证据是中英文与 102 语可懂度接近真值,代价是长尾低资源语言仍依赖重采样与修复流水线且推理需 32 …

 · 更新于 2026-10-15 · 约 21 分钟 · 10148 字 阅读 →
论文解读

训练中途如何知道口音学对了:用元音空间几何补上损失曲线的口音盲区

针对微调中损失曲线不能反映口音感知变化的问题,该研究用合成与真值元音空间形状的重叠面积与普鲁克鲁斯特归一化差异跟踪学习,并在新西兰英语与印度英语上报告与口音相似度评分的强相关,代价是只覆盖角元音与元音系统且需额外合成切分与共振峰流程。

 · 更新于 2026-10-15 · 约 20 分钟 · 9552 字 阅读 →
论文解读

野外影视学表达:用属性思考令牌把开放指令和音色解耦

针对自然语言细粒度表达难控与参考音频风格泄漏问题,Poly-InstructTTS 用 1000 小时影视多模态指令数据训练无提示音频的 GPT 加流匹配声学模块,在 InstructTTSEval 上取得高指令跟随分,但以词错误率上升与复杂声学条件不稳为代价。

 · 更新于 2026-10-15 · 约 19 分钟 · 9229 字 阅读 →
论文解读

总体第一不等于处处第一:印度语 TTS 偏好由表达力和可懂度驱动

该研究用 5357 句覆盖 10 种印度语言的受控基准和 12 万余次成对比较回答多语言 TTS 如何可靠排序,发现 Gemini 2.5 Pro TTS 总体领先且表达力最能预测总体偏好,代价是需要百名量级母语评委和千句量级句子才能稳定排序。

 · 更新于 2026-10-15 · 约 20 分钟 · 9944 字 阅读 →
论文解读

重音太轻听不出、太重又失真:三段式训练如何让流匹配语音学会用力恰当

针对中文流匹配语音合成中重音数据少且韵律难控的问题,该工作在 F5-TTS 上加重音编码器并依次做有监督微调、直接偏好优化和基于小波韵律工具奖励的在线强化学习,主测试上显著度从 0.86 提升到 1.45 而词错误率稳定在 1.63% 左右,代价是说话人相似度微降且奖励仍依赖客观显著度工具。

 · 更新于 2026-10-15 · 约 17 分钟 · 8180 字 阅读 →
论文解读

用跳读和复读的失败样子教流匹配走稳:RobustSpeechFlow 的对齐鲁棒训练

针对流匹配零样本语音合成中跳词和复读的对齐失稳,RobustSpeechFlow 用等长复读与跳读隐变量构造难负样本做对比流匹配,在 0.06B 参数下把 Seed-TTS-eval 词错误率从 1.44 降到 1.38,并把 ZERO500 在 NFE=24 的英韩字符错误率分别降到 0.35% 和 0.57%,代价是公开基准说话人相似度未提升且主观听感尚 …

 · 更新于 2026-10-15 · 约 18 分钟 · 8922 字 阅读 →
论文解读

拉丁拼写不等于英语发音:为坦库尔语和马林语从零建库并训练字符级 TTS

针对曼尼普尔两种拉丁拼写藏缅语的数据空白,论文用教科书录制加自动切分流水线建成 9.58 小时坦库尔语和 10.79 小时马林语单说话人库,并在相同划分上训练 Tacotron 2 与 FastSpeech 2,最强组合 FastSpeech 2 加 StyleMelGAN 在主观盲测取得 3.06 与 3.51 分,代价是方言差异与声调建模仍限制可懂度。

 · 更新于 2026-10-15 · 约 19 分钟 · 9427 字 阅读 →
论文解读

高维保真反而难读准:用语义对齐把隐表示拉回可读结构

针对连续隐表示在重建保真与合成可懂度之间的权衡,论文提出在变分自编码器隐空间加语义对齐正则的 Semantic-VAE,在 LibriSpeech-PC 上以 2.10% 词错率和 0.64 说话人相似度超过梅尔谱与普通声学变分自编码器基线,而重建质量与普通变分自编码器基本持平。

 · 更新于 2026-10-15 · 约 18 分钟 · 8782 字 阅读 →
论文解读

从文字直接生成发音器官运动:STArK 用伪标签 EMA 搭起文本到调音的桥

STArK 针对文本到调音运动数据稀缺问题,用冻结 SPARC 提取的伪标签 EMA 加音高响度训练非自回归文本到调音模型,在 LibriTTS-R 上用对齐与韵律条件对照证明 EMA 轨迹与可懂语音可同时生成,而音高建模仍是主要代价。

 · 更新于 2026-10-15 · 约 19 分钟 · 9168 字 阅读 →
论文解读

固定块长走不稳难音区:用轨迹直不直来动态截断再生成

针对块流匹配固定块长在难建模语音段速度估计不稳的问题,论文提出免训练的轨迹置信度做逐帧可靠性信号并用截断加再生成动态调块,在 Seed 中英集上把英文词错率降到 1.798% 且自然度提到 3.809/3.973,代价是阈值 0.75 时相对推理耗时变为 1.08 倍。

 · 更新于 2026-10-15 · 约 17 分钟 · 8411 字 阅读 →
论文解读

整行一次标注的高棉语归一化:用权重与音节边界过滤器代替分词器

针对高棉语无词空格与数字词嵌在普通词中的问题,Tha 用整行最短路分类加音节边界过滤器实现文本归一化与逆归一化,在谷歌基数测试与 2906 句真实语音提示上取得高一致率,代价是拼写变体与歧义仍需词表维护与上下文信息。

 · 更新于 2026-10-15 · 约 23 分钟 · 11292 字 阅读 →
论文解读

好听不等于说对:用阿萨姆语元音和谐审计多语种合成的音系忠实度

针对平均意见分测不出语法条件变体的问题,该文以阿萨姆语舌根前移元音和谐为探针,用人类语音训练声学到音系分类器并跨域审计 MMS 合成,最强证据是中元音/e/和/o/约三分之一被实现为[-ATR] 且欠生成与过生成呈约 7 比 1 不对称,代价是仅覆盖单个系统、单个现象与小规模不平衡合成集。

 · 更新于 2026-10-15 · 约 20 分钟 · 9892 字 阅读 →