固定声码器之后,检测证据还剩多少在声学模型里
该文在固定 BigVGAN 的 F5-TTS 管线中用配对重合成把检测分离归因到声学梅尔生成,再用不含检测器的对抗微调抬高固定检测器的等错误率,并用只见过微调输出的检测器适应把两类输出重新检出,代价是遗留基准性能随适应语料不同而回落。
该文在固定 BigVGAN 的 F5-TTS 管线中用配对重合成把检测分离归因到声学梅尔生成,再用不含检测器的对抗微调抬高固定检测器的等错误率,并用只见过微调输出的检测器适应把两类输出重新检出,代价是遗留基准性能随适应语料不同而回落。
SGILE 针对原住民语言教学的低资源 TTS 问题,选择用开源 EveryVoice 工具包降低建声门槛并用 BWS 等强制选择评测降低听音人负担,论文以网页 Demo 展示不同数据量声音与 BWS 问卷流程,但正文未报告正式主观得分与统计检验。
针对自回归语音语言模型在 50-75 Hz 下序列过长导致推理慢的问题,U-Codec 把编解码帧率压到 5 Hz 并用帧间 Transformer 与 8-100 层因子化残差量化补偿细节损失,在 LibriSpeech 重建与 LibriHeavy 零样本 TTS 上保持可比质量,代价是局部多层自回归解码仍占开销且 DAC 最高保真仍未被超越。
针对韩语 g2pk 转换慢且词边界音变建模不准的问题,论文用分层指针加递归重估的规则引擎把转换精度从 27.2% 提升到 85.7%、单句耗时从 14.98 ms 降到 3.14 ms,并用 96 个 VITS 模型的方差分析证明高精度音素输入显著降低可懂度误差而不损失音质。
针对少见说话风格上零样本语音合成出现域偏移而失真的问题,VoiceTTA 在推理时冻结主模型、只用组相对偏好优化更新轻量可学习前缀,并以基频与能量变异系数差异加说话人相似度和可懂度为奖励做在线适配,最强证据是在五类少见场景平均上取得词错误率 3.12 与说话人相似度 0.64 的同时保持自然度,代价是每个说话人需做 50 步候选采样与奖励计算的测试时优化开销 …
在冻结文本大模型且固定 600 bits/s 信息率下,把语音帧率从 50 Hz 降到 2.08 Hz 做可控扫描,并用因子化 FSQ 加轻量非自回归音频头补足单帧容量,最强证据是语音问答在 4.17 Hz 取峰且中间层对比对齐带来约 32% 相对提升,代价是过低帧率下生成侧词错率单调恶化。
针对整句情绪条件会放错重音词的问题,该工作用中性与情绪词在自监督语音表征中的差向量做词级控制信号,经 32 维瓶颈压缩后由 RoBERTa 从文本和情绪预测,并在主观自然度基本持平下把词级强调自然度偏好做到对 EME-TTS 为偏好本文方法占比 55.3% 对偏好基线占比 28.0%、对 HED-TTS 为偏好本文方法占比 87.1% 对偏好基线占比 …
该研究把漫画页图像先做版面与说话人理解再做提示语音合成,用约 700 页客观对比选定 v2 管线,并以 40 页 150 人主观评价显示自动管线约 2.5 分与人工校正相当但明显低于真人演绎约 4.0 分。
论文以 3000 句人工标注比较 30 多个大模型与传统形态分析器的日语字音转换,证明解析模式加规则后处理的最优假名错误率降到 0.52%,低于最强传统工具的 1.03%,但小模型、数字量词与推理模式仍有明确代价与边界。
针对 AD 语音数据稀缺,CoSTA 用认知状态条件化的 CosyVoice2 与 F5-TTS 合成 AD 样和健康对照样语音,并对比人工转写与 36 种 ASR 转写驱动,在 ADReSS 纯音频测试集上达到 85.83%,但合成伪影使增强超过约 2.5 倍后性能回落。
针对双流式文本到语音需要准确对齐与低延迟序列组织的问题,论文用基于 CTC 的音素对齐替代 MFA 并提出双词交织,在单说话人流式与多说话人零样本任务上报告了更低词错误率,代价是长度拼接变体首包延迟更高而特征堆叠变体质量略低。
针对语言模型语音合成中束搜索易时间坍缩且延迟高的问题,论文用轻量学生做块级束扩展、原教师模型做树形评估与选择,并加硬重复约束,报告在保持基线实时率的同时相对传统束搜索最高加速 5.1 倍、相对采样解码最高降低词错误率 50%,代价是仍需蒸馏训练与多超参数配合。
针对自回归编解码语言模型串行解码慢、非自回归模型文本对齐弱的矛盾,DLLM-TTS 在 X-Codec2 单码流上做条件块离散扩散,以 0.6B 参数和 20K 小时数据在 Seed-TTS-eval 上报告 WER 2.25% 与 SIM 0.750,代价是块串行与多步去噪仍需权衡速度与质量。
针对信号级水印易被神经编解码器和声码器重建抹除的问题,DuraMark 选择在音节时长这一信息级载体上嵌入奇偶水印,最强证据是在多种生成式攻击下保持 TPR 大于 95% 且平均达 0.993,代价是依赖文本转录与时长提取精度并需要时长可控的合成流水线。
针对推理时缩放或插值情感向量导致中间强度不稳定的问题,ETC-TTS 用残差向量量化情感原型锚定起点与终点并以流匹配学习中性到情感的连续速度场,在韩语 AIHub 与英语 ESD 上改善了单调可控性与情感表达并保持可比的自然度与可懂度,代价是三阶段训练与分层流预测器的额外设计与调参负担。
论文以音素受控仿真加英到日真实跨语言两路对照,检验预训练语音合成模型在微调中学习未见目标音素的能力,发现微调自然度更高但达到相同目标音素错误率需要相同或更多数据,说明预训练主要改善自然度而对音素增加帮助有限。
论文把图像领域的 DAAM 归因搬到语音扩散模型上,用每词时间热力图研究风格描述词如何影响合成语音,最强证据是风格词时间方差显著更低且与能量语义一致,代价是只在单个 CapSpeech 模型和合成提示上验证且无因果干预。
针对毛利语没有可用合成语音、通用引擎发音近乎不可懂的问题,Te Hiku Media 以原住民领导、母语者音色、逐句人工整理与听辨做出男声约 24 小时加女声超 8 小时的双语录音和 90 句加 100 句固定基准,用少而精的数据得到毛利语优先的高质量语音,代价是流程耗时耗人且评估主要依赖专家主观听辨。
针对非自回归合成依赖准确时长预测导致语速和韵律失真的问题,论文用可学习的扩展与删除标记配合分段伸缩训练与分层置信推理,在 Seed 测试上把初始长度错误纠正回来,代价是引入块大小与阈值等新超参数。
针对低帧率低码率下保真与可训练性的矛盾,论文用高帧率对抗变分自编码器先吸收波形建模难度,再在潜在空间做分片流匹配压缩与语义监督,并在单卡消费级 GPU 条件下报告了重建与语音合成下游证据,但流式与非英语泛化仍未验证。