论文解读

单数据集高分为何不可信:Spashta Audio-Bench 同时称量印度语言的可懂度与自然度

针对印度语言语音评测碎片化问题,该研究用统一预处理与多指标流水线同时评测 ASR 与 TTS,最强证据是 2B 参数 AudioX 并未稳定超过 600M 的 IndicConformer 且 TTS 自然度与可懂度明显分叉,代价是仍依赖预测 MOS 与公开评测集覆盖。

 · 更新于 2026-10-16 · 约 20 分钟 · 9537 字 阅读 →
论文解读

指令监督不稳:用受控扩写保覆盖、用漂移过滤保忠实

针对标签转指令中超过 40% 改写存在语义漂移的问题,论文用受控多样化扩大覆盖、用大模型校验过滤保忠实、再用扰动配对补齐韵律控制,在中文评测上把平均遵循率从 34.5% 和 51.0% 提升到 56.4%,代价是仅保留约 61.5% 候选。

 · 更新于 2026-10-16 · 约 17 分钟 · 8205 字 阅读 →
论文解读

三小时单人语料做声调语言合成:Efik 语音保存为何选中多语言预训练路线

针对 Efik 数据稀缺与声调易错问题,研究用约 3 小时 2632 句单人语料微调 VITS、MMS-TTS、SpeechT5 和 Orpheus-TTS 四种模型,母语者评测显示 MMS-TTS 以 3.80±0.63 居首且长文本更稳,但声调与特殊音素问题仍未解决。

 · 更新于 2026-10-16 · 约 21 分钟 · 10023 字 阅读 →
论文解读

去掉参考文本后,流匹配语音合成如何不再把含糊发音带进输出

针对参考音频需要转写文本导致的脆弱性,RTFree-F5 用冻结 WavLM 特征经轻量投影器替代参考文本条件并复用 F5-TTS,在构音障碍集上把 WER 从 24.62% 降到 10.39%,代价是说话人相似度从 0.60 降到 0.50。

 · 更新于 2026-10-16 · 约 17 分钟 · 8474 字 阅读 →
论文解读

不用离散语音 token:一个模型同时做识别与流匹配合成

UniVoice 用连续声学表示把自回归识别与流匹配合成放在同一个大模型主干上,在 50K 小时 LibriHeavy 训练下取得可比的识别与零样本克隆效果,代价是双任务共享参数带来自然度和说话人相似度的折中。

 · 更新于 2026-10-16 · 约 17 分钟 · 8262 字 阅读 →
论文解读

配错口音不如不配:以置信度门控守住口音自适应问答的信任

针对机场问询中口音英语可用性问题,LocalMATE 用口音估计加缓存、问答检索接地与口音条件语音加说话人脸视频组织端到端流程,最强证据是说话人无重叠下三类口音估计可用且正确适配提升信任而错配损害信任,代价是错配与视频增益有限且需以低置信回退到中性音来兜底。

 · 更新于 2026-10-16 · 约 20 分钟 · 10013 字 阅读 →
论文解读

用可控振荡建模急促韵律:OscillaTTS 如何改写扩散 TTS 解码器的激活函数

针对富有表现力语音中音高与能量突变难以建模的问题,该工作在 StyleTTS2 解码器中把固定周期激活换成 x+tanh(αsin2(x)) 的可自适应振荡激活,在 LJSpeech 上主观质量达 86.67、MCD 降至 6.59,并在 ESD 三种情感上保持韵律相似度和可懂度提升,代价是仅验证单说话人与有限情感且未报告延迟与算力开销。

 · 更新于 2026-10-16 · 约 16 分钟 · 7834 字 阅读 →
论文解读

文本很确定、音频很多变:用数据重排让大音频语言模型并行解码

针对大音频语言模型音频序列过长导致逐词元解码延迟高的问题,论文用只改监督微调数据的半自回归块并行加模态感知的动态截断,在保持质量的同时报告最高 3.42 倍的每步词元加速,但语音合成任务加速更保守且资源当前不可用。

 · 更新于 2026-10-16 · 约 19 分钟 · 9051 字 阅读 →
论文解读

俄语语音缺的不是时长,而是可复述的韵律标注:Balalaika 如何把 5 千小时做成可用训练集

针对俄语重音移动与韵律标注缺失问题,Balalaika 用语义切分加多识别器投票加质量过滤构建约 5078 小时多源语料,并在 25 小时等量预算下验证去噪与语音合成的自然度收益,但严格过滤与单说话人优势等边界仍需注意。

 · 更新于 2026-10-16 · 约 19 分钟 · 9127 字 阅读 →
论文解读

长朗读缺位:用 20 小时单人有声书补上孟加拉语 TTS 的韵律与归一化

针对孟加拉语缺少长篇单人 TTS 数据的问题,作者构建 20 小时有声书语料 BanglaKontho 并配套文本归一器,用同构 MB-iSTFT-VITS 基线显示 WER 9.5% 与 MOS 4.46 优于 IndicTTS-Bn 复训基线的 16.0% 与 3.16,代价是单说话人叙述风格与非商业许可限制。

 · 更新于 2026-10-16 · 约 14 分钟 · 6769 字 阅读 →
论文解读

不再先定死时长:用跳变管结构、用扩散修内容的一次联合生成

针对两阶段扩散语音合成中固定对齐导致平均化韵律与单阶段对齐不稳的矛盾,该文用离散插入跳变管时长结构、用连续扩散修频谱内容,最强证据是单发变体在相同总时长下以 3.37% 词错率优于 Grad-TTS 的 4.38%,代价是需要冻结的编码器与扩散主干并增加位置与内容两个预测器及变长迭代开销。

 · 更新于 2026-10-16 · 约 19 分钟 · 9231 字 阅读 →
论文解读

一个提示多种声音:OTAFlow 用分布对齐与条件流建模跨模态风格

针对自然语言提示与语音风格之间的跨模态差距和一对多映射问题,OTAFlow 先用最优传输加对比学习加多任务监督构造统一风格空间,再用条件流匹配为同一提示采样多样声学风格向量,在 TextrolSpeech 上把文本到音频检索 R@10 做到 0.875 并把合成风格 sMOS 做到 3.88,代价是下游仍用轻量 DiT 骨干且自然度提升有限。

 · 更新于 2026-10-16 · 约 20 分钟 · 9939 字 阅读 →
论文解读

在保住音色的同时拧动口音旋钮:CrossAccent-TTS 如何解耦说话人与口音

针对跨语言合成中口音不可控且易连带改变音色的问题,该文用 Neucodec 离散声学词元加 Qwen2.5 自回归解码器实现合成,以 Perceiver 瓶颈加梯度反转抑制口音残留再用加权语言嵌入连续调控口音强度,在 Indic 多语言 986 小时和 L2-ARCTIC 上显示口音相似度提升而说话人相似度和 UTMOS 基本保持,但主观 MOS 细节与强度 …

 · 更新于 2026-10-16 · 约 22 分钟 · 10790 字 阅读 →
论文解读

执行深度不变时,循环放在哪里才算数:流匹配 TTS 的权重重用布局

在每次网络求值都执行 18 次块调用的共同条件下,论文比较七种权重重用布局,显示 SEQUENCE 以 83.6M 参数对 158.0M 基线在 32 步保持可比可懂度,而共享段位置主要影响 4 步可懂度且只有 Middle 在两数据集两种步数下词错率均排前二。

 · 更新于 2026-10-16 · 约 17 分钟 · 8386 字 阅读 →
论文解读

同一套符号读多种方言:以国际音标统一输入再用专家分流保住口音

该研究把多方言统一到国际音标输入上,用方言感知混合专家缓解合训时的风格平均,再以参数高效微调扩展 3 小时级新方言并以识别反馈的强化学习整合高质量成都话数据,最强证据是强化学习把成都话词错误率从 29.25% 降到 23.93% 并带动西安话等相关方言下降,代价是整体词错误率和主观分仍落后于数十万小时级商业系统且闽南语等远亲方言错误率仍很高。

 · 更新于 2026-10-16 · 约 19 分钟 · 9198 字 阅读 →
论文解读

不定长并行生成:用插入删除改长度的零样本语音合成与编辑

EditVoice 针对非自回归零样本合成须先定长才能并行生成的问题,用编辑流在采样中联合做插入、删除、替换以同时改内容和长度,并以语音填充训练统一合成与编辑,再用互补提示采样与生成后修正提稳内容一致性,代价是每步需评估两种提示摆放且启发式一致性规则依赖阈值。

 · 更新于 2026-10-16 · 约 22 分钟 · 10634 字 阅读 →
论文解读

先修共振峰再合成:用显式元音矫正平衡可懂度与说话人保持

针对构音障碍语音可懂度低且隐式重构缺乏可解释性的问题,该研究选择先用共振峰对齐频谱变换显式修复元音空间再做说话人自适应合成,在中英文多库上报告 29% 到 72% 的识别错误率下降和主观可懂度近翻倍,但以说话人相似度轻微下降为代价。

 · 更新于 2026-10-16 · 约 20 分钟 · 9914 字 阅读 →
论文解读

偏好与引导分开学:双模型如何让流匹配语音更听话

针对零-shot 流匹配语音合成训练目标与听感评价脱节的问题,该工作用两个模型分别学偏好与非偏好分布并配合改进的无分类器引导采样,在 Seed-TTS 中英文集上同时降低词错误率、提升说话人相似度,代价是推理需运行双模型并依赖小规模代理偏好数据。

 · 更新于 2026-10-16 · 约 20 分钟 · 9639 字 阅读 →
论文解读

分开学更准、合在一起更全:用风格文字检索和挑选语音的双编码器

针对自由文本风格描述与语音对齐覆盖窄的问题,论文用内在与情境分训加统一模型的对比策略,在检索与分类上以专用模型取胜、在组合描述上以统一模型取胜,代价是推理时需选对专用变体且最优挑选带来线性推理开销。

 · 更新于 2026-10-16 · 约 15 分钟 · 7167 字 阅读 →
论文解读

把同句不同念法分开建模:用固定实现潜变量条件化流匹配速度场

针对同文本同状态下不同语音实现导致目标速度不同而被平方误差平均掉的问题,ReaFlow-TTS 引入贯穿整条轨迹的 utterance 级实现潜变量 z 并用 VAD 线性映射做分级操控,行为证据是跨初始噪声可复现的音高能量时长倾向,代价是效价方向灵敏度较低且操控需在小幅自然度变化内使用。

 · 更新于 2026-10-16 · 约 20 分钟 · 10009 字 阅读 →