论文解读

解耦分词与多词元预测为何能同时改善语音对齐与合成质量

该研究在统一的以大语言模型为中心的语音语言模型框架下比较耦合与解耦语音分词器并引入多词元预测与说话人感知建模,最强证据是 12 倍压缩下词错误率从 6.07 降到 3.01 且合成成功率保持 100%,代价是主观质量指标 UTMOS 随压缩略有下降且高压缩更依赖说话人嵌入。

 · 更新于 2026-10-16 · 约 22 分钟 · 10835 字 阅读 →
论文解读

用可控的音素光栅把重叠说出来:KABURI-TTS 如何做双通道对话合成

针对双人对话中后通道、打断与重叠难以可控生成的问题,KABURI-TTS 以每说话人的音素光栅与由此导出的语音活动为条件在双通道上渲染对话语音,人在真实对话数据上的主观评测与语音活动统计显示其交互自然度与重叠频次优于强基线,但仍未达到真人对话上限且依赖外部光栅构造的质量。

 · 更新于 2026-10-16 · 约 25 分钟 · 12192 字 阅读 →
论文解读

从注视到聆听:LipCoder 把 AI 编程装进语音闭环

LipCoder 针对视障程序员在可视编辑器与 AI 补全中被迫逐行听屏的断裂,用语音输入与听觉输出统一导航理解修改验证,在 5 名视障被试的探索性对照中可用性数值向好但校正后均不显著,且强依赖识别与大模型可靠性。

 · 更新于 2026-10-16 · 约 18 分钟 · 9013 字 阅读 →
论文解读

指令 supervision 不稳:先把改写漂移管住,再把覆盖面铺开

论文把 Instruct-TTS 训练不稳归因于标签转指令中超过 40% 的语义漂移,用可控改写扩大覆盖、用大模型校验过滤保真、再用音高语速音量扰动补齐韵律监督,在中文评测上把平均指令遵循率做到 56.4%,代价是组合过滤只保留约 61.5% 候选。

 · 更新于 2026-10-16 · 约 17 分钟 · 8092 字 阅读 →
论文解读

先定语义再补声音:TontaubeV1 用分层编解码与有界上下文做流式语音合成

TontaubeV1 把 12.5 Hz 分层编解码的语义流交给大模型定韵律与时长、三个小模型逐层补声学细节,并用配对边界与有界窗口做长文本流式合成,代价是四阶段串行与非因果解码需二次转码,在 400 段英文有声书评测中韵律与 ElevenLabs Flash v2.5 持平并领先其余三家。

 · 更新于 2026-10-16 · 约 18 分钟 · 9018 字 阅读 →
论文解读

在标准 vLLM 上跑实时对话语音:GEPARD 把定制算子移出解码循环的取舍

GEPARD 为实时对话把文本与 32 通道 GroupFSQ 音频在同一标准全注意力 Transformer 中联合自回归生成并用 NanoCodec 流式解码,以 vLLM 原生可服务为首要约束,通过 prefill 前缀克隆、单步并行采样与 DPO 蒸馏 CFG 实现单流 RTF 约 0.067 与 256 并发约 204 倍加速,代价是帧级并行带来的 …

 · 更新于 2026-10-16 · 约 22 分钟 · 10716 字 阅读 →