把一句话拆成四条流:多尺度残差如何让低码率编解码器分开内容、音色与韵律
MSR-Codec 用语义、音色、韵律与残差四路级联残差结构在 62.5 tokens 每秒下做高保真重建,并用两阶段语言模型做文本到语音,其代价是信号级细节指标仍受码率限制且部分实现细节未完全报告。
MSR-Codec 用语义、音色、韵律与残差四路级联残差结构在 62.5 tokens 每秒下做高保真重建,并用两阶段语言模型做文本到语音,其代价是信号级细节指标仍受码率限制且部分实现细节未完全报告。
该文以 168000 次合成语音自动识别转写和 15 人先导听写实验检验五个语言复杂度等级,显示 9–19 词自然语法句错误最低且语法优势随信噪比改善而扩大,因而主张噪声下不做简化、保持语法完整,但人类证据仍是小样本先导结论。
针对希伯来语无元音文本欠指定重音等发音特征的问题,论文用冻结注音模型加轻量增强头再经规则转写得到完整国际音标,并用 2 小时专家标注语料证明小参数本地语音合成模型能接近大专有系统,但仍受限于基础注音模型的元音与语体偏差。
论文针对大模型语音合成隐式处理多音字、字形识别正确但拼音错误的问题,构建覆盖 494 字和 88 词的三套测试集并用 Qwen3-Omni-Instruct 做自动拼音标注,最强系统主集拼音准确率仅 82.02%,方言和口语类仍大幅落后。
针对流式文本输入下缺少前视导致韵律不自然和上下文无界导致长文崩溃,该文用韵律边界标记加有限前视与滑动窗口提示改造 CosyVoice2,最强证据是长文词错误率从 71.0% 降到 4.8%,代价是仍需每块 5 词加 2 词前视的累积等待与流式声码拼接。
针对韩语正字法与实际发音不一致且低资源下隐式学习困难的问题,论文提出只标记鼻音韵尾的选择性同位异音切分 SALT-N,在 12.75 小时上把字形输入的 CER 从 4.74% 降到 3.30% 并取得最高主观自然度,代价是放弃全量同位异音标记所追求的声学分辨率。
该文把五种粗化或缺失的韵律输入统一为线性退化求逆,用有监督扩散与无监督逆问题采样两条路线恢复帧级韵律,主观上无监督方法在严重退化下接近真值韵律,但盲估计与推理代价仍是限制。
针对发音词典只能覆盖约百种语言而制约多语言合成的问题,UR-BERT 用通用罗马化统一输入并增加语音 token 预测来对齐声学,在 11 种语言的 VITS 对比中多数指标占优,代价是仍依赖教师语音模型与强制对齐质量且极低资源下可懂度提升有限。
针对解码器自回归语音合成中全量自注意力导致键值缓存随长度增长的问题,WAND 把条件提示词保留全局注意力、把已生成声学 token 限制在固定滑动窗口,并用全注意力教师蒸馏加课程收缩做单轮适配,在 10 秒生成上报告最高 66.2% 的缓存下降和接近常数的单步延迟,而英文词错误率保持在基线 0.2% 以内。
本文解读 Te Taura Whiri 与 Google 围绕毛利语地名发音的新西兰英语 TTS 合作,用谅解备忘录、参与框架、知识产权协议与对齐框架把文化分歧变成可执行步骤,并以 5 人对 5 人的混合评估验证发音质量,但不报告声学模型细节与定量指标。
针对分钟级零样本对话合成在稠密梅尔谱上做条件流匹配时显存和耗时随长度暴涨的问题,ZipL-Dialog 把生成搬到 4 倍时间压缩的 25 Hz 确定性隐空间并重设 ZipFormer 下采样,用 CoVoMix2 上最大峰值显存 3.23 GB 对 36.21 GB、推理 1.075 秒对 2.396 秒的实测换取可听自然度基本保持,代价是词错误率和说话人 …
论文以 CosyVoice 2 与 MaskGCT 为案例研究口音-情感纠缠问题,用口音 SMOS 听辨、GenAID 嵌入的 UMAP 与质心余弦距离证明前者随情感指令大幅漂移而后者稳定,代价是单一声纹相似度指标无法反映口音错误。
本文针对聋人及重听人口音与非听觉验证需求,提出以可用、可验证、优雅降级与公平问责透明伦理为框架重构语音转文字、文字转语音与语音转语音,核心证据是受限数字任务下聋人发音 13% 词错误率而听人发音几乎无错,代价是数据稀缺、隐私与身份保持难题尚未解决。
针对老年听辨需求,论文用医护专家示范代替老人偏好标注,以专家奖励加发音奖励的复合奖励做 GRPO 微调,并用两阶段在策略奖励学习抑制奖励黑客行为,最强证据是第二阶段在可听性与老人 MOS 上同时超过 SFT 与无 OPRL 的 GRPO,代价是专家数据仅 1.5 小时且需多轮奖励模型重训。
针对中英会话语码切换数据稀缺问题,该工作用语音级 CMI 连同可懂度和自然度做多评价偏好学习来优化 CosyVoice2 合成,再把合成语音与真实语音混合微调 Whisper 等识别模型,在 SEAME 上把混合错误率降到 DevMAN 8.9% 与 DevSGE 14.2%,代价是依赖伪帧语言标签与多模型打分流水线。
该研究比较电台口语转写与三种书面语域输入的合成语音可听性,发现口语转写显著增加主观努力并降低回忆,而大模型生成文本与维基文本无显著差异,但四条件语义内容并不相同因而不能做因果归因。
针对短句语音模型在长文本上出现的走调、音色漂移和句界断裂问题,论文提出只在推理时生效的 MagpieTTS-LF,用软注意力先验维持单调对齐并保留远距上下文、用跨句状态传递历史文本与编码器表示,在 20 段 3-4 分钟英文长文本上把词错误率降到 0.025 并把边界能量跳变降到 14.04 dB,代价是仍需逐句自回归生成且未报告延迟与主观听感。
该研究以性别延展与非性别延展两组嗓音对比六个零样本语音合成模型,发现人耳相似度上两模型对性别延展组显著更差而三模型反向更好,且说话人相似度和自动平均意见分预测与人耳判断多处不一致,代价是现有自动评测难以替代人工听辨。
该文把方向跟随 TTS 定义为相对修改任务,用印象可控 TTS 生成伪语音对再由大语言模型补写导演指令来构造伪三元组,并训练固定主干上的流匹配风格精炼器,报告显示伪数据提升说话人稳定性而真人录音提升方向对齐,二者结合取得平衡。
针对印度语言语音评测碎片化问题,该研究用统一预处理与多指标流水线同时评测 ASR 与 TTS,最强证据是 2B 参数 AudioX 并未稳定超过 600M 的 IndicConformer 且 TTS 自然度与可懂度明显分叉,代价是仍依赖预测 MOS 与公开评测集覆盖。