相对变化放在子句上、能量与音高分到不同残差码本:SCIC 的范围与码本感知控制
针对长直播中按子句渐进表现的需求,论文把音高能量语速写成相对上一同说话人子句的变化、停顿写成绝对时长区间,用时间路由器定作用范围、用标签专属码本权重按残差码本分配强度,再用多奖励 GDPO 联合优化控制与质量,最强证据是相对文本标签微调在音高能量上的百分点提升,而代价是只做说话人内适配且依赖强制对齐与说话人相似度等自动指标。
针对长直播中按子句渐进表现的需求,论文把音高能量语速写成相对上一同说话人子句的变化、停顿写成绝对时长区间,用时间路由器定作用范围、用标签专属码本权重按残差码本分配强度,再用多奖励 GDPO 联合优化控制与质量,最强证据是相对文本标签微调在音高能量上的百分点提升,而代价是只做说话人内适配且依赖强制对齐与说话人相似度等自动指标。
论文把语音评测不可比归因于执行方差与打分方差,用工具智能体完成异构上线、主智能体提交协议、确定性程序执行打分,在 18 个公开版本上把一次通过从 12 个提高到 18 个,但统一协议与论文报告仍存在随模型与语言变化的差异。
针对流匹配语音合成多步积分代价高的问题,论文用出发点局部微分恒等式做蒸馏、用一致性代价图做全局步数规划、用四步模型做对齐自蒸馏,最强证据是 Seed-TTS 上一步达到 1.80% 词错率接近 32 步教师的 1.76%,代价是说话人相似度和预测质量仍低于教师。
该文把可控多说话人对话语音合成从一次生成改为计划—合成—评论—修改的闭环,用统一做指令合成与情感语速响度编辑的 ControlEdit-TTS 做局部修改,在中英基准上把语句指令遵从 Yes 率做到 95.5% 并在对话偏好上占优,代价是最多 10 轮的评论与重改开销和风格与音色难以同时满足的回弹。
针对条件流匹配合成中近似子带持续增长而细节子带滞后的问题,论文提出免训练的频率选择性增强,在离散小波域按步调制中间梅尔谱,最强证据是 26 步达到 32 步质量且 FAD 大幅下降,代价是一次性标定低维调度且跨模型需更换函数形式。
针对指令式语音合成缺字级对应与可检视性的问题,InstCharVoice 用接地标注加逐字五维声学规划实现指令到字符声学的显式落地,在关键词级声学误差和指令跟随主观分上报告更好结果,代价是说话人相似度和可听写性略有回落且抽象情感未建模。
针对闽南语缺少大规模真实语音加方言与普通话配对转写的问题,该文用约 10000 小时多源媒体加三系统投票与翻译或字幕抽取构造配对语料,并在人工核验基准上显示微调后闽南转写字错率降至 15.21%,普通话转写平均指标接近商用系统,代价是保留了低质量历史剧集录音与转写非逐字对齐带来的跨基准不可比。
DEFINE 用说话人提示定身份、用口音示例定口音并以权重 w 连续调节强度,在见过口音上口音探针准确率从 6.5% 提升到 19.6%,以单遍合成达到级联方案的口音转移并保留更高的说话人相似度,但 held-out 口音仍弱于级联且瓶颈在示例编码器。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该工作解决阿拉伯语语音问答中误引经训的高风险问题,选择检索优先于参数记忆、六路工具检索与自管语音链路,用 124 例中 122 例通过的背诵校验与 0.9–1.7s 端到端语音延迟证明接地可行,代价是单 GPU 主机成为可用性单点且方言与覆盖外问题仍回退到参数知识。
针对连续自回归流匹配语音模型中非言语标签跟随难的问题,NVAlign 用冻结的非言语识别模型概率作可微奖励并经两步梯度代理回传联合更新主干与流头,在三套系统的人评听音集上提升标签准确率,但自然度与可懂度等代价需要用保真惩罚和参考速度正则来约束。
该展示论文要解决如何让学习者在移动端直接听到和比较虚构角色的日语风格差异,选择人物条件大语言模型加角色专用合成语音加点击查词的完整交互环,不做离线评测与学习效果验证,代价是风格化口语不适合正式场合且噪声下依赖文本输入保底。
针对多角色长篇有声书语义连贯与情感可控难兼得的问题,Audiobook-CC 用前后文建模加风格解耦加自蒸馏,在章节级取得 M-MOS 为 4.25 分与对话 S-MOS 为 4.11 分,代价是三阶段大数据训练与章节边界后文缺失时的空标记回退。
针对平均标注的唤醒度-效价映射与个人听感错位问题,该文用冻结声学主干、只在二维 A-V 空间做人机交互遗传搜索的个性化层,在保持可懂度和自然度的条件下把偏好率提升到个性化 76% 与文化适配约 65% 上下,但代价是每种情感需多轮试听反馈且结论限于 30 人小样本。
该文针对零样本语音合成中连续且随时间变化的情感控制问题,提出把效价唤醒优势三路低秩更新与正交约束注入主干并用 Flow-DGPO 做偏好对齐,在约 50 小时训练数据上提升情感跟随的同时保持可懂度和说话人相似度,但跨语言提示下说话人相似度仍有差距。
针对跨语言语音语料需要用更少句子覆盖全部音素的问题,corpusgen 用评估、选择、生成三命令共享发音转换与覆盖追踪,以贪心与精确优化等六种算法做句子选择,并在 40 种语言 12 个语系上验证,但原文未给出可复述的逐算法句子数与耗时数字。
针对词级重音与语速控制易破坏全局自然度的问题,CraftTTS 用外部教师构造偏好数据再经 SFT 加 DPO 加 GRPO 渐进对齐,最强证据是完整模型在 NMOS 达 3.87 和 SPMOS 达 3.35 的同时 CER 为 7.01%,代价是 CER 与说话人相似度略低于原始 CosyVoice 2 个基线。
针对目标情感与文本语义冲突时情感表达下降的问题,该研究用文本情感替代无条件分支并按不一致程度动态调整引导强度,再把引导信号蒸馏回模型,最强证据是在中性参考下情感识别准确率从 50.63% 提升到 59.55% 且词错误率降到 3.76%,代价是推理期曾需要外部大模型判断和双路解码。
CtrlSpeech 针对整句级控制难以修改局部韵律的问题,在 DiTAR 连续声学建模上叠加全局说话人条件与音素对齐的音高、响度和时长信号,零-shot 可懂度和相似度与复现 DiTAR 相当,而显式控制使音高、响度和时长误差大幅下降,代价是纯文本时局部韵律仍不准且依赖基频提取与强制对齐质量。
该文把解码顺序视为建模选择,用同一掩码扩散模型在标量量化梅尔谱上比较左到右、右到左与置信度自适应等可运行顺序,报告右到左和 top1 在客观与主观指标上优于左到右,但随机性与局部连续性带来不同指标代价。