语音合成

共分析 137 篇 ICML 2026 论文

GSLM2 针对语音单元语言质量不足和单流表示信息单一的问题，用 SpidR 2.0 在多个编码器层学习可微分的离散单元，再用多流语言模型联合建模这些单元，在 Libri-Light 三档规模和最大 6M 小时口语数据上持续提升词法句法语义得分，但推理计算量明显高于单流模型和文本模型。

论文针对依赖爆破音气流声的 VoicePop 活体检测，用 FastSpeech 2 加改过的 HiFi-GAN 在音素对齐位置注入局部低频突发并叠加噪声，在 20% 投毒和均衡训练条件下把准确率从 37.52% 拉低到 25.66%，代价是投毒强度弱于整段正弦波的 SyntheticPop，且双谱统计上更不像真人。

共分析 48 篇语音/AI 论文

针对金融解说合成中汉字多音词读错问题，论文用预期读音与易混读音的 CTC 似然差做读音级校验，在 540 句三声音对照实验上把误报从 44.4% 降到 5.0% 并保持 91.7% 检出率，代价是需要逐词维护预期读音与易混读音词表。

针对巴斯克语缺少语音指令数据的问题，论文沿用模块化架构加合成数据路线构建语音交互系统，用内容分 3.86/5、语音可懂度词错误率 9.94%、延迟 370 毫秒证明可行，同时留下合成分布内评测与音频质量差距等限制。

DRAMA-Eval 用结构化剧本同时考指令执行、说话人一致和整场连贯，发现单句做得好不等于整场戏成立，而全局场景信息能明显提升沉浸感。

论文研究仅截获 3 秒前端表征、无原始音频和 transcript 时能否生成攻击者指定文本的受害者声音，提出 STIA 跨话语条件流匹配生成方法，在 Moshi 上达到 CAM++ 0.78 与 WER 3.80%，代价是需大量辅助数据与 110 小时双卡训练。

论文针对全双工语音模型在数十分钟对话中出现重复、长时间沉默和胡言乱语的问题，用受控重放与实时交互两轨基准定位崩溃，并用保留首个缓存表项与抑制近期复读的无重训方法把滑动窗口模型的崩溃大幅降低，同时保持实时运行。

共分析 80 篇语音/AI 论文

该文针对语音交互缺少叹气、笑声等非言语发声的问题，用合成对话与多阶段训练让模型学会在合适位置生成 13 类发声，并在两种架构上验证了恰当性与语音质量的提升与代价。

DYNARTmo 把重叠的手势轨迹逐帧变成声管几何和气流压力，再把声门脉冲响应与连续噪声分别合成叠加，用 Tasse、Muse、Lade 三个德语词走通元音鼻音边音擦音塞音的协调，代价是冻结几何近似和多处听音校准的声源参数，且尚无独立听辨评估。

共分析 57 篇语音/AI 论文

论文用先预测文本词再生成对应语音段的序列构造解决语音到语音续写的内容建模问题，最强证据是在相同模型和数据下生成困惑度从 151.7 降到 58.9，蒸馏与文本回放进一步保留事实知识，代价是需要词级对齐和双头生成。

共分析 146 篇语音/AI 论文

针对幅度谱损失丢掉相位、难以端到端学准基频的问题，GOLF-inv 用加性声门源加状态空间格型声道滤波器做可微合成，以谐波支路波形误差加全信号谱损失做无监督训练，在歌声上实现相位对齐重建并直接读出瞬时频率与声门闭合时刻，但频谱失真仍不及使用外部基频的 GOLF。

论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写，用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致，32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈，但语音区分度与聚合口径限制了细粒度排序。

论文把声道建成可微声学管道，用频域传输线求解与可微湍流门控合成元音辅音，再用神经场参数化做梯度反演，并在自监督声码与无配对语音到 MRI 视频上验证，但逆解不唯一且鼻腔未建模。

针对掩码预测偏向语言内容而重建目标理解偏弱的矛盾，SPEAR-Gen 用任务对齐融合构造离散目标并联合对数梅尔重建与残差流匹配，在保持 SUPERB 语言性能的同时把重合成质量从 PESQ 1.20 提升到 2.94，代价是需要外部标注做目标构造与双解码器联合训练。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读