语音合成

针对梅尔谱缺相位信息导致相位一对多难学的问题，PhaseGAN 用插值加 ICCRN 先恢复幅度谱再用 R3-GAN 生成相位谱，在 LJSpeech 上报告 UTMOS 4.238 等最优感知指标，代价是两阶段分别训练且推理仍需 6.42G 量级计算。

该研究以保留原说话人听感为前提替换语音中的敏感词，对比直接波形剪贴与经神经编解码器重建的插入路径以及克隆嗓音与合成语境的选择，用自然度、可懂度和信号质量自动指标报告编解码器路径更优，其中自然度倾向于带原句嵌入的编解码器与克隆嗓音，而信号质量倾向于通用嗓音与孤立词合成。

论文把法语 WavLM 到波形的重建作为连续语音转换的前置步骤，对比只用谱损失与加入多周期多尺度对抗监督的 HiFi-GAN vocodeur，并在 15 个未见说话人样本上用谱、感知和基频指标验证对抗监督带来一致增益，同时以可学习的层融合分析各层贡献。

该研究以一句爱尔兰语男声合成中性句为基线，只按真人情感录音改造嗓音源参数并叠加语速与共振峰，用全局、重音局部与组合三类刺激做听辨，发现组合识别率最高而高激活情感区分更清晰，低激活情感则互相混淆。

VoixTenue 把触屏纵向画线与手机俯仰横滚倾角映射为 Pink Trombone 的基频与强度，在 E2-E5 三组八度内以约 60 Hz 更新实现全机端实时嗓音合成，代价是触屏模式暂缺力度控制而倾角模式音高精度较低且未经被试实验验证。

针对离散语音 token 到梅尔谱的低延迟合成问题，论文用梅尔空间重参数化的平均流把 2 到 3 步推理的声学目标直接化，并用层选择的分块掩码把每包计算限定在滑动窗内，代价是需要未来块的前视延迟和多步细化开销。

针对几何直拖难以产生平滑非线性双元音轨迹的问题，论文用二维弹簧-质量-阻尼器把键盘输入映射为作用力再耦合 Pink Trombone 合成， pilot 显示曲线轨迹的弯曲能量由 1191.1 降到 211.6 而直线定位精度基本相当，代价是样本仅为作者且未做统计检验。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对 F0 可控声码器在大规模多说话人训练和噪声下是否仍可控的问题，论文用概率潜变量替代确定性特征并以重合成谱误差做数据筛选，报告显示筛选能阻止错误数据拖累训练、上移 F0 时清浊判断更准而下移与高频区仍有挑战、噪声下优于基线，但筛选阈值仍需人工设定。

该文把群延迟乘积谱作为 Clarinet 神经声码器的条件特征，在英语与希腊语上与梅尔谱基线做可运行对照，主观 MOS 接近基线而客观 MCD 偏高、F0 周期性误差相当，关键代价是平滑系数 ρ 取值敏感。

针对多人交互中只建模说话或只建模双人的不足，PolySLGen 用过去全组语音与动作为条件联合生成目标人的文本、语音风格、身体动作和说话状态分，证据是动作与说话状态预测上优于多个基线，代价是推理约 5 帧每秒且说话状态预测仍困难。

论文以 96 个语言的类比成功率与声码器重合成声学测量为证据，说明自监督语音模型以线性方向编码音系特征并以向量尺度连续控制实现程度，但合成效果仍受声码器与上下文切分条件限制。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

ControlAudio 把定时可控与可懂语音生成拆成文本、定时、音素三级条件，用结构化提示、三阶段训练和两段采样实现统一控制，在 AudioCondition 与 AC-Filtered 上提升时间精度与可懂度，代价是更依赖标注与仿真数据的分布假设和更长的多阶段训练。

该文把声码器从条件生成改写为从梅尔退化观测恢复目标谱的两步优化，用可学习伪逆做初始化加分频大核卷积注意力做深层先验，在 3.89M 参数下报告了优于 112M 量级基线与流匹配基线的质量，同时代价是仍需 GAN 判别器训练与多损失调参。

针对语音共情对话中副语言信息易被转写或早压缩削弱的问题，ES4R 在编码前用轮内与轮间注意力构建情感上下文再做语音引导的语义融合与能量引导的语音合成，在 AvaMERG 上语义一致性最优但多样性指标未占优且合成风格集合有限。

论文追问在人类语音上训练的情感理解能否直接用于合成语音，通过跨数据集、跨判别式与生成式模型、跨 TTS 与 S2S 合成的系统评测，显示人类与合成之间存在约 38 个百分点的识别差距，且主要代价来自语音 token 预测阶段的表示偏移与生成式模型的文本主导偏置。

针对文本大模型向语音统一理解与生成迁移时模态鸿沟大、单一种词元难以兼顾语义与声学的问题，该文提出理解驱动分词器与双词元建模并用约 4500 小时数据验证，理解与生成可相互促进，但细粒度声学保留与翻译类任务仍有代价与边界。