音频生成

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对反转式音频编辑必须用密集固定步数导致计算昂贵的问题，论文提出免训练的自适应轨迹外推框架 AdaTE，只在高曲率与高信息增益处做神经网络评估，其余用线性外推跳过，在 AudioLDM2 上以 12.8 次评估达到 3.9 倍加速且保真度基本不降，但激进阈值与极端不稳定轨迹仍会带来退化。

ControlAudio 把定时可控与可懂语音生成拆成文本、定时、音素三级条件，用结构化提示、三阶段训练和两段采样实现统一控制，在 AudioCondition 与 AC-Filtered 上提升时间精度与可懂度，代价是更依赖标注与仿真数据的分布假设和更长的多阶段训练。

针对巨型傅里叶变换改相位会破坏频率间时间关系并把离散事件抹成持续纹理的问题，论文把相位转成群延迟做谱峰分割与整组均匀搬移，用合成与实录四音逆序、振幅比例展开与正弦调制复制证明离散包络可保留，代价是共享频点的重叠事件无法独立重排。

针对一次指令只给一个预设、无法在已有参数上连续修改的问题，论文用大语言模型做效果选择与初始化、再用 CLAP 引导的优化做原地微调，在 SocialFX 均衡器词对上 10 组中有 9 组的最大均值差异低于重提词基线，但非可微效果与长时间优化仍不稳定且每轮需要秒级计算。

针对文本到音频中推理扩展不足与偏好错位问题，论文用连续掩码流匹配加迭代掩码重预测扩展推理计算，并用奖励加权微调对齐文本对应与审美，主证据是在 AudioCaps 上 FAD 为 1.10、KL 为 1.30、MOS-Q 为 78.87，代价是需要多步 ODE 求解与多轮掩码迭代。

针对流式与扩散式文本转音频需数十至数百步积分导致延迟高的问题，MeanAudio 以均值流回归区间平均速度并配合双文本编码与瞬时到平均课程，在 AudioCaps 上用 120M 参数实现单步 FD 14.30 与 RTF 0.013，代价是长音频与语音生成仍受限。

针对语音与音乐联合训练中的任务冲突和数据不均衡，论文用动态容量混合专家做按词元分配计算的三阶段课程训练，在语音内容一致性和音乐美学指标上报告了超越专用基线与稠密联合基线的结果，代价是更复杂的专家初始化与路由调参流程。

UniSonate 用指令与内容双流加动态音效令牌统一语音音乐音效生成，在语音可懂度和音乐连贯性上报告最优值，而音效保真度仍落后于专用模型并受短时长与推理开销限制。

针对流匹配语音生成中 ODE 反复调用神经网络导致推理慢的问题，WaveEx 用单层小波分解加一阶泰勒分频外推替代部分求解步骤，在四类任务上报告 2.75-5.73 倍加速，代价是早期高曲率段仍需保留少量 ODE 步且高频外推带来轻微波动。

该工作用迭代局部幅度剪枝去掉 90% 可剪枝权重，并以只遍历非零权重的自研中央处理器稀疏引擎在 48 kHz 与 256 采样块下把实时因子压到约 0.6 实现实时运行，代价是超出感受野的长混响尾音误差增大与高增益下和输入无关的噪声嗡声无法复现。

针对潜扩散文本生成音频的归属问题，该文把水印映射为初始隐向量这一支点锚，用无引导扩散生成锚序列并以软动态时间规整优化反演轨迹，在保持生成流程不变下报告了更强的鲁棒性，但每步多轮优化带来了可观的提取时间代价。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

论文把信噪比失准归因于瞬时相位距离不可靠，用全向相位导数重写相关项得到 GOMPSNR，并在声码器与编解码器上验证其与听感指标更相关且导出损失能提升重建质量，但线性幅度等组合在小数据上存在过拟合代价。

针对全局视觉条件丢失局部发声细节的问题，SS2A 用检测与跨模态翻译感知多模态声源，经单声源对比流形解歧义再用注意力混合生成，论文报告其在图像到音频的相关性与多源配比上占优，代价是依赖检测质量与预训练生成器且需单源数据训练。

针对自回归文本到音频在复杂事件上指令跟随下降的问题，论文用前缀隐式计划探测加 Plan-Critic 早期剪枝做引导解码，在相同 token 预算下把 AudioCaps 总体 CLAP 从 26.67 提升到 36.47，代价是需要额外训练一个轻量打分器并依赖 CLAP 作为代理目标。

TTA-Bench 针对文本到音频生成提出覆盖准确性、效率、泛化、鲁棒性、公平性、偏见与毒性的七维评测，用 2999 条提示与 118314 条人工标注比较十个主流模型，发现 Tango 2 在准确与泛化上领先但毒性率最高，而效率与公平性上各模型分化明显。

SCAPES 针对环境声纹理的语义可控合成问题，用连续归一化流在 EnCodec 连续隐空间上按原子段自回归建模，并以 CLAP 语义嵌入和历史原子为条件，在约 34 分钟数据、单张消费级 GPU 约 1 小时训练的条件下实现长时稳定生成，代价是难以处理语音与复调音乐所需的长程结构。

论文以 Schroeder 历史混响为案例，主张用开放架构重建 comb 与 all-pass 组合，通过 Csound 脉冲响应分析与 par/seq 重建验证理解过程，代价是遇到效率限制而把 C 编译 opcode 留作后续工作。