把结构化语音与非结构化音效装进同一指令接口:UniSonate 的对齐与课程设计
UniSonate 用指令与内容双流加动态音效令牌统一语音音乐音效生成,在语音可懂度和音乐连贯性上报告最优值,而音效保真度仍落后于专用模型并受短时长与推理开销限制。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
UniSonate 用指令与内容双流加动态音效令牌统一语音音乐音效生成,在语音可懂度和音乐连贯性上报告最优值,而音效保真度仍落后于专用模型并受短时长与推理开销限制。
针对流匹配语音生成中 ODE 反复调用神经网络导致推理慢的问题,WaveEx 用单层小波分解加一阶泰勒分频外推替代部分求解步骤,在四类任务上报告 2.75-5.73 倍加速,代价是早期高曲率段仍需保留少量 ODE 步且高频外推带来轻微波动。
该工作用迭代局部幅度剪枝去掉 90% 可剪枝权重,并以只遍历非零权重的自研中央处理器稀疏引擎在 48 kHz 与 256 采样块下把实时因子压到约 0.6 实现实时运行,代价是超出感受野的长混响尾音误差增大与高增益下和输入无关的噪声嗡声无法复现。
针对潜扩散文本生成音频的归属问题,该文把水印映射为初始隐向量这一支点锚,用无引导扩散生成锚序列并以软动态时间规整优化反演轨迹,在保持生成流程不变下报告了更强的鲁棒性,但每步多轮优化带来了可观的提取时间代价。
共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读
论文把信噪比失准归因于瞬时相位距离不可靠,用全向相位导数重写相关项得到 GOMPSNR,并在声码器与编解码器上验证其与听感指标更相关且导出损失能提升重建质量,但线性幅度等组合在小数据上存在过拟合代价。
针对全局视觉条件丢失局部发声细节的问题,SS2A 用检测与跨模态翻译感知多模态声源,经单声源对比流形解歧义再用注意力混合生成,论文报告其在图像到音频的相关性与多源配比上占优,代价是依赖检测质量与预训练生成器且需单源数据训练。
针对自回归文本到音频在复杂事件上指令跟随下降的问题,论文用前缀隐式计划探测加 Plan-Critic 早期剪枝做引导解码,在相同 token 预算下把 AudioCaps 总体 CLAP 从 26.67 提升到 36.47,代价是需要额外训练一个轻量打分器并依赖 CLAP 作为代理目标。
TTA-Bench 针对文本到音频生成提出覆盖准确性、效率、泛化、鲁棒性、公平性、偏见与毒性的七维评测,用 2999 条提示与 118314 条人工标注比较十个主流模型,发现 Tango 2 在准确与泛化上领先但毒性率最高,而效率与公平性上各模型分化明显。
SCAPES 针对环境声纹理的语义可控合成问题,用连续归一化流在 EnCodec 连续隐空间上按原子段自回归建模,并以 CLAP 语义嵌入和历史原子为条件,在约 34 分钟数据、单张消费级 GPU 约 1 小时训练的条件下实现长时稳定生成,代价是难以处理语音与复调音乐所需的长程结构。
论文以 Schroeder 历史混响为案例,主张用开放架构重建 comb 与 all-pass 组合,通过 Csound 脉冲响应分析与 par/seq 重建验证理解过程,代价是遇到效率限制而把 C 编译 opcode 留作后续工作。
音乐生成 | 5.9/10
音频生成 | 6.6/10
音频生成 | 7.2/10
音频生成 | 6.4/10
音频生成 | 8.2/10
音乐生成 | 8.7/10
音频生成 | 8.5/10
音频交互 | 5.2/10
音频生成 | 7.3/10