EVA:用自预测自回归先验做连续序列生成的变分自编码器
EVA 针对连续序列的下一时刻多峰预测问题,用编码器、因果解码器和自回归潜变量预测器三部分学习与后验对齐的先验,在 ImageNet 上以更少推理参数和更快祖先采样达到与自回归扩散基线可比的生成质量。
EVA 针对连续序列的下一时刻多峰预测问题,用编码器、因果解码器和自回归潜变量预测器三部分学习与后验对齐的先验,在 ImageNet 上以更少推理参数和更快祖先采样达到与自回归扩散基线可比的生成质量。
论文解决用解码器大语言模型做流式语音识别时等待与出词耦合的问题,用等待概率加原词表分布的因子化结构,在日语和英语上取得更低错误率,并用等待步跳过大词表计算降低训练显存和推理开销,但纯文本困惑度仍高于原始模型。
论文用固定流程在不同最大上下文上分别训练小型因果 Transformer,发现民谣记谱中长上下文增益主要来自对展开的重复段落的原样拷贝,而演奏录音上增益小且早早放缓,代价是更长的注意力跨度和更不稳定的拷贝习得过程。
LIFT-SE 用自回归模型先预测干净编解码器令牌锁定语言内容,再用条件流匹配把量化隐变量修正为连续隐变量,代价是需要两步串行推理和约 193M 可训练参数。
论文用只接受音频条件的 MixAudio 记录每个声部用了哪段提示和共用上下文,再用 musicDNA 在训练库中检索复现,条件跟随实验与人工听辨的记忆审计共同说明记录何时成立、代价是只覆盖旋律声部且结论限于本次曲库。
WorldSonus 针对无声世界模型,用 100 ms 因果分块的自回归扩散同时解决实时跟播、中途改提示词和视角对齐立体声问题,在只看过去与当前帧的条件下取得可比双向模型的音质与更强的左右一致性,代价是单块 41.2 ms 计算与对高质量立体声数据的依赖。
本文把整句语码切换识别定义为多标签语言集合预测,对比原子对分类、分数排序基线与直接生成语言集合的方法,显示已知语言数时的前二排序最强但阈值不可迁移,而集合生成器能预测语言个数但在精确集合准确率上仍落后。
该研究把同一源语句同目标口音的多次随机合成看作候选池,用口音与保持度的波形评估选出其配对离散码作为监督,在相同训练条件下口音准确率提升 2.49 个百分点,代价是词错误率平均上升 0.29 个百分点、说话人相似度基本不变。
针对 6.25 Hz 下语言信息与声学细节难以兼顾的问题,Q-SPT 用两组独立可学习查询分别压缩语义流与声学流并以自回归文本损失监督语义,在 LibriSpeech test-clean 重建与下游识别合成中取得同帧率最优,但合成可懂度仍弱于 FlexiCodec 且需更大训练开销。
论文把带宽扩展限定为只补输入截止频率以上频带,用冻结的 48 kHz 编解码器加一个在量化深度上自回归的变换器完成码字,在 MUSDB18 四个输入率上客观指标超过两个基线,代价是 8 kHz 主观听感只与较强基线相当且仍依赖单一冻结码字分布。
该研究用同一句话的慢中快三速对比找出语速轴,并在中间层把激活沿该轴的投影钳制到目标强度,在三套自回归语音合成系统上实现免重训调速,慢速极端下钳制保持可懂度和音色而相加式转向普遍失效,中等目标下最优规则随模型而异。
针对指令式语音合成缺字级对应与可检视性的问题,InstCharVoice 用接地标注加逐字五维声学规划实现指令到字符声学的显式落地,在关键词级声学误差和指令跟随主观分上报告更好结果,代价是说话人相似度和可听写性略有回落且抽象情感未建模。
论文把文本到音乐拆成 25 Hz 语义规划加扩散声学渲染,用固定接口、三级语料和全链路产物清单重建 Qwen-Music 范式,最强证据是标注审计与量化误差的固定协议测量,代价是自动监督误差、离散信息损失与端到端人声不稳定仍未解决。
YuE2 用同一模型先写包含旋律与和声的可读乐谱再生成语义与声学表示,在相同检查点对照中符号规划提升了专家感知的整体质量,并以可编辑的乐谱接口支持改编与零样本翻唱,但多候选筛选与自动指标仍带来额外代价与解释边界。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对注意力编解码器逐字生成慢而 CTC 贪心快但易错的问题,论文提出在同一联合模型内用 CTC 贪心做初稿、注意力解码器只重写低置信位置的 SASD,并在 AISHELL-1 等数据上报告接近注意力重打分的字错率与 2.8 到 3.5 倍加速,但跨硬件的非同条件数值只能定性参考。
针对语音语言模型多码本延迟交织与无分类器引导难以装入文本单流连续批处理的问题,该文用主辅分解加在片声学解码与条件加无条件配对同批共前向的办法,在单卡 H100 上报告最高 108×加速与保持 80% 非引导吞吐,代价是小模型先触及显存带宽墙与半精度下约 34 步后出现数值漂移。
针对只能看到 2-8 秒前缀时的语音质量估计问题,ANCHOR 在 ARECHO 上引入块级与整句级双分辨率自回归解码与块优先顺序,在 2 秒前缀上把 PLCMOS 误差降低 48%,代价是在长前缀的 UTMOS 等全局指标上出现可预期的交叉落后。
CtrlSpeech 针对整句级控制难以修改局部韵律的问题,在 DiTAR 连续声学建模上叠加全局说话人条件与音素对齐的音高、响度和时长信号,零-shot 可懂度和相似度与复现 DiTAR 相当,而显式控制使音高、响度和时长误差大幅下降,代价是纯文本时局部韵律仍不准且依赖基频提取与强制对齐质量。
该文把解码顺序视为建模选择,用同一掩码扩散模型在标量量化梅尔谱上比较左到右、右到左与置信度自适应等可运行顺序,报告右到左和 top1 在客观与主观指标上优于左到右,但随机性与局部连续性带来不同指标代价。