自回归模型

论文用先预测文本词再生成对应语音段的序列构造解决语音到语音续写的内容建模问题，最强证据是在相同模型和数据下生成困惑度从 151.7 降到 58.9，蒸馏与文本回放进一步保留事实知识，代价是需要词级对齐和双头生成。

论文用离散词元做长时规划、用连续语义特征做声音渲染并让流匹配损失回传语言模型，在 192 个共用提示上 Joint-STD-48D 相对离散基线提升 SongEval 并降低音素错误率，但更宽特征与不同渲染路线各有取舍且增益来源尚未分离。

LiveAnon 用冻结的流式语音识别编码器特征直接驱动自回归编解码器语言模型做语音转换，并用截断的残差量化延迟同时控制隐私、情感保留和延迟，代价是仍依赖编码器分块带来的数百毫秒算法延迟。

针对自回归语音识别逐词生成慢的问题，论文用复用目标模型声学与解码器表示的轻量 Speech-Draft 做草稿加并行验证，在 LibriSpeech 上 Whisper 达 1.91 倍、Conformer 达 2.43 倍且识别结果不变，代价是需额外训练草稿模块并调草稿长度。

论文把保留内容与韵律的单码本语音单元同时用作统一模型的输入与生成目标，在相同框架和数据下比较识别、判别与合成，并在问答微调后检验保留情况，但合成只用自动指标且局限于英语朗读语音。

Sonic-AMG 针对双耳音频流加世界系声源位置输入，用 what 与 where 分离表征加因果 Transformer 与流头逐段生成动作，并以排练训练和空间反馈缓解历史与空间条件失配，在 SAM 上取得最优 FID 与 R-precision 且保持实时流式生成，但结论限于 SAM 划分与已知声源位置条件。

TASTE 把文字拆成标签、段落计划和意象三路条件，用三层弱监督数据和两类模型实现可控钢琴生成，在情感与结构对齐上提升明显，但伴奏与演奏风格仍受标签可靠性限制。

论文用 0.6B 双自回归模型做零样本语音克隆，以多语言微调打底、用词错误率和说话人相似度稳住内容和音色，再用对照真人录音的真实感评价模型做强化学习来提升韵律自然感，代价是需要配对真人参考并额外约束时长。

该文研究编解码器词元怎样用于目标说话人提取，提出判别语义分支加生成声学分支的分工结构，在 Libri2Mix 上把可比基线的 dWER 从 0.388 降到 0.118，代价是依赖两阶段结构和冻结的 DualCodec 编解码器。

论文研究连续自回归语音模型在偏好后训练中如何构造偏好对、在哪个流噪声水平比较以及更新自回归主干还是声学头，发现固定声学头只更新主干后部层在所测条件下带来更大的自动奖励提升，但训练损失更低并不等于生成语音更好。

AutoSynth 把演奏事件、固定音色参数和可变长度调制连接组织成统一序列，用音频条件的自回归模型预测可在 Helm 中直接执行的程序，并用两阶段学习把文本经由生成音频转成可编辑控制，代价是合成器表达范围与渲染反馈开销限制了适用声音。

EVA 针对连续序列的下一时刻多峰预测问题，用编码器、因果解码器和自回归潜变量预测器三部分学习与后验对齐的先验，在 ImageNet 上以更少推理参数和更快祖先采样达到与自回归扩散基线可比的生成质量。

论文解决用解码器大语言模型做流式语音识别时等待与出词耦合的问题，用等待概率加原词表分布的因子化结构，在日语和英语上取得更低错误率，并用等待步跳过大词表计算降低训练显存和推理开销，但纯文本困惑度仍高于原始模型。

论文用固定流程在不同最大上下文上分别训练小型因果 Transformer，发现民谣记谱中长上下文增益主要来自对展开的重复段落的原样拷贝，而演奏录音上增益小且早早放缓，代价是更长的注意力跨度和更不稳定的拷贝习得过程。

LIFT-SE 用自回归模型先预测干净编解码器令牌锁定语言内容，再用条件流匹配把量化隐变量修正为连续隐变量，代价是需要两步串行推理和约 193M 可训练参数。

论文用只接受音频条件的 MixAudio 记录每个声部用了哪段提示和共用上下文，再用 musicDNA 在训练库中检索复现，条件跟随实验与人工听辨的记忆审计共同说明记录何时成立、代价是只覆盖旋律声部且结论限于本次曲库。

WorldSonus 针对无声世界模型，用 100 ms 因果分块的自回归扩散同时解决实时跟播、中途改提示词和视角对齐立体声问题，在只看过去与当前帧的条件下取得可比双向模型的音质与更强的左右一致性，代价是单块 41.2 ms 计算与对高质量立体声数据的依赖。

本文把整句语码切换识别定义为多标签语言集合预测，对比原子对分类、分数排序基线与直接生成语言集合的方法，显示已知语言数时的前二排序最强但阈值不可迁移，而集合生成器能预测语言个数但在精确集合准确率上仍落后。

该研究把同一源语句同目标口音的多次随机合成看作候选池，用口音与保持度的波形评估选出其配对离散码作为监督，在相同训练条件下口音准确率提升 2.49 个百分点，代价是词错误率平均上升 0.29 个百分点、说话人相似度基本不变。

针对 6.25 Hz 下语言信息与声学细节难以兼顾的问题，Q-SPT 用两组独立可学习查询分别压缩语义流与声学流并以自回归文本损失监督语义，在 LibriSpeech test-clean 重建与下游识别合成中取得同帧率最优，但合成可懂度仍弱于 FlexiCodec 且需更大训练开销。