自回归模型

论文把配音式翻译定义为在同一绝对时间轴上保住源端点和显著内部停顿，提出 TransDubber 用对齐目标波形做渐进监督加细粒度强化学习，在 4353 句英中测试上把 2% 时长符合率从 25.6% 提到 61.5%、停顿 F1 从 0.118 提到 0.550，代价是翻译质量仍略低于级联系统。

论文用 26 个自回归与掩码模型对照 MusicXML、MIDI 与 ABC 三种表示，显示 MusicXML 在理解任务全面领先、在生成任务的分布相似度与人工偏好上占优，而分块顺序与 BPE 词汇量带来互补的代价。

针对跨语言零样本克隆把源语言口音带入目标语的问题，该文用原始参考保音色、可复用的转换锚点供发音并以闭环反馈对齐历史，在 20 名未见法语说话人上以 0.042 的 ECAPA 代价把残留法语识别量降低 73%，同时取得最低词错误率和最高发音评分。

针对多种退化混杂时单一模型难兼顾内容与音质的问题，该工作用语义分支保语言内容、声学分支保频率相位细节并经双向交互融合后交给大音频语言模型生成离散语音标记，在 Libri2Mix 与多退化子任务上内容指标占优但部分感知指标仍有起伏且依赖大规模合成训练。

SLM-SS 把多人分离变成先用自回归模型生成零阶码本的说话人串接序列、再用非自回归模块补高阶残差码本的符号生成问题，在 Libri2Mix 上以可听质量和可懂度为主要收益，代价是依赖编解码器上限、序列变长和离线解码开销。

D-Composer 针对鼓录音难以拆成可编辑单鼓事件的问题，用合成数据训练编码器解码器语言模型逐事件输出类别、起音时刻和 32 个鼓单音编解码器声学 token，实验在合成与真实鼓数据上比较转录与单音抽取并以更高压缩换取可接受的重建损失。

StreamLSC 针对超低码率下严格逐帧因果的语音压缩问题，用帧内归一化、边界缓存因果卷积与 RWKV 循环状态做主干并配帧级熵模型，在 LibriTTS 上以约 1.1 kbps 取得与离线版本相当的率失真表现，但模型达 149.2M 参数且实时系数为 0.0539。

论文要解决多人多智能体长时间交互中动作后果易丢失的问题，用 DAO 维护可计算的共享世界状态、用 JING 按观察者条件逐段生成第一人称视听体验，在 WBench 上双向与四步自回归版本取得 Full 平均 81.0 与 79.9 分，代价是需要分阶段训练、记忆检索与蒸馏来控制历史与步数。

Soloist 把盲人声分离做成按人声个数串行生成音频编解码序列，用合成混合加说话人时间线做监督，再用模型评价器在真实录音上做强化学习，在已知个数和未知个数条件下都保留了内容和音高，代价是生成式重合成与评价器不稳定性需要多重门限和修复流程来约束。

论文用先预测文本词再生成对应语音段的序列构造解决语音到语音续写的内容建模问题，最强证据是在相同模型和数据下生成困惑度从 151.7 降到 58.9，蒸馏与文本回放进一步保留事实知识，代价是需要词级对齐和双头生成。

论文用离散词元做长时规划、用连续语义特征做声音渲染并让流匹配损失回传语言模型，在 192 个共用提示上 Joint-STD-48D 相对离散基线提升 SongEval 并降低音素错误率，但更宽特征与不同渲染路线各有取舍且增益来源尚未分离。

LiveAnon 用冻结的流式语音识别编码器特征直接驱动自回归编解码器语言模型做语音转换，并用截断的残差量化延迟同时控制隐私、情感保留和延迟，代价是仍依赖编码器分块带来的数百毫秒算法延迟。

针对自回归语音识别逐词生成慢的问题，论文用复用目标模型声学与解码器表示的轻量 Speech-Draft 做草稿加并行验证，在 LibriSpeech 上 Whisper 达 1.91 倍、Conformer 达 2.43 倍且识别结果不变，代价是需额外训练草稿模块并调草稿长度。

论文把保留内容与韵律的单码本语音单元同时用作统一模型的输入与生成目标，在相同框架和数据下比较识别、判别与合成，并在问答微调后检验保留情况，但合成只用自动指标且局限于英语朗读语音。

Sonic-AMG 针对双耳音频流加世界系声源位置输入，用 what 与 where 分离表征加因果 Transformer 与流头逐段生成动作，并以排练训练和空间反馈缓解历史与空间条件失配，在 SAM 上取得最优 FID 与 R-precision 且保持实时流式生成，但结论限于 SAM 划分与已知声源位置条件。

TASTE 把文字拆成标签、段落计划和意象三路条件，用三层弱监督数据和两类模型实现可控钢琴生成，在情感与结构对齐上提升明显，但伴奏与演奏风格仍受标签可靠性限制。

论文用 0.6B 双自回归模型做零样本语音克隆，以多语言微调打底、用词错误率和说话人相似度稳住内容和音色，再用对照真人录音的真实感评价模型做强化学习来提升韵律自然感，代价是需要配对真人参考并额外约束时长。

该文研究编解码器词元怎样用于目标说话人提取，提出判别语义分支加生成声学分支的分工结构，在 Libri2Mix 上把可比基线的 dWER 从 0.388 降到 0.118，代价是依赖两阶段结构和冻结的 DualCodec 编解码器。

论文研究连续自回归语音模型如何构造偏好对、在哪个流噪声水平比较优劣以及更新主干还是声学头，发现在受试设置下固定声学头只更新主干后部能提升自动奖励，但训练损失最低并不对应生成语音最好。

AutoSynth 把演奏事件、固定音色参数和可变长度调制连接组织成统一序列，用音频条件的自回归模型预测可在 Helm 中直接执行的程序，并用两阶段学习把文本经由生成音频转成可编辑控制，代价是合成器表达范围与渲染反馈开销限制了适用声音。