自回归模型

Realtime-Venus 用两个 9B 前端分别处理音视频与纯音频全双工对话，用双环运行时把即时说话与后台推理工具执行解耦，最强证据是 Omni 在六项视频基准领先与 Audio 在 MMAU 等四项音频问答领先，代价是打断响应与参数准确率仍落后及委派判断存在漏委派与过度委派的权衡。

StepAudio 3 Music 针对完整歌曲的长程结构与高保真渲染矛盾，采用 50 赫兹 65536 表项单码本离散表示加混合专家自回归组织音乐序列再由流匹配扩散渲染 48 千赫音频，并以 ABC 记谱作显式编曲计划，在 339 条歌词到歌曲与 316 条人声条件上取得内容享受 7.7086 与文本相似 0.4465 的最高均值，代价是自回归序列翻倍与符 …

该回顾把四代系统的进步归因于规划器与渲染器之间接口契约的四次搬迁，用同篇消融支持表示与归属判断，以分阶段联合训练解决低码率与跨模块协同问题，代价是更长的训练流水线与更复杂的条件控制。

针对连续隐变量自回归扩散在长句和难句上的发音错误与语义幻觉，DiTAR+ 用扩张上下文采样扩大历史视野、用分层声学遮蔽先对齐语义再渲染声学，在 ZH-Hard 上把词错误率从 12.478% 降到 9.893%，在 25 到 35 秒长句上把说话人相似度从 0.741 提升到 0.759，同时词错误率从 2.778% 降到 2.173%，代价是质量主观分相对 …

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读

StepAudio 3 Gen 用 12.5 Hz 共享 16 码本离散表示把语音、歌声、音效和音乐放在一个自回归流中建模，以主干预测首码本加轻量预测器补全残差码本的分工，在四阶段渐进预训练与零初始化适配下保持文本能力，并在中文人声相似度与声音设计指令遵循上报告了可核对的胜率与一致性得分，其代价是长序列声学建模与多阶段训练流程的复杂度。

该文把毛笔旋转速度作为外部控制层，用距离积分触发主旋律、用阈值开关控制和声层，调用公开 Notochord 模型生成多轨 MIDI 并经 Ableton Live 发声，以一次约五分钟的水写布现场演示验证可演性，代价是只用陀螺仪而缺压力与长结构建模。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读

LiveGesture 针对实时对话中不能等待整句语音的手势生成问题，采用可流式解码的分区运动词表加区域专家与因果空时融合，在 BEAT2 上以零前视达到与离线方法可比的真实感与节拍同步，但面部顶点误差与首包延迟仍受音频编码与自回归漂移约束。

针对具身对话需要因果、低延迟且富有表现力的手势问题，MIBURI 直接复用 Moshi 语音文本模型的内部 token 流，用身体分区残差码本与时间加运动学双变换器逐帧生成手势，并以 36 ms 每帧的在线演示和多说话人评测支撑其因果实时主张，但仍未达到真值自然度且未建模用户身体。

针对音频驱动说话人脸只求口型对齐而说话风格单一、情绪不可控的问题，PC-Talk 用隐式关键点上的唇同步变形与纯情绪变形分别建模，在 HDTF 上以视频输入 9.03 与图像输入 9.37 的 LSE-C 显示口型优势，并以情绪分类准确率 46.19 与 72.32 显示情绪优势，代价是需要分开训练两个控制模块并固定渲染器参数。

针对语音驱动说话人像需要同时满足实时流式、高保真和大范围躯干动态的问题，该工作用参考图引导的因果视频 VAE 把压缩率做到 768 并用块自回归整流流 Transformer 生成潜变量，在单卡实现 512×512 下 42 FPS，代价是强依赖参考图质量与训练数据分布且本次未能确认代码模型可达。

针对环境声语义描述粗疏而波形稠密、离散量化破坏连续性、非因果编解码拼接易产生边界伪影的问题，SCAPES 冻结 EnCodec 连续潜空间并用条件连续归一化流做段级自回归生成，在约 34 分钟 10 类数据上以约 36M 参数单卡约 1 小时训练实现长稳可控合成，代价是对语音音乐等长结构建模不足且部分类别指标未胜出。

针对直接联合训练让倾听分支塌缩为静态表情的问题，UniLS 用无音频自回归预训练学习内在运动先验，再用双轨音频交叉注意力微调实现端到端说听生成，在 Seamless Interaction 测试与 25 人偏好比较中报告说话对齐与倾听分布同时改善，代价是更大算量与仍缺语义理解。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

Affectron 针对开放场景下非言语发声数据少且无对齐监督的问题，用解耦小语料上的情感驱动匹配与情感感知路由构造增广样本并微调 VoiceCraft 主干，报告显示非言语真实感与多样性提升而口语自然度基本保持，代价是重叠语音未建模且依赖伪标签与小规模干净语料。

针对符号音乐中音符属性被强加固定单向顺序的问题，Amadeus 采用音符级自回归加属性级双向离散扩散的两级架构并引入 CIEM，在 AMD 大规模数据上以 16.23 notes/s 实现文本条件与可控生成的提升，代价是扩散步数与速度需权衡且数据存在风格偏置。

针对长序列符号音乐自回归生成中误差累积导致结构漂移的问题，论文提出先预测块级语义再重建音符细节并用已生成块回嵌为锚的循环范式与分草图细化的层次框架，最强证据是预测特征与真值余弦距离平均降低 34.7% 且长序列主客观评价接近真值，代价是钢琴卷表示压缩可能丢失细微时值与目前主要面向钢琴。