自回归模型

针对音频驱动说话人脸只求口型对齐而说话风格单一、情绪不可控的问题，PC-Talk 用隐式关键点上的唇同步变形与纯情绪变形分别建模，在 HDTF 上以视频输入 9.03 与图像输入 9.37 的 LSE-C 显示口型优势，并以情绪分类准确率 46.19 与 72.32 显示情绪优势，代价是需要分开训练两个控制模块并固定渲染器参数。

针对语音驱动说话人像需要同时满足实时流式、高保真和大范围躯干动态的问题，该工作用参考图引导的因果视频 VAE 把压缩率做到 768 并用块自回归整流流 Transformer 生成潜变量，在单卡实现 512×512 下 42 FPS，代价是强依赖参考图质量与训练数据分布且本次未能确认代码模型可达。

针对环境声语义描述粗疏而波形稠密、离散量化破坏连续性、非因果编解码拼接易产生边界伪影的问题，SCAPES 冻结 EnCodec 连续潜空间并用条件连续归一化流做段级自回归生成，在约 34 分钟 10 类数据上以约 36M 参数单卡约 1 小时训练实现长稳可控合成，代价是对语音音乐等长结构建模不足且部分类别指标未胜出。

针对直接联合训练让倾听分支塌缩为静态表情的问题，UniLS 用无音频自回归预训练学习内在运动先验，再用双轨音频交叉注意力微调实现端到端说听生成，在 Seamless Interaction 测试与 25 人偏好比较中报告说话对齐与倾听分布同时改善，代价是更大算量与仍缺语义理解。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

Affectron 针对开放场景下非言语发声数据少且无对齐监督的问题，用解耦小语料上的情感驱动匹配与情感感知路由构造增广样本并微调 VoiceCraft 主干，报告显示非言语真实感与多样性提升而口语自然度基本保持，代价是重叠语音未建模且依赖伪标签与小规模干净语料。

针对符号音乐中音符属性被强加固定单向顺序的问题，Amadeus 采用音符级自回归加属性级双向离散扩散的两级架构并引入 CIEM，在 AMD 大规模数据上以 16.23 notes/s 实现文本条件与可控生成的提升，代价是扩散步数与速度需权衡且数据存在风格偏置。

针对长序列符号音乐自回归生成中误差累积导致结构漂移的问题，论文提出先预测块级语义再重建音符细节并用已生成块回嵌为锚的循环范式与分草图细化的层次框架，最强证据是预测特征与真值余弦距离平均降低 34.7% 且长序列主客观评价接近真值，代价是钢琴卷表示压缩可能丢失细微时值与目前主要面向钢琴。

该工作用流式语音识别加文本预处理加机器翻译加两阶段大模型压缩的级联管线做英译中自动字幕，在开发集上以压缩换合规并略微改善 SubER，而代价是保留时间戳不动且依赖确定性改写与人工规则阈值。

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

KALL-E 针对离散语音切分的信息损失与高帧率不稳定问题，用 Flow-VAE 提取 512 维 12.5 Hz 连续隐分布并让自回归 Transformer 逐帧预测均值方差，以 KL 散度为目标在 Seed-TTS 上取得 0.96 中文 CER 与 1.94 英文 WER，代价是保留强 KL 约束与单样本测试时微调的额外开销。

针对重构训练的编码器与自回归语言模型目标不一致导致词元难学的问题，论文用未来词元预测与语义对齐改造编码器，在 SALMon 上报告 61.6% 准确率与 35 倍困惑度下降，同时语音 Mel 距离改善 5.0%，代价是需要配对文本与额外训练开销。

针对并行三元组稀缺与合成目标封顶质量的问题，MimicLM 把 TTS 合成语音做源、真录音做目标并配合交错文本建模与偏好对齐，在保持音色口音情感相似度可比的同时提升自然度，代价是仍需大规模合成过滤与两阶段训练且真实输入词错率高于纯音色转换。

针对非归一化位移脉冲响应中数千个重叠平板模态难以逐个分辨的问题，该工作用匹配追踪锚定加原始与一阶二阶差分三视图子带自回归极点收割、饱和频带递归分裂与饱和指示补数，最后做全局岭最小二乘增益回填，其代价是相距不足 1 Hz 的邻近模态增益仍无法分离。

针对零样本语音克隆中对齐脆弱、时长不可控和长于训练则崩溃的问题，VoiceStar 用进度监控旋转位置编码与延续加提示混合训练实现时长控制与外推，最强证据是 40s-50s 外推下词错率 11.91 对 F5-TTS 的 52.44，代价是长上下文下说话人相似度略低与自回归推理慢。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对自回归文本到音频在复杂事件上指令跟随下降的问题，论文用前缀隐式计划探测加 Plan-Critic 早期剪枝做引导解码，在相同 token 预算下把 AudioCaps 总体 CLAP 从 26.67 提升到 36.47，代价是需要额外训练一个轻量打分器并依赖 CLAP 作为代理目标。

IndexTTS2 针对自回归零样本语音合成难以精确控时长与情感易混入音色的问题，用语义标记数约束、风格与音色双提示解耦与 GPT 隐状态增强做级联合成，在多数据集上报告了词错误率、说话人相似度和情感相似度的领先结果，但强情感下清晰度与极端变速仍有代价。

针对连续语音表示自回归预测中误差沿时间累积导致的隐变量漂移问题，SphereVAE 用单位超球面 Power Spherical 隐空间固定模长只留方向变化，在重建指标低于标准 VAE 的代价下，在 VoxCPM 零样本合成中取得英文 5.305% 词错误率与中文 1.141% 字错误率的最低内容错误并在长文本中保持更高的说话人相似度。