把七种模态塞进一个自回归模型：Archon 用语义视频与模态链思考做整人生成

英文题目：Archon: A Unified Multimodal Model for Holistic Digital Human Generation

会议身份：conference:cvpr:2026:conference-paper-id:Bao_Archon_A_Unified_Multimodal_Model_for_Holistic_Digital_Human_Generation_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #多模态学习 #音视频生成 #文本到语音

评分：6.9/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：模型报告

👥 作者与机构

• Chong Bao：机构信息未能从会议 PDF 纯文本可靠映射
• Shichen Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Lijun Yu：机构信息未能从会议 PDF 纯文本可靠映射
• David Futschik：机构信息未能从会议 PDF 纯文本可靠映射
• Stylianos Moschoglou：机构信息未能从会议 PDF 纯文本可靠映射
• Shefali Srivastava：机构信息未能从会议 PDF 纯文本可靠映射
• Ziqian Bai：机构信息未能从会议 PDF 纯文本可靠映射
• Feitong Tan：机构信息未能从会议 PDF 纯文本可靠映射
• Guofeng Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhaopeng Cui：机构信息未能从会议 PDF 纯文本可靠映射
• Sean Fanello：机构信息未能从会议 PDF 纯文本可靠映射
• Yinda Zhang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

数字人生成需同时处理文本描述、语音音频、表情姿态与高帧率视频，输入输出可为任意模态子集，直接跨模态映射歧义大且视频离散化后 Token 量远超语言模型上下文。该工作先以模态专用分词器将七种信号统一为离散 Token，再以自回归语言模型建模联合分布并按结构化提示逐模态生成，接着以语义视频为桥梁调用视频扩散模型重建高清画面，推理时插入中间模态构成渐进式思考链。与专家模型各训各任务不同，该框架以共享表示复用跨模态知识并支持任意编辑。在 CelebV-HQ 语音驱动视频任务上该方法 FID 为 6.818，显著优于 Hallo3 的 15.67，且 FVD 与唇同步指标亦具优势，图像条件语音合成的说话人相似度同样占优。结论限于正面独白、中等分辨率与英语主导场景，对极端姿态、多人交互与非语音音频尚未验证。原文披露了以大规模 TPU 集群分别训练语言模型与扩散模型数十天的重型成本，推理需串行自回归加扩散解码，开销高昂。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先把任务边界讲清

这篇解读的输入是论文原文正文与本次收到的官方原图像素，目标是让刚进入语音音乐音频领域的研究生能核对并复述 Archon 的方法。必须保留的信息包括 7 种模态的定义、分词器选择与参数、语言模型主干与训练任务数、语义视频压缩方式与扩散解码条件、Thinking in Modality 推理链、数据集规模与评测基准、以及与专用模型的比较条件。输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断，不继承其他分析的推断。

Archon 研究的是整体数字人生成中的任意到任意生成与理解。输入可以是描述文本、外观动作环境的结构化文本、剧本、语音音频、3 维人脸动画参数、语义分割视频、参考图像或真实视频中的任意子集，输出是剩余模态中的任意子集。举例来说，给一段语音加一张参考图，模型要生成对应的说话视频；给一段文字描述加剧本，模型要生成语音、动画、语义视频与最终视频；给一段视频，模型要反推出外观描述、唇读剧本、语音与动画参数。这与只做语音驱动 talking head 或只做图条件语音合成的专用模型不同，Archon 要求一个模型同时处理所有模态的感知与生成。

为什么不是把声音丢给模型就结束？因为数字人涉及时间对齐与身份一致的多重约束。语音是每秒 25 帧的多层离散序列，视频是每秒 30 帧的高维像素序列，二者采样率、信息密度与语义粒度都不同。从语音直接生成视频需要同时猜出性别等显式信息与发型表情背景等缺失细节，不确定性很高。论文把这种跨模态鸿沟显式化，提出先生成中间模态再逐步过渡到目标模态的推理策略，而不是要求模型一步到位。

初学者需要先建立白话概念。分词器就是把连续信号变成整数序列的压缩器，解词器是反过程。统一多模态模型就是把所有模态的整数序列拼进同一个语言模型做自回归预测。语义视频就是把彩色人脸视频换成 21 类语义标签的视频，只留眼睛眉毛鼻子嘴等结构与运动，去掉皮肤纹理与光照。扩散解码器就是以语义结构加参考外观为条件逐步去噪生成高清视频的模块。理解这四者，后续才能跟上压缩与生成的分工。

同输入同目标的路线有哪些，Archon 站在哪里

数字人生成路线按输入输出与监督方式可分 3 类。第一类是模态专用专家模型，例如从音频生成说话视频与唇同步、从图像生成个性化语音、从图像做人脸重建。论文在实验中直接比较了语音驱动视频方向的 AniPortrait、EchoMimic、Hallo3，以及图条件语音方向的 FaceTTS。这些模型在各自基准数据集上训练，保真度高，但每个模型只覆盖 1 个任务，换新模态或新组合需要重新训练或复杂微调，且多个专家串联时分布不一致容易脆弱。

第二类是多模态理解模型，例如 Flamingo、PaLM-E、Kosmos 等扩展语言模型处理多模态上下文，但输出局限于文本，不能生成音频与视频。第 3 类是统一生成模型，例如 VideoPoet、NExT-GPT、AnyGPT、Transfusion 等，用离散分词器把文本图像视频音频统一到 Transformer 主干，能做感知与生成，但论文指出它们在数字人关键能力上缺失：要么不支持音频，要么只生成音乐环境声而非人声，要么不处理语音转录、3 维可变形人脸动画与跨时间身份保持。

Archon 的定位是人本全模态预训练生成模型。它与第一类的同输入同目标对照点是语音到视频与图像加文本到语音，比较时 Archon 未在评测基准上微调而是直接推理，这一点必须记住，否则会误判公平性。它与第二三类的区别在于输出覆盖描述、剧本、语音、动画、语义视频、图像、视频 7 种模态，并用 72 种多模态任务预训练建模联合分布。相关工作比较不能把类别差异当同条件胜负：专家模型在单一任务上可以用更重的专用解码器，例如 FaceTTS 用更重的音频扩散模型，而 Archon 用轻量通用解词器，这解释了部分指标差异。

初学者易误解统一等于把所有专家蒸馏到一起。论文的做法不是蒸馏，而是从同步模态对与多任务分布中从头学习跨模态对应，用共享表示复用知识。是否能替代专家，取决于任务是否需要极致音频保真或极致视频细节，论文的结论是达到可比或更优的整体质量与同步性，而非所有细项全胜。

要解决的三个具体困难是什么

第一个困难是 token 爆炸与模态不平衡。高保真说话视频需要高帧率捕捉唇动表情头动，论文报告 5 秒 30 帧 256 分辨率视频经 MAGVIT-v2 编码会产生约 9K token，超过约 8K 的语言模型上下文窗口。同期 5 秒音频只有约 940 token，视频 token 在训练中会主导梯度。直接用更高压缩率的分词器不可行，因为需要重训大词表与瓶颈网络，增加语言模型学习负担。

第二个困难是任务组合爆炸。假设有 7 种模态并区分过去与现在状态，输入输出的任意子集组合数量巨大，无法为每种组合设专用任务 token。论文把问题形式化为给定条件模态集合生成剩余模态子集，并进一步拆成逐步生成：每一步只生成一个模态，条件是原始输入加已生成模态。这种递推形式保持了原问题的表达能力，但把联合生成简化为单步条件预测，为提示设计与采样策略铺路。

第三个困难是跨模态模糊性。从语音生成视频时，性别等信息可从声音推断，但发型、表情、背景必须 hallucinate。直接映射的困惑度高于经由 3 维形状表情等中间表示的路径。论文用实验观察支持这一点，并提出推理时不重训、只利用统一模型多条件能力的 Thinking in Modality：先生成语义粒度平滑过渡的中间模态，再生成最终视频。

把一个样本走完有助于建立依赖。假设输入是一段男声语音与一张参考图，目标是说话视频。传统做法是语音特征直接驱动图像变形。Archon 的做法是先把语音与图像分词成整数序列，拼成结构化提示，语言模型先预测形状、表情、描述等中间 token，再预测低分辨率语义视频 token，最后由扩散模型以语义视频加参考图加文本为条件生成高清视频帧。输入到表示到组件到目标到输出的链条中，压缩、推理、渲染 3 段各司其职。

整体流水线如何串起分词推理与渲染

Archon 由四部分组成：模态专用分词器组、语言模型主干、语义驱动视频扩散模型、Thinking in Modality 推理策略。数据流是先分词再推理再解词，视频分支多一步扩散超分。所有文本类模态共用 T5 分词器以保留语言能力，其他模态各有专用编码器，最后映射到统一词表的不同索引区间。

下图是全文的总览，左侧列出 7 种模态，中间是统一模型，右侧展示任意到任意生成与任意模态编辑，底部对比直接生成与链式思考的差异。读图时注意输入输出箭头是多对多，而非单管道。

看图路径： 1. 先看左侧七个输入模态图标如何汇入中间统一多模态模型再发散到右侧输出；2. 再看中部从文本描述到语音到动画到语义视频到视频的链式思考箭头与直接虚线箭头的区别；3. 最后对照右侧任意模态编辑栏中原始视频、编辑操作与编辑后视频的波形与口型变化

论文图 1。原论文 Figure 1：“Archon. We propose a novel unified multimodal model that performs cross-modal generation among a wide range of modalities, including description, script, speech, animation,…”。

这张总览图显示左侧描述、剧本、语音、动画、语义视频、图像视频 6 组图标同时指向中央大脑形统一模型，右侧又发散回对应模态，表达条件集合与生成集合都可以是任意子集。中部下方用虚线直接箭头表示普通单步生成，用经过剧本、语音、动画、语义视频的多段实线箭头表示链式思考，右侧编辑栏用原始视频波形、被改写的文本与编辑后视频波形口型对比，说明只改一个模态而保持其他不变的能力。初学者应把该图当作任务定义图，而非网络结构图。

更细的管线如下：左侧分词框把每种模态送入对应分词器，中间推理框用结构化提示组织成字典形式并送入语言模型，右侧解词框把预测 token 还原，对视频分支则把语义 token 与噪声隐变量一起送入扩散模型。

看图路径： 1. 先沿左侧多模态分词框追踪每种模态进入各自专用分词器的实线箭头；2. 再看中间结构化提示框中 Input 字典与 Output 字段如何组织成语言模型输入；3. 最后看右侧解码侧语义视频与噪声隐变量如何汇入视频扩散模型的注意力模块

论文图 2。原论文 Figure 2：“Pipeline. We use modality tokenizers to tokenize description, script, speech, animation, image and semantic video into discrete tokens.”。

这张管线图左侧用不同底色区分文本、音频、3 维人脸、图像、语义视频 5 类分词器，中间黄色框展示提示模板中 Input 字典的键为状态加模态名、值为 token 列表，Output 字段指明要生成的目标模态，下方箭头指向语言模型。右侧绿色框展示文本音频 3 维人脸图像语义视频各自的解词器，以及视频扩散模型内部的空间交叉注意力、时间自注意力、空间自注意力堆叠，底部标注噪声隐变量与语义隐变量拼接后输入。该图的关键是理解提示的键名是自然语言描述而非特殊符号，这让模型能复用预训练语言知识。

分词器与语言模型各自做了什么计算

图像分词器采用预训练 MAGVIT-v2，是基于 3 维卷积的向量量化生成对抗网络，使用无查找码本，码本大小为 218。论文用它把 256 分辨率图像量化为 16 乘 16 的离散表示。这一步是冻结复用，不重训，目的是保证视觉保真与压缩能力。

语义视频分词器是为跨模态推理定制的省内存设计。原始视频先分解为参考图与语义视频，参考图通常取首帧，语义视频是经现成人脸分割模型得到的 21 类离散标签，包含眼睑眉毛鼻子等。标签经可逆颜色嵌入映射为标准彩色视频，再微调 MAGVIT-v2 编码器，把 L 帧 128 分辨率语义视频压缩为特定下采样倍率的 8 乘 8 token，码本大小设为 210。论文报告这种重参数化在保留细粒度动态的同时实现约 4 倍 token 减少，且离散标签在空间上分布平滑，更契合自回归推理，低分辨率语义可表示高分辨率视频。

语义视频 × 视频扩散解码器： 语义视频负责把连续 RGB 视频换成 21 类离散语义标签序列，只保留结构与运动而丢掉纹理，分工是让语言模型在 8K 上下文内做跨模态推理；视频扩散解码器负责以参考图加语义掩膜加文本为条件把低信息密度语义序列恢复为 512×512 高清视频，分工是补回外观细节；二者搭配的原因是离散语义与自回归推理对齐而连续纹理适合扩散生成，组合意义是用低分辨率语义表示高分辨率视频，实现约 4 倍 token 压缩下的高质量合成。

语音分词器采用预训练 SoundStream 残差向量量化器，把 16 kHz 音频按每秒 25 帧、8 层残差编码，每层独立词表 1024 码。为效率与稳定只保留前 4 层，token 按从低到高残差层级排列，保留层次结构。动画分词器用 3 维可变形人脸模型参数，把人脸拆成形状、表情、姿态。形状是整段不变的静态几何向量，表情与姿态是随时间变化的 1 维时序信号。三者各自训练残差向量量化变分自编码器，码本配置为形状 8 层每层 512 码、表情 8 层每层 2048 码、姿态 6 层每层 512 码，最终同样按低到高层级排列。文本分词器保留语言模型原生的 T5 编码器。

模态专用分词器 × 统一词表： 模态专用分词器负责把描述、剧本、语音、动画、图像、语义视频等异构信号各自离散化为整数 token，分工是平衡重建保真与序列长度；统一词表负责把不同模态的 token 划分到不重叠的连续索引区间，分工是让单个 PaLM2 模型能自回归预测下一个 token；搭配原因是各模态压缩特性不同不能共用一个编码器但推理需要共享序列接口，组合意义是任意模态集合都能拼成结构化提示进行条件生成。

语言模型主干采用 1,000,000,000 参数 PaLM2，前缀解码器结构，输入序列双向前缀注意力。统一词表总大小约 550K，文本占据 0 到 256127 等区间，视频占据另一段连续区间，每个 token 有可学习嵌入。模型读入结构化提示的 token 序列，自回归预测下一个 token。提示不用特殊任务 token，而是用类似 JSON 的序列化加自然语言键名标明模态类型、状态、输入与期望输出，优点是减轻对稀疏特殊 token 的依赖，并提供语义 grounding。

3D 可变形人脸模型参数 × 语音 token： 3D 可变形人脸模型参数负责把人脸动画拆成形状、表情、姿态 3 组连续时间信号并各自用残差向量量化编码，分工是提供可控且可解释的运动中间表示；语音 token 负责用 SoundStream 残差量化把 16 kHz 音频编码为每秒 25 帧的多层离散序列，分工是保留音色与内容层次；搭配原因是语音到视频直接跨越语义鸿沟而不确定性高，组合意义是在 Thinking in Modality 链中先生成形状表情等中间模态再生成视频，降低模糊性并提升口型同步与身份一致性。

视频扩散解码器以 WALT 为骨干，原为文本到视频的 Transformer 隐扩散模型。改造点是接受低分辨率参考图、语义掩膜与文本描述。语义掩膜隐变量与噪声视频隐变量沿特征维拼接后输入，提供运动引导；参考图经交叉注意力条件注入，为增强对应，还把参考图的语义掩膜隐变量与参考图隐变量拼接，再与文本嵌入拼接做交叉注意力。语义在此充当结构桥梁，帮助外观从参考图传递到生成视频。训练时微调整个 WALT，输入参考图与语义掩膜为 256 分辨率，输出视频为 512 分辨率，采用速度预测参数化并用预测与目标速度的均方误差优化。

用什么数据与采样策略训练，推理链如何组织

训练数据是 6000 小时独白视频，来自公开互联网，每段含与视频同步的语音与剧本。论文用 Gemini 2.5 Pro 为视频打描述性字幕，按既有方法拟合 3 维可变形人脸参数，并用自训的 DinoV2 骨干分割模型提取人脸语义分割。评测用与训练不相交的 CelebV-HQ 与 HDTF，各随机抽 200 段。语音转录用 Whisper 从语音提取剧本。初学者注意 6000 小时是训练分布，200 段是测试抽样，二者划分不同，不能混为一谈。

语言模型训练覆盖 72 种多模态任务，上下文窗口 8K，每步从任务分布采样动态填充。朴素的每步单任务随机采样会带来 3 种偏差：单任务梯度偏离多任务全局方向的模型偏差、任务数不均导致少任务模态被低估的分布偏差、难度不一导致难任务学不够的难度方差。对策是每步采样多任务以学多模态联合分布，并按采样权重平衡。权重形式为任务困惑度对数除以同输出模态的任务总数，其中困惑度用均匀采样训练的基线模型估计，衡量难度，任务数衡量分布。这种设计同时考虑难度与数量，但论文未报告该权重是否每轮更新或冻结，复现时需把该缺项记为待确认。

结构化提示 × 自回归逐步生成： 结构化提示负责用自然语言键名标明每个 token 段的状态、模态类型、输入与期望输出，分工是替代稀疏特殊任务 token 并复用预训练语言模型的语义理解；自回归逐步生成负责每次只以已给条件加已生成模态为条件预测下一个模态，分工是把输入输出组合爆炸拆成单步预测；搭配原因是 72 种任务无法为每种组合单独设任务头，组合意义是训练时学联合分布中单步条件、推理时可组合出未见过的任意到任意链条。

优化器与硬件按原文交代。语言模型微调预训练 1B PaLM2 以获得语言先验，用 Adam，权重衰减千分之一，4000 步学习率从 0 warmup 到千分之一再余弦衰减到十万分之五，用 256 块 TPUv6 Trillium 训练 20 天，批量 256。扩散模型用 Adafactor，6000 步线性 warmup 从 0 到万分之 1.2 后保持常数，用 128 块 TPUv6 训练 10 天，批量 128。论文未给出梯度是否截断到分词器、扩散与语言模型是否联合微调的细节，按证据只能说分词器多为预训练复用或单独训练，扩散微调整体 WALT，语言模型微调 PaLM2，三者是分阶段训练而非端到端联合反传，未报告处不猜。

推理时的 Thinking in Modality 不需要重训，只是换提示链。例如语音驱动视频的直接链是语音加图像直接生成视频，完整链是语音加图像先生成形状、表情、语义、描述等中间表示再生成视频。论文报告完整链在所有指标上优于直接链，定性上减少模糊外观与未定义文字符号，更接近真值身份。这可以理解为用中间模态把一步大跳变成多步小步，每步不确定性更低。

测什么、和谁比、条件是否一致

实验分三块：多模态生成与编辑展示、模态专用基准比较、消融。生成展示验证任意模态输入能否产生其余模态，编辑展示验证只改一个模态而保持其他不变。专用基准比较验证统一架构在单个任务上是否达到专家水平。消融验证统一建模与链式思考各自的贡献。

基线选择上，音频驱动视频比较 AniPortrait、EchoMimic、Hallo3，图条件语音比较 FaceTTS。公平条件是 Archon 未在基准数据集上训练，直接推理，而带星号方法在基准上训练过。这一点对解读数字至关重要：在对方主场还能比，说明泛化强，但也不能要求所有细项全胜。

指标按方向记住：视频质量用弗雷歇 inception 距离与弗雷歇视频距离，越低越好；视频质量还用 Q-Align 视觉语言模型打分，越高越好；唇同步用预训练 SyncNet 的置信分越高越好、距离越低越好；音频保真用梅尔倒谱失真加动态时间规整越低越好，音色一致用余弦相似度越高越好，身份准确率越高越好。不同指标差值不能混放一列，自动指标不能当人评，百分点与相对百分比也不同。

数据协议上，两个基准各抽 200 段，沿用前人做法。训练集 6000 小时与测试集不相交。论文未报告随机种子、多次运行方差、显著性检验与人评误判率，这些是缺项，解读时只能说报告显示而不能承诺统计显著。硬件预算已在训练节给出，推理延迟与实时帧率未报告，不能从训练资源推定推理开销。

主结果在什么条件下支持了什么判断

先看效率与可行性结果，这是理解后续质量数字的前提。直接用现有视频分词器编码 5 秒视频会产生约 9K token，超过约 8K 上下文窗口，无法在语言模型中做跨模态推理。Archon 用参考图加语义视频的重参数化实现约 4 倍压缩，使推理可行，再由扩散模型恢复高清。下表把该比较整理为五列，提出的问题是同等输入规格下哪种表示能装进上下文并可运行，公平条件是同为 5 秒 256 分辨率 30 帧输入，指标方向是 token 数越少越好且不超过窗口。

表后解释需要超过 25 个汉字。直接表示的代价是 token 主导训练且单样本就溢出，即使能截断也会破坏连续性与质量；语义表示的收益是结构运动保留而纹理丢掉，代价是必须依赖扩散解码器补回外观，若语义分割出错或参考图质量差，高清结果也会受影响。该表支持的判断是压缩使统一推理可行，有限解释是 4 倍为论文报告值，具体压缩比随帧数与分辨率变化，未验证推测是更低分辨率语义总能表示更高分辨率视频，这一点论文只说允许而非保证。

再看生成能力的定性结果。下图展示语音到视频的不同思考链，上行为直接链，下行为完整链，最下为真值。

看图路径： 1. 先确认顶行输入为两段不同说话人的语音波形；2. 再逐行比较直接生成链与加入中间模态的完整链在人脸清晰度与底部杂乱符号上的差异；3. 最后对照最底行真值视频的人物身份与背景以判断哪条链更接近

论文图 3。原论文 Figure 3：“Thinking in Modality. We show the results of speech- to-video generation with different thinking strategies.”。

这张对比图顶行是两段蓝色语音波形，中间两行各有 6 帧人脸视频，底行为对应真值。上行直接链的人脸更模糊，右侧女性头发卷曲但面部扭曲，底部出现条带状杂乱符号；下行完整链的人脸轮廓更清晰，男性短发蓝色衬衫与女性深发黑色上衣更接近底行真值的身份与背景。图注明确说完整链失真更少且身份对齐更好。该图支持中间表示稳定质量的判断，但像素不能精确读出同步误差数值，数值判断需回到专用基准表。

四向生成展示如下，(a) 文本到全部，(b) 语音到全部，(c) 3 维或语义到视频，(d) 视频到文本语音动画语义。

看图路径： 1. 先按(a) 到(d) 四列分别确认输入模态是文本描述、语音、三维人脸还是真实视频；2. 再看每列绿色输出栏中依次出现了哪些新生成的语音波形、三维人脸、语义分割与视频帧；3. 最后观察(d) 列从视频反推出的外观描述与唇读剧本是否语义自洽

论文图 4。原论文 Figure 4：“Multimodal Generation. We show holistic modality generation and understanding given an arbitrary modality as input.”。

这张四列拼图每列顶部橙条标明输入模态，绿色条标明输出模态。(a) 列输入年龄表情环境描述加剧本，输出语音波形、3 维人脸、语义分割与金发女性说话视频；(b) 列输入语音波形，输出性别为男性的外观描述、剧本、3 维人脸、语义与男性视频，说明从声音正确推断性别并保持时间同步；(c) 列输入 3 维人脸，输出苗条中等眨眼等描述、剧本、语音与金发女性视频，说明细粒度运动控制有效。

(d) 列输入真实老年男性视频，输出灰发居中室内等描述、唇读剧本、语音、3 维与语义，说明理解方向能从低层视频反推高层语义。未胜出项是这些展示多为成功案例，失败条件与未评测边界未系统报告，不能推广为所有口音与极端头动都成立。

专用基准的文字报告显示语音驱动视频上 Archon 在 FID 与 FVD 上超过所有基线，唇同步与图像质量与 EchoMimic、Hallo3 等在基准上训练的强基线可比；图条件语音上在余弦相似度与身份准确率上占优，但在梅尔倒谱失真上略差，论文归因于 Archon 用轻量通用音频解词器而 FaceTTS 用更重专用音频扩散模型。这是典型的收益与代价：统一表示带来身份语义一致，专用解码器在波形细节上仍有优势。由于原表选择清单为空且不能为凑宽度编造列，本节不硬贴基线数字表，完整逐字数字证据见补充说明，解读以方向与条件为准。

统一建模与链式思考各自贡献了什么

消融比较两组。第一组是统一模型对多专家集成，专家数为多个单模态模型，数据架构训练设置相同，总参数与统一模型对齐。论文报告统一模型在所有指标上优于专家集成，支持跨模态共享表示带来更强表示的判断。初学者注意总体趋势不等于每组每步都成立，且该比较未报告专家间如何做跨模态协调，复现时需补该细节。

第二组是无思考直接链对完整链。直接链从语音图像直接生成视频，完整链先生成形状表情语义描述再生成视频。论文报告完整链在所有指标上超过基线，定量与定性一致，支持中间表示稳定视频质量与音频同步的解释。反证是若中间模态本身预测错，误差会向后传播，论文未量化这种级联误差，这是限制。

下表整理分词与训练配置的五列对照，目的是让复现者 1 次核对关键超参数与信息条件，避免把不同采样率或码本混为一谈。表前问题是各模态的压缩规格与训练预算是否一致，公平条件是按原文报告的冻结复用与微调区分对待。

表后解释同样需要足够长度。收益是配置完整可核对，图像与语音分词器冻结复用减少训练量，语言与扩散分别用大算力微调；代价是 2 阶段总成本高，256 块卡 20 天加 128 块卡 10 天对一般实验室不可复现全量，只能复现推理或小规模验证。未胜出项是音频解词轻量导致失真指标略差，若追求波形保真需换更重音频扩散，但这会增加推理开销，而论文未测量延迟，不能承诺实时性。

哪些没有测，哪些不能承诺

首先是开源状态。本次收到的资源状态为没有发现来源绑定且完成验证的资源，不得声称代码模型或数据已公开。论文正文为开放获取版本，但这不等于代码权重可下载，复现先做的是按论文描述重建分词器与提示模板，而非等待一键运行。

其次是评测边界。测试只在 CelebV-HQ 与 HDTF 各 200 段上做自动指标，未报告人评、误判率、统计方差、不同口音与极端头动下的分层结果。图 5 展示的剧本编辑、外观语音编辑、人脸重演成功案例不能推广为全场景成立。唇同步指标上 Hallo3 在重音处表情夸张可能推高置信分但观感不自然，说明自动指标与感知并不完全一致，不能把自动指标当人评。

再次是计算与延迟。训练资源已交代，但推理开销、输出帧率与实际延迟未分别讨论。语义视频加扩散的两步渲染必然比单步专家更长，链式思考生成更多中间 token 也会增加时间。总体质量趋势不等于每步都更快更好，未测量延迟与成本时不承诺这些量得到改善。

最后是缺项。采样权重中困惑度的估计时机与更新频率、语言与扩散是否联合微调、分词器梯度路径、分割与 3 维拟合误差对最终视频的影响，均未在给定证据中明确。缺失证据不是技术错误，但复现时必须把这些记为待验证，不能从模型名称推定实现，也不能补写拿掉后必然怎样。

复现先做什么，还需补哪项验证

何时值得尝试？当任务需要一个模型同时处理描述、剧本、语音、动画、语义、图像、视频的任意组合，或需要只改其中一个模态而保持其他不变时，Archon 的统一提示与链式思考值得尝试。当任务只需要单一高保真语音或视频且有充足单任务数据时，专用模型加专用解码器可能更直接。

复现第一步是重建数据管线。用公开独白视频收集语音与视频同步对，用 Whisper 提取剧本，用 Gemini 类大模型打外观动作环境描述，用现成人脸分割得 21 类语义，用 3 维拟合得形状表情姿态。划分上保证测试与训练不相交，并固定 200 段抽样方式以便对照。

第二步是重建分词。图像直接复用 MAGVIT-v2，语音复用 SoundStream 并只取前 4 层，文本保留 T5，语义视频按可逆颜色嵌入微调 MAGVIT-v2 编码器并设码本 210，3 维参数各自训练残差量化变分自编码器并按形状表情姿态的层数与码数配置。核对点是每秒帧数、每层码数、图像分辨率与 token 形状，数字与拉丁单位间留空格，精度不四舍五入。

第三步是重建训练与推理。语言模型从 PaLM2 微调，上下文 8K，每步多任务采样并按困惑度对数除以同输出模态任务数加权；扩散模型从 WALT 微调，语义隐变量与噪声拼接，参考图加参考语义经交叉注意力注入，输入 256 输出 512。推理时先试直接链再试完整链，对比模糊与身份对齐。还需补的验证是级联误差量化、人评对照、分层鲁棒性、推理延迟与显存占用，以及采样权重的更新时机。只有补了这些，才能把报告显示升级为可部署收益。

一句话收束与可带走的检查单

Archon 把整体数字人问题定义为任意模态集合到任意模态集合的生成，用统一词表与结构化提示把 72 种任务变成单步条件预测，用语义视频解决 token 爆炸，用扩散恢复外观，用中间模态链降低跨模态不确定性。给定证据支持它在对方主场上达到可比或更优的整体质量与同步，并在身份一致上占优，代价是 2 阶段大算力训练、更长推理链与轻量音频解词在波形失真上的小幅落后。

带走的检查单包括输入输出集合是否明确、7 种模态的分词规格是否逐项核对、提示键名是否用自然语言而非特殊 token、训练是否多任务加权而非单任务随机、推理是否对比直接链与完整链、评测是否分清 FID 越低越好与同步置信越高越好、比较时是否注明 Archon 未在基准上微调、资源状态是否仍为未发现可验证公开链接。教学例子已明确标为例子，数值均来自原文连续句，未添加无源效果。缺失的方差、人评、延迟与权重更新细节是下一步验证，而非已证结论。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

另有 4 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总