把脸放进全双工对话：在 12.5 Hz 上同时说与动

英文题目：Integrating Facial Generation into Full-Duplex Spoken Dialogue Systems

会议身份：conference:interspeech:2026:conference-paper-id:jiang26g_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#向量量化 #流式处理 #音视频 #全双工语音交互

评分：6.3/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：模型报告

👥 作者与机构

• Jingjing Jiang：机构信息未能从会议 PDF 纯文本可靠映射
• Atsumoto Ohashi：机构信息未能从会议 PDF 纯文本可靠映射
• Ryuichiro Higashinaka：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

全双工语音对话需同时处理用户与系统双路音频并支持重叠与打断，本文进一步要求同步理解面部输入并生成语音与三维面部运动，难点在于面部与音频须同帧率对齐且保持实时流式延迟。先面部编解码器以25fps三维网格位移为输入，将其压缩为离散面部令牌并输出可重建网格的码本，为对话建模提供紧凑目标。再残差量化变换器以双路音频令牌、文本令牌及上一帧面部令牌为输入，自回归维持对话上下文并输出融合隐状态与音频文本嵌入，使面部码本目标进入对话上下文建模。最后面部变换器以上一步融合隐状态与文本音频嵌入为条件输入，在帧内以非因果自注意力并行输出当帧全部面部令牌，将对话上下文转化为音画同步输出。与轮流式音视频对话的关键差异在于坚持双向实时流式处理而非单方发言，并用帧内非因果并行替代逐令牌自回归以降低延迟。在教师强制评测设置下，Moshi-Face的LSE-D指标为8.76，低于Random face的LSE-D指标11.7。该结论仅在 Seamless Interaction 子集受控采集与渲染评测协议下成立，对野外光照遮挡、强重叠打断及主观自然度的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，今天要核对什么？

本文解读的输入是论文正文与两张官方原图像素，目标是让刚进入语音与音频方向的研究生能复述 Moshi-Face 如何把脸部生成放进全双工语音对话。必须保留的信息包括数据来源与规模、面部表示与帧率、令牌流数量与延迟、2 阶段训练的学习率与步数、评测的两种运行方式与指标方向。输出是 1 篇按学习依赖展开的技术解读，不做营销判断，教学用的例子会明确标为例子。本文不声称代码、模型或数据已公开，因为本次未发现完成验证的开源资源。

人类对话同时是双向的与多模态的。双向指双方可以同时说话、重叠、打断与发出嗯啊类的反馈；多模态指信息同时走声音与非语言通道，例如唇动、表情与头动。已有能理解与生成脸部行为的多模态对话系统多建在轮流制上，1 次只允许一方说话，因此测不到重叠与实时反馈。全双工语音模型如 Moshi 通过同时处理系统与用户两路音频流补上了双向这一半，但仍只停留在音频模态。

本文的任务就是补上另一半：在不破坏全双工实时性的前提下，同时处理与生成语音与脸部运动。

全双工 × 轮流制： 全双工指双方音频流同时实时读写，允许重叠、打断和反向通道；轮流制指 1 次只允许一方说话。Moshi-Face 选择全双工是因为要保留人类面对面同时听说的动力学，轮流制无法评价这种动力学，组合意义是把面部生成也放入同一实时双流框架而非事后配嘴型。

初学者容易把能说话的头像误认为本文任务。本文任务更严格：输入是双人持续音频加双人脸部运动，输出是系统侧的持续音频加系统侧的脸部运动，且读写都发生在 12.5 赫兹的流式时间轴上。脸不是事后根据已生成音频配出来的视频，而是与音频令牌在同一时钟下逐帧联合决策的令牌流。这个时钟对齐是后文所有设计的前提。

同输入同目标的工作站在哪里，本文接哪一棒？

按同输入、同目标、同监督与同运行阶段对照，有 3 条路线。第一条是轮流制多模态对话，例如能做面对面交谈与会话语音视觉合成的系统，它们已证明加入脸部模态有助于投入感与清晰度，但运行阶段是 turn-based，不允许同时说话，因此不能直接迁移到重叠与打断场景。第二条是全双工语音对话，例如 Moshi、Freeze-Omni 与生成式口语对话语言建模，它们处理双音频流并实现低延迟语音交互，但输入输出都不含脸部行为，缺的是唇动、表情与头动。

第 3 条是非对话的语音驱动脸部动画，例如 CodeTalker 用离散运动先验做 3 维脸部动画，以及 VOCASET 与 BIWI 这类分钟级非对话 3 维视听数据集，它们提供脸部表示与重建方法，但数据量与交互形式不足以训练对话级模型。 Moshi-Face 接的是第二条的运行框架与第一条的模态目标，同时借用第 3 条的离散表示思想。

具体继承关系是：用 Moshi 的文本与音频令牌化与残差量化 Transformer 作为对话主干，用类似 CodeTalker 的向量量化变分自编码器思想构造脸部编码器，用 FLAME 拓扑的顶点位移作为脸部监督信号，用 Seamless Interaction 这类大规模面对面双人对话数据弥补 VOCASET 与 BIWI 在对话量上的不足。这种对照说明本文不是把通用头像生成拼到对话后处理，而是把脸变成与语音同帧率的令牌后放进全双工主循环。

要解决的同步问题到底难在哪里？

难点在于 3 个时钟与两种因果性要同时满足。3 个时钟是文本、音频与脸。Moshi 原文已把语音波形经 Mimi 编码为 12.5 赫兹的音频令牌，脸部视频是 25 帧每秒的 3 维网格，若直接生成 25 帧网格会与对话时钟错位，且计算量不支持实时双向。因此必须把脸也压缩到 12.5 赫兹。两种因果性是时间轴上的自回归与帧内的并行。

时间轴上对话必须因果推进，否则会偷看未来；但同一帧内的多个脸部码若强行排序，会引入编码时并不存在的顺序依赖，增加延迟且无依据。 举一个教学例子，不代表论文实测数值：假设系统在第 i 时刻决定说 beach 这个词，理想情况下同一时刻的嘴型应接近双唇闭合前的开口形态，同时头可能略偏以表达回忆情绪。若脸晚于音频半秒才生成，用户会先听到声音后看到嘴动；若脸早于语义决策，会出现嘴型与音素错配。

论文把问题形式化为在每个 12.5 赫兹时刻，根据此前双人文本、音频与脸令牌以及当前隐状态，同时产生系统侧音频令牌与系统侧脸部令牌，且脸部帧内 N 个令牌并行产生。评价时既要看唇同步是否接近真值重建上限，也要看对话语义是否不退化。

Moshi-Face 的全景：一个样本走完全程

先沿一个双人对话样本走完输入到输出。输入侧在每个时刻 i 同时看到系统与用户的 3 类令牌：1 路文本、2M 路音频与 2N 路面部令牌，其中 M 等于 8，N 等于 8。输出侧只产生系统侧的 1 路文本、M 路音频与 N 路面部令牌。音频与脸部流相对文本延迟一个时刻，以提高生成稳定性。所有令牌都跑在 12.5 赫兹上，脸部原始 25 帧每秒运动先经脸部编码器 2 倍下采样对齐到该频率。 以下导读帮你带着时钟与流数去看总览图，重点是编码解码闭环、流数变化与条件汇聚 3 条路径。

看图路径： 1. 先看 a 面板面部运动经编码器到码本再到解码器的闭环箭头；2. 再看 b 面板输入 2M 音频流与 2N 面部流与只输出系统侧 M 与 N 的对应关系；3. 最后看 c 面板隐状态与文本音频嵌入汇聚为条件向量再加位置嵌入进入 Face Transformer 的路径

论文图 2。原论文 Figure 2：“Overview of Moshi-Face. a) Face codec encodes facial motion into N discrete face tokens and decodes them back.”。

该图由 3 个面板组成。左面板显示脸部运动经编码器到码本再经解码器回到重建运动的闭环，说明脸部令牌是可往返的压缩表示。中面板显示 Moshi-Face 上方读入双人多流、下方只输出系统侧多流，且音频与脸部有延迟标记，说明实时因果与延迟策略。右面板显示隐状态与文本音频嵌入先求和为统一条件向量，再与位置嵌入相加形成查询进入 Face Transformer 并行输出 N 个脸部令牌，说明语音决策先行、脸部并行跟随的层次。

读图时不要把中面板的文本流与音频流数量混淆，文本始终是单流，音频与脸分别是多流并行。 走完 1 帧的计算：残差量化 Transformer 先根据历史文本、音频与脸令牌自回归产生下一时刻隐状态、文本与音频令牌；Face Transformer 再把隐状态与文本音频嵌入相加为条件向量，结合可学习位置嵌入，为 N 个输出位置构造查询，经帧内非因果自注意力并行预测 N 个脸部令牌。训练目标是原 Moshi 文本与音频损失加上加权的脸部交叉熵，权重记为 lambda。

推理时脸部解码器把 N 路令牌上采样回 25 帧每秒的顶点位移，Mimi 解码器把音频令牌还原为波形，再经渲染管线得到 2 维视频用于同步评测。

脸部编码器如何把网格变成可对话的令牌？

脸部编码器的白话角色是压缩与离散化 3 维脸部运动的翻译器。输入记为 X1 到 T，每帧是 FLAME 拓扑下 5143 个顶点的 3 维坐标位移，即当前顶点减去静态中性表情后的差值，帧率 25 帧每秒。编码器由下采样 1 维卷积加 Transformer 层组成，时间下采样因子 r 等于 2，把 T 帧压为 T 撇帧，每帧产生 N 等于 8 个维度为 C 的连续向量。量化器把每个向量独立映射到大小为 K 的码本最近项，得到每帧 8 个离散索引，即面部令牌。解码器镜像编码器，把量化后序列上采样回原始帧数，重建运动。

面部编码器 × 面部令牌： 面部编码器负责把 25 fps 的 FLAME 顶点位移经下采样卷积与 Transformer 压缩为低帧率连续向量；面部令牌是量化器把每个向量映射到码本最近项后得到的每帧 N 个离散索引。二者搭配的理由是语音已是 12.5 Hz 离散音频令牌，只有把脸也变成同帧率离散令牌，才能与文本和音频流对齐输入输出，组合后下游对话模型可像处理语言一样自回归处理脸。

训练用重建、量化与速度三项损失加权求和。重建用 L1 衡量顶点位置误差，量化约束编码输出与码本一致，速度约束相邻帧运动连续性。论文报告码本大小 256 与维度 128 为后续默认配置，依据是更大码本带来更细的运动表示，更高维度带来更均匀的码本利用。初学者应注意每帧 8 个码之间在编码时独立量化、无顺序依赖，这直接决定后文 Face Transformer 可以并行生成而不需要从左到右排序。

Face Transformer 如何做到不拖慢语音？

Face Transformer 的白话角色是帧内并行的脸部写手。它不是沿时间自回归的语言模型，而是在每个时刻内做非因果自注意力的模块。输入条件是残差量化 Transformer 刚产生的隐状态 h 与文本音频嵌入之和，公式含义是把语义、声学与对话状态压缩为一个统一向量 eAll，再投影并加上每个输出位置的可学习位置嵌入 pe，形成 N 个查询。N 个查询互相可见，经 Transformer 后由 N 个线性头并行输出 N 个脸部令牌。

RQ-Transformer × Face Transformer： RQ-Transformer 负责沿时间轴自回归生成隐状态、文本令牌和音频令牌，是对话语义与说话时机的决策者；Face Transformer 负责在每个时刻内并行生成 N 个面部令牌，是唇动与头动的执行者。搭配原因是 N 个面部码在编码时独立量化、无顺序依赖，不需要自回归排序，组合意义是用隐状态加文本与音频嵌入构成条件向量，让脸在不阻塞语音自回归的同时保持同步。

关键细节是跨时间仍保持自回归性：训练 2 阶段都用教师强制，把上一时刻真值脸部令牌嵌入后加到当前时刻查询向量上，提供跨时间的自回归条件，但同一时刻内 N 个令牌仍并行。这种跨时串行加帧内并行的折中，使脸生成延迟不叠加到语音自回归链上。论文把音频与脸流都相对文本延迟一拍，也是为稳定性让文本先行。若去掉上一时刻脸输入，自由运行唇同步距离可能变好但置信度与语音质量下降，说明跨时条件在鲁棒性与质量间有权衡，后文消融会给出具体数字。

两阶段训练先冻什么后调什么？

训练分两个阶段，数据与参数更新范围都不同。第一阶段用 70 小时 3 维网格数据训练脸部编码器，划分按 8 比 1 比 1 切为训练验证测试，优化器为 AdamW，学习率 1e-4，批量 4，训练 70 轮。目标是得到高质量码本与可往返的编码解码器。训练好后把该编码器应用于全部 180 小时对话，得到所有对话的面部令牌，供第二阶段使用。 第二阶段训练 Moshi-Face 的对话与脸生成。

初始化时残差量化 Transformer 载入预训练 Moshi 检查点，Face Transformer 随机初始化。步骤一冻结残差量化 Transformer，只训练 Face Transformer，学习率 5e-4，500 步，批量 32；步骤二全部组件联合微调，时间 Transformer、深度 Transformer 与 Face Transformer 的学习率分别为 2e-6、4e-6 与 1e-5，脸损失权重 lambda 等于 1，1200 步，批量 16。两步都用教师强制跨时 conditioning。 这种先孤立预热再联合微调的安排理由在消融中得到验证：跳过步骤一会使教师强制同步距离变差，跳过步骤二则同步与语义都明显退化。

未报告的缺项是梯度是否截断回 Mimi 或 VHAP、位置嵌入与码本在第二阶段是否更新的具体冻结表，论文只给出上述三部分学习率，未给出显存与机器时长，因此训练成本只能按步数与批量定性理解，不能换算为小时。

数据从哪里来，两种跑法与指标如何定方向？

数据来自 Meta 的 Seamless Interaction 大规模面对面多模态对话集合。论文随机下载约 180 小时、约 3400 段对话，每段含时间对齐的转录、分离声道音频与双人单人视频。文本与音频用 Moshi 自带分词器，3 维脸部真值用 VHAP 高精度单目视频重建管线抽取，帧率 25 帧每秒，每帧 5143 顶点 FLAME 网格。脸部编码器训练用其中 70 小时，Moshi-Face 训练用全部 180 小时令牌，其中 100 段未参与脸编码器训练的对话作为测试集，剩余 3300 段按 9 比 1 切训练验证。

教师强制 × 自由运行： 教师强制指评测时把测试集真值音频令牌喂给模型，只隔离考察脸生成；自由运行指让两个相同模型互为对方的系统与用户，全自回归交互。搭配原因是前者测上限与对齐能力，后者测误差累积下的真实全双工稳定性，组合才能区分是脸模块不好还是对话滚雪球偏离。

评测设教师强制与自由运行两种条件。教师强制用 100 段测试对话的真值音频令牌做输入，只看脸；自由运行让两个相同 Moshi-Face 分别扮演系统与用户，互为输入全自回归交互，模拟真实全双工。同步指标用预训练 SyncNet 的 LSE-D 越低越好与 LSE-C 越高越好，但论文没有直接在令牌上算同步，而是把 Mimi 解码音频与脸编码器解码并渲染的视频配对后计算，因此渲染管线本身也会影响分数。语音自然度用 UTMOS 预测平均意见分越高越好，语义用 Whisper-large-v3 转录加 GPT-5-mini 做 LLM 裁判，在 1 到 5 分评价连贯、自然、相关与总体，每样本评 3 次取平均。

LSE-D × LSE-C： LSE-D 是预训练 SyncNet 测得的唇同步误差距离，越低越好；LSE-C 是同步置信度，越高越好。二者搭配是因为距离只反映平均偏差，置信度反映判断的确定性，组合可避免单一指标被渲染或解码链路的偶然对齐误导。

基线包含可运行的原始 Moshi、在 180 小时上微调但无脸的 Moshi-ft，以及同步上下界：重建脸用真值音频与真值脸令牌分别经 Mimi 与脸解码器得到，作为上限；随机脸用相同音频但从训练分布随机采脸令牌，作为下限。比较公平性在于所有条件的音频与脸都走同一解码与渲染链路，区别只在脸令牌来源。

复现前必须抄下的配置与划分是什么？

若要复现，先抄下可执行的时钟与流配置，而非只记模型名。脸部侧 N 等于 8，码本 K 等于 256，嵌入维 C 等于 128，下采样 r 等于 2，对应 25 帧每秒到 12.5 赫兹；音频侧每人 M 等于 8，输入 2M 输出 M；文本单流输入输出各 1 路；音频与脸相对文本延迟一拍。

脸编码器批量与学习率如上一节，Moshi-Face 两步学习率与步数同样抄全。划分上测试集是 100 段未见对话，训练验证是剩余 3300 段的 9 比 1，脸编码器是 70 小时内的 8 比 1 比 1。 下表把论文特有的训练与数据配置收拢为可核对清单，重点是区分 2 阶段不同的数据量、批量与学习率，避免把脸编码器的 70 轮与对话阶段的 500 步加 1200 步混为同一训练。

表后需要强调代价与边界：该表只解决可重复的输入条件，不保证相同硬件下收敛曲线一致，因为论文未报告所用 GPU 型号、显存占用与训练时长，也未报告 VHAP 抽取失败帧的处理与随机种子。

180 小时只是 Seamless Interaction 子集的随机下载，重新随机下载会得到不同说话人与场景分布，因此只能复现方法流程与相对趋势，不能要求逐点复现分数。资源状态本次未能确认可达，不得写代码与权重已公开。

脸部码本选多大，同步与对话质量保住了吗？

先看码本本身的上限。码本多样性与重建质量决定后续对话训练的上限，论文用平均顶点误差与唇部顶点误差衡量重建，用归一化困惑度衡量码本利用，困惑度越高越接近均匀使用。比较问题是：在相同嵌入维度下增大码本是否同时改善重建与利用。公平条件是同一 70 小时划分与同一训练轮数，指标方向是误差越低越好、困惑度越高越好。

表后解释主要收益与代价：从 128 到 256 平均与唇部误差都下降，说明更大码本提供更细运动表示，这是收益；但大码本低维的困惑度从 0.66 类降到 0.57，提示存在码本坍缩风险，即只有子集被频繁使用。论文最终选 256 与 128 是因为它在保持低误差的同时困惑度回到 0.66，兼顾精度与利用。未胜出项是 128 维在小码本下平均误差反而略升，说明单纯加维度不必然改善重建。

唇部误差的完整四格为 12.79、13.95、12.40、11.77，单位为乘 1e-3，同样支持大码本更优的判断。 再看对话级同步与质量。以下导读帮你先建立对生成样例的直观，再读数字：上行是提问者的脸与文本，下行是回答者的脸与文本，注意嘴型与头动的分工。

看图路径： 1. 先对比上下两行 Moshi-Face A 与 B 的五帧脸部序列与下方文本的对应位置；2. 再观察白框标注的嘴部开合在不同词上的变化；3. 最后看 B 最后两帧红框内的头部偏转与微笑，区分唇动与头动两种运动

论文图 1。原论文 Figure 1：“Dialogue example generated by two Moshi-Face mod- els. Visualized facial motion exhibits both lip synchronization with spoken content and natural head motion.”。

该图展示两个 Moshi-Face 模型生成的对话样例，上行 Moshi-Face A 说 Tell me about your happiest childhood memory，下行 Moshi-Face B 回答 Hmm, probably the time when we went to the beach。可见内容是彩色法线渲染的 3 维头像序列，白框标出嘴部开合随词语变化，红框标出回答者最后 2 帧的头部偏转与表情，说明模型同时产生与语音内容对齐的唇动与自然头动。读图时不要把颜色当成纹理，颜色是几何法线可视化；也不要把红框当成错误框，它标的是头动示例而非失败案例。 同步数字上，教师强制下 Moshi-Face 的 LSE-D 为 8.76，接近重建脸上限 8.53，明显好于随机脸 11.7。

自由运行下仍保持可比的同步质量，说明全自回归时对齐未崩。语音自然度上 Moshi-Face 与 Moshi-ft 的 UTMOS 都低于原始 Moshi，论文解释为小领域数据微调会损伤通用语音质量，其中只训 Face Transformer 的变体 UTMOS 更高，因为保留了原始语音能力。语义上 Moshi-Face 连贯最高、自然第二、总体与 Moshi 可比，支持加入脸令牌未损伤语义、甚至提供多模态上下文的判断，但这只是有限解释而非因果证明。

拿掉预热、联合微调与跨时脸输入会发生什么？

消融要回答 3 个操作问题：步骤一孤立预训练是否必要，步骤二联合微调是否必要，跨时上一时刻脸输入是否有用。比较的公平条件是同一 100 段测试集与同一解码渲染链路，指标方向与主结果一致，LSE-D 越低越好、LSE-C 越高越好、UTMOS 越高越好、LLM 裁判 1 到 5 分越高越好。

表后解释收益、代价与反例：去掉预热使教师强制 LSE-D 从 8.76 退到 9.53，证明孤立初始化重要，但自由运行反而从 11.0 变为 10.4，说明教师强制与自由运行的误差累积行为不一致，不能只看一侧。去掉联合微调教师强制退到 11.8 且语义总体降到 3.23，是最差组合，证明联合微调必需。

但它的 UTMOS 为 2.42 反而最高，代价解释是只训脸模块保留了原始语音能力，同步差但声音好。去掉上一时刻脸输入自由运行 LSE-D 改善到 10.1 但 LSE-C 与 UTMOS 下降，呈现鲁棒性与质量的权衡。未胜出项是没有任何消融能在同步、语音与语义三者同时取胜，论文也未测量延迟与计算开销，因此不能从同步数字推出实时性结论。

哪些边界没有测，不能承诺什么？

首先是因果性边界。论文未来工作明确计划把非因果脸编码器换成因果流式编码器，以实现完全实时的视觉输入输出。这意味着当前脸编码器在训练与重建时可能利用了未来帧，实时部署时若直接换因果编码会改变表示分布，当前同步数字不能直接迁移。其次是输入侧的脸理解尚未充分评价：模型虽读入双人 2N 路面部流，但实验主要评价生成侧的唇同步、UTMOS 与语义，未单独测量对用户脸部表情的利用率，也未报告误判率与打断处理。 其次是评价链路的间接性。

同步不是在令牌上直接算，而是在 Mimi 解码音频加脸解码渲染视频后用 SyncNet 计算，渲染管线、网格到 2 维的视角与光照都会影响分数。随机脸下限的 LSE-C 为 0.13 甚至略高于重建脸的 0.12，说明置信度在该链路下区分度有限，应与 LSE-D 联合解读。语义裁判依赖 Whisper 转录与大模型打分，转录错误会向上传播，且每样本 3 次平均未报告方差与显著性。 最后是成本与泛化。论文未报告训练硬件、推理帧率与端到端延迟，12.5 赫兹是令牌时钟而非实测延迟，不能承诺低延迟已达标。

数据是 Seamless Interaction 的 180 小时子集，经 VHAP 抽取，抽取噪声、说话人重叠与语言分布都未详细披露，换数据集需重新验证。缺失证据不是技术错误，但未测量延迟与成本时不应声称这些量得到改善。

何时值得尝试，复现先做什么，还需补哪项验证？

当你的任务需要双向语音加同步脸部动作，且能接受先离线抽取 3 维网格再训练 2 阶段时，值得尝试该路线。若只需要单轮配嘴型或轮流制头像，更轻的语音驱动动画加轮流对话拼接可能更省成本，不必引入全双工双流。 复现先做三件事。第一，用 VHAP 或等价管线在小规模双人视频上跑通 25 帧每秒 5143 顶点位移抽取，并检查中性表情减法与帧对齐。

第二，按 N 等于 8、K 等于 256、C 等于 128、r 等于 2 训练脸编码器，先复现重建误差随码本增大的下降趋势与困惑度变化，再全量编码得到 12.5 赫兹脸令牌；第三，载入 Moshi 检查点，先冻结主干只训 Face Transformer500 步，再全量微调 1200 步，过程中保留文本先行一拍的延迟与跨时教师强制。评测时同时跑教师强制与双模型自由运行，用同一解码渲染链路算 LSE-D 与 LSE-C，再算 UTMOS 与转录后 LLM 裁判，避免只报一侧。

还需补的验证是因果流式编码替换后同步是否保持、端到端延迟与实时因子、以及真人对唇同步自然度与头动合理性的主观评价。论文已声明未来做人类评价，在此之前不要把自动同步分数当成人评。资源上本次未能确认代码与权重可达，应按无公开资源规划，先准备数据下载与 3 维抽取预算。

一句话收束：方法、证据与代价如何记？

记住一条主线：把脸变成与语音同帧率的离散令牌，再用帧内并行的 Face Transformer 跟随语音决策同步生成。证据链是码本 256 加 128 维给出更低重建误差，教师强制 LSE-D 达 8.76 接近重建上限 8.53，自由运行仍保持对齐，语义总体与原始 Moshi 可比。代价链是领域微调拉低 UTMOS，联合微调必需但会动语音能力，去掉跨时脸输入有鲁棒与质量权衡，且当前编码非因果、延迟与人力评价缺失。复述时先说时钟对齐，再说 2 阶段训练，最后用上下界与消融限定结论适用条件，这就是可核对的全部要点。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总