驱动脸动的究竟是音色还是音位：四类语音表示的对照与统一视听合成

英文题目：From Tokens to Faces: Investigating Discrete Speech Representations for 3D Facial Animation

会议身份：conference:interspeech:2026:conference-paper-id:correa26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#评测协议 #主观评测 #音视频 #语音 #音视频生成

评分：7.1/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Pedro R. Corrêa：机构信息未能从会议 PDF 纯文本可靠映射
• Olivier Perrotin：机构信息未能从会议 PDF 纯文本可靠映射
• Samir Sadok：机构信息未能从会议 PDF 纯文本可靠映射
• Paula D. P. Costa：机构信息未能从会议 PDF 纯文本可靠映射
• Thomas Hueber：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音驱动三维面部动画需以语音波形为输入预测时间连贯的ARKit混合形状形变轨迹，难点在于语音表示混杂音位类别、协同发音与韵律，何种信息真正驱动口型尚不清楚。方法链分三步衔接：第一步冻结HuBERT、SpeechTokenizer、WavTokenizer与CosyVoice2四类语音编码器抽取语义、声学与标签表示，第二步将所得帧级词元序列送入GRU逐帧去噪或Transformer跨注意力解码器以L1加速度平滑损失映射为51维混合形状序列，第三步以音位-视素共现探测量化词元可分性并复用TTS词元并行解码语音与面部实现同步。与仅用连续自监督学习 Self-Supervised Learning / SSL特征的主流做法不同，该链以全声学与全标签离散词元对照信息瓶颈，并以共享离散空间打通文本到语音与面部的统一合成，免去先合成音频再驱动动画的两阶段。在 BEAT2 测试集约4小时265条刺激上标签表示结合 Transformer 解码器在双唇闭合得分 Bilabial Closure Score / BCS 上达到47.0%，接近基线57.5%且感知评分无显著差异，但传统唇部误差 Lips Vertex Error / LVE 仍落后。该结论仅在英语独白与离散词元加轻量解码器范围内成立，向多语、强情感与实时系统的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/ProdCor/Token-to-Face — 链接可访问（HTTP 200）
• 代码相关资源：https://github.com/uuembodiedsocialai/FaceDiffuser — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，为什么表示是瓶颈？

这篇解读的输入是论文正文与 3 张官方原图像素，目标是让刚进入语音与面部动画的研究生能复述方法与实验条件，必须保留的信息是 4 类语音表示的定义、两种面部解码器的训练方式、数据集与指标的构造方式以及主结果的适用条件，输出是一套按学习依赖展开的中文讲解。 语音驱动的 3 维面部动画任务是给定一段语音波形，逐帧生成时间连贯的面部运动，论文用苹果混合形状参数表达面部，即用一组控制唇、下颌与口周变形的系数描述每 1 帧。

本文沿一个样本走完全程：一段英语独白波形先被语音编码器压缩为中间语音表示，再被面部解码器映射为混合形状序列，最后渲染为可观看的人脸动画。中间表示是瓶颈，因为它决定了解码器能看到什么：是高度上下文相关的音段类别，是面向波形重建的压缩声学细节，还是面向字符与韵律事件的标签信息。 初学者容易误以为把声音直接丢给大模型就结束，论文要回答的是表示应当暴露哪类信息才能最好地驱动面部。

白话说，嘴形切换主要跟发什么音有关，而音色、说话人、混响等细节与嘴形关系较弱。如果表示里混入大量与嘴形无关的声学细节，解码器可能更难学到稳定的音位到口形的映射。

语义表示 × 声学表示： 语义表示分工是编码可区分的音段类别与上下文相关的音位信息，声学表示分工是保留可重建波形的压缩声学细节，二者搭配的理由是前者提供嘴形切换的离散依据、后者提供音色与细节，组合意义在于检验细节是否帮助或干扰面部关节预测，论文结论是低结构声学细节反而有害。

论文把 4 类表示摆在同一框架下比较，并用探测分析把表示与音素类别和关节变形联系起来，这是后文所有对照的基础。

补充背景：混合形状与双唇闭合为何是关节试金石？

为帮助新生理解指标，再补充输出形态的背景。混合形状是用一组系数加权叠加到中性脸上的变形基，唇部误差只看唇、下颌与口周子集的均方距离，因此它对整体脸形漂移不敏感，适合衡量口形。双唇闭合分数专看双唇音期间是否出现有效闭合，先在真值上定阈值再统计预测帧的通过率，它直接对应发音生理，比平均误差更能暴露系统性缺闭合。抖动分数看加速度，惩罚高频抖动，变换器因有平滑损失而占优。

教学例子仅为例子：比较平均误差好但从不闭唇的系统与平均误差稍差但每次双唇音都闭合的系统，观众往往觉得后者更可信，这正是论文发现感知与闭合同序而与误差不同序的直观原因。

同输入同目标的已有路线如何处理表示与解码？

在同输入同目标的路线上，主流方法依赖大规模自监督语音模型的连续隐表示。例如面部动画中的脸部变换器与编码说话者等工作使用语音到向量的连续特征，面部扩散器把任务重构为基于语义表示的扩散解码。这些表示用掩码预测预任务训练，模型要根据周围上下文填补被遮挡的信号片段，因此天然擅长编码离散语音事件，但在高度上下文化的语义空间中表达。

另一条路线是神经音频编解码器，把语音压缩为低维瓶颈以优化声学重建，典型例子是单码本极致压缩的声学编码器。这类潜空间约束较少，不显式编码结构化的音段或超音段信息，因此常被称为声学表示。介于两者之间的是混合表示，用多层残差量化并在第一层蒸馏语义表示，试图同时保留语义与声学。还有标签型表示，用自动语音识别预任务训练，输出字符与重音、语速等韵律事件标签，更偏向离散事件。

在运行阶段上，已有离散到离散的尝试把离散语音 token 映射为量化的面部运动 token，用于多语言 2 维说话头与 3 维社交手势，但它们多使用混合表示且未系统比较纯声学或纯标签表示对面部关节预测的价值。论文的对照正好补上这一缺口：同一面部解码任务下，4 类表示的可及信息有何不同。

补充对照：同监督与同运行阶段的差异何在？

按同监督划分，自监督掩码预测产生语义表示，有监督字符与韵律事件产生标签表示，重建导向的编解码产生声学表示，蒸馏加多码本产生混合表示。四者的监督信号不同，因此不能把类别差异直接读作同条件胜负，论文的公平之处在于固定解码器训练流程与数据，只让监督带来的表示差异显现。按同运行阶段划分，音频驱动在推理时消费真实波形，统一管线在推理时消费文本预测的 token，前者考验表示对真实声学的鲁棒性，后者考验表示在合成序列下的泛化性，论文把两者放在同一表示中枢下讨论，但感知证据仅覆盖音频驱动，统一管线仍是概念验证。

论文要检验的具体问题与对照逻辑是什么？

论文要检验的问题是：在语音驱动的 3 维面部动画中，离散语音表示中的哪类信息是准确预测所必需的，低结构声学信息的存在是否有害，以及表示对音素类别与面部变形的编码程度如何对应最终动画质量。举例说明，这里的例子仅为教学类比：同样是发双唇音，嘴唇闭合是否出现是可检查的关节事件，而音高微小起伏则与闭合关系不大。 对照逻辑是固定其他条件，只换表示与解码器。

4 个语音编码器覆盖语义、语义加声学、声学、标签四族，两个面部解码器覆盖逐帧递推与全序列注意力。所有编码器冻结预训练权重，只从头训练解码器，从而把性能差异归因于表示暴露的信息。评价分 3 层：面向唇部重建的客观误差，面向抖动与双唇闭合的关节准确性，以及面向真实感与唇音一致性的感知评分，再加探测分析解释表示内部编码了什么。

补充问题：熵与回归分别回答什么，能否互替？

归一化熵回答离散对应是否集中：给定某个 token，能否以低不确定性猜中其共现的音素或视素，零为一一映射，一为 chance 水平。岭回归决定系数回答连续变形能否被线性读出：给定独热 token 序列，能否线性预测每维混合形状轨迹，中位数越高表示线性可读性越强。二者不能互替，因为前者看类别共现，后者看连续轨迹的线性可预测性；离散 token 在后者天然吃亏，因此论文发现 token 化表示的回归值很低并不意外，关键是结合前者看听觉类别是否保留，再结合主结果看保留是否转化为面部准确性。

总体管线如何从语音或文本走到声音与面部？

总体管线如图一所示分为输入、表示与输出 3 段。输入可以是语音波形，也可以是文本加参考音频的合成通路。中间是离散或连续的共享语音表示，输出则可同时解码为语音音频与 3 维面部动画。这种设计的教学价值在于把音频驱动与文本驱动统一为同一瓶颈：只要文本转语音系统本来就会产生离散语音 token，就可以复用该序列直接驱动面部，而不必先合成波形再做第 2 阶段驱动。 本节先给出全景导读，图前需要说明读者应如何阅读该图：左侧区分两种输入来源，中间区分两种表示形态，右侧区分两种解码去向，颜色编码提示声学与语义的侧重。

看图路径： 1. 先从左侧喇叭与文档图标区分语音输入通路与文本输入通路；2. 再看中间两排方块区分上方离散色块与下方连续渐变条；3. 接着沿右侧蓝色语音解码器与橙色面部解码器看双输出汇合到视听人像；4. 核对底部三段英文标注确认输入、表示与输出的划分

论文图 1。原论文 Figure 1：“Speech representations (middle) are extracted either from input speech using a speech encoder (top) or produced within a text-to-speech (TTS) pathway conditioned on text and…”。

该图收到像素后可见左侧上方为喇叭图标连接的语音编码器方框，下方为文档图标连接的语音合成系统方框，中间上方为 4 个离散色块，下方为一条连续渐变条，右侧上方蓝色梯形为语音解码器，下方橙色梯形为面部解码器，二者箭头共同指向右侧带喇叭的人像框，底部标注输入为语音或文本、表示为离散或连续、输出为语音与面部动画。这说明论文把表示作为可替换的中枢，解码器只消费该中枢而不关心它来自真实语音还是合成通路。

语音编码器 × 面部解码器： 语音编码器分工是把波形或文本通路压缩为中间语音表示并冻结，面部解码器分工是把该表示映射为随时间变化的混合形状序列，二者搭配的理由是固定表示只练解码器才能公平比较表示的信息量，组合意义是形成图一所示的共享瓶颈，可同时接语音解码器与面部解码器。

后文将分别展开编码器族、解码器结构、训练损失与统一视听管线的构造细节。

四类编码器与两种解码器各自计算什么？

4 个语音编码器分别是语义表示的隐单元模型、语义加声学的多码本混合编码器、纯声学的单码本极致压缩编码器，以及标签型的流式语音合成编码器。白话说，语义编码器擅长回答发的是哪类音，声学编码器擅长回答波形细节如何重建，混合编码器试图两者都要，标签编码器则回答字符序列与韵律事件是什么。为保证一致性，论文对语义表示也做了量化，使四者在探测时都可按 token 处理。 两种面部解码器分别是门控循环单元与变换器。

白话说，门控循环单元是带门的循环网络，逐帧记住历史并输出当前帧；变换器是非因果的注意力网络，1 次看到全序列并通过交叉注意力对齐语音表示。门控循环单元在扩散过程中充当去噪网络，用重建损失直接预测数据而非预测噪声；变换器由带交叉注意力的解码层组成，用重建损失加 1 阶与 2 阶运动平滑损失鼓励时间连贯。

论文把 4 种编码器与两种解码器两两组合，共 8 种系统，其中语义加门控循环作为复现面部扩散器的基线，其余组合按是否见于已有文献分为已见变体与新变体。

门控循环单元 × 变换器： 门控循环单元分工是逐帧递推并在扩散去噪框架下直接预测数据，变换器分工是用自注意力与交叉注意力 1 次处理全序列并施加速度与加速度平滑，二者搭配的理由是对比局部递推与全局上下文对离散 token 序列的利用能力，组合意义是揭示离散表示更依赖变换器，而连续语义表示对两种解码器相对稳健。

探测部分需要另一组概念。白话说，音素是听觉类别，视素是视觉嘴形类别。论文用数据集自带的音素对齐给每个 token 赋音素标签，用聚类把测试集真值混合形状向量离散为 32 个视素，再按最近邻时间匹配把 token 与每秒 30 帧的面部运动对齐。在此基础上用归一化熵度量 token 与音素或视素共现的集中程度，用岭回归从独热 token 序列直接预测连续混合形状并报告中位数决定系数。

音素 × 视素： 音素分工是描述听觉可区分的语音类别标签，视素分工是把连续混合形状聚类为典型面部姿态以描述视觉可区分的嘴形，二者搭配的理由是分别探测表示中的听觉离散信息与面部离散信息，组合意义是用归一化熵同时度量 token 与两类标签的共现集中程度，从而判断表示偏向听觉还是偏向关节。

这种双探测的意义是同时回答表示偏向听觉离散信息还是面部连续变形，为后文讨论必要条件提供证据。

冻结了什么，训练了什么，监督从哪里来？

训练安排是编码器冻结、解码器从头训练。每个编码器与解码器组合训练时，编码器使用预训练权重且不更新，解码器在面部数据集上从随机初始化开始学习从语音表示到混合形状的映射。原文明确给出的理由是最小化编码器或解码器变化之间的成对比较差异，并用相近维度与超参数实现 4 个变体，从而公平比较表示的信息量。 监督来源是 3 维面部运动真值。

数据集提供与波形对齐的面部参数，论文经作者提供的变换矩阵转为混合形状，面部解码器即学习把提取的语音表示映射到这些混合形状。门控循环单元作为扩散去噪网络，用绝对误差重建损失做直接数据预测；变换器用绝对误差加速度与加速度平滑损失，显式约束相邻帧的 1 阶与 2 阶连续性。

原文未报告优化器类型、学习率、批量大小与训练轮数的完整清单，也未说明梯度是否回传到表示的量化码本，因此复现时只能确定冻结编码器与从头训练解码器的分工，不能从模型名称推定其余实现细节，缺项需在复现节明确列出。 统一视听管线没有额外训练面部解码器，而是直接复用已在标签表示上训练好的变换器面部解码器，与语音合成的流匹配语音解码器并行运行，二者消费同 1 token 序列从而天然同步。

补充训练细节：扩散与平滑损失的计算目标是什么？

门控循环作为扩散去噪网络时，计算目标不是预测噪声而是直接预测干净数据，损失是预测混合形状与真值的绝对误差，推理时经扩散过程迭代去噪得到序列。变换器的计算目标是预测混合形状并同时惩罚速度与加速度的不连续，损失是重建绝对误差加 1 阶与 2 阶运动平滑项，目标是时间连贯。原文明确给出上述目标与实现，但未给出噪声调度、扩散步数、采样器与损失权重，因此不能猜梯度路径与停止梯度位置，复现时应以基线仓库的默认配置为准并记录实际采用值。

数据、划分、指标与感知协议如何保证可比？

实验条件是理解数字的前提。论文使用表情语音数据集的子集做训练与评测，该数据集提供英语波形与 3 维面部运动的对齐。下表把分散在正文中的数据形态与探测配置整理为可核对的条件表，表前先提出比较问题：在表示与解码器都变化时，哪些数据形态是所有系统共享的公平底座，哪些探测粒度决定了后续熵与回归指标的含义。

指标方向需先说明：唇部误差与抖动越低越好，双唇闭合分数、感知评分与回归决定系数越高越好，归一化熵越低表示 token 与目标的对应越集中。

表后解释是：该表的主要收益是固定了输出空间与对齐粒度，使 8 个系统的差异只能来自表示与解码器。

代价是数据集以英语脚本独白为主，情绪虽多但语种与自发对话的覆盖有限，未胜出项如混合与纯声学表示在此条件下仍参与公平比较，其失败不能推广为在所有语种下必然失败，未评测的边界包括多语与强噪声下的稳定性。 感知协议是类多刺激隐藏参考的评测。参与者先看参考视频，再对 4 个视频按与参考的接近程度打零到一百分，4 个视频包括 3 个系统与一个与参考相同的隐藏参考。

每人随机评 15 条测试刺激，隐藏参考平均分低于八十分的参与者被剔除，最终保留 30 人。用贝塔回归建模系统对评分的影响并做事后两两比较，显著性阈为 0.05。客观指标方面，唇部顶点误差适配到混合形状计算唇、下颌与口周的均方距离，双唇闭合分数先在真值上定阈值使 70% 的双唇帧通过，再计算预测帧通过该阈值的比例，抖动分数度量混合形状加速度。编码器与解码器对误差与抖动的影响用线性回归检验并做事后比较。

下表整理感知与客观评测的运行条件。

表后解释是：该表说明感知只选 3 个有代表性的系统以减少比较负担，基线、已见变体与新变体各一，客观则覆盖全部八变体。

代价是感知结论不能直接推广到未参评的 5 个变体，反例是混合表示虽在音素探测上最好却未进入感知评测，其感知表现仍是未测量项。

主结果显示哪类表示更准，感知与哪个客观指标更一致？

主结果按问题组织：唇口准确性由谁最好，抖动由哪种解码器改善，闭合准确性支持什么判断，感知排序与哪个客观指标同序。论文报告显示，在唇口误差上两个语义模型好于离散模型，但标签加变换器的组合紧随其后；离散表示配变换器显著好于配门控循环，而连续语义表示在两种解码器下相当；在抖动上所有表示配变换器都好于配门控循环。

在双唇闭合上基线最高，标签加变换器紧随其后，语义加变换器次之，其余模型值很低，表现为双唇音期间缺少预期闭合。图二给出可视对照，导读是：按行看不同音位组的嘴形，按列看同一音位下各系统的嘴唇形状，重点是圆唇与展唇的开合差异。

看图路径： 1. 先按行核对左侧三个英文单词与音标标注的不同口形组；2. 再按列比较参考与四种系统在同一单词下的嘴唇开合与闭合；3. 重点观察第二行圆唇与第三行展唇时各系统的差异幅度；4. 注意最右列视听文本转语音的对比度弱于音频驱动版本

论文图 2。原论文 Figure 2：“Sequence of rendered blendshapes across different models and audio snippets.”。

像素可见三行分别对应重要、行走与购物 3 个单词及其音标，每行五列从参考、面部扩散器、语义加变换器、标签加变换器到视听文本转语音，同一行内各系统的嘴部开合存在可见差异，标签加变换器在所展示帧上更接近参考的开合，而视听文本转语音的唇动对比度弱于音频驱动版本，这与正文所说演示页结果令人鼓舞但对比度较弱的描述一致。 感知结果如图三所示，导读是：先确认纵轴为听感评分，再看 4 组箱体的中位数与跨度，最后核对顶部显著性括号。

看图路径： 1. 先确认纵轴为听感评分与四组箱体的横轴标签顺序；2. 再比较参考组高位集中与另三组依次下移的中位数；3. 查看顶部标注的不显著与显著括号区分哪两组无差异；4. 观察最右组箱体跨度最大且离散点分布的含义

论文图 3。原论文 Figure 3：“MUSHRA-like scores of the perceptual evaluation across three different models and the reference. N.S. means no statistical significance between the pair of distributions.”。

像素可见横轴从左到右为参考、语义加门控循环、标签加变换器、语义加变换器，纵轴为听感评分，参考组箱体位于高位，语义加门控循环与标签加变换器居中且顶部标注无显著差异，语义加变换器最低且与其他组差异显著，每组下方标注 450 个评分样本。这支持论文的判断：基线与新变体在感知上无显著差异且同高于已见变体，而该排序与双唇闭合分数同序，与唇部误差排序不同，提示在本工作中闭合指标比传统重建误差更贴近感知。

探测方面，语义加声学对音素类别的编码最好，其次是语义、标签，最后是声学；所有模型对视素的编码都较弱，但标签表示相对突出；3 个 token 化表示从 token 线性预测连续混合形状的决定系数都很低，这与连续与离散的本质差异一致。论文据此提出有限解释：音位类别信息可能是必要但不充分条件，还需没有低结构声学信息相伴；最好预测的 2 个模型分别在连续混合形状与离散视素上突出，但数值仍低，需进一步验证面部表示的必要性。

换解码器与换表示时，失败条件出现在哪里？

把解码器作为对照维度时，反证很清晰：离散表示在门控循环下普遍较差，切到变换器后明显改善，而连续语义表示在两种解码器下相当。这说明离散 token 序列更需要全局注意力来利用上下文，逐帧递推难以补偿量化带来的信息形态变化。把表示作为对照维度时，混合语义加声学尽管音素探测最好，面部预测却与纯声学相当且明显不佳，双唇闭合分数极低。这构成关键反例：音素编码好不等于面部预测好，低结构声学信息的存在可能损害面部动画预测。

另一个反例是语义加变换器：它在唇部误差上尚可，但在闭合与感知上明显弱于基线与标签加变换器，说明只看重建误差会误判系统的关节准确性与真实感。未胜出项在此不是噪声，而是支撑必要但不充分判断的核心证据。未评测边界包括未进入感知的混合与声学变体，以及统一管线在大规模感知下的表现，论文仅以演示页定性观察支撑其潜力，尚待验证。

哪些结论是直接报告，哪些是待验证的推测？

直接报告的是：在所用数据集与八变体范围内，语义基线与标签加变换器在客观闭合与感知上接近且好于其他组合，变换器改善抖动，离散表示更依赖变换器。论文用显著性检验支撑这些差异，表述为报告与显示是恰当的。有限解释的是：音位信息必要但不充分、低结构声学信息有害、面部表示编码与高性能相关，这些由探测与主结果的共变支撑，但相关性不是因果，论文用可能与需进一步研究的措辞是谨慎的。

未验证推测包括统一视听管线能否在质量与同步性上全面替代 2 阶段范式，以及结论能否推广到非英语、自发对话与强噪声条件。缺失证据不是技术错误：论文未测量误判率、延迟、推理开销与输出帧率，因此不能承诺这些量得到改善；训练资源与硬件预算也未报告，总体趋势不等于每组每步都成立。复现时应把感知结论限定为 3 个参评系统与所用刺激集，把探测结论限定为 32 个视素与所用对齐方式，避免把末步结果推广为全程规律。

复现应先做什么，需要哪些代码与信息条件？

复现先做三件事：跑通基线面部扩散器，冻结编码器只练解码器，以及重建混合形状与视素的对齐管线。资源状态是正文开源声明的唯一依据：本次收到的资源一链接当前可用，可写当前可用；资源二链接当前可用，可写当前可用。前者对应论文的演示与管线仓库，后者对应基线面部扩散器仓库。按论文描述，基线是语义加门控循环的精确复现，应先用该仓库验证数据加载与渲染链路，再接入其余 3 个编码器的预训练权重。

关键信息条件是：输出统一为五十余维混合形状，视素数为三十二，面部帧率为每秒 30 帧，客观测试集为二百余条约 4 小时，感知为每人 15 条、保留 30 人、隐藏参考低于八十分剔除、评分为零到一百分。训练方面仅能确定编码器冻结、解码器从头训练、门控循环用重建损失直接预测数据、变换器加速度与加速度平滑损失；优化器、学习率、批量、轮数与随机种子等缺项需在复现记录中明确标注为原文未报告，不从模型名称推定实现。

渲染所用网格改编自已有表情说话工作，复现可视化时应注明该来源以保证可比。 常见误解是把无训练的探测当成系统输出确定，或把冻结参数当成输出确定。探测中的聚类与岭回归是分析工具，不改变生成系统的随机性；冻结编码器只说明表示不变，不能推出解码器输出确定，扩散解码与数据划分仍会带来变异。

何时值得尝试标签表示与统一管线，还需补哪项验证？

当任务同时需要语音与面部且已有文本转语音的离散 token 时，值得尝试标签表示与统一视听管线。复现路径是：用文本与参考音频经自回归语言模型 backbone 预测语音 token，再把同一序列并行送入流匹配语音解码器与已训练好的变换器面部解码器，得到同步的波形与混合形状序列。这种做法省去先合成音频再驱动面部的第 2 个阶段，且同步性来自共享序列而非后对齐。

论文报告显示该概念验证的唇动对比度弱于音频驱动版本，但演示页结果令人鼓舞，适合作为后续专用工作的起点。 当任务只有音频驱动且追求稳健基线时，语义表示仍是合适选择；当已用混合或纯声学表示却发现双唇闭合差与抖动大时，应优先检查表示中低结构声学信息的占比，而非一味增大解码器。

还需补的验证是：混合表示失败是否可通过分离声学层或门控机制挽回，标签表示的字符导向训练在多大程度上限制音素粒度，以及统一管线在大规模感知与多语下的闭合与同步表现。

离散语音 token × 视听文本转语音： 离散语音 token 分工是作为文本转语音大模型已有的中间序列，视听文本转语音分工是并行地把同一序列解码为波形与面部动作，二者搭配的理由是同一序列天然同步因而省去先合成音频再驱动面部的 2 个阶段，组合意义是证明标签型离散空间可同时承载语音合成与面部动画，实现文本直达声画同步的概念验证。

更广义地，论文把面部解码器适配到冻结语言模型 backbone 的思路，为多模态语音语言模型中按需增加解码器的 versatility 提供了可复述的范式，但每一步推广都需回到原文的数据、指标与统计条件重新核对。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总