📄 Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis

标签：#语音合成 #大语言模型 #多模态模型 #数据集 #强化学习

6.9/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.1/0.5 | 工程 1/1.5

✅ 6.9/10 | 前50% | 文档类型：模型报告 | 评分置信度：高 | #语音合成 | #大语言模型 | #多模态模型 #数据集 | arxiv

👥 作者与机构

• 第一作者：Yifan Hu（内蒙古大学）
• 通讯作者：Rui Liu（内蒙古大学）
• 作者列表：Yifan Hu（内蒙古大学）、Shuwei He（内蒙古大学）、Rui Liu（内蒙古大学）、Haizhou Li（香港中文大学（深圳））

💡 毒舌点评

论文将面部动作单元（AU）引入对话语音合成，思路直接且工程完整，自动化构建了千小时级视频-语音对话数据集，消融明确。但技术层面的"新"更多体现在组合与适配：AUTokenizer本质上是一个有监督AU分类+FSQ量化，DualDPO也只是把两个模态的DPO目标加在一起联合优化，缺乏更深层的跨模态融合创新；主观评测仅基于二语英语者，对话境匹配感的生态效度存疑。

📌 核心摘要

1. 要解决什么问题：现有对话语音合成（CSS）主要依赖文本和语音上下文，忽略了用户面部表情这一关键非言语情感线索，且缺少大规模的视觉-语音对话数据集。

2. 方法核心是什么：提出FacialTalker框架，以LLM为骨干，通过AUTokenizer将每帧人脸图像量化为一个离散token（基于FSQ，由AU组合监督），然后将多模态对话上下文序列化并自回归预测目标情感和语音token，再经条件流匹配生成最终语音；训练中引入DualDPO对视觉和语音token序列联合施加偏好约束。

3. 与已有方法相比新在哪里：首次将面部AU表达融入CSS的LLM式建模，用单token/帧的离散化大幅降低视觉序列长度，并设计了双模态DPO对齐策略，同时发布了大规模真实面谈视频-语音数据集VSDD-1K。

4. 主要实验结果：在MultiDialog、AvaMERG和VSDD-1K上，FacialTalker全面优于非视觉CSS模型和已有视觉感知CSS模型，例如在VSDD-1K上MOSN达4.17，MOSE达4.19，显著高于最佳基线UniTalker（4.08/4.11）；ACC_E提高至0.78。消融证实AUTokenizer和DualDPO均带来一致增益。

   • MultiDialog及AvaMERG客观与主观结果（来自原表4）：

   模型	SIM↑	PDTW↓	ACCE↑	MOSN↑	MOSE↑	SIM↑	PDTW↓	ACCE↑	MOSN↑	MOSE↑
   数据集	MultiDialog					AvaMERG
   Ground Truth	-	-	-	4.52±0.03	4.32±0.12	-	-	-	4.31±0.04	4.35±0.02
   GRU-CSS	0.73	68.21	0.55	3.40±0.01	3.45±0.02	0.68	73.65	0.49	3.51±0.02	3.56±0.02
   M2CTTS	0.75	67.02	0.63	3.62±0.02	3.60±0.03	0.71	72.10	0.56	3.60±0.04	3.59±0.01
   MSRGCN	0.75	64.25	0.63	3.64±0.03	3.65±0.02	0.70	70.42	0.58	3.62±0.03	3.64±0.02
   ECSS	0.76	58.16	0.66	3.76±0.02	3.76±0.03	0.73	66.13	0.61	3.69±0.01	3.68±0.01
   GPT-Talker	0.87	47.27	0.68	3.91±0.02	3.91±0.02	0.85	50.16	0.62	3.86±0.03	3.85±0.04
   Empatheia	0.82	50.49	0.71	3.91±0.04	3.94±0.02	0.80	49.46	0.67	3.85±0.05	3.89±0.02
   EmpathyEar	0.83	48.02	0.72	3.93±0.01	3.95±0.02	0.82	48.69	0.66	3.88±0.02	3.90±0.03
   UniTalker	0.90	42.01	0.74	4.13±0.02	4.10±0.02	0.88	44.57	0.70	4.05±0.03	4.08±0.03
   FacialTalker (D)	0.92	39.29	0.79	4.22±0.02	4.23±0.04	0.93	40.12	0.76	4.14±0.02	4.13±0.01
   FacialTalker (C)	0.91*	40.11*	0.78*	4.19*±0.01	4.20*±0.03	0.91*	42.68*	0.74*	4.11*±0.03	4.13±0.02
   FT-CLIP	0.89	41.54	0.72	4.14±0.02	4.13±0.01	0.90	43.98	0.69	4.07±0.01	4.06±0.01
   FT-base	0.90	41.35	0.76	4.16±0.01	4.15±0.02	0.91*	43.15	0.72	4.10±0.02	4.11*±0.02

   • VSDD-1K实验结果（来自原表5）：

   模型	SIM↑	PDTW↓	ACCE↑	MOSN↑	MOSE↑
   Ground Truth	-	-	-	4.47±0.02	4.36±0.04
   GRU-CSS	0.71	70.26	0.51	3.45±0.04	3.51±0.03
   M2CTTS	0.74	68.56	0.58	3.53±0.03	3.55±0.02
   MSRGCN	0.75	65.11	0.60	3.62±0.04	3.67±0.04
   ECSS	0.77	61.45	0.62	3.68±0.02	3.71±0.04
   GPT-Talker	0.88	47.60	0.65	3.88±0.03	3.89±0.01
   Empatheia	0.81	49.21	0.68	3.86±0.05	3.93±0.03
   EmpathyEar	0.82	49.62	0.68	3.87±0.02	3.95±0.03
   UniTalker	0.91*	45.38	0.71	4.08±0.03	4.11±0.02
   FacialTalker (D)	0.92	40.10	0.78	4.17±0.02	4.19±0.03
   FacialTalker (C)	0.92	41.29*	0.76*	4.15*±0.04	4.17*±0.03
   FT-CLIP	0.90	43.67	0.71	4.11±0.01	4.09±0.02
   FT-base	0.92	41.52	0.75	4.13±0.02	4.14±0.01

5. 实际意义是什么：为共情式语音交互系统提供了可行的面部感知方案和大型数据集，可推动智能座舱、陪伴机器人等应用的情感表达能力提升。

6. 主要局限性：AUTokenizer的AU空间受限于预定义AU集合（仅覆盖CASME II和DISFA中标注的有限AU类型，如AU1、2、4、7、12、14、15、17等），泛化至自然表情可能存在粒度损失；DualDPO仅做序列级偏好对齐，未涉及跨模态细粒度交互；主观评估样本均为ESL（英语二语）参与者，对英语母语场景的外推性有限；VSDD-1K完全来自YouTube访谈/播客，存在版权和隐私再分发风险，且说话风格与真实交互场景可能不同。

🔗 开源详情

• 代码：https://github.com/walker-hyf/FacialTalker
• 模型权重：论文中未提及是否公开
• 数据集：VSDD-1K，开源协议为 CC BY-NC-SA 4.0，论文中未提供直接下载链接（可能在项目页发布）
• Demo：论文中未提及
• 复现材料：论文中未提供训练配置、超参数等复现所需细节
• 论文中引用的开源项目：
  • 3D-Speaker（speaker encoder）：https://github.com/modelscope/3D-Speaker/tree/main/egs/3dspeaker/svcam++
  • Silero VAD（语音活动检测）：https://github.com/snakers4/silero-vad
  • Demucs（人声背景分离）：https://github.com/facebookresearch/demucs
  • Pyannote（语音识别与说话人分离）：https://docs.pyannote.ai/tutorials/speech-to-text-diarization
  • CosyVoice2（基础语音合成模型，未提供独立链接）
  • SenseVoice-Large（语音识别基础模型，未提供独立链接）
  • HiFi-GAN（声码器，未提供独立链接）
  • ConvNeXt-Tiny（图像特征提取骨干，未提供独立链接）
  • Qwen2.5-0.5B（大语言模型骨干，未提供独立链接）
  • CLIP（对比语言-图像预训练模型，用于FT-CLIP消融实验）

🏗️ 方法概述和架构

FacialTalker是一个基于大语言模型（LLM）的面部表情感知对话语音合成系统，整体遵循"多模态上下文标记化→序列化LLM自回归预测→情感语音渲染"的流程。系统由四个核心部分组成：

1. 多模态对话上下文（Multimodal Conversational Context）：输入为多轮用户-代理对话历史ℋ和目标话语𝒞。每个用户话语携带说话人身份、面部图像帧序列、文本、情感标签和语音；代理话语仅含身份和文本。面部模态仅在用户回合提供，反映真实应用场景。

2. 多模态上下文标记化（Multimodal Conversational Context Tokenization）：

   • 文本和情感：使用标准BPE分词器将文本和8类情感标签转换为离散token序列。
   • 语音：基于SenseVoice-Large编码器后接FSQ（有限标量量化）模块，将原始语音量化为离散语音token序列。
   • 说话人身份：采用预训练声纹模型CAM++从语音中提取连续说话人嵌入Pi，作为稠密条件送入LLM，而非离散标签，以保留说话人特性泛化能力。
   • 面部表情（AUTokenizer）：这是论文的核心模块。给定一帧人脸图像，先用ConvNeXt-Tiny提取四级层次特征，通过可学习多尺度融合模块（加权求和）得到融合特征F_fuse；经局部上下文块展平为空间token序列𝒯。引入可学习AU查询向量𝒬_AU，通过Transformer解码器的交叉注意力与空间token交互，输出AU特征。随后将其投影为128维向量，经FSQ量化（FSQ_down+ROUND）得到单个离散token \(T_{i,j}^v\)。最后，AUPredictor（FSQ_up+AU分类头）从该token恢复AU激活值，以AU组合标签作监督训练。关键设计：每帧仅1个token的极限压缩使LLM能处理较长面部序列；FSQ而非VQ以规避码本坍塌和辅助损失；AU监督而非直接重建以显式引导token捕获面部肌肉运动。

3. 多模态对话上下文建模（Multimodal Dialogue Context Modeling）：骨干为Qwen2.5-0.5B。将对话历史的所有模态token按规则拼接为长序列，以<BOS>和<EOS>标记起止，<TASK>标记任务起始。LLM自回归地首先生成目标话术的情感类别token序列 \(T_N^{e'}\)，再逐token生成目标语音token序列 \(T_{N,1\rightarrow L^s}^{s'}\)，直至输出<EOS>。训练分为四阶段：Stage-1继承CosyVoice2的单句语音预训练权重（基于170k小时数据）；Stage-2在语音对话数据上微调；Stage-3在视频-语音对话数据上微调，同时优化面部token、语音token和情感token的交叉熵损失；Stage-4采用双模态DPO（DualDPO）后训练：对语音模态，将Stage-3模型生成后重新量化的语音token作为"拒绝样本"，以真实量化语音token为"选择样本"；对面部模态，将LLM自回归采样的面部token作为"拒绝样本"，以AUTokenizer量化的真实面部token为"选择样本"。联合优化两类DPO损失与三个模态的交叉熵损失，参考模型冻结。

4. 共情语音渲染（Empathetic Speech Rendering）：基于条件流匹配（CFM）的语音合成器。以LLM生成的语音token序列、预测的情感类别标签、代理说话人嵌入以及历史中最近代理话术的参考梅尔谱图为条件，通过因果卷积Transformer UNet预测向量场，采用最优传输路径，最终由HiFi-GAN声码器生成波形。

架构图中的模态交互流程：用户回合提供面部图像→AUTokenizer逐帧量化为单token→与文本token、语音token、情感token和说话人嵌入共同拼接为对话序列→LLM自回归预测→CFM合成器渲染语音。对于无有效人脸的帧（如遮挡、侧脸），使用<IGNORE>标签占位以保证视觉与语音token序列长度对齐。

下图展示了FacialTalker的整体框架。

图中显示了四个核心部分：多模态对话上下文、标记化、建模和渲染，直观呈现了数据流和模态交互。

💡 核心创新点

AUTokenizer：面部动作单元驱动的单token视觉离散化 此前CSS中的视觉编码多用CLIP等通用模型，无法聚焦面部细节，或仅依赖稀疏关键点（如UniTalker的128个landmark）。AUTokenizer以AU组合监督训练ConvNeXt+可学习AU查询+FSQ量化，每帧仅需1个token即可保留表情信息，大幅降低序列长度，使面部信号能自然纳入LLM自回归范式。消融中替换为CLIP（FT-CLIP）或VQ（AUTokenizer-VQ）均导致性能下降，证实其有效性。

下图展示了AUTokenizer的详细架构。

图中可见ConvNeXt-Tiny提取多尺度特征，通过可学习融合和AU查询生成离散token，并用于AU预测。

双模态直接偏好优化（DualDPO） 传统DPO仅用于文本或单一模态，本文将其扩展为同时约束视觉和语音token序列的偏好损失，促使LLM在推理时同时关注面部表达和语音语义的对齐。对比FT-base（无DualDPO），加入DualDPO后ACC_E和MOS均有明显提升。

VSDD-1K：大规模真实面谈视频-语音对话数据集 通过全自动五阶段流水线（视频采集→非人声滤除→说话人日志转写→活跃说话人检测→结构化保存）构建约1033小时、超85%帧含有效人脸的数据集，涵盖访谈、播客等自然面对面场景，弥补了现有CSS数据集（如MultiDialog、AvaMERG的录制者对着镜头说话而非真实面对面交互）缺乏真实视觉-语音对齐的空白。

下图展示了VSDD-1K数据集的构建流水线。

图中详细说明了从对话视频收集到结构化数据集构建的五个步骤，包括非人声滤除和说话人标注。

LLM多模态序列化建模与情感-语音联合生成 将面部token、语音token、文本和情感token统一组织为多模态对话序列，由Qwen2.5自回归优先预测情感再生成语音，使合成语音在风格和情感上与多轮视觉-文本-语音历史保持一致。

📊 实验结果

本节从数据集可靠性、面部动作单元（AU）编码器能力、语音合成质量与主观感知等方面进行系统评估。以下表格完整列出原文中所有实验结果。

下图展示了面部表情注意力的可视化对比。

图中比较了CLIP和AUTokenizer在三个数据集上的注意力分布，显示AUTokenizer更聚焦于眉毛、眼睛和嘴巴等表情区域。

表2：VSDD-1K 与其他数据集的质量对比

• VSDD-1K 在语音质量（DNSMOS、UTMOS）、说话人相似度（SIM_WavLM、SIM_CAM）和面部图像质量（CR-FIQA、IFQA）上均达到或接近已有数据集的水平，表明该数据集能够有效支持多模态对话上下文理解与语音生成。

表3：AU 标签分类性能对比（F1 分数）

DISFA 数据集

CASME II 数据集

• AUTokenizer 在 DISFA 上取得平均 F1=0.65（与 EmoLA 并列最优），在 CASME II 上取得平均 F1=0.75（仅次于 SSSNet-LED 和 AULLM）。相较于采用 VQ 的版本，FSQ 方案在两个数据集上分别带来约 0.10 和 0.05 的平均 F1 提升，验证了 FSQ 量化策略的有效性。

表4：MultiDialog 与 AvaMERG 数据集上的主客观实验结果

表5：VSDD-1K 数据集上的主客观实验结果

• FacialTalker (D) 在所有数据集上全面领先。在 VSDD-1K 上，相比最强视觉基线 UniTalker，ACC_E 从 0.71 提升至 0.78，MOSN 从 4.08 提升至 4.17，PDTW 从 45.38 降至 40.10。FT-base（仅使用 AUTokenizer，无 DualDPO）已优于 UniTalker，表明基于 AU 的面部建模比 128 个稀疏关键点能捕获更丰富的情感信息。

根据表4和表5，FT-CLIP（替换为 CLIP 视觉编码器）和 FT-base（移除 DualDPO）均导致性能下降。FT-CLIP 相较于 FacialTalker (D)，在 MultiDialog 上 ACC_E 下降 0.07（0.72 vs 0.79），MOSE 下降 0.10（4.13 vs 4.23）；FT-base 相较于完整模型，在 AvaMERG 上 ACC_E 下降 0.04（0.72 vs 0.76），在 MultiDialog 上 PDTW 从 39.29 升至 41.35。这些结果定量验证了 AUTokenizer 与 DualDPO 对情感表达和语音自然度的独立贡献。

注意力图显示，AUTokenizer 持续聚焦于眉毛、眼睛、嘴巴等表情相关区域，而 CLIP 的注意力则分散在背景和弱相关区域。AUTokenizer (D)（基于 DISFA 训练）的激活比 AUTokenizer (C)（基于 CASME II）更紧凑且更具区分度，这归因于 DISFA 包含更丰富的面部数据，进一步支撑了定量评估中的性能优势。

🔬 细节详述

• 训练数据：AUTokenizer用CASME II（26受试者、247样本、8类AU）和DISFA（27受试者、27样本、8类AU），按留一被试交叉验证；FacialTalker语言模型训练用DailyTalk、NCSSD英文子集、MultiDialog、AvaMERG、VSDD-1K，总语音对话112h+视频对话约1612h，按8:1:1划分。
• 损失函数：AUTokenizer：AsymmetricLoss+SoftMacroF1Loss处理AU类别不平衡。LLM训练：Stage-3用交叉熵（面部、语音、情感token），Stage-4额外加入两个DPO损失并与交叉熵联合优化。语音渲染CFM用最优传输流匹配损失。
• 训练策略：LLM四阶段训练，Stage-1继承CosyVoice2权重（预训练于170k小时单句语音），Stage-2在语音对话数据上微调，Stage-3在视频-语音对话数据上微调，Stage-4用DualDPO（参考模型冻结）。DPO中负样本来自Stage-3 SFT模型的采样结果，正样本为真实量化token。
• 关键超参数：AUTokenizer：ConvNeXt-Tiny骨干，FSQ量化层，每帧输出单token（128维压缩至1个离散索引）；Qwen2.5-0.5B作为LLM骨干；语音token化基于SenseVoice-Large+FSQ（细节见CosyVoice2）；说话人嵌入来自CAM++；VSDD-1K视频标准化为25 FPS，音频16 kHz单声道。未说明学习率、batch size、优化器、warmup、训练epoch等。
• 训练硬件：未说明。
• 推理细节：LLM自回归生成情感token后生成语音token，直到<EOS>；CFM用HiFi-GAN声码器合成波形。无解码温度等超参说明。对于VSDD-1K中人脸缺失帧使用<IGNORE>标签占位。
• 正则化与稳定技巧：DualDPO中参考模型冻结以稳定训练并防止偏离SFT模型过远。未额外说明其他技巧。
• 特殊token：引入<BOS>、<EOS>标记对话序列起止，<TASK>标记任务起始，<IGNORE>用于无效人脸帧。
• 说话人身份处理：当历史中某说话人与当前代理身份相同时，将该说话人身份设为None（见公式2），以避免信息泄漏。
• 数据构建流水线细节：Step-1收集1362个真实对话视频（访谈、播客类）；Step-2用Silero VAD去除>5秒的静音段，用Demucs做人声-背景分离并按SNR<4滤除低质量片段；Step-3用Pyannote transcription-precision-2 API进行说话人识别和转写；Step-4用活跃说话人检测模型（ASD）判断音视频一致性，不一致的帧标记为<IGNORE>；Step-5统一25 FPS/16kHz并保存为字典格式的结构化数据。

⚖️ 评分理由

• 创新性 (1.2/2)：首次将面部AU表达融入CSS的LLM建模，以单token/帧离散化降低序列长度，并提出双模态DPO对齐，同时贡献大规模面谈视频-语音数据集。创新点明确，部分为工程整合但整体新颖性强。

• 技术严谨性 (1.0/1.5)：AUTokenizer设计合理（ConvNeXt+FSQ+AU监督），多阶段训练与DualDPO流程明确，消融验证组件有效性，未见明显算法或系统逻辑漏洞。

• 实验充分性 (0.8/1.5)：多数据集对比与消融较充分，但主观评测仅依赖二语英语者（生态效度不足），缺少遮挡/极端表情失败案例分析，未报告延迟/成本等系统指标；DualDPO缺少与单独语音/视觉DPO对比，削弱效果归因。

• 清晰度 (0.8/1)：论文结构清晰，架构图直观，公式与符号定义明确，实验表格完整，叙述流畅有助于理解。

• 影响力 (1.0/1.5)：为共情式语音交互提供可行的面部感知方案，VSDD-1K填补大规模视觉-语音对话空白，但数据集版权与隐私风险及说话风格差异可能限制实际部署，短期影响偏积极。

• 开源 (1.0/1.5)：代码已开源，VSDD-1K数据库采用CC BY-NC-SA 4.0协议并承诺在项目页发布，但论文未附直接下载链接；模型权重未说明，仅部分核心产物开放。

• 可复现性 (0.1/0.5)：论文未披露训练所需关键超参数（如学习率、批次大小、优化器）及训练硬件，仅提供架构与数据流水线，复现需大量补充工作。

• 工程/实践价值 (1.0/1.5)：全自动五阶段流水线构建VSDD-1K，系统端到端实现并经受多基线验证，工程完整度高；但数据集来源于YouTube访谈/播客，存在版权与隐私再分发风险，影响实际工程推广。

🚨 局限与问题

论文明确承认的局限

• AUTokenizer依赖预定义的AU组合，受限于有限AU空间（仅CASME II和DISFA中标注的AU类型），无法捕捉所有自然表情变化。
• 仅处理用户回合的面部信息，未能利用代理或双方共同的面部动态。
• 主观评估参与者为英语二语者，未覆盖母语者。

审稿人发现的潜在问题

1. DualDPO的机制可能只是让生成结果更接近训练分布，并未显式建模视觉-语音跨模态因果关系，其提升可能部分源于额外的正则化效应而非真正的多模态理解改善。缺少与单独语音DPO、单独视觉DPO的对比消融使这一质疑难以排除。
2. VSDD-1K虽体量大，但完全来自YouTube访谈/播客，存在版权和隐私再分发风险（即使以CC BY-NC-SA 4.0发布，原始视频版权状态不明），且说话风格、表情夸张度与真实人际交互场景（如日常对话、心理咨询）可能不同。
3. 说话人嵌入直接来自语音，但在推理时需从历史语音提取代理身份，未讨论跨句身份一致性退化问题。如果历史中代理语音较短或质量较低，提取的说话人嵌入可能不可靠。
4. 未展示失败案例（如面部遮挡、极端表情、侧脸）下的性能，鲁棒性存疑。AUTokenizer对<IGNORE>帧的处理仅为占位，实际信息损失对生成质量的影响未量化。
5. 情感类别限定为8类离散标签，对于对话中常见的混合情感或情感强度变化表达能力有限。
6. 论文声称VSDD-1K"at least 85% of the video frames contain valid facial information"，但未说明有效人脸判定标准（是ASD模型输出置信度超阈值还是人脸检测IoU），85%是平均值还是最差值也未明确。
7. 与UniTalker的对比中，FT-base（仅用AUTokenizer无DualDPO）已优于UniTalker，但论文未排除UniTalker的其他架构差异（如不同的LLM骨干、不同的语音tokenizer），无法完全将性能提升归因于AU vs landmark的面部编码方式。

← 返回 2026-07-28 语音/音乐/音频论文速递