英文题目：Hierarchical Codec Diffusion for Video-to-Speech Generation
会议身份：
conference:cvpr:2026:conference-paper-id:Ye_Hierarchical_Codec_Diffusion_for_Video-to-Speech_Generation_CVPR_2026_paper
✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。
标签：#扩散模型 #Transformer #向量量化 #音视频语音合成
评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Jiaxin Ye：机构信息未能从会议 PDF 纯文本可靠映射
- Gaoxiang Cong：机构信息未能从会议 PDF 纯文本可靠映射
- Chenhui Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Xin-Cheng Wen：机构信息未能从会议 PDF 纯文本可靠映射
- Zhaoyang Li：机构信息未能从会议 PDF 纯文本可靠映射
- Boyuan Cao：机构信息未能从会议 PDF 纯文本可靠映射
- Hongming Shan：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
视频到语音任务以静音视频为输入、以波形语音为输出，难点在于视觉信息稀疏而语音表征稠密，内容、音色与韵律难以同时对齐。该方法先用残差向量量化编解码器将语音切分为12层离散令牌，层级分析明确低层累积解码提升语义保真与音色相似、高层累积解码提升韵律质量。接着解耦视觉编码分别抽取唇动、身份与表情特征，并以多层去噪分数熵损失联合身份对齐损失进行优化。然后8块低层Transformer融合唇动与身份特征生成粗粒度语义音色令牌，其输出进入8块高层Transformer注入表情生成细粒度韵律令牌，最后经12个线性分数头输出具体分数并由编解码器重建波形。与整体式注入视觉特征的已有方法不同，该机制将层级先验显式写入掩码式离散扩散过程，实现按属性分层对齐与双尺度韵律调制。在LRS3基准测试集下，HiCoDiT完整模型的WER为29.41，低于去除层级建模变体的WER 30.65。结论适用边界受限于英语为主、3438位说话人的VoxCeleb2训练域与仅160条的电影外域验证，多语言与遮挡噪声外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出要保留什么？
这篇论文研究的任务是视频到语音生成，输入是一段无声的人脸视频，输出是与视频在内容、身份和韵律上一致的语音波形。输入包含 3 类可从画面提取的线索，分别是唇部运动的时间序列、面部外观携带的说话人身份信息、面部表情携带的情绪韵律信息。输出必须保留的信息包括说的内容可懂、音色与身份一致、口唇同步、情绪韵律自然。
学习依赖是视觉特征稀疏而语音表征稠密，直接把整体视觉特征注入整体语音表示会加剧模态不对称，因此需要先理解语音自身的层级结构，再决定哪路视觉信号去约束哪一层语音。复述时要抓住一个样本的完整链路，同一段视频先被 3 个适配器解耦为唇动、身份、表情特征，再分别进入低层与高层扩散块约束不同层级的离散语音单元，最后由编解码器解码为波形。
论文在 VoxCeleb2 上训练并经过多阶段清洗，在 LRS3 与 LRS2 上不做针对性训练直接测试，同时还做了电影片段的域外检验。当前可用性方面，本次收到的证据未包含完成验证的代码与模型资源状态，因此不能声称代码模型已公开，只能按论文正文描述的方法与实验条件复述。
已有路线在对齐上缺了哪一块？
已有视频到语音方法大多沿着表示对齐加生成模型的路线展开。语义内容对齐的例子是利用多模态自监督表示增强视觉语义与语音内容的对应，身份对齐的例子是用人脸识别编码器与说话人识别编码器对齐以把面部映射到音色，韵律对齐的例子是对齐面部情绪嵌入与基频能量以增强表现力。这些工作把视觉特征注入整体语音表示，没有利用从粗粒度说话人感知语义到细粒度韵律细节的语音层级。
另一条线是更强的生成框架，例如用流匹配逐步把视觉特征注入连续梅尔谱，或把预训练自回归语音模型改造为加入视觉上下文，但同样把语音当作扁平序列处理并施加多重监督。语音生成领域本身已有层级建模，例如文本到语音用层级变分自编码器桥接文本与语音的信息差，视频到语音也有层级视觉编码器逐步对齐内容音色韵律。
区别在于本文不是设计纠缠的层级条件，而是利用离散语音单元自身的层级，让低层管内容音色而高层管韵律，从而实现解耦条件。教学例子是把同一句话的身份与情绪分开看，身份应主要改变低层重建的相似度，情绪应主要改变高层重建的韵律分，两类信号不应在同一层互相干扰。
为什么层级先验能缓解视觉与语音的不对称？
问题的核心是视觉条件不足以唯一确定稠密语音，直接匹配整体特征会让内容、音色、韵律互相牵制。论文用残差向量量化编解码器的层级分析给出先验，低层单元主要承载丰富的说话人感知语义内容，高层单元编码更抽象的韵律细节。白话解释是先把语音按重要性分层打包，第一包决定说什么和像谁说的，后面包决定说得多生动。英文术语是 Residual Vector Quantization，缩写为 RVQ，后文统一称 RVQ；离散扩散模型缩写为 DDM，层级编解码扩散 Transformer 称为 HiCoDiT。
沿一个样本走，原始波形先被 RVQ 编码器压缩为 12 层每层码本大小 1024 的单元序列，再按低层与高层切分为两组并分别加掩码噪声，视觉 3 路特征按层注入对应的 Transformer 块预测去掩码分数，最后解码回波形。这个安排的理由是唇动与身份应主要精修低层单元，面部情绪应主要调制高层单元，从而让每路视觉信号只与携带匹配内容的语音层对齐。
需要指出的是层级先验来自重建分析而非因果证明，论文报告的是累积解码时语义音色韵律分数随层数变化的趋势，支持分层条件但不等同于证明最优切分点唯一。
HiCoDiT 把一次生成拆成哪几步？
HiCoDiT 把视频到语音表述为层级掩码单元预测任务，输入是掩码后的语音单元序列与解耦后的视觉特征，输出是反向扩散过程所需的全部层级具体分数。整体先用预训练 RVQ 编解码器把语音离散化为低层分量与高层分量，再把输入视频解耦为唇动特征、身份特征和情绪特征，分别注入低层块与高层块，最后由 12 个线性分数头预测每个层级的具体分数用于去掩码。下段是总体框架图的导读，重点是看 3 路视觉特征在何处汇入主干，以及低层输出如何作为上下文进入高层。
看图路径： 1. 先沿底部绿色视频分支找到唇动身份表情三路输出；2. 再看蓝色低层块到高层块的串行箭头与各自注入位置；3. 最后看右侧分数头到具体分数再到解码器的输出路径；4. 对照图例确认掩码与非掩码方块的含义
论文图 1。原论文 Figure 1：“Overall framework of HiCoDiT. We formulate video-to-speech generation as a hierarchical masked token prediction task.”。
上图显示主干从左到右是掩码低层单元与唇动拼接经线性层进入低层块得到低层隐特征，再与高层掩码特征拼接进入高层块，底部绿色框是视频解耦分支，右侧是分数头经欧拉采样得到去掩码单元再经编解码器解码为语音。可见的关键是唇动采用通道拼接的细粒度同步融合，身份与情绪采用调制参数的类别条件注入，低层与高层不是并行而是串行 coarse-to-fine 结构。这种设计让内容音色先在低层确定，韵律再在高层细化，复现时必须保持相同的注入位置与串行顺序，不能把 3 路特征全部拼接到同一层。
语音层级与视觉解耦如何对应？
语音侧用 MaskGCT 的预训练 RVQ 编解码器，单通道语音被压缩为 12 乘序列长度的单元矩阵，低层取第 1 到第 2 层，高层取第 3 到第 12 层，并按离散扩散的前向过程加掩码得到不同时刻的受损序列。视觉侧 3 路分别是唇适配器用 AV-HuBERT 最后一层隐状态经多层感知机投影得到与低层掩码特征同通道的序列，身份适配器用 ArcFace 提取面部特征并向广义端到端语音身份嵌入对齐，情绪适配器用 Poster2 预测情绪类别并做时间平滑后经可学习嵌入得到情绪特征。
低层块把掩码特征与唇动沿通道拼接再经线性层融合，同时用身份生成的调制参数做单尺度自适应归一化，高层块则用情绪与时间特征生成双尺度调制参数。下段是层级分析图的导读，重点是确认低层与高层各自带来的增益类型。
看图路径： 1. 先看左侧编码器经残差相减逐层量化的循环箭头；2. 再比较右侧三条随累积解码层数上升的曲线斜率；3. 注意低层区间标注的内容与音色增益数值位置
论文图 2。原论文 Figure 2：“Hierarchy analysis of speech token. (a) RVQ codec encodes and decodes speech through multiple VQ layers.”。
上图左侧展示语音经编码器逐层量化残差再由解码器重建的过程，右侧 3 条曲线分别报告随累积解码层数增加的内容分数、音色分数与韵律分数变化，可以看到内容与音色提升集中在前两层而韵律在后 10 层继续富集。像素中标注的增益数值对应这种集中趋势，支持把切分点放在第 2 层之后。教学上可以这样复述，先只解码低层听内容是否可懂，再逐步加入高层听韵律是否更自然，从而验证层级分工。
残差向量量化 × 离散扩散： 残差向量量化负责把连续语音压缩为 12 层从粗到细的离散 token，低层保留说话人感知的语义内容，高层保留韵律细节；离散扩散负责在前向加掩码破坏、反向预测具体分数逐步去掩码，二者搭配的理由是量化给出天然层级，扩散给出可分层条件的生成过程，组合后视觉条件可以按层注入而不混在一起。
低层块 × 高层块： 低层块分工是生成 r1 到 r2 层 token 并对齐唇动同步的内容与面部身份决定的音色，高层块分工是生成 r3 到 r12 层 token 并用面部表情调制韵律动态，搭配理由是语音层级分析显示内容音色增益集中在低层而韵律增益出现在高层，组合意义是实现从粗到细的条件生成，避免把全部视觉特征灌进统一表示。
拼接与调制两种条件注入有何分工？
拼接用于唇动这类需要帧级同步的细粒度信号，操作是把低层掩码特征与唇动特征沿通道维拼接后过线性层，目标是增强时间对齐的融合。调制用于身份与情绪这类类别属性信号，身份侧由多层感知机根据身份特征与时间特征预测通道级缩放与偏置，高层情绪侧进一步引入时间多层感知机预测随时间变化的尺度参数，并用全 1 向量上采样到 50 赫兹隐特征长度以对齐。
双尺度自适应实例层归一化的计算是先对隐特征做层归一化，再分别乘通道级与时间级尺度并加偏置，从而同时注入全局音色风格与局部韵律动态。输出侧用 12 个线性头分别预测各层具体分数，参数化从掩码状态到每个有效单元的转移速率。复述时要区分原始目标与实现，训练目标是多层去噪分数熵之和加身份对齐损失，推理时用欧拉采样迭代替换具体分数实现去掩码，未报告梯度路径的部分不猜测。
唇适配器 × 身份适配器： 唇适配器分工是用 AV-HuBERT 提取与语音内容强时间对齐的唇动特征并经多层感知机投影后与低层掩码特征拼接，身份适配器分工是用 ArcFace 提取面部身份并向广义端到端语音身份嵌入对齐以得到音色调制参数，二者搭配理由是内容需要帧同步的细粒度融合而音色属于类别属性适合调制，组合后低层块同时获得说什么和听起来像谁的约束。
表情适配器 × 双尺度自适应实例层归一化： 表情适配器分工是用 Poster2 预测情绪类别并做 0.5 秒窗口平滑后得到情绪特征序列，双尺度自适应实例层归一化分工是通道维归一化建模全局音色风格、时间维归一化捕捉局部韵律起伏，搭配理由是表情是随时间变化的韵律代理信号而普通归一化只给全局风格，组合后高层块能同时注入全局风格参数与随时间变化的尺度参数。
去噪分数熵 × 分类器无关引导： 去噪分数熵分工是训练分数网络去估计从掩码状态到真实 token 的具体分数并对 12 层求和，分类器无关引导分工是在推理时以一定概率丢弃条件并用联合与组合引导尺度增强条件控制，二者搭配理由是训练需要无偏的离散分数目标而推理需要可调的条件强度，组合后 64 步欧拉采样能在保持多样性的同时提高可懂度与同步。
训练时优化什么，推理时如何采样？
训练时 HiCoDiT 作为分数网络优化多层去噪分数熵损失，对 12 个 RVQ 层级求和得到分数损失，同时用视觉身份嵌入与语音身份嵌入之间的 L1 距离作为身份损失，总损失为两者加权求和，其中权重设为 100.0。为支持分类器无关引导，训练时以 10% 概率将每个条件置空，并对 10% 样本将全部条件置空。值得注意的是为保证训练稳定，训练时用真实声学特征替代身份与情绪的视觉特征，而推理时只用视觉特征，这种训练推理条件不一致是复现时必须保留的信息条件。
推理时从全掩码序列出发，用欧拉采样执行反向过程共 64 步，并采用增强的分类器无关引导，联合引导尺度与组合尺度在 LRS3 与 LRS2 上取不同数值。优化器用 AdamW，学习率与批量大小等超参数见实验配置表。没有证据表明身份损失的梯度会更新语音身份提取器还是只更新视觉分支，原文只说明对齐两个嵌入，因此复述时只说最小化两者距离而不推定冻结与更新范围。
数据、基线与指标在什么条件下比较？
训练数据是 VoxCeleb2，经过重采样到 16 千赫、语音语种识别过滤非英语、说话人日志去除多人片段、语音分离增强信噪比、丢弃图文不对齐样本等多阶段清洗，最终得到约 261.5 小时音频与 169k 条 utterances，覆盖 7 种基本情绪与 3438 位说话人。评估在未训练过的 LRS3 与 LRS2 上进行，还自建了包含 160 条 utterances 与 56 位说话人的电影域外基准。基线包括 FTV、AlignDiT、EmoDubber、MTL、Lip2Wav、LTBS 与 DiffV2S，其中部分用公开模型推理，部分用作者提供测试样本，部分引用原文报告值，因此并非所有基线都在完全一致的运行条件下重跑。
指标方向是词错率、梅尔倒谱失真、唇同步误差距离越低越好，DNSMOS、UTMOS、唇同步置信度、情绪准确率、说话人相似度越高越好，主观还有自然度、表现力、同步的平均意见分与 A/B 偏好。下表整理训练与推理的关键可重放配置，比较问题是复现需要固定哪些容量与预算，公平条件是同一编解码器与采样步数下的对照。
| 配置组 | 容量参数 | 优化参数 | 迭代与采样 | 引导与损失权重 |
|---|---|---|---|---|
| Transformer 主干 | 通道 768，12 头 | 学习率 1e-4，批量 32 | 迭代 200k，采样 64 步 | 联合引导 2.5 与 2.25，损失权重 100.0 |
| 低层与高层块数 | 各 8 块，共 16 块 | AdamW 优化器 | 欧拉采样器 | 条件丢弃各 10% |
| 视觉编码器 | AV-HuBERT，ArcFace，Poster2 | 情绪平滑 0.5 秒窗口 | 推理只用视觉特征 | 训练用真实声学特征替代 |
表后解释是容量上通道 768 与 12 头决定了隐特征宽度，低层与高层各 8 块保证了分层建模深度，优化上小学习率与 200k 次迭代是复现的预算基准，采样 64 步与引导尺度直接影响推理成本与条件强度。代价是推理需要维护 12 个分数头与双尺度调制，域外电影数据与长尾身份的泛化仍需额外验证，不能把整体趋势推广到每条样本。
主结果在可懂度质量同步上说明什么？
客观评估按自然度、同步、表现力 3 组组织。论文报告 HiCoDiT 在未见过的 LRS3 与 LRS2 上在整体质量、可懂度与唇同步等关键指标上领先，EmoDubber 因直接优化频谱在梅尔倒谱失真上最好，HiCoDiT 作为离散单元生成方法居次优，说话人相似度相对 FTV 有所下降，作者归因于训练数据多样性有限，但在引入语音作为身份引导时可获得最高分，显示语音克隆能力。主观 20 人 30 样本评估显示 HiCoDiT 在自然度与同步上高于 AlignDiT 与 FTV，表现力略低于 FTV。下段是梅尔谱可视化导读，重点是看静音段清晰度与纹理丰富度。
看图路径： 1. 先按行确认真值与各方法的梅尔谱图排列顺序；2. 再观察红框内静音段的残留能量与背景清晰度；3. 比较低部两行过平滑模型的纹理缺失程度
论文图 3。原论文 Figure 3：“The visualization of the mel-spectrograms of ground truth (GT) and synthesized speech obtained by different models.”。
上图按列是不同说话人样本，按行是真值与各方法生成结果，红框标出的静音与过渡段可以看到本文方法背景更干净、谐波结构更清晰，而底部两行传统方法出现严重过平滑或声学伪影，扩散基线虽质量较高但静音段仍有噪声。这支持离散编解码重建能力带来信噪比改善的判断，但属于有限解释而非因果证明。下表是主观 A/B 偏好的可运行对照，比较问题是在相同测试集下听众更偏好哪种合成语音。
| Ours vs. AlignDiT [6] | 57.0 | 4.9 | 38.1 |
|---|---|---|---|
| Ours vs. FTV [26] | 52.1 | 6.1 | 41.8 |
| GT vs. FTV [26] | 51.5 | 14.0 | 34.5 |
| GT vs. Ours | 45.5 | 0.6 | 53.9 |
表后解释是本文方法对 AlignDiT 取得 57.0% 对 38.1% 的偏好，对 FTV 取得 52.1% 对 41.8% 的偏好，真值对 FTV 为 51.5% 对 34.5% 而真值对本文为 45.5% 对 53.9%，显示本文在偏好上接近甚至超过真值。未胜出项是中立比例较低而真值对比中中立较高，说明偏好存在不确定性，且自动指标与人评不能互换，情绪准确率等自动分类器的误判率未测量，不能承诺情绪感知全面改善。
拿掉层级与双尺度后哪部分最受损？
消融按机制组织，分别检验层级建模、双尺度归一化与视觉条件的贡献。论文报告去掉层级建模即将多层表示坍缩为统一模块并把视觉条件灌进全部单元时，全部指标显著下降，支持特定属性视觉特征应与携带匹配内容的语音层对齐。将双尺度归一化替换为普通自适应归一化并用话语级情绪嵌入加全局风格引导时，动态情绪建模能力下降，情绪准确率轻微降低而其他指标有所回升，说明双尺度对韵律动态有效但存在权衡。
域外电影基准上本文在可懂度与同步上更稳健。下表整理视觉条件的两项消融，比较问题是身份损失与表情编码器各自影响什么，公平条件是同一 LRS3 测试集与同一主干。
| 消融条件 | 词错率 | 梅尔失真 | 质量分 | 情绪准确率 | 说话人相似度 |
|---|---|---|---|---|---|
| 去掉身份 L1 损失 | 29.38 | 10.18 | 3.41 | 74.47 | 34.10 |
| 替换 Poster2 为 Poster | 29.41 | 9.68 | 3.50 | 76.29 | 55.28 |
| 完整 HiCoDiT | 29.41 | 9.62 | 3.50 | 79.41 | 56.78 |
表后解释是去掉身份损失后说话人相似度从 56.78% 大幅降至 34.10% 而词错率基本不变，支持该损失对音色保持不可或缺但不决定内容；将 Poster2 换为 Poster 后情绪准确率从 79.41% 降至 76.29%，支持 Poster2 在细粒度情感捕捉上的优势。未胜出项是完整模型在部分质量指标上与替换变体持平，说明情绪编码器改进主要体现在表现力而非整体失真，复现时应同时报告两类指标而不能只看单一最优。
哪些边界尚未被测量？
论文直接报告的限制包括训练数据多样性有限导致说话人相似度相对下降，以及离散建模在频谱失真上次于直接优化频谱的方法。未验证的推测是更大更多样说话人数据能提升表现力，这属于可能而非已证因果。未测量的边界包括推理延迟与计算开销的定量对比、输出帧率与实际延迟的分离讨论、长时电影对白的稳定性统计显著性，以及自动情绪与说话人分类器本身的误判率。相关性不等于因果，例如层级切分有效不支持切分点唯一最优。下段是域外电影数据的导读，重点是观察真实复杂光照与噪声下的保持能力。
看图路径： 1. 先看最左输入电影片段的人物与光照条件；2. 再横向比较真值与三种方法梅尔谱的纹理连续性；3. 注意域外数据下细节保持与伪影的差异
论文图 4。原论文 Figure 4：“Comparison of generated Mels on real-world film data.”。
上图从左到右是输入电影片段、真值与 3 种方法生成的梅尔谱，可以看到本文方法在纹理连续性上更接近真值，而对照方法出现细节丢失或能量分布偏移。这支持域外鲁棒性的判断，但样本仅 160 条且说话人 56 位，不能推广到全部影视场景，仍需补充更大规模验证与失败案例分析。
复现时先固定什么，再补哪项验证？
值得尝试的场景是已有无声人脸视频且需要保持身份与情绪的配音或助残语音，此时分层条件能减少内容与韵律互相干扰。复现先做的是固定语音离散化与视觉编码器，依次是 MaskGCT 的 RVQ 编解码器 12 层码本 1024，AV-HuBERT Large 取最后一层，ArcFace 与 Poster2 分别负责身份与表情，再固定主干为低层与高层各 8 块通道 768 共 12 头，优化用 AdamW 学习率 1e-4 批量 32 迭代 200k 次，推理用欧拉采样 64 步并按数据集设置联合与组合引导尺度。
训练时用真实声学特征替代视觉身份与情绪以稳定训练，推理切回纯视觉，这是必须保留的信息条件。还需补的验证包括在同一硬件下测量推理耗时与内存，报告多次采样的方差与统计检验，以及在 LRS2 与 LRS3 之外补充噪声与遮挡唇部的压力测试。资源状态方面本次未能确认代码模型可达，因此只能按正文描述重建流程，不能声称已公开可下载，权重与系统可运行性需以官方渠道为准。
这条路线回答了什么，还留下什么？
这条路线回答的是如何利用语音自身的离散层级作为先验来缓解视觉稀疏与语音稠密的不对称，做法是把唇动身份约束低层内容音色，把表情约束高层韵律，并用双尺度归一化同时注入全局风格与局部动态。最强证据是层级消融的全面下降、身份损失消融中相似度的大幅下降、表情编码器替换中情绪准确率的下降，以及 A/B 偏好对两个强基线的领先。代价是需要维护 12 个分数头与两套调制分支，频谱失真未全面最优且身份多样性受限。
留下的工作是验证切分点的敏感性、量化推理成本、扩大说话人与情绪覆盖，以及明确身份分支的梯度路径与冻结策略。初学者复述时应先讲清输入输出与必须保留的信息，再沿单样本走完视频解耦到分层预测再到解码的链路，最后用条件一致的对照表说明收益与代价，避免把比喻当作性质证明，也避免把自动指标直接当作人评结论。
📐 原文公式与排版
以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。
区域 1 · 查看论文原页
区域 2 · 查看论文原页
另有 22 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses