不听声音只看嘴：把对齐走成一条单调最优路径

英文题目：V-Align: Visual Forced Alignment via Phoneme to Video Optimal Path Traversal

会议身份：conference:interspeech:2026:conference-paper-id:ghosh26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #弱监督学习 #强制对齐 #静默语音接口

评分：6.5/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Souvik Ghosh：机构信息未能从会议 PDF 纯文本可靠映射
• C. V. Jawahar：机构信息未能从会议 PDF 纯文本可靠映射
• Vinay Namboodiri：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

视觉强制对齐（Visual Forced Alignment，VFA）输入为静音说话人脸视频与已知转写文本，输出为词级或音素级起止时间戳，难点在于无音频时唇动模糊、音素边界不清且缺乏可靠监督。V-Align 先用冻结的视觉 Transformer 池化（Visual Transformer Pooling，VTP）唇动编码器与 XPhoneBERT 音素编码器提取特征，再经可训练堆叠一维卷积模态适配模块映射到共享空间，基于高斯距离核构建帧-音素兼容格点并经逐帧 Softmax 得到柔性遍历后验，最后用维特比风格动态规划解码全局最优单调路径得到离散边界。训练分两阶段：Stage 1 用前向和损失与路径二值化损失学习全局单调结构，无需边界标注；Stage 2 因 MFA 音素库存与分词器不一致，将音素后验按词聚合后用 MFA 词边界做词级监督精修。在 LRS2 上 Stage 2 达到 32.9 ms 平均绝对误差与 91.2% 帧准确率，在 LRS3 上达到 56.9 ms 与 88.5%，相对此前最优的 He 等方法分别降低 17.3 ms 和 13.6 ms。该结论限于英语新闻与演讲类 LRS2 与 LRS3 及以 MFA 为真值的评测，未验证多语、遮挡、侧脸或自发对话外推。原文未披露训练时长、显存占用与推理延迟。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，什么信息必须保留？

这篇论文研究的不是有声语音识别，而是无声说话人视频的时间对齐。输入有两个：一段静音的说话人脸视频，以及这段视频对应的文本转录。目标是回答转录中每个词出现在视频的哪一段时间，给出带时间戳的转录，例如某个词从 0.52 秒持续到 0.94 秒。必须保留的信息是说话顺序，视频帧只能按文本顺序向前分配，不能跳词、不能倒流，也不能把同一帧同时判给两个不相邻的词。

初学者容易把这个任务误解为给视频做分类。分类只关心出现了什么词，而这里更关心每个词的起点与终点。论文开场就强调应用动机是字幕同步：当音频噪声大、损坏或完全缺失时，传统音频强制对齐会失效，只能从唇动中恢复时间边界。因此方法必须只用视觉推时间，同时保证全局时间一致。

下面这张任务示意图把上述输入输出画得很直白，值得先建立直觉再进入模型细节。

看图路径： 1. 先看上半部分左右两个输入框，确认左侧是待对齐文本、右侧是无声说话人视频；2. 再看中间向下汇合的箭头，确认任务被标注为视觉强制对齐；3. 最后沿下半部分连续人脸帧与下方词级时间条，读出每个词的起止秒数

论文图 1。原论文 Figure 1：“1”。

这张图上半部分并排给出两个输入，左侧方框写明待时间对齐的英文转录，右侧方框给出静音说话人视频的连续帧示意，中间用汇合箭头标出视觉强制对齐这一操作。下半部分是方法的输出：一排连续人脸帧下方拉出 5 个词的时间条，每个词下方标注起止秒数。可以看到词与词之间首尾相接、顺序向前，没有重叠也没有空洞，这正是单调分割想要的效果。例子中的具体秒数只是帮助理解输出形态，不代表方法在所有视频上都达到同样精度。

已有路线在同输入同目标下做了什么，还缺什么？

在相同输入与相同目标下，论文主要对照 3 条路线。第一条是视觉关键词定位，例如关键词发现网络与带注意力的视觉关键词定位，它们原本只找单个查询词在视频中的位置。如果把全文每个词都跑一遍定位再拼接，计算量大，而且各词独立预测容易出现边界重叠或顺序矛盾。第二条是基于连接时序分类的对齐思路，它在唇读框架里隐式利用单调性，但没有显式为全转录恢复锋利边界。第 3 条是真正面向全文的视觉强制对齐，包括深度视觉强制对齐与近期加入局部上下文感知特征提取和多任务目标的改进方法。

论文指出前人工作的两个共同局限。第一，边界不够锋利且时间一致性不足，逐帧做词符预测的方式没有把全局单调路径当作一等对象。第二，训练重度依赖显式真值或音频派生的强制对齐监督，一旦没有可靠对齐标注就难以适用。这就留下了一个明确缺口：能否在没有边界监督时先学出单调遍历结构，再用少量词级监督把边界磨尖。后续的 2 阶段设计正是为了补这个缺口，而不是重复做一个更大的分类器。

为什么不用逐帧分类直接预测边界？

把每 1 帧独立分到某个音素或词，看似最直接，但会丢掉两个关键约束。一是时间只能向前，独立分类可能让后 1 帧跳回前面的音素；二是边界应该是连续一段视频对应连续一段音素，独立分类容易产生碎片化抖动。论文因此把问题重新表述为在帧与音素构成的 2 维格子上走一条单调路径。横轴是音素顺序，纵轴是视频帧顺序，路径每走一步只能停留或前进，不能后退。

举一个教学例子帮助理解，例子不代表论文实验数据。假设转录对应 5 个音素，视频有 10 帧，合法路径必须从左上附近出发，逐步走到右下，每 1 帧都落在某个音素列上，且所在列序号不随时间减小。最终每个音素占据的帧数就是它的时长，时长按帧累加即得边界。这种表述把边界预测变成路径解码，只要路径全局最优，边界自然连续且有序。论文的方法全景就是围绕如何构造这张格子、如何学习路径分布、如何解码离散边界展开的。

V-Align 沿一个样本走完全流程

先跟着一个样本走一遍。输入一段无声视频与对应转录文本，转录先变成音素序列。视频一侧经过唇动编码器得到帧级视觉嵌入，文本一侧经过音素编码器得到上下文相关的音素嵌入，两侧再各过一个可训练的模态适配模块，把维度映射到同一个对齐空间。接着对每 1 帧与每一个音素计算相容分数，形成密集的帧减音素相容格，再按帧做归一化得到软遍历后验。训练时用结构化目标塑造这个后验，推理时用动态规划解码出一条最优单调路径，路径在每列停留的帧数即音素时长，进一步按词归并即得词边界。

视觉强制对齐 × 单调路径遍历： 视觉强制对齐负责提出任务目标：在无声视频时间轴上给出每个词或音素的起止时间；单调路径遍历负责给出实现该目标的结构约束：说话顺序不可倒流，视频帧只能按音素顺序向前走。两者搭配的原因是唇动连续而边界模糊，直接逐帧分类容易出现跳变与重叠，而把所有合法单调路径放在格子上统一建模，再解码一条全局最优路径，就能同时保证顺序一致与边界离散可用。

下图是论文给出的系统总览，建议按自下而上再自上而下的顺序阅读，先看清数据流，再看清监督流。

看图路径： 1. 先沿底部输入视频与输入转录向上追踪两条编码分支，确认冻结编码器与适配模块的位置；2. 再看中部帧-音素相容格如何汇合两路特征并向上产生软后验与最优路径；3. 最后对照右侧训练目标栏，区分前向求和与二值化各自约束的对象

论文图 2。原论文 Figure 2：“Overview of V-Align for visual forced alignment.”。

这张总览图底部是两个输入，左侧连续人脸帧进入唇动编码器，右侧音素字符串进入音素编码器，两个编码器图标上均标有冻结含义的雪花标记。中部是两个模态适配模块，向上汇入帧减音素相容格，格子公式显示为高斯距离核形式。顶部左侧是学到的软遍历后验热力图，中间经最优路径解码变成清晰的单条对角走线，右侧进一步变成按帧数划分的音素边界条。图右侧单独列出训练目标，区分对所有合法路径求和的前向求和与要求后验向解码路径看齐的二值化，以及第二阶段加入的词级精修。整张图说明计算只在适配层与相容格上可学，编码器保持不动。

格子与后验是如何算出来的？

组件层面需要讲清 3 步。第一步是表示。论文用视觉变换器池化提取唇动表示，用预训练多语音素模型提取音素表示，两者都冻结。冻结的含义是训练时不更新这两组参数，梯度只流向后面的轻量 1 维卷积投影。这样做把单模态先验固定下来，让对齐模块专注学跨模态对应，论文明确报告了该冻结安排，但没有报告若解冻会发生什么，因此不能推测解冻一定更好或更差。

第二步是相容分数。把映射后的帧向量与音素向量求欧氏距离平方，再乘以负温度系数，得到每个格点分数。温度控制分布尖锐程度，论文把温度设为 0.0005，并在实现细节中直接报告该取值。第 3 步是按帧归一化，把同帧所有音素分数做柔性最大值，得到每帧在音素轴上的分布。这就是软遍历后验，它既是训练对象，也是解码输入。

帧-音素相容格 × 软遍历后验： 帧-音素相容格负责度量每一视频帧与每一个音素是否长得像，计算的是映射到共享空间后的负平方距离；软遍历后验负责把该相似度按帧做归一化，变成每 1 帧分布到各个音素位置的概率。前者是原始打分，后者是可训练、可求和、可解码的分布，两者组合的意义是把异构的视觉与音素嵌入变成同一张可微的对齐地图，后续前向求和与二值化都直接在这张图上操作。

唇动编码器 × 音素编码器： 唇动编码器负责把无声视频变成帧级视觉表示，论文采用视觉变换器池化结构并在训练时冻结；音素编码器负责把转录派生的音素序列变成上下文相关的音素表示，采用预训练多语模型并同样冻结。两者分工是各自保留单模态先验，真正的跨模态适配只交给轻量 1 维卷积投影完成，这样对齐模块可以专注于学习遍历结构，而不被迫同时重学视觉与语言表示。

解码时不再保留软分布，而是求一条使所有帧对数概率之和最大的合法单调路径，用维特比风格的动态规划高效求解。解出的二值遍历矩阵按帧求和即得每个音素的持续帧数。需要强调的是，论文没有把逐帧最大值当作最终输出，因为逐帧最大值不保证单调；也没有把贪心向前走当作最优，因为贪心只看局部。消融部分会用数字说明这种差异。

两阶段各优化什么，监督从哪里来？

训练分两个阶段，承担不同的教学任务。第一阶段完全不用边界标注，只用结构化目标学路径形状。第一个目标是前向求和，它把所有符合转录顺序的单调路径概率相乘后再相加，取负对数最小化，直觉是让转录顺序下所有合理走法总体更可能，从而涌现出对角状对齐结构。第二个目标是路径二值化，它把当前解码出的最优离散路径当作伪目标，要求软后验向它看齐，起到把分布变尖、形成可解释单路径的作用。论文报告两个损失等权相加，训练 400,000 步。

第二阶段才引入边界监督，但不是音素级而是词级。原因是音频对齐工具与本文分词器的音素表不一致，直接做音素监督会有词表错位。做法是把属于同一词的音素后验按词求和，得到词级遍历后验，再用蒙特利尔强制对齐器提供的词边界构造二值目标，做交叉熵式的监督损失。此时总目标是前向求和加二值化加词监督，三者等权，再训练 100,000 步。

前向求和损失 × 路径二值化损失： 前向求和损失负责学全局结构，它把所有符合转录顺序的单调路径概率加起来最大化，让模型先知道大致走向而不要求边界准确；路径二值化损失负责把分布变尖，它要求软后验向当前解码出的最优离散路径看齐，得到可读的单条走线。两者搭配的原因是只求和则分布发散、只变尖则训练不稳定，联合使用才能在无边界监督的第一阶段形成又完整又清晰的对齐。

实现上批量大小为 32，使用自适应矩估计优化器，初始学习率从 1 的负 4 次方退火到 1 的负 6 次方，单卡训练。论文明确说明编码器冻结、损失等权，但没有给出学习率退火曲线、梯度裁剪或早停细节，这些属于未报告项，复现时需要自行记录。监督来源也要分清：第一阶段的二值化目标来自自身解码路径，属于自举；第二阶段的词边界来自音频对齐工具，属于外部监督，因此第二阶段的精度上限会受音频质量影响。

在什么数据与指标下比较，条件是否一致？

实验在两个公开视听语音数据集上进行。第二个数据集以新闻与脱口秀片段为主，第三个数据集以演讲类长视频为主，口音与场景更多样。论文沿用基线相同的实验设置，用平均绝对误差与帧准确率评价。平均绝对误差是预测词边界与真值边界的时间差，单位毫秒，越小越好；帧准确率是预测正确的帧数除以视频总帧数，越大越好。真值词对齐标签按基线做法由音频强制对齐工具生成，这意味着所谓真值本身也是工具输出，而非人工逐帧标注。

基线包括视觉关键词定位的两套方法、基于连接时序分类的对齐方法，以及两套真正面向全文的视觉强制对齐方法。论文说明主结果表中各基线数字取自各自原文公开报告，而非统一重跑。因此跨方法比较时要留心训练数据划分与预处理可能不完全一致，不能当作同一代码库下的严格控制变量。论文自身分两个阶段报告：第一阶段无边界监督，第二阶段加入词级监督，便于读者区分结构学习的贡献与外部监督的贡献。

训练预算方面，第一阶段 400,000 步加第二阶段 100,000 步，批量 32，单张图形处理器完成。论文没有报告总 wall-clock 时间、推理延迟与输出帧率，因此不能从训练步数推定实际部署成本，复现时应补测单视频解码耗时与显存占用。

主结果测了什么，谁在什么条件下更准？

主结果要回答的问题是：在给定静音视频与转录时，谁的词边界更接近音频工具给出的参考，谁的逐帧词标签更准。公平条件是同一数据集与同一指标方向，平均绝对误差越低越好，帧准确率越高越好。表中同时保留只需要视觉的本方法与依赖音频监督训练的基线，以及本方法无监督的第一阶段与有监督的第二阶段，便于分离监督来源的影响。

上表显示第二阶段在 2 个数据集上同时取得最低误差与最高帧准确率。论文报告相比此前最优，在第三个数据集上降低 13.6 ms，在第二个数据集上降低 17.3 ms。支持的判断是显式建模全局单调遍历并做最优解码，比逐帧分类更能保证时间一致，从而在边界误差上带来改善。限制是该比较依赖原文报告数字而非统一重跑，且参考真值本身来自音频对齐工具，当音频干净时该工具有优势，当音频退化时参考本身也可能偏移。

值得指出的未胜出边界是：第一阶段虽然不用边界监督，但在第三个数据集上的帧准确率并未超过最强基线，说明无监督结构学习能把误差做小，但在逐帧标签一致性上仍需词级精修。这也提示若部署场景完全拿不到音频监督，第一阶段是可用起点，但不应期待它在所有指标上都压过有监督的最强对手。

拿掉全局结构或换成贪心会发生什么？

消融要回答两个操作问题：损失中谁更关键，解码中全局最优是否必要。比较条件固定在第二个数据集上，只换训练目标或只换解码策略，指标方向不变。表中保留可实际运行的贪心单调解码与帧级最大值解码，以及只用单项损失的训练配置，避免用事后最优或不可部署的捷径代替。

表后解释需要同时讲收益与代价。解码侧最优路径取得最好结果，其次是帧级最大值，贪心最低，说明局部向前虽然满足单调，但不优化全局目标，容易在模糊唇形处走偏。损失侧只用二值化会导致训练不稳定，因为没有全局结构时急于变尖是无的放矢；只用前向求和已明显更好，说明先学完整路径分布更重要；两者联合进一步提升，而词级监督单独使用虽强，但只有建在单调先验上时才达到整体最优。

论文还报告了鲁棒性对照：当音频加噪使外部监督退化时，只靠外部监督训练的退化更严重，而保留前向求和与二值化的版本退化较缓，这支持了边界无关结构学习的实用价值，但不等于证明在所有噪声下都可靠，因为测试只覆盖有限信噪比。

哪些结论有边界，哪些验证还没有做？

首先区分 3 类表述。论文直接报告的是在 2 个数据集上的误差与准确率数字，以及消融中不同损失与解码的排序，这些属于已测量的事实。有限解释是把增益归因于全局单调遍历结构，这有消融支持，但仍是解释而非因果证明，因为编码器、适配层与温度等其他因素也可能共同作用。未验证推测是把方法推广到更嘈杂的真实存档视频或隐私场景，论文只在受控数据集与合成加噪下测试，没有测量误判率随说话人、语速、遮挡的变化，也没有报告延迟与成本，因此不能承诺更快更省。

数据层面，真值来自音频对齐工具而非人工标注，当音频本身不可靠时，真值与评价都会偏移。指标层面，平均绝对误差只看边界时刻差，帧准确率只看逐帧标签对错，两者都不能反映边界抖动的主观观感，也不能替代人评。方法层面，第二阶段依赖词级外部监督，若音素表或分词不一致，仍需在词级归并，不能直接得到更细的音素真值监督。资源状态方面，本次可核对的来源中没有完成超链接可达验证的开源仓库，因此不得声称代码、模型或数据当前已公开可用，复现前必须先确认可达性。

要复现先做什么，需要保留哪些关键设置？

复现的第一步是准备输入与参考。按论文做法准备静音说话人脸视频与对应转录，把转录转成音素序列，注意分词器与音素表要与编码器配套。用音频强制对齐工具生成词级参考边界时，要记录工具版本、声学模型与采样率，因为后续所有误差都是相对该参考计算的。若音频本身有噪，应同时保存干净参考与加噪参考，避免把工具退化误读为视觉方法退化。

第二步是固定模型与训练条件。唇动与音素编码器保持冻结，只训练轻量 1 维卷积适配层与相容格温度相关的计算。保留的关键超参数包括温度 0.0005、批量 32、第一阶段 400,000 步、第二阶段 100,000 步、初始学习率从 1 的负 4 次方退火到 1 的负 6 次方、损失等权。解码必须用全局动态规划实现最优单调遍历，而不是贪心或逐帧最大值，否则结果不可比。

第 3 步是补齐论文未报告的验证。至少要记录单卡型号之外的实际耗时、显存峰值、单视频解码延迟，以及不同随机种子下的波动。若要声称在噪声下更稳，需要按信噪比逐档报告误差与准确率，并同时报告只用外部监督的对照，而不是只给末点数字。最后在写作中明确区分代码开源、权重下载与系统可运行三件事，没有验证可达之前，只能写本次未能确认可达，不能写已公开可用。

何时值得尝试这种结构，还需补哪项验证？

当任务同时满足 3 个条件时，这种结构值得优先尝试：一是输入是静音或音频不可靠的说话人视频，二是必须输出连续有序的词或音素边界，三是没有或只有少量可靠边界标注。此时先用前向求和学出全局走向，再用二值化把路径变尖，可以在不依赖边界的情况下得到可用起点；若还有音频派生的词边界，再做词级精修把误差进一步压低。反之，如果音频干净且已有成熟音频对齐可用，直接用音频方法通常更简单，不必为了视觉而视觉。

还需要补的验证包括跨数据集的说话人泛化、在遮挡与大姿态下路径是否仍保持单调，以及温度与其他 sharpness 控制的敏感性分析。教学上最容易产生的误解是把软后验热力图上的亮带直接当作边界，实际上亮带只是分布，最终止时间必须经过离散解码与按帧累加才能得到。另一个误解是把误差降低的毫秒数当作绝对精度，实际上它是相对工具参考的差值，参考本身也有误差。抓住路径全局最优这一条主线，再去读损失与解码的每个选择，就能复述出方法的完整逻辑。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总