不用音素词典做词对齐：把多语表示和可学习的动态规划拼在一起

英文题目：Multilingual Word-Level Forced Alignment with Self-Supervised Representations and Learned Dynamic Programming

会议身份：conference:interspeech:2026:conference-paper-id:weber26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#模型融合 #自监督学习 #跨语言 #多语言 #强制对齐

评分：6.9/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Roy Weber：机构信息未能从会议 PDF 纯文本可靠映射
• Meidan Zehavi：机构信息未能从会议 PDF 纯文本可靠映射
• Rotem Rousso：机构信息未能从会议 PDF 纯文本可靠映射
• Joseph Keshet：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

词级强制对齐（forced alignment）的输入为语音波形与已知词序列，输出为每个词的结束帧序号，难点在于会话语音边界模糊、跨语言无发音词典与grapheme-to-phoneme（G2P）依赖过重。所提多语言词对齐器Multilingual Word Aligner（MWA）先由无监督切分UnSupSeg与大规模多语言语音模型Massively Multilingual Speech（MMS）分别输出帧级声学跃变线索与词级连接主义时序分类（Connectionist Temporal Classification，CTC）置信，再经对齐编码器融合为统一边界概率，最后由可学习动态规划结合片段特征搜索满足最小词长的最优边界序列。对齐编码器以Conformer为骨干在长时上下文上学习融合两种表征，动态规划解码器以边界似然与词内字符发射和等特征打分并经分阶段微调优化。相比隐马尔可夫混合高斯与纯CTC对齐，该方法免音素词典并显式建模边界前后表征跳变与词内概率质量。在 Buckeye 测试集容差 25 ms 下准确率为 73.2%，高于 Montreal Forced Aligner（MFA）的 69.9% 和 MMS 的 52.7%。结论限于词级结束边界且仅在英语训练，未验证 1100 余种语言的大规模外推与音素级精度。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/MLSpeech/Multilingual-Word-Aligner — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，为什么值得做词对齐？

这篇论文的输入是两样东西，一段语音波形和这段语音对应的词序列，输出是每个词在时间轴上的边界位置。原文把波形先变成每 10 毫秒 1 帧的序列，记为语音帧序列，把词序列记为词表中的若干个词，目标是为第 1 到第 K 个词各定一个结束帧编号。举一个教学例子，假设一句话有 5 个词，系统就要输出 5 个帧编号，且编号必须随词序递增，这就是强制对齐中强制的含义，词的内容和顺序是给定的，不允许增删或改写。

为什么不是把声音丢给识别模型就结束，是因为识别只关心转写对不对，不关心每个词精确到几十毫秒的落点，而语言学分析、语音合成时长建模、音频索引和切分都需要落点。传统做法是蒙特利尔强制对齐器这类基于隐马尔可夫与高斯混合的管线，往往还要依赖发音词典和字音转换，一旦换语言就要准备新的词典和声学模型，扩展成本很高。论文想走另一条路，直接利用大规模多语自监督表示和无监督边界信号，不依赖音素标注和字音转换，从而有可能扩展到上 1000 种语言。

词级强制对齐 × 音素边界检测： 词级强制对齐负责给出每个词在音频时间轴上的起止位置，音素边界检测负责标出声音发生快速变化的细粒度时刻；前者需要后者的局部跳变作为候选证据，后者本身不知道词是谁，两者搭配的理由是词边界往往落在声学突变处，组合意义是用自监督的音素突变信号为词边界提供与语言无关的底座。

开场需要保留的关键信息是，本文只研究词级边界，不研究音素级对齐的细节打分，评估用的是边界误差落在不同容差内的比例，容差越小要求越严。后续解读将按学习依赖展开，先讲已有路线，再讲方法全景，然后拆开表示、编码器和解码器的计算，再讲训练与推理的实际步骤，最后讲实验条件、结果与复现要点。代码与预训练检查点指向公开仓库，本次收到的资源状态显示代码链接当前可用，读者可以按复现节的动作去核对。

已有路线各管什么，本文站在哪条线上？

与本文同输入同目标的第一条线是传统强制对齐，以蒙特利尔强制对齐器为代表。它在给定文本下用发音词典把词展开成音素，再用声学模型做维特比对齐，优点是时间精度在资源充足的语言上长期稳定，缺点是新语言需要词典、声学训练数据和调参。论文在英语上把它当作最直接的竞争者，在德语和荷兰语上也保留了它的数字，以便观察新方法是否真的能替代这条老路。

第二条线是近年基于大模型的方法，包括基于大规模多语语音模型的 CTC 对齐，以及把 Whisper 类识别与切分结合的 WhisperX，还有英伟达的 Canary 系列。它们的输入同样是语音加文本或先识别再对齐，目标也是词时间戳，但实现阶段不同，有的用字符发射概率做对齐，有的用分段识别加细化。论文把其中基于 MMS 的 CTC 对齐既当作基线，也当作自己的一路输入表示，这种安排让比较更严格，因为新方法必须证明融合与解码带来了超出单用 MMS 的增益，而不是只赢在用了更大的预训练模型。

第 3 条线是自监督语音表示与无监督切分，例如 wav2vec2.0、HuBERT、Whisper 在识别上的成功，以及用于无监督音素切分的对比学习方法。本文引用的无监督切分负责从原始波形中发现音素边界，它与识别模型的目标不同，不输出词或音素标签，只输出哪里发生了变化。理解这 3 条线的分工很重要，后文的编码器融合正是让第二条线的语义对应能力和第 3 条线的边缘敏感能力互补，而不是简单堆叠更大的网络。

问题如何形式化，什么算对，什么不算？

原文把问题写成给定帧序列和词序列，求每个词的结束帧。记波形变成 L 帧，每帧是一个特征向量，词序列长度为 K，对齐序列就是 K 个帧编号。评价时把预测边界与人工标注边界的时间差与容差比较，落在 10 毫秒、25 毫秒、50 毫秒、100 毫秒内的比例越高越好。这是一个带顺序约束的结构化预测问题，不能把每 1 帧独立判断为是或不是边界，因为输出的边界数必须等于词数，且必须保持先后顺序，还要满足最小词长。

教学例子可以帮助区分两个阶段的对错，编码器阶段的对是指逐帧概率在真边界附近高、在其他地方低，用准确率、精确率、召回率和 F1 衡量，但这时边界数量可能与词数不一致。解码器阶段的对是指经过全局搜索后输出的 K 个边界在容差内的命中率，用对齐准确率衡量。两者方向一致但对象不同，前者是分类好坏，后者是结构化路径好坏。原文明确区分了这两套指标，避免把编码器的分类分数直接当成最终对齐精度。

还需要明确什么不算，本文不做开放词表的识别，不允许输出与给定词序列不同的词，也不评估音素内部的细化质量。所有比较都固定文本为真值转写，因此识别错误带来的影响不在本文的测量范围内，这也是与 WhisperX 这类先识别后对齐系统比较时需要注意的条件差异。

方法全景：一个样本如何从波形走到词边界？

沿一个样本走完全程有助于建立整体感。输入是一段英语朗读语音和它的词序列，先并行走两条表示分支，第一条是无监督音素分割模型，只看语音，输出每 10 毫秒 1 帧的向量，分析窗为 30 毫秒，捕捉细粒度声学转折。第二条是基于 MMS 的表示，先用 MMS 得到字符发射矩阵，再结合给定词序列做 CTC 对齐，输出每个词在对应起始帧上的词似然，其他帧为零，原始每 20 毫秒 1 帧再插值到 10 毫秒以保持分辨率。

两路表示经过归一化和拼接，进入对齐编码器，输出每 1 帧是词边界的概率序列。然后对齐解码器接管，它同时看到编码器概率、两路原始表示和词序列，用 4 个特征函数给任意候选边界序列打分，再用带最小词长约束的动态规划找出总分最高的合法序列，作为最终的词结束时间。整个流程可以概括为表示提供证据、编码器融合去噪、解码器保证合法与全局最优。

MMS × UnSupSeg： MMS 分工是提供带词序列约束的弱对齐置信，它知道词的字符组成与大致位置但时间分辨率粗，UnSupSeg 分工是只从原始语音中捕捉音素级声学转折，它不知道词但时间敏感；搭配理由是一个管语义对应、一个管声学边缘，组合后编码器可以学会在 MMS 给出大范围候选时用 UnSupSeg 做精修。

这个全景回答了为什么需要 2 级结构，如果只有编码器，逐帧阈值化很难保证边界数等于词数，也容易在静音或长元音处抖动。如果只有解码器而没有好的融合概率，搜索只能依赖粗糙的 CTC 峰或单一距离，精度上不去。论文的安排理由是让可学习的融合解决表示冲突，让可学习的权重解决多特征权衡，两部分分开训练以绕开动态规划不可微的问题。

两路表示各自算什么，如何对齐到同一时间轴？

第一路表示记为第一个预训练模型的输出，它不对词序列做任何依赖，输入只有语音帧序列。每个输出向量对应 10 毫秒的 1 帧，但计算时用了 30 毫秒的分析窗，这意味着相邻帧有重叠，适合捕捉过渡段的渐变。它的作用是提供与语言无关的边缘线索，理想情况下真词边界两侧的表示距离较大，解码器的第一个特征正是利用这一点，用边界前后帧的欧氏距离给候选边界加分。

第二路表示记为第二个模型的输出，它必须同时看到语音和词序列。做法是在 CTC 对齐给出的每个词起始帧上放该词的似然值，其余帧置零，维度为 1。这种表示非常稀疏，大部分时间为零，只有少数峰有值，优点是可解释性强，直接反映了 MMS 认为词从哪里开始，缺点是峰可能偏离真边界且分辨率原本只有 20 毫秒。原文用简单插值上采样到 10 毫秒，没有引入更复杂的置信度变换，并明确说明这是有意选择的简单可解释方案。

对齐编码器 × 对齐解码器： 对齐编码器分工是把两路表示归一化拼接后输出每 1 帧是词边界的概率，着眼长时上下文的融合与去噪，对齐解码器分工是把这些逐帧概率加上段级特征做全局寻优，强制输出词数一致且满足最小词长；搭配理由是编码器只做局部判断会产生数量不对或抖动，解码器用动态规划把局部概率变成合法的完整路径。

两路在时间轴上的统一是关键实现细节，统一后都是 L 帧，才能拼接成编码器的输入矩阵。归一化保证了量级差异不会让一路淹没另一路，拼接保留了原始信息供解码器再次使用。换句话说，编码器看到的是融合后的版本，解码器既看到融合后的概率，也能回看未融合的原始表示，这种双重使用让解码器的特征可以分别基于原始声学距离和融合概率设计。

编码器如何把拼接表示变成边界概率？

编码器的输入是归一化拼接后的矩阵，输出是长度为 L、取值在 0 到 1 之间的边界概率。论文比较了 3 种骨干，深度卷积网络、Transformer 编码器和 Conformer，最后的输出层统一用柔性最大化层实现逐帧二分类。需要强调的是，编码器在训练时是独立于解码器优化的，它只管每 1 帧是不是边界，不管最终要输出几个边界，因此它的选型标准先用验证集上的 F1，而不是直接用对齐准确率。

3 种骨干的搜索范围在原文中有明确交代，卷积网络尝试了不同深度与 23 到 41 帧的上下文窗，Transformer 尝试了不同层数与 50 到 200 帧的上下文，Conformer 尝试了不同块数、注意力头数与 250 到 350 帧的上下文。最终选定的配置是 19 层、31 帧上下文的卷积网络，8 层、100 帧上下文的 Transformer，以及 16 个块、每块 12 头、卷积核为 7、300 帧上下文的 Conformer。这些数字是复现时必须保留的超参数，不能随意替换为默认配置。

从机制上看，卷积擅长局部特征提取，适合边界这种局部突变，注意力擅长全局上下文，适合利用长时韵律和静音分布。验证结果显示带卷积的两种结构整体优于纯 Transformer，说明局部边缘提取对边界任务更关键。编码器的输出随后会被解码器以两种方式使用，一是直接取候选边界处的概率作为转移分，二是对词段内的概率做归一化求和并取负作为段内纯净度特征，后者越低表示段内只有一个强峰，越符合一个词一段的期望。

可学习的动态规划如何把概率变成合法边界？

解码器被形式化为若干特征函数的线性加权和，每个特征从不同角度评价候选对齐序列。第一个特征是基于无监督表示的边界前后距离，候选边界放得准则距离大。第二个特征是编码器在候选边界处的概率值，概率高则加分。第 3 个特征是词段内编码器概率的归一化求和取负，段内杂峰多则惩罚大。第 4 个特征是基于 MMS 发射矩阵的词字符似然累加，在候选起止区间内把属于该词字母的发射概率求和，越吻合则分越高。4 个特征的权重是可学习的参数，通过迭代优化过程学得。

推理时解码器求解带最小词长约束的最大化问题，即相邻边界间隔必须大于最小词长，目标是加权总分最高。这个搜索用动态规划实现，保证了输出边界数等于词数且顺序合法。原文明确区分了目标定义与求解手段，目标是线性打分，手段是约束动态规划，权重学习是外层的迭代过程，不是反向传播穿过动态规划。

CTC 对齐 × 动态规划： CTC 对齐分工是把 MMS 的字符发射概率与给定词序列对应起来，给出每个词大概从哪 1 帧开始，动态规划分工是在所有满足顺序和间隔约束的边界组合中找总分最高的一组；搭配理由是 CTC 输出是分散的置信点而非合法序列，动态规划把这些点加上编码器概率和段特征统一打分后做约束搜索。

理解这一点可以避免一个常见误解，以为端到端就一定是联合梯度训练。本文恰恰因为动态规划包含不可微操作而选择分开训练，先训编码器，再微调编码器与解码器。解码器的可学习体现在特征权重，而不是网络层数，它的表达能力来自特征设计对声学、概率与文本三方一致性的覆盖。

训练分几步走，监督信号和早停各看什么？

训练的第一步是独立训练编码器，任务是逐帧二分类，标签是人工标注的词边界。由于边界帧远少于非边界帧，原文采用焦点损失而非标准交叉熵，并通过验证集网格搜索选择焦点损失的超参数。编码器选型看的是验证集 F1，这一步不涉及解码器，也不保证输出边界数正确，只保证概率质量。

第二步是因为编码器与解码器不能联合优化而设计的交替微调。做法是再微调编码器 10 个轮次，每个轮次都在验证集上用解码器评估对齐准确率，并按验证性能早停，然后再微调解码器。这个过程在所有骨干上保持一致，评估容差与后续主实验一致。最终因为综合考虑计算效率、稳健性和实时部署适宜性，选定 Conformer 作为最终模型，并对其训练 30 个轮次，以验证集 F1 做早停。

焦点损失 × 类别不平衡： 类别不平衡指边界帧远少于非边界帧，直接用交叉熵会被多数类淹没，焦点损失分工是降低易分负样本的权重、让模型关注难分的少数边界帧；搭配理由是编码器本质是逐帧二分类，组合意义是在不改变数据采样的前提下让训练信号集中在真正的边界附近。

需要如实指出未报告的缺项，原文没有给出优化器类型、学习率、批量大小和硬件预算，也没有说明焦点损失网格的具体取值和最小词长的具体毫秒数。复现时只能保留已报告的部分，即数据划分、上下文窗、块数头数、训练轮次和早停依据，不能从模型名称推定未写明的优化细节。监督来源始终是人工标注的词边界，TIMIT 与 Buckeye 分别训练与验证，没有跨数据集混合训练的描述。

数据、划分与指标如何保证比较公平？

训练与主评估用的是 TIMIT 和 Buckeye 两个英语语料，前者是朗读语音约 5.1 小时，后者是会话语音约 40 小时，均带有人工对齐的音素与词转写。划分方式是按说话人切分的 80 比 10 比 10，分别作为训练、验证和测试，这种按说话人划分避免了同一说话人同时出现在训练和测试中，比按句子随机划分更严格。未见语言评估用的是希伯来广播新闻约 10 分钟、荷兰 IFA 语料约 5 小时 8 位说话人、德语 PHONDAT 共 201 位说话人 21587 句话，均无需再训练，直接用英语训练好的模型测试。

基线选择覆盖了实际可运行的代表性系统，英语上包括蒙特利尔强制对齐器、基于 MMS 的 CTC 对齐、WhisperX 和英伟达 Canary 系列，未见语言上主要与 MMS 和蒙特利尔强制对齐器比较，其中希伯来语没有可用的蒙特利尔对齐器，只与 MMS 比较。指标方向是一致的，在 10、25、50、100 毫秒容差下的命中率越高越好，容差越小越能反映精细定位能力。编码器阶段另用准确率、精确率、召回率和 F1 在 10 毫秒帧分辨率下衡量分类质量。

公平条件的关键是文本都给定为真值，比较的是同文本下的时间精度，而不是识别加对齐的联合误差。模型选择与超参数调优只用验证集，测试集只在最后报告，这种流程减少了用测试集调参带来的乐观偏差。跨语言测试时完全不做微调，因此测到的是零样本迁移能力，而不是各语言分别调优后的上限。

英语主结果：在什么容差下赢，赢多少？

比较的问题是，在给定真值词序列时，新方法能否在不同精度要求下同时超过传统工具和所依赖的 MMS 表示。公平条件是同一测试集、同一容差定义，指标方向是命中率越高越好。下表整理了 TIMIT 与 Buckeye 测试集上各系统的数字，表头单位为百分比，数据格为原文裸值，保留原文精度不做四舍五入。

表后需要解释收益与代价。新方法在 2 个数据集的 4 个容差上一致高于表中所列的 MFA 与 MMS，在 TIMIT 最严的 10 毫秒容差下达到 58.0，明显高于 MFA 的 41.6 和 MMS 的 18.6，在 Buckeye 上也以 49.7 领先于 MFA 的 39.8 和 MMS 的 25.0。这支持了融合与解码带来了超出单用 MMS 的增益这一判断。代价与限制是，原文同时列出的 WhisperX 与 Canary 数字未在本表中展开，完整比较需回到原文表 3，且会话语音的绝对分数低于朗读语音，说明自发语音的边界本身更难定，不能把朗读上的高分直接推广为所有场景。

跨语言还能用吗，哪种训练数据迁移更好？

要回答的问题是，只在英语上训练的模型能否直接用于未见语言，以及用干净朗读训练好还是用会话训练好。公平条件是不做任何目标语言微调，指标仍是不同容差下的命中率，方向越高越好。下表整理希伯来语、荷兰 IFA 与德语 PHONDAT 上的数字，表头单位为百分比，数据格保留原文写法，荷兰与部分数值为整数形式不补小数。

表后解释需要同时讲收益与反例。在严格容差下新方法优势明显，例如希伯来语 10 毫秒下 39.7 对比 14.3，德语各容差普遍领先 MMS 且与 MFA 相当或在部分容差超过 MFA。反例是希伯来语在宽松容差下 MMS 反而更高，100 毫秒下 94.7 对比 81.4，荷兰语整体偏低且 100 毫秒下与 MMS 基本持平。原文报告用 TIMIT 训练的版本在所有测试语言上一致好于用 Buckeye 训练的版本，支持干净朗读监督更易迁移的解释，但这仍是有限解释而非因果证明。未胜出项必须保留，荷兰语上 MFA 在原文表 4 中仍有竞争力，不能略去不利基线只讲平均趋势。

哪些边界条件没测，哪些结论不能夸大？

首先是方法层面的限制，编码器与解码器因动态规划不可微而分开训练，论文用交替微调缓解但没有实现真正的联合梯度优化，梯度路径在解码器内部是截断的。特征权重通过迭代过程学习，原文没有展开该优化器的细节，因此不能从名称推定其收敛性质。其次是表示层面的简化，MMS 分支只用了最简单的词似然峰加插值，没有利用更丰富的置信度变换，UnSupSeg 的分析窗固定为 30 毫秒，这些选择的可替代性没有消融，不能说拿掉后必然怎样。

其次是评估层面的边界，未见语言只测了希伯来语、德语、荷兰语 3 个点，虽然论文提到 MMS 支持 1100 多种语言，但这只是潜力的表述，不是已验证的结论。荷兰语整体偏低提示迁移并非均匀成立，希伯来语宽松容差下的反转提示严格与宽松容差可能对应不同的误差来源，前者考验定位精度，后者考验大偏移与漏切。原文也没有报告误判率、延迟、推理开销和训练算力，总体趋势不等于每组每步都成立，更不能承诺实时性或成本得到改善。

最后是条件层面的提醒，所有主结果都固定文本为真值，没有测量识别错误级联下的表现，也没有报告统计显著性与聚合方式是按词平均还是按句平均。遇到表头与正文冲突时应以冲突标注处理，本文的百分比方向是一致的，但不同指标的差值不能混放，百分点与相对百分比含义不同，叙述时应保留原文的百分比写法而不自行换算成相对提升。

要复现，先做什么，需要哪些信息条件？

复现的第一步是准备数据与划分。英语用 TIMIT 与 Buckeye，按说话人 80 比 10 比 10 切分，未见语言用希伯来广播新闻、荷兰 IFA 与德语 PHONDAT 只做测试。需要保留帧率为 10 毫秒、MMS 原始 20 毫秒插值到 10 毫秒、UnSupSeg 分析窗 30 毫秒这些时间条件，否则边界容差的计算口径会对不上。第二步是准备表示，先跑无监督切分得到每帧向量，再跑 MMS 得到发射矩阵并结合词序列做 CTC 对齐生成稀疏词似然，两路归一化拼接后送入编码器。

第三步是编码器训练与选型。按原文保留 3 种骨干的搜索范围与最终配置，特别是 Conformer 的 16 块、每块 12 头、卷积核 7、300 帧上下文，以及卷积网络 19 层 31 帧上下文、Transformer8 层 100 帧上下文。用焦点损失处理类别不平衡，超参数经验证集网格搜索确定，选型看验证集 F1，训练 30 轮并早停。第四步是解码器，先实现 4 个特征与最小词长约束的动态规划，再学习特征权重，复现交替微调时每个轮次都在验证集上评估解码器并早停。

代码层面，资源状态显示仓库链接当前可用，可以下载代码与预训练检查点，但要区分代码开源、权重下载和系统可运行是三件不同的事。即使权重可下载，仍需核对 MMS 版本、采样率、前处理与动态规划的最小词长实现，否则数字会对不上。未报告的优化器、学习率、批量与硬件预算属于具体缺项，复现时应先用常规设置跑通流程，再通过验证集 F1 与容差命中率判断是否接近原文，而不要默认超参数不影响结果。

何时值得尝试这个方法，如何一句话记住它？

当任务是给定文本求词时间戳，且目标语言缺乏发音词典或调参资源时，这个方法值得尝试。它的可操作记忆是，用 MMS 管词对上了没有，用无监督边界管边界 sharp 不 sharp，用编码器把两者磨到同一时间轴，用带约束的动态规划保证输出合法。如果只有粗对齐而无精修，严格容差会掉很多，如果只有逐帧概率而无全局搜索，边界数量和顺序会出错。

重提结果时应增加适用条件，英语朗读与会话上新方法在 4 个容差全面领先 MFA 与 MMS，跨语言上在 50 毫秒及以上容差优势更稳，但在荷兰语整体与希伯来语宽松容差下存在反例。用 TIMIT 训练的版本迁移更好，提示干净数据可能更适合学边界，但这仍是待验证的解释。最终的实践建议是，先在英语验证集上复现编码器 F1 与解码器容差曲线，再零样本测目标语言的严格与宽松容差，最后才决定是否要为目标语言补少量标注或调整最小词长，而不要直接把 1100 种语言的潜力当成已得的保证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总