只在关键帧上加监督：用不同掩码拆开词起点与词终点的对齐误差

英文题目：Exploring Masked CE Losses to Enhance Word Offset Estimation in CTC-based Lyrics-to-Audio Alignment

会议身份：conference:icmc:2026:conference-paper-id:paper-121

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#CTC #音乐 #语音 #强制对齐

评分：5.5/10 | 创新 1.0/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Tian Cheng：机构信息未能从会议 PDF 纯文本可靠映射
• Tomoyasu Nakano：机构信息未能从会议 PDF 纯文本可靠映射
• Masataka Goto：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

歌词到音频对齐输入为混合音乐音频与已知词序列，输出为每个词起始与结束时间戳，难点在于歌唱发音可变、伴奏干扰强且联结时序分类损失对精确边界不敏感。该方法先用混合Transformer音乐源分离提取人声并计算对数梅尔频谱，再按发音词典将词转为39个音素加空白符与静音标记共41类并由词级标注推导关键帧标签。接着卷积循环神经网络预测逐帧音素概率，最后以掩蔽交叉熵约束掩蔽帧并结合联结时序分类损失训练，再用CTC分割强制对齐得到词级边界。与仅在非词首帧屏蔽空白符的mask p不同，新掩码对比全标注帧、仅词首帧、词首加全部静音帧、词首加静音起始帧，显式加强边界与静音监督以改善偏移估计。在Jamendo测试集下，Proposed方法的MAE指标为0.213，低于Mask p基线的MAE 0.220。该改进使偏移估计同步提升并在同为DALI训练的方法中保持可比起始精度，为无既有偏移基线的研究提供新基准。该结论适用边界受限于英文流行歌曲词级评测，尚未验证音素级对齐、多语言泛化与统计显著性。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

预印本/扩展版链接未在会议页展示；会议版来源见页首官方记录与 PDF。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出必须保留什么？

歌词到音频对齐的输入有两个：一段音乐音频，它是歌声与伴奏的混合，以及对应的歌词词序列。输出是带时间的歌词，也就是每个语言单位的开始时间与结束时间。论文把输出分成行、词、音素 3 个粒度，初学者可以这样理解：行是卡拉 OK 中一行字幕的显示区间，词是每个单词被唱出的区间，音素是更细的发音单元区间。所谓起点，就是区间左边界，所谓终点，就是区间右边界。对齐系统必须同时给出这两个边界，丢掉任何一个都不能完整驱动高亮或检索。

论文要解决的矛盾是弱标注与精确时刻之间的落差。大规模数据往往只给到行级或词级标注，没有逐帧的音素标注，模型训练时只知道顺序，不知道每帧该是什么。连接主义时间分类，英文为 Connectionist Temporal Classification，缩写为 CTC，允许在这种弱标注下训练，但它对序列中每个元素的精确时刻不敏感。先前工作发现词起点有所改善，但词常常在下一词开始前才结束，中间的静音段被漏检。也就是说，起点误差与终点误差不是同一个问题，需要分开处理。

为帮助建立直觉，先看任务的层次结构。下图把波形与 3 层输出放在同一时间轴上，红色框是行，绿色框是词，紫色是音素，词包含音素，行包含词，词之间留有空白。

看图路径： 1. 先从顶部蓝色波形确认输入是连续音乐音频；2. 再自上而下对照红色行级、绿色词级、紫色音素级三层输出；3. 观察词块与音素块的包含关系以及词间空白块；4. 把起点与终点理解为每层方块的左右边界

论文图 1。原论文 Figure 1：“An illustration of the lyrics-to-audio alignment task with the input audio in waveform and the output time-synchronized lyrics in three levels: line, word, and phoneme levels.”。

上图显示输入是连续波形，输出是嵌套的时间区间。行级区间最长，词级区间将其切分，音素级区间进一步切分词内部。词间空白对应静音或间隔，终点估计的好坏很大程度上取决于这些空白能否被正确切出来。起点对应新词块的左边缘，终点对应词块的右边缘与空白的交界，这是后文掩码设计只盯住起点帧和全部静音帧的直观依据。

同样做对齐，已有路线各管什么？

在相同输入与相同目标下，已有工作可按监督与建模方式区分。第一类是传统语音识别思路，用预测的逐帧音素标签作为真值训练，依赖较强的帧级假设。第二类是端到端思路，例如基于 Wave-U-Net 并用 CTC 训练，直接从行级弱标注学习，不需要显式对齐。第三类是跨模态对比学习，把音频与文本映射到共享空间再对齐。第四类把对齐重写为词起点估计，用交叉熵，英文为 Cross-Entropy，缩写为 CE，直接预测起点。

在 CTC 这条线上，近期工作意识到时间精度不足，分别补了频谱重构损失以增强时间连贯，或联合音高估计以引入音乐线索。另一些工作先做人声分离再对齐，或联合和弦、旋律、分离与合成任务，利用歌词与音乐元素的时间相关。论文属于 CTC 加掩码 CE 这条分支，它的前作已提出在关键帧上加掩码 CE，本文的增量是提出 4 种新掩码并比较它们对起点与终点的不同作用。 需要明确的是，不同方法的训练数据与评估口径并不一致。

有的用 DALI 数据集，有的用数万首的内部数据，有的只报起点，有的用只看起点的分段正确率。因此不能把类别差异直接读成同条件胜负，后文比较表会把训练数据列出，并区分起点与终点两套指标。

为什么终点比起点更难？

论文用一个例子点出终点问题：按前作掩码得到的词区间里，一个词常常拖到下一个词开始前才结束，词间静音没有被检测出来。图 2 的上排是这种拖尾，下排是本文希望得到的更紧的区间，上方绿色框为真值。从信号角度看，起点处往往有辅音爆发或能量上升，特征较明显，而终点处可能是元音渐弱后进入伴奏或混响，边界模糊。从建模角度看，CTC 允许用空白符停留或用音素拉长来解释同一音素序列，模型倾向于把词拉长，因为这不违反顺序约束。

教学上可以举一个不带数值的例子：歌词为 I feel like 时，I 是单音素词，feel 与 like 是多音素词。若只约束每个词的第一帧，模型知道哪里开始唱，但不知道哪里该停，静音帧若不受约束，就可能被判成前一词尾音的延续。于是问题被拆成两个可操作的子问题：哪些帧对起点最关键，哪些帧对终点最关键。论文的假设是起点帧决定起点，全部静音帧决定终点，后文用掩码对照来验证。 这里的难点还来自歌声本身与伴奏干扰。

歌唱比说话更富表现力，时长、音高、力度变化大，发音可变性强，伴奏又与歌声高度相关，有效信噪比低。论文在预处理中先做人声分离，再转单声道、降采样并计算对数梅尔频谱，这是为了让后续网络看到更干净的声学输入，但分离本身不是本文的创新点。

系统从波形到词边界经历哪几步？

沿一个样本走完全程有助于建立学习依赖。第一步是音频与歌词预处理。音频经 HT Demucs 分离出歌声，转单声道降采样后算对数幅度梅尔频谱并归一到 0 到 1 之间。歌词经 CMU 发音词典转成音素序列，39 个音素之外再加 0 号空白符与 40 号静音或空格，共 41 个标记。文本 I feel like 会被转成 AY 等音素再转成 6、40、14 等编号，40 起分隔与静音作用。

第二步是模型预测逐帧音素概率。梅尔频谱进入频谱编码器，再进入 CTC 解码器，输出每帧 41 维概率。第三步是后处理与强制对齐。先按能量切掉首尾静音并各外扩 1 秒，再用 CTC 分割把帧概率与已知音素序列对应起来，先得音素边界，再合并成词与行，本文评估词级起点与终点。 下图是模型主干，箭头自下而上为主路径，顶部并列两种损失。

看图路径： 1. 沿底部绿色梅尔频谱向上追踪到顶部预测的主路径；2. 确认频谱编码器内卷积块在下、循环块在上的堆叠；3. 确认 CTC 解码器内循环块在下、线性层在上的堆叠；4. 对照右侧黑色 CTC 损失与红色掩码交叉熵损失的并列监督位置

论文图 5。原论文 Figure 5：“Model architecture. The baseline model is trained with the CTC loss. We propose and compare different masked CE losses to improve alignment performance.”。

上图可见底部是梅尔频谱，中间是频谱编码器，内含卷积块与循环块，之上是 CTC 解码器，内含循环块与线性层，顶部是预测层。黑色 CTC 损失保证整句顺序可学，红色掩码 CE 损失只在被掩码选中的关键帧上施加强监督。基线只用 CTC 训练，本文比较不同掩码的掩码 CE 与 CTC 相加的效果，权重固定为 1。

频谱编码器 × CTC 解码器： 频谱编码器负责把梅尔频谱先经卷积再经双向长短期记忆网络变成帧级声学表示，CTC 解码器负责把该表示再经循环块和线性层加 softmax 变成每帧 41 个标记的概率，二者分工是前者提取时频与上下文，后者输出可被 CTC 和掩码损失共同监督的音素后验，串联起来完成从频谱到逐帧音素概率的主路径。

关键帧标签与掩码如何构造？

掩码 CE 的计算分两步。第一步是从词级标注推导关键帧的逐帧音素标签。规则有 3 条：含两个及以上音素的词，把首音素给起点帧、尾音素给终点帧；单音素词则把词持续时间内的所有帧都标成该音素；落在任何词段之外的帧标成 40 号静音。下图用 I feel like 展示了词表、帧段与逐帧标签的对应，绿色为词内帧，白色为静音帧，底部数字串中 40 密集出现于词间。

看图路径： 1. 先看上表三词对应的音素串、编号串与起终点秒数；2. 再看中部绿色词段与白色词间静音段的帧分布；3. 最后看底部每帧标签中 40 表示静音、6 等表示音素的对应；4. 重点比较单音素词 I 与多音素词 feel 和 like 的标注规则差异

论文图 6。原论文 Figure 6：“Word-level annotations and the derived phoneme-level labels at word onsets, word offsets, and silent frames.”。

上图说明标签来源完全是词级起终点时间的换算，没有人工逐帧标注。I 的 6 帧全标 6，feel 的首帧标 14、尾帧标 21，like 的首帧标 21、尾帧标 20，其余标 40。这种推导只在起点、终点与静音处可信，词中间帧的真实音素边界未知，因此不能全帧监督，这就是需要掩码的原因。 第二步是构造二进制掩码，只在选中的关键帧上计算 CE。前作掩码 p 在所有有标签帧上为 1，但在非起点帧上对 0 号空白符置零，理由是 CTC 允许非起点帧用音素或空白符表示，起点帧则恒为音素。

本文提出 4 种新掩码并把空白符纳入所有被掩帧：一是 mask all，在所有有标签帧上为 1；二是 mask onset，只在词起点帧上为 1；三是 mask onset silence，在词起点帧加全部静音帧上为 1；四是 mask onset slstart，只在词起点帧加静音开始帧上为 1，把连续静音看成一段。掩码 CE 本身是对被掩帧的负对数似然按被掩帧数平均，总损失为 CTC 加权重为 1 的掩码 CE。

CTC 损失 × 掩码交叉熵损失： CTC 损失负责在只有词序而无帧对齐时学会整句音素序列的顺序同步，它允许空白符和重复并对具体边界不敏感；掩码交叉熵损失只在词起点帧、静音帧等有词级标注可推导出的关键帧上要求模型输出指定音素，二者搭配的理由是前者维持可训练的弱监督序列学习，后者补上边界时刻的强约束，组合意义是把全局顺序和局部时刻分开监督。

空白符 × 静音标记： 空白符是 CTC 引入的符号，表示停留在同一状态并在映射中被删除，静音标记是词典之外的第 40 号标记，表示词与词之间的无声或间隔，二者分工是空白符服务于 CTC 的对齐弹性，静音标记服务于可听静音段的显式建模，搭配时新掩码把空白符也纳入监督而旧掩码在非起点帧上对空白符置零，这直接影响终点处静音能否被检出。

训练时更新什么，如何避免随机性误导？

训练对象是卷积循环神经网络，英文为 Convolutional Recurrent Neural Network，缩写为 CRNN。频谱编码器含两层 2 维卷积，滤波器数分别为 16 与 32，核为 3 乘 3 并用线性整流激活，每层后接批归一化、减半特征维的池化与 25% 丢弃，之后是两层双向长短期记忆网络，每层 512 单元。CTC 解码器含相同的循环块加输出维度 41 的线性层，再经 softmax 得到帧概率。本文去掉了前作中用于重构频谱的谱解码器，以聚焦掩码 CE 的作用。 优化按原文交代为 RMSprop，学习率 10 的负 4 次方，最多 20 轮，批量 32。

训练与验证时人声被切成 10 秒段、步长 5 秒，每个段只用完全落入段内的词，测试时用整首不切分。为降低随机初始化与丢弃带来的方差，每个掩码设置用不同随机种子训练 10 次，报告 10 次的分布与平均。论文未报告梯度是否截断、是否冻结分离模型或编码器，也未给出学习率衰减与早停细节，这些是复现时的缺项，只能按原文超参先跑通再补。

推理侧的计算是先做首尾静音切除：把幅度梅尔谱沿频率求和并归一到最大值为 1，阈值 0.05 以上为非静音，取首个与末个非静音帧并各外扩 1 秒即 63 帧，只用该区间做对齐。对齐算法用 PyTorch 实现的 CTC 分割，基于动态规划，用空白符概率表示停留。

强制对齐 × CTC 分割： 强制对齐指已知歌词音素序列时把模型逐帧预测与该序列按时间对应起来以得到词边界，CTC 分割是论文采用的一种基于动态规划的强制对齐实现，它用空白符概率表示停留在同一状态，二者关系是前者是任务步骤，后者是具体算法，训练好的帧概率必须经此步骤才能变成可评估的词起点与终点。

数据、划分与指标如何保证可比？

训练与验证用 DALI 的英文子集，共 3352 首可获得音频的歌曲，按 8 比 2 随机划分，得到 2681 首训练与 671 首验证。评估用公开 Jamendo 集的 20 首英文歌曲，给出行级与词级标注，本文报词级结果并与在同一集上的先进结果比较。训练切分与测试不切分的不对称是原文明确的设计，复现时必须保留，否则边界处的上下文与静音处理会不一致。 评估指标分方向：平均绝对误差，英文为 Mean Absolute Error，缩写为 MAE，越小越好；中位绝对误差，英文为 Median Absolute Error，缩写为 MedAE，越小越好。

正确边界比例，英文为 Percentage of Correct Boundaries，缩写为 PCB，在 0.3 秒与 0.2 秒容限内越大越好。论文同时评估起点与终点，并以歌曲为单位平均。原文明确弃用只看起点的分段正确率，因为它用下一词起点代替词终点，不能评价终点。 下表整理实验条件，列数满足宽表要求，数字来自原文连续句，复现时先对齐这些条件再谈结果。

表后需要说明代价与边界：10 秒切分加 5 秒步长带来重叠与只用段内完整词的过滤，会丢弃跨边界词，验证分布与整首测试分布不完全一致。

10 次重复能显示方差但成本是单次的 10 倍；首尾切除依赖 0.05 能量阈值与 63 帧外扩，若歌曲首尾有长混响或低能量吟唱，阈值可能切多或切少，这部分未做消融。未胜出项在结果节再议，但此处已可见小容限 PCB 对微小抖动更敏感，不能只看 MAE。

不同掩码分别改善起点还是终点？

主结果在 Jamendo 上按起点与终点分别报告，每个掩码 10 次训练的箱线与平均同示，无掩码基线用红色竖线标出。下图是全文证据最集中的部分，需要分上下两半阅读，上半为起点，下半为终点，每半内含 MAE、中位误差与两种容限下的正确比例。

看图路径： 1. 先区分上半部分词起点与下半部分词终点两组子图；2. 每组内对照平均绝对误差越小越好、正确边界比例越大越好的方向；3. 观察每个掩码设置下十次训练的箱线分布与绿色平均三角；4. 用红色竖线为无掩码基线，找出起点最优与终点最优的不同行

论文图 8。原论文 Figure 8：“Word-level lyrics-to-audio alignment results on the test Jamendo dataset.”。

上图显示起点与终点的最优行并不相同。起点侧 mask onset 平均绝对误差最小，中位误差与两种正确比例也居前；终点侧 mask onset silence 平均绝对误差最小，两种正确比例也最高。mask all 在终点次优，mask onset slstart 仅加静音开始帧时终点仍在 0.4 秒左右，说明只约束静音段首帧不够，必须约束全部静音帧。起点侧仅加静音的掩码反而拉低正确比例，说明终点约束不能替代起点约束。

为避免只读图误记数值，下表把基线、前作掩码与本文组合方法的平均值并列，方向为误差越小越好、比例越大越好，训练数据均为 DALI 以保证可比。

表后解释收益与代价：组合方法相对基线把起点误差从 0.248 秒降到 0.213 秒，把终点误差从 0.431 秒降到 0.332 秒，终点正确比例 0.3 秒从 84.4% 升到 88.7%，代价是起点与终点来自 2 次不同掩码训练的模型，不是单一可部署模型直接输出，部署时要跑 2 次推理再拼接。

此外终点中位误差 0.063 秒仍差于基线的 0.060 秒，说明平均误差改善伴随中位数的轻微代价，分布尾部被压缩但中心未同步最优，这是只看平均值会忽略的反例。

词起点 × 词终点： 词起点指一个词发声开始的时间，词终点指该词发声结束的时间，二者分工不同：起点多对应能量上升和新音素出现，终点多对应进入静音或下一词，分开评估的理由是 CTC 易把词尾拖长到下一词起点，组合意义是论文发现改善二者的掩码并不相同，必须分别选最优掩码再合并输出。

去掉全部静音或只留静音首帧会怎样？

把掩码对照读成消融：以 mask onset 为参照，加全部静音得到 mask onset silence，加静音首帧得到 mask onset slstart，全加得到 mask all，不加得到无掩码，前作 mask p 作为另一参照。起点侧的排序支持起点帧是必要条件：只要保留起点帧，起点 MAE 就在 0.213 秒到 0.234 秒之间，而无掩码为 0.248 秒；mask all 虽含起点帧但同时约束过多，其中位误差回到 0.049 秒，说明全帧强约束会干扰起点。 终点侧的排序支持全静音是充分且近乎必要的条件：mask onset silence 为 0.332 秒，mask all 为 0.363 秒，二者都含全静音；只含静音首帧的 mask onset slstart 为 0.403 秒，仅含起点的 mask onset 为 0.405 秒，前作 mask p 为 0.426 秒，无掩码为 0.431 秒。

也就是说，不含全静音的掩码终点几乎停在 0.4 秒以上，加首帧相对加起点几乎无增益。论文据此得出两条可复述的判断：覆盖全部静音帧有利于终点，覆盖词起点帧对起点必不可少。 下表把 4 种关键掩码的平均绝对误差并列，起点与终点分开两列以防把不同指标混读。

表后必须点出未胜出项：mask all 终点次优但起点正确比例掉到 92.9% 与 90.0% 一档，低于基线；mask onset slstart 在起点正确比例上达 94.0% 看似尚可，但终点无改善，说明它不是折中方案。

前作 mask p 起点尚可但终点与基线几乎相同，这正是本文要修的拖尾问题。所有结论来自平均值与 10 次分布的共同趋势，单次种子可能出现离群圆点，不能把某 1 次最优推广为方法必然最优。

哪些边界没有被测，哪些结论不能推广？

第一，未评测音素级对齐。标签推导与掩码都围绕词起点、词终点与静音，词内音素边界仍未知，论文把音素级列为未来工作，因此不能把词级结论推广到音素级。第二，终点最优与起点最优来自不同掩码，论文的提议方法是把二者拼接，图 2 下排即此意，但这不是端到端单一模型的输出，也未报告拼接后同一词起终点冲突时的处理与额外推理成本。第三，统计显著性未报告，只给了 10 次箱线、中位与平均，没有检验与置信区间，0.213 秒与 0.22 秒的差距需结合分布重叠谨慎解读。

第四，外部可比性受限。与先进方法的比较只能做起点，因为未找到已发表的词终点结果，终点只能作为基准供未来研究。起点 MAE 上内部大数据的模型可达 0.15 秒与 0.16 秒，优于本文 0.213 秒，但本文正确比例 0.3 秒与 0.2 秒分别为 95.2% 与 94.4%，在表中高于这些方法，这说明不同指标各有所长，不能单用 MAE 定胜负。第五，硬件预算、训练时长、推理延迟与帧率未报告，资源状态仅有一条第三方 arXiv 链接可用，不能据此认为代码或权重已公开。

相关性不等于因果：全静音掩码与终点改善伴随出现，论文的解释是静音检测变好从而切出词尾，但未直接测量静音帧分类准确率，也未做只监督静音不监督起点的对照，因此只能说结果支持该解释，仍待验证。

要复现先固定什么，再跑什么？

先固定信息条件：用 DALI 英文子集的 3352 首划分出 2681 首训练与 671 首验证，用 Jamendo 的 20 首英文做测试；音频先经 HT Demucs 分离再转单声道降采样，算对数梅尔频谱归一到 0 到 1；歌词按 CMU 词典转 39 音素加 0 号空白与 40 号静音共 41 标记；训练切 10 秒步长 5 秒且只用段内完整词，测试整首并做首尾能量切除加各外扩 63 帧。 再固定模型与优化：卷积循环网络按 16 与 32 滤波、3 乘 3 核、批归一化、池化减半、25% 丢弃、两层双向 512 单元长短期记忆实现，解码器加 41 维线性与 softmax，去掉谱重构分支。

损失为 CTC 加权重 1 的掩码 CE；RMSprop 学习率 10 负 4 次方，批量 32，最多 20 轮，每个掩码 10 种子。评估按歌曲平均报起点与终点的 MAE、中位误差与 0.3 秒、0.2 秒正确比例。 先跑无掩码基线与 mask onset、mask onset silence 3 组，验证起点最优在前者、终点最优在后者的分叉是否出现，再补 mask all 与 mask onset slstart 以确认全静音必要而首帧不足。若终点拖尾仍在，优先检查静音标签是否把词间全部帧标 40，以及掩码是否误把空白符置零。

若起点抖动大，检查起点帧是否严格取词首帧而非段首帧。缺失的早停、衰减与硬件细节需在复现报告中如实注明为原文未给，不自行编造。

何时值得尝试这种掩码，还需补哪项验证？

当你的对齐系统已用 CTC 在弱标注下跑通，但发现词尾拖长、静音漏检，而你手头只有词级起终点时间时，值得尝试这种只监督关键帧的掩码 CE。操作顺序是先加起点掩码把起点压住，再加全静音掩码把终点切出来，最后按需拼接二者输出。若数据中静音极少或伴奏下静音能量偏高，全静音约束可能引入噪声，此时应先可视化静音段再决定权重。 还需补的验证有三项：一是直接报告静音帧的检出率，把终点改善归因到可测量的中间量。

二是报告拼接方案的单模型替代，例如多任务头或自适应权重，看能否 1 次推理同时保住两端；三是补音素级评估与跨语言测试，因为当前证据只在英文词级成立。教学上记住一句话：CTC 管顺序，掩码管时刻，起点靠首帧，终点靠整段静音，二者最优掩码不同，不要指望一个掩码同时解决两个问题。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

另有 15 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 icmc-2026 论文汇总