口音自由变体与句中英语边界：印地-英语混码强制对齐为何必须改词典和改训练数据

英文题目：Evaluation of forced alignment of code-mixed speech: the case of Hindi-English

会议身份：conference:interspeech:2026:conference-paper-id:pandey26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#评测协议 #语音学与音系 #多语言 #语音 #强制对齐

评分：6.6/10 | 创新 1.0/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Ayushi Pandey：机构信息未能从会议 PDF 纯文本可靠映射
• Pamir Gogoi：机构信息未能从会议 PDF 纯文本可靠映射
• Kevin Tang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理印地语与英语码混合语音的强制对齐，输入为已知转写的朗读语句，输出为音素级时间边界，难点在于自由变体发音与天城体点缀缺失导致的字音映射歧义。方法链分为三步：先用语音平衡码混合语料库构建印地语英语统一音素集并生成声学转写，再对易混淆音素对实施发音词典重映射以消除正字法歧义，最后将消歧后的词典分别送入码混合整句、单语印地语片段和孤立英语词训练的声学模型以比较边界误差。相对直接使用现成发音词典的做法，重映射通过竞争性代理音素让对齐器在声学上区分浊擦音与清塞擦音变体，避免对齐漂移并保留双变体区分度。在PBCM语料码混合词对齐任务下，码混合整句模型的平均中点绝对误差指标为4.15 ms，低于单语Hindi模型的平均中点绝对误差指标38.18 ms。最大自举映射将浊塞擦音与浊擦音分别代理为清音对应体，实际意义在于弥补缺失点缀正字法的系统性歧义，使边界恢复更可靠。该结论限于朗读新闻文本与 113 名受过英语教育的 Hindi 母语者，未验证自发对话与其他语言对。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/Ayushi113/mfa-hindi-code-mixed — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：要解决的混码对齐任务长什么样？

这篇解读的输入是论文原文证据与本次收到的官方原图像素，目标是让刚进入语音研究的学生能核对并复述方法，必须保留的信息是数据条件、词典操作、声学模型对照方式、评价指标方向与关键数字，输出是 1 篇按学习依赖展开的中文技术解读。

任务本身是强制对齐，也就是在已知文本转写的前提下，为语音信号中的每个音素标出开始与结束时间。举例来说，若已知一句话包含英语词 phone，研究者希望知道其中 p 或 f 对应哪几十毫秒的波形，以便做音系测量。论文研究的是印地-英语码混朗读语音，即印地语句框中插入英语词的句子。与单语对齐不同，这里多了两类麻烦。第一是音段自由变体，例如英语 phone 可读作送气双唇音加元音，也可读作唇齿擦音加元音，zebra 中的浊擦音与印地语本土浊塞擦音也会交替。第二是正字法变异，天城文用 nuqta 下标点区分借词音与本土音，但书写中经常省略，使字形到音素的 1 对一映射失效。

nuqta 省略 × 双向变异： nuqta 省略负责解释字形层面的信息丢失，即下标点缺失使借词音与本土音字形归并，双向变异负责解释发音层面的补偿结果，即两种音都在只应出现一种的环境出现，二者搭配的理由是仅看字形会误判目标音，组合意义在于必须同时处理正字法歧义与发音补偿。

论文把问题拆成两个可检验的研究问题。第一个是音系与词典问题：如何在强制对齐框架内自动建模双语发音变异。第二个是技术与数据问题：对齐句中英语词时，码混句级数据、单语印地语块、词级英语块，哪种声学训练数据更合适。理解这个拆分很重要，因为实验一管词典写法，实验二管声学模型吃过什么数据，两者分工不同。

已有路线走到哪里：为何码混的音素对齐被落下了？

在进入方法前，需要把本工作放在同输入、同目标、同运行阶段的已有路线里。论文回顾的印度语言码混研究覆盖了数据集整理、语音识别、语言模型推理与语音合成，但音素级对齐长期缺位。这意味着即使识别字对了，研究者仍缺可靠的音素边界去做双语语音库存与变异分析。

在强制对齐工具路线上，论文使用蒙特利尔强制对齐器，即一个基于 Kaldi 的高斯混合-隐马尔可夫系统并使用 fMLLR 特征变换。例子：可以把该工具理解为先用词典把句子展开成音素串，再用声学模型为每帧打分，最后用维特比式搜索找出最可能的边界。论文明确说明使用的是较旧的 v1.0 版本，并引用近期工作说明其在强制对齐上仍够用。相关低资源路线常用 bootstrapping，也就是先用代理音或简化库存把对齐跑通，再逐步恢复细节，本文实验一延续了这一思路。另一条相关路线是跨语言与单语声学模型比较，论文在引言中指出，尚不清楚句级码混训练数据是否优于单语替代方案，这正是实验二要回答的。

本工作的差异在于同时控制词典变体写法与声学数据构成，并在同一批人工金标准上比较，而不是只换工具或只换数据。

难在哪里：两个变体对与 nuqta 缺失如何制造歧义？

第一个难点是送气与擦音的交替。印地语本土清双唇送气音与清唇齿擦音在气流与感知上接近，单语者倾向用本土送气音，双语者可能正确交替，也可能默认用非本土擦音。论文举例 phone 可实现为两种形式，印地语 safal 也可实现为两种形式。第二个难点是浊塞擦音与浊擦音的交替，zebra 等借词中的浊擦音与印地语本土浊硬腭塞擦音交替，论文举例 zebra 可实现为两种形式。

正字法把问题放大。天城文理论上用 nuqta 区分 2 对音，但报纸文本与日常书写经常省略。更复杂的是说话人知道会省略，反而产生补偿：看到不带点的字形，有人推断原意是借词音而读出借词音，有人忠实字形读出本土音。结果是两种音都出现在只应出现一种的环境，字形无法唯一决定音素。论文强调这不是同一目标音的说话人差异，而是有时目标本身在说话人内部漂移。

因此方法必须同时回答：词典里一个词该写几种发音，声学模型又该见过哪种句子环境。

方法全景：先走通一个样本再看两个实验的分工

先沿一个样本走完全流程。假设输入是一句混码朗读语音与其文本转写，目标是输出每个音素的边界。第一步是文本处理与词典生成：把印地语词与英语词分别做字形到音素转换，再做双语映射、去噪与鼻音处理，得到发音词典。第二步是声学建模与对齐：用选定的训练数据训练声学模型，再用该模型与词典对测试句做强制对齐，输出 TextGrid 边界。第 3 步是评价：把机器边界的中点与人工金标准中点比较，计算毫秒级绝对误差与容限覆盖率；对词典实验则比较预测音素标签与人工标签的一致性。

两个实验分工明确。实验一固定对齐器结构，比较 5 种词典 bootstrapping 写法，解决发音变体建模问题。实验二固定实验一得到的去变体词典，比较 3 种声学训练数据构成，解决句中英语词边界检测问题。代码状态是正文开源声明的唯一依据，本次资源状态为可用，论文给出代码链接当前可用，复现者可先核对该链接是否仍可达。

词典如何构造：四步清洗分别动了什么？

论文的词典不是直接用现成字形到音素系统的输出，而是经过 4 步精修。第一步是双语映射，把英式英语字形到音素结果映射到接近印地语的音位空间，使罗马字与天城文书写的英语词共享一致的声学表示。第二步是音节去噪，人工处理 eSpeak 模型因音节划分规则错误而过度插入央元音的问题。第 3 步是鼻音消歧，按语音环境插入鼻辅音，例如在双唇音前插入双唇鼻音、在齿音前插入齿龈或齿鼻音，以区分鼻化元音与鼻辅音。第 4 步是音系 bootstrapping，对正字法欠指定的含混情况，把浊音或送气段映射为更稳健的清音代理音，减少对齐漂移。

强制对齐 × 音素边界： 强制对齐负责把已知文本序列与语音信号在时间上对应起来，音素边界是它要输出的目标，即每个音素起止时间戳，二者搭配的理由是音系分析需要可测量的边界位置，组合意义在于把文本先验转化为可评估的时间误差。

理解这 4 步的操作对象很重要。前 3 步处理的是系统性转换错误与跨语符号不一致，第 4 步处理的是真正的自由变体。论文把第 4 步的细节留到实验一，用对照实验确定代理音选哪个最合适，而不是一次性拍板。

变体如何改写：五种词典映射各自想验证什么？

实验一用同一对齐器结构测试 5 种词典写法。模型一是不映射的对照组，保留原始字形到音素输出，把 4 个相关音当作 4 个独立声学单元。模型二是多数基线，把每个变体映射为该说话人数据中最常见的实现，检验说话人主导音能否压住正字法错误。模型三是主导本土映射，把送气音映射为不送气音、把浊塞擦音映射为清音，检验结构最接近的本土音是否更易对齐。模型四是擦音或咝音映射，把变体归并为通用擦音特征，检验泛化到大类是否更好。模型五是最大 bootstrapping，把 1 对中的两个变体分别映射到两个不同的代理音，例如一个映射为清塞擦音、另一个映射为咝音。

发音词典 × bootstrapping 映射： 发音词典负责给出字形到音素串的候选形式，bootstrapping 映射负责把不可靠的浊音或送气目标改写为更稳健的清音代理音，二者搭配的理由是正字法缺 nuqta 时 1 对一映射失效，组合意义在于让对齐器在多个发音变体间竞争并恢复声学更可分的标签。

教学例子：若词典把 zebra 只写一种形式，对齐器被迫把所有实现都塞进同一标签；若写成两种代理形式，对齐器可以在解码时让两个标签竞争，由声学更匹配者胜出。论文用这种竞争机制解释为何多变体词典能提升恢复正确标签的能力。

有没有神经网络训练：本研究的真实计算过程是什么？

本研究没有训练现代神经网络声学模型，必须明确说明未训练哪些模型，再讲实际做了什么计算。论文未训练端到端神经网络，也未微调预训练语音识别大模型，实际计算是训练与使用基于高斯混合-隐马尔可夫的蒙特利尔强制对齐器声学模型。

声学模型 × 码混训练数据： 声学模型负责为每帧语音给出各音素的似然，码混训练数据负责提供印地语框加英语嵌入的真实双语协同发音样本，二者搭配的理由是纯单语数据学不到句中英语的发音模式，组合意义在于使边界检测更贴近混码句中的实际实现。

具体过程分 3 类数据构成。第一类是全量句级数据，用全部 6941 句码混句子训练并对齐，英语词的音素转写在句子语境中生成。第二类是单语印地语块，用工具把音频与 TextGrid 切成连续印地语短语块与英语词块，带印地语屈折的英语词被排除，用印地语块训练声学模型。第 3 类是词级英语块，用切出的英语词训练并对齐自身。论文未报告梯度路径、学习率、冻结层等神经网络细节，因为所用架构不是神经网络。

也未报告训练轮数与硬件预算，这是复现时需要补记的缺项。推理阶段是标准的强制对齐解码：给定词典展开的音素图与已训练声学模型的帧似然，搜索最优时间切分。

数据与金标准如何定：测什么、与谁比、条件是否一致？

声学数据来自语音平衡的码混语料库，包含 6941 句朗读语音，文本选自印地语报纸的生活、科技与体育版块。录制者为 113 名母语印地语且在英语媒介学校受教育的人，包括 58 名男性和 55 名女性。语料中词类型与词例的印地语英语分布在原文表一中报告，音素类型与词例也有对应统计。每个词类型被人工标注为印地语或英语标签。

金标准分两部分。实验 1 对两类自由变体各人工标注 100 个词，实验 2 对码混英语词抽取约 10%，即每名说话人 62 句中随机抽 6 句，其中的码混词先由 1 名流利印地语者标注，再由另 1 名母语者核对。评价上，实验一用预测音素与金标准标签的混淆矩阵对角准确率，并报告准确率、精确率、召回率与 F 值，方向是越高越好。实验 2 对每个音素取左右边界中点，比较机器中点与人工中点的绝对差，方向是毫秒数越小越好，并统计不同容限下的覆盖率。比较的公平条件是实验二使用实验一得到的去变体词典，避免词典变体误差污染声学数据对照。

词典对照看到什么：为何两对变体的最优写法不同？

先看送气与擦音这组。未映射时 F 值仅为较低水平，金标准显示该人群几乎一致读出擦音，而无点字形暗示送气塞音，这种图文不符导致对齐器频繁出错。去送气映射把 F 值大幅提升到接近满分，而映射到咝音则失败，因为咝音在声学上距离目标太远。多数基线达到满分，说明在这组词中所谓自由变体在实际产出中已稳定为擦音。论文据此建议码混词典直接映射到擦音，或至少去送气。

再看浊塞擦音与浊擦音这组。未映射基线明显失败，多数基线也只能达到中等 F 值，说明单一标签无法覆盖 Rajput 与 Resistance 这类词中的真实变异。单个映射各有小幅提升，最大 bootstrapping 同时把两个浊目标映射为各自的清音对应体，取得最高的 F 值与较高的精确率。机制解释是清音代理在声学上更可分，竞争式多变体让对齐器更容易找回边界与标签。

下表把两组变体的关键数字放在同一比较框架下，比较问题是不同词典写法在相同金标准下谁恢复标签更准，公平条件是同一对齐器与同一批人工标注，指标方向是 F 值越高越好。

表后解释需要同时讲收益与代价。收益是 bootstrapping 明显优于未修改词典，前者通过代理音拉开声学距离，后者被迫接受错误的默认输出。代价与反例是多数基线并非处处可用，在第二组中它明显低于最大映射，说明依赖最频实现的捷径会丢失少数但真实的另一变体。未胜出项是映射到咝音的单一归并策略，它在第一组失败，提示通用擦音特征过粗。未评测边界是发音概率未按说话人教育背景等条件建模，这在局限节再展开。

声学数据对照看到什么：句级混码为何误差小一个数量级？

实验二的导读是先确认评价对象与时间范围。三幅直方图都是音素中点绝对差的分布，横轴为毫秒差，纵轴为频数，条件分别是码混句级模型、单语印地语块模型与单语英语词模型。读图前要确认纵轴是原始频数而非相对改善量，横轴向右为误差增大，因此柱体越集中在零附近越好，不能把右侧拖尾误读为次要细节。

看图路径： 1. 先对比三幅子图横轴 0 到 200 毫秒与纵轴频数的量级差异；2. 再看左侧混码模型在 0 附近高柱后是否迅速衰减到接近零；3. 最后检查中间与右侧单语模型在 30 毫秒以上是否仍有连续拖尾

论文图 1。原论文 Figure 1：“Absolute difference between midpoints of phonemes in three models: Code-mixed (left), Hindi (middle) and English (right)”。

解释可见内容时只讲像素可确认的趋势。左侧码混模型的蓝色高柱集中在零附近且纵轴量级达数千，随后迅速衰减，右侧大误差区间几乎无可见柱体。中间与右侧单语模型的纵轴量级约为一千，零附近也有高柱，但在几十毫秒以后的区间仍有连续的低矮拖尾延伸到约 200 毫秒。这支持论文的判断：码混句级对齐在平均误差与低容限覆盖率上明显占优，而单语模型有更多大于 30 毫秒的坏点。像素不能精确读出每个柱的具体计数，因此不硬写单柱数值，定量结论以正文报告的均值与覆盖率为准。

中点绝对误差 × 容限覆盖率： 中点绝对误差负责度量强制边界中点与人工边界中点的毫秒差，容限覆盖率负责统计误差小于 10、20、30 毫秒的音素比例，二者搭配的理由是均值易被极端坏点拉动而覆盖率能看分布，组合意义在于同时回答平均多准与有多少比例可用。

下表把 3 种训练数据放在同一任务下比较，比较问题是对齐句中英语词时哪种声学数据更合适，公平条件是同一去变体词典与同一批人工边界，指标方向是平均误差越小越好、低容限覆盖率越高越好。

表后解释要增加新对照而非重复摘要。主要收益是句级混码模型的平均误差远小于两个单语对照，且在 10 毫秒内容限下覆盖率最高，说明句子语境中的双语发音模式对边界检测至关重要。具体代价是单语印地语块与词级英语块的平均误差处于同一量级，说明仅增大单语印地语量或仅用孤立英语词都不能替代混码句子。一个细致反转是单语印地语块在低容限下优于词级英语，但从 30 毫秒容限起模式反转，词级英语反而坏点更少，这表明总体趋势不等于每个容限段都成立。

拿掉哪一块会变差：可运行策略与事后最优如何区分？

把实验一与实验二看作相互的消融对照。实验一中可运行的策略包括未映射对照、去送气映射、咝音映射与最大映射，事后按说话人统计选多数实现的做法属于依赖金标准分布的上限参考，不能当作可部署收益。结果显示可运行的最大映射在第二组最优，而事后多数基线在第一组满分但在第二组明显不足，这说明用事后最优代替可部署策略会高估单标签方案。

实验二中可运行的策略是 3 种训练数据构成，搜索最优不是额外调参，而是在相同评价协议下选均值最小者。论文报告码混句级为最优，两个单语为未胜出项。失败条件也很明确：默认字形到音素输出在两组变体上都失败，尤其在第二组几乎不可用；孤立英语词训练对齐自身也不如句级混码，说明训练测试环境表面相似并不等于声学模式匹配。

训练与部署成本按原文交代属于缺项。论文未报告各模型的训练时长、内存、推理延迟与输出帧率，因此不能承诺码混模型在更快或更省，只能说在边界精度上占优。复现时应补记切分工具版本、对齐器配置与运行时间。

边界在哪里：哪些结论不能推广？

论文明确的局限是使用较旧的对齐器版本，重复实验时用新版本可能带来额外发现。实验一未显式定义发音概率，也未按教育水平等人口变量条件化，未纳入印地语、印度英语与英式英语的预训练字形到音素模型。实验二未尝试在多种英语变体上预训练的英语声学模型。

数据边界同样重要。语料是报纸选句的朗读语音，说话人是受过英语媒介教育的印地语母语者。在送气与擦音组中，多数人默认读擦音，论文推测塞音更具方言色彩，在朗读体中可能被抑制，这属于有限解释而非已验证因果，不应推广为所有自发码混都如此。在浊塞擦与浊擦组中，说话人用语言能力补偿缺失的 nuqta，产生两种实现，这需要最大映射的灵活性，简单词典修正不够。

未测量项包括误判率分解、延迟、人工标注一致性系数与统计显著性检验，相关性不等于因果，缺失证据不视为技术错误，但复现者不应声称这些量已改善。

复现先做什么：按什么顺序核对才能不返工？

第一步核对数据与划分。确认语料句数、说话人构成、印地语英语词标注方式，以及实验一各 100 词与实验二每人 6 句的抽样是否可重放。切分时注意排除带印地语屈折的英语词，并记录切分工具版本。第二步重跑词典流水线。先复现双语映射与去噪规则，再复现鼻音按环境插入规则，最后逐一实现 5 种 bootstrapping 映射，保留未映射对照。建议先用一个含 phone 与 zebra 的最小样本走通输入到词典到边界再到中点误差的全链，再扩大到全量。

第 3 步重跑声学对照。分别用句级混码、短语级印地语块与词级英语块训练对齐器声学模型，再用同一去变体词典对齐同一批金标准英语词，计算中点绝对误差与多档容限覆盖率。关键超参数与信息条件是论文未完整给出训练配置，复现时需固定对齐器版本、特征配置与随机种子并记录。代码链接当前可用，但可用不等于权重可下载或一键可运行，需区分代码开源与系统可运行。还需补的验证包括新版对齐器对照、发音概率建模与自发语料外推。

何时值得尝试：给新生的三条可执行判断

当你的码混语料存在 nuqta 省略或借词音与本土音字形归并时，值得先做词典 bootstrapping，而不是直接调声学模型。操作顺序是先看金标准中两类变体的实际分布，若已稳定为单一实现则直接改写词典，若仍分化则保留竞争式多变体并映射为声学可分的清音代理。

当目标是句中嵌入词的音素边界而非整句字正确率时，值得优先收集或保留句级码混训练数据。论文显示即使是词级码混数据也比更大单语印地语更有用，但最优仍是自然混码句子，因为它保留了跨语协同发音与韵律语境。

常见误解是把平均误差小等同于每句都好，或把多数基线满分等同于问题已解决。前者忽略了单语模型在高容限段的反转与拖尾，后者忽略了第二组中少数变体的真实存在。可靠的做法是同时报告均值与多档覆盖率，并保留未胜出策略与坏点分析，这样后来者才能判断方法在自己的语料与工具版本上是否仍然成立。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总