看不见后缀时就必须做决定：用可变块恢复孟加拉语码切换的形态完整性

英文题目：Dynamic Block-Online Streaming ASR for Low-Resource Agglutinative Code-Switching Speech with Morphology-Aware Evaluation

会议身份：conference:interspeech:2026:conference-paper-id:rafat26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据增强 #评测协议 #低资源 #流式处理 #语音识别

评分：5.3/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.5/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.7/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• Kazi Rafat：机构信息未能从会议 PDF 纯文本可靠映射
• Afifa Imran：机构信息未能从会议 PDF 纯文本可靠映射
• Md. Ismail Hossain：机构信息未能从会议 PDF 纯文本可靠映射
• Md. Romzan Ali：机构信息未能从会议 PDF 纯文本可靠映射
• Fuad Rahman：机构信息未能从会议 PDF 纯文本可靠映射
• Sifat Momen：机构信息未能从会议 PDF 纯文本可靠映射
• Shafin Rahman：机构信息未能从会议 PDF 纯文本可靠映射
• Nabeel Mohammed：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作研究孟加拉语-英语句内码切换的流式语音识别，输入为连续语音，输出为英语词根加孟加拉语后缀的混写转写。难点有三：前置元音符号渲染顺序与因果逐帧发射冲突，英语词根后接孟加拉语黏着后缀形成跨语形态依赖，以及句内码切换监督稀缺。方法链为文本合成加非自回归声学建模加推理侧组块：先用脚本锚定外来词注入将命中750词典的孟加拉语词形改写为英语词根加原后缀，构造约20%码切换句子；再用Paraformer编码器加连续集成触发机制学习表示；推理时以大于200 ms停顿触发语音活动检测语义块，最长3秒块内恢复离线全局双向注意力，实现结合后缀重估词根的后视修正。与2.4秒因果流式相比，动态块以数据依赖延迟换形态完整性。在Common Voice合成码切换集上，动态块取得词错率38.73%与字符错率15.62%，码切换词错率三元组为0.53/0.29/0.35，词根与形态分量优于同级因果大窗但字符错率略高。月经健康合成域微调后词根错误降至22%量级。适用边界为依赖可靠语音活动检测与常见外来词覆盖，快速连读退化为3秒固定块，罕见医学实体仍脆弱。原文未报告训练推理成本与实测延迟分布。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些信息？

本文的输入是连续的孟加拉语口语音频，其中夹杂英语借词，输出是带有正确语言文字的转写文本。目标读者是刚进入语音领域的研究生，需要先建立的事实是：孟加拉语是黏着语，一个词可以拆成词根加后缀，英语词根后面可以直接接孟加拉语后缀，例如 college 加后缀、board 加后缀。必须保留的信息包括训练数据的小时数与来源、推理时的延迟上限、字符错误率与词错误率的方向，以及新指标 3 个分量的定义。本文的输出是一套可复述的方法流程和可核对的实验条件，不做超出原文的优劣断言。

学习路径按依赖展开：先理解固定前视为什么会切断后缀，再看全文方法如何用停顿切块恢复上下文，再看文本注入如何造出混合训练句，再看评估如何把总误差拆开，最后核对延迟与域迁移的代价。每个环节只讲论文实际做的动作，教学用的举例会明确标为例子。

已有的流式与多语路线解决到哪一步？

论文把相关路线分成 3 类。第一类是大规模弱监督多语模型，以 Whisper 为代表，特点是离线全句可见，在句间多语上表现好，但在句内突然切换时原文报告仍有限制。第二类是 transducer 与联结时序分类的单语流式模型，特点是逐块因果输出，适合低延迟，但在印度低资源语言上多为单语配方。第 3 类是非自回归 Paraformer 加记忆型自注意力，特点是编码器用记忆块、解码用连续积分激发做对齐，训练时可以是全局双向，流式时被限制为只看当前块加历史。

论文的对照动作是把前两类当作基线保留在表内，而不是用类别差异直接宣布胜负。例如离线 Whisper Largev3 与 MMS、离线 Paraformer 都列出字符错误率、词错误率和三元组误差，流式 Paraformer 在 600 毫秒到 3 秒多个延迟点分别报告。这种写法让读者能看到同一测试集下离线可见性与流式因果性的差距，而不是把不同运行阶段混为一谈。

固定窗口为什么在黏着语码切换上失效？

问题可以沿一个样本走一遍。假设输入是一句包含 college 与 board 的孟加拉语句子，声学上英语词根和孟加拉语后缀是连在一起的，文字上前置元音符号会出现在辅音左侧，模型必须先输出辅音再处理符号。当推理只允许看过去而不能看未来时，模型在词根处就要做决定，等 200 毫秒后后缀到来时已无法回改，于是把后缀删掉或把 board 写成 bord。论文把这种现象称为盲承诺与未来盲区。

下面这张对比图把失效机制画了出来，上半是固定延迟因果流，下半是按停顿切分的动态块，重点看记忆传递与块内可见范围的区别。

看图路径： 1. 先看顶部整句音频与参考转写，确认 college 与 board 等英语词根位置；2. 再对比上半固定因果分支的记忆箭头 B_1 到 B_5 与下半动态块分支的独立块划分；3. 最后逐块核对底部输出哪里把 board 写成 bord、后缀被删减

论文图 1。原论文 Figure 1：“Comparison of (a) Fixed-Latency Causal Stream- ing, where memory-cached attention leads to CS morphologi- cal truncation (mistranscribing ে◌র[র]and board [bord]), and (b) our…”。

图 1 上半用粉色小块表示固定切分，用带蓝色点的灰色方块表示因果掩码注意力，块与块之间有 B_1 到 B_5 的记忆箭头，底部输出出现截断。下半用不同颜色小块表示按语义切分的块，用带红点的黄色方块表示全局注意力，块间没有强制记忆链，底部输出保留了完整后缀。读图时不要猜颜色代表的语言类别，只确认箭头方向与切分位置，就能复述为什么固定窗口会丢形态信息。

全文方法由哪三段组成，先走通一条样本？

全文方法分成文本改造、音频切块、评估拆分 3 段。先走通一条样本：取一条单语孟加拉语句子 d_i，查 750 词对照词典 M，若某词的词根在词典中，就按公式把孟加拉语词根换成英语词根并保留原后缀，得到混合句 wcs 等于英语词根拼接原后缀。音频侧不做跨语拼接，而是保留原音频的句法，只在文本侧插入英语根以学习语音过渡。接着用语音活动检测在停顿处把音频切成 C_1 到 C_6 等块，每块调用离线编码器加连续积分激发加解码器得到 y_1 到 y_6。最后用新指标分别检查切换点、词根、整词加后缀三处。

下图是论文给出的总流程，包含词典 M、归一化、语音活动检测器、离线编码器 Eoff、激发器与解码器，以及 3 路误差的引出位置。

看图路径： 1. 沿顶部单语 d_i 经词典 M 和归一化到混合 d_i 的箭头看文本改造路径；2. 再看语音活动检测器把连续波形切成 C_1 到 C_6 的切分位置；3. 最后看底部 E_off 加 CIF 加 D_off 输出 y_1 到 y_6 如何引出 Eswitch/Eroot/Emorph 三路

论文图 2。原论文 Figure 2：“Proposed Methodology of: Script-Anchored Loan- word Injection - converting Bengali to CS transcript through a loanword database M.”。

图 2 从上到下是文本改造在左、音频切分在中、编码解码在下。顶部绿色波形是原始 d_i，经过紫色 M 方块与归一化方块后得到中部带粉色标记的混合 d_i 与混合转写。混合音频进入粉蓝色的语音活动检测器后被切成 6 个小块，送入层叠的 Eoff 加 CIF 加 Doff 结构。底部用红绿蓝三色箭头标出切换误差、词根误差、形态边界误差各自看的位置。复述时按箭头顺序讲，就不会把文本注入与音频切块混淆。

编码器、激发器与切块器各自做什么？

编码器把声学序列 X 变换为隐表示 H。离线训练时用全局双向自注意力，流式训练时把第 t 帧的表示限制为当前块 C_k 与历史记忆 B_{k-1}的函数。激发器对每帧输出 0 到 1 的权重，累积到阈值就切出一个词级声学嵌入。解码器根据该嵌入并行输出词。这种分工意味着对齐质量依赖连续能量累积，离散语言标签会打断累积。

因果流式注意力 × 全局双向注意力： 因果流式注意力只允许看到当前块和历史记忆，分工是保证低延迟逐块输出；全局双向注意力允许块内前后帧互相修正，分工是利用后缀回看修正词根。两者搭配的理由是黏着语的词根加后缀常常跨越固定窗口，单独用因果会过早承诺，组合后用 3 秒块内恢复后见之明，把删除型结构错误转为替换型错误。

动态块侧的做法是把 3 秒缓冲当作独立单元，不再做块间因果掩码，而是恢复块内全局双向。有效感受野因此是整个语义块，而不是固定毫秒数。这样早期帧的词根可以在看到后期后缀后被重新评估，论文称之为后见解析。

语音活动检测 × 动态块在线推理： 语音活动检测负责在大于 200 毫秒的停顿处切分语流，分工是找到语义边界；动态块在线推理负责把每个停顿间单元当作独立离线单元解码，分工是分配弹性延迟。搭配理由是固定 600 毫秒到 2.4 秒窗口会任意切断词缀，而按停顿切分让感受野覆盖整个语义单元，新增作用是以对话节奏的 1.5 秒到 2.0 秒常见延迟换取形态完整性。

文本侧的做法是只替换词根而保留后缀与句法，避免把语义和声学不匹配的音频拼在一起导致不收敛。评估侧把总误差拆成切换二元组、英语词根、整词加后缀三部分，分别回答切换稳不稳、实体对不对、切分全不全。

脚本锚定外来词注入 × 句内语码切换： 脚本锚定外来词注入负责把单语孟加拉语文本中词根命中的词替换为英语词根加孟加拉语后缀，分工是造出语音和句法匹配的训练对；句内语码切换是目标现象，指一句话内出现孟加拉语矩阵语和英语嵌入语。搭配理由是开放数据缺少这种混合句，注入用 750 个高频对应保留句法而引入语音过渡，新增作用是迫使模型学习正字法边界而不是把英语音译成孟加拉文。

对齐侧用非自回归结构保证低计算量下的稳定解码，激发器负责触发，编码器负责表示，解码器负责并行输出，三者都运行在同一块内。

连续积分激发机制 × 非自回归 Paraformer： 连续积分激发机制负责对每帧预测 0 到 1 之间的权重并累积到阈值后触发一个词，分工是做声学到词的对齐；非自回归 Paraformer 负责并行解码，分工是快速稳定处理语序变化。搭配理由是能量累积需要连续上下文，若插入离散语言标签会打断累积路径，组合后隐式脚本锚定比显式语言标签更适合这种能量型结构。

训练数据如何构造，参数如何更新？

训练没有从零开始，而是基于 Paraformer 骨干做改造。数据侧用约 750 小时孟加拉语复合语料，包括 Common Voice 孟加拉语切分约 75 小时、OpenSLR 53 约 215 小时、IndicVoices 约 122 小时、KathBath 约 84 小时，再加 250 小时英语 Gigaspeech 子集用于打底英语音素表示。文本注入后约 20% 句子为混合句。论文未报告优化器类型、学习率、冻结层数与梯度路径细节，这部分是缺项，复现时不能从模型名推定。

构造动作的具体步骤是：定义单语库中每句为词序列，每个词拆为词根拼接后缀，定义 750 对高频语义等价对，若词根命中则替换为英语词根加原后缀。音频不做跨语剪接，保持原句法。执行顺序是先完成词典匹配与文本侧替换，再保持音频句法不变进入编码器训练，流式分支训练时限制注意力感受野，因果策略覆盖 600 毫秒到 2.4 秒多档，动态块分支直接部署未掩码的离线编码器在块内。

语言标签实验显示在 600 毫秒条件下加显式标签会使词错误率（%）从 61.44 上升到 64.78 左右，加权损失也无改善，论文据此判断限制是结构性的而非优化问题，但这属于有限解释而非因果证明。复述时应把数据构成、替换规则与感受野限制分开核对，避免把混合句比例误读为音频拼接比例。

在什么数据、什么指标、什么延迟下测量？

评估用两个域。通用域是带常见英语借词的会话测试集，用脚本锚定注入构造；医疗域是月经健康高困惑度集，含 PCOS 与子宫内膜异位症等低频英语医学实体，采用文本到语音合成的合成到真实适配策略。指标分两层：全局字符错误率与词错误率越低越好，新指标三元组切换误差、词根误差、形态误差也是越低越好。延迟分两类：因果流式为固定窗口 600 毫秒、800 毫秒、2 秒、2.4 秒、3 秒，动态块为语音活动检测触发的变延迟，上限 3 秒，典型对话短语 1.5 秒到 2.0 秒。

核对时要注意聚合对象不同数值不能直接比。例如全局词错误率统计所有词，新指标只统计混合结构中的切换二元组、英语词根与整词加后缀。百分点差与相对百分比也不同，下降 6 个百分点不等于下降 6%。比较时应先固定同一测试集与同一骨干，再看延迟条件是否同为上限 3 秒，最后才看三元组中哪一路下降。硬件预算与统计显著性在原文未报告，复现时应记为缺项。资源状态方面，未发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码模型或数据已公开。

主结果显示什么，形态平台期如何被打破？

要回答的核心问题是：把固定窗口拉长能否解决形态错误，以及动态块在相同延迟上限下是否带来结构性改善。公平条件是同一 Paraformer 骨干、同一混合训练、同一通用测试集，指标方向都是越低越好。下面表 1 只保留可运行的实际策略，不含事后最优，延迟与数据量都写在条件列。

表后解释需要同时讲收益与代价。动态块在全局词错误率上与 3 秒因果接近，38.73 对 37.20，但在词根与形态上分别低约 6 个百分点与 7 个百分点，论文报告为 0.29 对 0.35 与 0.35 对 0.42。执行过程上，因果侧是拉长固定窗口逐步复测，动态块侧是在停顿处切块后用块内全局注意力 1 次解码，因此同为 3 秒上限但上下文组织不同。图 3 把这种分离可视化，左图显示拉长窗口只能把外来词误差降到平台，中图显示因果以删除为主而动态块把删除降到 2% 以下转为替换，右图给出 piano 与 doctor 等实例。代价是动态块字符错误率略高，且延迟随说话停顿变化，快速连读时会顶到 3 秒上限。未胜出项是全局词错误率最低的仍是 3 秒因果，而非动态块。

看图路径： 1. 先看(a) 横轴延迟与纵轴外来词误差曲线的下降拐点与 3s_B 方块位置；2. 再看(b) 两根柱子中蓝色替换段与红色删除段的高度变化；3. 最后对比(c) 左右两列蓝色流式与红色块在线在 piano 与 doctor 等词上的差异

论文图 3。原论文 Figure 3：“Illustration of different model outcomes by the streaming, block online, and offline model: (a) Streaming latency against Eroot of streaming models as circles and diamonds,…”。

图 3 分三面板。(a) 横轴为流式延迟秒数，纵轴为外来词误差，蓝色圆点为流式多档，橙色方块为 3 秒块在线，紫色叉号为离线，曲线在 3 秒处出现垂直落差。(b) 纵轴为错误率百分比，两根柱子分别标注流式 3 秒与动态块在线 3.0 秒，蓝色替换段最高，红色删除段在右侧明显变矮。(c) 右侧列出 3 组转写，蓝色为流式，红色为动态块在线，可逐字核对 loanword 是否完整。像素不能精确辨别的中间步数值不要硬写，以表 1 数字为准。

注入与语言标签的对照说明什么？

要回答的第二个问题是：改善来自声学建模还是来自是否见过混合文本，以及显式语言标签是否有帮助。公平条件是固定 600 毫秒因果与 200 小时量级，只改文本侧。指标方向仍是越低越好。下面表 2 保留单语训练、注入训练、加语言标签 3 类可运行策略。

表后解释要区分直接报告与推测。直接报告的是单语训练几乎完全触发不了语码切换，三元组接近 1，注入后降到 0.72/0.61/0.67，离线与在线分别有 87% 到 25% 与 99% 到 61% 量级的借词捕获提升。显式标签反而使全局与三元组都变差，论文解释为离散标签打断连续积分激发的能量累积，但因未做梯度与对齐路径的细粒度测量，只能记为支持性解释而非因果结论。未评测边界是 750 词之外的罕见借词与跨句切换，原文明确说词典只覆盖最常见借词。

哪些条件没测，哪些依赖不可替代？

论文明确列出两项限制。第一是需要一个可靠的语音活动检测器，若停顿检测不准，切块就会切断语义单元，动态块的优势不再成立。第二是词典只含最常见借词，未覆盖全部可能，罕见医学实体仍需适配。未测量的量包括误触发率、逐块实际延迟分布、计算开销与输出帧率，原文只给延迟上限与典型短语长度，没有给出在特定硬件上的实时系数，因此不能承诺延迟或成本得到改善。

另一个限制是流式适配需要大量计算与数据，而动态块直接复用离线模型在块内推理，节省了重训，但这不等于总体计算更少，因为块内全局注意力的单次计算量大于因果块。总体趋势不等于每步都成立，快速连读时仍会顶到 3 秒上限。相关性不等于因果，形态误差下降与全局注意力同时出现，但若无语音活动检测质量的对照，不能单独归因。

复现先做什么，需要保留哪些超参数？

复现的第一步是重建文本注入。对单语孟加拉语每句做词根与后缀拆分，准备 750 对高频对应，命中即按英语词根拼接原后缀生成混合转写，并记录混合句占比约 20%。第二步是准备声学数据，保持原文小时数配比，英语子集 250 小时只用于打底音素。第三步是训练或复用 Paraformer 离线模型，保持全局双向注意力，再分别评估固定窗口 600 毫秒到 3 秒与语音活动检测切块上限 3 秒、触发阈值大于 200 毫秒的两条推理路径。

必须保留的信息条件包括数据来源与小时数、延迟档位、字符与词错误率的聚合对象、三元组中切换二元组的取法。缺项是优化器、学习率、冻结策略与语音活动检测具体模型，复现时应先用公开检测器替代并报告替换带来的差异。资源方面，本次未能确认代码与模型可达，不应写已公开或当前可用，医疗合成集的文本到语音细节也未完整给出，需补验证。

何时值得尝试这种弹性延迟？

当任务同时满足三点时值得尝试：语言有丰富的后缀形态且后缀决定语法，句内频繁出现英语词根加本地后缀，应用能容忍随停顿变化的延迟而非严格固定延迟。此时把推理单元从固定毫秒改为停顿间单元，并用块内全局注意力做后见修正，可以把删除型结构错误转为替换型，保留下游语言模型所需的语义槽。论文在月经健康域的迁移显示，微调后词根误差从 78 降到 22 左右且通用性能未明显丢失，支持形态切分能力可复用的判断，但该数字来自合成到真实的特定构造，不宜推广为所有医疗实体都成立。

不值得尝试的情形是停顿检测不可靠、交互要求逐词严格低延迟、或借词表覆盖极低。此时固定因果仍是更可部署的选择。下一步需补的验证是同一语音活动检测器下的延迟分布、罕见词的形态误差、以及在相同计算预算下的公平对比。只有补齐这些，才能把弹性延迟的收益从特定数据集推广为方法选择。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总