盯住语码切换点：用发音相近的错误文本教会模型分清混淆

英文题目：Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition

会议身份：conference:interspeech:2026:conference-paper-id:nguyen26i_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#对比学习 #LoRA #多语言 #语音识别

评分：6.6/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Tung X. Nguyen：机构信息未能从会议 PDF 纯文本可靠映射
• Hieu Minh Truong：机构信息未能从会议 PDF 纯文本可靠映射
• Giang Son Nguyen：机构信息未能从会议 PDF 纯文本可靠映射
• Nhu Vo：机构信息未能从会议 PDF 纯文本可靠映射
• Wray Buntine：机构信息未能从会议 PDF 纯文本可靠映射
• Dung D. Le：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

码切换语音识别的输入为含语种交替的语音，输出为混合语转写，难点是嵌入语片段与切换边界邻域的声学混淆集中，且易被整体词错率掩盖。该工作先用固定种子模型解码10-best列表，按嵌入语最大连续片段向两侧扩展r个词元检测兴趣点，再以Gemini 2.5 Pro离线扩充兴趣点替换候选，形成兴趣点局部扰动池。随后经声学似然裕量、音素距离、文本距离三重过滤保留难而可信的近错负例，过滤后的高质量负例集合直接进入对比训练目标。最后用兴趣点加权交叉熵锚定真值并以多负例InfoNCE式对比排序拉开真值与负例得分，推理阶段仍保持标准解码不变。与最小词错率期望优化和单纯兴趣点加权不同，该方法只扰动兴趣点并显式排序声学可信混淆，而非整体加权或增加推理后处理，因而更针对语种切换关键区域。在CS-FLEURS普通话-英语基准评测下，完整模型三重过滤版本的WER为14.06，低于MWER基线的WER 15.75。结论限于 2 个语对、单一骨干和离线一次生成，跨语种与跨模型外推尚未验证，原文未披露训练与推理成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/Kyubyong/g2p — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/undertheseanlp/underthesea — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么值得单独研究？

这篇解读的输入是论文原文提供的文字证据与本次收到的官方原图像素，目标是让刚进入语音识别方向的研究生能复述方法与实验条件。必须保留的信息包括任务定义、兴趣点定位方式、近似错误构造与过滤规则、对比训练目标形式、数据集划分与评价口径、关键超参数与主要对照结果。本文输出按学习依赖展开，先讲任务与相关路线，再讲方法全景与组件计算，然后讲训练与实验，最后讲反证与复现。

语码切换指一句话里出现两种或更多语言的交替，例如中文矩阵句中嵌入英文医学术语 enzyme 5 alpha reductase。白话说，就是说话人说着说着换了语言。对自动语音识别而言，输入是音频波形，输出是转写文本，模型要在声学与语言都不确定时决定每个词的语言归属与拼写。论文报告的经验是，最严重的识别错误倾向于聚集在这些切换区域，因为存在语言混淆与发音含混，解码器容易在嵌入词与切换边界附近选错。

只用普通的成对音频与转写做微调，可以降低整句平均错误，但论文指出这种微调对切换区的稳健性研究不足。标准微调目标缺少显式信号去瞄准易混淆片段，加权也只是让模型更重视这些位置，并没有告诉模型常见的错误选项长什么样。因此作者提出在训练时就让模型比较真值与听起来很像但写错的候选，学会更偏好真值。这就是全文的中心动作：先定位切换关键区，再构造可信的难负样本，最后用排序目标训练。

已有路线在同一任务上做了什么，本研究卡在哪个缺口？

语码切换语音识别已有路线之一是注入语言意识，例如加入语种辨识监督来减少切换点的混淆。另一类是数据增强，例如用语码切换语音合成或短语混合来缓解转写稀缺。评价方面，除了通用词错误率，文献提出了兴趣点错误率，专门衡量兴趣点跨度上的错误，避免被整句平均掩盖。通用多语基准与领域基准则提供了带切换的音频与转写对，论文使用的两类数据分别对应不同语系与不同领域难度。

解码后处理与大模型路线通常利用多假设重打分或纠错，例如融合外部语言模型、判别式重打分，以及用指令微调大模型扩展或重排 N-best 假设，包括代码混合场景。这类方法一般增加推理时的后处理。偏好对齐路线则从更偏好与更不偏好的输出中优化模型，包括基于人类反馈的强化学习、直接偏好优化及其对比变体。序列级判别训练则在竞争假设上优化期望损失，例如最小词错误率训练，用采样或 N-best 假设做序列级优化。

本研究的定位是与上述三者都不同。它与最小词错误率训练的区别在于，不是对任意整句编辑求期望，而是构造兴趣点局部的硬负样本并优化真值对近似错误的排序。它与大模型纠错的区别在于，大模型只在离线阶段扩展兴趣点替换，解码时仍是标准纯语音识别推理，不增加辅助模块。它对偏好对齐的实例化是把对齐信号限定在语音可信的切换点混淆上，而不是通用的文本偏好。

要解决的具体错误长什么样？

论文用一个越南语医学例子说明问题。参考文本是包含英文术语的句子，标准微调输出把 reductase 听写成声学相近但错误的 reduc tây giờ，而对比微调后能恢复成 reductase。近似错误候选则保持句子结构，只在切换兴趣点处引入发音混淆，例如把同一位置写成 ri đắc tê giờ或 reduc tay giờ。教学例子仅用于理解错误形态，不代表方法在所有句子上都有相同改写。

兴趣点 × 近似错误： 兴趣点指嵌入语片段及其左右切换边界邻域，是错误集中的位置分工；近似错误指只替换该位置、听起来像但文字不同的负样本，是训练信号分工；两者搭配的理由是只在最易混淆处制造可比性强的反例，组合后使对比学习不再平均地看整句，而是专门拉开真值与切换点混淆的距离。

从复述角度，关键是理解错误不是均匀分布的。嵌入语片段指参考文本中语言与矩阵语言不同的最大连续段，切换边界邻域指把每个嵌入段边界向左右各扩展若干 token。两者的并集就是兴趣点索引集。评价与训练都围绕这个集合展开，通用指标可能因为非切换词正确而显得不错，但兴趣点指标会暴露切换区的残留错误。

方法全景：从音频到硬负样本库经历哪几步？

整个流程可以沿一个样本走一遍。输入是一段音频与其参考转写。先用固定种子语音识别模型对该音频解码出 N-best 列表，并记录种子模型的对数得分。然后按文献方法检测参考文本中的嵌入语片段并扩展边界，得到兴趣点位置。对每个兴趣点，合并来自 N-best 的兴趣点候选与大模型离线生成的替换串，去重后形成该位置的候选集。

接着每次只替换参考文本中的一个兴趣点、其余部分保持不变，采样出若干近似错误转写。最后经过滤波门，只保留声学可信且难度合适的负样本，缓存为硬负样本库，在后续各训练轮中复用。

下图是论文给出的语码切换近似错误生成管线总览，阅读时先看主路径再看大模型支路如何汇入过滤，重点确认替换与过滤的位置关系。

看图路径： 1. 先从左向右跟随从 N-best 出发到构造替换再到过滤最后存入硬负样本库的主箭头；2. 再看下方大模型兴趣点生成框是从构造步骤分出又汇入过滤的支路；3. 对照框内以 reductase 为例的两个变体，确认替换只发生在标记兴趣点处；4. 确认过滤是进入训练库之前的最后一道关口

论文图 1。原论文 Figure 1：“Overview of the proposed CS-NMG pipeline for code-switching near-miss generation.”。

从像素可见的流程看，最左侧是与 N-best 相关的候选来源框，中间是经兴趣点替换构造近似错误的方框，下方分出一个大模型兴趣点生成框，框内以 reductase 为兴趣点示例给出两个变体写法，右侧是过滤方框与硬负样本转写库的圆柱符号。箭头方向表明构造步骤同时向大模型支路与过滤步骤传递信息，大模型支路的输出再汇入过滤。这对应正文描述：管线离线执行 1 次，使用固定种子检查点的参数冻结做解码与打分，生成的近似错误池被缓存并在所有训练轮中复用。推理阶段不增加额外模块。

兴趣点候选从哪里来，大模型提示限制了什么？

候选来源分两路。第一路是种子模型的 N-best 集合，记为每个假设及其种子模型对数得分。嵌入语集合的定义与兴趣点邻域扩展半径共同决定兴趣点索引集，重复区间合并。第二路是大模型扩写：提示提供完整参考转写并标记目标兴趣点，同时附带原始 N-best 兴趣点池作为 grounded 候选提示，大模型只输出该标记位置的短替换串列表，不做其他编辑。两路合并去重后得到每个兴趣点的最终候选集。

N-best 候选 × 大模型扩写： N-best 候选指用固定种子语音识别模型解码出的前 N 个假设提供的兴趣点替换，是贴近解码器真实错误的来源分工；大模型扩写指离线向大模型提供带标记的参考文本与 N-best 兴趣点池、只要求输出该位置的替换串，是补全新混淆的分工；搭配理由是波束搜索的多样性有限，组合后在不改动其余文本的前提下扩大难负样本覆盖。

原文对大模型调用给出了可复现的配置：使用 Gemini 2.5 Pro 经应用程序接口查询，温度为 1，top-p 为 0.95，单候选输出。提示提供完整参考转写并标记兴趣点跨度，且包含原始 N-best 兴趣点池作为提示。大模型输出后同样要去重，并接受同样的声学与音素文本过滤门后才进入训练。需要强调的是，这是离线 1 次的构造动作，不是推理时的纠错。

音素归一化按语言使用确定性工具：中文 token 转为带声调拼音，英文 token 转为 ARPAbet，越南语 token 转为保留声调的音节单元。所有距离都按这些音素序列计算归一化编辑距离。资源状态方面，本次收到的第三方资源中，转写到音素相关的英文工具与越南语工具链接当前可用，但论文实际英文音素实现写的是另一工具名，复现时应以论文正文工具名为准核对。

三重过滤如何同时保证像音频又足够难？

近似错误构造本身很简单：对每个兴趣点，从候选集中采样替换串，只替换参考文本中该兴趣点跨度，其余转写不变，通常 1 次替换一个兴趣点以提高效率，每条语音采样至多若干个近似错误。真正的选择压力来自过滤门。第一道是声学门，要求近似错误在输入音频下的 teacher-forced 对数得分不低于 N-best 最优分减去声学裕量，裕量固定为 4.0。这保证候选在当前音频下并非完全不可能。

第二道与第三道分别看字面与发音。记插入的兴趣点片段与对应参考片段，计算归一化字面编辑距离与归一化音素编辑距离，前者用 Levenshtein 距离除以较长长度，后者先经字音转换映射再算同样归一化距离。保留条件是字面距离不小于文本阈值、音素距离不大于音素阈值。默认阈值经网格搜索选为音素 0.6 与文本 0.4。白话说，就是要求写得足够不一样以构成难度，同时读起来足够接近以保持可信。

声学门控 × 音素与文本约束： 声学门控要求近似错误的 teacher-forced 声学得分不低于 N-best 最优分减去裕量，是保真分工；音素与文本约束分别要求发音距离足够小而字面距离足够大，是又像又难分工；搭配理由是单一约束只管一面，组合成三重过滤后才留下既符合音频、又与真值可混淆的硬负样本。

论文在实验中实例化 5 种变体：不过滤、仅声学、声学加文本、声学加音素、三重全部使用。后文消融将证明只用其中一道是不够的。过滤后的选择还强调多样性，兼顾嵌入与边界两类兴趣点以及替换、插入、删除等编辑类型，每条语音固定选出若干负样本。

训练目标如何组合，哪些参数更新？

训练阶段微调语音识别模型， backbone 采用 Whisper-small 并用 LoRA 做参数高效微调。LoRA 秩为 16，缩放因子为 32，dropout 为 0.05，学习率为 0.001。解码用波束搜索，N-best 列表取 10。采样近似错误数固定为每条语音 5 个，对比权重为 0.1，更大值在开发实验中收益递减。语言平衡加权的缩放因子在开发集上调优，2 个数据集分别取 1.7 与 2.0。所有候选打分在对比训练中使用长度归一化序列得分。

损失由两部分相加。第一部分是交叉熵锚或其加权版本：用指示变量标记目标 token 是否落在兴趣点跨度内，权重为 1 加上加权系数减 1 再乘以该指示，加权交叉熵即按此权重对条件对数概率加权平均。标准交叉熵是加权系数为 1 的特例。第二部分是对比对齐：对任意候选转写用长度归一化 teacher-forced 得分避免偏向短候选，给定缓存的近似错误池按固定策略选出若干负样本，再用 InfoNCE 风格目标把参考真值排在负样本之上，温度系数在所有实验中为 1。最终损失是加权交叉熵加对比权重乘以对比损失。

加权交叉熵锚 × 对比排序损失： 加权交叉熵锚负责让模型学会生成正确的参考转写，并给兴趣点 token 更大权重，是保底的似然分工；对比排序损失负责在真值与多个近似错误之间做排序，让真值得分高于负样本，是辨别分工；搭配理由是只加权不能消除声学相近的混淆，组合后既保持生成能力又显式抑制可信的替换错误。

关于冻结与更新，原文明确近似错误生成使用固定种子检查点且参数冻结做解码与打分，微调阶段更新的是带 LoRA 的 Whisper-small。原文未给出 LoRA 具体注入哪些注意力或前馈矩阵、梯度是否截断到种子打分路径之外的逐层细节，复述时不应从模型名推定实现，缺项即标为未报告。

在什么数据、划分与指标上测量，条件是否一致？

评价使用两个语码切换基准。一是来自 CS-FLEURS 的普通话与英语对，在 CS-FLEURS-XTTS 训练划分上微调，在人工朗读的 CS-FLEURS-READ 测试划分上评价同一语言对，矩阵语言为普通话、嵌入为英语。二是来自 ViMedCSS 的越南语与英语医学基准，在训练划分上微调，在测试划分上评价，分析稀有医学术语时还报告困难划分。两个基准都提供音频与转写对，其中切换发生在不同文字与专业领域，难度来源不同。

指标同时报告通用词错误率与兴趣点错误率。兴趣点错误率的计算是把假设与参考对齐后，只在兴趣点位置上算归一化编辑距离。对空格分词语言在词级对齐，对 CS-FLEURS 在字符级对齐。兴趣点标记遵循已有方法：普通话与英语对中英语兴趣点经拉丁文字 token 检测，越南语与英语对中经词级语种辨识并排除纯标点与纯数字。数值越低越好。

词错误率 × 兴趣点错误率： 词错误率是整句层面的通用转写误差，是全局质量分工；兴趣点错误率是只在兴趣点位置上计算的归一化编辑距离，是切换关键区分工；搭配理由是整体变好不等于切换点变好，组合后能同时检验方法是否真正改善语码切换脆弱区而非只优化非切换词。

基线保持相同 backbone 与 LoRA 设置下的可运行策略，包括普通交叉熵、语言平衡加权交叉熵，以及使用相同设置的最小词错误率序列级基线。对比方法在相同候选打分与采样数下比较，区别只在是否加入近似错误对比与是否使用三重过滤。音素阈值与文本阈值、声学裕量、对比权重等超参数在全实验中固定，除非消融明确改变过滤配置。

主结果：相对可运行基线改善了多少，有无代价？

比较的问题是，在相同微调协议下，加入兴趣点局部近似错误对比是否同时改善整体与切换关键区，以及三重过滤是否为最佳配置。公平条件是同一 Whisper-small 加 LoRA、同一数据划分、同一词错误率与兴趣点错误率口径，指标方向均为越低越好。下表整理论文主结果，包含可运行的交叉熵、加权交叉熵、最小词错误率与对比训练组合。

表后解释需要同时看到收益与代价。论文报告普通交叉熵已是较强基线，但切换区残留明显；加权交叉熵只带来边际改善，例如中英兴趣点错误率（%）从 17.25 到 16.68，越英从 21.95 到 21.18，支持仅加权不足以消除跨语言混淆的判断。序列级最小词错误率优于两者，但仍弱于最佳对比设置，例如中英兴趣点错误率 16.41 对 15.10，越英 20.84 对 18.74。对比学习加 N-best 近似错误已能超越普通交叉熵，再加入兴趣点加权与三重过滤后达到最低。代价是需要离线 N-best 解码、大模型扩写与三重打分过滤，构造链路明显长于直接微调，且论文未测量推理延迟与训练算力，原文局限也承认依赖外部大模型接口与提示设计会带来离线成本与可复现性问题。

候选来源与过滤门各自贡献了什么，负结果是什么？

消融要回答两个问题：大模型扩写是否自动带来增益，三重门中每一重是否必要。条件固定为同一对比训练，仅改变近似错误来源或过滤门，并报告每条保留语音上的条件平均负样本数。下表整理论文归因消融，覆盖不过滤下的来源对比与固定大模型来源下的门控对比。

表后解释必须包含未胜出项。论文显示不过滤时从 N-best 到 N-best 加大模型，负样本数从约 1.40 与 1.22 增至 6.00，但效果并不一致为正：中英兴趣点错误率改善而词错误率略变差，越英词错误率改善而兴趣点错误率变差。这支持大模型注入了波束搜索之外的新混淆，但也可能引入与音频不对齐的替换，需要过滤。固定来源后，仅声学门保留最多候选但 2 数据集均次优；声学加音素明显改善中英词错误率但兴趣点指标不稳定。

声学加文本在中英很强却不能迁移到越英，反而词错误率与兴趣点错误率都差。三重门以约 3.8 个更高质量负样本在 2 数据集取得最强的整体权衡，支持声学可信、发音接近、字面偏离需联合约束的判断。值得注意的负结果是三重门并非每项全胜，例如中英兴趣点错误率略弱于声学加文本，说明更多负样本不自动更好，质量比数量更关键。

哪些结论尚未被验证，不应过度推广？

论文直接报告的是在两个语言对与单一 backbone 上的词错误率与兴趣点错误率降低，支持在切换脆弱区用排序信号优于仅加权的判断。但这不等于在所有语系、领域、模型规模与解码设置下都成立，原文明确把评估限于两个语言对与单个模型 backbone，未来工作才计划扩展更广语言覆盖与更多 backbone。

未测量的量不应承诺改善。论文未报告误判率分解、延迟、输出帧率、训练与推理算力预算，也未做人类评价，因此不能把自动指标的降低等同于临床或实时场景的可用性提升。相关性不等于因果：大模型扩写与过滤共同出现时效果最好，但不能反推去掉任一环节必然如何，超出已报告消融的推断应标为可能或待验证。

可复现性方面，近似错误扩展依赖外部大模型接口与提示设计，带来离线成本并可能影响复现；温度与采样等生成配置虽有报告，但接口版本与排队波动仍是外部变量。音素工具链涉及多语言确定性工具，复现时需严格对齐版本与分词规则，否则归一化距离阈值的行为会漂移。

若要复现，应先准备什么，按什么顺序检查？

复现的第一步是准备数据与口径。获取 CS-FLEURS 普通话英语训练与人工朗读测试划分，以及 ViMedCSS 训练与测试划分，确认困难划分仅用于稀有术语分析。实现兴趣点标记：中英按拉丁文字 token，越英按词级语种辨识并排除纯标点与纯数字；评价时中英用字符级对齐、空格分词语言用词级对齐，只在兴趣点位置算归一化编辑距离。先复现普通交叉熵与加权交叉熵基线，核对加权系数在 2 数据集分别取 1.7 与 2.0 时的边际增益。

第二步是复现构造链路。用固定种子模型以波束搜索取 10-best，记录对数得分；对每个兴趣点合并 N-best 候选与大模型替换，去重后每次只替换一个兴趣点采样至多 5 个；按声学裕量 4.0、音素阈值 0.6、文本阈值 0.4 过滤，对比权重 0.1，LoRA 秩 16、缩放 32、dropout 0.05、学习率 0.001。检查条件平均负样本数是否落在论文区间，例如三重门约 3.8 个，不过滤大模型分支约 6.0 个，若数量级偏离应先查标记与去重逻辑。

第三步是核对可运行性声明。代码开源、权重下载与系统可运行是三件不同的事，论文未提供可直接运行的仓库承诺，复现应区分自己实现的训练脚本与原文系统。推理保持标准纯语音识别解码，不加入大模型后处理，才能公平对比延迟与部署成本。还需补做的验证包括更多语言对、开源候选扩展替代外部接口、自适应门控，以及在不同 backbone 与解码宽度下的稳定性。

何时值得尝试这个方法，如何一句话记住它？

当错误分析显示整体指标尚可但切换点持续出错，且错误听起来像目标词而非完全无关时，这个方法值得尝试。它的适用条件是能离线承担 N-best 解码与大模型扩写成本，并能实现多语言音素归一化与三重过滤；若只能承担直接微调，或切换错误多为整句删除而非局部混淆，收益可能有限。

记住它的方式是回到样本路径：输入音频先得到一批真实解码错误，定位到切换点后只改该处造出更像的错误，再用过滤留下既像音频又足够难的反例，最后训练模型在真值与反例之间做选择。加权是让模型多看切换点，对比是让模型认清切换点的常见错法。论文在两个基准上的最低词错误率与兴趣点错误率支持这一组合，但三重门并非每项全胜、更多负样本也不自动更好，复现时应以质量与对齐为先，而不是一味扩大候选数量。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总