用可验证奖励把语码切换听写拉回原语言：CER 与书写系奖励的分工

英文题目：Reinforcement Learning for Data-Efficient Code-Switched ASR

会议身份：conference:interspeech:2026:conference-paper-id:ye26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#强化学习 #低资源 #多语言 #零样本 #语音识别

评分：6.8/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Ziwei Ye：机构信息未能从会议 PDF 纯文本可靠映射
• Peter Vickers：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

代码切换识别输入为混合双语语音与语言对格式约束，输出为保留原语言跨度的转写文本，难点是边界语言混淆、整句英译、仅保留英语片段及异体书写系统污染。区别于低秩适配监督微调的词元级交叉熵，该方法以组相对策略优化做可验证奖励学习，对每输入采样多候选并以负字符错误率加书写保真奖励组内标准化求优势，再用裁剪替代目标加相对参考策略的KL正则更新，保真奖励仅当字符全属双语允许脚本并集时给固定系数。训练期做两遍草稿精修，首遍采样更新后取奖励最高草稿，与原音频共同构造第二遍提示再采样更新，测试时仍用单遍贪婪解码。在CS-FLEURS人工朗读测试集上20%数据精修模型宏平均字符错误率为0.134、微平均为0.147，优于100%数据低秩适配监督微调的0.138/0.159；10%数据已达0.138/0.155，基本持平全量监督微调。增益集中在阿拉伯语、日语、俄语等类型距离远的语言对，欧洲近缘对、中文对和韩语对仍由低秩适配占优，阿拉伯语精修在两个评测集上均恶化约0.07。零样本迁移到80小时以上人工录制多轮对话SwitchLingua上20%模型仍以0.229/0.219超越全量监督微调的0.265/0.246，但绝对误差更高。原文定位为可复现试验台而非追求最优性能，承认低字符错误率区间监督微调更强与字符错误率误罚表面形式差异等问题。该结论适用边界受限于朗读与对话评测场景，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出要保留什么？

这篇论文研究的输入是一段混用两种语言的语音，加上用文字写明的语言对上下文，例如音频里混着日语和英语，以及要求把转写放在特定标签里的格式约束。目标输出是逐字的听写文本，要求两种语言各自保持原来的语言和原来的文字系，在切换边界处既不把中文译成英文，也不把阿拉伯语或日语写成不相关的文字。必须保留的信息包括原音频的声学内容、参考转写、语言对说明，以及论文用来判定好坏的两个量：字符错率越低越好，错文字系样本占比越低越好。

对刚入门的读者，白话先行：语码切换识别就是听懂一句话里中英混说并原样写下来；可验证奖励强化学习就是不用人逐句打分，而是用参考答案自动算分再教模型；组相对策略优化就是 1 次采样多个候选并在组内比高低；书写保真奖励就是检查字符是否写错了文字系。论文不追求刷到最强绝对性能，而是把公开的语音语言模型当作可复现的试验台，研究奖励设计与数据效率如何相互作用。

学习路径是先弄清任务与已有路线，再看方法全景，然后拆开奖励与两遍流程的计算，再讲训练与评测条件，最后用主结果、消融与失败案例收束到复现动作。教学用的例子会明确标为例子，不把例子里的数字当作论文报告的数字。

同输入同目标的已有路线卡在哪里？

同输入同目标的路线是语码切换语音识别，它要同时建模声学与快速变化的语言先验，困难集中在语言混淆与标注稀缺。论文回顾了加入显式语言标签信号与语言感知的解码，以及把多语基准扩展到语码切换对的做法。另一条同运行阶段的路线是指令跟随的语音大模型，它用语音编码器接大语言模型解码器，能通过提示控制输出，但在自回归解码中仍用词级交叉熵训练，不直接优化字符错率这类序列级指标，并受曝光偏差影响。

同监督形态的路线是序列级目标与最小词错率、最小贝叶斯风险等传统方法，强化学习只是把自动可查的正确性信号拿来直接优化。论文把自己定位为把可验证奖励做法搬到语码切换听写，并用组内归一避免显式价值函数，同时期的单语识别与音频问答工作被列为并行探索。已有工作说明提示能控制格式，但不能保证切换边界不混淆，这正是本文要用奖励补上的缺口。

需要区分的是类别差异不等于同条件胜负：提示基线、监督微调与强化学习在数据量、更新参数与优化目标上都不同，后文比较时会保留各自的实际运行条件，不把类别不同直接读成方法优劣。

切换边界为什么是主要矛盾？

论文把问题写成给定音频、语言上下文与参考转写，模型按策略产生假设，目标是同时提高转写准确率与切换保真度。基座模型在结构化输出下表现出普遍的文字系污染，即输出里出现与语言对无关的书写系字符；在人工录制集上，非拉丁文字样本里有接近 20% 的样本含错文字系字符，日语与阿拉伯语更高。更严重的是单遍解码会过早进入错误的语言模式，在人工集上超过三成的非拉丁样本被整体译成英文，超过三成的语码切换语句只保留英文部分。

下面这张官方示例图把矛盾具体化，读图时先看参考行的中英混合写法，再看基线如何把整句翻译从而丢失切换：

看图路径： 1. 先读参考行确认中文字符与英文插入词共同构成一句混合转写；2. 再对比仅格式基线把整句译成英文从而丢失切换框架的行；3. 最后看全量监督微调仍把中文译成英文而强化学习版本完整保留中文与英文边界的行

论文图 1。原论文 Figure 1：“Chinese-English code-switch sample in SwitchLingua”。

这张图展示的是中文与英文混合的一句参考，例如中文语境中嵌入英文词 fascinating。仅格式基线把中文部分整体译成英文，字符错率高达 1.81；即使全量监督微调仍把中文译成英文，字符错率仍为 1.33；而带奖励的强化学习版本完整保留中文字符与英文插入词，切换边界正确，字符错率为 0.00。例子只用于理解错误形态，不代表所有语言对都有同样幅度的差距，具体差距要看后文按语言对拆开的表格。

方法全景：一次训练迭代走完两遍

方法全景可以沿一个样本走一遍。输入是音频、语言对提示与参考转写。第一遍从当前策略采样多个草稿转写，用奖励函数逐个打分，在组内算优势并做 1 次策略更新，选出奖励最高的草稿。第二遍把原音频、最优草稿与语言上下文拼成新的提示，再采样一组改写，用同样的奖励函数打分并做第二次更新。测试时只做单遍贪心解码，不做改写。

奖励函数由两部分组成：负字符错率提供内容级惩罚，翻译整句会因编辑距离大而得低分；书写保真项是二值加分，只有当输出全部字符落在两种语言允许的文字系并集内才给分，权重取 0.05，标点数字与空白恒许。由于组内归一，只有当同组候选在文字系干净程度上出现差异时，该加分才会影响优势。另有一个全配置共享的格式奖励，要求把转写放在答案标签内。

这个安排的理由是原文明确给出的：字符错率能消灭翻译，书写奖励单独压制文字系污染，两遍流程提供纠正第一遍文字系错误的机会。是否真能分工，要看消融中翻译率与错文字系率的分开变化。

奖励如何计算：字符错率与文字系检查的分工

先讲字符错率奖励。做法是把假设与参考都转小写、去掉标点与空白，再算编辑距离除以参考长度。直觉是若把中文整句译成英文，编辑距离会很大，奖励为负且很低，组内比较时会被压低概率。论文报告仅字符错率奖励就几乎消灭翻译错误，这支持该分工判断。

再讲书写保真奖励。做法是查每个字符的统一码文字系，若存在任一字符不属于两种语言允许的集合，则该样本判为污染，奖励不加分；全部干净才加 0.05。评估时的错文字系率定义为含任一不允许文字系字符的样本占比，正好是训练奖励的评估对应物。论文报告加上该奖励后错文字系率大幅下降且字符错率不恶化，这支持书写奖励独立起作用。

语码切换识别 × 可验证奖励强化学习： 语码切换识别负责把一段混用两种语言的语音逐字转写并在切换边界保持原语言原文字， 可验证奖励强化学习负责在没有人工打分时用参考文本自动算出序列级分数并据此调整策略， 二者搭配的原因是交叉熵只教下一个词而切换边界最需要整句对错信号， 组合后模型直接为整句字符错率和文字系正确性而优化。

字符错率奖励 × 书写保真奖励： 字符错率奖励负责衡量假设与参考之间的编辑距离并把翻译式整句改写打低分， 书写保真奖励负责检查输出字符是否全部落在两种语言允许的统一码文字系集合内， 前者管内容是否被翻译走样而后者管字形是否被污染， 组合后翻译错误与错文字系错误被分开惩罚且论文报告二者不互相拖累。

需要提醒初学者：0.05 的加分本身很小，它只在组内归一后改变相对排序，不是在绝对值上主导奖励。拉丁语系对上它还通过规范表面形式间接改善字符错率，但论文也举例说明现有评测把七十公里与 70 公里判为不同，这类规范化问题需要更好的评测指标，不能全怪给奖励。

策略如何更新：组内比较与双遍条件

组相对策略优化的计算目标是让组内高分候选相对低分候选更可能被采样。实现上对每个输入采样多个候选，组内做标准化得到优势，高于均值得正优势，低于均值得负优势，再用带裁剪的重要性比与相对参考模型的散度正则做更新，防止分布坍缩。论文冻结音频编码器，只更新大语言模型解码器，其中强化学习更新全部解码器参数，而低秩基线只更新低秩适配器。

双遍的条件构造是关键细节：第二遍的提示包含原音频与最优草稿，采样的是改写而非独立重写，奖励函数不变，不引入外部纠错信号。训练时两遍模型跑较少轮数但每步 2 次更新，单遍模型跑更多轮数以拉平梯度更新次数，评估统一用单遍贪心解码。原文未报告梯度是否在草稿选择处截断等更细路径，此处不猜，只按原文说两遍各有 1 次基于组奖励的更新。

组相对策略优化 × 双遍起草改写： 组相对策略优化负责对同一条语音采样一组候选并在组内做零均值优势归一从而不用学价值函数， 双遍起草改写负责先采样草稿并更新 1 次再以最优草稿加原音频为条件采样改写并第二次更新， 前者提供相对偏好学习信号而后者提供自我纠正的训练情境， 组合后模型在 1 次训练迭代里同时学会转写与再听修正。

提示控制 × 序列级优化： 提示控制负责用语言对说明与格式约束告诉语音语言模型当前混用哪两种语言以及把答案放在何处， 序列级优化负责在解码完成后按整句奖励增减整句概率而不是按词惩罚， 前者给出可控的输入条件而后者给出与评测一致的学习目标， 组合后提示的语言边界信息才能真正转化为边界处更少混淆的解码行为。

合成训练语音 × 人工录制迁移测试： 合成训练语音负责以可控成本提供大量带语码切换标注的训练音频， 人工录制迁移测试负责检验学到的边界保持能力是否超出合成声学分布， 前者解决标注稀缺而后者检验跨域稳健性， 组合后数据高效的结论才不只停留在合成集上。

一个常见误解是把两遍训练等同于测试时两遍解码，论文明确测试时与其他模型一样只做单遍，因此训练期的改写能力必须内化到单遍参数中，而不是靠测试时多次尝试。

训练做了什么，没有训练什么？

训练确实存在，且只在合成语码切换语音上进行。基座是公开的语音语言模型，含语音编码器与大语言模型解码器，以半精度运行。音频编码器在强化学习与监督微调中都冻结，只有解码器侧更新。强化学习用分布式零冗余优化在多卡上训练，每提示采样 8 个候选，温度为 1.0，最大长度 512，每设备批量为 1 并累积多步，学习率恒定为很小的值。两遍模型训练较少轮数，单遍模型训练更多轮数以对齐更新次数。

没有训练的是音频编码器与从零开始的声学建模，论文也不重新训练合成器或对齐器。监督基线用低秩适配器在全量合成训练集上训练多轮，批量与学习率与强化学习对齐。数据采样上从合成训练集中按固定随机种子抽取 10% 约两千余条或 20% 约四千余条，覆盖 10 个语言对，实验重复 3 个相同随机种子以报告均值与波动。

资源与信息条件要分开记：训练资源是卡数与步数，推理开销是单遍贪心解码，输出质量用字符错率与错文字系率衡量，三者不能互相替代。原文未报告延迟与误判率的直接测量，因此不能承诺延迟改善。

在什么数据与指标上比，条件是否一致？

数据分三块。训练用合成集的训练划分，由文本经对齐后替换三成内容词生成语码混合文本，再用多语合成器生成语音，规模上 100 小时。域内评估用同一体系的人工朗读测试集，含十余个与英语混合的语言对。跨域零样本评估用另一套人工录制的多轮对话语码切换集，论文只取基座模型支持的 8 个语言对，排除不支持与标注有问题的语言对。文本归一化去掉统一码标点，比较前统一小写并去掉标点与空白。

基线保留了实际可运行的策略：仅格式提示基线只学把答案放进标签，没有转写质量信号；低秩监督微调在全量合成数据上训练，作为监督在该规模下能达到的上界。强化学习只用 10% 或 20% 数据。指标方向明确：字符错率越低越好，同时报告宏平均与微平均，因为参考长度不同时二者会分叉；错文字系率越低越好，定义为含不允许文字系字符的样本占比。

比较的公平条件是同一基座、同一冻结范围、同一评估解码方式，差异在于数据量、更新参数量与优化目标。论文同时报告多种子均值与括号内的错文字系率，便于判断波动而非只看单点。

主结果：少数据能否追平全量监督？

要回答的核心问题是：在合成数据上训练的模型，能否在人工朗读与人工录制对话上以少数据追平全量监督。指标方向是字符错率越低越好，错文字系率越低越好。公平条件是同基座、同冻结编码器、同单遍贪心评估，强化学习用 10% 或 20% 数据，监督用全量数据。

上表比较的是论文直接报告的微平均字符错率与数据用量，强化学习配置均含两遍改写与书写保真奖励。表后解释必须同时讲收益与代价：收益是 20% 数据在两个人工集上都低于全量监督的微平均字符错率，且 10% 数据已能追平或超过全量监督；代价是强化学习单步要采样多个候选，单步耗时远高于监督，尽管总步数少得多，总耗时仍可能更高。

未胜出项是欧洲语言对与中文英文、韩文英文等字符错率已低于 10% 的对，监督仍有优势，而强化学习的最大增益集中在类型距离远的阿拉伯、日语、俄语与英语混合对。总体趋势不等于每对都成立，后文失败分析会点名阿拉伯语改写反而变差。

奖励与改写各自修了哪类错误？

消融要分开两类错误：翻译率指非英文部分被写成英文的比例，错文字系率指出现无关书写系字符的样本比例。比较链是基线、只加字符错率、再加改写、再加书写奖励，观察对象是非拉丁文字样本。图前导读是：先确认 4 组柱子的图例与 2 个数据集，再看翻译柱与文字系柱如何分开下降。

看图路径： 1. 先按图例区分翻译率与错文字系率以及两个数据集的四组柱子；2. 再看从基线到只用字符错率奖励时蓝色翻译柱大幅倒下而红色错文字系柱几乎不动；3. 最后看加入书写保真奖励与改写后红色柱才明显降低

论文图 2。原论文 Figure 2：“Translation and wrong-script rates across the 10% RLVR ablation chain on non-Latin-script samples.”。

这张柱状图显示基线在 2 个数据集上的翻译率最高，加入字符错率奖励后蓝色翻译柱几乎倒到零，而红色错文字系柱几乎不动；只加改写不加书写奖励时，合成集的错文字系率有所下降但人工集改善不明显；只有再加入书写保真奖励，2 个数据集的红色柱才大幅降低。像素不能精确读出的具体步数不硬写，结论以原文报告的百分比为准。

上表把翻译与文字系错误分开，支持的判断是字符错率奖励消灭翻译但修不好文字系污染，书写奖励在不损害字符错率下把人工集错文字系率压到约 10%、合成集压到约三成原水平。反例是改写本身在人工集上不改善平均字符错率与错文字系率，按语言对拆开看多数对改善但阿拉伯语在两集上都明显变差，说明第二遍会在文字系边界最模糊的对上过纠，需要书写奖励约束。拉丁语系对上书写奖励还通过规范表面形式间接改善字符错率，但这也暴露评测对数字与单位写法敏感的局限。

哪些地方会失败，边界在哪里？

论文用胜负样本对比指出了双向失败。当强化学习胜出时，监督常把语码切换片段译成单一语言，字符错率可高于 0.8，而强化学习保持边界，字符错率可低于 0.15，优势集中在阿拉伯与英语、日语与英语等对。当监督胜出时，强化学习会出现乱码或丢掉精确技术词，而监督能忠实复现；在接近完美的区间，监督达到低字符错率的样本比例更高，而强化学习在灾难性高错率区间的样本比例更低，这与强化学习优化期望奖励而非记忆单个样本是一致的，但属于有限解释而非因果证明。

未评测与负结果要明确写出：改写在阿拉伯语对上持续损害平均指标；韩语与中文对上监督仍占优；人工对话集整体字符错率高于人工朗读集，反映长时多轮录音更难；拉丁语系欧洲对的优势仍在监督一侧。缺失证据不是技术错误，但未测量延迟、误判率与真实部署成本时，不能承诺这些量同步改善。相关性不等于因果，类型距离远的对增益大只说明切换更难处奖励帮助更大，不证明类型距离本身导致增益。

上表整理的是训练与部署成本，支持的判断是强化学习用更少数据与更少梯度步数达到更好精度，但单步采样成本高，总耗时并不总是更少。限制是原文只给卡数与步数层面的预算，没有给出端到端延迟与实际帧率，因此训练资源、推理开销与实际延迟必须分开讨论。

复现先做什么，需要哪些超参数与信息条件？

复现的第一步是固定基座与冻结范围：从公开的语音语言模型出发，冻结语音编码器，只更新解码器侧，强化学习更新全部解码器参数，监督基线只加低秩适配器。信息条件必须保留语言对说明与格式约束的提示写法，以及测试时统一用单遍贪心解码，否则两遍训练的增益无法公平衡量。

第二步是复刻奖励：先实现小写去标点去空白后的字符错率取负，再实现统一码文字系白名单检查，干净才加 0.05，标点数字空白恒许，并保留全配置共享的答案标签格式奖励。组内优势必须在每组 8 个候选内标准化，高于均值为正，低于均值为负，再配合裁剪与散度正则更新。采样温度、最大长度、批量累积与恒定小学习率按原文设置，数据按固定种子抽取 10% 与 20% 并重复多种子。

第三步是先在合成训练集上跑通，再到人工朗读集评域内，到人工对话集评零样本迁移，并同时报告宏平均与微平均字符错率以及错文字系率。关于可用性，证据中没有完成超链接状态验证的资源，因此不得声称代码模型或数据已公开，只能写本次未能确认可达，需要补做的验证是按论文引用的数据集名称与模型名称自行检索并记录版本与划分。若复现中阿拉伯语改写变差，应优先检查书写奖励是否生效，而不是一味增加改写轮数。

何时值得尝试这个配方？

当任务是混语听写且必须原语言原文字输出、当标注稀缺只能负担一 20% 合成数据、当基座模型已能跟随格式但在切换边界频繁翻译或写错文字系时，这个配方值得尝试。做法是先用字符错率奖励把翻译压住，再用书写保真奖励把文字系污染压住，最后用双遍起草改写提供自我纠正的训练信号，且评估必须把翻译率与错文字系率分开看。

当数据已充足且语言对集中在欧洲语言、或对近乎完美的逐词精度要求极高、或训练预算只允许低秩短时训练时，应优先考虑全量监督，因为它在低错率区间的完美转写比例更高且单步更快。跨域迁移的结论目前只支持从合成训练到人工录制的两个测试集，不支持推广到任意口音、远场或多轮重叠语音，仍需补长时对话与更多语系的验证。

一句话收束：少数据追平全量监督的证据成立，但成立条件是奖励分工明确、评估分开计量、代价按训练与推理分别记录，脱离这些条件谈高效都会误读论文。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总