字都对了事还没办成：企业混语语音为何要从答案倒查转写

英文题目：CoSE-E: A Benchmark for Code-switched Speech Evaluation in Enterprise Settings

标签：#语音识别 | #基准设计 | #基准测试 | #代码转换 | #模型评估

评分：8.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Shama Gupta：ServiceNow AI Research
• Hoang H Nguyen：ServiceNow AI Research
• Chelsea Huang：ServiceNow AI Research
• Lindsay Devon Brin：ServiceNow AI Research
• Fanny Riols：ServiceNow AI Research

📌 核心摘要

企业语音代理输入为母语话语中嵌入英语术语的码语转换语音，输出支撑工单路由与政策问答，难点在于转换常发生在实体与技术术语等高信息处并引发转写失败进而传导为任务失败。方法链分三步：先由大模型生成插入式转换文本并经规范化与合成得到1212条语音再经母语语言学家校验，其输出进入以字面转写为基线的评测，其后用语义级误差与问答式任务误差检验下游答案是否改变。与仅用编辑距离度量的已有方法不同，该框架以答案而非字符串评分，对规范化不变并直接对信息密集标记加权，因而能区分表面改写与实质语义破坏。在ES/EN基准任务下，Qwen3-Omni的AER为.027，低于Scribe-v2的AER .033。欧洲语对上语义最难为法语而表面最难为德语的分裂及中文表面误差高但任务误差不高，共同说明字面指标会误判可用性。该结论适用边界受限于朗读式合成语音、句内插入式转换与英语为嵌入语的设定，电话信道、口吃与交替式转换等场景尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://huggingface.co/datasets/ServiceNow-AI/asr_codeswitched — 链接可访问（HTTP 200）

• 第三方资源：https://github.com/pipecat-ai/stt-benchmark — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：企业里为什么一句话会夹英文？

这篇论文的输入是一段企业服务场景的语音，输出是自动语音识别系统给出的文本，以及这段文本能否支撑后面的语音助手把事办成。目标读者是刚进入语音与音频的研究生，目标是把混语识别从只看抄对几个词，推进到看懂错在哪里、错了会不会让工单转错。必须保留的信息包括 5 对语言的构成、1212 条的规模、3 种评价指标的分工、8 个被测系统的对照条件，以及混语代价是用配对单语基线相减得到的增量。

企业混语与社交混语的动机不同。社交混语常与身份与风格有关，企业混语更多是为了解决办事词汇缺位：说话人留在自己的矩阵语言里，把虚拟专用网、发薪周期、工单这类没有稳定本地译法的英文术语直接嵌进来。论文把这种结构记为矩阵语言搭语法框、嵌入语言填内容槽。对初学者可以这样想：整句话的骨架是西班牙语或法语或德语或中文，关键名词突然换成英语，就像中文里说你帮我查一下 payroll cycle，这种词恰恰是路由与检索要用的词。

矩阵语言 × 嵌入语言： 矩阵语言负责一句话的语法骨架与大部分词，决定语序与功能词怎么走；嵌入语言负责插进来的内容槽，多为决定办事的英文术语。两者搭配的理由是企业混语不是两种语言对半分，而是本地语言搭台、英文术语唱戏，组合意义在于评价必须盯住嵌入进来的高信息词是否被完整转写，而不是平均到全句的字面分。

沿一个样本走一遍有助于建立依赖。假设一条法英混语请求说能在新电脑上访问某主机，但要用虚拟专用网配置另一台主机。输入是这段混语音频，表示是声学特征加语言模型共同决定的词序列，组件是识别器先给出假设文本，再由问答管线出题作答比对，目标是三道题的答案是否与用参考文本得到的答案一致，输出是回答错率。字面多错几个字母不一定算失败，但把主机名写坏就直接算失败。这就是后文反复出现的判断：表层错多不等于任务难，任务难集中在少数高信息词上。

已有路线在测什么：会话语料与下游缺位在哪里？

已有的混语语音工作覆盖了很多语对。宽覆盖基准如 SwitchLingua 与 CS-FLEURS 跨几 10 个语对，建模工作常用会话语料如面向普通话英语的 SEAME 与 ASCEND，以及其他语对的各自资源。它们的共同做法是按矩阵语言切分转写，按词错率或字错率打分，评价停在文本层面，语音多来自社交与会话，而不是企业交互。教学例子是：这类工作会告诉你某句抄错了几个词，但不会告诉你工单会不会因此转错部门。

企业侧的特殊性在于错误不是均匀散开的。论文引用企业混语的观察指出，说话人留在矩阵语言、切到英语去说域名与术语，错误会集中在少量高信息词上。最接近的已有企业基准覆盖阿拉伯英语、波斯英语与德英语的商用识别，但按论文报告缺少普通话英语这一不同文字的语对，缺少母语人评审，也缺少端到端下游评价。下游传播本身不是新话题，已有工作在口语问答上展示过识别错会传到问答，相关大模型工作也记录过矩阵语言偏置，但企业混语是否放大传播此前没有被检验。

因此这篇论文的对照是有源的：同输入是混语音频，同目标是转写正确，同监督多为文本转写监督，但运行阶段不同。以往路线停在转写文本即终点，这篇路线把转写当作语音助手流水线的第一环，要求同时报告字面、语义与答案 3 层。这也解释了为什么后文要引入回答错率：不是为了取代词错率的可比性，而是为了补上企业真正关心的后果维度。

要回答的三个问题是什么？

论文把任务拆成 3 个可检验的问题。第一，企业场景的混语基准应该长什么样，才能保证每条都是真混语、覆盖办事流程、且可被母语人认可。第二，在统一的自动语言检测条件下，8 个前沿系统在 5 对语言上的字面与语义表现如何排序，排序是否随指标改变。第三，混语相对单语到底增加了多少错，这种增量在不同语对、不同模型与不同指标下是否一致，以及能传到答案层的错到底是什么错。

形式化上，混语代价被定义为逐条配对的差值，即同一记录编号下混语条件的指标减去单语条件的指标，正值表示混语更难。由于混语没有唯一的正确语言标签，混语条件用不指定语言的识别方式，单语条件用其无歧义的语言标签，这对应部署中两种输入应有的配置。统计上由于差值零膨胀且右偏，论文用双侧符号翻转置换检验均值是否为零，并在每个语言对乘基线乘指标的族内用 Holm 方法控制族系误差，同时给出自助法置信区间。

需要先说明的边界是，论文不把借词与切换分开。像 laptop、payroll、ticket 这类词究竟算已扎根的借词还是临时切换，说话人与语域不同会有分歧，但对识别器与下游助手而言都是非英语框里的英语源内容词，都必须抄对才能办事。论文因此把两者统一标为嵌入英语，后续也不单独拆分分析。这个决定影响复述：不要把嵌入英语都理解为很刻意的语言跳跃，它包括企业里已经很顺口的英文术语。

基准是怎么搭出来的：四阶段各解决什么？

CoSE-E 的全景是 4 阶段流水线，从内部人力资源与信息技术服务管理的平行语料出发，经过滤波、文本生成、音频合成与质量验证，得到 1212 条语言学验证过的混语。5 对语言为西班牙英语、法英语、加拿大法英语、德英语与普通话英语， grounded 在人力资源与服务台流程。数据集当前已公开，可在 Hugging Face 上获取，第三方打分实现基于 Pipecat 的开源语音转文本基准，当前也可访问。

下图是生成管线的总览，先看主路径再看回路才能理解质量控制在哪里收紧。

看图路径： 1. 先从左到右走完四个阶段的主箭头，确认候选过滤到文本生成再到音频合成最后到验证的顺序；2. 再看阶段四回到阶段二的虚线回路，确认不合格样本是再生而不是直接放行；3. 最后核对底部五语对条块的 utterance 数量，加总是否为 1212

论文图 1。原论文 Figure 1:：“Overview of CoSE-E Generation Pipeline”。

从像素可见管线从左到右是 4 个色块：第一阶段候选过滤列出 12 到 40 词、至少 3 个内容词、去掉实体主导文本；第二阶段文本生成写明基于人物设定的提示、矩阵语言加嵌入英文片段、位置与长度多变；第 3 阶段音频合成写明欧洲语对用第二代多语言模型、中文用第三代以保声调与韵律自然；第 4 阶段验证写明母语人评审与自然度、领域适配与语言真实性检查。底部绿色长条汇总 1212 条与五语对数量，西班牙英语 259 条、法英语 298 条、加拿大法英语 188 条、德英语 173 条、中文英语 294 条。阶段四到阶段二有一条虚线回路，标注不合格则再生，这说明验证不是 1 次性盖章，而是不合格就回到文本生成再审。

4 阶段的分工要按学习依赖理解。过滤解决可切换性，保证每条源话有足够词汇材料支撑多种切点，而不是只有一个被迫切点。生成解决自然度，用无约束人物提示而不是硬性模板，因为已有工作发现无约束人物提示更自然。合成解决可读性，先做数字与符号的规范化与口语化，再合成音频，欧洲语对与中文用不同代模型是原文明确的安排。验证解决可转写性，母语人按朗读自然度、文本自然度与与真值一致性打分，凡是按合成音频不可能做到满分、换一种渲染本可以做到的条目会被剔除，从而把音频质量问题与模型能力分开。

三个指标各算什么：从字符串到答案？

词错率是表层基线，比较假设文本与参考文本的字面差异。语义词错率是对有意义错误的刻画，意思不变的表层差异给分，改变意思的错扣分，论文用开源基准适配实现。回答错率是论文主张的企业主指标，做法是三角色大模型管线：出题器从参考文本出三道紧扣关键实体的理解题，作答器分别依据参考文本与假设文本作答，对齐裁判逐题比较两组答案是否语义等价，回答错率就是答案不一致的题目占比。出题与裁判用 Gemma-4-31B，作答用 GPT-4.1，提示词在附录给出，问题固定存入数据集。

词错率 × 回答错率： 词错率负责逐词比对参考文本与假设文本的字面差异，对大小写、繁简、分隔符都很敏感；回答错率负责从参考文本出三道紧扣实体的问题，再分别用参考文本与假设文本作答并比对答案是否一致。两者搭配的理由是前者看抄得像不像，后者看抄错是否影响办事，组合意义在于把化妆式改写与毁灭式改写分开，只把会让工单走错的错记为任务失败。

回答错率有两个被强调的性质。第一是对规范化不敏感，因为打分在答案层面而不是字符串层面，繁简、大小写与切分选择不会直接进入计算。第二是后果感知，因为题目瞄准标识符、技术术语与动作承载词，正是企业语音里信息密度最高、混语最容易破坏的部分。论文用中文繁简例子直接验证：某模型繁转简后词错率下降约一半而回答错率不变，裁判能跨文字恢复答案；字错率高达 2.5 量级的系统，回答错率仍被限制在 0.5 左右。

语义词错率 × 回答错率： 语义词错率负责给不改变意思的表层差异免责、给改变意思的错加罚，仍停留在转写文本层面；回答错率负责把转写送进问答代理，检查关键答案是否还能恢复。两者搭配的理由是语义层与任务层都需要超越字面，而任务层更贴近工单路由与政策检索的成败，组合意义在于形成从字面到语义再到办事的三级标尺，避免只用一层下结论。

对初学者要区分三者的适用条件。词错率适合跨工作比较，因为历史工作都报它。语义词错率适合看意思是否保住。回答错率适合做模型选型，而不是连续监控，因为它计算量大得多，且是任务成功的代理而不是真正的端到端任务完成度。论文明确把实测任务完成留给未来工作，复述时不能把回答错率说成已经测了工单系统真的办成了。

有没有训练：本研究到底计算了什么？

本研究没有训练任何新的语音识别模型，也没有微调被测系统。training 在这里应理解为基准构造与评价 harness 的真实计算过程，而不是神经网络权重更新。需要明确说明未训练哪些模型：8 个被测的识别与音频大模型全部是现成系统零样本调用，评价用的问答模型也是现成大模型按固定温度与采样参数调用，没有报告梯度路径、参数冻结或重置时机，缺项就是缺项，不能从模型名字推定实现。

实际发生的计算有 4 类。第一是文本生成计算，用 GPT-5 按语对替换人物设定中的语言名，从平行矩阵语言与英语话对生成混语文本，温度为 1。第二是规范化与口语化计算，先用确定性脚本处理电话号码、长数字串与短数字的不同读法，再用大模型把缩写、符号与标识符展开成应读形式，附录给出单语与混语的不同提示，且技术字符串的分隔词统一用英语读法。

第三是语音合成计算，用 ElevenLabs 多语言第二代做欧洲语对、第三代做中文，每语选 1 男 1 女共 10 个声音并经母语人验证，音频为 24 kHz 16 位，男女各半。第四是评价计算，包括词错率、语义判断与 3 阶段问答管线的多次调用，以及置换检验、自助区间、Friedman 检验与两段式回归。

随机性控制按原文交代。出题固定存入数据集，真值答案生成 1 次后固定。裁判单独重跑 3 次的非一致率在 0 到 0.5% 之间，作答重采样后再过裁判的非一致率升到 0.7 到 1.0%，说明管线不稳定主要来自作答而不是裁判。人类验证显示每题能否从参考话中找到答案的通过率集中在 97.5 到 99.8%，一致性系数在 0.978 到 0.991 之间。这些数字是理解后文显著性是否可信的基础。

测了谁、在什么条件下测：数据与解码如何对齐？

数据侧是 1212 条全混语记录，单语含量为零，这与对照语料含 3.2 到 67.3% 单语形成对比。欧洲 4 对的每话切换数约 4.9 到 6.9、混合指数约 0.26 到 0.33，中文对较低，每话约 2.86 次切换、混合指数约 0.10，论文解释为大陆普通话英语以插入单个英文内容词为主，企业场景尤甚。话长跨语对可比，中文字符数因文字不同不可直接比长度。问题验证的人工通过率与一致性已在上一节交代，音频验证保证保留条目理论上可被完美转写，从而隔离音频质量。

被测系统覆盖专有与开放权重 8 个模型，解码全部模拟企业部署的自动语言检测，即不传语言参数。这一点对复现至关重要，因为混语没有唯一语言标签，指定单一语言会改变任务。下表是各系统的人工核对配置，读表时注意语言设置列几乎都是省略或自动检测，而不是指定语种。

上表提出的问题是各系统是否在同一语言识别条件下被调用，公平条件是不传语言标识、其余用默认或表中列出的解码参数，指标方向在识别阶段尚未涉及好坏，只看配置是否一致。主要信息是 AssemblyAI 开启语言检测、Scribe 省略语言码、Whisper 省略语言且不翻译、Voxtral 温度为零、Nova 用多语言模式加智能格式、Parakeet 用默认、Gemini 温度零加固定种子、Qwen 温度零。代价是这种统一并不完全等价，因为各家对自动检测的实现不同，但论文认为这正是部署现实。未胜出项在这里不是某个模型，而是任何试图给混语指定单一语言的做法，后文 Whisper 的失败会证明这一点。

合成声音的配置同样需要核对，因为它决定结果是上限还是常态。下表列出 10 个声音与模型代次，读表时注意中文单独用第三代。

上表提出的问题是合成是否引入性别与代次偏置，公平条件是男女声交替各半、欧洲语对统一第二代、中文统一第三代，指标方向是自然度与声调准确性越高越好。主要收益是中文用第三代保声调，代价是单一厂商合成带来厂商偏置，论文在局限中承认 Scribe 可能受益于同厂合成特征，未来需多厂商合成。反例是这批音频不含电话带宽、口吃与背景噪声，因此报告的数字是部署质量的上界，不能直接当作上线承诺。

人类验证的可靠性由下表支撑，读表时注意中文只有 2 名标注者，其余 3 名。

上表提出的问题是回答错率的题目本身是否可答，公平条件是标注者独立判断每题答案是否扎根于参考话、互不见对方结论，指标方向是通过率与一致性越高越好。主要收益是通过率全部在 97.5% 以上、一致性在 0.978 以上且无语言离群，支持把这些题目当作下游计算的可靠基础。代价是高通过率不等于题目覆盖了所有办事关键，只是说明出的题是可答的，题目是否瞄准最重要的实体仍依赖出题提示的设计。

谁在哪对语言上更好：字面与答案的排序为何分叉？

主结果在 8 模型乘五语对上同时报告词错率、语义词错率与回答错率，中文词错率用结巴分词的词级平均，字错率另报且量级不可比，所有中文输出先做繁转简。粗看分 3 层：Scribe、Gemini 与 AssemblyAI 在字面顶层，中层为 Qwen、Voxtral、Nova 与 Parakeet，Whisper 因把混语当单语翻译而垫底。但回答错率会重排中层，例如西班牙英语上 Qwen 字面第六而答案第一，比 Scribe 低约 18%。顶层四者在回答错率上经 Holm 校正后两两无显著差异，且跨片段一致性从字面的 0.23 跌到答案的 0.03，说明模型在不同片段间频繁换位，最优系统依赖目标语对。

语对难度也随指标分叉。在 4 个拉丁文字语对上，语义与答案一致认为德英语最易、法英语最难，西班牙英语居中；字面则认为西班牙英语最易、加拿大法英语最难，德法互换两端。论文的机制解释是德语攒的是形态、复合与大小写等表层词形错，拉高字面但很少碰任务实体，法语错得少但落在要紧内容上。中文把这一课放大到更大尺度：在 5 模型均衡设计里中文在字面与语义上最难，但在答案上不再最难，法英语反超它，因为中文大量表层错散在词形、切分与规范化上，而不是集中在后果内容上。

语码混合指数 × 切换次数： 语码混合指数负责刻画整句两种语言用量有多均衡，数值越高表示混合越深；切换次数负责计数一句话内语言交替发生了几次，直接对应解码器要跨越边界的次数。两者搭配的理由是均衡不等于碎片，一句可以很均衡但只切一次，也可以不均衡却切很多次，组合意义在于回归时同时放入两者才能判断是总量在作怪还是切点本身在引入错误。

下图把混语相对单语的增量按三行两列展开，是理解代价从字面到答案逐层变矮的关键。

看图路径： 1. 先按行对比词错率、语义词错率、回答错率三行的柱高，确认代价是否逐行变矮；2. 再按列对比以英语为基线与以非英语为基线的左右两半，确认右侧回答错率是否大面积归零；3. 最后盯住中间法语与右下中文深色柱，确认哪对语言在哪个指标上最突出

论文图 2。原论文 Figure 2:：“Mean per-utterance code-switching cost, Δ=m(cs)-m(mono); positive values indicate code-switching is harder.”。

从像素可见 6 个子图按行分为词错率、语义词错率、回答错率，按列分为对英语单语与对非英语单语。顶行柱普遍为正且多带星号，中行变矮，底行大量归零，尤其右下对非英语基线的回答错率几乎全空，只有中文 Qwen 一格显著为负。颜色上绿色法英语在多处最高，紫色中文在左列顶行突出但在底行消失。横轴左侧为顶层三者加 Qwen 等，右侧为中层，柱上星号为置换检验显著性，须线为自助区间。这张图不支持把字面增量直接读成任务增量，它显示的是显著组合占比从 63% 到 50% 再到 15% 的衰减，以及约八成话在语义与答案层完全不变。

实体传播的定量结果由下表给出，它是结果小节必须呈现的数字结果表，包含两种实际可运行的基线对照。

上表提出的问题是混语引入新的关键实体错后，下游答案变差的概率上升多少，公平条件是按记录编号内连接配对、排除 Whisper、两种单语基线分别计算，指标方向是条件概率越高表示传播越强。主要收益是传播率稳定在 8 倍左右：英语基线从 5.4% 升到 44%，非英语基线从 5.2% 升到 39%，风险比分别为 8.3 与 7.6。代价与反例是实体错本身的发生率依赖基线，对非英语基线新增实体错更少、总体实体错甚至下降，但一旦发生则传播率不变；化妆式改写如大小写变化不改变答案，而主机名损坏如把 host-2854 写成 host2win54 则每次都翻转答案。这说明字面把两种改写同等计数，答案只记毁灭式改写。

关键实体 × 任务失败： 关键实体负责承载办事必需的精确值，包括主机名、工单号、网址、邮箱与电话等，错一个字符就可能无法执行；任务失败在这里负责指回答错率判定的答案不一致，即用假设文本答不出与参考文本相同的事。两者搭配的理由是企业语音的价值集中在少数词上，组合意义在于把转写错误定位到是否击穿实体，从而解释为何大量字面错不致命而少数实体错必然致命。

拿掉混语会怎样：增量在何处显著、何处消失？

混语代价的消融按模型乘语对乘基线逐格检验。字面层显著正增量占 63%，强系统增量约 0.02 到 0.05，中层可达 0.07 到 0.10。语义层显著占比降到 50%，答案层只剩 15%。语对上法英语最贵且最一致，三指标分别在 10/14、13/14、4/14 格显著；德英语字面贵而语义平、答案为零，说明错可恢复。

西班牙英语居中；中文在混语与单语间变化小，论文假设与其切换数与混合指数较小有关，属待验证解释。

两段式回归进一步问混合指数、切换次数与话长是否预测错误。A 部分用逻辑回归预测是否出错，B 部分只在出错话上预测错得多大。混合指数的比值比几乎全在 1 附近且不显著，32 格仅两格显著且方向不一致，支持混合均衡度本身不预测错误发生。切换次数只在法英语稳健，7 模型中 6 个显著，控制话长后仍成立；其余语对零散，中文全不显著。话长在 B 部分主导幅度，但部分是词错率按话长归一化的定义性后果，不能读成混语效应。

Whisper 需要单独处理，因为它不是增量大而是模式不同。下图只画 Whisper 的 6 个子图，纵轴量级与其他模型不在一个世界。

看图路径： 1. 先确认横轴五语对与纵轴三指标六个子图的布局，再看中文柱是否在每行都显著更高；2. 再对比左右两列英语基线与非英语基线的柱形是否同向，确认这不是基线选择造成的假象

论文图 4。原论文 Figure 4:：“Mean per-utterance code-switching cost for Whisper-only”。

从像素可见左右两列仍为两种单语基线，行仍为三指标，但紫色中文柱在每行都高耸，词错率增量达 2.5 量级，语义与答案增量也达 0.4 以上，其余语对柱矮得多。所有中文柱与多处欧洲柱带星号，说明这不是抽样噪声。原文解释是未指定语言时 Whisper 检测单一语言并把其余部分译成英语，而不是转写混语，导致与参考文本整体偏离。复述时必须写这是解码模式失败，而不是更大的同类混语代价，主分析因此将其排除并另附说明。

哪些结论不能推广：合成、覆盖与裁判的边界？

合成音频是第一个边界。全部音频来自单一厂商的文本转语音，不含电话带宽、口吃与背景噪声，报告结果是部署质量的上界。单一厂商还带来偏置风险，同厂识别器可能熟悉同厂合成特征，论文明确承认并把多厂商合成列为未来工作。复述时不能把当前数字当作真实客服电话线的承诺。

覆盖是第二个边界。基准只有 5 对语言且嵌入语言全是英语，只覆盖人力资源与服务台两个垂直领域，其他大语对如印地英语、阿拉伯英语、他加禄英语，以及金融与医疗等领域不在范围内。只有普通话提供非拉丁文字，跨语对比较涉及中文时会把文字类型与模型能力混在一起，论文因此多处把中文当作独立切片报告。语内也只限句内插入式切换，交替式与跨轮切换不在内，借词与切换不拆分。

评价 harness 是第 3 个边界。回答错率是基于大模型的问答代理，不是端到端任务完成，换裁判配置排序可能移动。随机性研究只界定了报告尺度下的噪声下限，没有排除系统性裁判敏感。计算成本也显著高于词错率，适合模型选型而不适合连续监控。评价时点是 2026 年中的现成系统零样本快照，不测针对性微调与上下文偏置的效果，论文预期可推广的是定性模式而非绝对数值。

要复现先做什么：数据、解码与打分的三件套？

先拿数据与代码。数据集当前已公开，第三方打分实现当前也可访问，按论文给出的地址获取后先核对五语对条数与全混语约束，再核对每条是否附带三道英文问题与参考答案。不要自己重新出题，否则回答错率不可比。中文打分前必须做繁转简，否则词错率会被文字变体虚高，论文报告某模型转换前后从 0.167 降到 0.090 而语义与答案不变。

再对齐解码条件。8 个系统一律不传语言标识，用自动检测，其余参数按上文配置表设置，温度为零的设零，需要多语言模式的设多语言。单语基线要按记录编号配对重跑，混语用语言无关配置、单语用无歧义标签，人工检查音频与真值是否匹配后再算差值。统计用双侧符号翻转置换 10000 次，在每个指标乘语对乘基线族内做 Holm 校正，并自助得到均值差的区间。

最后核对聚合口径。词错率是逐话平均，中文用结巴词级，字错率只看字符级且不与词错率比大小。语义判断与回答裁判的模型与温度要与原文一致，裁判重跑的非一致率应落在千分之几量级，否则先查提示词与版本。实体分析要内连接配对、排除 Whisper，按标识符、邮箱、网址、电话等分别看实体词错率，再算引入实体错后答案变差的条件概率，复现出 8 倍左右的传播才算对齐。

何时值得用这套方法：给新手的三句判断？

当你的语音助手要处理本地语言加英文术语的请求，且失败代价是工单走错或政策答错时，值得用这套 3 层评价做选型。只看词错率会误判：德语的便宜表层错会被高估，法语的要命错会被低估，中文的大量规范化错会被误读为能力崩塌。回答错率的价值在于把化妆式改写过滤掉，只留下击穿实体的错，而实体错一旦发生答案变差概率上升约 8 倍，这一关系在两类基线与各语对上都稳定。

使用时记住 3 个适用条件。第一，混语增量必须相对配对单语基线报告，直接报绝对值无法回答是不是混语造成的。第二，切换次数只在部分语对预测错误发生，混合指数几乎不预测，不要把混合越深越难当作通用规律。第三，Whisper 类的翻译模式失败要单独诊断，指定语言或换解码模式后再比，否则会把模式错当成分值差。

还需补的验证是真实人声与电话信道下的复测、多厂商合成下的偏置检验，以及从问答代理到真实工单系统的端到端闭环。只有补上这些，才能把当前的上界数字变成部署承诺。在此之前，最稳妥的复述是：混语代价真实但多在表层，任务失败稀少但集中在关键实体，而答案层是企业选型更可靠的标尺。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-30 语音/音乐/音频论文速递