📄 说话代替打字会丢多少分：SEA-HELM Audio 的语音链路评测解读
英文题目：SEA-HELM Audio: Evaluating Multilingual ASR-LLM Pipeline Performance Across SEA-HELM Subsets
评分：6.0/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Yixian Tan：机构信息未能在本次解析中与作者逐人可靠绑定
- Aulia Adila：机构信息未能在本次解析中与作者逐人可靠绑定
- Jonathan Heng：机构信息未能在本次解析中与作者逐人可靠绑定
- Kunat Pipatanakul：机构信息未能在本次解析中与作者逐人可靠绑定
- Donghang Wu：机构信息未能在本次解析中与作者逐人可靠绑定
- Anocha Sutaveephamochanon：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
这项工作要回答文字基准如何变成语音评测，以及用户用说话代替打字会在东南亚多语言任务上损失多少准确率。输入是SEA-HELM的文字提示，输出是同一提示经朗读、识别、作答后的任务得分，难点在于转写错误会改动题干中的关键约束。语音合成以提示中可说内容为输入朗读生成音频且不读出答案钥匙，与被测系统无关的同一音频直接作为待测自动语音识别的输入被转写为文本。转写文本与原始文字分别送入同一大语言模型作答，两种回答再交由同一规则验证器打分得到语音准确率与文本准确率，两者差值记为语音差距，转写质量另用词错误率和字错误率衡量，从而区分改动了多少字和对任务影响多大。与用英文真人录音的已有语音评测不同，该框架保留了SEA-HELM的本地表达和多语言验证器。在SEA-HELM IFEval泰米尔语评测中，以ElevenLabs v3合成语音为输入、每轮105个样本时，MERaLiON3-ASR-3B搭配SEA-LION-4.5-27B的语音准确率为47.62，低于同一模型文字直接作答的文本准确率87.62，两者相差40.00个百分点，说明指令跟随对转写改动很敏感。该结论仅适用于已实测的Global-MMLU-Lite选择题与IFEval指令跟随及中、英、马来、印尼、泰米尔语合成语音条件，SEA-HELM NLU问答与Safeguard拒绝任务仍列为未来工作，真人发音与更多口音尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音智能体要回答什么输入，要交付什么输出
这篇论文研究的是级联式语音智能体的可靠性问题。输入是用户用自然语言说出的一条任务提示，例如一道四选一常识题，或者一条带有格式和语言要求的写作指令。输出是大模型针对这条提示生成的回答，并由程序判定是否正确。必须保留的信息包括题干的关键实体、选项内容、指令中的约束词和期望回答语言。评价目标不是语音听写得像不像，而是听写误差是否改变了任务结果。文本直答成绩被当作上限，语音路径成绩与它的差值就是用户选择说话而不是打字所付出的准确率代价。
SEA-HELM × SEA-HELM Audio： SEA-HELM 是只提供文字提示和程序化评分器的东南亚多语言文本评测，SEA-HELM Audio 是在它之上加的一层语音评测框架：把同一条文字提示先合成为语音，再经过待测语音识别转写后交给大模型作答，用同一评分器打分，两者搭配才能把打字成绩和说话成绩放在同一尺度下比较，多出的是对语音前端代价的度量。
已有语音评测与 SEA-HELM 文本评测各缺了什么
论文把两条已有路线放在一起比较。第一条是以 VoiceBench 为代表的语音模型评测，已经包含语音识别、推理和指令遵循等口语输入任务，但主要在英语下评测，对东南亚语言、口音和文化语境覆盖不足，也难以说明转写误差如何改写任务关键信息。第二条是 AI Singapore 的 SEA-HELM，它提供各语言的真实提示和程序化评分器，覆盖区域语言，但原生只有文字提示，没有配套音频，无法直接评语音链路。
本文的工作不是提出新的大模型，而是把第二条路线的文字提示接上合成语音和待测识别系统，补上第一条路线缺少的区域多语言语音条件。两条路线在输入、目标和评分阶段都不同，因此不能把英语语音成绩直接推广到东南亚语音部署。
核心问题：如何把文字基准变成可控的语音代价测量
中心研究问题是：如何把一个以文本为原生形态、具有区域 grounding 的基准，改造成语音评测数据集，并系统度量语音输入对下游大模型任务成绩的影响。难点在于 SEA-HELM 不提供录音，如果直接找人朗读，成本高且难以保证每个待测系统听到相同输入。论文的解决思路是自己合成输入语音：对每条样本都走两次评测，一次是文本路径，一次是语音路径，两次共用同一个大模型和同一个规则评分器。这样两次成绩之差就只与语音到文本这一层有关。论文把这个差值记为 Delta，定义为文本准确率减去语音准确率，单位是百分点。百分点与相对百分比不同，这里是两个百分数直接相减。
两条路径如何并排比较，语音输入从哪里来
整体流程分为语音路径和文本路径。语音路径是文字提示先经语音合成变成音频，再经待测语音识别转写成文本，转写文本交给大模型生成回答，最后由规则评分器判分，得到语音准确率。文本路径是原文提示直接交给同一个大模型生成回答，再经同一个评分器判分，得到文本准确率。因为大模型和评分器都相同，Delta 就是语音前端引入的损失。语音合成器的声音选择与被测系统无关，保证所有语音识别加模型的组合听到相同的合成提示，语音成绩差异反映系统差异而非输入差异。转写质量还单独用词错误率和字错误率衡量，用于区分转写改了多少和任务受影响多少。
下面导读图 1 有助于建立两条路径的整体印象：请先区分上下两条横向流程，再确认它们在评分器处汇合的含义，重点看差值标注的位置。
看图路径： 1. 先沿上方橙色语音路径看 SEA-HELM 提示经 TTS、ASR、LLM 到 Verifier 再到语音准确率的顺序；2. 再看下方蓝色文本基线如何跳过语音环节直接进入同一 LLM 和 Verifier；3. 注意两条路径汇合到同一个 Verifier，差值 Delta 的箭头标注在两个准确率之间；4. 确认图中语音路径与文本路径共用 LLM 方框的含义是控制模型变量
论文图 1。原论文 Figure 1:：“SEA-HELM Audio evaluation: speech path (TTS \rightarrow Speech \rightarrow LLM) vs. text path (LLM only).”。
图 1 展示了 SEA-HELM Audio 的并排评测结构。上方为语音路径，依次经过语音合成、语音识别、大模型和评分器得到语音准确率；下方为文本基线，直接进入同一大模型和评分器得到文本准确率。图中用双向箭头标出 Delta 等于文本准确率减语音准确率。可见的关键教学点是控制变量的设计：两条路径的大模型方框和评分器是对应相同的，只有中间是否经过语音合成与识别不同，因此差值可以解释为语音层的代价。
口语提示如何构造，答案信息为什么不能读出来
语音合成系统在本研究中扮演用户，只合成用户真正会说出的内容。选择题合成的是简短说明加题干和 4 个选项；指令遵循任务合成的是提示原文。不会自然朗读的书面符号按语言做了适配，例如中文把选项标号和作答标记写成中文词语。答案本身从不合成，只在评分时使用，避免把正确答案泄露给识别和模型。
TTS × ASR： TTS 指文本转语音，在本研究中扮演用户，把文字提示读成音频；ASR 指自动语音识别，把音频再转回文字交给大模型。两者分工是先后串联：TTS 提供所有待测系统都相同的输入语音，ASR 决定转写丢失或改写了多少任务关键信息，组合后形成可控的语音路径，与文本直答路径只差在 ASR 引入的误差。
这种构造还保留了区域特点。论文强调实例化时保留区域细微差别、语码混合和本地文化语境，覆盖中文、马来语、泰米尔语、印尼语和英语。选择可朗读提示和可程序化验证的任务，是为了让文本路径和语音路径用完全相同的规则判分，避免评分标准不一致带来额外差异。
语音识别与回答生成各用什么系统，解码如何控制
语音识别部分评测了 3 种系统：开放权重的 Qwen3-ASR-1.7B 作为多语言基线，覆盖英语、中文、马来语和印尼语；区域适配的开放权重 MERaLiON3-ASR-3B 用于泰米尔语；商业服务 ElevenLabs Scribe Realtime 覆盖全部 5 种语言。开放权重模型使用贪心解码，使转写可复现；商业接口使用服务方默认解码。回答生成部分评测了区域开放权重模型 SEA-LION-4.5-27B 和商业模型 Gemini 3.5 Flash，两者都使用确定性解码，温度设为 0，因此两条路径的差异来自输入不同而非采样随机性。
Word Error Rate × Character Error Rate： Word Error Rate 是转写文本与原文提示在词级别的差异率，Character Error Rate 是字级别的差异率。两者都只度量 ASR 改写了多少输入，不直接度量任务对错，与下游任务准确率搭配才能区分转写变化大但任务仍可恢复，以及转写只错一个约束词就导致判错这两种不同机制。
评分全部使用来自 SEA-HELM 的规则评分器。选择题从回答中抽取选项字母与答案比对；指令遵循检查回答是否满足提示中的约束，并且是否使用了预期语言，只有全部满足才算正确。这种确定性、低成本、可重复的评分是本文选择这两个子集的原因。
本研究训练了什么，没有训练什么，实际计算是什么
本研究没有训练新的语音识别模型，也没有微调大模型。所有模型都是调用已有系统：语音合成器负责生成音频，语音识别负责转写，大模型负责作答，评分器负责判定。论文未报告梯度经过哪里、参数是否冻结或更新、监督信号来源和重置时机等训练细节，因为不存在本研究的训练过程。
实际计算是推理和评测流水线：对每条样本生成一次合成语音，对语音路径做一次识别加一次模型生成，对文本路径做一次模型生成，再各做一次规则评分，最后在聚合层面计算文本准确率、语音准确率和两者之差。无训练不等于输出天然确定，确定性来自贪心解码和温度为 0 等显式设置，以及规则评分的可重复性。
选了哪些任务子集，实际跑了哪些语言和样本量
论文从 SEA-HELM 中考虑了 4 个子集，选择标准是提示可朗读且评分可用程序化规则完成，使文本路径和语音路径评分完全相同。实际跑数的是其中两个子集：SEA-HELM IFEval 和 Global-MMLU-Lite，覆盖 5 个目标语言中的相应部分。选择题在中文和英文上评测，每轮 400 条；指令遵循在英语、马来语、印尼语和泰米尔语上评测，每轮 105 条。语音合成方面，选择题使用 OmniVoice，指令遵循使用 ElevenLabs v3。管线组合分为区域开放权重基线和商业组合两类，用于比较不同语音识别加模型的搭配。
Scorespeech × Scoretext： Scoretext 是同一大模型直接读原文提示作答再经规则评分器得到的准确率，可视为该任务的文本上限；Scorespeech 是同一大模型读 ASR 转写文本作答再经同一评分器得到的端到端准确率。两者共享大模型和评分器，搭配使用才能把两者之差解释为说话代替打字所付出的代价，而不是模型能力或评分标准变化带来的差异。
Global-MMLU-Lite × SEA-HELM IFEval： Global-MMLU-Lite 在本研究中指四选一常识选择题，只抽取选项字母与答案比对；SEA-HELM IFEval 指指令遵循任务，要求回答同时满足提示中的词法、长度、格式等多条显式约束并使用预期语言。两者分工不同：前者主要考语义要点能否还原，后者考约束词是否被完整转写，组合起来才能看出任务结构刚性如何放大同样的转写误差。
候选任务全景：哪些纳入本次实测，哪些留作未来工作
下表说明论文考虑的 4 个 SEA-HELM 任务子集的比较问题：在相同规则评分条件下，哪些提示适合直接朗读并纳入本次语音实测，哪些因题型或安全探测性质暂留未来工作。公平条件是同一评分器和可朗读性，指标方向是任务准确率越高越好，语音差距越小越好。
| Task | Task Type | SEA-HELM Languages | Evaluated Here | Selection Rationale |
|---|---|---|---|---|
| SEA-HELM IFEval | Instruction following [4] | 10 | English, Malay, Indonesian, Tamil | Prompts are plain instructions that can be spoken as written. Scored by SEA-HELM’s multilingual verifier, which also verifies the response language. |
| Global-MMLU-Lite | Multiple choice [5] | 7 | Chinese, English | Short questions with four options; the answer is a single letter, so scoring is exact. |
这张表的主要信息是本次实测范围的边界。指令遵循和多选常识题因为提示可直接朗读且评分确定，被选为本次实测对象；问答和有害请求拒绝分别因匹配方式和探测性质不同而留作未来工作。这意味着本文结论只在选择题和指令遵循这两类结构下成立，不能直接推广到问答或安全拒绝场景。表后讨论还会回到任务结构如何放大误差。
语音识别系统配置：类型、语言覆盖与解码方式
下表说明待测语音识别系统的比较问题：在目标语言覆盖不同的情况下，各系统以何种解码方式输出转写。公平条件是所有系统听到相同的合成语音，开放权重系统用贪心解码保证可复现。
| ASR System | Type | Languages | Decoding |
|---|---|---|---|
| Qwen3-ASR-1.7B | Open-weight | en, zh, ms, id | Greedy |
| MERaLiON3-ASR-3B | Open-weight | ta | Greedy |
| ElevenLabs Scribe Realtime | Commercial API | en, zh, ms, id, ta | Provider default |
从表中可见语言分工是明确的：Qwen3-ASR-1.7B 负责中英马印 4 种语言，MERaLiON3-ASR-3B 专门负责泰米尔语，商业服务覆盖全部 5 种语言。这种分工解释了后文泰米尔语结果的解读条件：泰米尔语的开放权重路径与商业路径使用不同的识别模型，比较时不能忽略识别模型差异。解码方式不同也意味着商业路径的可复现性弱于开放权重贪心解码，这是复现时需要注意的限制。
选择题结果：在什么条件下中文差距小于英文
选择题部分在中文和英文上比较了区域开放权重组合与商业组合。共同条件是同一大模型、同一评分器、每轮 400 条样本，指标为语音准确率、文本准确率和两者之差，差值越小表示语音损失越小。下表用差距范围汇总主要结论，保留了任务、语言、样本量和文本减语音的比较方式，策略归属见正文描述的两种管线组合。
| 任务 | 语言 | 每轮样本数 | 比较方式 | 差距范围（百分点） |
|---|---|---|---|---|
| 选择题推理 | 中文 | 400 | 文本准确率减语音准确率 | 9.00–18.50 中的中文低端约 9.00–10.75 |
| 选择题推理 | 英文 | 400 | 文本准确率减语音准确率 | 9.00–18.50 中的英文高端约 15.50–18.50 |
这张表说明在本次合成语音和所测管线下，选择题的语音损失中文小于英文。论文报告中文差距在 9.00 到 10.75 点之间，英文差距在 15.50 到 18.50 点之间。商业组合的文本和语音绝对准确率都高于区域基线，但差距依然存在。限制是该结论依赖 OmniVoice 合成语音和每轮 400 条的抽样，不代表真实人声或其它口音下的数值；且选择题只需还原选项字母，语义可恢复性较强，差距较小不能推广到约束更严格的任务。
指令遵循结果：为什么差距更大且泰米尔语损失最大
指令遵循部分在英语、马来语、印尼语和泰米尔语上评测，每轮 105 条，文本基线最高达 97.14%，但引入语音后普遍大幅下降。下表汇总差距所处的整体区间，比较方式仍是文本准确率减语音准确率，策略包括区域模型组合和商业模型组合。
| 任务 | 语言范围 | 每轮样本数 | 比较方式 | 差距范围（百分点） |
|---|---|---|---|---|
| 指令遵循 | 英语、马来语、印尼语、泰米尔语 | 105 | 文本准确率减语音准确率 | 20.00–42.86 |
| 指令遵循 | 其中泰米尔语两条管线 | 105 | 文本准确率减语音准确率 | 约 40.00，超过 40 点 |
结合任务机制看，这样的差距与两类任务判分方式不同有关。论文指出选择题只要抓住语义要点仍可推出选项字母，而指令遵循按词法、长度和格式等多条显式约束判分，一旦识别漏掉或替换了承载约束的词，大模型回答的就是另一条指令，规则评分器即使看到其余部分合理的回答也会判错。这解释了为什么指令遵循差距扩大到 20 到 43 点区间。泰米尔语在专用模型和商业模型下都损失约 40 点，说明瓶颈更可能在声学转写层。印尼语文本基线中 SEA-LION 一侧曾取得 94.29% 对 89.52% 的领先，但其语音端仍大幅落后，说明文本分数高不等于语音链路强。
商业组合与区域开放权重组合的差异来自哪里
论文没有做去掉某个模块的传统消融，而是通过更换语音识别加模型的组合来定位瓶颈。商业组合的端到端语音准确率总体更高，但在纯文本区域评测中 SEA-LION-4.5-27B 具有竞争力，例如在印尼语指令遵循文本基线上取得 94.29% 对 89.52% 的领先。然而其语音路径仍有 33.33 点的损失，马来语和印尼语采用 Qwen 转写的区域模型路径损失超过 25 点。论文据此推断限制因素不是区域大模型的推理能力，而是所测的 Qwen 与 MERaLiON 转写模型在东南亚口音和语码混合下的脆弱性。
这一判断的适用条件是所测的特定模型版本和合成语音；更换识别模型或真实人声后，瓶颈位置可能变化。论文还提到中文表现出较强的语义恢复能力，即使有轻微语音转写误差，大模型仍能从上下文推断正确选项，而泰米尔语则存在训练语料稀缺导致声学模型不足的可能解释，后者仍属推测，需要转写错误率与语料规模的直接证据才能确认。
哪些结论还不能推广，原文数字之间有何不一致
首先是输入来源的限制。全部语音输入来自合成器，不是真实人声，因此结论只在合成语音条件下成立，对真实口音、噪声和语速变化的泛化能力尚未评测。其次是任务范围的限制。本次实测只覆盖选择题和指令遵循，问答和有害请求拒绝明确列为未来工作，不能把语音差距外推到这些任务。第三是语言覆盖的限制。
选择题只跑了中文和英文，指令遵循只跑了英文、马来语、印尼语和泰米尔语，5 种语言并非在同一任务下齐全可比。数字方面需要指出一处不一致：摘要给出指令遵循差距为 20.00–42.86 点，但正文表格中泰米尔语两条管线差距均为 40.00 点，最大值为 40.00 点，未出现 42.86 点的来源划分，阅读时应以各表标注的样本量和管线为准，不要把摘要区间当作某一条管线的实测值。此外讨论部分对泰米尔语基线和语音成绩引用了与结果表不同的数值，同样应以结果表的文本与语音准确率为准。
复现第一步做什么，需要哪些信息条件
复现第一步是固定文本基线：取 SEA-HELM 中可朗读、可规则评分的 IFEval 和 Global-MMLU-Lite 提示，按原文的语言划分和样本量抽样，用同一大模型以温度为 0 直接作答，再用同一规则评分器得到文本准确率。关键信息条件包括每轮样本数、语音合成引擎版本、语音识别模型与解码设置、大模型版本与温度、评分器的语言检查规则。第二步是生成相同合成语音并转写：选择题用 OmniVoice，指令遵循用 ElevenLabs v3，开放权重识别用贪心解码，商业接口记录服务方默认设置和调用时间版本。
第三步是保持大模型和评分器不变，对转写文本作答并计算文本减语音的差值。转写与原文之间的词错误率和字错误率应单独记录，以便区分转写变化与任务影响。论文未提供经验证可达的代码、模型或数据下载链接，因此不能声称作者资源已公开，复现需自行按描述搭建管线。
什么时候值得尝试，还缺哪项验证
当部署目标是东南亚多语言语音智能体，且任务包含指令中的显式格式或语言约束时，值得尝试这种双路径评测，因为文本基准的高分可能掩盖语音链路的损失，尤其在泰米尔语、马来语和印尼语等路径上。当任务只是四选一常识问答且语言为中文时，语音损失相对较小，但仍需在真实人声下重新测量。
还需要补的验证包括真实人声替代合成语音的对比、问答与拒绝任务的语音表现、转写错误类型与约束丢失的对应分析，以及商业接口版本变化对可复现性的影响。容易产生的误解是把开放权重管线的落后归因于大模型本身，原文证据更支持瓶颈在语音识别层；另一个误解是把摘要中的最大差距当作部署时必然发生的损失，实际上差距随语言、任务结构和管线组合大幅变化，应按具体条件引用对应区间的数值。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses