📄 语音相同写法不同时,如何公平评价语音转写

英文题目:ETC-Bench: A Multilingual Benchmark for Evaluation-Side Transcript Canonicalization

评分:6.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Zhiheng Qian:机构信息未能在本次解析中与作者逐人可靠绑定
  • Junhao Du:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jing Peng:机构信息未能在本次解析中与作者逐人可靠绑定
  • Hanqi Li:机构信息未能在本次解析中与作者逐人可靠绑定
  • Kunyang Peng:机构信息未能在本次解析中与作者逐人可靠绑定
  • Feng Xue:机构信息未能在本次解析中与作者逐人可靠绑定
  • Kai Yu:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

语音转文本系统输出常出现同一发音对应多种写法,例如数字用阿拉伯数字还是单词拼写,中文孙丽与孙立同音不同字。困难在于词错误率会把这类约定差异计为识别错误。论文定义的评测侧转写规范化(Evaluation-side Transcript Canonicalization,ETC)输入为单条转写文本及其语言标识,输出为规范化文本,要求同一发音的合法变体得到相同输出,同时保留语音已编码的语义,处理时不听语音也不看配对的另一写法。基准构建先按变异来源组织五大类别与现象,再为每种现象生成共享语境、仅目标片段不同的最小对,经母语者核查。评测用的语义保留精确匹配规范化准确率(Semantic-preserving Exact-match Normalization Accuracy,SENA)要求成对输入独立规范化后字符串完全相同,且输入到输出的语义相似度不低于原对相似度太多。技能侧的分类指导智能体规范化技能(Taxonomy-guided Agent Canonicalization Skill,TACS)向大语言模型智能体提供现象描述与按语言和现象写明的输出约定,智能体先定位实例再做局部替换。在包含十二种语言的基准上,以 xlm-roberta-large 计算 BERTScore 的 SENA 评测显示,TACS-Qwen 宏平均得分为 68.8%,高于传统基线中最高的 FunASR-TN 在其支持语言上平均 9.4% 的水平。结论适用于所覆盖的现象与语言,同音替换与符号标记仍较难,原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音转写评价为什么会被书写形式干扰

语音转文本系统的输入是语音,输出是文字,常用做法是把系统输出与一条参考转写逐词比较,用词错误率衡量好坏。但语音本身常常没有规定唯一的写法。同一个数字可以写成 2 或 two,普通话里发音为 swan li 的名字可以写成孙丽或孙立,某些语言里同一个词也有多种拼法。

这些差异不是识别错了内容,而是书写惯例不同。如果评价直接计错,就会把惯例差异误判为模型能力差异,跨语言比较时偏差更大。已有做法包括为特定语言准备多条参考、用 Sclite 的评价流程容忍变体、或用 Whisper 自带的文本规范化器做识别后处理,但多参考需要额外人力,Whisper 的成熟工具主要面向英语,对指示文字等脚本还出现过破坏语义的处理。因此需要一个多语言、面向评价的统一规范化任务。

词错误率 × 多参考评价 × Whisper 规范化器: 词错误率指比较假设转写与参考转写字词差异的常用指标;多参考评价指准备多个可接受参考来容忍拼写变体;Whisper 规范化器指识别后对文本做统一小写、去标点等处理的模块;三者都是为了减少书写惯例对评价的干扰,但覆盖语言和现象有限,这正是论文要系统化解决的缺口。

已有的规范化路线覆盖了什么和没覆盖什么

语音处理里最常见的两条路线是文本规范化与逆文本规范化。前者把书面表达映射为口语形式,常用于语音合成的前端;后者把口语式文本映射为常规书面文本。NeMo 用加权有限状态文法处理数字、日期、度量等类别,PolyNorm 用大语言模型流水线把多语言文本规范化扩展到书面到口语的分类体系。

这两条路线都可以作为规范化的子程序,取决于选择哪种目标表示。只要对两个转写独立施加相同的映射,就能消除表层区别。但它们的文法类别只覆盖数字、日期等可枚举的半 otic 类别,论文所关心的很多语言特有正字差异、上下文相关缩写和同音替换都不在其文法内。近期的 SURE 和 Open-Bench 强调可复现的标准化评分流程,论文的评测端规范化正是沿着这个思路,把评价阶段的变体统一单独定义成任务。

评测端转写规范化 × 文本规范化 × 逆文本规范化: 评测端转写规范化指在评价阶段把同一语音的多种合法写法映射到同一规范形;文本规范化指把书面式改写为口语式,逆文本规范化指把口语式改写为书面式;三者都会消除表层差异,但前两者是为合成或识别的固定环节服务的,评测端转写规范化是方向无关的评价手段,哪种改写方向能统一变体就采用哪种。

评测端转写规范化到底要求什么

论文把评测端转写规范化定义为独立任务。给定一条转写文本 x 和它的语言 l,规范化器只看这一个输入产生规范文本 C(x,l),不能同时看到同一语音的另一个转写。用 a 与 b 等价记号表示 a 和 b 是同一语音的有效书面表示,且差异只是语音无法恢复的区别。理想的系统应当满足:等价的两个输入得到完全相同的输出,同时保留语音中编码的语义。

\[a\equiv_{l}b\Rightarrow C(a,l)=C(b,l),\]

这个公式只约束一致性,语义保留由后面的评价指标单独约束。需要强调的是,它与常规文本规范化和逆文本规范化的区别不在模型结构,而在目标:不是为合成或识别的固定环节服务,而是为公平比较词错误率提供一致的规范表示,可以采用任一方向的改写。对语音翻译等输出的扩展需要重新定义何为允许变体,论文留作未来工作。

基准的总体构成与一个样本长什么样

ETC-Bench 包含 1098 个最小对,覆盖 12 种语言的 181 种现象类型。12 种语言是阿拉伯语、孟加拉语、德语、英语、波斯语、法语、印地语、印尼语、日语、俄语、越南语和中文。分类体系有 5 个大类,其中数字表达与符号和标记是语言无关的,定义跨语言共享;缩写、正字变体和同音替换是语言相关的,定义依赖具体语言的词汇和文字系统。同音替换特指发音相同但书写区别无法从语音恢复的情形,不要求书面含义相同,例如中文他与她。

每个样本是一个最小对,共享句子上下文,只在体现某种现象的目标片段上不同,并标注语言、类别和现象。语言无关的对用共享模板本地化生成,语言相关的对按现象描述选用合适的词和上下文。下图概括了分类、样本结构和评价指标三部分,建议对照阅读。

读图说明:这张总览图把论文的三块工作放在同一版面,适合先建立整体位置感,再进入细节。左侧看分类如何分组,中间看样本字段如何对应,右侧看指标如何由 2 个条件合成。

看图路径: 1. 先看左侧分类框如何区分语言无关与语言相关两大分支;2. 再看中间最小对示例中红色与蓝色目标片段的位置;3. 最后看右侧评价框中精确一致与语义保留如何用 AND 汇合为 SENA

原论文 Figure 1:Overview of ETC-Bench: taxonomy, benchmark-item structure, and evaluation metric.

论文图 1。原论文 Figure 1::“Overview of ETC-Bench: taxonomy, benchmark-item structure, and evaluation metric.”。

图中左侧明确标出 12 种语言和 181 种现象类型,并把数字表达、符号和标记放在语言无关框内,把缩写、正字变体、同音替换放在语言相关框内。中间用 Sara 与 Sarah 的例子展示最小对只在目标片段不同,并标出语言、类别和现象字段以及 12 种语言列表。右侧展示两个输入独立经过同一规范化器,再分别检查精确一致和语义保留,最后取平均得到 SENA。这张图帮助理解为何评价必须独立处理两侧,不能让两侧互相参考。

最小对 × 现象 × 类别: 最小对指共享上下文、只在目标片段上不同的两个句子;现象指用自然语言描述的一类语音无法区分的书写歧义,是建库和分析的基本单位;类别指按变异来源划分的粗粒度分组,把多个现象归在一起;三者组合起来让每个测试样本都能定位到一种可解释的歧义类型。

分类体系如何区分语言无关与语言相关

分类体系来自对一个多语言识别模型输出的分析。大类按变异来源定义,现象是更细的单位,用自然语言描述一种转写歧义模式,也是建库和分析的单位。数字与符号两类的清单改编并扩展自 PolyNorm,但适用性和具体形式随语言变化。

举例来说,基数词 2 与 two 属于数字类,同音人名 Sara 与 Sarah 属于同音替换,俄语Ст. 与Статья属于上下文相关缩写,德语Öl 与 Oel 属于元音变体,中文他与她属于第三人称代词同音。这种组织方式支持向新语言和新现象扩展。

语言无关现象 × 语言相关现象 × 规范化约定: 语言无关现象指定义跨语言共享的数字与符号类歧义,语言相关现象指依赖特定语言词汇、正字法或文字系统的缩写、正字变体和同音替换;规范化约定指按语言、类别和现象规定的目标输出形式,它让智能体知道对每一类歧义到底统一成数字式、展开式还是注音式。

下表是原文给出的代表性最小对,蓝色标出语音无法恢复的区别,阅读时注意每行类别与现象如何对应到目标片段。

CategoryPhenomenonExample Pair
NumericCardinalThe recipe calls for 2 eggs. The recipe calls for two eggs.
HomophonicHomophonic NamesSara called me yesterday. Sarah called me yesterday.
AbbreviationContext-dependent AbbreviationСт. 5 закона … Статья 5 закона …
OrthographicUmlaut VariantsWir kaufen Öl. Wir kaufen Oel.
HomophonicThird-person Pronoun他负责那部分任务。 她负责那部分任务。

表中五行的目标片段都只占句子的一小部分,其余上下文完全相同。这正是最小对的含义:把评价聚焦到一种歧义,避免其他措辞差异干扰结论。中文代词的例子也说明同音替换不要求书面语义相同,评价时需要用样本自适应的方式处理语义约束。

SENA 为什么要用两个条件相乘

SENA 是语义保留的精确匹配规范化准确率的缩写,衡量同时满足精确一致条件和语义保留条件的样本比例。记 C(x,l) 为只看单条输入和语言的规范化系统,两侧独立处理。记 s 为在语义编码器下的 BERTScore F1。每个样本先算原对相似度 t 为两条原文之间的相似度,再算 f 为每条输入与其规范化输出相似度中的较小值。

\[\operatorname{SENA}=\frac{1}{n}\sum_{i=1}^{n}\mathbb{I}[C(a_{i},l_{i})=C(b_{i},l_{i})]\mathbb{I}[f_{i}+\delta\geq t_{i}],\]

其中 n 是评测对数,示性函数取值为 0 或 1,容差取 0.1 且在实验前固定,所有 SENA 结果以百分比报告。精确一致要求两侧规范化输出逐字相同。语义保留要求 f 加容差不小于 t,以原对为参照限制额外语义损失。

精确一致 × 语义保留 × SENA: 精确一致要求一对输入独立规范化后输出逐字相同,语义保留要求输出相对输入的语义损失不明显超过原对本身的差异;SENA 指只有同时通过这两个条件的对才算成功,它把统一写法和不破坏语义绑在一起,避免靠删除信息蒙混过关。

这样设计的原因是:只看是否相同会奖励破坏性清理,例如删掉孟加拉语和印地语中有信息量的文字标记也能让两侧相同;只看语义相似又无法保证统一写法。用原对相似度作自适应参照,允许去掉目标书写区别,但不允许带来更大的语义漂移。论文还报告了容差敏感性:在固定容差下观察到的 81 个破坏性合并都被拒绝,容差放宽到 0.15 时其中 30.9% 会被计分,说明阈值选择影响结论边界。

TACS 给智能体提供了什么帮助

基于规则的规范化器擅长数字和日期等可枚举模式,但难以覆盖上下文相关缩写、正字惯例和同音替换。大语言模型有多语言和上下文知识,但仅凭自身能力不能保证独立处理的两个变体得到相同输出。TACS 是面向智能体的分类指导技能,让智能体按需加载相关指导,对每个输入独立规范化。

技能包含两部分:分类体系说明要识别哪些区别;规范化约定按语言、类别和现象规定一致的输出形式。因为约定是按现象指定目标,TACS 既能表达书面到口语的改写,也能表达口语到书面的改写,还能覆盖常规类别之外的规范化。例如英语基数统一为 ASCII 数字,英语同音人名统一为宽式美式英语国际音标,俄语上下文相关缩写统一为完整形式,德语元音变体统一用实际变音字母,中文第三人称代词统一为带声调的宽式普通话拼音。

执行分两步:先按描述和当前语句识别现象实例,解决重叠解释;再按对应约定做局部替换。要求替换不重叠、保留未选中文本原样、歧义未解决或无适用约定的片段保持不动。从 SKILL.md 开始加载,规定批量输入输出和全局约束,要求每条记录独立求解并写入指定文件,不得互相比较或互相作为证据,技能本身不含基准样本或逐题目标。

这项工作训练了模型还是构造了数据与流程

这篇论文没有训练新的神经网络模型,也没有报告梯度、优化器或参数更新。它的构造工作是基准数据与智能体流程。数据侧用模型生成每个适用语言的每种现象各 20 个候选对并过滤畸形,经过人工清洗后每语言索引现象平均保留 16.2 对,再按每种语言抽 100 对且每种保留现象至少分配 1 对,优先保证代表性覆盖,最后由 12 位母语者评审现象定义有效性和样本正确性,整理得到最终 1098 对。发布数量反映最终整理结果,而非最初抽样配额。

智能体侧没有微调权重,而是用已有大模型加载 TACS 技能执行文本到文本改写。实验用 DeepSeek-Harness,启用 shell 执行、文件编辑搜索、技能加载、子智能体委托和网络访问,初始提示定义任务并指示加载技能,之后自动执行无人工干预。基准每 1 对的两侧在独立的全新会话和独立工作区中规范化,避免成对上下文共享。这是复现时必须遵守的信息条件,否则一致性成绩会被高估。

实验比较了哪些系统与指标条件

实验比较 5 种基线配置与 3 种 TACS 智能体。基线是 NeMo-ITN、NeMo-TN、FunASR-ITN、FunASR-TN 和 Whisper 规范化模块,其中 Whisper 对英语用英语专用规范化器,对其余 11 种语言用基础规范化器。纳入常规文本规范化和逆文本规范化基线是因为评测端规范化与方向无关,两者都可视为一种实现。部分商业语音服务的后处理不在比较范围内,因为其后处理不能作为独立文本到文本规范化器使用。

指标是 SENA,用 xlm-roberta-large 编码器计算 BERTScore。TACS 智能体分别实例化为 GPT、DeepSeek 和 Qwen 的 3 个具体版本,记为 TACS-GPT、TACS-DeepSeek 和 TACS-Qwen,每种在基准上跑 3 次取平均。为衡量 TACS 的贡献,同样的智能体配置还在不加载技能时各跑 1 次作为无技能对照。语言平均是所支持语言上的宏平均,不支持的语言记为不支持,不计入该系统的平均。

不同语言上谁统一了写法且保住了语义

下表比较各系统在 12 种语言上的 SENA 百分比,横线表示不支持该语言,最后一列是在所支持语言上的宏平均。比较问题是:在各自支持的语言上,常规工具与加载 TACS 的智能体谁能同时做到输出一致且语义损失受限。SENA 越高越好。

SystemarbndeenfafrhiidjaruvizhAvg.
NeMo-ITN1.2–2.25.7–5.60.0–5.35.01.014.14.4
NeMo-TN0.0–2.118.2–3.42.0–2.64.06.15.44.9
FunASR-ITN––2.25.7–5.6–3.15.35.01.02.23.7
FunASR-TN––2.119.3–––––4.0–12.09.4
Whisper Normalizer0.00.00.040.95.05.60.08.23.94.07.10.06.2
No-Skill-GPT0.024.00.00.00.00.018.00.00.00.00.00.03.5
No-Skill-DeepSeek29.12.08.60.08.81.10.00.00.06.00.00.04.6
No-Skill-Qwen15.120.812.917.49.210.113.324.110.514.76.511.613.9
TACS-GPT51.926.542.744.762.139.740.044.238.640.346.641.743.3
TACS-DeepSeek42.623.149.853.047.948.331.041.842.548.355.840.943.8
TACS-Qwen69.067.761.365.572.973.061.375.264.575.378.262.068.8

规则系统的平均分在 3.7 到 9.4 之间,其中 FunASR-TN 的 9.4 只平均于 4 个支持语言。Whisper 规范化器平均 6.2,但在英语上达到 40.9,成功情形包括拼写和连字符变体,基础规范化器在其他语言靠去连字符、宽度归一、小写化和波斯语可选去变音符号拿到少量分数。TACS-GPT、TACS-DeepSeek 和 TACS-Qwen 的宏平均分别为 43.3、43.8 和 68.8,在双方都有结果的语言上都高于所评测的常规系统。无技能对照分别为 3.5、4.6 和 13.9,说明提升主要来自技能而非单独调用大模型。但这只是该基准、该容差和该语义编码器下的结论,不能推广为任意真实语料上的词错误率改进。

不同类别上成功的分布有什么不同

下表按数字、符号、缩写、正字和同音 5 类比较 SENA 百分比。比较问题是:各系统的成功集中在哪些歧义类型,短板在哪里。数值越高表示该类中同时通过一致性和语义保留的比例越高。

SystemNum.Sym.Abbr.Orth.Homo.
NeMo-ITN16.00.66.82.80.0
NeMo-TN23.73.26.80.00.0
FunASR-ITN13.31.45.11.70.0
FunASR-TN32.95.78.20.00.0
Whisper Normalizer6.71.03.88.17.0
No-Skill-GPT0.30.50.07.71.9
No-Skill-DeepSeek0.00.00.08.35.3
No-Skill-Qwen3.07.325.619.113.0
TACS-GPT44.129.153.455.720.0
TACS-DeepSeek50.427.156.058.512.1
TACS-Qwen74.444.385.982.349.0

4 个文本与逆文本规范化系统的成功集中在数字表达及相关形式,正字类成功也多与数字有关,例如法语连字符数字和中文大写数字,它们在正字变体上只有 0.0 到 2.8,在同音替换上全是 0。Whisper 呈现不同分布,基础变换在正字和同音上有少量分数,但在孟加拉语和印地语中删除有信息量标记的做法虽让输出相同,却通不过语义保留条件。TACS 系统在缩写和正字上最高,符号和同音替换更难,TACS-Qwen 在 5 类上领先但符号 44.3 和同音 49.0 仍有较大空间。

对 TACS-Qwen 3 次运行的分析显示,符号类 262 个已合并评估无一被语义条件拒绝,同音类 283 个已合并评估仅 8 个被拒绝,说明这两类的低分主要来自未能精确一致,而非语义条件过严。

去掉技能与改变容差会发生什么

论文用同配置无技能运行作为对照。GPT、DeepSeek 和 Qwen 智能体在不加载 TACS 时分别只得到 3.5、4.6 和 13.9,加载后分别达到 43.3、43.8 和 68.8。这支持 TACS 中的现象描述和改写约定是关键,而不是智能体本身随意改写就能统一变体。Qwen 无技能基线本身较高,说明不同底座模型的先验行为不同,但加载技能后差距依然明显。

容差分析进一步说明指标边界。在固定容差 0.10 下,语义保留条件拒绝了全部 81 个观察到的 Whisper 破坏性合并;容差放宽到 0.15 时其中 30.9% 会被计分。在 1 次智能体运行中,99.8% 的已合并对在 0.08 到 0.12 区间内都通过该条件。这意味着常规破坏性清理的得分对阈值敏感,而智能体局部改写的得分在该区间内相对稳定。

教学例子:cent-trois 与 cent trois 统一连字符、Agung 与 agung 统一大小写,这类只动目标变体而不做额外大改的变换容易得分;大面积删除文字标记则容易因语义条件被扣分。

这些结论在什么条件下才成立

首先,所有结论都限定在 ETC-Bench 的最小对分布上。每对共享上下文且只差一个目标片段,真实识别输出可能同时包含多种误差和流畅性问题,论文只用两个真实转写例子展示 TACS-DeepSeek 能统一 Whisper 规范化后仍不同的德语ß与 ss 和英语 mabel 与 mable 变体,不能据此估计真实语料上的整体词错误率变化。

其次,SENA 依赖特定语义编码器和固定容差,更换编码器或阈值会改变通过率,尤其对破坏性合并敏感。第三,规则基线的低分部分是因为不支持某些语言,宏平均只在各自支持语言上计算,跨系统平均的语言集合并不完全相同,直接比较平均值时要看语言覆盖差异。第四,智能体结果是 3 次运行的平均,且要求两侧在独立会话中处理,若复现时允许两侧互相可见,一致性会被人为抬高。最后,同音替换和符号类仍是短板,TACS-Qwen 在这两类上的分数明显低于缩写和正字,说明广泛覆盖尚未解决。

复现第一步做什么与需要哪些信息

复现先从数据与技能的可用性确认开始。论文写明基准和技能将 soon 在 GitHub 发布,本次收到的证据中没有完成 HTTPS 验证的作者资源,因此不能声称代码、模型或数据已公开或当前可用,需要按论文标题和 arXiv 编号查找最新发布状态。确认拿到 1098 对、语言标注、类别与现象标注以及 TACS 的 SKILL.md 和约定文件后再跑评价。

下表整理论文报告的构造规模,可作为核对数据完整性的清单,数字来自原文连续描述而非推算。

检查项数量说明
最终最小对1098母语者评审后发布量
现象类型181跨 12 语言的现象总数
语言数12覆盖语种数
每现象每语言候选20模型生成候选
每语言索引现象平均保留16.2清洗后候选池
每语言抽样100每保留现象至少 1 对

上表说明抽样配额与最终发布量的关系:最终数量反映整理结果,而非 100 乘 12 的简单乘积。运行时保持两侧独立会话、独立工作区,用 xlm-roberta-large 计算 BERTScore 并固定容差为 0.1,以百分比报告 SENA。智能体侧记录底座版本、接入方式和 3 次运行平均,基线侧记录是否支持该语言,避免把不支持计为 0 分。

什么时候值得尝试与还需要补什么验证

当评价需要在多语言上减少书写惯例干扰,且变体超出数字日期等常规文法时,值得尝试这种评测端规范化思路。特别是存在大量缩写、正字变体或同音人名的语言,先用最小对探查现有规范化器的覆盖盲区,再决定是否引入带现象约定的智能体流程,比直接改词错误率计算更可解释。

还需要补的验证包括:在真实识别错误分布上的效果,而非仅最小对;在更多语义编码器和容差下的稳定性;智能体改写的延迟、成本和偶发过度改写的审计;以及向新语言和新现象扩展时约定编写的人力成本。论文的价值在于给出任务定义、可扩展的分类、可复现的测试集和兼顾一致性与语义的指标,而不是宣称规范化问题已被解决。

📎 论文与评分元数据

排名:前50% | 文档类型:数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-10-29 语音/音乐/音频论文速递