写法藏不住口音：SHAMS 用四层对齐测黎凡特阿拉伯语发音

📄 写法藏不住口音：SHAMS 用四层对齐测黎凡特阿拉伯语发音

英文题目：SHAMS: An Audio-Grounded Pronunciation Benchmark for Levantine Arabic

标签：#语音识别 | #基准设计 | #基准测试 | #口音与方言

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Ben Sapirstein：机构信息未在 arXiv HTML 中可靠披露
• Roy Mattar：机构信息未在 arXiv HTML 中可靠披露
• Guy Mor-Lan：机构信息未在 arXiv HTML 中可靠披露
• Ahlam Mohamed：机构信息未在 arXiv HTML 中可靠披露
• Letizia Cerqueglini：机构信息未在 arXiv HTML 中可靠披露
• Morris Alper：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

黎凡特阿拉伯语（Levantine Arabic，LA）内部变体分化显著且正字法为辅音音素文字（abjad），不记短元音、 gemination（辅音 lengthening）与咽化等特征，即使加注音符（diacritization）仍无法恢复如 qaf 的 [q]、[ʔ]、[k]、[g] 分化。SHAMS（SHami Annotated Multi-dialect Speech）构建 1300 条音频接地语料，总计 15506 词、128.2 分钟，按词数均衡覆盖城市巴勒斯坦、乡村巴勒斯坦、约旦、黎巴嫩和叙利亚 5 变体，每条包含音频、无音符正字法、带音符文本和语音学转写四层对齐。来源为 Casablanca 电视对白与 LangMedia 纪实访谈，保留前者切分标识并按同标准重切后者，剔除少于 3 词与强噪声片段并排除训练划分指定数据，文本经 Unicode 规范化但不做正字法归一化。标注先由 3 名巴勒斯坦母语者加注音符并由闪语专家加注语音学转写完成 520 条，后 780 条用 Levanti 生成银标签再人工全量听音校对，150 条分层子集第二人独立加注一致率为 93.2%、Cohen kappa 为 0.898。基准在同一 utterance 上联合评测加注、字音转换（grapheme-to-phoneme conversion，G2P）、语音识别（automatic speech recognition，ASR）与音频到音素（audio-to-phoneme，A2P）四任务，定义严格层与中性层双口径。在全部 1300 条上 Levantine 专用 Levanti 加注以 7.8% 音符错误率（Diacritic Error Rate，DER）最优，Gemini 3.5 Flash 以 11.6% 为独立最优；G2P 上 3 个前沿大语言模型（Large Language Model，LLM）以 11.9% 到 12.2% 字错误率（Character Error Rate，CER）显著优于专用系统；ASR 上 Gemini 3.5 Flash 以 9.6% CER 全局最优；直接 A2P 以 20.5% 落后于 ASR 再转换级联的 18.9% 与金标级联的 13.0%。结论仅适用于 5 个城市为主变体，不含贝都因与离散口音，来源与性别存在混杂，原文未披露训练与推理成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/bensapirstein/shams — 链接不可用（HTTP 404）

• 复现相关资源：https://github.com/bensapirstein/shams — 链接不可用（HTTP 404）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么黎凡特语音评测不能只看文字？

输入是这篇论文的原文证据，目标是让刚进入语音、音乐、音频方向的研究生能核对事实并复述方法。必须保留的信息包括语料规模与变体划分、4 层对齐结构、标注流程与一致性、4 个任务的定义与评分层次、主结果数字与适用条件、许可与复现链接状态。输出是 1 篇中文技术解读，按学习依赖从任务到方法再到实验展开。黎凡特阿拉伯语是巴勒斯坦、以色列、约旦、黎巴嫩、叙利亚一带数千万人日常说的口语群，内部有城市与乡村、国家之间的系统差异。

初学者容易把它当成一种写法统一的语言，但论文强调它的书面形式非标准化，且阿拉伯文属于辅音音素文字，常省略短元音和叠音标记。也就是说，看到同样的辅音骨架，不同地方的人会读出不同的元音和辅音，文字本身不记录这些分歧。更麻烦的是双言现象：标准阿拉伯语用于学校、新闻和正式演讲，有格尾和规范冠词，而日常口语不用这些。很多现有语料和模型偏向标准语，生成时也会滑回标准语，于是方言系统的真实表现被掩盖。

论文举例说明，即使加上常规变音符号，方言发音仍欠指定，例如ق在城市口音读成喉塞音，在乡村读成清软腭音，在贝都因口音读成浊软腭音。这就是为什么只比文本转写不够，必须把音频、变音符号和语音转写对齐起来评。

标准阿拉伯语 × 黎凡特阿拉伯语： 标准阿拉伯语是学校和新闻用的规范变体，有统一拼写和格尾规则，黎凡特阿拉伯语是日常口语变体群，内部有城乡、国家差异且口语词尾格多不发音；用标准语模型直接处理黎凡特语音会强加格尾和 al-冠词，因而需要按变体分层的评测来暴露这种错配。

论文因此提出 SHAMS 这个评测基准，名字是黎凡特多方言语音的缩写。它不是训练集，而是专门用来检验系统在训练分布之外的稳健性。理解这一点对后文很重要：所有模型都是零样本或用不含该基准的提示来测，分数反映的是跨分布能力，而不是在该集上拟合的好坏。

同类工作在比什么，SHAMS 补了哪块空？

先按同输入、同目标、同监督来对照。加符方向过去大量工作针对标准语或古典语，方言只有阿尔及利亚、突尼斯等零散尝试，近年才有语音辅助的方言加符探索。字音转换传统做法是先加符再用规则映射到音素，近期才有埃及方言的端到端尝试。方言语音识别已有从单地区语料到多方言集合的积累，包括大规模但方言标签粗糙的资源，以及针对阿拉伯方言的专用系统。论文指出，已有工作多是单任务、缺变音符号层、缺语音层或缺变体分层。

SHAMS 的新意是把加符、字音转换、语音识别和音频到音素绑在同一批音频上，并按 5 个黎凡特变体分层，使同一句话的文字错误和发音错误可以对照。另一个对照是希伯来语等闪语的小规模专家评测，说明小而精的评测也能推动大语料训练，这也是 SHAMS 只做评测、不做训练集的理由。跨方言评测框架在英语里已有先例，但黎凡特没有可比资源。论文还提到近期共享任务覆盖多国方言语音识别和加符，但属于限时评测设置，与 SHAMS 这种可重复的静态基准运行阶段不同。

初学者不要把类别差异当成同条件胜负：标准语加符器在标准语上强，不等于在黎凡特口语上强，本文的对比正是为了暴露这种迁移代价。

要解决的评测问题是什么？

问题可以写成 4 个可操作任务。给定无符阿拉伯文本，预测完整加符形式，这是加符任务。给定同一无符文本，预测语音转写，这是字音转换任务。给定音频，预测无符阿拉伯文本，这是语音识别任务。给定音频，直接预测语音转写，这是音频到音素任务。

4 个任务共享同一批音频和文本，只是输入输出层不同。难点在于同一正字词在不同录音里实现不同，加符层和语音层必须听录音逐条标注，而不是按词典归一化。例如法语借词按实际发音转写，同一说话人在正式名词里把ق读成标准音，在日常词里读成方言音，齿间音也会变成咝音或塞音。如果只用文本做评测，这些现象不可见。另一个难点是评分公平性：阿拉伯字母的同音异形、冠词元音写法、语音转写的记号变体都会带来非音系误差，需要在评分时显式分离。

论文把这些都写成可执行的归一化规则，而不是事后解释。

SHAMS 的全景：同一句话的四层如何对齐？

沿一个样本走完流程最清楚。取一条黎凡特录音，先切成短句，要求不少于 3 个词并去掉背景噪声重的片段，保留原语料的切分和编号。同一条样本保存 4 层：音频片段、无符正字文本、完整加符文本、语音转写。无符层是日常写法，必要时按录音手工改正文不对音的地方。加符层在同一文本上加短元音、叠音和必要的鼻化标记，但不标寂静符。

语音层用闪语学界常用的转写体系，原则上可确定性对应到国际音标，用于记录正字法写不出的实现。评估时箭头方向就是任务方向：无符到加符是加符，无符到语音是字音转换，音频到无符是语音识别，音频到语音是音频到音素。语料来源是两个开放多方言语音库：一是剧本化的方言电视剧对白，二是纪录片访谈和自发对话，话题包括食物、家庭和日常生活，说话人跨代、风格多样，常混用语域并带接触语言借词。

预处理只做统一码规范化，折叠表现形、去掉不可见控制符和拉长符并做规范组合，不做正字归一化，哈姆扎座、词尾字母变体都保留原样。总量上基准包含 1300 条、约 15500 词、2 小时出头，按词数在 5 个变体间大致平衡。除巴勒斯坦乡村外，其余变体都是城市口音。巴勒斯坦城市和约旦同时用两个来源，巴勒斯坦乡村只来自电视剧库，黎巴嫩和叙利亚只来自访谈库。

加符与语音转写各记什么，怎么保证听音标注？

加符是白话说的给辅音骨架补发音记号。这里记 5 类：开口符、齐齿符、合口符分别标 3 个短元音，叠音符标辅音延长，鼻化符标词尾加鼻音。不标寂静符。语音转写是白话说的按实际听到的音逐词记录方言发音，解决加符也解决不了的欠指定问题。标注原则是照实记录录音实现，不归一化到规范形式，所以同一正字词在不同条目里可以有不同加符和不同语音形式。

操作上先有 520 条完全手工转写并对齐到正字以放置变音符，剩下 780 条用 Levanti 系统先自动生成两层的初稿，再由标注员对照音频改正。每条都经过作者复核。因为 Levanti 同时是被测基线，论文在结果表中把它标为可能分布内，并说明有 161 条的加符与它的输出完全一致。加符由 3 名巴勒斯坦阿拉伯语母语者完成，带头人是方言学方向博士生。语音转写由 1 名闪语语言学博士、发表过方言学成果的合作者完成。

附录还交代了细节：词首喉塞可有可无要按韵律上下文听，借词按实际发音转写，ق、k 的塞擦化、齿间音的保持与合并、长元音高化与双元音合流、短元音增删都要如实记录，甚至同一变体内同一人名也有两种读法。

加符 × 字音转换： 加符负责在无元音的阿拉伯字母骨架上恢复短元音、叠音等标记，字音转换负责把无符文本直接映射到方言语音转写；前者仍停在正字法层，后者要解决ق在不同变体读成不同辅音这类正字法写不出的分歧，二者搭配才能区分错误来自元音恢复还是方言音系。

教学例子要明确标为例子：比如同样写成类似“比如” 的词，语音层可能出现 3 种形式，分别对应保留齿间音、读成塞音、读成咝音，这只是说明转写层的必要性，不代表某个变体必然如此，具体以每条音频为准。

音频到文本与音频到音素如何分工？

语音识别和音频到音素都以音频为输入，但输出层不同，前者输出日常正字，后者输出语音转写。论文用同一批音频测两者，再用级联把两者连起来：先识别成文本，再把文本转成音素。这样 3 条路径用同一评分归一化，就能比较直接标音是否优于先转写再转换。需要注意的是，正字参考和语音参考不在同一尺度，直接比较两者的误差率只能定性看，不能说差几个点就等于能力差几成。论文还报告了用金标准文本做字音转换的上界，用来拆分音频误差和转换误差。

语音识别 × 音频到音素： 语音识别的分工是从音频输出无符阿拉伯文本，音频到音素的分工是从同一音频直接输出语音转写；前者考验听懂方言词，后者还考验写出实际发音细节，把同一音频上的两条路径对比，就能定位误差出在听错词还是转写音系上。

从实现看，被测的语音识别包括专用识别器和音频大模型提示转写，被测的音频到音素是两个音频大模型按同一提示直接输出单行转写。所有专用系统零样本运行，大模型用基于标注指南的少样本提示，示例不来自基准本身。

本研究训练了什么，没有训练什么？

本研究没有训练新模型，training 一节实际承担的是基准构造与标注流程。没有神经网络训练阶段，没有优化器、梯度路径、参数冻结与更新的报告，也不能把无训练等同于确定性求解。真实计算过程是语料筛选、切分、文本校对、两层语音标注、作者复核，以及评测时的推理调用。520 条纯手工，780 条是模型初稿加人工改正。需要补的缺项是论文未报告标注工时和多人语音层一致性，语音与正字层由单名专家完成，只报告了加符层在 150 条分层子集上的第二标注一致性。

复现时不要猜训练超参数，而应复刻听音标注协议：对照音频逐条听、保留方言实现、不归一化、叠音如实标记、太阳字母同化按实际发音处理。评测调用方面，专用系统按默认零样本运行，提示大模型按附录提示词调用，文本任务要求输出 JSON 并做解析兜底，音频任务要求单行输出并设最大输出长度以截断循环。论文未测量延迟和成本，因此不能从结果推定实时性。

实验条件：数据划分、指标方向与两层评分

数据与协议按原文交代。SHAMS 只做评测，排除了原语料中划为训练集的部分，被测的 BYZÖ系统虽在电视剧训练集上微调过，但与 SHAMS 无条目重叠。指标方向都是越低越好：加符用变音符号错误率，字音转换、音频到音素用字错误率，语音识别同时看词错误率和字错误率。聚合是整集平均和按变体分层，音频到音素对每条先截断到 100% 再平均，以约束循环输出。评分前先做评测时归一化，对参考和假设对称施加。

发布文本已做统一码规范化，评分时再重复 1 次以处理系统输出。两层含义要记牢：严格层按原样计分，中性层额外折叠无音位对立的拼写与记号差异。阿拉伯文本的中性层折叠字母变体，语音层的中性层折叠冠词元音、日字母同化、词尾鼻化写法、部分塞擦与弱元音写法，但保留元音长短、强调辅音、叠音、ق实现等音系对立。加符的中性层去掉寂静符和几乎不在参考中出现的标准语格尾，只保留短元音、叠音和已实现的宾格鼻化。

表中小灰字是严格与中性的差，反映拼写惯例占比。

严格评分 × 中性评分： 严格评分按系统原样输出计分，中性评分先把无音位对立的拼写和记号差异折叠后再计分；前者保留书写习惯差异，后者剥离它们只看音系和识别错误，二者并列才能判断高误差是拼写惯例还是真听错读错。

下表先把规模与平衡条件固定下来，后续所有数字都在这 1300 条上比较，避免把不同划分的数字混在一起。

表后解释：该表的价值是锁定比较口径，主结果都在全集上报告并按变体分层，约旦和巴勒斯坦城市支持跨来源对照，其余变体单来源因而内容与录音质量与方言混杂。未胜出项在后文就近说明，例如某些系统在特定变体上反超，提示不能把总体排名推广到每个变体。

加符与字音转换测了什么，谁在什么条件下赢？

比较问题是：在同一批无符文本上，谁恢复的方言发音更准，公平条件是同一 1300 条、中性层、错误率越低越好。加符对比了 4 个专用系统和 3 个大模型。专用系统里 3 个面向标准语，一个面向黎凡特。大模型用方言感知的少样本提示。字音转换对比了两个专用系统和 4 个大模型，输出先映射到参考字母表再评分，映射不完备，未覆盖的记号按错误计。

表后解释：加符上 Levanti 最低，但它参与了部分标注因而不是独立测量，实际可运行的最强是 Gemini，大模型中更大的模型反而居中，标准语专用系统在 24.4% 到 27.4% 之间垫底。机制是标准语系统强加词尾格元音和 al-冠词，而方言参考多为 il-且不实现格尾，即使把格尾从评分中去掉，残余词尾元音错误仍大。

字音转换上 3 个前沿大模型相近，明显优于专用系统，Levanti 的中性与严格差达 4.1 点说明其劣势多来自记号惯例而非音系，而 Charsiu 的差仅 2.4 点说明其错误多为音系性的标准语化。未胜出项是所有系统都难以恢复乡村巴勒斯坦的 q 实现，一律写成标准音或城市音，这是明确的失败边界。乡村与城市的 q 差异在正字法中不可见，必须靠音频层才能评出来。

语音识别与音频到音素的差距在哪里？

比较问题是：同一音频上，谁更忠实于方言原话，公平条件是同一 1300 条、中性层、词错误率与字错误率越低越好。语音识别测了 7 个专用识别器和两个音频大模型，音频到音素测了两个音频大模型直接标音。专用识别器里有面向标准语、埃及语、黎凡特微调和多方言微调的不同配置。

表后解释：语音识别上 Gemini 整体最强，开放权重中方言适配是区分因素而非架构规模，埃及语版在每个变体上都优于其标准语对应版，原因可能是埃及语与黎凡特共享某些偏离标准语的词汇语法。标准语模型常把方言词替换成标准语词，可能源于方言音频配标准语字幕的训练。

两层评分对 Whisper 黎凡特版影响最大，严格与中性差达 15 点与其不写某些字母变体有关。音频到音素上 Gemini 仍最强，但直接标音不优于先识别再转换的级联，金文本上界显示约 13 点来自转换本身，另有约 6 点来自识别误差传播。GPT 级联用了 Gemini 做第二段因而是混合系统，其优势是上界。反例是巴勒斯坦乡村上 Gemini 级联反而差于直接标音，黎巴嫩上 GPT 级联几乎无增益，且该乡村也是金文本转换最难的变体，说明共享的字音转换段本身在该变体最弱。

去掉拼写惯例后还剩多少真错误？

论文没有做模型结构消融，这里的反证承担的是评分层次与路径消融。先看记号消融：大模型的严格与中性差不超过 0.7 点，说明它们已贴合参考惯例；Levanti 差 4.1 点，Charsiu 差 2.4 点，前者多为记号，后者多为音系。加符上把格尾鼻化计入会让 3 个标准语系统再涨约两点但不改变排名，支持标准语化是系统性而非个别词问题。再看路径消融：直接音频到音素、识别再转换、金文本再转换 3 条路径固定第二段为同一大模型，结果是直接路径无优势，金文本路径仍有 13.0% 误差，说明即使听全对，方言标音本身仍难。按变体看，上界在各变体间差 3.5 点，直接标音差 4.5 到 5.4 点，因此变体间差距主要来自音频段而非转换段。

直接音频到音素 × 先识别再转换的级联： 直接音频到音素是一步从波形写音素，级联是先做语音识别得到文本再做字音转换；前者省去中间文本但要求模型同时会听和会标音，后者把听和标音分开，原文用同一字音转换模块固定第二段来对比，从而判断直接标音是否有额外好处。

另一个对照是跨来源：约旦的两个来源在多数系统上访谈更难，个别标准语系统反而在访谈上更好，BYZÖ在电视剧上更好与其训练曝光一致。但约旦两来源还混杂性别差异，巴勒斯坦城市的电视剧侧仅 22 条，因而只能界定来源效应而不能分离出纯粹的方言效应。

哪些结论不能推广，缺了哪些验证？

样本与覆盖有限是首要限制。缺少贝都因、乡村约旦、乡村黎巴嫩叙利亚和离散 speech，多数变体单来源因而内容、说话人和录音质量与方言混杂。电视剧演员可能并非所饰变体的母语者，影响代表性。性别在部分变体不平衡。标注上只有加符层报告了 150 条的第二标注一致性，总体一致率 93.2%，Kappa 为 0.898，巴勒斯坦材料略高于非巴勒斯坦，差 0.027，支持听音协议减少了对母语直觉的依赖，但语音与正字层由单专家完成。

分歧多为是否标元音、是否叠音、标哪个元音，以及哈姆扎座等拼写分歧。任务与模型也可扩展，例如音频引导的加符未测。统计上变体分层和来源对照多为率差而非带区间的估计，阅读时不要把小差当成显著。未测量误判率、延迟和成本，不能承诺这些量得到改善。

复现先做什么，需要哪些文件与条件？

先固定信息条件与版本。数据发布在 HuggingFace 数据集页，评测代码与模型输出在 GitHub 仓库，但本次收到的官方资源状态显示代码与复现链接当前不可用，状态为 404，因此现在不能写已公开可运行，应先按论文附录的提示词、解码设置和归一化规则本地复刻。许可上访谈来源及注释按 CC BY-SA 合规发布，电视剧来源只发布标识而不分发音频，论文称已与原作者通信确认符合其 CC BY-NC-ND 许可，复现时须遵守随数据集的完整许可条款。

复现步骤建议：按论文切分与清洗规则重建统一码规范化，对参考和假设对称施加评测时归一化，严格与中性两层都跑并记录差值。文本任务用附录 JSON 提示并做解析兜底，音频任务用单行提示并设最大长度截断循环，音频到音素每条截断到 100% 再平均。基线至少保留实际可运行的策略：标准语专用系统、方言专用系统和提示大模型 3 类都要有，不能只留最优。Levanti 的分数要单独标注为可能分布内，金文本级联要标为上界而非可部署系统。

关键超参数按附录解码表保留，JAIS 本地 4 比特量化等条件也要注明。还需补的验证是第二标注的语音层一致性、更多变体与自然度的平衡，以及延迟与成本的测量。

何时值得用 SHAMS，记住哪三条？

当你的系统要服务黎凡特口语而非标准新闻文本时值得用它，特别是怀疑标准语模型在方言上标准语化时。记住 3 条可操作判断：先看中性层再看严格层，若严格高而中性低，多为拼写惯例问题，若两层都高且集中在词尾元音、冠词和 q 实现上，多为标准语化或方言音系问题。再看变体分层而非只看总体，乡村巴勒斯坦的 q 与特定元音是已知硬点，总体最优不等于每变体最优。

最后看路径，若直接标音不优于识别再转换，应优先改进字音转换本身，因为金文本上界已显示转换段有约 13 个点的固有难度。论文的直接报告是各任务的最强数字与分层差距，有限解释是方言适配比规模更关键，未验证的推测是更大规模无标注训练能否补上剩余差距，这需要后续用 SHAMS 之外的训练与独立评测来验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-02 语音/音乐/音频论文速递