口音不是噪声：西班牙语和法语十种方言如何让识别器系统性改写

英文题目：Dialect Bias in Speech Recognition Across 10 Spanish and French Varieties

会议身份：conference:interspeech:2026:conference-paper-id:nieto26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #基准设计 #统计分析 #公平性 #语音识别

评分：6.5/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Rodrigo Nieto：机构信息未能从会议 PDF 纯文本可靠映射
• Maria Angelika-Nikita：机构信息未能从会议 PDF 纯文本可靠映射
• Diane Sarkis：机构信息未能从会议 PDF 纯文本可靠映射
• Diyi Yang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作研究西班牙语与法语共10种国家变体的自动语音识别方言偏差，输入为播客访谈中的自然会话语音，输出为保留方言形态句法的转写文本，难点在于口语缩略、区域词汇与话语标记系统性偏离书面标准分布。作者按地区检索Apple Podcasts并过滤音质与说话人片段，再由熟悉目标语言的作者人工转写保留方言特征，得到约1223分钟、129名说话人、性别均衡的20小时评测库，随后在该库上评测7个系统并比较方言与性别分组差异。接着利用Jensen-Shannon散度词偏移定位错误语料与正确语料的词汇分歧，并用任务外pyannote说话人嵌入与Whisper编码器中层表示做方言分类与质心距离分析，最后以编码器冻结与解码器冻结的低秩适应对比定位偏差来源。与仅用朗读式通用语料报告总体分数的已有工作不同，该框架将基准测试与词汇声学归因及适配探针串联，使误差可追溯至具体形态句法与话语标记。在自建20小时播客评测语料下，西班牙语全量LoRA微调的WER为4.26%，低于基线的WER 4.77%。结论仅适用于播客访谈语域与所覆盖变体，对电话信道与高度码转换场景的外推尚未验证，且小样本下说话人级声学距离与WER的因果关系仍不确定。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这次解读要保留什么？

本文解读的输入是论文正文证据与一张数据收集流水线原图，目标是让刚进入语音领域的研究生能复述方法并核对实验条件。必须保留的信息包括语料来源与规模、转写原则、评测模型集合、词错误率比较条件、词法与声学两路分析的操作、诊断性微调的冻结设置。输出按学习依赖展开，先讲任务与已有路线，再讲语料构造全景与分析组件，然后讲评测条件、结果与反例，最后讲复现要点。

本文只讲论文实际做的西班牙语和法语方言偏置诊断，凡是为帮助理解而举的教学例子都会明确标为例子，不虚构数值。资源状态方面，本次未发现完成验证的公开资源绑定，因此不声称代码模型或数据已公开，原文提到的门控仓库链接本次未能确认可达，只按原文转述其存在而不做可用性承诺。

补充背景：为什么选这十个变体？

选择西班牙的半岛、墨西哥、阿根廷、智利和多米尼加，是为了同时覆盖欧洲与拉美并纳入加勒比口音与借词现象，选择法国、比利时、加拿大、塞内加尔和科特迪瓦，是为了同时覆盖欧洲、北美与西非并纳入与本土语言接触带来的词汇。白话说，就是要有近有远，有高资源有低资源，才能看出距离效应。

教学例子：若只比较西班牙与墨西哥，可能会误以为差距只是欧洲与美洲之分，加入阿根廷与多米尼加后才发现高资源标准形并非总是最优，加入智利后才暴露 voseo 变体的系统失败，加入塞内加尔与科特迪瓦后才暴露非洲词汇幻觉。这种最大化音系与词汇区分度的选点策略，是后续所有分组检验的前提。

已有研究走到了哪里，为什么还缺这一步？

已有偏置评测确认了方言性别种族带来的词错误率差距，以美国黑人与白人说话人差距为代表，但可复用的均衡评测语料多集中在英语和全球北方。另一条线是探测自监督模型是否编码方言声学线索，但这条线与偏置评测脱节，没有回答表示距离如何转化为转写失败。缓解方法有合成口音增强和按地理路由等，但前者需要 curated 数据，后者需要专用模型设施。

多语言资源如 Common Voice 覆盖广，却使用源自维基百科的朗读式标准文本，设计上就缺少方言形态句法和区域话语标记，德国方言已有初步补课工作，西班牙语和法语仍欠缺。白话说，已有工作要么有差距数字缺原因，要么有表示分析缺转写闭环。本文的定位就是把两者接起来，在西班牙语和法语上同时给出差距基准和语言学根因。

同输入同目标的对照：朗读语料与自然语料差在哪里？

同输入都是语音、同目标都是评测识别，但监督与运行阶段不同。Common Voice 类资源输入的是照着标准文本朗读的语音，参考文本本身就没有方言形态与话语标记，模型即使输出标准形也不会被记错，运行阶段测的是朗读可懂度。本文输入的是访谈对话自然语音，参考文本保留 voseo、pues 与 bueno 的分工、tu sais、ne 省略等真实变异，运行阶段测的是对自然变异的忠实度。因此类别差异不能当成同条件胜负，本文的低错误率数字不能直接与 Common Voice 数字比大小。德国方言数据集是同类努力，同样用更细的变体划分与自然转写补课，说明这条路线正在多语种复制。本文的增量在于把评测与根因分析绑在一起，而不仅是发布语料。

要诊断的问题是什么，难在哪里？

要回答的问题是当今主流语音识别模型在西班牙语和法语的国家级方言上是否表现一致，如果不一致，错误是否系统性地反映与训练分布的语言学距离。难处在于自然方言的形态、词汇和话语标记在朗读语料中根本不出现，若参考文本本身就被标准化，评测就会低估真实失败。其次是说话人特异性容易被误读成方言效应，若每个方言性别单元只有一两个说话人，差距可能是嗓音而非方言。

第三是词法失败与声学失败纠缠，若只看总错误率，无法知道是听不清还是听清了却生成了标准形式。论文因此把问题拆成 3 步，先建保留方言写法的人工转写语料，再做可比的基准比较，最后用词法偏移与声学距离分别解释，最后用冻结实验定位到编码器还是解码器。

从播客到可比基准，整体流水线如何走通？

整体思路是把公开播客变成按国家分层、按性别均衡、保留方言写法的评测语料，然后固定用它评测多个模型，再对最强模型的输出做两路归因。第一步按地区找播客，西班牙语覆盖西班牙、墨西哥、阿根廷、智利和多米尼加，法语覆盖法国、比利时、加拿大、塞内加尔和科特迪瓦，选择兼顾音系词汇差异和欧美非大陆分布，并纳入高资源与低资源变体，优先访谈和对话节目以获得自然语音。

第二步过滤只保留音质好且背景音乐少的单人无串话片段，第 3 步切成 5 到 30 秒短句，第四步由熟悉目标语言的作者人工转写并保留区域拼写和方言标记，例如西班牙语 voseo 动词形式，使词错误率反映对方言本体的处理能力而非文本归一化差异。下图是该流水线的原图，先看导读再看图本身有助于把 4 个阶段与后续复现动作对应起来。

用 30 字以上导读引入下图：下面这张原图把从播客发现到人工转写的 4 个圆圈步骤画成从左到右的主路径，是复述语料构造时最直接的依据。

看图路径： 1. 先从左到右跟随四个圆圈确认主路径为发现播客到过滤再到预处理最后到人工转写；2. 观察第一个圆圈上方多国小旗与播客图标的组合含义为按国家变体定向寻找主持人；3. 对比第二和第三个圆圈图标差异为质量筛选与切分加工属于不同阶段；4. 确认最后一个圆圈的对话气泡与对勾表示保留方言特征的转写质检终点

论文图 1。原论文 Figure 1：“Data collection pipeline for constructing the dialect- balanced evaluation corpus from Apple Podcasts.”。

紧接上图的解释段：图中从左到右依次是播客发现、播客过滤、数据集预处理和转写，箭头表示单向流动。第一个圆圈用多面小旗加播客图标表示按国家定向搜寻主持人，第二个圆圈用滑杆加文稿图标表示质量与内容筛选，第三个圆圈用剪刀加齿轮表示切分与加工，第 4 个圆圈用语言气泡加对勾表示保留方言的转写终点。教学上可以沿一个样本走完全程，例如一段多米尼加访谈先被选中，再因音质达标被保留，然后被切成约十几秒的单人片段，最后被逐词转写并保留当地词汇和借词，后续所有模型的输出都与这份转写比对。

词法与声学两路分析各自算什么，如何配合？

词法分析的白话含义是找出哪些词不成比例地出现在错误里。英文名为 JSD word shift，做法是把正确转写的词分布与错误语料中涉及替换删除插入的词分布做 Jensen-Shannon 散度分解，每个词对总散度的贡献被排序，人工再检查高贡献词属于哪类语言现象。声学分析的白话含义是检验发音上的远近是否对应错误率高低。

做法是用两套说话人嵌入，一套是与识别器无关的 pyannote 嵌入，一套是 Whisper 第 16 层编码器表示，选中间层是因为已有工作认为该处音系信息最丰富，然后做留一说话人交叉验证的方言分类、全局距离相关、锚点距离相关和离群点检查。两路配合的理由是比利时法语等案例显示词法上并无系统方言模式，错误多为普通名词或专有名词，此时需要声学解释补位。

词错误率 × 方言分层评测： 词错误率负责把每段转写与保留方言拼写的人工参考逐词比对并给出错误比例，方言分层评测负责把语料按国家变体和性别切成可比单元并保证每单元有足够说话人和时长，二者搭配的理由是只有在分层固定的条件下比较词错误率，差距才能归因到方言而不是说话人或时长不均，组合意义是得到可做显著性检验的方言差距图谱。

Jensen-Shannon 散度词偏移 × 形态句法纠正： Jensen-Shannon 散度词偏移负责量化每个词在正确转写分布与错误语料分布之间的分歧贡献从而揪出高频失败词，形态句法纠正负责描述模型把低资源变体改写成高资源变体的行为，二者搭配的理由是仅看错误率不知道错在哪个语言特征，而仅看改写例子不知道是否系统性，组合意义是用分歧排序把改写从个案变成可验证的系统模式，如智利 voseo 被改成阿根廷或半岛形式。

说话人嵌入 × 声学距离： 说话人嵌入负责把一段语音压缩成保留音色和发音习惯的向量，声学距离负责用余弦距离度量该向量偏离全局中心或最优方言锚点的程度，二者搭配的理由是嵌入本身只说明可分性而距离把可分性转成可与词错误率做相关的连续量，组合意义是检验声学上越远的方言性别组是否错误率越高，从而补充词法解释不了的残差。

编码器 × 解码器： 编码器负责把声学信号转成模型可用的语音表示，解码器负责结合语言模型先验逐词生成转写文本，二者搭配做诊断性冻结微调的理由是分别冻结一方可以观察适配收益来自感知还是生成，组合意义是定位方言偏置主要在解码器一侧，因为冻结编码器仍能获得几乎全部增益而冻结解码器则增益消失。

沿一个样本走完输入到输出有助于固定指代：输入一段智利男性语音，先经编码器得到表示，再经解码器生成文本，若参考中是 Chilean tenís 而模型输出 Rioplatense tenés，词法偏移会把该词排到高位，声学距离会把该说话人标为偏离全局中心较远，随后微调实验检验冻结编码器是否仍能修复该词，从而把感知与生成分开。

本研究有没有训练，微调诊断到底冻结了什么？

本研究的主体没有从零训练识别模型，7 个模型的基准部分是实际调用已有模型做推理并计算词错误率，真正的参数更新只出现在最后的诊断性微调探针中。该探针只针对 whisper-large-v3，使用低秩适配即 LoRA，秩为 32，缩放系数为 64，只作用于注意力投影，训练测试按说话人独立划分，每种语言保留约 30 到 35% 数据用于在未见说话人上评测。关键对照是分别冻结编码器与分别冻结解码器：全量 LoRA、冻结编码器只调解码器侧、冻结解码器只调编码器侧。

原文未报告优化器类型、学习率、训练步数和硬件预算等细节，这些缺项在复现时必须指出，不能从模型名称推定实现。监督来源是自建语料的人工转写，梯度只流经未被冻结的 LoRA 分支，重置时机等未报告，也不做推测。教学例子：这就像先让听写员听全部录音打分，再单独给语言习惯做小补课，看补课放在听力端还是用词端更有效。

语料、切分、指标与统计条件如何保证可比？

数据来自 Apple Podcasts 上按地区搜寻的主持人节目，遵循从公开广泛传播录音构建语料的已有做法，作者从播客描述标注性别与地区并人工核验，每方言性别单元至少 3 名说话人以缓解个人口音主导结论。切分后每方言平均时长跨度很窄，西班牙语每段均值在 15.6 到 21.1 秒之间，法语在 16.9 到 20.8 秒之间，且时长不跟随词错误率变化，说明切分长度不是差距的解释变量。指标是词错误率，数值越低越好，比较在同一语料同一转写标准下进行。

统计上先用 Kruskal-Wallis 检验片段级词错误率在方言间是否有总体差异，再用 Dunn 检验加 Bonferroni 校正做两两分组，性别比较用 Mann-Whitney U 检验。声学部分用逻辑回归做留一说话人交叉验证分类，用 Pearson 相关检验距离与方言性别级词错误率的关系，用 Cook 距离以 4 除以样本数为阈值排查离群说话人。样本量限制也被明确交代，西班牙语每单元至少 3 人、法语每单元至少 7 人，组内说话人级分析能力有限，只做方言性别级解释。

特有细节：切分与标注如何排除混杂？

论文特有细节之一是切分长度的证伪，西班牙语各方言均值在 15.6 到 21.1 秒，法语在 16.9 到 20.8 秒，窄带分布且不跟随词错误率，排除了长句更难的简单解释。细节之二是说话人元数据来自播客描述并经作者核验，且设下限人数，避免把主持人个人习惯误读成国家方言。细节之三是转写者就是熟悉目标语言的作者本人，保留区域正字法，使删除型错误如话语标记丢失能被如实记录，而不是在标注阶段就被抹平。

细节之四是声学对照同时用任务外嵌入与模型内编码器，若只有后者，相关可能是模型自带偏置的循环论证，平行趋势则更支持真实声学变异。这些操作共同保证后续的词法排序与距离相关是在可比地基上计算的。

主基准测了什么，谁在什么条件下更好或更差？

主基准测的是 7 个模型在 10 个方言乘以 2 种性别共 20 个单元上的词错误率，条件一致，指标方向为越低越好。论文报告 Whisper v3 在多数方言上最低，Whisper v2 在多米尼加西班牙语和法国与加拿大女性子集上略优。方言间差异显著，西班牙语形成三簇，阿根廷与多米尼加最低，墨西哥与西班牙居中，智利最高，法语则是法国比利时组成的欧洲簇显著优于加拿大与非洲变体。

人口规模预测被挑战，人口较小的多米尼加显著优于所谓标准变体如墨西哥和半岛西班牙语，提示训练数据质量与区域变体覆盖可能比原始说话人数量更重要。性别差距强烈依赖方言，西班牙语阿根廷智利墨西哥男性显著更高，多米尼加则女性更高，法语非洲变体塞内加尔和科特迪瓦男性显著更高而欧洲与加拿大差距不显著，支持性别偏置是区域条件化的而非普适的。

下表先整理语料规模以固定比较基座，表中数值与单位保留原文写法，裸值不擅自加百分号。

表 1 要回答的问题是语料是否真达到每方言约 120 分钟且性别均衡，公平条件是同一段落中同时核对总时长说话人数与每单元下限，指标方向是规模越大且越均衡则后续差距越可信。

表后解释需要超过 25 个汉字并给出代价与反例：该规模的收益是每个方言性别单元都有多人多分钟语音，使智利最差与多米尼加最优的结论不易被单个嗓音绑架，代价是播客口语仍不能代表所有语域和场景，且非洲与加勒比等低资源变体的词汇覆盖依然不足，未胜出项是墨西哥与半岛等中间簇并未因资源多而登顶，这正是人口规模假设的反例。

第二张表回答声学嵌入是否真编码方言信息，公平条件是两套独立嵌入在同一留一说话人协议下比较，指标方向是分类准确率越高且越高于机会基线则声学解释越成立。

表后解释同样需要完整段落：两套嵌入在西班牙语达到 83 到 86%，在法语达到 67 到 77%，远高于 10% 的机会基线，支持声学维度确实携带方言区分信息，且 pyannote 与 Whisper 编码器趋势平行，说明不是单一模型伪影。代价是相关性主要在方言性别聚合层成立，组内说话人级因样本少而不稳定，不能把相关读成因果，也不能承诺改善嵌入就一定降低误判率或延迟，未评测边界包括推理开销与实时因子均未测量。

词法模式、声学相关与冻结对照分别支持什么？

词法上西班牙语呈现 3 类模式，一是形态句法纠正，智利 voseo 如 podís、tenís 近乎全错，约 40 例观察中模型常输出阿根廷 tenés 甚至半岛 sabéis，正确后缀概率多在 1% 以下，阿根廷的 tenés、podés 也因被纠正成 tienes、puedes 而上榜。二是区域词汇，智利 cachai、huevon、weon 与多米尼加 coaching、net 等英语借词集中失败。三是话语标记 pues 在西班牙居首、在墨西哥居次，却在阿根廷和多米尼加缺席而当地偏好 bueno，形成删除为主的 pues 分界。

法语同样 3 类，一是加拿大 puis、ben、sais 等标记被整词删除，二是非洲词汇触发幻觉，如 antilope 被写成 solantilope 或 lentilope，人名 binama、mvomo 被改写，塞内加尔 daradji、rapodjo 类似，三是口语常省略否定小词 ne 而书面标准要求保留，导致 n 与 ne 在多方言错误榜前列，法国最严重，说明解码器偏向正式书面语域。声学上全局距离与锚点距离均与方言性别级词错误率显著相关，Cook 距离确认非离群驱动。

冻结对照显示西班牙语相对改善约 10.7%、法语约 3.1%，冻结编码器几乎复刻全量微调，冻结解码器则增益大幅缩水乃至在法语上无改善，加大秩到 64 并扩展到前馈层也无额外增益，说明瓶颈在解码器先验。针对性检查确认智利 po、加拿大 puis 与 tu sais、法语 ne 在适配后被正确转写，但方言间差距依然存在。下表汇总显著性与改善幅度等可运行证据，比较保留原文可部署策略，事后最优不替代部署收益。

表 3 要回答的问题是在显著性与代价既定的条件下微调是否值得尝试，公平条件是同一说话人独立划分与同一词错误率口径，指标方向是相对降幅越大越好但需看绝对基线。

表后解释段：显著性检验报告显示两语方言间差异均达到显著阈值，微调虽带来西班牙语约一成相对下降与法语约三成之一的下降，但绝对差距未消除，说明小规模 LoRA 只能恢复部分已识别的方言特征。未胜出项是冻结解码器的方案与更大容量的 LoRA，前者几乎无增益，后者无额外增益，负结果恰好强化了解码器定位的判断。未测量项是训练与推理成本、延迟与误判率，总体趋势也不等于每组每步都成立。

哪些结论有限，哪些推测尚未验证？

论文直接报告的是基准差距数字、词法高贡献词表、嵌入分类准确率与距离相关系数、冻结对照的词错误率变化，这些属于报告与显示层级。有限解释是声学距离与错误率的关系，原文明确表述为汇聚性证据而非因果确认，组内分析因样本少而不做强主张。未验证推测包括训练数据质量比人口规模更重要的解释，虽然合理但未直接测量训练分布，不能当成定论。

缺失证据不是技术错误，例如优化器、学习率、硬件预算、推理延迟、输出帧率均未报告，复现时应列为待补项。相关性不是因果，解码器定位来自冻结对照的支持而非穷尽所有架构可能，更激进的方言预训练或结构修改被留作未来工作。总体趋势不等于每组都成立，例如 Whisper v2 在个别单元反超 v3，性别差距方向在多米尼加与其他西班牙语方言相反，都提醒不要把平均结论推广到每个子集。

要复现这套诊断，先做什么，需要什么条件？

复现先做语料流水线，按国家搜寻播客主持人并核验地区与性别，过滤音质与串话，切成 5 到 30 秒单人片段，再由懂目标语言的人按保留方言拼写的原则转写，每方言做到约 120 分钟、每性别约 60 分钟、每单元至少 3 名说话人，并记录平均段长以排除时长混杂。评测时固定同一批参考文本调用 7 个模型或至少包含 Whisper v3 与可比基线，计算 20 个方言性别单元的词错误率并做 Kruskal-Wallis 加 Dunn 校正与性别 Mann-Whitney 检验。

归因时一侧跑 JSD 词偏移排序并人工归类为纠正、词汇缺口或语域错配，另一侧抽取 pyannote 与 Whisper 中层嵌入做留一说话人分类与距离相关，最后用秩 32 的 LoRA 做全量、冻结编码器、冻结解码器 3 组对照。何时值得尝试是当你的模型在标准集上很好但在自然对话方言上抱怨多时，这套流程能快速定位是听不清还是生成偏书面。还需补的验证是更大样本的说话人级分析、延迟与成本测量，以及对幻觉词的人工可懂度评估。

核心判断与可带走的方法是什么？

核心判断是识别错误系统性地反映与高表现变体的语言学距离，法语表现为欧洲优于非洲与加拿大，西班牙语表现为多米尼加与阿根廷优于半岛与墨西哥而智利垫底，词法上是高资源形式对低资源形式的覆盖，声学上是嵌入距离与错误率同向变化，机制上是解码器先验不足而非编码器听不清。

可带走的方法是播客定向搜寻加质量过滤加短句切分加保留方言转写的语料构造法，JSD 排序加人工归类的词法诊断法，双嵌入加全局与锚点距离加离群检查的声学诊断法，以及冻结编码器与冻结解码器对照的定位法。论文特有的误解需要澄清，人口多不等于识别好，性别差距不是普适男性更差而是区域条件化，微调能修复 po、puis、tu sais 与 ne 等具体标记但不能消除整体偏置，Common Voice 式朗读评测不能替代自然对话评测。

研究生复述时应先讲语料如何保证可比，再讲差距数字与统计条件，最后讲两路归因如何收敛到解码器，避免把比喻当证明。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总