归一化把跨语言差异抹掉时，为何反而更像不懂英语的西班牙听者

英文题目：How Speaker Normalization Procedures Influence the Computational Modelling of Non-native Vowel Perception: Implications for the L2LP model

会议身份：conference:interspeech:2026:conference-paper-id:lee26l_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#统计分析 #言语感知 #跨语言 #语音 #音频分类

评分：5.3/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.5/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• Jooyoung Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Kakeru Yazawa：机构信息未能从会议 PDF 纯文本可靠映射
• James Whang：机构信息未能从会议 PDF 纯文本可靠映射
• Paola Escudero：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该研究输入为墨西哥西班牙语与美国英语元音在中点处提取的第1与第2共振峰，输出为英语元音被映射到5个西班牙语范畴的分布，难点在于说话人声道差异与跨语言音系差异纠缠，且零基础听者缺乏目标语归一化参照。方法链分3步：先对西英数据施加同一种说话人归一化，英语侧参数全部来自西班牙语样本估计，其输出直接作为下一步模型的输入特征。再用归一化后F1与F2训练多层感知器完成西班牙语5分类，其输出的冻结分类器进入最后一步。最后将英语token送入冻结模型生成5×9感知矩阵并与人类数据对比；与保留组间差异的Nearey对数均值法相比，Lobanov按说话人做Z得分标准化，理论上更易坍缩跨语言差异却反而最贴合零基础听者。在美式英语9元音映射任务下，Lobanov的平均绝对误差为13.93，低于Raw Hz的平均绝对误差21.07。该结论仅适用于无英语经验的初始感知阶段，未验证加入F3与时长后或进阶学习者是否反转。因此其适用边界受限于初始阶段，进阶学习者与多线索条件的泛化尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先把任务摆清楚

这篇解读的输入是论文正文给出的确定性证据，目标是让刚进入语音研究的研究生能复述方法并核对条件。论文研究的不是通用的语音识别，而是很具体的跨语言感知建模：让计算模型去模仿不懂英语的西班牙语听者，会把英语元音听成哪个西班牙语元音。输入信号是元音中点处的第一共振峰和第二共振峰，输出是对 5 个西班牙语单元音的归类比例。

必须保留的信息包括数据来源、归一化做法、网络结构、英语数据如何归一化、人类基线是谁、4 个评价指标的方向。论文用墨西哥西班牙语的 DIMEx100 做第一语言训练，用美国英语的 TIMIT 做第二语言测试，人类对照是秘鲁西班牙语听者对合成英语元音的强制选择结果。整个比较的公平条件是 6 个模型结构和训练流程完全相同，唯一改变的是输入前的归一化。理解这一点，后面所有关于谁好谁坏的判断才有意义，否则会误把网络能力差异当成归一化差异。

前人已经比过归一化，为什么这篇还要再比一次

前人对归一化的比较大多在单一语言内部进行。论文回顾的路线包括荷兰语大规模比较，发现以外在的、按共振峰分别处理的 Lobanov 综合表现最好，后续在瑞典语等稠密元音空间中也有验证。另一条路线是感知验证，有研究让美国英语听者做元音归类，发现均匀缩放的 Nearey1 比 Lobanov 更能预测人类行为，说明类别可分性最好不等于感知拟合最好。还有研究提醒标准分数类方法在比较形状不同的元音系统时要谨慎，因为可能出现过度归一化。

教学上可以这样理解：单语言任务关心的是去掉说话人差异后类别分得开不开，跨语言任务多了一个要求，还要保留两个语言系统之间的距离。论文指出的缺口正在这里：很少有人在同一个听者比较母语和新语言的框架下，系统比较归一化方法。也就是说，前人回答的是哪种归一化让一个语言内部更清楚，这篇要回答的是哪种归一化让西班牙听者听英语的方式更像真人。

要回答的问题是什么，什么算证据

论文要回答的是哪种归一化最适合建模零英语经验的西班牙听者感知英语元音。操作化之后变成 6 个归一化各自训练一个西班牙语分类器，再把英语元音喂进去，得到 5 个西班牙行乘 9 个英语列的归类矩阵，与人类矩阵比较。证据是 4 个指标：平均绝对误差越小越好，均方根误差越小越好，皮尔逊相关越大越好，首选类别一致数越大越好，一共 9 个英语元音逐个看首选是否一致。

论文的预期其实是 Nearey 会赢，因为它只做统一平移，更能保留语言间差异，而 Lobanov 按人做标准差缩放，可能把有意义的跨语言距离压扁。这个预期很重要，因为最终结果与预期相反，讨论部分才需要引入第二语言语言学感知模型的初始态解释。如果不先记住这个预期，就会把 Lobanov 最优当成理所当然，漏掉论文真正的矛盾点。

方法全景：沿一个英语元音走完全流程

先沿一个样本走一遍。取一个 TIMIT 中的英语元音，读出其中点第一共振峰和第二共振峰两个赫兹数值。第一步不是直接进网络，而是先做归一化，而且关键细节是用西班牙语样本估计出的归一化参数去归一化英语数据，理由是虚拟的西班牙听者只能接触到西班牙语的参数。第二步把归一化后的两个数值送进多层感知机，网络输出 5 个西班牙语类别上的概率。第三步把大量英语记号按 9 个英语元音分组聚合，得到模型预测的归类比例矩阵。

第四步与人类矩阵比较 4 个指标。6 种做法的差别只在第一步：不做处理的原始赫兹、按性别分组做标准分数、按说话人做标准分数的 Lobanov、对数域按共振峰分别减均值的 Nearey1、对数域跨共振峰减总均值的 Nearey2、按说话人极值拉到固定区间的 Gerstman。网络结构、训练集、早停规则、测试聚合方式都保持一致，这是把效果归因于归一化的前提。

六种归一化各自在算什么

原始赫兹基线不做任何变换，直接把量级不同的第一和第二共振峰喂给网络，教学上可作为例子理解量级敏感问题，但论文不把它当作可部署的推荐。性别分组标准分数是在男女组内分别求均值和标准差，去除男女整体解剖差异但保留组内差异。Lobanov 是对每个说话人各自求均值和标准差，去除个体差异最彻底，但也最可能把语言间差异一起去掉。Nearey1 在对数域对每个共振峰分别减去该说话人的对数均值，近似对声道长度的乘性校正。

Nearey2 在对数域减去跨共振峰的总对数均值，对所有共振峰用同一个缩放，更能保留共振峰之间的相对关系。Gerstman 用每个说话人观察到的最小值和最大值把数值线性映射到固定区间，用极值而不是均值和方差来拉齐。论文明确说 Nearey 类方法因为只做统一平移，预期比 Lobanov 保留更多组间变化。这个预期是后面解释反直觉结果的起点。

归一化与感知建模如何组合，L2LP 在其中起什么作用

第二语言语言学感知模型认为零接触的初始态听者完全通过母语语法感知第二语言声音，初始的第二语言感知语法是母语语法的直接复制，有足够输入后才可能通过充分接触发展出新的类别。论文把这个框架具体化为计算操作：训练只用西班牙语，测试给英语且归一化参数也来自西班牙语。组合机制需要分开看。

说话人归一化 × 跨语言元音感知建模： 说话人归一化负责把第一共振峰和第二共振峰中因声道长度等生理差异带来的整体偏移去掉，保留音位对比需要的相对位置；跨语言元音感知建模负责把第二语言英语的声学输入映射到第一语言西班牙语的 5 个类别上。二者搭配的理由是模型输入只有两个数值，若不先做归一化，数值量级大的线索会主导多层感知机训练；组合后的新增作用是让英语元音以西班牙听者会听到的方式被归类，从而可以直接与人类听辨矩阵比较。

Lobanov 归一化 × 过度归一化： Lobanov 归一化是对每个说话人各自求均值和标准差再做标准分数变换，分工是彻底去掉个体差异；过度归一化指这种按人标准化同时把语言之间本该保留的元音空间形状差异也压扁。搭配讨论的原因是论文原本担心 Lobanov 会把西班牙语和英语系统的距离抹掉，新增的判断是这种抹掉恰好模拟了完全不懂英语的听者把一切都听成自己母语的心理状态。

Nearey 归一化 × Lobanov 归一化： Nearey 归一化在对数域减去说话人的对数均值，分工是用统一平移近似声道长度的乘性缩放，相对保留组间差异；Lobanov 归一化用均值和标准差做除法标准化，分工是更强地拉齐每个人的分布。搭配比较的原因是二者代表保留差异与消除差异的两端，组合意义是为第二语言语言学感知模型的不同发展阶段各提供一个候选：初始态用抹平差异的 Lobanov，有区分之后用保留差异的 Nearey。

完全复制 × 归一化行为复制： 完全复制是第二语言语言学感知模型对初始态的假设，指不懂第二语言的听者把母语的音位类别和声学映射原样搬到第二语言上；归一化行为复制是论文提出的新扩展，指连带把母语的说话人归一化处理方式也一起搬过去。搭配理由是类别映射和归一化都是感知语法的一部分，组合后的新增含义是初始态听者不仅用西班牙语类别听英语，还用西班牙语的参数去归一化英语输入。

多层感知机 × 第一语言训练第二语言测试： 多层感知机负责学习从两个共振峰输入到 5 个西班牙语元音类别的映射，分工是提供一个可控的分类器；第一语言训练第二语言测试是实验范式，分工是训练只见西班牙语，测试只给英语，模拟零英语经验。搭配原因是只有固定网络结构并只换归一化，才能把人类拟合差异归因于归一化，组合后可以直接读出每个归一化下的跨语言归类矩阵。

白话例子是：一个只会西班牙语 5 个元音的人第 1 次听到英语的松紧元音差别，他没有新的格子可用，只能把它们塞进最接近的西班牙语格子，连带用自己习惯的归一化方式去听。论文进一步提出，如果初始态是完全复制类别，那么归一化行为也应被完全复制，这就是 Lobanov 拟合最好的一种解释。需要区分的是，这是论文给出的有限解释，不是直接测量的因果证明，后续需要用不同熟练度学习者的数据来验证。

网络怎么训练，何时停止，监督从哪里来

6 个模型都是多层感知机，输入两个神经元对应第一和第二共振峰，两个隐层各 128 个神经元，输出 5 个神经元对应 5 个西班牙语元音类别。监督来源是 DIMEx100 中每个西班牙语记号自带的元音标签，目标是把记号分到正确类别。训练一直持续到分类准确率连续 20 个轮次没有提升才早停，论文没有报告学习率、优化器、批量大小和具体轮数，这些属于缺项，复现时不能从模型名称推定。

训练和测试样本量在西班牙语部分有明确报告，训练约十二万量级，测试约一万四千量级，来自不同数量的男女说话人。英语部分只用 TIMIT 测试集的一万多个记号做模拟，训练集留待未来模拟高水平学习者。论文没有比较不同网络结构，也没有报告训练时长和硬件预算，因此不能讨论结构与归一化的交互，也不能承诺计算成本的改善。唯一可以复述的是结构和早停完全相同，差别只在输入归一化。

数据、划分、人类基线和比较口径是什么

第一语言数据是 DIMEx100 的墨西哥西班牙语朗读语音，取 5 个单元音在元音中点的第一和第二共振峰。第二语言数据是 TIMIT 的美国英语，取 9 个单元音的同样两个共振峰。人类基线是已发表的秘鲁西班牙语听者对合成美国英语元音的强制选择结果，听者自述不懂英语，任务是从 5 个西班牙语元音中选一个。模型侧的模拟是把英语记号按西班牙语参数归一化后送进只见过西班牙语的网络，输出在 5 个西班牙类别上的分布，再聚合成同样形状的矩阵。

评价时逐格比较比例差异算误差和相关，逐列比较首选类别算一致数。下面的表把数据规模和用途整理成可核对的形式，表前的问题是训练、验证和模拟各用了谁的数据，公平条件是 6 种归一化共享同一划分和同一聚合方式。

表后需要说明代价和边界。

训练量远大于模拟量，说明第一语言模型学得相对充分，而跨语言测试完全是零样本迁移。人类基线用的是合成元音，模型用的是自然语料 TIMIT，这种材料差异是未完全对齐的边界，论文没有量化它对误差的影响。把英语训练集留空也意味着当前结论只适用于初始态，不能推广到有英语经验的学习者。 下面先看人类矩阵的形状，它是后面所有拟合判断的参照。图前导读的任务是确认人类把英语听成西班牙语时是否存在清晰的块状结构，以及哪个格子最难模仿。

看图路径： 1. 先看横轴九个英语元音列与纵轴五个西班牙语行构成的归类矩阵框架；2. 再看对角块状深色区：前元音集中在西班牙语 i 和 e，中后元音集中在 a 和 o；3. 最后盯住右下角英语 u 到西班牙语 u 的高比例格，这是区分各归一化好坏的关键格

论文图 1。原论文 Figure 1：“Human categorization of American English vowels (columns) as Spanish vowel categories (rows), from Escudero and Chladkova [18].”。

图中横轴是 9 个英语元音，纵轴是 5 个西班牙语感知类别，格内数字是归类比例，深色表示比例高。可见前部英语元音高度集中在西班牙语前元音，低后部元音分布在西班牙语低元音和圆唇后元音之间，后部圆唇元音集中在西班牙语后元音。特别要记住英语紧元音 u 几乎被听成西班牙语 u，而松元音则分给圆唇后元音的另一类，这种紧松不对称是后面区分 Lobanov 与其他方法的关键。

哪种归一化最像真人，好在哪里，差在哪里

主结果是 Lobanov 在 4 个指标上同时最好，平均绝对误差和均方根误差最低，相关最高，首选一致数最多。次好的是 Nearey1 和性别分组标准分数，二者首选一致数相同。再次是 Nearey2 和原始赫兹，最差是 Gerstman。定性上只有 Lobanov 正确抓住了英语紧元音 u 到西班牙语 u 的映射，其他方法多把它归到西班牙语 o。下面的表把可运行策略的相对排序整理出来，表前的问题是在相同网络和相同数据下只换归一化谁最接近人类，指标方向是误差越小越好、相关和一致数越大越好。

表后要同时讲收益与代价。

收益是 Lobanov 在前元音和后部紧元音上都更接近人类块状结构，代价是它的成功依赖于把语言间差异压扁，前提是听者还没有建立独立的第二语言空间。一旦听者开始区分两个语言，这种压扁就可能从优点变成缺点。未胜出的反例也很重要：预期能保留差异的 Nearey 反而没有赢，说明保留差异不等于更像初始态听者；Gerstman 用极值拉齐的效果最差，说明对异常值敏感的区间映射不适合这种跨语言迁移。 下面看 6 个模型的预测矩阵，这是把数字表落到具体归类行为上的证据。

图前导读的任务是带着人类矩阵的记忆，逐个面板检查前元音列是否集中、后部列是否分开。

看图路径： 1. 先按 a 到 f 六个面板逐个确认横轴仍是九个英语元音、纵轴仍是五个西班牙语类别；2. 再对比每个面板右下角英语 u 所在列是落在西班牙语 u 还是 o 上；3. 最后比较 c 面板 Lobanov 与其他面板在前元音列的颜色集中程度

论文图 2。原论文 Figure 2：“Model-predicted categorization of American English vowels as Spanish vowel categories under six normalization methods.”。

6 个面板共享相同的行列框架，格内数字是模型归类比例。c 面板 Lobanov 的前部英语元音更集中，后部英语紧元音 u 所在列在西班牙语 u 格取得高比例，与人类右下角深色格对应。a 面板原始赫兹、d 面板 Nearey1、e 面板 Nearey2 和 b 面板性别分组都把 u 更多放在西班牙语 o，f 面板 Gerstman 则在低后部出现与人类差异更大的分布。读图时不要把颜色深浅直接当成绝对好坏，还要结合纵轴是西班牙语感知类别、横轴是英语输入这一框架，才能判断首选是否一致。

如果换掉关键条件，结果还成立吗

论文没有做传统意义上的消融，例如去掉隐层或只用一个共振峰，但它用 6 种归一化本身构成了对照。把 Lobanov 换成只去男女差异的性别分组，拟合就下降，说明按人彻底标准化的强度是关键。把 Lobanov 换成对数域平移的 Nearey，拟合也下降，说明问题不只是对数还是线性，而是是否除以标准差。把不做处理的原始赫兹作为基线，它明显差于 Lobanov，说明归一化不是可有可无，而是平衡两个输入线索的必要步骤。失败条件是 Gerstman 全面最差，提示基于最小最大值的方法在跨语言参数迁移时不稳定。

论文还明确了两个未评测边界：只用了第一和第二共振峰，没有加入第三共振峰或时长；网络刻意保持简单，没有测试复杂结构是否与归一化交互。因此当前最优只在双共振峰加简单多层感知机的条件下成立，不能推广到多线索或大模型。

哪些结论是报告，哪些是推测，还缺什么

直接报告的是 Lobanov 在 4 个指标上拟合人类初始态数据最好，以及只有它正确处理英语紧元音 u 的归类，这些有矩阵和指标支持。有限解释是 Lobanov 的压扁特性模拟了把一切都听成母语的初始态，这能解释反直觉结果，但论文没有直接测量听者的归一化过程，所以只能用支持而不能用证明来表述。待验证的推测是随着学习者水平提高，保留差异的 Nearey 可能反超，因为那时听者需要区分两个语言空间，这个预测需要用不同熟练度的数据来检验。

缺失的证据包括统计显著性检验、误差的置信区间、训练资源和推理开销，论文未报告这些量，因此不能承诺某种归一化更快或更省。数据方面人类基线是秘鲁西班牙语而训练是墨西哥西班牙语，方言差异是否影响结论没有被量化，这也是复现时要留意的边界。

要复现这篇工作，先做什么，后做什么

复现先做数据准备。从 DIMEx100 取出西班牙语 5 个元音中点的两个共振峰，按训练和测试划分保留原始说话人分组；从 TIMIT 测试集取出 9 个英语元音的同样两个共振峰，训练集暂时不用。接着实现 6 种归一化，关键是英语归一化必须用西班牙语估计的参数，不能用英语自身参数重新估计，否则就不再是零经验模拟。然后用相同结构的多层感知机训练 6 次，输入 2 维，隐层两层各 128 维，输出 5 维，早停 patience 设为 20 轮，差别只在输入。

最后把英语聚合为归类矩阵并计算 4 个指标，指标实现要区分百分点差异和相对百分比，不能混用。下面的表把复现清单整理成可执行步骤，表前的问题是哪些超参数是原文给定的、哪些是缺项，公平条件是除归一化外其他全部固定。

表后要说明代价。

严格复现的最大代价是缺项较多，优化器和预处理细节需要自己做合理选择并记录，否则 6 次训练的随机性可能干扰归一化比较。建议固定随机种子并多次重复，报告均值和波动，而不是只报 1 次最优。资源状态方面，论文没有给出代码、模型或数据已公开的可用链接，本次也不能声称它们已公开，复现需要自行申请 DIMEx100 和 TIMIT 并实现归一化与网络。

何时值得尝试 Lobanov，何时应该换方法

当建模对象是完全没有目标语言经验的初始态听者，且输入只有第一和第二共振峰时，值得先尝试 Lobanov，因为它用最强的按人标准化模拟了把外语都听成母语的状态，论文中它在误差、相关和首选一致上都最接近真人。当建模对象已经开始建立独立的第二语言类别，或任务需要保留两个语言元音空间的形状差异时，应该换成 Nearey 类保留差异的方法，这是论文基于发展轨迹给出的待验证建议。

实践中要记住 3 个特有误解：类别分得开不等于更像人，过度归一化在单语言是缺点在初始态可能是优点，用英语自身参数做归一化就不再是零经验模拟。收束一句话：归一化选择应与听者熟练度绑定，初始态用抹平差异的 Lobanov，有区分之后再考虑保留差异的方法，未来工作需要用多熟练度数据和更多声学线索来检验这个切换点。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总