[b] = [d] - [t] + [p]: Self-supervised Speech Models Discover Phonological Vector Arithmetic

英文题目：[b] = [d] - [t] + [p]: Self-supervised Speech Models Discover Phonological Vector Arithmetic

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.537

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#统计分析 #可解释性 #语音学与音系 #语音 #语音合成

评分：6.6/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

Kwanghee Choi：机构信息未能从会议 PDF 纯文本可靠映射
Eunjung Yeo：机构信息未能从会议 PDF 纯文本可靠映射
Cheol Jun Cho：机构信息未能从会议 PDF 纯文本可靠映射
David Harwath：机构信息未能从会议 PDF 纯文本可靠映射
David R. Mortensen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

任务输入是连续语音帧级表征与音段起止时间，输出是形如[p]−[t]+[d]≈[b]的音系类比预测与可连续加减的音系方向，实际难点在于语音时长可变、协同发音混叠且跨语言音位 inventory 差异大，难以分离出线性可加的音位特征方向。该方法先以潘凤特征在英语语料与多语言语料上构造仅差一个特征的四元类比组，为向量算术提供可验证真值。接着对切片后帧表征做音段级平均池化得到单向量，并用余弦排序与配对一致性检验确认类比方向是否存在。然后用类别均值差构造高低、前后、圆展、鼻音等音系向量，并将其按权重叠加回表征后经声码器重合成，以声学测量验证尺度单调性。与既往探针分类只检验是否编码音素信息不同，该工作同时检验方向可加性与尺度可控性，把离散音系特征重释为连续可操控向量，因而能连接标量与多值音系理论并支持跨语言泛化检验。在VoxAngeles语料基准设置下，响音向量与鼻音向量的余弦相似度指标为0.78，高于响音向量与擦音向量的-0.57。该结论的适用边界受限于仅验证三个英语训练的自监督模型与有限可构造特征，且依赖特定声码器与甲状声学代价函数，对其他架构与感知有效性尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么只会识别音素还不够，需要问表示的结构？

本解读的输入是论文正文证据与官方原图像素，目标是让刚进入语音方向的研究生能复述方法与判断依据，必须保留的关键信息包括数据划分、表示提取方式、类比构造规则、评价指标方向与合成验证条件，输出是 1 篇按学习依赖展开的技术说明。已有工作报告自监督语音模型能编码丰富的语音信息，能做识别与聚类，但这些结论只回答编码了什么，没有回答如何组织。

如果表示只是把相似声音放得近，而没有可分解的方向，那么下游任务仍需重新学习组合规则。论文把问题聚焦为两个可检验的假设：方向上是否存在对应音系特征的线性向量，尺度上是否连续对应发音的实现程度。理解这一点后，后续所有实验都是围绕方向与尺度分别设计的，前者用余弦相似度做类比检验，后者用声码器重合成加声学测量做控制检验。

词向量类比与语音可解释性之间差了哪一步？

文本方向的经典例子是国王减男人加女人约等于女王，它把语义关系写成向量加减。语音方向此前更多是探测某一层是否含有音素信息，或比较表示距离是否反映声学相似度，也有工作从发音、音节、词汇与句法角度做层级分析。论文明确区分了编码了什么与如何编码，认为层探测只能证明信息存在，不能证明结构可组合。另一条相关路线是可控合成，直接用后验概率、发音特征或人工设计的音系特征去控制合成，这类方法的可解释性来自人工设计。

论文的路线相反，可解释向量是从自监督表示中涌现出来的，需要先证明方向存在，再证明尺度可控。还有少量工作讨论过浊音向量、送气向量或形态变化的线性几何，但缺少跨语言大规模检验与尺度连续性的系统验证，这正是本文要补的位置。

要验证的音系类比到底是什么任务？

论文把一个音系类比写成 4 个音的元组，例如浊清双唇塞音对[b] 与[p]，浊清齿龈塞音对[d] 与[t]，可以构成[b] 比[p] 恰如[d] 比[t] 的浊音类比，也可以构成[b] 比[d] 恰如[p] 比[t] 的部位类比。检验时把每个音的表示记为向量，判断目标音是否约等于另外 3 个音的加减组合。举例说，给定一段包含[p] 的句子，先得到该音的表示，再加一个从[d] 减[t] 得到的浊音方向，期望得到接近[b] 的表示。这是一个表示结构的检验任务，不是识别任务。输入是带音段边界的语音，输出不是标签，而是一个是否满足排序不等式的判断。论文用 19 个音系特征构造大量此类四元组，覆盖辅音与元音，要求方法在英语内与跨语言上都成立。

方向检验与尺度控制这两步如何串成一条链路？

整体链路分为上下两半，上半部分做方向检验，下半部分做尺度控制。方向检验的流程是先用外部音系知识库给每个音标注离散特征，再按特征差相等的规则筛选四元组，然后从模型各层提取音段向量并计算类比余弦相似度，最后与同音基线和异音基线比较排序。尺度控制的流程是先按有无某特征求两组平均表示之差得到音系向量，再把该向量按系数加到目标音段对应的表示帧上，然后用声码器合成波形并测量声学量随系数的变化。

两步共用同一套表示提取，但评价对象不同，前者看方向是否对齐，后者看尺度是否单调。下图把文本类比与语音类比并置，并给出从原音频到表示再到修改音频的完整路径，是理解全文安排的关键。

看图路径： 1. 先看上半部分左右两个平行四边形，确认文本类比与语音类比的对应边；2. 再看下半部分从[pit] 波形到表示矩阵再到[bit] 波形的三步箭头；3. 注意中间蓝色圆点标注的浊音向量是加在目标音段帧上；4. 确认虚线箭头表示该向量来自上半部分浊音边的差值思想

论文图 1。原论文 Figure 1：“Comparing analogies for text and speech.”。

该图上半部分左侧用男人、女人、国王、女王说明语义平行四边形，右侧用[p]、[t]、[d]、[b] 说明浊音边与双唇边构成的平行四边形，虚线把浊音方向引出为一个可复用的向量。下半部分展示把该向量加到[pit] 中[p] 对应帧上，经逆变换得到[bit] 的过程，蓝色竖线标出被修改的时间范围。读图时不要把箭头当成识别流程，而应看成结构假设的可视化：方向来自类比差值，控制来自向量相加与重合成。

四元组、音段向量与余弦排序是如何配合的？

第一个组件是四元组构造。论文用 PanPhon 给每个音 21 个特征的三值标注，再把正、无关、负展开成二进制向量，只有当 4 个音满足第一音减第二音等于第三音减第四音时才保留为一个四元组。这样每个四元组同时包含两种对称类比，且不要求是最小对立体，可以相差多个特征。第二个组件是音段向量提取。给定语音波形，模型先输出帧级表示矩阵，时间维度因下采样而变短，再按音段起止时间映射到帧索引并做平均池化，得到一个向量。

论文主要用特征切片，即先编码整句再截帧平均，以保留上下文。第 3 个组件是余弦排序检验。对每个四元组计算目标音与加减组合的余弦相似度，同时计算目标音与另一实例的同音相似度、与随机异音的异音相似度，要求满足异音小于类比小于同音。成功率就是满足该排序的四元组比例，并用自助法估计置信区间以处理同一音多次实现带来的分布问题。

自监督语音模型 × 音系特征： 自监督语音模型负责从大量无标注语音中学习帧级表示，提供可做向量运算的空间；音系特征负责给出语言学上可解释的划分，如清浊、部位、鼻音，二者搭配的理由是前者提供连续向量，后者提供离散对照，组合后才能检验某个方向是否对应某个发音属性。

音系类比 × 向量算术： 音系类比负责提出可验证的关系，如[b] 比[p] 恰如[d] 比[t] 多出浊音；向量算术负责把这种关系写成加减操作，如 r[b] 约等于 r[p] 加 r[d] 减 r[t]，搭配的原因是只有把类比转成向量等式，才能用余弦相似度判断表示空间是否真正保持了该结构。

音系向量 × 声码器： 音系向量负责在表示空间中给出一个可加、可缩放的方向，如浊音向量；声码器负责把修改后的表示重新合成波形，使方向的变化可听、可测量，搭配的原因是只看余弦相似度无法证明尺度对应发音程度，必须经过合成与声学测量才能验证连续控制。

沿一个样本走一遍有助于固定指代：输入一段英语句子与[p] 的起止时间，模型输出各层帧表示，取最后一层或中间层在该时间窗内的平均作为 r[p]，同理从其他句子中采样 r[d] 与 r[t]，计算 r[p] 加 r[d] 减 r[t]，再与另一句中的 r[b] 求余弦。若该值稳定大于随机异音的余弦且小于同为[b] 的余弦，则记 1 次成功。后续所有层曲线与跨语言比较都是重复这一基本操作，只是更换模型层、数据集与四元组集合。

本研究训练了什么，又冻结复用了什么？

本研究没有训练自监督语音模型本身，而是复用已有的 3 个英语单语大模型与一个多语言模型，包括 wav2vec 2.0、HuBERT、WavLM 以及用于对照的多语言 XLSR-53，它们的卷积加变换器参数在类比检验中保持冻结，只做前向推理与池化。真正训练的是声码器，用于把修改后的表示逆变换回波形。论文基于 Vocos 结构做了维度适配，使其能接受 WavLM 表示或频谱表示作为输入，并按 8 倍批量与学习率加速收敛，分别在英语 LibriTTS 与多语言 FLEURS-R 上训练出两个声码器，用于对应语言范围的重合成。

音系向量的构造不需要梯度优化，而是按有无某特征分组求平均再相减得到，例如浊音向量是全部浊辅音平均减去全部清辅音平均，元音与辅音分开计算。

特征切片 × 音频切片： 特征切片负责先对整句编码再截取目标音段的表示帧并平均，保留了上下文信息；音频切片负责先截取波形再单独编码，严格限制感受野，搭配比较的理由是二者对照可以判断音系向量是否依赖上下文，组合意义在于区分局部声学与上下文抽象两个来源。

需要明确的缺项是原文未报告声码器训练的完整超参数表与收敛曲线，也未说明自监督模型内部注意力感受野的具体控制，只通过特征切片与音频切片的对照间接论证上下文的作用。因此不能从模型名称推定其实现细节，只能按论文实际调用方式复述：冻结编码器做表示提取，训练声码器做可测量的合成验证。

数据、划分与声学测量如何保证可比？

方向检验使用两个手工切分的数据集。TIMIT 是 630 人英语平衡语料，论文去掉双元音并合并塞音闭塞与爆破段，过滤出现次数少于 50 的音与无音系映射的四元组，最终在测试集上得到 236 个四元组。VoxAngeles 来自加州大学语音档案馆，覆盖 95 个语言与 21 个语系，无预设划分则全量使用，最终得到 468 个四元组，其中大量包含英语中不存在的音。比较对象包括对数梅尔谱与梅尔倒谱系数，以及 3 个自监督模型的 25 层表示，池化方式默认一致。

尺度验证使用 8 个有明确声学对应的特征：高、低、后、圆对应第一、第二共振峰，鼻音对应第一共振峰带宽，响音对应谐噪比，擦音性与浊音对应频谱重心。论文对每个 utterance 随机采样尺度系数与目标音段，修改后重合成并计算声学改变量与系数的等级相关，期望符号由发音理论事先给定。重合成稳定性通过零修改时的原波形与重合成波形差值分布来检查，分布集中在零附近才认为后续趋势可归因于向量而非声码器伪影。

方向检验的主结果在什么条件下成立？

主结果要回答的是自监督表示是否比频谱特征更支持音系类比。下图展示 3 模型各层成功率随层索引的变化，上下两行分别为英语与多语言评估，虚线为频谱基线。阅读时先确认纵轴是成功率越高越好，再看灰色折线的峰位，而不是只看末点。

看图路径： 1. 先对比上下两行，确认上行为英语下行为多语言的评估范围；2. 再看每列中灰色折线随层索引的变化，找出中间峰与末层峰；3. 对照蓝色虚线与橙色虚线代表的两种频谱基线高度

论文图 2。原论文 Figure 2：“Comparing S3Ms with spectral representa- tions on TIMIT (top) and VoxAngeles (bottom).”。

该图显示 wav2vec 2.0 在中间层达到峰值，HuBERT 与 WavLM 在末层达到峰值，且三者都明显高于频谱基线。英语上的具体对比需要结合下表理解，表中成功率越高表示越多四元组满足异音小于类比小于同音的排序。

数据集与范围	评价指标	HuBERT 末层	WavLM 末层	频谱对照
TIMIT 测试集 236 个四元组	类比成功率	94%	92%	19% 与 0%
TIMIT 测试集 236 个四元组	中间层代表值	wav2vec 2.0 中间层 61%	WavLM 中间多峰	MFCC 19%
TIMIT 测试集 236 个四元组	四元组总数	236	468 跨语言总数	双倍类比数
TIMIT 测试集 236 个四元组	基线构成	MFCC 19%	MelSpec 0%	频谱归一化条件一致
TIMIT 测试集 236 个四元组	层数范围	25 层表示	0 为卷积层	1 至 24 为变换器层

表中主要收益是末层 HuBERT 与 WavLM 在英语上接近 90% 以上的四元组满足排序，而频谱特征停留在较低水平，代价是不同模型的峰位不同，不能用同一层直接比较。未胜出的项同样重要：wav2vec 2.0 深层出现各向异性坍缩，余弦值整体趋近于 1，导致深层成功率下降，这说明绝对相似度高不等于结构好。跨语言结果见下表，其公平条件是模型仍为英语训练，但测试四元组包含未见音。

数据集与范围	评价指标	WavLM	HuBERT 与 wav2vec 2.0	频谱对照
VoxAngeles 全量 468 个类比组	类比成功率	93%	45% 与 39%	19% 与 0%
VoxAngeles 全量 468 个类比组	未见音占比	316 个含未见音	68% 含未见音	英语音集外
VoxAngeles 全量 468 个类比组	四元组总数	468	236 英语总数	双倍类比数
VoxAngeles 全量 468 个类比组	模型训练语言	英语单语	英语单语	无训练频谱
VoxAngeles 全量 468 个类比组	评估层	末层最优	中间层各有峰	全层平均较低

该表显示即使测试音在英语中不存在，WavLM 仍保持高成功率，支持了音系结构超出英语音系库存的判断。但限制是 HuBERT 与 wav2vec 2.0 在跨语言上明显低于英语内表现，说明泛化能力与模型有关，不能推广为所有自监督模型都同样跨语言。论文还报告元音与辅音的峰位不同，元音更早出现中间峰，辅音依赖更深的上下文，这与元音线索局部、辅音线索分布的声学直觉一致，但属于有限解释而非因果证明。

尺度连续性与反证条件说明了什么？

尺度实验要回答向量加多少是否对应发音实现多少。下图展示 8 个音系向量在 TIMIT 上的尺度与声学改变量散点，横轴为负五到正五的均匀采样，纵轴为修改后减修改前的声学差，标题给出等级相关系数。

看图路径： 1. 先看横轴为向量尺度、纵轴为声学改变量的散点布局；2. 再区分蓝色元音组与橙色辅音组各覆盖哪些声学量；3. 观察每子图标题给出的等级相关系数符号与单调趋势

论文图 4。原论文 Figure 4：“Comparison between the phonological vector scale λ and the acoustic measurements (§ A.3) on TIMIT.”。

可见所有特征的观测符号与理论期望一致，且在插值与外推范围内都保持单调，但不是严格线性。3 个饱和例外需要记住：已是响音的段难以更响，已是浊音或非擦音的段在正向外推时也会趋平，这符合发音上限的直觉。论文还用频谱向量做同样的合成对照，发现几乎没有相关性，说明高类比成功率若来自归一化技巧，仍可能无法用于合成，这是重要的反证。

成功率 × 配对一致性分数： 成功率负责做基于样本的类比检验，要求近似向量比异类更近、比同类另一实例稍远；配对一致性分数负责做基于偏移方向的检验，比较同关系偏移与打乱偏移的可分性，搭配的原因是前者看重具体音段能否还原，后者看重关系方向是否一致，组合后可以发现层趋势在两种视角下并不完全相同。

定性语谱图进一步展示时间结构的变化。下图把浊音向量加到[b] 上，橙色箭头标出后接元音浊音起始时刻随尺度提前，大尺度下周期性能量延伸进闭塞段形成负嗓音起始时间。

看图路径： 1. 从左到右按尺度从负到正浏览七个语谱图；2. 盯住橙色箭头所指的浊音起始时刻如何前后移动；3. 注意大正尺度下周期性能量如何延伸进闭塞段

$原论文 Figure 6：Applying the voicing vector to phone \\[b\\].$

论文图 6。原论文 Figure 6：“Applying the voicing vector to phone [b].”。

该图的关键不是频谱包络整体变亮或变暗，而是时间事件位置的移动，支持表示同时编码了时序内部结构。类似地，圆唇向量加到英语中不存在的前圆唇位置仍能降低共振峰，擦音向量会去掉爆破并增强高频摩擦，鼻音向量会减弱爆破并引入低频鼻音 murmur。这些例子共同说明向量作用是音系维度的连续移动，而非二值开关。未评测的边界是合成结果同时受声码器影响，论文只用一种声码器结构，某些行为可能来自声码器外推特性而非编码器本身。

哪些结论还不能下，缺了什么验证？

论文直接报告的是方向排序成功率与尺度单调相关，支持线性可组合与连续可控的判断，但以下推测仍待验证。第一，只测试了少数模型且行为不一致，无法分离训练目标、数据与结构对峰位的影响。第二，只用 PanPhon 一套特征体系，无法断定抽出向量的是自然类的最小特征还是稳定的语音差异。第三，偏移检验与样本检验的层趋势不完全一致，前者峰值更偏中间层，后者末层突增，说明评价视角会影响最优层的选择， deeper investigation 仍缺。

第四，单个音对构造的向量与全量平均向量余弦只有 0.5 左右，说明固定最小对立体混合了多个特征差异，需要足够多样的样本平均才能稳定。缺失证据不是技术错误，但在复用时必须保留适用条件：结论依赖特征切片带来的上下文、WavLM 末层不易坍缩的几何性质，以及声码器在分布外输入下的鲁棒性。

要复现方向与尺度结果先做什么？

复现方向检验时先准备 TIMIT 测试集的音段边界，按论文规则去掉双元音、合并塞音闭塞与爆破、过滤低频音，再用同一音系映射生成满足向量差相等的四元组。接着用冻结的 3 个大模型抽取 25 层表示，对整句编码后按帧索引截取并平均，计算类比余弦、同音余弦与异音余弦的排序成功率，并用自助法给出置信区间。基线必须包含相同池化下的梅尔谱与倒谱，且注意频谱按句归一化与按音段归一化会显著改变结果，不可混用。

复现尺度控制时先在训练划分上按有无特征分组求平均得到 8 个向量，元音与辅音分开，再在测试划分上随机采样尺度与目标段，按帧相加后用对应语言范围的声码器合成，最后用 Praat 接口计算共振峰、带宽、谐噪比与频谱重心并求等级相关。资源状态方面，本次未发现来源绑定且完成验证的开源链接，因此不得声称代码、模型或数据已公开，复现者需自行按论文描述实现流程并补做稳定性检查。