📄 音素、音节和词:谁编码语音内容更省比特
评分:6.7/10 | 创新 1/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
👥 作者与机构
- Herman Kamper:机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
读者需要先理解比较对象:同一段语音内容可以用音素、音节、词或词组合等不同单元序列写出,解码后都能恢复同一串音素,比较的是把哪种序列送给编码器更省比特。困难在于真实概率未知,只能用容量有限的模型估计条件概率,再按交叉熵换算成每秒比特数,模型容量、上下文长度和词表大小都会影响结果。方法上先从LibriSpeech960小时英语有声书强制对齐中提取音素序列并派生音节和词序列,再把各单元序列送入三阶n元模型和约20M参数因果变换器输出条件概率并换算为比特率,最后对未见词和长单元用三阶拼写模型退回拼成音素以保证可解码。其中词级字节对编码是在词序列上合并高频相邻词得到类似of the的长单元,论文检验了200、1000和5000次合并。在LibriSpeech dev-clean评测下,以比特率比特每秒为指标,约20M参数变换器加词单元取得28.07比特每秒,低于音素单元的29.56比特每秒和加5000次词合并的29.27比特每秒。字符对照中正字法词同样最优,大规模Qwen2.5-3B进一步降到25.26比特每秒。结论适用范围限于英语LibriSpeech音素序列和论文设定的两种预算,未验证其他语言和真实感知加工,原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源:https://github.com/kamperh/inforate/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
要传送的是什么:语音内容与每秒比特
这篇论文只研究一个很具体的传送任务。输入是一段已经转写好的语音内容,也就是按时间排好的音素序列,例如 the staircase groaned 对应的一串 dh ah s t eh r k ey s 等。目标是把这串内容用比特编码后发给接收方,接收方能完整恢复出同样的音素序列。必须保留的信息就是这串音素本身,不允许丢失或改写发音内容,评价标准是平均每秒语音需要多少比特,数值越小表示编码越省。
论文把信息率拆成两个相乘的部分:每秒出现多少个单元,再乘以每个单元平均需要多少比特。前者由切分粒度和语速决定,切得越碎每秒单元数越多;后者取决于单元的可预测程度,越容易猜到的单元平均比特越少。举例来说,音素每秒个数多但每个音素只有 39 种可能,词每秒个数少但词表有八万多种,直觉上哪边更省并不显然,需要用同样的语言模型实际算出来。
\[\text{bitrate}=\frac{\text{bits}}{\text{duration}}=\frac{\text{\#units}}{\text{duration}}\times\text{bits per unit}\]在不知道真实概率时,每个单元的平均比特用模型在保留数据上的交叉熵来估计。做法是对测试序列中第 t 个单元,用模型根据前文给出的条件概率取以 2 为底的负对数,再对全部 T 个单元求平均。模型猜得越准,概率越大,负对数越小,平均比特就越低。
\[\text{bits per unit}=-\frac{1}{T}\sum_{t=1}^{T}\log_{2}P_{\theta}(w_{t}|w_{1:t-1})\]再把总比特除以语音总时长 D,就得到以 bps 为单位的比特率。D 用的是 LibriSpeech 强制对齐给出的真实音频时长,而不是文本长度,所以不同切分是在同一分母下比较,分子只是模型给出的总负对数似然。分母相同是全文所有比较能成立的前提。
\[\text{bitrate}=\frac{\text{bits}}{\text{duration}}=-\frac{1}{D}\sum_{t=1}^{T}\log_{2}P_{\theta}(w_{t}|w_{1:t-1})\]信息率 × 交叉熵: 信息率是每秒语音时长平均需要多少比特来传送语音内容,交叉熵是本文估计它的方法:用语言模型对保留测试序列中每个单元的条件概率取负对数平均,再除以总时长,前者是要回答的效率问题,后者是在真实分布未知时可计算的估计手段。
为什么以前报的 50 bps 和 39 bps 不能直接比
引言提到文献中出现过音素约 50 bps、音节约 39 bps 这类数字,但它们来自不同研究、不同数据和不同比特率定义。有的用一元分布的期望熵,有的用二元模型,有的在训练集上同时估计概率又评估比特率,没有控制泛化到未见数据。分母的时长统计、原子单元的定义也可能不同,所以不能直接说音节比音素更高效。
零资源语音评测曾用的一种定义是对词表做加权平均熵再乘以每秒单元数,Coupé 等人的做法则考虑前一个单元的 2 阶模型。论文指出,如果把模型限制为 1 阶或 2 阶 n-gram,并且在同一批数据上既估计概率又测比特率,那么这些定义与本文公式是一致的。但一旦允许更大上下文和更大容量的模型,或者要求在未见说话人上泛化,旧的算法就会低估可达到的效率,这正是本文要统一数据和预算重新比较的原因。
第 3 个动机与人类语言加工和零资源单元发现有关。过去十年有人从无标注语音中发现类音素单元、类音节单元、词和短语单元,但很少有人回答哪种单元在理想通信意义下更有效。论文并不直接处理声学信号,也不建模发音努力、感知噪声和心理词库,它只是提供一个信息论侧的参考:在给定有限模型时,哪种粒度的符号序列更容易被预测。
理想模型 × 有限模型: 理想模型指完全等于真实分布的概率模型,有限模型指只能从有限数据估计的 n-gram 或固定参数 Transformer,论文先证明在理想模型下任何切分比特率都相同,再把研究问题收紧为在有限模型下哪种切分更省,正是有限带来的估计误差和泛化差距让单元选择变得重要。
真正要回答的问题:预算受限时哪种切分更省
论文先讲了一个看似让问题消失的理论点。如果我们拥有真实分布 P,那么无论切成音素、音节还是把 New York 合成一个单元,总比特都一样。举例来说,若 York 总是跟在 New 后面,那么 P(York|New)=1,传送 York 不需要额外比特;把 New York 看成一个整体的概率恰好等于 P(New),两种算账方式相抵。这在数学上是因为不同切分只是同一底层事件序列的不同随机变量表示。
但这个等价性依赖知道真实概率,而实际中我们只有从有限数据学到的模型 Pθ。模型容量有限,且与特定单元绑定:n-gram 的阶数固定,Transformer 的参数量固定,词表大小也随单元变化。此时切分方式会影响模型能否学好上下文依赖,比特率就会出现差异。因此精炼后的问题是:在建模预算受限的条件下,音素、音节、词、多词组合以及中间粒度的相对编码效率如何。
理解这个转折很关键。不要把论文读成在寻找语言学上最自然的单位,它找的是在给定模型族和数据量下最容易被准确预测的符号序列。换了更大的模型或更多数据,排序可能变化,论文后面用 Qwen 大模型做的校验正是为了说明这一点。
同一段语音如何切成四层单元来比
整体流程可以沿着 the staircase groaned 这个例子理解。最底层是强制对齐给出的音素串,这是原子表示。往上一层按规则切出词内音节,例如 dh-ah、s-t-eh-r 等;再往上按词切分,每个词对应一段音素;最顶层用词级 BPE 把经常共现的词合并,例如把 of the 合成 ah-v-dh-ah,把 the staircase 合成更长的多词单元。无论在哪一层编码,解码时都要能唯一恢复到底层音素串,这是公平比较的硬约束。
为满足一一对应,词类型按不同语音实现来定义,例如 two 和 too 如果都读作 t-uw,就视为同一个词类型,而不是按拼写区分。这样词序列展开后不会丢失发音细节。音节同样只允许词内切分,不跨词合并。所有大单元在训练和测试时都保留它对应的音素拼写,以便处理未见类型。
下面这张示意图展示了这种多层对应关系,读图时先看纵向如何对齐,再看横向编码解码的含义。
读图说明:该图用同一句话的四层切分说明比较对象,纵轴是粒度从细到粗,横向箭头表示先编码成每秒比特再解码回音素,重点观察不同层如何覆盖相同的底层音素。
看图路径: 1. 从下往上看 phone、syllable、word 到 multi-word 四层切分如何对应同一串音素;2. 看 encode 到 decode 箭头中间的二进制串表示要比较的是传输比特;3. 注意顶层 the staircase 合并为一个单元的例子
论文图 1。原论文 Figure 1::“This work compares the information rates of different linguistic units when used to encode the same phonetic content.”。
这张图确实可见四行标注:最下为逐个音素,往上为音节块,再往上为词块,最上为把 the staircase 连在一起的多词块,中间有一行示意的二进制编码。它的作用是告诉读者,后文所有比特率数字的分母时长相同、分子内容相同,差别只在模型以哪种单元为预测对象。
音素 × 音节 × 词类型(按语音实现区分): 音素是 39 个无重音 ARPABet 语音类别的最小原子,音节是由规则从词内音素序列切出的发音块,词类型(按语音实现区分)是按不同语音实现区分类型的可恢复音素串,例如 two 和 too 同读 t-uw 时视为同一类型,三者是同一段语音内容的不同切分粒度,本文把后两者都展开为音素以保证传送的内容完全相同再比比特率。
多词单元和未见词是如何构造与回退的
词级 BPE 的构造对象是词序列,而不是字母。初始词表是训练中出现至少 2 次的约 56k 个词类型,然后统计相邻词对的共现次数,每次把最频繁的 1 对合并为新类型,重复 200、1000 或 5000 次。合并越多,词表越大,单元平均越长。论文提到 5000 次合并后最长的单元是 on the other side of the 对应的长音素串,这说明多词单元可以跨越好几个常规词。
Transformer 的输出层会随合并数扩大,词模型约 56k 个输出,加 5000 合并后相应增加。n-gram 同样把这些新单元当作普通词表项来计数。重要的是,训练和测试都用同一套合并规则对文本重新切分,因此上下文长度和每秒单元数都会变化:合并越多,每秒单元数越少,但每个单元的预测难度和稀疏性上升。
对于测试中从未见过的音节或词类型,论文不是直接赋零概率,而是回退到拼写模型。做法是把该单元拆成构成它的音素加词尾符,再用一个 3 阶音素 n-gram 计算拼出它的概率,相当于为未见大单元支付一笔按音素拼写的比特。这种设计让大词表模型在开放测试上仍有定义,也让不同词表大小的比较不会因为未见词处理不一致而失真。
词级 BPE × 拼写模型: 词级 BPE 是在词序列上反复合并高频相邻词对以产生多词单元,拼写模型是把训练未见的音节或词单元拆成音素加词尾符再用三阶 n-gram 算概率的回退办法,前者负责构造比词更长的候选单元,后者保证任何未见大单元仍能换算成可计比特的音素序列,使不同词表下的比较公平。
两种建模预算具体怎么训练与固定
n-gram 预算固定为 3 阶,拼写模型固定为 3 阶。估计采用绝对折扣插值,高阶计数减去折扣 d 后归一,省下的概率质量按不同后续个数的比例回退到低阶。一元层还为未见类型保留一个额外槽位。折扣不是单一常数,而是按每阶出现一次和 2 次的 n-gram 个数自适应计算,并钳制在 0.1 到 0.9 之间,零计数时回退到 0.75。开发实验比较过 1 到 5 阶,多数单元上 3 阶最好,因此全文统一用 3 阶作为固定预算。
Transformer 预算固定为主体约 20M 参数,不含随单元变化的输出层。结构是 6 层、512 维隐状态、8 头、2048 维前馈、ReLU、pre-layer-norm、学习位置编码、输入输出 embedding 共享、2048 个单元的上下文窗。训练用 AdamW,有效批量 40,单卡 RTX3070 8 GB,线性 warmup 占 8% 步数到最大学习率 1e-3 再余弦衰减到 2e-5,按不同单元调整步数以保证约 20 轮等效遍历。每个单元独立训练 5 个随机种子,报告均值与标准差。
需要强调的是,输出层大小没有被均衡:音素模型只有 39 个输出加边界符,词模型约 56k 个输出。论文明确讨论过这一点,认为不清楚如何公平折算,且词与词级 BPE 模型的输出规模接近,比较仍有意义。另有一个用文本训练的 Qwen2.5 1.5B 和 3B 做的放量校验,它们不在同一预算内,只用来看比特率随数据和参数放大的走向。
n-gram 语言模型 × Transformer 语言模型: n-gram 语言模型只看前 n-1 个单元并用绝对折扣和平滑处理未见组合,Transformer 语言模型用 6 层因果自注意力看长达 2048 个单元的上下文,两者是本文设定的两种有限建模预算,前者代表经典低容量统计模型,后者代表约 20M 主体的神经模型,对比它们可以看结论是否随建模能力变化。
数据、划分与词表规模
实验用英语 LibriSpeech 有声书的多说话人语料。训练用 960 小时训练集的强制对齐,评估用 dev-clean 约 5.4 小时 40 个说话人。音素集为 39 个无重音 ARPABet,音节由规则方法从词内音素切出。字符实验作为校验,把词按正字法区分,例如 two 和 too 算作不同类型,此时原子是字母而非音素,两套结果分母内容不同,不能跨套直接比数值。
下表是训练集上 3 类基本单元的规模,比较问题是不同粒度的序列长度与词表稀疏性差异有多大,指标是原始计数,数值越大表示序列越长或词表越大。读表时注意 Tokens 是总单元数,Types 是不同类型数,Non-singleton 是出现至少 2 次的类型数,后者直接决定 Transformer 输出层大小。
| Units | Tokens | Types | Non-singleton types |
|---|---|---|---|
| Phones | 33,464,416 | 39 | 39 |
| Syllables | 13,025,947 | 13,656 | 11,386 |
| Words | 9,403,427 | 84,163 | 56,255 |
从表中可见,音素总单元数约 3346 万但只有 39 种,音节总数约 1302 万有 13656 种,词总数约 940 万却有多达 84163 种,其中仅 56255 种出现至少 2 次。这种从密到疏的变化正是后文权衡的核心:单元越长,每秒个数越少,但每个位置要从更大的词表中选,模型更难估计。训练与评估划分固定,Qwen 校验时还会在每条评估句前加一段来自 train-clean-100 的小写无标点引导文本,以缓解训练域与 LibriSpeech 规范化文本的差异。
主结果:词附近最省,太长反而变差
主比较在音素原子下进行,候选包括音素、音节、词,以及词级 BPE 200、1000、5000 合并。两种模型族各画一张比特率柱图,另有一张字符原子下的 Transformer 校验图。三图纵轴起点不同,作者已注明不可跨图直接比较数值,阅读时只能在各自面板内看排序。
读图说明:重点看每个面板内哪根柱最低且带阴影,再看从左到右随单元变长是先降后升还是单调变化,Transformer 面板还要注意 5 个种子的误差线只反映重复训练波动,不是跨单元的配对检验。
看图路径: 1. 对比(a)(b)(c) 三个面板各自最低的阴影柱是哪个单元;2. 看(b) 中从 syllable 到 word 再到 word-BPE 5000 的先降后升趋势;3. 注意三图纵轴起点不同,不能跨图直接比数值大小
论文图 2。原论文 Figure 2::“Bitrates for different linguistic units.”。
像素可见,左图 n-gram 面板最低的是 word-BPE 200,中图音素原子 Transformer 面板最低的是 word,右图字符原子 Transformer 面板最低的是正字法词。3 个面板都呈现中间粒度最低、过长多词组合回升的形状。论文报告音素原子下 Transformer 词单元达到全部训练模型中最好的 28.07 bps,而 n-gram 下词与 word-BPE 1000 同为 31.05 bps 且差异不显著,其余相邻对在说话人层面的自助法下显著。
下表把论文用连续句子报告的关键数字整理在一起,比较问题是在各自预算和原子下最优点的位置与放量后的走向,指标均为 bps 且数值越小越好,条件不同不能混排为同一竞赛。表前已说明公平条件,表后进一步解释限制。
| 条件与模型 | 评价单元 | 比特率 | 说明 |
|---|---|---|---|
| 音素原子,20M Transformer | 词 | 28.07 bps | 全文训练模型中最优 |
| 音素原子,n-gram 3 阶 | 词与 word-BPE 1000 | 31.05 bps | 两者持平,其余相邻差异显著 |
| 音素原子,子词 BPE 中间校验 | 电话子词 2000 类 | 31.59 bps,28.98 bps | 前为 n-gram,后为 Transformer 均值 |
| 字符原子,20M Transformer | 正字法词 | 27.48 bps | 与音素原子不可直接比 |
| 文本放量,Qwen | 1.5B 与 3B | 25.90 bps,25.26 bps | 更大数据与参数下的走向参考 |
该表显示最优点不在两端。音素每秒单元多、上下文依赖长,n-gram 3 阶和 20M Transformer 都难以充分利用;5000 合并的多词单元虽然每秒单元少,但类型稀疏、泛化难,比特率回升。词或 200 合并的轻度多词在两者之间取得平衡。子词 BPE 的结果落在音素与词之间,符合它是中间粒度的预期。Qwen 更低的数值只说明放大量级能继续压低比特率,不能证明单元排序在无限预算下不变,论文也明确把系统比较限定在相同预算内。
中间粒度与字符校验支持了什么
第一个中间校验是在音素上做常规子词 BPE,词表 2000 且不跨词合并,得到类似 ah-n、dh-ah 的单元。它的比特率在 n-gram 下为 31.59 bps,在 Transformer 下为 28.98 bps,确实落在音素与词之间。这支持了粒度连续变化带来比特率先降的解释,而不是词有什么特殊魔力。如果最优点是偶然,中间粒度不应如此规则地插在中间。
第二个校验把原子换成字符,词按正字法区分。此时最佳仍是正字法词,趋势与音素原子一致。虽然字符与音素没有一一对应,27.48 bps 不能与 28.07 bps 直接比大小,但排序形状可比:都是词最低、子词次之、字符或音素较高、过多合并回升。这降低了结果完全由音素切分或强制对齐细节驱动的担忧。
还有一个常被误读的点是 n-gram 下 200 合并最优而 Transformer 下纯词最优。这不是矛盾,而是预算不同:n-gram 上下文更短,把高频共现预先打包成一个单元能弥补上下文不足;Transformer 能看到更长上下文,自己就能学会共现,过度打包反而增加稀疏性。理解了预算差异,就能理解为何最优点会随模型族轻微移动。
这些结论在什么条件下才成立
首先是语言与数据条件。全部主实验是英语朗读有声书,词的概念在跨语言并不一致,形态丰富的语言可能有不同最优点。论文明确不主张词在所有语言都最优,只主张在有限预算下最优点大于音节、小于长多词短语,至于是不是恰好落在词上需要其他语言验证。
其次是模型预算条件。n-gram 固定 3 阶,Transformer 固定约 20M 主体加 2048 上下文,输出层未均衡,训练轮数按单元折算为约 20 轮。换更大的上下文、更大的参数或不同的词表处理,最优合并数可能移动。Qwen 的 25 bps 量级结果已经显示放量能继续降低比特率,因此 28.07 bps 不应读成真实下限。
再次是任务条件。测的是音素或字符序列的可预测性,不是说话人想传达的语义消息,也没有计入发音努力、感知噪声和心理加工代价。未见单元靠拼写模型回退,其 3 阶设定也会影响大词表的绝对数值。自助法在 40 个评估说话人层面重采样,虽然报告了显著性,但误差线是跨种子标准差,不能当成跨单元的配对置信区间直接目测。
复现第一步做什么,需要哪些信息
复现应从作者公开的代码仓库开始,当前可用地址为 https://github.com/kamperh/inforate/,先按仓库说明准备 LibriSpeech 960 小时强制对齐和 dev-clean 划分,再生成音素、音节、词及词级 BPE 200、1000、5000 共 6 套切分,并确保大单元能无损展开为音素。第一步最关键的是对齐时长 D 的计算与一一对应检查,否则比特率分母不一致,后续比较无意义。
关键超参数要原样保留:n-gram 3 阶加 3 阶拼写回退,折扣自适应并钳制在 0.1 到 0.9;Transformer 6 层 512 维 8 头 2048 前馈、上下文 2048、AdamW warmup 8% 到 1e-3 再余弦到 2e-5、有效批量 40、约 20 轮、5 个种子。词表只保留出现至少 2 次的类型,单例按未见拼出。Qwen 校验需复刻小写无标点引导前缀,否则域失配会抬高比特率。
还要补的验证包括换语言、换阶数与参数量、换拼写模型阶数,以及报告训练与推理开销。论文没有给出每种单元的训练时长和解码成本,不能从比特率最低直接推出系统最实用。代码公开不等于权重可下载或一键可运行,三者要分别确认。
什么时候值得尝试词级单元
当你的序列建模预算有限、上下文窗口或 n-gram 阶数不大,而输入可以切成不同粒度时,值得优先尝试词或轻度合并的多词单元。它们每秒单元少,减轻了对长程依赖的压力,同时词表尚未稀疏到无法估计,在本文两种预算下都取得了最低或接近最低的比特率。
如果模型容量很大或数据量极大,不应默认词仍最优,应把合并数当作超参数在验证集上搜索,并同时报告每秒单元数、词表大小和泛化差距。做零资源单元发现时,这篇论文只能作为理想化参考:它说明在转写层面中间偏大的单元更易预测,但没有证明从声学信号直接发现的词单元一定更易学,也不涉及声学建模误差。
一句话总结:在 960 小时英语转写和固定 3 阶或 20M Transformer 预算下,词及少量多词合并的比特率最低,过短或过长都更费比特;换语言、换预算或换成真实语义消息时,最优点是否还在词附近仍待验证。
📎 论文与评分元数据
排名:前50% | 文档类型:理论研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses