训练时硬离散省时间，推理时软分布补信息：只改推理赋值的离散语音 token 用法

英文题目：Leveraging Soft Distributions of SSL-Derived Discrete Speech Tokens for Downstream Inference

会议身份：conference:interspeech:2026:conference-paper-id:onda26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#向量量化 #语音 #语音识别 #语音转换

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Kentaro Onda：机构信息未能从会议 PDF 纯文本可靠映射
• Satoru Fukayama：机构信息未能从会议 PDF 纯文本可靠映射
• Daisuke Saito：机构信息未能从会议 PDF 纯文本可靠映射
• Nobuaki Minematsu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为预训练自监督学习（self-supervised learning，SSL）编码器抽取的帧级连续特征，输出为下游语音识别与语音合成可消费的稠密表示，难点是硬聚类离散化丢弃帧级分配不确定性并在域外放大误差。方法链为：训练阶段沿用最近质心硬分配并联合学习词嵌入与下游模型，保持可压缩与高效训练；推理阶段计算到全部质心的欧氏距离并经温度控制的软最大（softmax）转为后验分布；以下游嵌入期望作为输入送入冻结的下游模型。相比需微调编码器的软单元（HuBERT-Soft）与多码本加权融合，该机制无需重训SSL主干且保留单码本压缩率。WavLM在ERJ非母语语音识别（automatic speech recognition，ASR）中词错率（word error rate，WER）为38.8%，优于连续特征基线的38.9%；HuBERT在相同设置下为49.4%对50.5%，同样反超连续基线。结论边界是增益依赖推理温度选择且同域大码本提升有限，尚未验证去重与子词建模后的口语建模场景。原文未披露训练与推理算力开销。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

本文的输入是原始语音波形经自监督模型抽取的连续特征序列，目标是让识别与合成等下游任务既能享受离散压缩带来的训练效率，又能在推理时少丢信息。解读默认只依据论文正文证据与本次收到的官方原图像素，不引入外部评价。需要保留的关键信息包括训练与推理分别用什么赋值方式、温度参数如何设置、用了哪些数据集与码本数、以及硬推理与软推理在相同已训模型下的对比条件。

读完应当能复述一个样本的完整路径：语音帧先变成连续向量，再在训练时取最近质心编号并查表得到嵌入，在推理时改为算到全部质心的距离并加权平均嵌入，最后送入同一个下游模型得到文字或波形。

自监督语音特征是指用大量无标注语音预训练得到的逐帧连续向量，本文用的是胡伯特大模型与语音大模型的第二十一层输出，维度是 1024 维。离散语音 token 是指对这些向量做 k 均值聚类后用最近质心编号代替原向量的整数序列，还可以进一步做相邻相同合并与子词建模来压缩。论文反复强调的矛盾是离散化能压缩语料、缩短训练时间并有助于剥离说话人信息，但必然丢掉连续细节，导致下游性能低于直接用连续特征。

自监督语音特征 × 离散语音 token： 自监督语音特征负责从大量无标注语音中保留连续声学与语言细节，离散语音 token 负责把这些连续向量按 k-means 质心压缩成可存储可去重的整数序列，二者搭配的原因是前者信息全但训练开销大、后者省开销但会丢失边界信息，组合意义是让下游模型仍能以类文本方式高效训练。

本解读按学习依赖展开，先讲任务与已有路线，再讲方法全景与组件计算，然后讲训练构造与推理流程，接着讲实验条件、结果与反证，最后讲复现要点与适用边界。凡是教学举例都会标明是例子，不把例子中的数字当作论文报告的效果。

已有路线在同一输入与目标下做了什么取舍？

第一条相关路线是多码本方法。论文提到有用多个自监督层各建一个码本的做法，也有用残差 k 均值从单层生成多个码本的做法，每个码本有自己的嵌入层，下游前把多个嵌入加权求和。这类方法在同输入同目标下确实能补回一部分信息，但代价是压缩效率下降，因为训练语料不再是单流整数序列。

第二条路线是软化表示的预训练模型，以胡伯特软模型为代表。它通过微调让模型预测 k 均值离散 token，输出保留了 token 特性又更能刻画语言信息，且有助于保持说话人解耦。但论文明确指出它的输出仍是连续表示，下游训练时无法享受真正离散表示的数据压缩优势，而且还需要额外训练自监督模型本身，训练成本高。

本文与上述两条路线的运行阶段不同。多码本是在训练与推理都增加码本数，胡伯特软模型是在上游增加 1 次微调，而本文冻结上游自监督模型与质心，只在下游推理阶段把硬查表换成软加权。论文称该做法与多码本、独立成分分析、时域平滑等方法是兼容的，实验中也专门做了单码本为主、多层扩展为辅的验证。理解这 1 阶段差异很重要，否则会误把推理调温度的收益当成训练换模型的收益。

为什么硬离散在域外数据上更让人担心？

硬离散的问题可以沿 1 帧走一遍来理解。假设 1 帧非母语发音落在两个音素质心之间，连续特征还保留了它偏向哪一侧的距离信息，但硬赋值只保留最近编号，相当于把犹豫直接判成胜者。一旦判错，下游模型在训练时学到的就是这个错编号的嵌入，推理时也没有挽回余地。论文在引言中把这种信息丢弃与下游退化直接关联，并引用了已有综述与对比研究。

域外数据放大了这个问题。讲座语音、噪声语音、非母语语音与朗读训练数据的声学分布不同，帧向量到训练域质心的距离模式会变化，硬边界更容易把模糊帧推到错误的码字。论文的实验设计正是围绕这个担心展开：域内用朗读语料测试集，域外分别用讲座、单通道真实噪声录音、以及日本人读英语的非母语子集。举例来说，非母语者的元音时长与共振峰位置可能系统性偏移，这只是一个帮助理解的例子，不代表论文测量了共振峰。

因此论文要解决的不是要不要离散，而是能否在保留训练压缩效率的前提下，让推理输入重新带回一部分被硬边界丢掉的不确定性。这也决定了后文的对照必须公平：训练完全相同，只换推理赋值，才能把收益归因于推理信息量。

方法全景：训练与推理各走哪条路？

方法全景可以用两条路来记。训练路是常规硬路：对每 1 帧连续向量算到全部质心的平方欧氏距离，取最小者得到整数编号，再用嵌入层中对应行向量作为下游输入，嵌入层与下游模型联合训练。推理路是新增软路：同样先算到全部质心的距离，但不只取最小者，而是经温度缩放的柔性最大值转换为属于每个簇的概率，再把全部嵌入向量按该概率加权求和得到期望向量，送入同一个已训下游模型。论文把该分布解释为均匀先验下各向同性高斯混合模型的后验。

关键在于训练与推理的信息条件不对称。训练语料可以提前离散、去重与压缩，下游训练只见到硬编号对应的嵌入；推理时才需要连续特征与质心来算距离与权重。温度越小分布越尖，越接近硬赋值；温度越大分布越平滑，判别性会被稀释。论文因此把温度当作推理超参数按任务搜索，不重训模型就能调推理性能。

这种安排的预期收益是双重的。一方面保留了离散 token 剥离无关声学细节的能力，有助于域外泛化；另一方面通过加权恢复了音段与韵律的细粒度差异，提高语言信息的表达力。论文在合成实验中用音素后验距离、基频相关性与说话人相似度来分别检验这两面，后文会按指标方向逐 1 核对。

组件与计算：距离、概率与加权如何衔接？

组件按样本顺序衔接如下。输入是 1 帧 1024 维连续向量与一组已学质心，质心来自朗读语料 100 小时中随机 30 小时子集的 k 均值结果，码本数取一百二十八、一千零二十四或四千零九十六三档。计算先得到该帧到每个质心的平方欧氏距离，硬赋值取距离最小的下标，软赋值把负距离除以温度后做归一化得到概率。嵌入层是一个码本数乘隐维度的可训表，硬输入只取一行，软输入取全表期望。下游识别模型是混合连接时序分类与注意力的编码器解码器，合成模型是高保真生成对抗网络声码器。

硬赋值 × 软赋值： 硬赋值负责按最近质心只取一个编号并查一个嵌入向量，软赋值负责按到全部质心的距离算后验概率再对全部嵌入向量加权求期望，二者搭配的原因是训练阶段需要硬赋值的压缩与去重效率而推理阶段需要保留赋值不确定性，组合意义是在不重训下游模型的前提下只在推理增加信息量。

token 嵌入层 × 下游模型： token 嵌入层负责把离散编号或软分布映射回连续向量，下游模型负责把该向量序列映射为文字或波形，二者分工是前者只学习码本对应的向量表、后者学习时序与任务映射，搭配原因是软赋值只改变输入向量的计算方式而不改变下游结构，组合意义是同一套已训参数可以直接对比硬推理与软推理。

softmax 温度参数 × 后验概率： 后验概率负责把距离转换为该帧属于每个簇的可信度，softmax 温度参数负责控制分布的尖锐程度，分工是前者给出加权权重、后者决定接近硬赋值还是接近均匀平均，搭配原因是不同任务与簇数需要不同的平滑强度，组合意义是推理时只调温度就能在信息保留与判别性之间折中而不用重训。

需要提醒初学者的是，软推理并没有改变已训嵌入表本身，它改变的是查表方式。硬推理是单点查表，软推理是按不确定性把多行向量混合后再输入。这也是论文能用同一套硬训练模型公平对比硬推理与软推理的原因。如果把软赋值也用于训练，训练语料就无法提前压缩成整数序列，论文专门设置了训练推理都用软赋值的对照来说明这一点。

训练了什么，冻结了什么，推理时新增了哪步计算？

训练部分需要分清 3 类参数。上游自监督模型与 k 均值质心在下游训练前已经固定，论文明确写了直接使用预训练模型与质心而不做额外重训。真正训练的是下游任务参数：识别任务是编码器解码器加嵌入层，合成任务是声码器加嵌入层，训练输入一律是硬离散编号序列。识别用朗读语料 100 小时训练，合成用单说话人朗读数据集训练。论文未报告优化器学习率与轮数的完整细节，这是复现时需要回到官方代码核对的缺项，不从模型名称推定实现。

推理新增的计算是逐帧算到全部质心的距离并经温度缩放求概率，再做嵌入加权。论文报告识别任务对朗读、讲座与噪声测试用温度 8.0，对非母语测试用温度 13.5，合成任务用温度 8.0。多层扩展时每层可设不同温度，论文给出了一组启发式取值。梯度路径方面，推理加权不涉及训练反传，温度搜索也不重训，只是多次推理选优。

训练与推理都用软赋值的对照在论文中称为软对软，其码本数设为一千零二十四以使训练表示维度与连续特征维度 1 致。该对照的意义是检验如果放弃压缩、训练时就用软表示，能否替代连续特征。论文报告它不如连续特征，且在大码本硬训练加软推理面前也没有压缩与性能的综合优势，从而支持只在推理用软赋值的折中选择。

实验条件：数据、基线、指标方向如何对齐？

识别实验的训练数据是朗读语料 100 小时，域内测试是该语料的干净与较难测试集，域外测试是讲座语料、噪声语料单通道真实录音条件、以及非母语语料中音素平衡句的 10% 随机子集。基线包括直接用连续特征的上限系统、训练推理都用硬赋值的常规系统、训练硬推理软的本文方法、以及训练推理都用软赋值的对照。指标是词错率，越低越好。公平条件是除连续与软对软对照外，其余识别模型训练完全相同，只在推理切换赋值。

合成实验的训练数据是单说话人朗读数据集，测试分两块：域内重合成仍用同一说话人测试集，域外任意到一的音色转换用另一语料库作为输入，期望输出仍带训练说话人的音色。重合成指标包括梅尔倒谱失真与基频均方根误差越低越好、主观质量预测分越高越好、以及用大语音识别转写算出的词错率越低越好。音色转换指标包括音素后验距离越低越好、基频相关性越高越好、与目标说话人的说话人相似度越高越好，外加质量分与词错率。论文称只报告了语音大模型在合成上的趋势，因为两个上游模型在识别中趋势相似。

表后需要说明代价与边界。主实验的压缩优势来自硬训练，推理软化需要保留连续特征与质心并逐帧算全码本距离，论文未测量延迟与显存增量，因此不能把词错率下降直接承诺为同延迟下的提升。非母语子集只取了 10% 随机抽样，噪声测试只用单通道真实条件，这些都是适用边界，换采样或换通道时结论需重测。

该表为来源句整理，阅读时应以来源句原文为准逐格核对数值与单位，不将裸值另行追加单位，也不自行计算差值或换算，跨条件比较需回到原文表头与注释确认适用边界后再做判断。

主结果：软推理在哪些条件下赢，输在哪里？

识别主结果的报告是，在全部域内与域外条件下，训练硬推理软都优于训练硬推理硬，且码本越小软化带来的增益越大。论文用加粗标出同码本下硬推理与软推理中更优者，用下划线标出全局最优。连续特征基线总体最优，但在非母语集上出现了反转：胡伯特码本一千零二十四与四千零九十六档、以及语音大模型四千零九十六档的硬训练软推理都优于连续特征。论文对此的有限解释是离散保留了抑制无关声学细节的能力，软化又补回了音段建模精度，因而在发音变异大的非母语语音上泛化更好，这属于支持性解释而非因果证明。

合成主结果的报告是，除域内重合成在部分大码本下的词错率有轻微回退外，其余梅尔倒谱失真、基频误差、质量预测分、音素后验距离、基频相关性、说话人相似度与域外词错率等指标上软推理都优于硬推理。特别值得注意的是域外音色转换的说话人相似度，连续特征基线最低，说明离散更能去除输入说话人特征，而软推理在该指标上甚至高于硬推理与连续特征。

论文据此认为软化在保留说话人鲁棒性的同时更准确地刻画了语言与韵律，这与音素距离和基频结果一致。论文还提到小码本硬推理有时会替换原音素，而软推理缓解了这种替换，音频示例在论文所给演示页中，本文未验证该页当前可达性。

未胜出项必须同时记住。域内重合成的大码本词错率是软推理的负例，说明软化并非在所有指标上单调更优。训练推理都用软赋值的对照在朗读与讲座上优于同码本硬训练软推理，但在噪声与非母语上更差，且始终不如连续特征，同时失去了压缩效率。码本四千零九十六的硬训练模型在保持更高压缩效率的同时仍优于一千零二十四的软对软模型，这是论文支持硬训练加软推理折中的关键对照。

温度与码本如何影响词错率，失败条件是什么？

本节围绕温度参数展开，比较问题是同一已训模型在不同平滑强度下推理词错率如何变化，公平条件是训练与码本固定、只扫温度，指标方向是词错率越低越好。论文报告温度为零对应硬推理，随着温度增大词错率先降后升，温度太小接近硬赋值而信息丢失，温度太大后验趋于均匀而失去判别性。小码本的最优温度倾向更小，大码本一千零二十四与四千零九十六之间差异不大。域内干净与讲座语音在大码本下软化增益较小，而噪声与非母语等域差距大的条件下即使大码本也有较大增益。

下段是针对本次实际收到像素的官方原图的导读，读图前先确认 4 个子图各自的数据条件与纵轴含义，再看 3 条码本曲线与连续基线的位置关系，横轴是温度参数，纵轴是词错率百分比，曲线向下为误差下降即性能变好。

看图路径： 1. 先确认四个子图分别对应域内干净语音、讲座语音、噪声语音和非母语语音；2. 再对比蓝色小码本曲线与橙绿大码本曲线随温度变化的开口大小；3. 然后看红色虚线连续特征基线在每个子图中的相对位置；4. 最后观察温度为零处硬赋值点与最优点之间的下降幅度

论文图 1。原论文 Figure 1：“Change in WER on the ASR task with varying soft- max temperature parameter τ (WavLM-large): (a) test-clean, (b) TED-LIUM v2, (c) CHiME4, (d) ERJ”。

从像素可见的趋势是左上域内干净子图中蓝色小码本曲线位置最高且随温度呈浅 U 形，橙绿大码本曲线位置较低且变化平缓，红色虚线连续基线位于最下方。右上讲座子图与左下噪声子图延续了类似的分层，但噪声子图中蓝色曲线的 U 形开口更大，说明小码本对温度更敏感。右下非母语子图中纵轴量级明显更高，蓝色曲线仍最高，橙绿曲线随温度下降更明显，绿色大码本在中间温度附近最接近红色虚线基线。像素不能精确辨别的刻度数值不硬写，具体最优温度以正文报告的 8.0 与 13.5 为准。

表后解释主要收益与代价。论文报告多层下软推理在全部条件下都提升了准确率，逐层调温度主要在噪声与非母语上带来额外增益，在朗读与讲座上统一温度已接近最优。代价是多层会让模型更关注声学细节而削弱跨域泛化，需要靠逐层温度来控制信息侧重，且温度是启发式搜索得到的事后最优，不能当作可部署的单次收益。未评测边界是去重与子词建模的组合效果，论文列为未来工作。

该整理表是对多层逐层温度配置来源句的归纳，同一组层编号与温度取值对应不同评测域的启发式选择，表后解读是逐层调温主要在噪声与非母语上带来额外增益而域内增益有限。

哪些结论有边界，哪些量根本没有测？

第一个边界是表示分析的性质。论文对重合成与识别的嵌入层输出按音素对齐求类内方差、类间距离与比值，报告软推理一致降低类内方差，类间距离略降但比值整体提升，据此认为同音素更紧凑、异音素更可分。这是对已训嵌入空间的观测性支持，不能直接证明识别错误一定按同比例下降，相关性不是因果。分析前还做了范数归一化以消除加权平均带来的收缩效应，复现时若漏掉这步会得到不同数值。

第二个边界是资源声明。论文正文证据未绑定且完成超文本传输安全协议状态验证的代码、模型或数据资源，因此不得声称代码模型数据已公开或当前可用。演示页链接在正文中出现，但本次证据未给出其可达性验证，只能写本次未能确认可达。训练时间压缩的说法来自离散可提前压缩与去重的机制，论文未报告具体小时数、硬件型号与推理延迟增量，因此不能承诺软推理在延迟或成本上同样占优。

第三个边界是评估覆盖。合成只报告了语音大模型的详细指标，胡伯特的合成趋势未展开；识别的多层扩展只用了语音大模型的 4 个层；温度最优值是按数据集分别搜索的事后值，实际部署需要留出验证集来选温度，否则会高估收益。原文表头、图注与正文若出现口径冲突应以冲突标注处理，本文未发现需要编造划分来圆一致的情形。

要复现这套对比，最先固定哪几步？

复现先固定上游与聚类条件。用论文给出的两个大模型的第二十一层输出，对朗读 100 小时中随机 30 小时子集做 k 均值，码本数分别取一百二十八、一千零二十四、四千零九十六。识别下游用混合连接时序分类与注意力编码器解码器在朗读 100 小时上训练，合成下游用高保真生成对抗网络在单说话人数据上训练，训练输入一律用硬编号。嵌入层与下游联合训练，上游与质心冻结。

然后固定推理切换。同一套硬训练模型分别跑硬推理与软推理，软推理按朗读讲座噪声 8.0、非母语 13.5 设置温度，多层扩展时按论文启发式逐层温度重跑。评估时域内看朗读干净与较难集，域外看讲座、单通道真实噪声、非母语 10% 子集，合成看重合成失真与质量分、音色转换的音素后验距离、基频相关性与说话人相似度。注意说话人相似度越高越好不等于音质一定更好，需要与质量分和词错率一起看。

还需补的验证包括在验证集上选温度而非测试集上选最优、记录软推理的逐帧全码本距离开销与实际延迟、以及补做去重与子词建模下的软加权实现。论文明确把去重与子词建模的扩展与口语建模列为未来工作，复现时不要自行假设它们天然兼容。

何时值得尝试这种只改推理的软化？

当训练语料已经离散压缩、重训成本高，而推理时还能拿到连续特征与质心，且目标域与训练域存在可感知的声学或口音差距时，这种只改推理的软化值得尝试。它的操作成本低，不动训练，只需为新任务在验证集上扫温度。论文在噪声与非母语上的增益大于域内干净与讲座，这一趋势可作为是否投入的先验，但总体趋势不等于每组每步都成立，小码本更敏感，大码本更稳。

不值得盲目尝试的情形包括推理端无法承担全码本距离计算、必须输出严格离散符号给下游语言模型、或评估只看域内大码本词错率。此时软化的额外增益可能很小，甚至在个别合成词错率上出现轻微回退。论文的直接报告是软推理优于硬推理，有限解释是它兼顾了离散的说话人鲁棒性与连续的语言细节表达，未验证的推测是它必然带来延迟或成本改善，后者不应承诺。

给研究生的收束是，复述时抓住一句话的因果链：硬训练保留压缩，软推理恢复不确定性，温度控制平滑强度。重提结果时要带上条件：在相同硬训练模型下、按任务选温度后，软推理在识别与合成的多指标上优于硬推理，在非母语识别上甚至超过连续特征，但代价是推理计算增加与温度需另行验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总