📄 当语音 Token 不再像自然语言:13 个编解码器在噪声下的语言统计学分化

英文题目:Language-Statistical Analysis of Neural Audio Codec Tokens Across Architectures, Corpora, and Noise Conditions

一句话:论文用 13 个神经音频编解码器 × 3 语料 × 3 噪声的 117 格全交叉网格,证明语料几乎不影响分布而量化器架构与噪声类型按指标分工主导,并用 JSD 与崩溃/爆炸签名在 DEMAND 真实噪声下建立无需解码的质量探针。

标签:#语音编码 #音频质量评估 #基准测试

评分:6.3/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

👥 作者与机构

  • Joonyong Park:机构信息未在 arXiv HTML 中可靠披露
  • Shinnosuke Takamichi:机构信息未在 arXiv HTML 中可靠披露
  • David M. Chan:机构信息未在 arXiv HTML 中可靠披露
  • Shunsuke Kando:机构信息未在 arXiv HTML 中可靠披露
  • Yuki Saito:机构信息未在 arXiv HTML 中可靠披露
  • Hiroshi Saruwatari:机构信息未在 arXiv HTML 中可靠披露

💬 毒舌点评

亮点在于把 13 个神经音频编解码器按量化器拓扑分组并做 117 格全交叉的语言统计学对照,配合 500K token 匹配采样与方差分解,把此前单语料单条件下的 Zipf 观察变成了可检验的家族条件化规范。短板是所有噪声对比锁死在 0 dB 单点、JSD 与质量关联仅在 12 个编解码器均值上计算且高度依赖 DEMAND 场景,结论的外推半径比标题暗示的小得多。

📌 核心摘要

该文追问神经音频编解码器离散 token 序列是否具备类似自然语言的统计规律,以及该规律能否作为无需解码的质量与鲁棒性探针。方法上构建 13 个编解码器 × 3 个语料 × 3 种声学条件共 117 个单元的全交叉网格,统一经 Codec-SUPERB 抽取 token、去重、按家族条件化 n-gram 阶数映射后,在匹配的 500K token 尺度上估计 Zipf 指数 \(\alpha\) 与拟合优度 KS、Heaps 指数 \(\beta\) 与截距 \(K\)、单字熵 \(H\) 与冗余度 \(R\)、码本占用率及 clean-to-noise Jensen-Shannon 散度 JSD,并以三因素方差分析分解变异来源。相较作者前期仅在 6 个残差向量量化编解码器与单语料洁净语音上的 3-gram 分析,本工作引入单码本向量量化与非向量量化家族、白噪声与 DEMAND 真实噪声对照、以及 JSD 与序列级崩溃/爆炸签名。实验显示语料身份解释方差可忽略,声学条件与量化器元类别按指标分工主导分布形态,单字熵对架构最敏感;JSD 在 DEMAND 0 dB 下与 UTMOS 呈 \(r=-0.76\)、\(\rho=-0.65\) 的负相关,而白噪声下无稳健关联;崩溃集中于 RVQ × 白噪声的 14/21 单元,爆炸集中于 RVQ × DEMAND 的 13/21 单元与语义 tokenizer S3Tokenizer。该框架为语音 token 的语言统计分析提供了家族条件化的估计与解读规范,但受限于单信噪比、自动质量估计器偏置及小样本相关性等边界。

🔗 开源与复现资源

  • 代码:论文中未提及代码链接
  • 模型权重:论文中未提及
  • 数据集:论文中使用 3 个语音语料库,分别为 LJSpeech、VoxCeleb 和 TrIJEK,均约为 10 小时语音,论文中未提及具体下载链接或开源协议;噪声条件使用 DEMAND 真实环境噪声和 white-noise 白噪声,论文中未提及噪声数据链接
  • Demo:论文中未提及
  • 复现材料:论文在 Table I 中给出 13 个 NAC 的默认配置,包含 Family、M、|V|、nn、SR 和 kbps 6 项参数,在 Section III-A 中说明采用 Codec-SUPERB 框架进行标准化 token 提取并对 token 序列进行 consecutive deduplication,在 Section III-B 中定义拟合保护条件,在 Section V 中给出 500K token 参考尺度和有限样本稳定性分析,论文中未提及训练配置或检查点链接
  • 论文中引用的开源项目:论文在正文中引用以下 14 个开源编解码器或工具,原文片段中均未给出具体 URL 链接
    • SpeechTokenizer:经典 RVQ 架构
    • AcademiCodec:经典 RVQ 架构
    • AudioDec:经典 RVQ 架构
    • EnCodec:经典 RVQ 架构
    • FunCodec:经典 RVQ 架构,文中描述为 flexible open-source toolkit
    • DAC-24k:经典 RVQ 架构
    • Mimi:Hybrid RVQ 架构
    • BigCodec:Large single 单码本架构
    • WavTokenizer:Large single 单码本架构
    • XCodec2:Massive vocab 单码本架构,词表为 65536
    • SQCodec:Scalar quant. 非 VQ 架构
    • FocalCodec:Focal mod. 非 VQ 架构
    • S3Tokenizer:Semantic 非 VQ 架构
    • Codec-SUPERB 框架:用于跨 NAC 标准化 token 提取

🧭 深度解读

为什么要问语音 token 像不像自然语言?

想象你把一段语音交给神经音频编解码器,它会吐出一串离散符号,像是给声音写的密码本。下游的语音大模型就直接在这串符号上做自回归,像做文本生成一样做语音生成。

一个自然的问题是:这串符号的统计规律,和我们熟悉的文字一样吗?如果一样,语言学里用了几十年的工具就能直接搬过来;如果不一样,照搬就会踩坑。

自然语言里有两个经典规律。白话说,Zipf 定律讲的是少数词占了绝大多数出现次数,排名与频率成幂律;Heaps 定律讲的是随着文本变长,新词出现的速度会越来越慢。加上信息论里的熵与冗余度,就能刻画一个符号系统有多集中、多可预测、多冗余。

语音 token 是否也服从这些规律,此前只有零星观察,且大多在单一语料、单一噪声、少数几个残差量化模型上做,且固定用 3-gram。更难的是,语音不是干净的文本。真实环境有白噪声的均匀轰炸,也有食堂、地铁、办公室的非平稳噪声。不同编解码器的量化器也完全不同:有的用多级小码本残差逼近,有的用单级大码本 1 次性量化,还有的干脆不用向量量化。

这篇论文在研究地图的哪个位置?

这条研究线有三支。一支做离散语音表示,最早是 HuBERT、wav2vec 2.0 等自监督模型经 k-means 离散化,后来是 SoundStream、EnCodec 等神经编解码器直接为重建而学码本,再到 WavTokenizer、BigCodec 等大单码本,以及 SQCodec 的标量量化、FocalCodec 的焦点调制、S3Tokenizer 的纯语义 token。

另一支研究语言的统计定律,从 Zipf、Heaps 到 Shannon 熵,再到 Chan 等人在视觉 VQ-VAE 上发现类似规律。第三支才把二者交叉,Takamichi 等人在 HuBERT token 上验证幂律,Ashihara 等人跨语音音乐泛声音域对比,作者前期工作在 6 个 RVQ 编解码器上发现 3-gram 的 Zipf 指数接近 2 且与重建质量相关。

前期工作的边界很清晰:只看洁净语音、只看 RVQ、只看固定 3-gram、只用拟合参数 α 与 KS 做判断,且相关性在条件层面只有 0.3 左右。更关键的是,没有回答估计本身是否稳定,也没有回答噪声到底是让分布整体平移还是只改变幂律形状。

本文的定位就是把单点观察升级为可检验的规范。它把编解码器数量扩到 13 个并按量化器拓扑分成 RVQ、Single VQ、Non-VQ 三大家族,把语料扩到单人英语、多人英语、单人多语,把声学条件扩到洁净、白噪声 0 dB、DEMAND 真实噪声 0 dB,构成 117 个单元的全交叉网格。方法上不再只报 α,而是引入码本占用率、困惑度、JSD 等分布级指标,并用分块稳定性校验与家族条件化 n-gram 阶数,让跨架构对比不再混淆词表尺度与样本量。

论文到底要回答哪几个可验证的问题?

论文把大问题拆成 3 个可验证的子问题。第一,分布形态由谁主导?是语料身份、量化器家族,还是声学条件?如果语料主导,那么换个说话人或语言就会改变结论;如果架构与噪声主导,那么解读时就必须按家族与条件分开。

第二,能否不解码就感知质量下降?传统做法要把 token 解回波形再算 UTMOS、MCD 等,论文想用洁净到带噪的分布位移 JSD 直接在 token 空间做探针,且希望它对真实噪声有效。

第三,噪声退化只有一种面孔吗?此前把 RVQ 的退化笼统称为崩溃,论文想用重复率与转移熵把崩溃与爆炸两种相反的序列动力学区分开,并看不同家族是否走不同路径。

为了让这些问题可回答,论文设定了严格的估计纪律。所有对比都在匹配的 500 K token 尺度上做,Zipf 拟合用最大似然并设 α 在 1.01 到 8 之间扩展搜索,且当类型-Token 比 V/N 超过 0.9 时判定拟合无效,避免在词表几乎全唯一的退化区算出虚假的陡峭指数。n-gram 阶数不统一为 3,而是按家族在洁净语料上以 KS 最小为准则选择,实际落在 1 到 3 之间。

一条从波形到分布参数与退化诊断的流水线

输入是波形,输出是一组可跨架构对比的分布参数与退化标签。流水线分 4 段。第一段是受控生成:3 条语料各约 10 小时,分别生成洁净、白噪声 0 dB、DEMAND 真实噪声 0 dB 3 个版本,带噪波形每语料固定随机种子生成 1 次后喂给全部 13 个编解码器,保证跨编解码器的噪声实现完全一致。

第二段是并行编码与抽取:通过 Codec-SUPERB 接口以各自训练采样率编码,对 RVQ 只取第 1 级残差码本,对单码本与非 VQ 取唯一可用流,每条话语得到 1 维 token 序列后做连续去重,把连续重复折叠为 1 个以消除帧级重复对 n-gram 的偏置,再按家族条件化阶数构造 n-gram 序列。

第三段是估计与度量。Zipf 按频率分布形式用最大似然估计 α 并用 KS 评估拟合优度,Heaps 在对数域做线性回归估计 β 与 K,信息论侧算单字熵、冗余度与困惑度,JSD 在等大洁净与带噪样本的共享词表上计算。为避免高阶 n-gram 支撑不重叠导致 JSD 饱和到 0.9 以上,跨编解码器对比时统一退到 unigram。码本占用率用观测去重 token 数除以估计码本大小,估计大小取观测最大索引加 1 以兼容无显式码本的模型。

第 4 段是质量与方差分析。把未去重的全码本序列送各自解码器重合成波形,重采样到 16 kHz 后算 UTMOS、含 0 阶的 MCD、经 DTW 对齐的 F0 误差、基于 Whisper-large-v3 的差分字符错误率 dCER,以及仅在带噪时定义的单元错误率 UER。统计上对每个有效单元取 100 K token 聚合,以 Type-II 平方和做三因素方差分析报告 η²,并用编解码器随机截距的线性混合模型做稳健性检验。

这条流水线的关键取舍在于家族条件化。固定阶数会让大词表在高阶迅速进入 V ≈ N 的退化区,拟合无效或 KS 虚小;统一退到低阶又会抹掉 RVQ 在高阶才显现的语言相似性。论文的选择是在洁净语料上为每个家族选 KS 最小的阶做分布形态分析,而在跨家族 JSD 对比时统一用 unigram,保证既不混淆词表尺度,又保留分布位移的可比性。

在进入具体公式前,先看为什么必须按家族选阶。下面这张图把 13 个编解码器在不同 n 下的 Zipf 指数与 KS 拟合质量并列,重点对比蓝色 RVQ 与橙绿大词表族随 n 变化的分叉形态。

看图路径: 1. 左图看橙色 SingleVQ 与绿色 NonVQ 随 n 增大 α 急剧抬升;2. 右图看 KS 在 n = 2 处是否触底,注意带 × 标记的提前终止点;3. 对比蓝色 RVQ 族的平坦曲线与大词表族的陡峭分叉

原论文 Fig. 3:Effect of nn-gram order on the Zipf exponent α\\alpha and KS fit quality, averaged over three clean…

论文图 3。原论文 Fig. 3::“Effect of nn-gram order on the Zipf exponent α\alpha and KS fit quality, averaged over three clean corpora.”。

上图正好解释为何必须家族条件化。左图 Zipf 指数随 n 的变化显示,蓝色 RVQ 族曲线平坦且集中在 2 到 3 之间,而橙色 Single VQ 与绿色 NonVQ 在 n = 2 到 3 时急剧抬升到 5 到 7,带 × 的点表示该阶已因 V/N > 0.9 而无效终止。右图 KS 随 n 的变化显示大词表在 n = 1 时 KS 高达 0.1 以上,到 n = 2 才下降,但 RVQ 在 n = 3 附近才达到最优。横轴为 n-gram 阶数 1 到 4,纵轴左侧为 Zipf α 2 到 8,右侧为 KS 距离 0.001 到 0.1 的对数尺度。这说明最优 n 是架构依赖的,统一用 3 会让大词表直接失效,统一用 1 又会让 RVQ 的拟合质量被低估。

四个度量各自在量什么,公式怎么读?

先看 Zipf。论文用频率分布形式而非排名形式,假设 n-gram 类型的出现次数 x 服从幂律 p(x) ∝ x^{-α},自然语言词级参考值 α ≈ 2 对应排名指数 s ≈ 1。估计用 powerlaw 库的最大似然:

\[\hat{\alpha}_{\text{MLE}}=1+\frac{n}{\sum_{i=1}^{n}\log(x_{i}/x_{\min})}\]

其中 x_i 是第 i 个 n-gram 类型的出现次数,x_min 是库选的截断阈值,n 是满足 x_i ≥ x_min 的类型数。KS 距离则是经验与拟合累积分布的最大偏离,越小越贴合。两道保障是:若默认搜索在 α = 3 处截断则重拟到 1.01 到 8,以及 V/N > 0.9 时直接判无效,避免在几乎全唯一的稀疏区算出虚假陡峭。

Heaps 描述词表增长:

\[V(N)=K\cdot N^{\beta},\quad 0<\beta<1,\]\[\log V(N)=\log K+\beta\cdot\log N.\]

V 是观测到的不同 n-gram 数,N 是总 token 数,K 是初始引入速率,β 越接近 1 表示新类型持续涌现,越小表示快速饱和。论文在对数域做最小二乘回归估计 β 与 K。

信息论侧用单字熵:

\[H=-\sum_{i=1}^{|V|}p_{i}\log_{2}p_{i},\]\[R=\frac{\log_{2}|V|-H}{\log_{2}|V|},\]

H 是平均每 token 信息量,R 是相对均匀分布的冗余度,困惑度 2^H 可理解为等效常用词表大小。JSD 则量洁净分布 P 与带噪分布 Q 的整体位移:

\[\text{JSD}(P\|Q)=\tfrac{1}{2}D_{\text{KL}}(P\|M)+\tfrac{1}{2}D_{\text{KL}}(Q\|M),\]

M = (P+Q)/2,取值 0 到 1,对称且在支撑不重叠时仍有定义。与只看 α 或 KS 不同,JSD 捕捉的是全分布上概率质量的重分配,即使幂律形状不变也能被感知。

Zipf 定律 × Heaps 定律: Zipf 定律管的是频率分布的形状,也就是排名靠前的 n-gram 占多大比例,用指数 α 描述陡峭程度;Heaps 定律管的是词汇增长的速度,也就是随着 token 总数 N 增加新类型 V 出现多快,用指数 β 和截距 K 描述。二者搭配才能同时回答分布有多集中和词表有多快被用完,单独看一个会把陡峭但词表小的系统和陡峭且词表大的系统混为一谈。

残差向量量化 × 单码本向量量化: 残差向量量化(RVQ)把 1 帧语音用多级小码本逐级逼近,每级 1024 或 2048 项,负责用深度换精度;单码本向量量化(Single VQ)只用一个大码本 1 次性量化,靠宽度换表达力,典型为 4096 到 65536 项。论文把二者与非 VQ 并列为元类别,正是因为码本的宽度直接决定了 n-gram 的稀疏速度和 Zipf 拟合的有效阶数,搭配起来才能解释为何跨家族的 α 不能直接比大小。

Jensen-Shannon 散度 × UTMOS: Jensen-Shannon 散度(JSD)是直接在 token 频率分布上算的非参数位移量,不看拟合参数,只看洁净与带噪分布整体错开多远;UTMOS 是用神经网络预测的人耳主观平均意见分,代表听感自然度。把二者搭配,论文想检验分布位移能否在不解码成波形的情况下预判听感下降,JSD 负责提供无需解码的探针,UTMOS 负责提供可验证的质量锚点。

崩溃 × 爆炸: 崩溃指噪声让 token 序列变得过度重复且可预测,表现为重复率上升、转移熵下降;爆炸则相反,重复率下降、转移熵上升,序列变得更随机、更碎。二者不是程度差异而是方向相反的退化模式,搭配重复率与转移熵的双阈值才能把 RVQ 在白噪声下的熵坍缩与在真实噪声下的随机化区分开,否则会把所有退化一概称为鲁棒性下降。

码本占用率 × 转移熵: 码本占用率量的是词表被用了多少,是静态的库存视角;转移熵 Htrans 量的是下一个 token 在给定前一个时的不确定度,是动态的序列视角。单码本 VQ 在白噪声下占用率骤降 57 个百分点但重复率几乎不动,光看占用率会误判为崩溃,加上转移熵才能看到它的退化是概率质量在码本内重分布,而非序列动力学的坍缩或爆炸。

在比较 KS 之前,先建立直观感受很重要。下面这张图在同一双对数坐标下并列了 3 个家族代表的经验互补累积分布与拟合幂律,重点看实线与虚线的重合长度如何随 KS 变化,这能把抽象的拟合优度翻译成可见的偏离。

看图路径: 1. 看三条实线与黑色虚线拟合线的贴合长度;2. 对比 EnCodec 与 FocalCodec 的 KS 数值与尾部偏离形态;3. 注意横轴 n-gram 频率 x 与纵轴互补累积概率的双对数尺度

原论文 Fig. 4:Empirical complementary CDFs of the nn-gram type frequencies (solid, with markers) and fitted power…

论文图 4。原论文 Fig. 4::“Empirical complementary CDFs of the nn-gram type frequencies (solid, with markers) and fitted power laws above xminx_\min (dashed) for one representative codec per meta-category…”。

这张图把 KS 的抽象数值翻译成可见的贴合程度。横轴是 n-gram 频率 x 从 1 到 1000,纵轴是互补累积概率 P(X ≥ x) 从 1e-5 到 1,3 条实线是经验分布,黑色虚线是拟合幂律。蓝色 EnCodec 在 n = 3 时 KS 仅 0.004,实线与虚线在两个数量级上几乎重合。橙色 XCodec2 在 n = 1 时 KS 为 0.048,尾部明显下弯偏离;绿色 FocalCodec 在 n = 1 时 KS 达 0.084,中段就已偏离。KS 越小,实线与虚线贴得越久,这正是论文用 KS 而非只看 α 来判断是否语言相似的原因。

没有训练阶段,这篇论文如何保证估计可复现?

这是 1 篇方法研究而非提出新编解码器,因此没有训练新模型、没有损失函数与优化器。所有 13 个编解码器都以发布配置与训练采样率直接推理:输入波形先重采样到对应采样率编码,解码时用各自标准完整路径与全部码本层级,解回波形后再重采样到 16 kHz 算质量指标。

4 个支持推理时带宽选择的 RVQ 模型固定为表中 kbps 配置,但其第 1 级 token 流在不同带宽下保持一致,因此分布分析不受带宽选择影响。可复现性的关键在估计纪律而非训练超参。

论文用分块稳定性校验来选样本尺度:把语料级拼接流切成 5 K 到 500 K 的非重叠块,分别估计参数并与匹配的 500 K 参考比较。对 Heaps 截距 K 用绝对对数比而非绝对差,以抵消量纲差异。结果显示 KS 在 200 K 时中位偏差已降到跨单元 spread 的 0.07,是唯一进入 0.1 以内的指标,而 α 在 5 K 时偏差达 1.06 超过全部分布的跨度,因此下游统一用 500 K 匹配样本。

流水线还有两处校验。RVQ 层级选择上,对 5 个可分层提取的 RVQ 模型比较第 1 级与更深级的 KS,第 1 级均值 0.012 显著优于第 2 到 4 级的 0.049 与更深级的 0.11,因此全集统一分析第 1 级。连续去重的影响上,配对检验显示去重使 α 与 β 以中等效应量提升约 0.07 与 0.01,但 KS 与 K 无显著变化,说明去重主要纠正帧级重复对频率陡峭度的偏置,而不改变拟合优度。

下图是为何定 500 K 的直接证据。它把 4 种参数的有限样本偏差放在同一归一化尺度下对比,重点看哪条曲线最先跌进 0.1 虚线以及不同噪声条件下的分离。

看图路径: 1. 先看横轴 chunk size 从 5 K 到 200 K,对比四列指标的下降速度;2. 再看虚线 0.1 与 1.0,判断哪个指标最先进入稳定区;3. 比较绿色实线 Clean 与蓝色虚线 White 在 KS 与 Zipf α 上的分离

原论文 Fig. 2:Finite-sample stability across the 114 codec–corpus–condition cells with a matched 500K-token…

论文图 2。原论文 Fig. 2::“Finite-sample stability across the 114 codec–corpus–condition cells with a matched 500K-token reference.”。

这张图是为何定 500 K 的证据。横轴是块大小从 5 K 到 200 K,纵轴是与 500 K 参考的绝对偏差再除以跨单元标准差,四列分别是 KS、Heaps β、Heaps K、Zipf α,纵轴为 0.1 到 10 的对数尺度。可见 KS 的绿色与蓝色线在 200 K 时已跌到 0.1 虚线以下,而 α 在 5 K 时中位偏差高达 1.06,橙色 DEMAND 线在 α 列始终高于其他条件。阴影为四分位距,说明小样本下估计的波动远大于跨编解码器的真实差异,若不用匹配大样本,跨架构比较会被样本量噪声淹没。

数据、噪声与评测协议是如何搭起来的?

要回答架构与噪声谁主导分布,需要先把语料、噪声与编解码器三者的变异同时固定下来。论文用全交叉网格来保证每个结论都能在相同数据尺度上对比,而不是在不同论文的零散设置里拼凑。

数据侧刻意控制变量。3 条语料各约 10 小时:LJSpeech 是单人单语英语,作为最干净的参照;VoxCeleb 是多人英语,引入说话人多样性;TrIJEK 是单人日韩英多语,引入语言多样性但控制说话人。噪声侧用两种 0 dB 条件:高斯白噪声是均匀频谱的极端破坏,DEMAND 是 5 种真实环境随机抽一种、随机通道与起始偏移的非平稳噪声。每语料的带噪波形只生成 1 次并喂给全部编解码器,跨编解码器差异因此不含噪声实现的随机性。

编解码器侧按量化器拓扑分组。RVQ 族 7 个:SpeechTokenizer、AcademiCodec、AudioDec、EnCodec、FunCodec、DAC-24k 与混合 RVQ 的 Mimi,码本每级 1024 或 2048;Single VQ 族 3 个:BigCodec 8192、WavTokenizer 4096、XCodec2 65536;Non-VQ 族 3 个:SQCodec 标量量化、FocalCodec 焦点调制、S3Tokenizer 纯语义无解码器。n-gram 阶数按家族条件化取 1 到 3,JSD 跨家族对比统一取 1,Zipf 拟合设 α 搜索 1.01 到 8 与 V/N > 0.9 无效判定,退化签名阈值为重复率变化 0.01 与转移熵变化 0.1。

根据论文正文与图中报告值整理,数据集与协议如下表所示,重点是三语料与 3 条件的全交叉以及匹配采样尺度。

维度构成控制变量样本尺度关键处理指标方向
语料LJSpeech 单人英语 / VoxCeleb 多人英语 / TrIJEK 单人多语说话人数与语言各约 10 小时拼接为语料级流后分块语料主效应预期可忽略
噪声洁净 / 白噪声 0 dB / DEMAND 真实噪声 0 dB噪声类型与 SNR每语料固定种子生成 1 次同一带噪波形喂全部编解码器白噪声更极端,DEMAND 更真实
编解码器13 个分 RVQ × 7 / SingleVQ × 3 / NonVQ × 3量化器拓扑与码本大小117 个单元,114 个有 500 K 匹配参考RVQ 仅分析第 1 级,连续去重后构造 n-gram家族条件化 n 为 1 到 3,JSD 统一为 1
估计Zipf α 与 KS / Heaps β 与 K / H 与 R 与困惑度 / 占用率 / JSD样本量与 n 阶500 K 匹配参考,100 K 聚合做方差分析V/N > 0.9 判无效,α 搜索 1.01 到 8KS 越小越好,H 越大越分散
质量UTMOS / MCD / F0 RMSE 与 MedAE / dCER / UER是否解码12 个可解码参与 JSD-质量相关全码本解码后重采样到 16 kHzUTMOS 越高越好,其余越低越好

这张表最公平的净收益在于匹配采样与共享噪声实现。它让 13 个编解码器的差异真正落在量化器本身,而不是样本量或噪声随机性上。

一个失败项是 Mimi-TrIJEK 的 3 个单元因 token 流不足 500 K 被排除,导致该格子在部分指标上只有 2 个语料均值,跨语料比较时需要留意分母不一致。

还有哪些结论不能由这张表推出?单点 0 dB 无法判断噪声敏感度的单调性,也无法区分混响或信道失真的影响;自动质量估计器的偏置也未在此表中体现,需要在质量相关分析中另行检验。

洁净语音的景观与噪声下的分化:谁在主导分布?

先看洁净语音的 Zipf-Heaps 景观。在家族条件化阶数下,RVQ 族 α 均值在三语料上为 2.32、2.44、2.42,语义增强的 Mimi 为 1.97 与 SpeechTokenizer 为 2.01 最接近自然语言词级参考值 2,而大词表单码本与非 VQ 普遍高于 2.8,WavTokenizer 在有效单元上达 4.48。Heaps 上 FocalCodec 仅 0.27 反映 8192 词表在 500 K 内已近饱和,DAC-24k 与 WavTokenizer 则接近 0.97 到 0.98。

若强行统一阶数,n = 1 时元类别效应 η² 仅 0.05 不显著,n = 2 时 η² 达 0.63 但单码本仅剩 1 个有效单元,说明绝对 α 跨家族不可直接比。熵与冗余度的分化更直观:洁净单字熵 H 在 6.3 到 16.3 bit 之间,SQCodec 达 16.3 bit 对应困惑度 83077,AcademiCodec 仅 6.3 bit 对应 82,冗余度普遍低于 0.12 远低于印刷英语约 0.5。

白噪声使除 S3Tokenizer 与 SQCodec 外所有模型熵下降 0.99 到 4.40 bit,网格均值冗余度从 0.08 升到 0.27,而 DEMAND 噪声的熵变化普遍小于 1 bit。方差分解给出分工:H 的元类别 η² 达 0.551 为全表最高,R 的条件 η² 为 0.351 居首,α 的条件 η² 为 0.278 亦为最大主效应,而语料主效应在 6 个指标上均不超过 0.005。

下面这张 2 维散点把洁净语音的家族分层 1 次性展开,横轴是 Zipf α、纵轴是 Heaps β,颜色按架构家族、形状按语料,重点看同一编解码器的 3 种形状是否重叠以及不同家族的分离。

看图路径: 1. 看横轴 Zipf α 与纵轴 Heaps β 构成的二维景观;2. 找 α ≈ 2 虚线附近聚集的 Mimi 与 SpeechTokenizer;3. 对比右上角 WavTokenizer 孤点与左下 FocalCodec 低 β 簇

原论文 Fig. 5:Clean-speech Zipf exponent α\\alpha and Heaps exponent β\\beta for 13 codecs on LJSpeech, VoxCeleb,…

论文图 5。原论文 Fig. 5::“Clean-speech Zipf exponent α\alpha and Heaps exponent β\beta for 13 codecs on LJSpeech, VoxCeleb, and TrIJEK at the 500K-token reference scale.”。

这张散点把上述分层可视化。横轴 α 从 1.8 到 4.5,纵轴 β 从 0.3 到 1.0,每个点是一个编解码器在一个语料上的 500 K 估计,颜色按架构家族、形状按语料。可见蓝色 RVQ 簇集中在 α 2.0 到 2.7、β 0.8 到 0.98 之间,紧贴 α ≈ 2 虚线;橙色大单码本的 BigCodec 与 WavTokenizer 孤立在右侧 α 3 到 4.5,红色 XCodec2 在 β 约 0.57 处,粉色 FocalCodec 在 β 约 0.27 处极低。同一编解码器的 3 种形状几乎重叠,印证语料影响微弱,而家族间的分离远大于语料内的波动。

看完静态景观,再看噪声如何按编解码器拉开分化。下图用 4 组柱状对比白噪声与 DEMAND 在 α、KS、占用率与转移熵上的位移,重点看同一家族内两种噪声的方向是否相反。

看图路径: 1. 对比实心白噪声与斜纹 DEMAND 在 Δα 上的方向差异;2. 看左下 ΔOccupancy 中蓝色 RVQ 与红色 SingleVQ 的同步大跌;3. 注意右下 ΔHtrans 中 RVQ 在两种噪声下符号相反

原论文 Fig. 6:Per-codec clean-to-noise shifts in the Zipf exponent, KS distance, codebook occupancy, and…

论文图 6。原论文 Fig. 6::“Per-codec clean-to-noise shifts in the Zipf exponent, KS distance, codebook occupancy, and transition entropy (Section VIII-A) under the two 0 dB conditions (solid: white;…”。

这组柱状图把噪声的分化按编解码器展开。上排是 Δα 与 ΔKS,下排是 Δ 占用率与 Δ 转移熵,实心为白噪声、斜纹为 DEMAND,蓝红绿分别对应 RVQ、SingleVQ、NonVQ,横轴为 13 个编解码器。可见 SingleVQ 在白噪声下 Δα 平均 -1.02 且占用率平均 -57 个百分点,而 RVQ 在白噪声下转移熵平均 -1.31、在 DEMAND 下 +0.63,符号相反。同一家族内不同模型对白噪声与真实噪声的响应方向甚至相反,说明不存在单一的噪声鲁棒性排名,排名取决于看哪个指标。

JSD 能否在不解码的情况下预判质量?

论文把 JSD 设计为无需解码的分布级探针:对每个编解码器取等大洁净与带噪样本,在共享 unigram 词表上算 JSD,样本量固定为约 423 K 以保证可比。JSD 不看 α 或 KS 的形状参数,而是看全分布上概率质量的搬运,因此即使幂律形状不变也能感知位移。

为避免高阶支撑不重叠导致饱和到 0.9 以上,跨编解码器对比统一用 unigram,这是与家族条件化 n 刻意不同的选择。结果呈现清晰的噪声依赖:在 DEMAND 0 dB 下,12 个可解码编解码器跨语料均值上 JSD 与 UTMOS 的 Pearson 为 -0.76、Spearman 为 -0.65,与中位 F0 误差为 0.57,MCD 在电平归一后关联转弱。

移除两个低 JSD 的非 VQ 后 UTMOS 关联仍为 -0.68 且无单一编解码器能使系数移动超过 0.10,说明不是离群驱动。白噪声下 JSD 与 UTMOS 无关联,与 MCD 的 Pearson 0.62 在 Spearman 上仅 0.06 且移除非 VQ 后符号反转,说明白噪声的关联由分组间隙而非梯度关系驱动。

根据论文正文与图中报告值整理,关键结果如下表所示,强调条件与家族的分工以及 JSD 的噪声依赖性。

比较或条件指标明确报告值这项数字支持什么不能推出什么
洁净跨家族Zipf αRVQ 均值 2.32 到 2.44,Mimi 1.97,WavTokenizer 4.48语义 RVQ 更接近自然语言参考,单码本更陡峭不能直接说 α 越接近 2 质量越好,因阶数与词表混淆
洁净跨家族Heaps β 与 KFocalCodec β 0.27 K 286.9,DAC-24k β 0.97大词表在 500 K 内已饱和 vs 持续涌现不能外推到更大样本下的饱和点
白噪声 vs DEMAND单字熵 ΔH白噪声下降 0.99 到 4.40 bit,DEMAND 变化 < 1 bit白噪声导致熵坍缩,真实噪声更温和不能说 DEMAND 无影响,JSD 仍显示位移
方差分解η²H 的元类别 0.551,R 的条件 0.351,语料 ≤ 0.005架构主导熵,噪声主导冗余度,语料可忽略η² 为描述性划分,元类别检验仅基于 13 个编解码器
JSD-质量Pearson rDEMAND 下 JSD-UTMOS r = -0.76 ρ = -0.65,White 下 r = 0.15真实噪声下分布位移可预判听感下降白噪声下无稳健关联,不能作通用质量代理
退化签名计数78 单元中崩溃 15、爆炸 18,RVQ × 白噪声崩溃 14 / 21崩溃与爆炸是家族与噪声依赖的相反模式计数依赖阈值,减半或加倍时在 11 到 15 间波动

这张表最公平的净收益是把绝对数值比较转为按指标分工的解读。它不再追问哪个编解码器 α 最接近 2,而是说明熵看架构、陡峭度看噪声、语料可忽略。

一个失败项是白噪声下 JSD-MCD 的 Pearson 与 Spearman 分歧。Pearson 0.62 看似相关,Spearman 0.06 则否,移除非 VQ 后符号反转,说明该相关由两簇分离驱动而非连续梯度。

还有哪些结论不能由这张表推出?JSD 的负相关不能等同于因果预判,且仅在 DEMAND 0 dB 单点上验证,未做信噪比扫描与多重检验校正,外推到其他噪声强度需要更细的梯度实验。

下面这张散点直接检验 JSD 的判别力。左右两图分别对应白噪声与 DEMAND,横轴是 clean-to-noise JSD、纵轴是 UTMOS,重点看虚线拟合的斜率与相关系数如何随噪声类型翻转。

看图路径: 1. 左图 White 下看 JSD 横轴分散但 UTMOS 纵轴几乎水平;2. 右图 DEMAND 下看虚线拟合的负斜率与 r = -0.76 标注;3. 对比绿色 NonVQ 在两图中的位置移动

原论文 Fig. 8:Clean-to-noise JSD at the common unigram order versus UTMOS under the corresponding noisy condition…

论文图 8。原论文 Fig. 8::“Clean-to-noise JSD at the common unigram order versus UTMOS under the corresponding noisy condition, for the twelve decodable codecs averaged across the three corpora.”。

这张散点是上述结论的直观证据。左图白噪声下横轴 JSD 从 0.2 到 0.85 分散,但纵轴 UTMOS 几乎水平在 1.3 附近,虚线拟合斜率接近零且 r 仅 0.15,绿色 FocalCodec 与 SQCodec 聚在左下。右图 DEMAND 下 JSD 从 0.1 到 0.5 与 UTMOS 从 1.9 到 1.4 形成清晰负斜率,r 为 -0.76,蓝色 RVQ 与橙色 SingleVQ 沿虚线分布。绿色 FocalCodec 在左图最左、右图最上,说明噪声类型改变了 JSD 的判别力。

崩溃与爆炸:同是噪声,为何走向相反?

论文用两个序列级指标把退化操作化。重复率 r 是去重前相邻位置相同 token 的比例,转移熵 Htrans 是给定前一个 token 时下一个 token 的不确定度。对每个编解码器-语料-噪声单元算洁净到 0 dB 的变化 Δr 与 ΔHtrans,以 Δr > 0.01 且 ΔHtrans < -0.1 判崩溃,以 Δr < -0.01 且 ΔHtrans > 0.1 判爆炸,其余为中性。

阈值减半或加倍时 RVQ 的崩溃与爆炸计数在 11 到 15 间波动,说明划分对阈值不极端敏感。78 个单元中崩溃 15 例、爆炸 18 例、中性 45 例。崩溃几乎全在 RVQ × 白噪声,14 / 21 个单元且伴随平均 ΔHtrans -1.31 与占用率 -40 个百分点,序列变得更重复、更可预测、词表急剧收缩。

爆炸则集中在 RVQ × DEMAND,13 / 21 个单元且伴随 ΔHtrans +0.63,重复率下降、随机性上升、占用率几乎不变。单码本 VQ 的 18 个单元全部为中性,但白噪声下占用率平均 -57 个百分点,说明它的退化不在重复动力学而在码本内的概率重分布。

根据论文正文报告值整理,退化签名按家族与噪声的分布如下表所示,重点是崩溃与爆炸的方向相反且家族依赖。

家族噪声崩溃爆炸中性平均 Δr平均 ΔHtrans平均 Δ 占用率(百分点)
RVQWhite 0 dB1416+0.08-1.31-40
RVQDEMAND 0 dB1137-0.03+0.63+2
SingleVQWhite 0 dB009+0.00+0.74-57
SingleVQDEMAND 0 dB009+0.00+0.56-9
NonVQWhite 0 dB018-0.00+0.34-3
NonVQDEMAND 0 dB036-0.01+0.27+1

这张表最公平的净收益是把一概而论的鲁棒性下降拆成两条相反路径。同一 RVQ 家族在白噪声下坍缩、在真实噪声下随机化,说明噪声的频谱与平稳性决定了退化方向。

一个失败项是 SingleVQ 的 18 个单元全部中性却有最大的占用率跌幅。若只看重复率与转移熵会误判其鲁棒,必须结合占用率才能看到其退化是码本内重分布。

还有哪些结论不能由这张表推出?阈值本身是操作化选择,减半或加倍时计数在 11 到 15 间波动,且未覆盖中间信噪比,无法判断崩溃与爆炸之间是否存在连续过渡。

下图把双阈值分类放在同一平面上检验。横轴是重复率变化、纵轴是转移熵变化,左上淡紫为爆炸区、右下淡红为崩溃区,重点看蓝色 RVQ 的圆点与方块如何分居两区而红色 SingleVQ 紧贴零线。

看图路径: 1. 看左上淡紫爆炸区与右下淡红崩溃区的象限划分;2. 对比蓝色圆点 White 与蓝色方块 DEMAND 在象限中的分离;3. 注意红色 SingleVQ 点紧贴纵轴零线附近的聚集

原论文 Fig. 9:Per-codec shifts from clean speech to the 0 dB conditions in repetition rate and transition entropy,…

论文图 9。原论文 Fig. 9::“Per-codec shifts from clean speech to the 0 dB conditions in repetition rate and transition entropy, averaged across the three corpora.”。

这张象限图把双阈值分类可视化。横轴 Δ 重复率从 -0.10 到 0.25,纵轴 Δ 转移熵从 -3 到 3,左上淡紫为爆炸区、右下淡红为崩溃区,圆点为白噪声、方块为 DEMAND,颜色为家族。可见蓝色 RVQ 圆点聚集在右下崩溃区,最极端的 AudioDec 与 EnCodec 分别下探到 -2.9 与 -1.9;蓝色 RVQ 方块聚集在左上爆炸区,SpeechTok 与 EnCodec 上探到 1.7 与 1.0。红色 SingleVQ 点紧贴纵轴零线附近,无论圆点方块都不进入两区,印证其退化不表现为重复率变化。

这些结论的边界在哪里?

论文坦诚了多处边界。第一,跨家族绝对数值不可直接比,因为 n-gram 阶数是家族条件化的,且词表大小与架构、码率、训练目标混淆,码本大小的模式只是关联而非因果。

第二,噪声设计锁死在单一 0 dB 与两类噪声源,未覆盖不同信噪比、混响与信道失真,白噪声与 DEMAND 的对比易被极端退化主导,缺乏信噪比扫描难以判断 JSD 关联的单调性与阈值。

第三,质量指标依赖自动估计器。UTMOS 与 Whisper-large-v3 的偏置可能与编解码器架构相关,例如再生式解码器会提升 UTMOS 但增大 MCD,使 JSD-UTMOS 负相关部分反映生成偏好而非保真度。

第四,统计效力有限。JSD-质量相关基于 12 个可解码编解码器的均值,Pearson 与 Spearman 在白噪声下分歧提示离群家族驱动,且未做多重检验校正;方差分析的 η² 为描述性划分,元类别检验仅基于 13 个编解码器级单元,组内相关高达 0.96 说明大量方差被编解码器个体吸收。

第五,JSD 与签名均有操作化依赖。跨编解码器 JSD 需退到 unigram 否则因支撑不重叠而饱和,丢失高阶信息;崩溃与爆炸计数依赖死区阈值;非 VQ 的码本大小以最大索引加 1 代理,对非连续索引会系统低估分母。最后,所有编解码器被视为固定黑盒,未探究训练目标与数据构成对分布区间的因果影响,结论的外推半径比标题暗示的小得多。

若要复现,需要哪些具体信息与缺口?

可复现的部分已经相当具体。论文给出 13 个编解码器的家族、元类别、码本大小、n-gram 阶数、采样率与码率,说明采用 Codec-SUPERB 标准化抽取、连续去重、家族条件化 n、500 K 匹配采样与分块稳定性校验,定义了 α 搜索 1.01 到 8、V/N > 0.9 无效、JSD 在共享词表上算且跨家族统一为 unigram、退化签名阈值 0.01 与 0.1,以及三因素方差分析与混合模型的统计框架。

噪声生成也明确为每语料固定种子、白噪声高斯、DEMAND 每句随机抽五环境之一及随机通道与偏移,且带噪波形共享给全部编解码器。质量侧依赖的 Whisper-large-v3 与 UTMOS 版本、WORLD 与 Praat 的参数虽有提及,但未给出完整配置文件。

缺口同样明确。论文未发布核心代码、模型权重或数据下载链接,也未给出明确开源承诺;未披露 GPU 型号、数量与时长;未提供 token 流的实现细节,第三方难以验证 500 K 匹配采样的具体拼接与去重顺序;未报告真实延迟、吞吐与资源测量。

根据论文正文整理,复现所需的关键超参与工具如下表所示,缺失项已标注。

类别关键参数论文明确值作用缺失或需注意
量化器RVQ 每级码本 / SingleVQ / NonVQ1024 或 2048 / 4096 到 65536 / 8192 或 var.决定词表尺度与 n 的有效区非 VQ 以最大索引加 1 代理,需注意非连续索引低估
n-gram家族条件化阶数 / JSD 阶数1 到 3 按 KS 最小 / 跨家族统一为 1平衡拟合质量与支撑重叠8 个与均值最优一致,4 个偏差 1 阶,Mimi 偏差 2 阶
拟合α 搜索 / V/N 阈值 / KS1.01 到 8 / 0.9 判无效 / 越小越好避免截断与稀疏区虚假陡峭powerlaw 库版本未指定
采样匹配样本 / 块分析 / 聚合500 K 参考,423 K 用于 JSD,100 K 用于 ANOVA / 5 K 到 500 K 非重叠块保证跨单元可比与稳定性3 个 Mimi-TrIJEK 单元无 500 K 参考被排除
噪声类型 / SNR / 生成白噪声与 DEMAND / 0 dB 单点 / 每语料固定种子控制跨编解码器可比性未覆盖其他 SNR、混响、信道
质量UTMOS / MCD / F0 / dCER / UER伪 MOS / 含 0 阶经 DTW 与电平归一 / Praat 50 到 1100 Hz 0.6 阈值 / Whisper-large-v3 / 仅带噪评估重合成保真度与可懂度自动估计器偏置可能与架构相关
统计方差分析 / 混合模型 / 相关Type-II η² / 编解码器随机截距 ICC 0.46 到 0.96 / Pearson 与 Spearman分解变异来源与稳健性η² 为描述性,JSD 相关仅 12 样本
工具Codec-SUPERB / powerlaw / WORLD / Praat标准化抽取 / MLE 与 KS / 梅尔倒谱 / F0 提取串起编码到指标未给代码链接与硬件信息

这张表最公平的净收益是让第三方能按文字描述重建流水线。按表 I 配置与第 III-A 到 III-D 的步骤,配合所述阈值与采样尺度,基本可复现分布参数与 JSD 的计算。

一个失败项是 token 流拼接与去重的顺序细节未开源。500 K 匹配采样的具体实现若不一致,会直接改变 V/N 与 α 的估计,尤其在大词表高阶时。

还有哪些结论不能由这张表推出?即使完全复现,也只能验证 0 dB 单点与 12 个编解码器均值相关的边界,无法外推到连续信噪比或更大规模语料下的稳定性。

如何把这套语言统计学规范用起来?

回到开头的问题:语音 token 像不像自然语言?论文的回答是,像,但要按家族与条件来像。所有 13 个编解码器在洁净语音上都满足幂律拟合的效度与优度标准,Heaps 也呈现次线性增长,这是语言相似性的定性基础。

但定量的 α 是否接近 2、β 是多少、熵有多高,则强烈依赖量化器家族与声学条件,语料身份几乎不解释方差。对实践者而言,论文提供了可直接套用的三件套。

第一,估计时用家族条件化 n 与 V/N > 0.9 无效判定,并在匹配大样本上报告,KS 在 200 K 已稳定而 α 需 500 K,避免小样本幻觉。第二,评估时按指标分工解读:想看架构差异就看 H 与 KS,想看噪声影响就看 α、β 与 R,且必须报告元类别与条件的交互。

第三,诊断时用 JSD 作无需解码的分布位移探针,但在白噪声下不要期待它与听感单调相关,它在 DEMAND 等真实噪声下才与 UTMOS 形成稳健负相关,且应与 UER 等 token 级错位互补使用。对研究者而言,最值得追的下一步是把 0 dB 单点扩展为连续信噪比扫描与混响、信道等非平稳失真,并在更大样本与更大词表下检验 Heaps 的饱和行为,同时把训练目标与数据构成从黑盒中打开,回答分布区间究竟由什么因果驱动。

📎 论文与评分元数据

标签:#语音编码 #音频质量评估 #基准测试

6.3/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

6.3/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音编码 | #音频质量评估 | #基准测试 | arxiv

⚖️ 评分依据与证据(展开查看)

逐维得分、全文证据与扣分边界
  • 创新性 (1.2/2):提出家族条件化 n 阶选择与 V/N > 0.9 无效判定及 500K 匹配采样稳定性校验,引入 clean-to-noise JSD 作为无需解码的分布位移探针,并以重复率与转移熵双阈值定义崩溃与爆炸签名,区分 RVQ 与单码本 VQ 的不同退化路径在 13 编解码器上形成可复用的语言统计分析规范

  • 技术严谨性 (1.2/1.5):Zipf 采用 MLE 与 KS 拟合优度并设 alpha 1.01 至 8 扩展搜索,Heaps 在对数域最小二乘回归,JSD 在共享词表上计算并统一退至 n = 1 避免支撑不重叠饱和三因素方差分析报告 eta2 并以编解码器随机截距线性混合模型稳健性检验,ICC 0.46 至 0.96,块分析显示 KS 在 200K 时偏差降至 spread 的 0.07

  • 实验充分性 (1.2/1.5):构建 13 编解码器 x 3 语料 x 3 声学条件共 117 单元全交叉网格,3 语料各约 10 小时并在 500K token 匹配尺度上估计 alpha KS beta K H R 与占用率,完成 n 阶消融 RVQ 首层选择与去重效应及阈值减半加倍敏感性检验但噪声仅 2 类在单一 0 dB,JSD 质量相关仅基于 12 个可解码编解码器均值且 Pearson 与 Spearman 分歧提示小样本敏感性

  • 清晰度 (0.8/1):流程按语料与噪声生成到编码抽取去重到分布拟合与 JSD 再到方差分解与签名分类分层叙述,公式给出 alpha MLE 与 JSD 定义及 Heaps 回归形式表格保留家族代表并标注指标方向,图示展示经验互补累积分布与拟合幂律的 KS 偏离,但家族条件化 n 导致绝对 alpha 跨家族不可直接比较需读者自行注意

  • 影响力 (0.8/1.5):为语音 token 的 Zipf Heaps 分析提供家族条件化估计与解读规范,揭示语料方差可忽略而声学条件与量化器元类别按指标分工主导,H 的元类别 eta2 达 0.551 DEMAND 0 dB 下 JSD 与 UTMOS 呈 r -0.76 rho -0.65 负相关,为音频编解码器质量与鲁棒性评估提供分布级探针,但结论外推受限于单信噪比与自动估计器偏置

  • 开源 (0.0/1.5):论文未发布核心代码、模型权重或数据资源,也未给出明确的后续开源承诺。

  • 可复现性 (0.3/0.5):给出 Table I 中 13 个 NAC 的 Family M |V| nn SR kbps 6 项参数,说明采用 Codec-SUPERB 标准化抽取与连续去重及家族条件化 n 阶,定义 alpha 搜索与 V/N 判定及 JSD n = 1 与签名阈值但未披露硬件型号数量与时长,未提供代码与 token 流实现,第三方难以验证 500K 匹配采样一致性

  • 工程/实践价值 (0.8/1.5):基于 Codec-SUPERB 构建 13 编解码器并行编码到单流抽取去重与 n-gram 构造再到分块稳定性校验与匹配采样估计的完整流水线,兼容 RVQ 首层与单码本及非 VQ 的统一接口在 117 单元网格上输出可跨架构对比的分布参数与退化诊断,但未报告真实延迟吞吐与资源测量


← 返回 2026-09-01 语音/音乐/音频论文速递