📄 SemiCodec：用半离散表示同时保留离散接口和高保真重建

英文题目：SemiCodec: Bridging Speech Tokenization and High-fidelity Reconstruction with Semi-discrete Representations

标签：#语音编码 | #神经编解码与离散单元 | #知识蒸馏 | #变分自编码器

评分：7.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Kecan Mao：机构信息未在 arXiv HTML 中可靠披露
  • Nan Xu：机构信息未在 arXiv HTML 中可靠披露
  • Zhaoyang Meng：机构信息未在 arXiv HTML 中可靠披露
  • Zhengyao Ma：机构信息未在 arXiv HTML 中可靠披露
  • Yingming Gao：机构信息未在 arXiv HTML 中可靠披露
  • Yi Zhao：机构信息未在 arXiv HTML 中可靠披露
  • Ya Li：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

语音同时包含可离散化的语言内容和连续变化的说话人、韵律与声学细节，理想表示要同时给出紧凑的建模接口和忠实波形。已有全离散编解码器在低帧率下容易丢失细节，全连续隐变量则需要回归、流匹配或扩散等专用生成目标。SemiCodec 把输入波形编码为同步的单码本离散 token 与 64 维连续隐变量，两路映射到同一合成空间相加后由波形解码器重建。直接联合训练会让信息更丰富的连续通路形成重建捷径，使解码器忽视离散 token，论文因此采用先保留后接地的两阶段训练，先建好连续声学合成空间，再冻结声学部分并接入离散支路。与全离散基线相比，方法在保持每秒 25 帧离散接口的同时明显改善重建质量和可懂度。在 LibriSpeech test-other 上，SemiCodec 相对 SAC 的宽带 PESQ 从 2.39 提高到 4.03，词错率从 5.71% 降到 5.02%。结论适用于 24 kHz 英语朗读语音重建，尚未验证低资源语言、强噪声音乐或下游语言模型建模收益，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音要同时解决什么输入输出问题

这篇论文处理的是语音神经编码器的输入输出问题。输入是一段波形，论文中训练统一重采样到 24 kHz，推理评测用 LibriSpeech 的朗读语音。输出有两个要求：一是给出紧凑的离散表示，方便后续做按 token 预测的语言模型建模；二是能够把波形高保真地重建回来，保留内容可懂度、感知质量和说话人特征。难点在于语音同时包含可以离散化的语言内容和连续变化的声学信息，包括说话人身份、韵律、情感和局部声学细节。

如果只走离散量化，这些细节容易在低帧率下被同一个量化瓶颈丢掉；如果只走连续隐变量，虽然保留了细节，却需要回归、流匹配、扩散或专门的连续自回归目标，不再提供显式的离散接口。论文的目标就是保留离散接口的同时，不把细粒度声学信息强行挤过同一个量化瓶颈。评价时同时看可懂度、感知质量、说话人相似度和主观听感，而不是只看某一个指标。

已有离散路线和连续路线各管什么

论文把已有工作分成两条路线来对比。离散路线包括 DAC、Mimi、WavTokenizer 和 X-Codec，它们提供适合下 1 token 预测的紧凑 token；DualCodec、SAC 和 OmniCodec 进一步把语义和声学分成两个 token 流，但论文指出两者仍然是量化后的表示，在低帧率下可能丢失声学细节。连续路线包括 Semantic-VAE、Ming-UniAudio 和 dots.tts，它们避免硬量化，在连续隐空间中更好地保留声学变化，但通常需要专门的连续生成目标。比较的前提是输入、目标和运行阶段要对齐：离散方法的优势在建模接口紧凑，连续方法的优势在重建保真，直接把类别差异说成同条件胜负是不公平的。

论文的定位不是再做一个更大的离散码本或更强的连续变分自编码器，而是让两种表示同步存在、分工合作。后续实验也因此同时与离散基线和连续基线比较，分别检验接口紧凑性和重建质量的折中，而不是只挑一侧来证明全面占优。

直接联合训练为什么会走捷径

论文指出的具体障碍是连续通路重建捷径。如果把离散分支和连续分支同时从零开始联合优化，连续隐变量因为不受限于从有限条目中选择，能在训练早期更快地降低重建损失。波形解码器于是学会依赖这条信息丰富的通路，离散分支得到的重建反馈很弱。更关键的是，只加自监督蒸馏并不能完全解决这个问题：蒸馏可以让离散特征与教师特征对齐，但不对齐是否被解码器用于波形合成负责。

也就是说，特征对齐和合成使用是两个不同的目标，前者管离散特征像不像教师，后者管解码器用不用离散特征。论文把这个问题表述为非对称优化问题，需要在训练流程上分开处理，而不是只靠加大蒸馏权重。理解这一点才能明白后面为什么先只训连续通路，再冻结它去接入离散 token，以及为什么还要在第二阶段随机丢掉连续分支。

SemiCodec 的整体流程是什么

SemiCodec 的整体流程可以沿着一个样本来走。波形 x 先经过共享的波形编码器得到每秒 25 帧的隐特征 h，这一步为两个分支提供同一时间网格的输入。然后两条分支并行工作：离散分支把每帧映射为 4096 个符号中的一个 token 序列 s，连续分支把同一 h 编码为 64 维连续隐变量 za。两个分支各自经过离散分支解码器 Ds 和连续分支解码器 Da，被投影到同一个共享合成空间，再按帧相加融合，最后由统一的波形解码器 G 合成波形。

训练流程分为保留和接地两个阶段：第一阶段关掉离散分支，只训练连续通路建立高保真的合成空间；第二阶段冻结波形编码器和连续分支，接入离散分支并与波形解码器一起优化，同时用波形监督和自监督教师监督把离散 token 接地到已学好的合成空间中。第二阶段还对连续分支做随机丢弃，强迫解码器在部分小批量上只能用离散流重建，从而给离散表示施加真实的使用压力。

连续分支如何保留细粒度声学信息

连续分支的作用是保留难以用单个码本条目表达的信息，例如说话人特征、韵律和局部声学变化。它的输入是共享编码器输出的 h，连续编码器 Ea 预测对角高斯后验的均值和对数方差，再通过重参数化采样得到 64 维隐变量 za，噪声来自标准高斯分布。采样后的 za 再由连续分支解码器 Da 投影到共享合成空间。这个变分瓶颈用标准高斯先验做 KL 正则，防止隐变量无约束膨胀。

第一阶段正是靠这条通路先把合成空间训练稳定，因为没有随机初始化的离散通路竞争，重建损失可以直接塑造连续表示和波形解码器。需要强调的是，连续分支在第二阶段会被冻结，作为稳定的声学锚点保留下来，而不是继续大幅改动。

离散 token × 连续隐变量： 离散 token 指每帧从 4096 个码本条目中选出的一个符号，是面向语言模型预测的紧凑接口；连续隐变量指 64 维高斯后验采样得到的向量，保留说话人、韵律和局部声学变化。两者分工是离散管可建模的内容骨架，连续管补难以量化的细节，同步相加后共同驱动同一个波形解码器，组合后既有离散接口又有高保真重建。

\[\begin{split}[\boldsymbol{\mu},\log\boldsymbol{\sigma}^{2}]&=E_{a}(\mathbf{h}),\\ \mathbf{z}_{a}&=\boldsymbol{\mu}+\boldsymbol{\sigma}\odot\boldsymbol{\epsilon},\quad\boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}).\end{split}\]

离散分支如何给出每帧一个符号

离散分支的作用是给出显式的紧凑建模接口。它同样以 h 为输入，先由帧级编码器把每帧特征 ht 映射为查找特征 et，再在 4096 个码本条目中按 L2 归一化后的欧氏距离最近原则选出 token 索引 st。选中的码本嵌入再被投影回模型维度，并经离散分支解码器 Ds 映射到同一个共享合成空间。离散赋值不可微，论文用直通估计器把梯度传回去，同时用量化器的承诺损失和码本损失优化量化器本身。每帧只给一个符号、帧率同样是 25 Hz，因此与连续分支天然同步，可以直接按帧相加。

这种设计让波形解码器的输入维度固定，无论哪条流在某 1 帧贡献多少信息，融合方式不变。离散分支的语义引导来自冻结的 w2v-BERT 2.0 第 17 层输出，与解码后离散特征做时间对齐后计算余弦距离损失。

\[s_{t}=\arg\min_{k\in\{1,\ldots,K\}}\left\|\bar{\mathbf{e}}_{t}-\bar{\mathbf{c}}_{k}\right\|_{2}^{2},\]

两条流在哪里相加合成波形

两条流的分工最终落在共享合成空间的相加融合上。论文把重建写成先把离散 token 序列 s 经 Ds 映射、连续隐变量 za 经 Da 映射，两者在同一空间相加后再经波形解码器 G 得到重建波形。这种相加不是拼接，它保持了解码器输入维度不变，也允许每 1 帧由任意一条流提供信息。共享的波形编码器用因果步长卷积加因果 Qwen2 风格 Transformer 主干，沿用 TS3-Codec 的做法。

波形解码器先用转置卷积上采样融合表示，再用 Qwen2 风格 Transformer 主干，最后按 Vocos 的做法用逆短时傅里叶变换头直接预测复数谱并重建波形，不经过中间梅尔谱，也不需要外部声码器。因果结构意味着编码和解码只依赖历史和当前信息，这对流式或低延迟场景是重要的结构约束，但论文没有单独报告延迟数字。

波形编码器 × 波形解码器： 波形编码器指因果步长卷积加因果 Qwen2 风格 Transformer，把 24 kHz 波形压到每秒 25 帧的隐特征 h；波形解码器指把融合特征经转置卷积上采样加 Transformer 再经 iSTFT 头直接恢复波形的模块。编码器负责统一提取可供两分支使用的输入，解码器负责把共享合成空间的相加特征变回波形，两者搭配形成先压缩后合成的闭环。

\[\hat{\mathbf{x}}=G\!\left(D_{s}(\mathbf{s})+D_{a}(\mathbf{z}_{a})\right),\]

波形目标和正则项各约束什么

训练目标分成波形重建、连续正则、离散蒸馏和量化器四部分。波形目标沿用 DAC 和 HiFi-GAN 的做法，包括多尺度梅尔谱 L1 损失、生成器对抗损失和 L1 特征匹配损失，对抗部分用最小二乘生成对抗网络目标，判别器是多周期判别器和多分辨率复数谱判别器。连续后验用与标准高斯先验的 KL 散度做正则，对应变分瓶颈的约束。离散部分用 SSL 蒸馏损失拉近离散解码特征与教师特征的余弦相似度，再加承诺损失和码本损失优化量化器。

第一阶段只优化波形编码器、连续分支和波形解码器，目标是波形损失加 KL 损失，不引入离散分支的竞争。优化器用 AdamW，论文报告了 2 阶段不同的学习率和预热保持余弦 schedule，训练用 32 张英伟达 H20 显卡和 BF16 精度，语音段随机裁到 9.6 秒。

多周期判别器 × 多分辨率复谱判别器： 多周期判别器指在波形不同周期结构上判断真假的判别器，多分辨率复谱判别器指在多分辨率复数谱上判断真假的判别器。两者都是波形对抗损失中的判别器，分工是从时域周期性和频域谱结构两个角度提供真假反馈，组合后与多尺度梅尔 L1 损失和特征匹配损失一起约束重建的感知质量。

\[\mathcal{L}_{\mathrm{S1}}=\mathcal{L}_{\mathrm{wav}}+\lambda_{\mathrm{KL}}\mathcal{L}_{\mathrm{KL}}.\]

第二阶段如何冻结与丢弃连续通路

第二阶段从第一阶段初始化，冻结波形编码器和连续分支，只训练离散分支和波形解码器，判别器按更小的学习率继续更新。目标变为波形损失加 SSL 蒸馏损失加量化器损失：波形损失负责把离散特征接地到预训练合成空间，SSL 损失负责向教师对齐，量化器损失负责码本学习。为了防止解码器继续偏爱连续通路，论文引入声学丢弃。对每个小批量，以概率 p 把连续分支的贡献乘以 0，否则乘以 1，即融合特征等于离散映射加伯努利掩码乘连续映射。

当掩码为 0 时，重建只能依赖离散流，解码器被迫学会使用已接地的离散 token。原文没有报告具体的 p 取值和丢弃频率的消融曲线，只报告了加与不加丢弃的最终指标和码本使用率差异，因此复现时需要把 p 当作关键超参数单独记录和搜索。

w2v-BERT 2.0 × SSL 蒸馏损失： w2v-BERT 2.0 指被冻结的自监督语音教师模型，取其第 17 层输出作为内容参考；SSL 蒸馏损失指解码后离散特征与教师特征之间 1 减余弦相似度的帧平均。教师提供语义方向，损失把这种方向变成可优化的目标，组合后让离散分支的特征向教师对齐，但原文指出仅靠它还不能保证解码器真正使用离散特征做合成。

\[\mathbf{h}_{\mathrm{dec}}=D_{s}(\mathbf{s})+mD_{a}(\mathbf{z}_{a}),\qquad m\sim\operatorname{Bernoulli}(1-p),\]

训练数据与评测条件是什么

训练数据规模很大，约 795,000 小时，包括 95,000 小时的 Emilia 和 LibriTTS 以及 700,000 小时内部数据，所有音频重采样到 24 kHz，2 阶段都用随机裁到 9.6 秒的语音段。这种广泛混合的目的是让 2 分支接触多样的语言和声学条件，而固定裁剪时长保证 2 阶段优化单元一致。基线包括离散的 WavTokenizer、X-Codec2 和 SAC，以及连续的 Semantic-VAE、Ming-omni-tts 采用的音频变分自编码器和 dots.tts 采用的变分自编码器，凡是有公开发布检查点的都用同一套指标实现在相同测试语句上评测重建波形。主观评测用 MUSHRA 听音测试，20 名参与者听 8 条从 LibriSpeech test-other 随机选的语句。

客观评测用完整 LibriSpeech test-other，它的噪声声学条件更具挑战性，能检验内容和说话人保持。指标包括窄带和宽带 PESQ、STOI、ViSQOL、说话人相似度 SIM 和词错误率 WER，其中 SIM 是参考与重建语音经 WavLM-Large 说话人验证模型提取嵌入后的余弦相似度，WER 由 Whisper-large-v3 转写后计算。指标方向是 PESQ、STOI、ViSQOL、SIM 和 MUSHRA 越高越好，WER 越低越好。

重建质量在什么条件下优于离散基线

下图把不同编码器放在可懂度与感知质量的平面上比较，横轴是词错误率越低越好，纵轴是宽带 PESQ 越高越好，圆圈大小表示时间帧率。读图时先确认方向，再看 SemiCodec 星形相对离散基线的位置，最后结合帧率理解代价。

看图路径： 1. 先看横轴 WER 向下越小越好与纵轴 PESQ 越高越好的方向；2. 再对比 SemiCodec 星形与 dots.tts VAE、Semantic-VAE 圆点的位置高低左右；3. 最后看圆圈大小代表的帧率，确认 SemiCodec 在 25 帧每秒下的位置

原论文 Figure 1：Comparison of codecs on speech reconstruction.

论文图 1。原论文 Figure 1:：“Comparison of codecs on speech reconstruction.”。

图中可见 SemiCodec 星形位于左上区域，宽带 PESQ 高于离散的 SAC 和 X-Codec2，词错误率也更低，而圆圈大小对应的帧率明显小于 SAC 和 X-Codec2。论文强调这是在更低离散 token 速率下取得的，不是靠提高帧率换来的。表 1 进一步给出与最强离散基线的直接数字对比：在帧率从 62.5 降到 25 的条件下，宽带 PESQ 从 2.39 提升到 4.03，词错误率从 5.71% 降到 5.02%。这一结论的适用条件值得留意：它依赖 LibriSpeech test-other 的评测协议和同一套指标实现，且 SemiCodec 仍保留了连续隐变量，重建时并不是只用离散 token，因此不能理解为纯离散编码在同等信息量下全面取胜。

条件指标基线本方法原文比较对象
帧率从 62.5 降到 25PESQ-WB2.394.03SAC 对比 SemiCodec
WER 越低越好WER5.71%5.02%SAC 对比 SemiCodec

表 1 比较的是离散基线中最强的 SAC 与 SemiCodec 的重建质量，公平条件是同一 test-other 测试集和同一指标实现，指标方向为 PESQ-WB 越高越好、WER 越低越好。结果显示把细粒度声学信息放在量化瓶颈之外，可以在降低离散帧率的同时大幅提升感知质量和可懂度。代价是系统仍需传输或保存连续隐变量，离散 token 本身的信息量并没有增加，实际部署的码率要把两部分一起算。

条件指标方向SemiCodec 趋势dots.tts VAE 趋势原文结论
同为 25 帧每秒PESQ-NB 越高越好更高相对较低SemiCodec 占优
同为 25 帧每秒PESQ-WB 越高越好更高相对较低SemiCodec 占优
同为 25 帧每秒STOI 越高越好更高相对较低SemiCodec 占优
同为 25 帧每秒ViSQOL 越高越好相对较低更高dots.tts 占优
同为 25 帧每秒SIM 越高越好相对较低更高dots.tts 占优

表 2 比较的是同样 25 帧每秒下 SemiCodec 与连续表示 dots.tts VAE 的差异，解决的是半离散接口是否以明显质量损失为代价的问题。结果显示 SemiCodec 在 PESQ 窄带宽带和 STOI 上更高，而 dots.tts 在 ViSQOL 和说话人相似度上保留小幅优势，主观差距也大幅缩小。论文据此把主要收益表述为接口与质量的折中更有利，而不是对连续表示的全面超越，这个限定很重要，换用其他说话人或噪声条件时相对顺序可能变化。

分阶段与声学丢弃各自带来什么变化

消融实验回答的是训练范式中每一步是否必要。比较的问题是联合训练、只做第一阶段、接入离散的第二阶段、再加声学丢弃 4 种条件下，感知质量和可懂度如何变化。公平条件是同一 LibriSpeech 评测和同一指标实现，指标方向仍是 PESQ 越高越好、WER 越低越好。原文报告从联合训练到第一阶段宽带 PESQ 从 3.58 提升到 3.99，说明先建立声学合成空间再让 2 分支竞争是有增益的；接入接地的离散 token 后进一步到 4.02，说明离散流可以补充而不是破坏已保留的连续表示；声学丢弃带来更小但一致的提升并得到最好整体结果。

训练条件指标联合训练基线本阶段结果原文阶段
建立合成空间前后PESQ-WB 越高越好3.583.99Stage I 对比 Joint Training
接入离散后PESQ-WB 越高越好3.994.02Stage II 进一步提升
是否丢弃连续码本使用率越高越好82.71%97.31%Preserve-then-Ground 对比 Joint
去掉丢弃后码本使用率越高越好97.31%91.67%w/o Acoustic Dropout

表 3 整理的是阶段顺序带来的宽带 PESQ 变化，表 4 整理的是码本使用率在 LibriSpeech test-clean 上的变化。码本使用率从联合训练的 82.71% 提高到保留后接地的 97.31%，去掉声学丢弃后回落到 91.67%，与解码器在连续特征始终可用时对离散通路需求下降是一致的。这组证据支持阶段顺序和对解码器施加使用压力的必要性，但也表明码本用得多不等于重建一定好，还需要结合 PESQ 和 WER 一起看。未胜出的细节是声学丢弃的增益相对较小，且原文未报告丢弃概率的敏感性，实际调参时不能默认任意丢弃率都有效。

训练范式指标去掉丢弃前去掉丢弃后适用条件
是否用声学丢弃码本使用率越高越好97.31%91.67%LibriSpeech test-clean
联合训练对比分阶段码本使用率越高越好82.71%97.31%同一码本 4096 条目
阶段间 PESQ 趋势PESQ-WB 越高越好3.583.99Stage I 建立空间
离散接地后PESQ-WB 越高越好3.994.02Stage II 补充离散

上表把码本使用率和阶段性 PESQ 放在一起，是为了说明机制解释与效果大小要分开：分阶段解决的是合成空间稳定性和离散接地问题，带来大幅 PESQ 提升；声学丢弃解决的是解码器偏爱连续通路的问题，带来码本使用率和指标的小幅一致提升。限制是这些数字只在论文的训练数据和冻结策略下成立，换用其他教师层、码本维度和帧率时，相对增益需要重新测量，不能把 97.31% 当作通用上限。

结论在哪些范围内才成立

论文的结论有明确的适用边界。第一，重建优势主要在 LibriSpeech test-other 的客观指标和 8 条语句、20 人的 MUSHRA 主观评测上得到验证，噪声条件、说话人分布和语句数量都有限，不能推广到所有音乐或通用音频。第二，与连续表示的比较是接近而不是全面超越，在 ViSQOL 和说话人相似度上 dots.tts 仍有小幅优势，因此半离散的价值在于同时提供显式离散流和可比的连续质量，而不是单指标碾压。

第三，方法仍依赖连续隐变量参与重建，部署时的存储和传输代价要同时计算离散和连续两部分，不能只按每秒 25 个 token 来估算。第四，训练需要约 795,000 小时数据和 32 卡训练资源，第一阶段冻结策略和第二阶段小学习率都与该规模耦合，小数据或单阶段复现可能得不到相同增益。最后，声学丢弃概率、教师层选择和码本维度等超参数的敏感性原文没有完整报告，缺失的不是技术缺陷，而是复现时需要补做的验证。

复现第一步要准备什么

复现的第一步不是直接训离散分支，而是先复现第一阶段的连续合成空间。需要准备 24 kHz 重采样流程、9.6 秒随机裁剪、共享编码器每秒 25 帧的配置，以及 64 维变分瓶颈和逆短时傅里叶变换解码器的实现。损失按波形损失加 KL 损失组织，判别器同时用多周期判别器和多分辨率复数谱判别器，优化器用 AdamW 并区分主模块和判别器的学习率。第一阶段稳定后再冻结波形编码器和连续分支，接入 4096 条目、8 维嵌入的离散分支，用波形损失加 SSL 蒸馏损失加量化器损失训练，并打开声学丢弃。

评测时要用同一套代码在相同测试语句上计算窄带宽带 PESQ、STOI、ViSQOL、SIM 和 WER，主观部分按 MUSHRA 流程组织。关于资源可用性，论文正文只提到试听页面链接，第三方链接可用不代表作者已开源代码或权重，因此代码开源、权重可下载、系统可运行要分开确认，不能混为一谈。容易误解的是冻结连续分支不等于系统输出确定，采样噪声和丢弃掩码仍会带来随机性；没有训练新基线也不等于结果不可比，论文用的是已发布检查点加统一评测协议。

什么时候值得尝试还缺哪项验证

当任务同时需要离散接口和高质量重建时值得尝试，例如想用语言模型做语音生成又不想丢说话人和韵律细节，且能接受额外传输连续隐变量的场景。如果只需要纯离散 token 部署或只能用极小数据训练，分阶段的收益可能覆盖不了复杂度和资源成本。复现时先做第一阶段的保真度检查，确认连续合成空间已稳定，再接入离散分支观察码本使用率和宽带 PESQ 是否同步提升。

还需要补的验证包括声学丢弃概率的扫描、教师不同层和不同码本配置的对比、以及在更多噪声和说话人条件下的说话人相似度和主观听感。总体看，论文提供了一条在统一编码器下让离散与连续同步互补的实用路径，但它的证据支持的是特定数据规模和评测条件下的接口质量折中，超出该范围的推论仍待验证。

📎 论文与评分元数据

排名：前50% | 文档类型：方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递