位深越高越难压：Trilobyte 把样本拆成字节做无损压缩

英文题目：Benchmarking Language Modeling for Lossless Compression of Full-Fidelity Audio

会议身份：conference:interspeech:2026:conference-paper-id:long26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#自回归模型 #Transformer #音乐 #语音 #音频编码

评分：6.2/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Phillip Long：机构信息未能从会议 PDF 纯文本可靠映射
• Zachary Novack：机构信息未能从会议 PDF 纯文本可靠映射
• Chris Donahue：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为全保真脉冲编码调制波形，输出为可精确还原的压缩比特流，难点在于样本级词表随位深指数膨胀，16位需65536类而24位达1677万类，导致嵌入与输出层参数爆炸而不可训练。方法第一步将有符号样本偏移为无符号整数并按高有效位到低有效位拆为字节序列，使词表恒为256，其输出的字节序列直接作为下一步的建模对象。第二步用因果解码器-only变换器建模字节条件概率以捕捉长程与跨通道依赖，其输出的逐位置概率分布进入下一步编码器。第三步将概率送入算术编码器逐符号收窄区间以逼近香农熵极限，训练负对数似然直接对应期望码长。相对FLAC固定几何分布的Rice编码与样本级建模，该机制把词表复杂度从O(2^b)降为O(1)，代价是序列长度变为原来的⌈b/8⌉倍，从而首次实现可处理的24位建模。在24位商业音乐评测设置下，Trilobyte的压缩率为1.48x，低于FLAC的压缩率1.63x。该结论适用边界受限于所测音乐、语音、生物声学和音效语料与约90M参数及44.1kHz重采样条件，向更高采样率、多通道混音与噪声主导母带的外推尚未验证。推理开销方面，原文仅说明基于预训练Llama-2-7B的上下文压缩方法慢到难以处理而只在每数据集随机采样的1024个样本块上评测，Trilobyte自身的硬件与吞吐实测缺失。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要解决什么压缩问题？

这篇解读的输入是会议论文正文证据，目标是让刚进入语音、音乐、音频方向的研究生能复述方法并核对实验条件。必须保留的信息包括任务定义、切分方式、模型规模、数据集与采样率和位深、基线配置、压缩率数字及其适用条件，输出是 1 篇按学习依赖展开的中文技术解读。任务本身是无损压缩全保真音频：输入是 b 比特脉冲编码调制波形，输出是能完全恢复原波形的更短比特流，评价标准是压缩率，即原始大小除以压缩后大小，数值越大文件越小。

论文强调的现实起点是，专业录音和发行至少要求 44.1 千赫兹 16 比特的激光唱片质量，高分辨率甚至用到 24 比特，而此前基于语言模型的工作大多只做到 8 比特 16 千赫兹，音质差到几乎没有分发价值。初学者容易误以为把声音丢给大模型就能压得更小，论文要回答的恰恰是位深升高后词表爆炸、噪声增多时，这种方法是否还划算。

举例来说，一个例子是把 1 秒 44.1 千赫兹单声道看成 44100 个整数，压缩器要利用前后样本的相关性猜下一个整数，猜得越准码长越短，这就是全文反复出现的对数似然与码长的对应关系。

已有路线在同输入同目标下做到哪里？

在同输入、同目标、同无损要求下，传统路线是 FLAC。论文交代 FLAC 先做线性预测再对残差做 Rice 编码，并尝试了左右声道的中侧编码，但块长约 4096 个样本，不足以容纳音乐制作中常见的立体声延迟，所以立体声冗余利用有限。典型激光唱片质量音乐的压缩率约 2 倍，这是后文所有比较的锚点。机器学习路线分两支：一支是近年的有损神经编码器，压缩率可以比 MP3 高一个数量级但不保证逐样本恢复，与本文无损目标不同，不能直接比大小。

另一支是把自回归模型加算术编码用于无损压缩，此前只在 8 比特朗读语音上超过 FLAC，没有验证更高位深。论文还提到生成方向的 WaveNet、SampleRNN 和状态空间模型多在 8 比特 16 至 24 千赫兹上做生成，以及用缪律压缩非线性降低位深、用多尺度字节建模处理长序列的尝试，但这些工作没有在高码率音频上系统测压缩率。

预训练大模型直接做压缩的路线也被纳入比较，即把音频字节流当作乱码文本喂给 Llama-2-7B 做上下文压缩，论文报告它在除 8 比特 SC09 之外的所有数据集和位深上都不如 FLAC 和自训练 Trilobyte，说明没有领域训练的文本先验抓不住音频结构。这一节的对照意义是，后文的胜负只在无损、逐样本恢复、同一数据集原生位深下成立，不能把有损编码器的高压缩比拿来对比。

为什么位深是主要矛盾，而不是采样率？

论文把瓶颈定位到量化位深 b，而不是采样率或数据领域。样本级切分把每个采样点当作一个词，词表大小是 2 的 b 次方，8 比特是 256，16 比特是 65536，24 比特是 16777216。嵌入层和输出层参数随词表线性增长，24 比特仅输出投影矩阵就可能需要约 12B 参数，完全不可训练。相比之下，采样率从 16 千赫兹升到 48 千赫兹主要拉长序列，不改变词表；论文观察到 48 千赫兹的 VCTK 反而比 16 千赫兹的 LibriSpeech 压得更好，说明采样率高低不是决定性因素。

数据领域也有影响，窄分布的独奏钢琴比多说话人多麦克风的数字语音好压，但跨位深的落差更大：8 比特平均提升 217%，16 比特平均只提升 18%，24 比特甚至落后。这就引出中心矛盾：要保留全保真精度，就必须解决词表随位深指数膨胀的问题，否则语言模型压缩连跑都跑不起来。论文因此提出 Trilobyte，用字节拆分把词表压成常数，再系统测量不同位深下的真实差距。

全流程如何从波形走到压缩文件？

全流程可以沿一个样本走一遍。输入是一段时长 T、采样率 fs、声道数 c、位深 b 的有符号整数波形，先把有符号整数整体平移成无符号整数，再做切分。标准路径是一个样本对应一个词，直接送入带因果掩码的解码器 Transformer，输出下一个样本的概率分布。Trilobyte 路径是把每个样本拆成 B 个字节，按最高有效字节到最低有效字节交错排成字节序列，每个字节只在 256 个取值上预测，同样送入 GPT-2 结构的解码器 Transformer。训练目标是最大化所有位置条件概率的连乘，等价于最小化交叉熵。

压缩时逐位置计算概率并驱动算术编码器收窄区间，最终输出区间内任意二进制小数作为压缩文件；解压时用同一模型和算术解码器逐字节恢复。双声道处理上，论文把左右声道整段拼接且随机决定先后，而不是逐样本左右交错，目的是让第二个声道的预测能看到第一个声道的完整上下文，从而捕捉超过 FLAC 小块中侧编码的跨通道冗余，实验发现两种拼接方式压缩率几乎相同 hence 选用更简单的整段拼接。下图把两条路径并置，是理解后文代价与收益的关键。

标准切分与 Trilobyte 在图上差在哪里？

阅读这张对比图之前，先明确要看的是输入保真度、切分粒度、词表规模和输出可行性四件事，上支对应标准样本级切分，下支对应所提字节级切分，右侧汇合到同一个自回归模型和算术编码器。

看图路径： 1. 先从左到右沿音频到切分再到词表最后到模型与编码器的主箭头走一遍；2. 对比上支一个样本对应一个词与下支一个字节对应一个词的方块数量变化；3. 确认右上角指数膨胀与右下角恒定 256 的标注差异；4. 最后看右侧算术编码器到压缩音频比特串的输出形态

论文图 1。原论文 Figure 1：“Tokenization strategies for language model compression.”。

这张图左侧用图标区分了窄低保真与多样高保真输入，中间用灰色样本条和彩色词条表示切分，上支一个灰块对应一个紫块并展开成很长的词表条，下支一个灰块对应红蓝相间的多个小块并展开成按最高有效字节到最低有效字节排列的条带。右侧标注点出了上支指数膨胀导致高位深不可行，下支恒定 256 从而支持全保真建模。像素细节还显示右侧算术编码器用多列彩条和连线表示按概率分配区间，最终汇成底部二进制串表示的压缩音频。

理解这张图后就能抓住代价本质：词表从指数变常数，但序列长度变为原来的⌈b/8⌉倍，16 比特翻倍，24 比特变为 3 倍，上下文窗口能覆盖的音频时长相应缩短。

算术编码如何把概率变成比特数？

算术编码不是对每个符号单独赋码，而是把整个序列编成 0 到 1 区间内的一个小数。初始区间是 0 到 1，每读入一个符号，就按当前条件概率分布把区间切分并选中观测符号对应的子区间，最终区间唯一标识该序列，输出其中任意数的二进制表示即可。与 FLAC 假设残差服从固定几何分布的 Rice 编码不同，算术编码可以使用模型给出的任意分布，因此能利用 Transformer 学到的长距离结构。理论上它逼近香农熵，期望码长等于平均负对数似然。

论文明确写出平均每词对数似然 bθ 等于负的平均以 2 为底的条件概率对数，若原每词是 b 比特，则压缩率就是 b 除以 bθ。实际操作中，论文直接用模型损失估计压缩率而不每次都实现完整编码器，这对复现很重要：只要在相同切分和相同数据划分上算出每字节比特数，就能换算成压缩率，字节级时压缩率等于 8 除以每字节比特数。

自回归语言模型 × 算术编码： 自回归语言模型分工是逐位置估计下一个符号的条件概率 P(xi|x<i)，算术编码分工是把这组概率转成比特流，搭配理由是算术编码的最优码长恰好等于负对数似然，组合意义是训练时降低交叉熵就直接缩短压缩后文件，不需要再设计残差编码器。

初学者常问为什么训练 loss 下降就等于文件变小，答案就在这座桥里：loss 是期望码长的估计，概率估计越准区间收窄越快，输出小数需要的位数越少。

Trilobyte 具体如何拆字节、排顺序？

Trilobyte 的核心动作是分层字节切分。设位深为 b，字节数 B 等于 b 除以 8 向上取整，8 比特对应 1 字节，16 比特对应 2 字节，24 比特对应 3 字节。每个字节位置都只预测 256 种取值，不设按位置划分的独立子词表，词表规模恒为 256。模型通过自回归上下文中的位置隐式区分当前在预测最高有效字节、中间字节还是最低有效字节，论文还试过按字节位置显式划分词表的线性扩展版本，结果增益不足 0.003 倍，说明常数词表已经够用。

排序上采用每个样本内部按最高有效字节在前、最低有效字节在后的交错方式，样本之间保持时间顺序，声道之间采用整段拼接。8 比特时每个样本本来就是 1 字节，Trilobyte 退化为标准样本级切分，这是后文 8 比特两条曲线重合的原因。

样本级切分 × Trilobyte 字节级切分： 样本级切分分工是一个采样点对应一个词，词表随位深指数膨胀，Trilobyte 字节级切分分工是把一个 b 比特样本拆成 B=⌈b/8⌉个字节、每个字节只用 256 个取值，搭配理由是保持自回归顺序不变而把词表压成常数，组合意义是用序列变长换来 24 比特可训练，8 比特时二者退化为同一形式。

最高有效字节 × 最低有效字节： 最高有效字节分工是携带样本的大幅度结构信息、相对可预测，最低有效字节分工是携带细粒度量化细节、在 24 比特时接近噪声而难预测，搭配理由是按 MSB 到 LSB 交错排列让模型先看高位再预测低位，组合意义是模型可以在同一 256 词表下隐式学出不同字节位置的不同分布。

这两座桥合起来解释了为什么拆字节可行：第一座桥说明用长度换词表，第二座桥说明高位与低位统计特性不同但可用同一模型按顺序分别建模，低位噪声多正是 24 比特难压的伏笔。

模型如何训练，哪些细节未报告？

训练对象是从零开始在音频上训练的解码器 Transformer，不是微调文本大模型。论文给出固定训练 300K 步，样本级切分在 8 比特约 90M 参数、16 比特约 140M 参数，Trilobyte 为 90M 参数，上下文窗口受 Transformer 最大序列长度限制，例如 2048 至 8192 个词，对应 44.1 千赫兹下约 50 至 200 毫秒，长音频需滑窗或分块处理。优化目标是最大化条件似然连乘，即最小化交叉熵，监督来源是波形本身的下一个样本或下 1 字节，无外部标注。

交叉熵损失 × 压缩率： 交叉熵损失分工是在训练集上度量模型对真实下 1 字节的平均负对数似然，压缩率分工是原始每符号比特数除以实际每符号比特数，搭配理由是算术编码理论把二者直接连起来，组合意义是论文可以直接用验证损失估计压缩率而不必每次都跑完整编码器。

需要指出的缺项是，原文未报告优化器类型、学习率、批量大小、 warmup 与衰减策略、梯度裁剪、权重衰减以及是否冻结任何层，也未说明验证集划分与早停规则，因此不能从模型名称推定具体实现。迁移实验部分训练了一个覆盖全数据的 24 比特 Trilobyte 通用模型，训练时以 0.1 概率随机丢弃低有效字节并用一个学到的空字符掩码代替，推理时对低位深音频用同样空字符交错填充，从而实现任意位深无损压缩。复现时应先固定切分、声道拼接顺序和损失换算口径，再补齐上述超参数的搜索记录，否则压缩率数字无法对齐。

在哪些数据、基线和协议下比较？

评估覆盖音乐、语音、生物声学和音效多个领域。音乐包括 MusDB18 的多轨混音与分轨及其立体声单声道组合、Beethoven 钢琴奏鸣曲、YouTube Mix 钢琴音乐，以及商业音乐 16 比特 1569 首 120 小时和 24 比特 933 首 70 小时，其中 24 比特原始最高达 192 千赫兹但统一重采样到 44.1 千赫兹以保持一致。语音包括 LibriSpeech 干净朗读、LJSpeech 单说话人有声书、SC09 spoken digit、VCTK 多说话人，生物声学为 Birdvox 鸟鸣，音效为 Epidemic Sound。按原生位深评估：8 比特为 Beethoven、YouTube Mix、SC09 均为 16 千赫兹；16 比特为 LibriSpeech 16 千赫兹、LJSpeech 22.05 千赫兹、Birdvox 24 千赫兹、MusDB18 44.1 千赫兹、VCTK 与 Epidemic Sound 48 千赫兹、商业 16 比特 44.1 千赫兹。

24 比特为商业 24 比特 44.1 千赫兹。基线包括 FLAC 压缩等级 8 最大档、样本级 Transformer、Trilobyte Transformer，以及用预训练 Llama-2-7B 把字节流当乱码文本做上下文压缩的方法，后者因速度极慢只在每数据集随机抽 1000 个 1024 样本块上报告。所有自训练模型固定 300K 步。指标是压缩率，方向是越大越好，文中百分比指相对增益，例如 2 倍到 3 倍记为 50% 提升即文件小 50%，百分点与相对百分比不可混淆。

主结果：位深升高后优势还剩多少？

要回答的核心比较问题是，在同一数据集原生位深下，自训练语言模型相对最强传统基线 FLAC 能否稳定更小，且条件是否公平，指标方向是压缩率越大越好。下表把原文正句中直接报告的相对增益与代表性绝对压缩率整理成可核对的形式，覆盖 8 比特、16 比特和 24 比特 3 个 regime。

表后需要解释主要收益与具体代价和反例。8 比特时标准切分与 Trilobyte 等价且大幅超过 FLAC，但领域差异极大，窄分布独奏钢琴远好于多说话人多麦克风语音。

16 比特时提升稳定但温和，VCTK、MusDB18 单声道、LibriSpeech 分别只提升 15%、31%、21%，Epidemic Sound 达 3.40 倍提升 29%，且 16 比特下 FLAC 压缩率与 Trilobyte 压缩率跨数据集相关系数达 0.92，说明难压的数据对双方都难。24 比特时 Trilobyte 为 1.48 倍，落后 FLAC 的 1.63 倍约 9%，样本级因需 16,770,000 词表而完全不可行。未胜出项必须点名：24 比特商业音乐、16 比特商业音乐上样本级仅 1.64 倍而 Trilobyte 1.86 倍仍只小幅领先，以及除 8 比特 SC09 外上下文 Llama 全面落后，都说明文本先验不能替代领域训练。

FLAC × 语言模型压缩器： FLAC 分工是用分块线性预测加 Rice 编码残差、假设残差服从固定几何分布，语言模型压缩器分工是用 Transformer 捕捉任意长距离依赖并给出任意分布，搭配比较的理由是二者输入同一 PCM、输出同一无损比特流，组合意义是能看出学习到的长上下文是否超过了局部线性预测，论文结论是优势随位深增大而收窄。

切分与通用模型的对照说明了什么？

这一节按两个特有对照组织：样本级与 Trilobyte 在 16 比特的直接对照，以及单通用模型覆盖多位深的能力。先看切分对照的公平条件：同一数据、同一训练步数、相近参数量，样本级 16 比特 140M、Trilobyte 90M，指标仍是压缩率。结果是二者在 VCTK、Birdvox、MusDB18 单声道上接近，但在音乐上 Trilobyte 普遍更好，Epidemic Sound 差距最明显。代价是 Trilobyte 序列长度翻倍或 3 倍，同样窗口覆盖的音频时长更短，计算量随长度增长。

再看通用模型：先在商业 24 比特与 MusDB18 立体声 16 比特上加掩码训练，单模型在商业音乐上达 24 比特 1.49 倍、16 比特 1.78 倍、8 比特 3.4 倍，在 MusDB18 立体声上达 16 比特 2.07 倍、8 比特 3.8 倍；进而在全数据上训练的 Transfer 模型在各数据集上与专用模型接近，有时略差有时略好，证明无需放大模型也能做通用压缩器。下表整理词表与参数代价，说明为什么 24 比特只有字节路线可选。

表后解释是，词表从指数变常数是以序列变长为代价换来的，24 比特输出投影的约 12B 参数是硬门槛，字节路线是唯一可行选择。反例是显式按字节位置划分词表的线性扩展版本增益不足 0.003 倍，说明不必为此增加复杂度。

未评测边界是更长上下文或更大模型能否缩小 24 比特差距，原文没有给出 scaling 曲线，不能外推。

哪些结论有限，哪些成本未被优化？

论文直接报告的是压缩率数字，支持的判断是位深是主要瓶颈、采样率与领域影响次之、FLAC 在全保真下接近熵界。24 比特低有效位含大量感知不到的噪声，需要高达 144 分贝动态范围的工具链才能保留，FLAC 的 Rice 编码对此类噪声可能已接近最优，这属于有限解释，用可能来表述，不宜当作因果定论。未验证的推测是更大模型或更长上下文一定能反超，原文没有证据。

成本方面，论文明确承认自回归方法比 FLAC 慢数量级，温和的压缩收益难以抵消实际部署成本，也未测量延迟、吞吐、误码恢复或流式内存占用，因此不能承诺这些量得到改善。总体趋势不等于每组都成立：16 比特平均提升 18% 不代表商业 16 比特立体声同样提升，24 比特落后 9% 也不代表所有 24 比特素材都落后。相关性不等于因果，FLAC 与 Trilobyte 跨数据集 0.92 相关只说明难易一致，不说明二者机制相同。

复现时还需注意商业音乐数据的可获得性与重采样细节，以及上下文 Llama 只测 1024 样本小块，与全曲压缩口径不同，不可直接对比绝对值。

复现先做什么，需要保留什么条件？

复现应先做最小闭环：取 LibriSpeech 16 比特 16 千赫兹或 SC09 8 比特 16 千赫兹单声道，按有符号转无符号、Trilobyte 字节交错、整段声道拼接实现切分，用小型解码器 Transformer 训练固定步数并记录每字节比特数，再按 8 除以每字节比特数换算压缩率，与 FLAC 等级 8 在同一原始文件上对比。关键超参数与信息条件包括位深与采样率原生口径、商业数据重采样到 44.1 千赫兹、训练 300K 步、模型规模 90M 与 140M 的对应关系、上下文窗口 2048 至 8192、掩码概率 0.1、通用模型的空字符填充规则，缺失的优化器与学习率需自行搜索并记录。

资源状态方面，本次收到的证据中没有绑定且完成 HTTPS 验证的代码、模型或数据资源，不得声称代码、模型或数据已公开，相关链接应写本次未能确认可达。建议先跑通 8 比特，此时 Trilobyte 与样本级应一致，再做 16 比特，最后再尝试 24 比特 3 字节序列，注意序列长度变为 3 倍时的显存与分块策略。评估时保留 FLAC、样本级、Trilobyte 三列，上下文大模型仅作小块抽查，避免口径不一致。

何时值得尝试，还需补哪项验证？

当研究目标是探索全保真无损压缩的信息论下界、比较不同位深的可压缩性，或需要一个跨位深通用压缩器做离线归档实验时，Trilobyte 值得尝试；当目标是实际部署替代 FLAC 时，目前 16 比特约 18% 平均增益与数量级更慢的速度通常不划算，24 比特甚至落后，应优先用 FLAC。常见误解是采样率越高越难压，论文证据恰好相反，位深才是主矛盾；另一个误解是文本大模型可直接压音频，证据显示除 8 比特 SC09 外全面落后，必须在音频上从零训练。

还需补的验证包括更大模型与更长上下文在 24 比特上的 scaling、完整算术编解码器的端到端文件大小对齐、推理延迟与内存的实测，以及在更多 24 比特音乐与环境声上的外推。回到中心判断：Trilobyte 把词表从指数压成常数，首次让 24 比特语言模型压缩可运行，但全保真下的收益已从 8 比特的数倍收窄到 16 比特的温和领先与 24 比特的落后，这组数字本身就是未来工作的起点。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总