先理解再预测：把掩码预测拆成两步能否保留离散目标又提升通用音频迁移

英文题目：BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Approach for Self-Supervised Audio Representations

会议身份：conference:interspeech:2026:conference-paper-id:tuncay26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#自监督学习 #向量量化 #预训练 #音频分类

评分：7.5/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Ludovic Tuncay：机构信息未能从会议 PDF 纯文本可靠映射
• Étienne Labbé：机构信息未能从会议 PDF 纯文本可靠映射
• Thomas Pellegrini：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

通用音频表征需以冻结编码器同时服务语音、音乐与环境声的线性探测和大模型前端，而掩码预测常把上下文建模与掩码重建耦合在同一编码器中导致域间迁移失衡。该方法先将对数梅尔谱图切分为 \(16\times 16\) 无重叠块并随机掩码，再用上下文编码器仅对未掩码块建模上下文，接着由轻量预测器结合掩码位置重建被掩码位置的离散目标，训练仅对掩码位置计算交叉熵。离散目标由冻结随机投影量化器生成并保持不变，上下文编码器输出进入预测器后经线性分类得到码本逻辑，职责分离使编码器专注通用上下文。与原 BEST-RQ 将掩码块保留在编码器输入端的做法不同，新流程在编码阶段丢弃掩码块并延迟重引入，从而解耦表征与预测职责。在XARES-LLM基准下，BEST-RQ-2的MoM得分为.41，高于BEST-RQ (ViT)的MoM得分.33。该结论限于 AudioSet 同切分小预算对照与冻结编码器评测，未验证大规模数据、微调及流式部署下的外推性。推理时丢弃预测器使推理开销与单阶段 ViT 基线相同，训练预算约为单张 H100 约 17 小时至 18 小时。

🔗 开源与复现资源

• 代码相关资源：https://github.com/LudovicTuncay/audio-embeddings — 链接可访问（HTTP 200）
• 模型相关资源：https://huggingface.co/ltuncay/BEST-RQ-2 — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要学出什么样的表示？

这篇论文研究的是通用音频自监督表示，输入是包含语音、音乐和环境声的音频，目标是学出一个冻结后能直接迁移的编码器。所谓冻结后迁移，是指预训练结束后不再更新编码器参数，只在其输出的表示上做线性探测或送入大音频语言模型做前端。读者需要先建立这个学习依赖：预训练只看无标注音频，评测才看下游标签。对刚入门的研究生来说，关键动作是区分预训练目标与评测目标。预训练目标是猜被遮住的离散类别，评测目标是分类、理解等真实任务。

论文用两个互补基准来检验这种跨域迁移。第一个是 X-ARES，它在语音、环境声、音乐三大域上用线性探测和近邻分类检验表示本身。第二个是 XARES-LLM，它把冻结编码器作为大音频语言模型的前端，检验表示对语言模型训练是否有用。两个基准数据集套件和流程不同，论文明确要求在各自基准内比较，不跨基准直接比数值。论文的默认输入处理是把音频重采样到 16 千赫单声道，再算 128 通道对数梅尔声谱。

对于 10 秒片段，分析窗 128 毫秒、跳长 39.0625 毫秒，得到 128 频带乘 256 帧的谱图。这个谱图是后文一切切分、掩码和量化的起点。论文要解决的矛盾是：BEST-RQ 用冻结随机投影做离散目标很稳定，但原版基于 Conformer、偏向语音；若想兼顾音乐和环境声，需要换架构并重新设计掩码预测流程，同时不能增加推理开销。

已有路线如何做掩码预测与离散目标？

在进入方法前，需要把 3 条相关路线放在相同的输入、目标、监督和运行阶段下对照。第一条是 BEST-RQ 路线。它对每个语音帧或声谱单元做 1 次随机投影，再用固定码本找最近邻得到离散下标，训练时最小化掩码位置上的交叉熵。它的特点是投影矩阵和码本只采样 1 次、训练全程冻结，因此不需要学习码本，也就没有码本坍缩问题。原文沿用了已发表配方和开放实现，编码器是 Conformer，包含在稠密时间轴上定义局部感受野的卷积模块。

为了保持卷积邻域有定义，掩码区域要以随机噪声形式保留在原位置输入给编码器，而不是删掉。第二条是掩码自编码器与音频频谱 Transformer 路线。它们把声谱切成补块，用可学习的掩码记号占据被遮住位置，或删掉后在解码器处补回。论文提到的方法包括掩码听觉编码器、音频频谱 Transformer 掩码自编码、BEATs 和 data2vec 的上下文目标表示等，它们的共同点是用 Transformer 处理补块，位置信息由位置嵌入提供，因此可以处理任意子集的补块。第 3 条是联合嵌入预测架构路线。

它的思想是把掩码预测分解为上下文编码器和预测器两步，编码器只看可见部分，预测器负责推断被遮住部分，代表工作包括图像、音频和音乐主干上的系列研究。BEST-RQ-2 正是在保留第一条路线的冻结离散目标的前提下，借用第 3 条路线的两步分解，并采用第二条路线的补块与 Transformer 实现。论文还设置了一个关键对照 BEST-RQ 的 ViT 版，它只把 Conformer 换成 ViT，但仍保留原位掩码、单阶段预测，用来分离架构效应与分解效应。

为什么 Conformer 不能直接删块做两步分解？

论文提出的核心障碍是一个架构约束问题。原文 Conformer 编码器依赖卷积模块，卷积要求输入在稠密时间轴上连续排列，局部邻域必须有定义。如果把掩码补块直接从编码器输入中删掉，稠密布局被破坏，卷积的有效邻域随之改变，局部模式的顺序也无法在前向中保持。因此，在 BEST-RQ 原接口下，掩码区域必须保留在原位置，编码器同时看到可见内容和占位噪声，上下文理解与掩码猜测耦合在同一个前向里。ViT 编码器的情况不同。

它的自注意力不依赖稠密卷积邻域，而是靠位置嵌入告知每个补块在 2 维时频网格中的位置。于是编码器可以只处理未掩码子集，被删掉的掩码块稍后在预测器中用其位置索引和可学习掩码嵌入重新引入。这就是论文转向 ViT 主干的安排理由：不是为了单纯追求更大模型，而是为了让删块式两步分解在结构上可行。沿一个样本走一遍就能看清依赖：10 秒音频先变成 128 乘 256 谱图，再切成 128 个 16 乘 16 补块；若用 Conformer，128 个位置都要进编码器。

若用 BEST-RQ-2，只有未掩码的约一半补块进编码器，掩码位置的监督下标则由另一条冻结分支离线算出。教学上可以举一个例子帮助理解：比如把谱图想象成一页方格纸，随机挖掉约一半方格，编码器只读剩下格子的纹理并写出摘要，预测器再拿着摘要和空位坐标去猜每个空位原来属于 8192 类中的哪一类。这个例子只是帮助建立直觉，原文并未给出该例的具体数值或效果。

BEST-RQ-2 如何走完从声谱到交叉熵？

BEST-RQ-2 的预训练流程可以沿一条样本完整走通。输入是 10 秒音频对应的对数梅尔谱，形状为 128 频带乘 256 帧。第一步是补块化，按 16 乘 16 不重叠划分，频率方向 8 块、时间方向 16 块，共 128 个记号，每个补块展平为 256 维向量再经可学习线性投影映射为 768 维嵌入，并加上 2 维正余弦位置嵌入。第二步是掩码，按均匀无放回在 2 维补块网格上采样掩码比例，预训练时比例在 0.4 到 0.6 之间均匀采样，掩码数量为该比例乘 128 再取整，未掩码集合记为可见集。第三步分两条分支。

下方主分支是上下文编码器加预测器，上方监督分支是冻结随机投影量化器。编码器是 12 层 ViT，只处理可见补块嵌入，输出上下文表示。预测器是 4 层轻量 ViT，输入包括上下文表示和掩码位置的可学习掩码嵌入加位置嵌入，输出掩码位置的表示再经线性分类器得到 8192 类上的概率。监督分支对每个补块做随机投影并找最近码本向量，得到离散下标。训练只在掩码位置上计算交叉熵。

推理时丢弃预测器和监督分支，只保留编码器。 下面这张图是理解上述分叉与汇合的最直接依据，读图时先看主路径再看监督路径。

看图路径： 1. 先沿下方主路径看音频到对数梅尔谱再到补块切分与掩码的箭头走向；2. 再看编码器只接收未掩码块而预测器同时接收上下文与掩码占位符的分叉；3. 最后看上方经随机投影与随机码本得到离散下标并与预测器输出在交叉熵处汇合的监督路径

论文图 1。原论文 Figure 1：“BEST-RQ-2 pretraining pipeline. A log-mel spectrogram is patchified (partitioned into patches) and masked.”。

该图从像素上可以直接验证 3 个事实。左侧白色方框显示音频先下行到对数梅尔谱，再右行到补块切分，补块示意由整块灰色变为多格小方块。中间红色编码器方框只连接删减后的稀疏补块示意，粉色预测器方框则同时出现上下文块与带数字的掩码块示意，说明掩码块确实在编码器后才被重新引入。上方蓝色投影与量化方框带有雪花标记表示冻结，紫色比较方框标注交叉熵并同时接收来自量化分支和预测器分支的箭头，说明监督只在掩码位置比较。

火焰标记出现在编码器与预测器上，表示这两部分在训练中更新，而蓝色分支冻结。这种红粉可训练与蓝色冻结的颜色区分，与正文冻结与更新的说明一致。

补块、掩码与冻结目标各负责什么？

补块切分的具体计算是把谱图按频率每 16 行、时间每 16 帧切开。128 除以 16 得 8，256 除以 16 得 16，相乘得 128 个记号。每个记号原始维度是 16 乘 16 等于 256，经线性层升到 768 维。位置嵌入采用 2 维正余弦形式，让模型知道每个补块来自哪个频率段和时间段。掩码的具体操作是在 128 个位置上均匀无放回抽取，比例每次随机在 0.4 到 0.6 之间取值，例如比例为 0.5 时掩码 64 块、保留 64 块。

原文对掩码记号的处理做了明确区分：原版 BEST-RQ 用随机噪声占据掩码区域并保留原位；Transformer 变体包括 ViT 版和 BEST-RQ-2 用可学习掩码记号表示被遮住块；其中 ViT 版仍保留原位输入，BEST-RQ-2 则从编码器输入中移除掩码块，只在预测器中加位置嵌入重新引入。损失只在掩码位置计算，未掩码位置不产生监督。

冻结随机投影量化器 × 离散目标掩码预测： 冻结随机投影量化器的分工是为每个声谱补块提供稳定的离散类别，它随机初始化 1 次后不再更新；离散目标掩码预测的分工是用交叉熵迫使模型从上下文推断被遮住位置的类别。两者搭配的理由是不学码本也能得到可分类的监督信号，避免码本坍缩和额外训练不稳定，组合意义是把表示学习转化为在掩码位置上的 8192 类分类问题。

冻结目标的计算分两步。先用随机投影矩阵把每个补块向量映射到 16 维，矩阵按 Xavier 均匀初始化采样 1 次后冻结；再在固定码本中找欧氏距离最近的码向量，码本含 8192 个 16 维单位超球面上的向量，同样采样 1 次后冻结。最近邻既可写成距离最小，也可写成内积最大，得到的下标在 1 到 8192 之间。训练目标是在掩码位置上最小化预测分布与该下标之间的交叉熵，再对掩码数量取平均。

上下文编码器 × 轻量预测器： 上下文编码器的分工是只处理未掩码补块并输出带上下文的表示，不负责补全被遮挡内容；轻量预测器的分工是在预训练时接收上下文表示和掩码位置的可学习占位符，再输出掩码位置的表示以供分类。搭配理由是把理解可见部分和猜测不可见部分解耦，编码器不必同时拟合两种分布，组合意义是预训练后丢弃预测器，推理只保留编码器从而提升迁移而不增加推理计算。

编码器与预测器的配置需要准确记住。上下文编码器是嵌入维度 768、深度 12、12 头、MLP 比例 4.0、丢路径率 0.1 的 ViT。预测器嵌入与注意力配置相同但深度只有 4 层，因此训练参数多于推理参数。论文明确说明预测器只在预训练使用，预训练后丢弃，推理只用编码器。

补块切分 × 条带切分： 补块切分的分工是把 128 频带乘 256 帧的对数梅尔谱按 16 乘 16 不重叠划分成 128 个时频小块，强调局部时频纹理；条带切分的分工是原文 Conformer 所用的沿时间轴的稠密切分，更好保留细粒度时间线索。搭配比较的理由是区分架构效应与预测机制效应，组合意义是解释为何换成 ViT 后音乐与环境声上升而语音下降，即归纳偏置发生了跨域再分配而非整体质量跃升。

补块与条带的权衡是理解跨域再分配的关键。补块把时间和频率同等切分，利于局部时频纹理；条带保留更细的时间连续性，利于语音的时序线索。论文的讨论明确把 ViT 带来的变化归因于这种记号层面的时频权衡，而把整体提升归因于两步分解。

训练时更新谁、冻结谁、算多少步？

训练的更新与冻结关系必须按证据说明。更新的部分是上下文编码器、预测器、补块线性投影、可学习掩码嵌入、位置嵌入之外的可学习参数以及最终线性分类器。冻结的部分是随机投影矩阵和随机码本，它们在训练开始前采样 1 次，整个 200,000 步优化中保持不变。梯度路径是交叉熵只从掩码位置回传，经预测器再回传到编码器；未掩码位置不直接产生损失，但通过自注意力为掩码预测提供上下文。

监督来源完全来自同一批谱图的冻结分支计算，不依赖人工标签，也不依赖学习到的码本。原文未报告梯度裁剪、掩码记号是否在编码器中参与注意力之外的特殊停止梯度，也未报告除丢弃预测器之外的参数重置时机，这些缺项不能从模型名称推定，应视为未报告。优化器方面，BEST-RQ-2 和 ViT 版用 AdamW，学习率 1 乘 10 的负 4 次方，权重衰减 0.05，前 5% 即 10,000 步线性暖机后余弦衰减，总共 200,000 步，精度为 32 位浮点。BEST-RQ 沿用开放实现的优化器、调度和 16 位浮点配置训练同样步数。

数据方面三者用同一 AudioSet 划分，论文称经相同预处理和过滤去除静音或损坏片段后，训练集约 1,900,000 个 10 秒片段，覆盖语音、音乐和环境声。论文明确说明用数据集划分和优化步数对齐，但因各实现推荐批大小不同，未严格对齐处理的样本总数。所有运行都在单块英伟达 H100 上完成，BEST-RQ 变体与重训的 Audio-JEPA 均控制在约 17 到 18 小时的同量级预算内。

用什么数据、什么协议、什么指标来比？

预训练数据是 AudioSet 同一划分，约 190 万 10 秒片段，约 5300 小时。评测数据与协议分两套。X-ARES 覆盖语音、环境声、音乐三大域，官方流程包括线性探测和非参数近邻两套协议。论文称因官方发布中一个数据集存在问题，实际报告 21 个数据集。XARES-LLM 覆盖 20 个数据集、两条赛道，把冻结编码器作为大音频语言模型前端，在语言模型训练后测分类与理解性能。

论文提醒该基准下与文本条件任务对齐的目标可能占优，例如自动语音识别或翻译预训练的表示，以及 Whisper 这类带文本对齐监督的模型。所有编码器评测时冻结，取最后一个编码器块输出的记号嵌入序列，各模型按各自原生切分输出补块或条带表示，不在基准额外池化之外再做统一池化。指标方向都是越高越好。聚合方式同时报告域平均和全部数据集平均，但主要使用三域平均的平均，即先在每个域内平均，再对三域无加权平均，以平等对待三域。

线性探测 × 作为大音频语言模型前端： 线性探测的分工是冻结编码器后只训练浅层分类头，直接度量表示本身的可分性；作为大音频语言模型前端的分工是把冻结编码器输出的序列送入语言模型训练流程，度量表示对语言模型下游任务的有用性。搭配理由是两种协议考察互补的使用方式，前者看通用表示质量，后者看与文本条件任务的配合，组合意义是只有在两套基准下都一致提升，才能说改进来自表示本身而非某一种评测头的偏好。

域内平均 × 三域平均的平均： 域内平均的分工是先在语音、环境声、音乐各自包含的多个数据集上求平均，得到每个域的代表分；三域平均的平均的分工是再对 3 个域分数做无加权平均。搭配理由是各域数据集数量不等，若直接对全部数据集求平均则数据集多的域会主导总分，组合意义是用三域平均的平均保证语音、环境声、音乐被平等对待，更公平地反映通用音频迁移。

公平条件方面，论文把 BEST-RQ 变体和 Audio-JEPA 都按受控协议重训：同一 AudioSet 划分、相同预处理、同样 200,000 步、同量级训练预算，其他超参数沿用各自开放实现。其他基线如 data2vec、wav2vec2.0、Whisper、Dasheng 则用官方评测流程重新评测以保证可比，但它们的预训练数据和规模并不受控，例如 Dasheng 用了约 272,400 小时，远大于本研究的约 5300 小时，因此不能把与 Dasheng 的差距直接解读为方法优劣。论文还说明推理代价用 10 秒输入的前向计算量和单卡实测速度衡量，BEST-RQ 用 16 位浮点而 ViT 模型用 32 位浮点，这一精度差异是解释吞吐对比的前提。

两步分解带来多大提升，代价在哪里？

在讨论具体数字前，先明确比较问题与公平条件。比较问题是：在同一数据划分、同样 200,000 步、同量级算力下，两步分解是否在保持推理代价不变的同时提升总体迁移。公平条件是 BEST-RQ、ViT 版、 BEST-RQ-2 均在同一 AudioSet 划分上预训练，评测时编码器冻结、流程一致。指标方向越高越好，主要看三域平均的平均，全部数据集平均作为补充。

上表说明部署代价的关键结论。

BEST-RQ-2 训练参数因 4 层预测器增至 120M，但推理丢弃预测器后与 ViT 版同为 85M，推理计算量同为 22.5 GFLOPs，相对速度同为 1.0x。原版 BEST-RQ 推理计算量为 46.5 GFLOPs，约为 ViT 版的 2 倍，但因使用 16 位浮点在 H100 上有近 2 倍吞吐优势，实测相对速度为 0.97x，与 32 位浮点的 ViT 模型基本相当。这意味着两步分解的额外参数只出现在训练期，推理期没有新增开销，这是论文反复强调的不变推理代价的实证依据。

上表是 X-ARES 线性探测的精简结果，支持论文的两个判断。

第一，从 BEST-RQ 到 ViT 版，语音从 0.59 降到 0.47，环境声从 0.28 升到 0.33，音乐从 0.41 升到 0.53，三域平均的平均从 0.43 微升到 0.44，全部平均从 0.45 降到 0.43，总体基本持平但跨域再分配明显。第二，从 ViT 版到 BEST-RQ-2，语音从 0.47 回升到 0.51，环境声从 0.33 升到 0.41，音乐从 0.53 升到 0.58，三域平均的平均从 0.44 升到 0.50，全部平均从 0.43 升到 0.49，三域一致提升。论文因此报告主要增益来自两步分解而非切分变化。在更广基线中，Whisper 语音 0.73 和全部平均 0.53 最强，论文解释为其语音重度训练与 X-ARES 偏语音构成相符，属于预期现象，不构成对自监督方法的否定。

未胜出项必须指出：BEST-RQ-2 语音 0.51 仍低于原版 BEST-RQ 的 0.59，这是补块切分的残留代价，也是后文局限的起点。

近邻几何与语言模型前端是否一致变好？

除线性探测外，论文还用近邻分类检验表示几何，以及用语言模型前端检验另一使用场景。比较问题是：两步分解的提升是否超出线性头的拟合能力，并在语言模型流程下依然成立。公平条件与上一节相同，指标越高越好。

表后解释需要分两层。

近邻结果显示 BEST-RQ-2 在三域和总体上均优于 BEST-RQ 与 ViT 版，语音 0.32、环境声 0.32、音乐 0.49，三域平均的平均 0.38，全部平均 0.35，说明邻域结构本身变好，而不仅是线性头学得更好。论文同时报告 Audio-JEPA 在该协议下非语音最强，总体 0.37 高于 BEST-RQ-2 的 0.35，因此 BEST-RQ-2 并未在近邻总体上全面领先，这是必须保留的反例。语言模型前端结果显示 ViT 版相对原版总体下降，三域平均的平均从 0.35 降到 0.33，全部平均从 0.33 降到 0.30，属于切分变化而非全局增益；而 BEST-RQ-2 回升到 0.41 和 0.38，环境声从 0.22 升到 0.33，音乐从 0.49 升到 0.59，语音 0.33 与原版 0.35 基本相当。

这与线性探测的模式一致，支持分解而非切分是主要增益来源的判断。在该基准下 Whisper 总体 0.54 最强，Dasheng 总体 0.49 次强，但 Dasheng 训练规模大两个数量级，论文明确提醒不能做同条件胜负解读。总体趋势不等于每组都成立，语音在部分协议下仍未超过原版，这是适用边界。

如何证明增益来自两步而非 ViT 本身？

论文的消融逻辑是设置单阶段 ViT 版作为中间对照，形成三点链条。起点是原版 BEST-RQ，Conformer 加原位掩码加单阶段预测。中间点是 BEST-RQ 的 ViT 版，换成 ViT、补块、掩码记号，但仍是单阶段、原位掩码。终点是 BEST-RQ-2，在中间点的切分、掩码记号和冻结目标完全相同的基础上，唯一增加编码器与预测器的两步分解。操作上，三者在同一 AudioSet 划分、同样 200,000 步、同量级预算下训练，评测冻结且流程一致，因此中间点到终点的差值可以归因于分解。

结果上，起点到中间点总体持平但域间再分配，中间点到终点在 X-ARES 线性、近邻和 XARES-LLM 3 套结果上总体一致上升，且推理代价与中间点完全相同。论文因此用支持的语气说主要增益来自的分解决非切分变化。需要指出未验证的推测边界：论文把 ViT 的域间变化解释为补块强调局部时频纹理、条带更好保留语音时间线索，这属于有限解释而非因果证明，因为没有进一步控制感受野、步长或频率分辨率的对照。

另一个未评测边界是掩码比例固定在 0.4 到 0.6 均匀采样，没有报告更高或更低掩码率、不同码本大小或投影维度下的敏感性，因此不能把 0.4 到 0.6 之外的行为外推。论文也未承诺误判率、延迟或训练成本之外的其他成本得到改善，推理速度的相当性建立在 16 位与 32 位精度差异之上，换硬件或换精度后结论可能变化。

还有哪些没做好与不能说的？

论文明确承认的局限是语音上的残留差距。即使经过两步分解，补块式 BEST-RQ-2 在 X-ARES 线性探测语音 0.51 仍低于条带式原版 0.59，在语言模型前端语音 0.33 也略低于原版 0.35。这说明两步分解缩小但未消除切分带来的权衡。未来工作指向探索替代切分或学习型语音表示，以在保留环境声与音乐增益的同时补回语音。方法层面的缺项包括：未报告不同随机种子下的方差与统计显著性，未报告掩码比例、码本 8192 和投影维度 16 之外的超参数扫描，未测量除交叉熵之外的误判类型。

评测层面的边界包括：X-ARES 实际报告 21 个数据集而非完整套件，XARES-LLM 当前为 20 个数据集两条赛道，跨基准数值不可比；与 Whisper、Dasheng 等大规模或弱监督基线的比较不是同预算、同数据、同目标下的胜负，只能作为参考系。资源层面的区分是：训练资源约单卡 17 到 18 小时、推理开销 22.5 GFLOPs、实测相对速度 1.0x 分别讨论，不能把训练参数 120M 误读为推理参数，也不能把总体平均提升误读为每个数据集都提升。

相关性不等于因果，论文观察到的音乐与环境声提升与两步分解相关，并在受控对照下得到支持，但未证明在其他数据分布或更大规模下必然复现相同幅度。

要复现应先准备什么、按什么顺序跑？

复现的第一步是确认可获得的材料。资源状态显示代码与模型当前可用，代码地址为公开仓库，模型检查点为公开集合，论文称两者已公开。初学者应先下载代码与检查点并核对提交版本，再准备 AudioSet 同一划分的约 190 万片段及相同的 16 千赫、128 通道、128 毫秒窗、39.0625 毫秒跳长的预处理，避免因重采样或分帧不同引入偏差。第二步是复现冻结分支。

按 Xavier 均匀初始化采样 16 乘 8192 维度的投影矩阵与 8192 个 16 维码向量各 1 次并冻结，对 128 个补块分别算下标，掩码比例每次在 0.4 到 0.6 均匀采样，只在掩码位置算交叉熵。第三步是搭建模型。上下文编码器按 768 维、12 层、12 头、MLP 比例 4.0、丢路径 0.1、2 维正余弦位置嵌入搭建；预测器同配置但 4 层；ViT 版则用单阶段 ViT 直接输出 8192 类。

优化按 AdamW、学习率 1 乘 10 的负 4 次方、权重衰减 0.05、前 10,000 步暖机后余弦衰减、共 200,000 步执行，ViT 模型用 32 位浮点，原版沿用开放实现的 16 位浮点。第四步是评测。冻结编码器，取最后块输出序列，按 X-ARES 官方流程跑 21 个数据集的线性与近邻，按 XARES-LLM 流程跑 20 个数据集的前端评测，分别算域平均、三域平均的平均和全部平均。复现时先跑推理代价核对：10 秒输入下推理应为 85M 参数、22.5 GFLOPs，若训练参数误计为推理参数或精度搞错，会得到错误的速度结论。

还需补的验证是：至少跑 2 次以上随机种子看波动，补测不同掩码率与码本规模，并记录单卡实际耗时与显存，以确认预算口径一致。

何时值得尝试这种先理解再预测？

综合全部证据，可以给出何时尝试的判断。当任务需要一个冻结后跨语音、音乐、环境声迁移的通用编码器，且推理预算固定、不能因加解码器而变慢时，BEST-RQ-2 的两步设计值得尝试，因为它的额外容量只在训练期出现，推理与单阶段 ViT 版相同。当已有 BEST-RQ 管线且想兼顾音乐与环境声时，应先做 ViT 版对照，确认域间再分配后再引入预测器，否则会把切分效应误当成整体提升。

当下游主要是细粒度语音识别且输入切分可自由选择时，则需谨慎，因为补块在当前证据下仍弱于条带，两步分解只能部分补回。复现的优先级是先对齐数据划分与预处理，再冻结随机分支，最后才调优化与评测。论文特有的误解需要澄清：冻结随机投影不是不学习，而是把学习压力全部放到编码器与预测器上；删块不是丢信息，而是把被遮住位置的建模推迟到预测器；总体平均上升不代表语音也上升，实际语音仍有代价。

回到中心矛盾，论文用受控对照说明切分控制时频权衡、分解提供一致增益，这是在不增加推理代价前提下提升通用迁移的一条可行路径，但语音差距的彻底解决仍待验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总