📄 用类别偏置给长尾数据留出专家容量：COAX 解读
英文题目：Overcoming Data Imbalances with Expert Selection Biases
标签：#语音识别 | #混合专家模型 | #多语言 | #低资源
评分：5.8/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.3/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Ayush K. Tarun：机构信息未在 arXiv HTML 中可靠披露
- Clara Meister：机构信息未在 arXiv HTML 中可靠披露
- Antoine Bosselut：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
混合专家模型在数据类别不均衡时易把少数类别挤入过小专家子集，造成容量不足和类别间干扰，低资源语言与少数模态的损失因此偏高。COAX先为每个输入类别指定偏好专家子集，开发者把少数类别的偏好专家份额设得高于其token占比，而每个token激活的专家数不变，划分好的子集决定后续偏置的作用范围。预训练选专家时，该类别token对应子集内专家的路由分数被加上固定偏置α，偏置后分数用于选出前K个专家，选出的专家名单再进入加权阶段用无偏原始分数对专家输出加权求和。推理时可去掉该偏置恢复标准路由，从而保留软类别对齐与跨类别共享。与固定分组硬划分和散度正则方法不同，COAX控制子集大小而非强制隔离，因此仍允许跨类别共用专家。在10.6B-A1.2B八语言混合与相同种子无偏基线对照下，以验证损失相对变化Δ%为指标且负值表示变好，COAX七个少数语言均值-0.286%，低于硬路由的+0.047%和EDL的+1.016%，其中斯瓦希里语以验证损失相对变化-0.486%为三者中最低。在该八语言粗粒度分组下，以每步迭代时间为指标COAX开销为+1.3%，而以追平验证损失所需的额外训练token为指标，无偏基线平均需多用+2.7%训练token才能追平COAX；方法限于预训练类别标签已知的混合训练，未验证推理须保留偏置的领域外泛化。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决的输入不平衡是什么
这篇论文研究混合专家语言模型在预训练数据不平衡时的容量分配问题。输入是来自多个类别的词元混合流，类别可以是语言、模态或领域，例如英语与斯瓦希里语、文本与图像音频、通用英语与代码数学法律医学。目标是在固定每个词元激活专家数的前提下，让模型在留出验证集上的损失更低，特别是让只占很小词元比例的低资源类别学得更好，同时不明显损害高资源类别。必须保留的信息是每个词元在训练时的类别标签，因为偏置要按类别施加。
输出是训练好的标准混合专家权重，推理时不再需要类别标签。论文的动机是，标准训练下类别对齐的专家分化并不可靠，少数类别可能挤在极少数专家上而耗尽容量，或者被低效摊开，导致有效容量不足。作者因此把问题框定为如何在不增加每词元计算量的情况下，为长尾类别显式留出更多专家容量，同时保留跨类别共享的可能性。
已有路线为什么没有直接回答长尾收益
论文把相关工作分成 3 条线来对比。第一条是路由与负载均衡，稀疏混合专家需要防止专家闲置和路由坍缩，近期有用随负载动态调整每个专家偏置的方法，COAX 借用了这种在选专家前加偏置的形式，但把偏置依据从专家利用率改成输入类别。
第二条是类别对齐的专家分化，包括给领域分配专用专家的做法、按语言分层的路由做法，以及用辅助目标拉开不同领域路由分布的做法，论文指出这些工作证明类别信息可以塑造分化，但没有证明这种分化能在数据稀缺类别上带来性能收益。第 3 条是低资源与长尾混合专家，有通过推理干预或对齐目标增加高低资源语言共享的做法，也有在视觉稀有词元上增加激活专家数的做法。
COAX 的区别是保持每词元激活数不变，只改变每个类别被优先鼓励指向的专家子集大小，从而让低资源类别的首选专家比例可以高于其数据比例。比较时要注意输入目标和运行阶段是否相同，例如硬路由在推理仍需保留约束，而 COAX 默认推理去掉偏置，两者的可部署条件并不一致。
数据占比小为什么会变成专家容量不足
可以举一个论文中的情形来理解，但例子本身不代表新的测量。假设某种语言只占训练词元的 1% 左右，如果路由完全按数据驱动学习，高资源语言的大量词元会主导路由和专家的梯度更新，低资源语言的词元即使有独特需求，也难以稳定占据足够多的专家参数。论文引用的现象是，少数模态的词元可能坍缩到单个专家并使其饱和，低资源语言的路由也呈现集中化。
更关键的是，低资源类别与高资源类别一起训练，有时会比只在该类别上训练更差，说明不同类别之间存在对容量的竞争和干扰。COAX 要回答的具体问题是，仅靠与类别对齐的专家选择偏置，能否改善低资源类别，而不需要改变数据配比或增加每词元激活数。论文用验证损失的相对变化来度量，负值表示比同种子无偏置基线更好，并用置信区间和多种子平均判断稳定性。
COAX 的整体流程是怎样的
COAX 的全称是面向类别的专家分配方法，做法非常集中。训练时每个词元都知道自己的类别，模型为每个类别指定一个路由专家子集。在每一层混合专家中，路由器先算出原始路由分数，然后对属于该词元类别指定子集的专家统一加上一个正常数偏置，再按加偏后的分数选出得分最高的 K 个专家。选中之后，专家输出的加权系数仍用未加偏置的原始分数归一化得到，共享专家不受影响。
推理时可以直接去掉偏置，回到标准的取前 K 路由，既不需要类别标签，也不需要改推理栈。下面的示意图展示了从词元经过注意力、路由器、按类别加偏置选专家到组合输出的主路径，同一机制在所有混合专家层都应用。 读图说明：这张方法图值得细看，因为它把训练期干预和推理期简化放在同一张流程里，先看主路径再看偏置标注有助于理解软牵引的位置。
看图路径： 1. 先沿左侧词元经注意力到路由器的主路径看输入流向；2. 再看路由器到不同专家连线上按类别加偏置的标注；3. 最后看组合模块如何把多专家输出汇成一个输出
论文图 1。原论文 Figure 1:：“Given an input category, COAX adds a category-conditioned bias \alpha to the routing scores of a designated subset of experts before top-k selection.”。
从图中可以看到，视觉、音频、特定语言和特定领域等不同类别被引向不同的专家编号，但所有专家在原理上仍对所有词元开放。当学习到的路由分数足够偏向子集之外的专家时，偏置会被越过，因此它是一种软牵引而非硬划分。论文默认各类别的子集互不重叠，偏置强度在类别间共享，实验默认值为 0.03。
软路由先验 × 硬路由分区： 软路由先验指只在选专家阶段加偏置、加权和推理仍可用全部专家的机制，硬路由分区指把每个类别限定在其子集内不允许跨组选择的机制；前者保留跨类别共享并允许推理去掉类别标签，后者隔离更彻底但在长尾多语言混合上平均效果更差且吞吐代价更大。
路由器原来如何打分和选专家
先沿着一个词元走一遍标准稀疏路由。词元进入某层混合专家时的表示与每个专家的路由向量做内积，再经过非线性门控函数得到亲和分数，分数越高表示路由器越倾向该专家。然后取分数最高的 K 个专家作为激活集合，被选中的专家按其原始分数归一化加权，未被选中的权重为零，最后把各选中专家的前馈输出加权求和并加上残差得到该层输出。论文的 3 个规模都使用每词元激活 8 个路由专家，并另有一个共享专家。
理解这一步很重要，因为 COAX 只改选专家的依据，不改加权用的分数和专家本身的计算。 以下公式给出路由器对词元与第 i 个专家亲和分数的计算，符号含义是输入表示与专家路由向量的内积再过门控函数。
\[s_{i,t}=G\left({\bm{u}}_{t}^{\top}{\bm{e}}_{i}\right),\qquad i\in\{1,\ldots,N\},\]选出前 K 个专家并加权的过程决定了哪些参数参与该词元的更新。COAX 的改动就发生在选专家的比较阶段，而不是加权阶段，这为后面理解为何推理去掉偏置仍保留大部分收益埋下伏笔。
混合专家模型 × 路由器 × 专家： 混合专家模型指每层有多条前馈分支的结构，路由器负责为每个词元计算与各专家的亲和分数并选出最高的 K 个，专家是实际做变换的前馈网络；分工是路由器只做选择、专家只做计算，组合后可以用稀疏激活获得更大总参数而不增加每词元计算量。
类别偏置和专家占比如何计算
COAX 为每个类别维护一个指定专家子集，子集大小记为该类别的首选专家池大小。对固定偏置强度，类别对专家的偏置是示性函数：若专家在该类别子集中则偏置等于该强度，否则为零。训练时把该偏置加到原始分数上得到用于选择的分数，再取前 K 名。选中后的加权仍用原始分数，因此偏置只影响谁被选中，不直接放大其输出权重。 以下公式定义类别对专家的偏置取值，只有属于指定子集的专家才获得正偏置。
\[b_{c,i}=\alpha\,\bm{1}\{i\in{\mathbb{P}}_{c}\}.\]以下公式给出加偏置后用于专家选择的分数，它是原始路由分数与类别偏置之和。
\[\tilde{s}_{i,t}=s_{i,t}+b_{c_{t},i},\]为了把容量分配说清楚，论文定义首选专家占比为指定子集大小除以路由专家总数，相对专家占比为首选专家占比再除以该类别的词元占比。相对占比大于 1 表示超额分配，例如占数据 2.5% 的类别被引向 10% 的专家，对应相对占比为四。增大子集不改变每词元激活的 K 值，因此每词元计算量不变。 以下公式定义首选专家占比，即指定子集大小占全部路由专家数的比例。
\[q_{c}=\frac{M_{c}}{N}\]以下公式定义相对专家占比，即首选专家占比与训练混合中词元占比之比。
\[r_{c}=\frac{q_{c}}{p_{c}}=\frac{M_{c}}{Np_{c}}.\]类别 × 指定专家子集 × 偏置强度： 类别指训练时已知的分组依据如语言模态领域，指定专家子集是为每个类别预先划出的路由专家编号集合，偏置强度是加到该子集路由分数上的同一个正常数；搭配后某类别词元在选专家时被系统性牵引向自己的子集，学习分数足够大时仍可越过偏置。
首选专家占比 × 词元占比 × 相对专家占比： 首选专家占比是指定子集占全部路由专家数的比例，词元占比是该类别在训练混合中所占词元比例，相对专家占比是前者除以后者；大于 1 意味着被鼓励使用的专家比例超过数据比例，这正是为低资源类别超额分配容量的量化方式，且不改变每词元激活数。
偏置在训练和推理各阶段如何施加
论文的训练设置是所有模型都在 64 块加速卡上用常见大模型框架训练，除非特别说明都在 10B 词元上训练，序列长度为 4096，全局批量为 256，采用预热加线性衰减的学习率策略，并带有系数为千分之一的辅助负载均衡损失。COAX 的偏置只在预训练期间施加，默认对所有混合专家层施加，默认偏置强度为 0.03，子集在类别间互斥。推理有两种评估方式：去掉偏置的标准推理，以及保留训练偏置的推理，前者不需要类别标签，后者需要知道词元类别。
论文强调去掉偏置后模型就是标准的前 K 混合专家，没有额外的推理开销。对于多模态输入，词元模态事先已知，保留偏置在操作上可行；对于文本语言或领域，推理时获取可靠类别标签会带来额外负担，因此能否去掉偏置仍保留收益是关键的实用问题。消融中还尝试把大偏置在线性冷却阶段衰减到零，以减少训练与测试的不一致。
模型规模、数据配比和评测条件是什么
论文在 3 个规模上验证，模型均为 32 层，使用分组查询注意力、一个共享专家、每词元激活 8 个路由专家。文本、图像和音频使用不同的分词器，评测以各类别留出集上的验证损失为主，方向是越低越好，报告的是相对无偏置基线的百分比变化。比较都使用匹配种子的基线，多数组合用 4 到 5 个种子平均。下表给出三档模型的隐藏维度、专家维度和专家数等结构，有助于理解容量随规模的变化，列数较多便于对照结构差异。
| Model | Hidden dim. | Expert dim. | # Experts | # Heads | # KV Heads |
|---|---|---|---|---|---|
| 345M-A147M | 384 | 96 | 64 | 16 | 4 |
| 3B-A654M | 1280 | 160 | 128 | 20 | 5 |
| 10.6B-A1.2B | 2048 | 192 | 256 | 16 | 4 |
从结构看，路由专家数随规模从 64 增加到 128 再到 256，而每词元激活数固定为 8，因此稀疏度随规模提高。这解释了为何同样的偏置机制在不同规模下的负载不均和吞吐影响可能不同，后文的开销测量也确实显示开销随规模急剧下降。评测以验证损失为主，任务层面准确率只在部分可测区间作为辅助证据，自由生成等欠训练区间则明确说明难以解读。
多语言实验是否越低资源收益越大
多语言是论文最系统的证据。四语言混合中，韩语、乌尔都语和斯瓦希里语获得大于 1 的相对专家占比，英语取剩余子集。结果显示收益随资源降低而增大：占比较高的韩语改善较小，乌尔都语更稳定，占比最小的斯瓦希里语在每个规模上都显著改善。保留推理偏置通常带来额外小幅增益，但去掉偏置仍保留大部分好处，说明训练期诱导的分化在标准推理下仍然有效。
八语言混合进一步显示，COAX 改善 8 种语言中的 7 种，对最低资源几种语言的改善更明显，而主导语言英语也没有变差。下表整理多语言混合的数据占比、相对专家占比与功能定位证据，负的损失变化表示更好，表中数值的单位与原文一致。
| 类别 | 数据占比 | 相对专家占比 | 关键证据 | 评估条件 |
|---|---|---|---|---|
| English | 86.42% | 剩余子集 | 高资源影响小 | 同种子基线 |
| Korean | 10% | 2 | 改善较小 | 去掉推理偏置仍有效 |
| Urdu | 2.73% | 4 | 更稳定改善 | 多种子平均 |
| Swahili | 0.85% | 4 | 关指定专家升 107.1% 对比基线 9.3% | 无推理偏置 |
读表时要注意，表内占比是训练混合中的词元比例，相对专家占比是首选专家比例与数据比例之比，功能切除的百分比是关掉四专家后验证损失的上升幅度。结论成立的条件是偏置强度取 0.03 左右、子集互斥、低资源语言获得超额分配，并且评估的是验证损失而非下游基准。
附录显示多语言下游基准在该训练量下区分度不足，因此不能把损失改善直接等同于下游任务提升。
验证损失相对变化 × 训练等价增益 × 训练吞吐开销： 验证损失相对变化是与同种子无偏置基线在留出集上损失的百分比差异，负值表示更好，训练等价增益是基线需多训练多少词元才能追上 COAX 的损失，训练吞吐开销是引入偏置后每步迭代时间的增加比例；三者对照才能判断小幅损失改善是否值得。
验证损失相对变化负责记录各语言相对同种子基线的验证损失升降，负值表示变好，它呈现韩语、乌尔都语、斯瓦希里语随数据占比降低而改善增大的格局。训练等价增益负责把这种损失差异换算成基线需要多训练多少词元才能追平，论文在最小和最大规模上给出 18.5% 和 2.7% 的等价值，便于判断多语言收益的实际分量。
训练吞吐开销负责记录引入类别偏置后每步迭代时间的增加比例，粗分组在 10.6B 规模上约为 1.3%，用于说明为低资源语言多分配专家是否增加了很多训练成本。三者搭配的原因是只看损失变化容易忽略成本，只看开销又看不到效果，而等价值把损失改善和训练代价连起来，新增作用是让读者同时看到改善方向、改善大小和所付代价，从而更完整地判断多语言改进是否划算。
多模态实验中视觉和音频是否都受益
多模态混合由文本、视觉和音频组成，视觉平均分为图像到文本和文本到图像两类序列，音频包括纯音频、语音识别和音频文本交错序列。视觉和音频各被引向约 2 倍于其词元占比的专家，文本取剩余子集。这种设置用来检验给稀缺模态更多首选专家后，是否减轻干扰并改善低资源模态。 读图说明：这张路由比例图直接检验偏置是否可控，左右面板偏置强度不同，纵轴是组内路由比例，虚线是随机基准，观察时先对比强度再看随训练步的形状。
看图路径： 1. 对比左右两图不同偏置强度下组内路由比例的高低；2. 观察训练初期曲线冲高后回落再缓慢上升的形状；3. 对照虚线表示的随机路由基准理解牵引幅度
论文图 2。原论文 Figure 2:：“COAX effectively coaxes category-aligned routing.”。
从图中可见，更大的偏置强度带来更强的组内路由比例，曲线在训练早期冲高后回落再缓慢上升。这说明偏置确实提供了可调的分化强度，但组内比例高本身不等于性能好，还需要结合损失来判断。论文报告在最小和最大规模上所有验证集都改善，中间规模上视觉改善伴随文本和音频的小幅回退。去掉推理偏置仍保留大部分收益，保留偏置则多为小幅额外改善，由于模态标签事先已知，保留偏置在多模态部署中更可行。
下表整理多模态的数据配比与训练等价含义，损失方向是越低越好。
| 分组 | 数据占比 | 偏置目标 | 损失方向 | 训练等价与条件 | 适用说明 |
|---|---|---|---|---|---|
| 文本 | 75% | 剩余子集 | 最小最大规模改善 | 345M 等价 18.5% | 高资源未被牺牲 |
| 视觉 | 12.5% | 约 2 倍词元占比 | 三规模一致改善 | 10.6B 等价 2.7% | 证据最稳 |
| 音频 | 12.5% | 约 2 倍词元占比 | 小大规模改善 | 同种子基线 | 中规模有回退 |
| 推理 | 不适用 | 可去掉偏置 | 保留偏置多小幅增益 | 标准 MoE 推理 | 模态已知时可行 |
这张表说明，视觉改善最一致，论文提出的解释是，把视觉和音频引向更大的首选池，减少了它们与文本主要依赖专家之间的干扰。
但中间规模出现文本和音频小幅回退，说明方法不是在所有规模上一致占优，结论依赖具体规模和验证集。
领域混合与持续预训练呈现什么不同
领域混合呈现与多语言和多模态不同的形态。通用英语被低配，代码和数学获得中等超额分配，法律和医学获得更高超额分配。去掉推理偏置时，只有代码在各规模上一致受益；保留推理偏置时，4 个专业领域在每个规模上都改善。论文推测非代码领域与通用英语共享更多有用结构，因此更依赖推理时保留偏置。
持续预训练实验从无偏置检查点上采样到更多专家，把新类别引向新增专家，结果是对视觉和代码的新类别损失与回放损失都有改善，而新语言俄语和印地语的新类别损失基本没有改善。下表整理领域混合的数据配比与最大规模的开销含义，数值单位与原文一致。
| 分组 | 数据占比 | 容量设置 | 去偏置推理表现 | 保留偏置推理表现 | 开销条件 |
|---|---|---|---|---|---|
| 通用英语 | 85% | 低配 | 轻微回退 | 接近持平 | 10.6B 开销至多 1.3% |
| 代码数学 | 5% 各 | 超额分配 | 仅代码稳健 | 四领域都改善 | 需领域标签 |
| 法律医学 | 2.5% 各 | 更高超额 | 不稳健 | 改善 | 标准推理需去偏置 |
从配置看，3 个模型均含一个共享专家、每个词元激活 8 个路由专家，专家总数随规模增加。
该对照有助于理解领域部分改善幅度较小的原因：数学法律医学与通用英语结构相近，标准无标签推理下只有代码的收益比较稳健，若要在部署时保留全部 4 个领域的改善，则需要保留领域偏置并提供领域标签。
偏置强度和专家分组需要多精细
偏置强度的消融显示，去掉推理偏置时，收益在 0.03 附近达到峰值，更大的偏置会带来训练与测试不一致，极端值下甚至灾难性回退；保留推理偏置时，少数语言平均收益随偏置增大而单调变大，但推理吞吐下降更多。把 0.3 的偏置在线性冷却阶段衰减到零，可以在不需要推理偏置的情况下恢复约四分之三的少数语言改善，但英语仍有退化，说明退火减轻但未消除主导语言的权衡。
分组消融显示，把八语言简化为英语对非英语两组，在 8 种语言中的 6 种上与每语言独立分组相当或更好，说明主要收益可能来自隔离主导语言与长尾，而非细分每个少数语言。去掉英语偏置则大幅削弱效果，因此保持主导类别与长尾的分离仍很重要。只给低资源类别按比例分配而不超额分配的效果较差，支持超额分配是必要的，但一旦相对占比达到 2 以上，继续增大指定子集带来的变化不大，对精确调参不敏感。
读图说明：这张熵图检验收益来源，纵轴是加偏置前计算的路由器熵，横轴是训练步，两条曲线分别是基线与加偏置训练，先看谁下降更快再看终点高低。
看图路径： 1. 对比两条熵曲线谁下降更快终点谁更高；2. 注意横轴训练步与纵轴路由器熵的含义；3. 结合图注理解熵是在加偏置前计算的
论文图 3。原论文 Figure 3:：“COAX does not sharpen the learned router.”。
从图中可见，加偏置训练的曲线下降更慢、终点更高，这与直觉上偏置会让路由更集中相反，关键是该熵不含偏置项，说明路由器自身没有变得更锐利。论文据此认为收益来自专家本身学得更好、类别间干扰更小，而非路由器更具区分度。功能切除进一步显示，关掉斯瓦希里语指定专家使该语言损失大幅上升，而对其他语言影响很小，表现出可控的模块化。
收益会随训练变长而消失吗
论文用两组更长训练来排除欠训练假象。两组配置下 COAX 相对基线的优势随训练的变化显示，早期优势较大后迅速回落并进入平台期，个别语言偏离平均线，提示总体结论依赖平均和多数语言，不能推广到每个语言的每一步都更好。结合数据缩减对照，单纯减少英语数据并不能复现 COAX，反而使所有语言变差；而与数据上采样联用时，COAX 在上采样基础上仍有额外改善，说明容量分配与数据分配是互补的。 读图说明：这张训练时长图横轴是训练步、纵轴是 COAX 相对基线的优势，正值表示更好，重点看早期冲高后是否继续衰减以及阴影区平台期的均值。
看图路径： 1. 看优势曲线早期较高随后趋平的整体走势；2. 区分六个少数语言平均与全部八语言平均两条线；3. 注意个别语言偏离平均趋势的情况
论文图 4。原论文 Figure 4:：“COAX’s gain does not decay over training steps.”。
从图中可见，早期优势较大后进入平台期，从约 5B 到 10B 词元没有衰减趋势，扩展到 100B 词元的 runs 也保持稳定，因此不像是欠训练的早期加速假象。但高棉语是持续的例外，其分词回退导致基线损失异常低，相对变化不稳定，不能把平均增益直接套用到该语言。
哪些结论超出证据就不成立
首先，指标范围有限。主要结论建立在留出集验证损失的相对变化上，数值多为零点几个百分点，虽经多种子平均和置信区间检验，但在该训练量下多语言下游基准区分度不足，自由生成也欠训练，因此不能把损失改善直接解读为下游应用必然更好。其次，条件依赖明显。领域收益多依赖保留推理偏置，持续预训练中新语言未受益，中间规模多模态出现文本和音频小幅回退，说明方法不是在所有类别和规模上一致占优。第三，对比的公平性需要小心。
硬路由去掉约束评估时出现巨大回退，保留约束时平均接近中性，但其迭代开销远高于软偏置；专家分化目标在长尾混合上未改善长尾，但它优化的是概率分布散度而 COAX 几乎不改变该散度，两者机制不同，不能简单说分化本身无用。第四，开销随规模变化。小规模训练开销可达 20%，最大规模降至 2% 左右，粗分组进一步降低，因此小规模的训练等价增益虽大，净权衡仍需按实际吞吐核算。
最后，单种子对照的方向性结果不应当作精确数值引用，例如去掉英语偏置和减少英语数据的比较只用于否定简单等价，不能用于量化效率。
要复现第一步该做什么
复现应从训练期路由干预做起，而不是改推理栈。第一步是在每个混合专家层实现按类别加偏置的选专家逻辑：为每个类别维护互不重叠的指定专家编号集合，对该集合统一加一个正常数，再取前 K 名；选中后的加权仍用原始分数归一化，共享专家保持不变。关键超参数是偏置强度、每类别指定子集大小和施加层范围，论文默认强度为 0.03、相对专家占比对低资源类别取 2 到 4、对所有层施加。
信息条件是训练时每个词元必须有可靠类别标签，评估时分别测去掉偏置和保留偏置两种模式，并与同种子无偏置基线比较验证损失的相对变化。数据与模型方面，需固定混合比例、训练词元数、学习率策略和辅助负载均衡系数，记录种子数和留出集规模，避免把不同数据量或不同推理条件的结果混在一起。按论文披露，当前没有确认可用的作者代码、模型或数据资源，因此复现意味着按描述自行实现并核对路由、加权和推理三处是否与原文一致。
还需要补的验证包括更大规模和更长训练下的稳定性、更多领域标签噪声下的鲁棒性，以及在实际可部署的无标签推理下任务级指标是否跟随改善。
什么时候值得尝试以及还缺什么
当预训练混合中存在明确的低资源类别、且每词元计算预算不允许增加激活专家数时，COAX 值得作为轻量对照尝试，特别是多语言长尾和视觉等数据稀缺模态，因为论文在这两类上证据最一致，且推理可保持标准混合专家流程。尝试时优先采用粗分组而非为每个少数类别精细划分，重点保证主导类别与长尾的分离，并给长尾设置大于 1 的相对专家占比，同时把偏置强度放在 0.03 附近先验证去掉推理偏置的收益，再决定是否需要保留偏置或做冷却衰减。
需要清醒的是，论文报告的最大规模训练等价增益约为 2.7%，最小规模约为 18.5%，收益幅度随规模和类别而异，且伴随训练吞吐开销和个别类别回退的可能。还缺的验证是下游任务在充分训练后的表现、标签缺失或错误时的行为，以及与数据上采样、课程学习等数据侧方法的联合最优配比。
总体上，COAX 把专家偏置从负载均衡工具扩展为类别容量控制工具，证明了软性的类别对齐选择可以为长尾留出空间，但它没有证明分化越强一定越好，也没有给出跨所有类别和规模的统一最优配置。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses