📄 按指令现做适配器：大音频语言模型的组合泛化
英文题目：In-Context Adapter Generation for Compositional Generalization in Large Audio Language Models
评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.4/1.5 | 清晰度 0.9/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Yiwei Guo：机构信息未能在本次解析中与作者逐人可靠绑定
- Siqi Huang：机构信息未能在本次解析中与作者逐人可靠绑定
- Bohan Li：机构信息未能在本次解析中与作者逐人可靠绑定
- Jing Peng：机构信息未能在本次解析中与作者逐人可靠绑定
- Hankun Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Zhihan Li：机构信息未能在本次解析中与作者逐人可靠绑定
- Kai Yu：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
读者需要理解的对象是能听语音并按文字指令作答的大音频语言模型，困难是它在单个能力上可用，但把熟悉的能力与任务结构重新组合时容易失效，处理过程是让适配参数随每条指令变化而非一套固定参数应付所有指令。输入为文字指令序列加一段或多段语音，输出为转写、类别判断或选择后执行的结果，难点是把指令中的功能词绑定到正确的音频证据和输入序号。方法先把指令用骨干模型的词嵌入矩阵转为向量，再与每层每模块的可学习查询拼接送入双向Transformer编码器，注意力让查询读到细粒度指令信息后经模块专属线性头生成低秩矩阵。相对已有文本到低秩适配（英文全称Text-to-LoRA，缩写T2L）只用单个句子向量的方法，新设计保留了token级结构，也不再需要外部句子嵌入模型。在Kimi-Audio骨干的五组组合评测上，按越高越好的平均相对性能得分，新方法T2L-ICAG为98.35%，高于同秩静态低秩适配的92.02%。结论适用于所审计的比较、选择、按序和多功能组合，奇异值观察仍是现象描述，翻译外推和更长输入尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://huggingface.co/Unbabel/wmt22-comet-da — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
大音频语言模型要解决什么样的组合问题
论文面对的输入是一段或多段语音加上自然语言指令，目标是按指令完成声音理解，例如识别内容、性别、情感、语言，或比较两段语音的高低长短，再按要求输出答案或结构化文本。必须保留的信息包括指令里指定的声学维度、要处理哪一段音频、执行的先后顺序和输出格式。输出既有转写文本，也有类别判断和问答答案。
已有大音频语言模型在单任务上表现不错，但论文指出一个缺口：模型可能在孤立任务里会认性别、会认语言，一旦指令把熟悉能力装进新结构，例如先按时长选出一个人再识别其性别，或者 1 次处理 3 段语音，就容易失败。原因是跨模态绑定变难了，模型不仅要读懂新指令结构，还要把每个功能对应到正确的音频证据和输入序号上。
组合泛化 × 原子声学功能 × 任务模式： 组合泛化指把见过的部件重组成没见过的新任务。原子声学功能是单个声音判断能力，如性别识别、语言识别、情感识别。任务模式是调用这些能力的结构形式，如单输入识别、双输入比较、先选后做、顺序执行。论文把两者正交看待，泛化好坏就看模型能否把熟悉的功能装进不熟悉的模式。
已有路线为什么还不够
文本领域的组合泛化研究较早，有 SCAN 等基准，后来大语言模型靠规模部分缓解了问题，但音频多了一个声音证据对齐的困难。把所有组合穷举进训练集是一种办法，但组合空间很大，代价高，也不像人的举一反三。
常用微调手段是低秩适配，即 LoRA。它把大模型权重增量拆成两个小矩阵，只训练很少参数。论文认为它的局限在于一套固定适配器要在整个观测到的训练任务空间上分摊容量，遇到没见过的组合时没有按任务调整的自由度。超网络路线则把适配器变成按任务生成的，文本领域已有 HyperDecoders、Text-to-LoRA 等工作，但论文称在音频大模型上还缺少系统研究。
论文把任务空间如何切分
为了受控地检验举一反三，论文把评测分成 5 类。原子任务是单输入单功能，包括语音识别、性别识别、情感识别、语言识别和口语问答。比较任务是双输入单功能，例如判断 2 人性别是否相同、谁说得更久、谁音高更高。选择执行是双输入两步任务，先按一个属性选人，再对选中的人做第二个任务，例如识别说话更久的人的语言。顺序执行是多输入单功能，例如依次识别两三人的性别或语言。多功能是单输入多功能，例如同时输出语言、性别和转写。
关键设计是部件熟悉而组合新。原子功能在 SIFT 训练集或预训练骨干里已有较好覆盖，双输入比较的模式本身也在训练中出现过，但具体的比较对象、选择组合和三输入形式很多没有直接出现。论文希望看到的是模型能否复用理解过的模式，例如学过时长比较和音高比较，就能做出性别比较，而不是靠背过同一道题。
总体思路：不存固定适配器，改为按指令现做
方法整体是一个元学习视角的替换。原来是对每个大模型直接学一套 LoRA 增量，现在是学一个超网络，输入是指令文本，输出是整套 LoRA 增量。训练时骨干大模型冻结，只有超网络更新；推理时来一条新指令，超网络先为这条指令生成一套专用适配器，再把适配器合并进骨干去处理音频和文本。
这样做的好处是容量不再需要直接铺在训练任务空间上，而是由超网络按任务描述做条件化。论文把新方法记为 T2L-ICAG，其中 T2L 表示从文本到 LoRA 的生成路线，ICAG 是本文提出的上下文内适配器生成结构。对照的 T2L-emb 是原文 Text-to-LoRA 的全局向量路线，先把指令压成一个句向量再用多层感知机生成权重。
静态 LoRA 的参数形式是什么
先理解被生成的对象。对第 i 层、第 m 类模块的线性权重，LoRA 增量写成两个低秩矩阵相乘再缩放。秩 r 控制瓶颈大小，缩放系数与秩的比值控制增量强度。论文默认只对查询投影和值投影生成适配器，Kimi-Audio 上秩为 4 时 LoRA 参数约 1,300,000。
\[\Delta W_{i,m}=\frac{\alpha}{r}B^{T}_{i,m}A_{i,m}\]上式中 A 和 B 是低秩矩阵，下标 i 和 m 标明层和模块类型。这种形式本身不含任务条件，同一套 A 和 B 要应付所有指令，这正是论文要用生成方式替代的起点。
ICAG 如何让每个适配器位置看到指令细节
ICAG 的输入处理分三步。第一步是指令表示：用骨干模型的分词器分词，用冻结的词嵌入矩阵查表，再投影到超网络隐维度，得到指令词元嵌入序列，长度随指令变化。第二步是查询前缀：为每个层与模块组合建一个可学习查询词元，再加上可学习的层编号嵌入和模块编号嵌入，得到带位置身份的前缀词元。例如两层加查询和值两种模块，就有 4 个前缀词元。
静态 LoRA × 超网络 × 指令条件适配器： 静态 LoRA 是一套固定低秩增量参数，在全部训练任务上直接优化。超网络是不直接存适配器、而是看指令现做适配器的网络。指令条件适配器是超网络每次按当前指令生成的 LoRA 权重。论文把学习对象从一套固定参数变成一个会做参数的映射，以应对训练时没出现过的功能与模式组合。
第三步是联合编码与分头生成：把前缀词元和指令词元拼成一个序列，送进双向 Transformer 编码器，取出前缀位置的隐状态，每个层模块对取一个隐状态，再经过按模块类型区分的线性头，输出向量化后的 A 和 B 矩阵并重整形状。注意力让每个适配器查询都能直接看到指令词元，也让不同层模块位置之间可以交互。论文提到这可能有助于模型内部分工，但这只是机制上的推测性解释。
\[\mathbf{z}_{i,m}=\mathbf{q}_{i,m}+E_{\text{layer}}(i)+E_{\text{module}}(m).\]上式是前缀词元的构成，查询本身加上层身份和模块身份。得到隐状态后再按模块分头映射为适配器权重。
\[[A_{i,m},B_{i,m}]=\mathrm{Head}_{m}(\mathbf{h}_{i,m}).\]与 T2L-emb 的差别在这里很清楚。T2L-emb 先用外部预训练句嵌入模型得到全局向量，再用多层感知机生成，细粒度的词序和多步要求容易被压缩掉。ICAG 不需要外部句嵌入模型，论文称这也降低了计算代价。
T2L-emb × T2L-ICAG × 指令词元： T2L-emb 先把整条指令压成一个全局句向量再生成适配器，容易丢掉谁对谁、先后顺序等细节。T2L-ICAG 保留指令词元序列，让适配器查询词元和指令词元放在同一个双向 Transformer 上下文里做注意力。指令词元是分词后的细粒度任务描述单位，这种搭配让生成过程能对准选择、比较和多输入等结构要求。
骨干与超网络的具体规模有多大
下表比较骨干与超网络的层数、隐维度和注意力头数，有助于理解生成器的相对规模。Kimi-Audio 为 28 层、隐维度 3584，超网络为 4 层、隐维度 256。Qwen2.5-Omni 的思考部分配置与 Kimi 相同。
| Configuration | Kimi-Audio 7B | ICAG Hypernetwork |
|---|---|---|
| Num. Layers | 28 | 4 |
| Hidden Dim. | 3584 | 256 |
| Head Dim. | 128 | 32 |
该表说明超网络是个小得多的编码器加分头结构，约 30,000,000 参数，而被生成的秩 4 适配器本身只有约 1,300,000 参数。规模差异意味着推理时代价主要来自每次按指令跑 1 次小编码器并生成权重，而不是骨干变大，但原文没有报告延迟和显存的实测分解，所以不能换算成具体加速或减速比。
超网络用什么信号训练，哪些参数不动
训练数据是 SIFT-50M 的英文子集中的封闭式声学层、比较和内容层分区，约 4,500,000 样本。论文认为很多原子声音能力预训练骨干里已经有，微调主要是激活不常用能力和教会模型理解并组合任务模式，而不是灌入大量新声学知识。
优化目标仍是标准监督微调的交叉熵损失，只是可训练变量从适配器本身换成超网络参数。每个样本把指令送给超网络生成适配器，再把适配器合并进冻结骨干，用音频、指令和答案算损失，梯度从 LoRA 权重反传回超网络。骨干权重和输入嵌入矩阵冻结，只有超网络更新。
\[\boldsymbol{\phi}^{\star}=\arg\min_{\boldsymbol{\phi}}\mathbb{E}_{(\mathbf{x},\mathbf{a},\mathbf{y})\in\mathcal{D}}\mathcal{L}_{\text{SFT}}(\mathcal{W}+\Psi_{\boldsymbol{\phi}}(\mathbf{x});\mathbf{x},\mathbf{a},\mathbf{y}).\]上式中 W 是冻结骨干，Psi 是以指令为输入的超网络，phi 是待优化的超网络参数。训练配置包括秩、4 层类 ModernBERT 编码器、隐维度 256、8 头和旋转位置编码，超网络约 30,000,000 参数，批量 16、训练一轮，其余优化器和硬件细节见原附录。
训练与推理的实际开销是什么
训练用 4 张 80 GB A800，DeepSpeed ZeRO-2，固定种子 42，全局批量 16，训练一轮。超网络约 3000 万可训练参数，秩 80 静态 LoRA 是参数量对齐的对照。推理时每条指令要先过 1 次超网络生成适配器，再用合并后的骨干做自回归解码，贪心解码，最多 300 个新词元。
原文没有给出超网络前向、适配器生成和骨干解码各自的时间占比，也没有报告不同输入长度下的延迟曲线。因此只能说方法引入了 1 次小编码器加权重的额外计算，不能断言它更快或更省。需要补的验证是按指令长度和音频时长分档测首词延迟和吞吐，再与静态 LoRA 的常数合并成本对比。
评测集、覆盖审计和指标如何搭建
域内评测用 EvalSIFT 官方评测的封闭式三部分，每部分 500 条。组合评测是自建的 29 任务套件，数据源包括 LibriSpeech test-clean、MELD 测试集、MLS 测试集、SLUE 口语问答和 AudioBench 的 CN-College-Listen 等。音高比较用 YIN 算法提基频并要求平均音高差至少 4 个半音，时长比较要求两段差至少 3 秒，情感验证避开易混淆的相近情绪对。
覆盖审计是理解结论条件的关键。论文用大模型辅助给训练样本打上声学原始标签和任务模式标签，再统计每个评测任务有多少训练样本命中。超过 1000 条算域内，1 到 1000 条算稀疏，零命中算域外。稀疏任务最多只占训练集约 0.02%，远非充分表示。
下图说明覆盖审计的原始分布，纵轴是对数刻度，虚线是 1000 条分界，标 0 表示零命中。可以看到选择类在精确形式下几乎全是零覆盖，这是后文域外结论的重要前提。
看图路径： 1. 先看上下两排分别对应原始级别和精确形式级别的覆盖；2. 注意纵轴是对数刻度，虚线是 1000 条样本的分界；3. 找标 0 的任务，看选择类任务在精确形式下为何几乎全是零覆盖
论文图 5。原论文 Figure 5:：“Training-set coverage of the 29 evaluation tasks, grouped by the five task groups.”。
该图确实可见两排差异：上一排原始级别仍有不少命中，下一排精确形式下命中大幅减少，选择类整块接近零，多功能和顺序类也多为稀疏或零。这说明基准不仅考熟悉能力，更考把已知部件装进没见过或少见形式的能力。
原始覆盖 × 精确形式覆盖 × 相对性能分数： 原始覆盖只要求训练样本用过同样的声学功能集合和任务模式，不要求任务长得一样。精确形式覆盖更严，要求输入结构、操作、输出目标和输出格式也一致。相对性能分数是在每个任务内把各系统的指标除以该任务最优值再平均，用于把准确率和词错误率等不同量纲的任务放在一起比较，但它只反映相对位置，不代表绝对可用性。
指标方面，语音识别相关用词错误率，越低越好，JSON 任务还看格式遵循率。其他多用大模型判分，默认用 Qwen3-32B 判对错，口语问答有用 0 到 5 分和 0 到 1 分两种模板。不同任务量纲不同时用相对性能分数聚合，每个任务内除以最优系统再平均。附录还用 3 种判分模型的一致性检验报告 Krippendorff 系数约 0.935，一致率约 95.8%，说明判分协议在抽查子集上较稳定，但仍不等同于人工评价。
选择准确率 × 最小词错误率 × 指令遵循率： 在按属性选一个说话人再转写的任务里，一次转写错误可能来自选错人，也可能来自转写不清。选择准确率用预测文本与两个参考文本中词错误率更低的一方反推模型选了谁，再看是否选对目标。最小词错误率是对每次都按更匹配的参考算总体词错误率，只衡量转写质量。指令遵循率衡量输出是否符合要求的 JSON 格式，三者分工是把选择、转写和格式分开评价。
主结果：哪些任务拉开了差距
下表先看覆盖划分的结构，说明有多少任务落在域内、稀疏和域外。原始级别下域内 13 个、域外 7 个，精确形式下域内只有 7 个、域外达 18 个，选择类 9 个全是精确形式域外。这意味着平均分里有相当一部分考的是没见过的具体形式。
| Task group | Primitive I/S/O | Exact I/S/O |
|---|---|---|
| Atomic | 5 / 0 / 0 | 4 / 0 / 1 |
| Selective | 1 / 1 / 7 | 0 / 0 / 9 |
| Multi-function | 1 / 3 / 0 | 0 / 1 / 3 |
| Total | 13 / 9 / 7 | 7 / 4 / 18 |
该表把后文的分组依据讲清楚了：顺序和多功能任务多只在原始级别重叠，选择任务连精确形式命中都没有。如果模型只靠背常见题面，这块应该最容易露馅。
雷达图按 5 类任务展开原始分数，外圈对词错误率表示更好。可以看到原始 Kimi 在原子任务尚可，一旦进入多输入或多功能就明显内缩。静态 LoRA 整体外扩，T2L-ICAG 在原子上与 LoRA 接近，在比较、选择、顺序和多功能上进一步外扩。
看图路径： 1. 先看五个雷达分块分别对应哪类组合任务；2. 注意词错误率指标是外圈越好，与准确率方向相反；3. 比较灰、蓝、橙三条轮廓在多输入和多任务分块的张开程度
论文图 2。原论文 Figure 2:：“Radar plots for the five compositional task groups. Note that for the WER metric, the outer rings correspond to lower (better) values. The metrics are included in the parentheses.”。
从像素可见，原子分块 3 条轮廓比较贴近；比较分块中性别验证一角橙色明显比蓝色靠外；选择分块目标性别问答等多角灰色深陷而橙色保持在外；顺序和多功能分块橙色在多数轴上包住蓝色。这与正文报告的例子一致，但雷达只显示相对形状，具体数值仍要看表格。
下表整理正文直接报告的几个关键对照，条件是同一 Kimi 骨干和同一评测协议，指标方向已在表头注明。
| 对照条件 | 指标与任务 | 静态 LoRA | T2L-ICAG |
|---|---|---|---|
| Kimi-Audio，同秩 | LibriSpeech 识别词错误率越低越好 | 1.27% | 1.34% |
| Kimi-Audio，同秩 | 语言识别准确率越高越好 | 95.20% | 98.90% |
| Kimi-Audio，同秩 | 性别验证准确率越高越好 | 76.32% | 87.96% |
| Kimi-Audio，同秩 | 三输入性别识别准确率越高越好 | 62.60% | 80.23% |
| Kimi-Audio，同秩 | 多功能语言性别语音识别中语言准确率越高越好 | 75.05% | 99.70% |
该表说明收益不是均匀的：原子识别上两者接近甚至词错误率略有反复，但在需要组合的性别验证、三输入和多功能任务上差距拉大。这支持论文的判断，即增益主要来自组合结构更复杂的任务，而不能推广为所有任务都更好。
原子能力保持的条形图进一步把原子起点和组合落差分开。左右两块分别比较静态 LoRA 和 T2L-ICAG，蓝色是原子性能，灰色是由原子推算的参考，橙色是实际组合性能。
看图路径： 1. 先区分蓝色原子性能、灰色原子推算期望和橙色实际观测；2. 重点看 2-GR、3-GR 和性别验证等行的橙色与灰色差距；3. 左右对比静态 LoRA 与 T2L-ICAG 在同样原子起点下的保持程度
论文图 3。原论文 Figure 3:：“Gender- and language-related compositional performance compared with the expected performance implied by atomic recognition ability.”。
像素可见，两侧蓝色原子起点相近，但左侧橙色在 2-GR、3-GR、性别验证和部分语言组合行明显短于灰色，右侧橙色更接近灰色。例如三性别任务和性别验证的橙色落差在右侧明显收窄。这说明 T2L-ICAG 不是单纯把原子分类器做强，而是在同样原子起点下更好地保持到组合形式。不过灰色期望只是按独立假设算的诊断参考，不是严格上界，剩余差距说明组合泛化远未解决。
覆盖分组下增益是否只是背过题面
论文把相对性能分数按覆盖分组再算 1 次。Kimi 骨干上 T2L-ICAG 在原始级别的域内、稀疏和域外都保持高位，精确形式下也在三档最好，尤其精确形式域外比秩为 4 的静态 LoRA 高约 9 个点。参数量对齐的秩 80 静态 LoRA 在 6 个分组里仍低于秩 4 的 T2L-ICAG。
这组对照回答了一个自然质疑：是否训练见过类似题面才好。精确形式域外的任务按审计是零命中，如果增益只来自重复曝光，这里不应有优势。实际仍有优势，支持增益来自按指令结构生成适配器，而不只是记住高频指令。但审计依赖大模型打标签和多轮检索，阈值 1000 也是人为设定，所以域内外的边界是近似的，不能当作绝对的分布划分。
翻译迁移是另一个佐证。训练集不含翻译，但 CoVoST2 7 个到英语方向上，T2L-ICAG 的 BLEU-4 平均从静态 LoRA 的 23.9 和 T2L-emb 的 23.5 提高到 30.3，COMET 平均到 0.775，高于原始 Kimi 的 0.721 和两个对照。这说明生成式适配在没见过的翻译方向上也有迁移，但论文只选了 7 个常用非英语源语言，低资源语言行为不在此结论内。所用 COMET 模型链接在原文中是第三方资源，本次仅确认该链接当前可达，不代表作者已开源本论文代码。
换秩、换骨干和换超网络结构会怎样
秩消融覆盖 2、4、8 等设置，每个面板比较原始检查点、静态 LoRA 和 T2L-ICAG，阴影行是 5 类平均，条后数字是 T2L-ICAG 相对 LoRA 的增益。Kimi 上 3 个秩的平均增益分别为 8.8、6.1 和 7.9 个相对性能点，Qwen2.5-Omni 上分别为 3.2、4.7 和 6.2 个点。增益多来自选择、顺序和多功能组，但也有例外，例如 Kimi 秩 2 的多功能组和 Qwen 秩 8 的比较组。
看图路径： 1. 先按骨干和秩找到六个小面板的分组方式；2. 看每块右侧数字表示 T2L-ICAG 相对静态 LoRA 的平均增益；3. 注意 rank 为 2 时 Kimi 多功能组和 rank 为 8 时 Qwen 比较组是例外
论文图 4。原论文 Figure 4:：“Rank ablation results across compositional task groups.”。
像素可见，多数面板橙色平均条长于蓝色，例外面板的个别灰蓝橙顺序确实反转，但不改变平均趋势。这说明增益不依赖某个特定秩，但也不能说每个分组在每档都赢。
更大秩的扫描显示静态 LoRA 在域内 EvalSIFT 随秩增大而变好，秩 80 达 70.13%，但在原始和精确形式的域外上最好的是秩 4，加大秩反而下降或波动。秩 4 的 T2L-ICAG 在 6 个覆盖分组都超过所有静态秩。这组结果把参数量解释排除了：单纯给静态适配器加容量更适合拟合见过的题面，不足以带来组合泛化。
超网络结构对照中，T2L-emb 在域内 EvalSIFT 有时略好，但组合平均相对性能低于静态 LoRA 和 T2L-ICAG，尤其在选择、顺序和多功能组差距明显，在稀疏和域外也更弱。论文据此认为单个全局句向量不足以建模细粒度组合，给定训练集时词元级条件更有效。这个结论依赖当前训练集规模和多样性，换了数据未必成立。
哪些结论是有边界的，失败点在哪里
首先是指令错配实验：大模型指令保持性别验证原句，只换超网络看到的指令，准确率从匹配时的 87.96% 随偏离逐渐下降，换成无关转写或无意义字符串后降到 60% 多。这说明生成器确实在用指令内容，但也说明它对指令措辞敏感，换一种说法就可能打折。
下表给出该错配实验的逐行结果，条件是同一性别验证任务和同一 T2L-ICAG 模型，只有超网络指令不同。
| Hypernetwork Instruction | Accuracy |
|---|---|
| Please verify if the following two speakers have the same gender. | 87.96% |
| There are two audio clips, one from a male speaker and one from a female speaker. Please identify the gender of the speaker who speaks for a longer duration (Male or Female). | 82.61% |
| Please recognize the gender of the following two speech clips respectively. | 76.74% |
| Identify the gender of the speaker. | 75.19% |
该表后半的下降提醒复现时不要只测一种措辞：匹配指令好不等于任意同义指令都好，鲁棒性仍需单独评估。
其次是强模型的反例。Qwen3.5-Omni-Plus 在多数任务上很强，原子语言识别达 100%，但性别验证只有 57.73%，而原子性别识别有 97.60%。按类别拆分，同性别对准确率仅 16.07%，异性别对达 99.39%，明显偏向回答不同。这说明即使能力单项可用，组合到简单验证模式仍可能系统性失败。由于该闭源模型的训练数据不可审计，论文只把它当作任务可解性的参考，不当作组合泛化的受控证据。
最后是奇异值观察。秩 4 的 8 个示例任务上，生成适配器的奇异值更大、谱更平、层间分散更广，而静态 LoRA 衰减更快。论文明确把它当作经验现象而非因果解释，机制仍留给未来工作，不能读成谱平所以泛化好。
要复现第一步该做什么
先按原文过滤 SIFT 英文封闭式三部分并固定切分，再用 Kimi-Audio 理解部分或 Qwen2.5-Omni 思考部分做骨干，去掉音频生成层，只对查询和值投影加 LoRA。超网络用冻结词嵌入加 4 层双向编码器实现，前缀查询数等于层数乘模块数，线性头按模块类型区分。
评测要同时跑 EvalSIFT 域内三部分和自建 29 个任务，语音识别用 JSON 格式加宽松词错误率，选择转写任务同时报告选择准确率和最小词错误率，其他用同一判分模型和同一提示模板。聚合时按任务先算相对性能分数再平均，并按原始和精确形式两套覆盖分组分别报告，避免只看总平均掩盖域外行为。翻译部分如需复现，应固定 7 个语言方向、SacreBLEU 的 13a 分词和同一 COMET 模型版本。
什么时候值得尝试，还缺什么验证
当任务的特点是功能熟悉但组合新，例如要在多段音频里按属性选择、排序或同时输出多项，且能写出清晰指令时，这种按指令现做适配器的方法值得尝试。它的预期收益集中在结构更复杂的组合任务，而不是原子单任务的绝对精度。
复现时要保留的关键条件是同一骨干、同一秩、同一解码设置和同一判分协议，否则相对性能分数不可比。还应报告未胜出的分组和措辞敏感性，例如秩 2 多功能组和错配指令的下降，避免只展示平均增益。
缺的验证包括同义改写和多模板下的稳定性、判分模型换人后的波动区间、推理延迟与显存的实测分解，以及更大秩和更多骨干上的重复。奇异值差异目前只是现象描述，需要干预性实验才能谈机制。总体上，论文支持的是在受控组合基准和给定训练覆盖下生成式适配更好用，离任意新组合都可靠还有距离。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses