📄 用证据草图约束解码:SKAD 如何让音频推理更贴近声音
英文题目:SKAD: Sketch-Guided Audio-Contrastive Decoding for Reasoning in Large Audio-Language Models
评分:7.5/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5
👥 作者与机构
- Junyu Wang:Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University, Tianjin, China
- Peiyuan Jiang:Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University, Tianjin, China
- Siyuan Zhang:Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University, Tianjin, China
- Jian Zong:Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University, Tianjin, China
- Tianrui Wang:Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University, Tianjin, China
- Zikang Huang:Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University, Tianjin, China
- Meng Ge:Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University, Tianjin, China
- Longbiao Wang:Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University, Tianjin, China;Huiyan Technology Co., Ltd, Tianjin, China
- Jianwu Dang:Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, Guangdong, China
📌 核心摘要
大型音频语言模型需先听清语音、环境声与音乐中的事件和时序,再结合问题组织多步推理给出答案,难点在于音频连续短暂且与文本概念对齐不完全,模型易脱离声学证据而沿语言习惯续写。论文提出SKAD先由原模型根据音频、问题与候选项生成简短声音证据草图,把相关声事件、说话行为、场景属性或时间关系写成文本,作为后续推理的共享依据。随后音频条件分支同时看到原音频与草图,纯草图分支只看到草图而屏蔽音频,两者在同一草图和已生成前缀下同步解码。在词分布分歧位置用对照调整强化原音频支持的词,只改推理时词表分布,不训练参数、不改结构。与直接对无音频思维链做对照相比,关键差异是纯草图分支保留了文本化听觉依据,不再从空上下文猜测,从而提供更可比的参考分布。在MMAR上以平均准确率为指标,Step-Audio-R1基线为62.6%,使用SKAD后提高到64.8%。在MMAU小型测试集上以平均准确率为指标,Step-Audio-R1基线为71.1%,使用SKAD后提高到74.8%,为表中最佳平均结果,适用范围限于能输出词分布的模型与所测三类音频问答,对其他语言、长音频或开放问答尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源:https://github.com/MyParadise21/SKAD — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
音频推理要回答什么样的问题
这篇论文研究的输入是一段音频加一个文字问题,有时还带有多个候选答案,目标是选出或生成既语义成立又被音频支持的答案。音频可以是语音、环境声、音乐或它们的混合,问题不只是识别听到了什么,还要求比较多个事件、推断说话人或场景属性、判断先后关系,或把语言、韵律和副语言线索结合起来。
也就是说,模型必须保留输入声音里的关键信息,不能只靠常识把答案编圆。对于刚入门的读者,可以把任务想成开卷听力考试:录音只能听模型那一遍,题面问的是需要综合两三处声音细节才能回答的推理题,评分看最终选项对不对,论文用准确率作为主要指标,方向是越高越好。
大音频语言模型 × 思维链推理: 大音频语言模型指用音频编码器加指令语言模型来回答语音、声音和音乐问题的模型,思维链推理指让模型先写中间推理步骤再给答案的做法;前者提供听和说的能力,后者提供组织多条听觉线索的工作区,组合后模型能比较事件、推断时序或场景属性,但也可能写出通顺却缺乏声音支持的步骤,这正是本文要约束的过程。
已有路线为什么没有直接解决贴紧声音的问题
相关工作大致有两条路线。第一条是把大音频语言模型做得更会推理,例如构造推理数据、做强化学习或加强模态监督,让模型本身更能组织听觉线索。第二条是训练无关的解码调整,例如对比解码比较不同模型、不同层或不同输入条件下的词分布,来抑制不想要的先验,在多模态里常用完整输入分支对比弱化或遮蔽输入分支,以减少幻觉。
本文属于第二条路线,但它指出了一个在音频长推理里特有的困难。图像或短回答里遮蔽模态还能形成有意义的参照,而音频思维链一旦在开头就拿掉声音,却还要求写出完整推理,参照分支几乎没有任务相关的声音上下文,只能输出通用推理套话。论文把已有音频推理的解码干预看作同一方向的尝试,区别是本文认为必须先给被遮蔽分支补上可比的证据,再做对比,否则参照不可靠。
长推理为什么会越写越不听声音
论文要解决的具体问题是:直接让模型从声音出发写长篇思维链,并不总能带来更可靠的预测。即使是推理型模型,在多步生成中也会逐渐从声学证据滑向语言续写习惯,靠自己的上文、常识先验或听起来合理的中间断言继续写,引入录音里并不支持的说法。音频信号连续、短暂,与文字概念只是部分对齐,这种滑移更容易发生。
一个自然的想法是做音频对比解码:一条分支听原声,另一条分支遮掉音频,对比两者来突出更依赖声音的词。但论文发现直接套用到普通思维链上效果不好,因为被遮蔽分支在推理起点就失去了声音,又没有中间文字证据,只能给出不稳定的猜测,无法作为有意义的对比基准。
掩蔽分支退化 × 共享语义脚手架: 掩蔽分支退化指直接把音频拿掉就要求模型写完整推理时,该分支只能靠猜测或通用语言习惯填空,分布不可靠;共享语义脚手架指让两个分支先拥有同一份草图再开始推理,掩蔽分支不再从空上下文出发,而是估计从文字化证据出发会怎么写,组合起来就是先搭好可比起点再做对比。
SKAD 的整体流程是怎样的三段式
SKAD 是训练无关的推理时方法,不改参数、不改结构、不需要外部模型,只改推理时的解码过程,要求所用模型能给出词级别的预测分布。给定音频、问题和可选候选项,流程被概括为音频加问题先得到草图,再做推理,最后给答案,草图是紧凑的声学证据小结。
具体分工是:先用同一模型听原声生成草图并固定下来;然后用两条同步分支写推理,一条同时看原声和草图,另一条只看草图而把音频遮掉;每一步比较两条分支的词 logits,只在两者分歧的位置加强原声分支更支持的预测,生成词并追加到共享前缀,继续下一步直到得出答案。两条分支多数时候分布接近,此时对比项很小,解码接近原声分支本身。
下面这张总览图把 3 段式画得很具体,值得对照着看,先理解箭头方向和两个分支的输入差别,再进入后面两节的细节。读图时先看顶部问题与选项,再看中间草图内容,最后看底部合并公式。
看图路径: 1. 先看顶部问题与选项,再看中间蓝色条带里草图写出了什么听觉内容;2. 对比左右绿色与红色分支的输入差别和下方柱状分布的差异;3. 最后看底部黄色条带的合并公式指向哪个答案
论文图 1。原论文 Figure 1::“Overview of SKAD, the proposed sketch-guided audio-contrastive decoding method.”。
图 1 顶部是一个例子:问题问女儿发现父亲做了什么,选项有喝酒、喝茶、喝咖啡和喝水。中间蓝色条带是声学证据草图,模型从音频里记下女孩调侃和父亲回话的内容。下方左右两个分支分别输出对 4 个选项词的分布,绿色是音频条件分支,红色是仅草图分支,底部黄色条带用对比公式合并后指向喝酒。图中可见两条分支都经过同一个大音频语言模型,差别只在是否能听到原声图标所代表的输入,合并公式强调了原声分支超出草图分支的那部分信息。
声学证据草图写什么以及怎么用
声学证据草图的作用是在正式推理之前,把可能与问题相关的听觉线索用文字先说一遍,例如声音事件、说话行为、对话片段、场景属性或时间关系。论文明确说草图是轻量的脚手架,细粒度证据仍可能被省略、弱化或表达得含糊,因此不指望草图本身就是完整答案,而是用它给后续对比提供共享的文字上下文。
生成方式是构造一个草图提示,把音频和问题一起喂给主干模型,输出记为草图。草图一旦生成就在推理阶段固定不变,两条分支都能看到它。这样一来,仅草图分支不再是从空声学上下文出发,而是估计模型只靠文字化听觉证据会如何推理,参照分布更稳定,也保留了与音频条件分支的可比性。
\[s\;=\;M_{\theta}\!\left(x,\;u_{s}(q,c)\right)\]理解这一节的关键是对象变化:输入是连续声音,输出是一段短文字;这段文字不直接评分,而是作为两条分支的共同前缀,让后面的对比发生在同一语义起点上。代价是多一次生成调用,草图质量会影响后续参照,但论文把它设计成紧凑形式以控制开销。
两条分支在每个词位置上如何对比
拿到草图后,推理序列是同步解码的。记已生成前缀为已生成词序列,音频条件分支在能听到原声的条件下计算当前词 logits;仅草图分支在同样文字上下文但音频被遮蔽的条件下计算 logits,其中空集符号表示被遮蔽的音频输入。两者共享问题、候选项、草图和前缀,只差在有无原声,因此后者可看作部分证据参照。
\[z_{t}^{B}\;=\;f_{\theta}\!\left(\,\cdot\,\middle|\,\varnothing,\,q,\,c,\,s,\,y_{\lt t}\right),\]对比调整的公式是把原声分支的 logits 加上一个放大的差值,系数控制对比强度。当 2 分支分布相似,差值小,解码接近原声分支;当两者分歧,调整会放大原声分支更支持的预测,含义是原声提供了草图文字没有完全覆盖的额外证据。下一个词从调整后的 logits 按模型原解码规则产生,并追加到共享前缀供下一步使用。
\[\tilde{z}_{t}\;=\;z_{t}^{A}\;+\;\alpha\,\bigl(z_{t}^{A}-z_{t}^{B}\bigr),\]音频条件分支 × 仅草图分支: 音频条件分支指同时看到原始音频、问题、候选项、草图和已生成前缀的解码路径,仅草图分支指文本上下文完全相同但把音频输入遮蔽的路径;两者共享同一份文字化证据,只差在能否听到原声,前者多出原声带来的额外信息,后者代表只靠文字草图能推出什么,对比两者才能放大真正依赖原声的词。
声学证据草图 × 对比解码: 声学证据草图指模型先用一遍音频和问题写出的紧凑文字小结,记录事件、说话内容、场景或时序等与问题相关的线索,对比解码指比较两个分支在同一位置的词分布并调整 logits 的方法;草图给被遮蔽分支提供可比的参照,对比解码利用分歧来加强原声支持的预测,两者搭配避免了直接拿空上下文分支做参照的不稳定。
这里要分清两个层次:两个分支的打分是每一步对词表中每个候选词的打分向量,对比系数是标量超参数。系数越大,对分歧的放大越强,但也越可能扰动模型原有的推理习惯,论文因此给不同模型选了不同取值,后面消融会验证这一点。
没有训练时实际执行了哪些计算
本文没有训练任何模型,也就没有梯度更新、参数冻结之外的优化器步骤或监督来源需要交代。实际执行的计算全部在推理时:第一次调用是草图生成,用原声加草图提示得到一段文字;之后每生成一个推理词,都要分别跑两次前向得到两个分支的打分,再按公式合并成调整后的分布并按原解码规则选词。
这意味着推理开销大约是原来的 2 倍分支前向加上一次草图生成,论文没有报告延迟或显存数字,因此不能从方法描述推出具体耗时。无训练也不等于输出确定,贪心解码在固定实现下可复现,但不同硬件、批量或实现细节仍可能带来差异。理解成本时要把草图调用和双分支同步解码分开看,前者是一次性文本生成,后者是逐词的双倍打分与合并。
在哪些数据和模型上验证以及如何评分
实验用了 3 个音频理解与推理基准。MMAU 覆盖语音、环境声和音乐,考察感知与推理;MMAR 更强调对语音、声音事件、音乐及其混合的深层推理,需要综合多条听觉线索;MMSU 针对口语理解与推理,涉及语言、语义、韵律和副语言信息。每个样本给模型音频、问题和候选项,要求先推理后给最终答案,统一用贪心解码以保证可比,指标是准确率。
模型选了两类代表。Step-Audio-R1 是专门产生中间推理的推理型模型,用来检验推理时对比干预能否进一步改善已有的长推理;Qwen2.5-Omni-7B 是通用全模态模型,不是专为长音频推理优化,用来检验方法对通用模型的指导作用。SKAD 的对比强度按模型特性预设:Step-Audio-R1 用较温和的 0.2 以免过度扰动原推理,Qwen2.5-Omni-7B 用较强的 0.5 以提供更明确的音频 grounding,除非特别说明都沿用该设置。
Qwen2.5-Omni-7B × Step-Audio-R1: Qwen2.5-Omni-7B 是通用全模态模型,有音频理解能力但不是专门为长推理优化的模型,Step-Audio-R1 是专门设计成先推理后回答的推理型大音频语言模型;前者检验方法能否给通用模型补上音频 grounding,后者检验即使已有较强内置推理,推理时校准是否还有增益,两者对照能看出对比强度为何要分别设置。
MMAR 上的提升在什么条件下成立
要回答的比较问题是:在同一 MMAR 划分、同一贪心解码和同一主干下,加 SKAD 是否比直接思维链基线平均准确率更高,以及提升是否集中在需要综合多类线索的混合子集。指标方向是准确率越高越好,子集包括声音、音乐、语音和 4 种混合组合,平均列单位为百分比。
| Model | Single Modality | Single Modality | Single Modality | Mixed Modalities | Mixed Modalities | Mixed Modalities | Mixed Modalities | Avg (%) |
|---|---|---|---|---|---|---|---|---|
| Model | Sound | Music | Speech | S–M | S–Sp | M–Sp | S–M–Sp | Avg (%) |
| Baselines: | ||||||||
| Gemini 2.0 Flash | 61.2 | 51.0 | 72.1 | 81.8 | 72.5 | 65.9 | 70.8 | 65.6 |
| GPT-4o Audio | 53.9 | 51.0 | 70.4 | 63.6 | 72.5 | 62.2 | 75.0 | 63.5 |
| SALMONN | 30.3 | 31.1 | 34.7 | 9.1 | 34.9 | 35.4 | 41.7 | 33.2 |
| Qwen2-Audio-7B-Instruct | 33.3 | 24.3 | 32.3 | 9.1 | 31.2 | 30.5 | 25.0 | 30.0 |
| Audio Flamingo 2 | 24.9 | 17.5 | 20.8 | 18.2 | 26.6 | 23.2 | 8.3 | 21.9 |
| Audio Flamingo 3 | 58.8 | 40.8 | 59.9 | 54.6 | 61.9 | 67.1 | 58.3 | 56.7 |
| Ours: | ||||||||
| Qwen2.5-Omni-7B† | 55.2 | 42.7 | 55.8 | 54.6 | 59.2 | 53.7 | 50.0 | 53.4 |
| + SKAD | 57.0 | 43.2 | 59.9 | 54.6 | 63.3 | 58.5 | 58.3 | 56.5 |
| Step-Audio-R1† | 52.7 | 46.1 | 72.8 | 45.5 | 70.2 | 68.3 | 66.7 | 62.6 |
| + SKAD | 57.6 | 44.7 | 73.5 | 45.5 | 75.7 | 68.3 | 79.2 | 64.8 |
上表是 MMAR 的完整原表,保留了单模态、混合模态和平均列的全部数值。表后解释如下:Qwen2.5-Omni-7B 从 53.4% 提升到 56.5%,Step-Audio-R1 从 62.6% 提升到 64.8%,论文正文概括为前者在 3 个基准上分别提升 3.1、3.4 和 3.7 个百分点,后者分别提升 2.2、3.7 和 2.3 个百分点。混合子集上增益更明显,例如 Qwen 的语音从 55.8% 到 59.9%、3 类混合从 50.0% 到 58.3%,Step-Audio-R1 的 3 类混合从 66.7% 到 79.2%,支持方法在依赖多类线索时有帮助的判断。
限制是这些数字只在复现基线、贪心解码和预设对比强度下成立,且个别子集如音乐和某些混合对没有提升或持平,不能把平均增益推广到每个子集。表中其他基线如 Gemini 和 Audio Flamingo 的任务条件与实现未必一致,只能看作背景参考,不构成同条件胜负。
MMAU 和 MMSU 上的表现是否一致
这里的比较问题是:在 MMAU Test-mini 的声音、音乐、语音和平均,以及 MMSU 的感知、推理和平均上,SKAD 相对各自复现基线是否稳定提升。条件同样是贪心解码和各自预设的对比强度,指标仍是准确率,越高越好。
| Models | MMAU Test-mini | MMAU Test-mini | MMAU Test-mini | MMAU Test-mini | MMSU | MMSU | MMSU |
|---|---|---|---|---|---|---|---|
| Models | Sound | Music | Speech | Avg. | Percept. | Reason. | Avg. |
| Baselines: | Baselines: | Baselines: | Baselines: | Baselines: | |||
| Gemini 1.5 Pro | 71.2 | 65.3 | 75.1 | 70.5 | 46.1 | 76.2 | 60.7 |
| Gemini 2.0 Flash | 71.2 | 65.3 | 75.1 | 70.5 | - | - | - |
| GPT-4o Audio | 64.6 | 56.3 | 66.7 | 62.5 | 39.7 | 72.0 | 56.4 |
| Kimi-Audio | 75.7 | 66.8 | 62.2 | 68.2 | 43.5 | 76.0 | 59.3 |
| Audio Flamingo 3 | 79.6 | 74.0 | 66.4 | 73.3 | - | - | 61.4 |
| Ours: | Ours: | Ours: | Ours: | Ours: | |||
| Qwen2.5-Omni-7B† | 78.7 | 64.4 | 67.9 | 70.3 | 44.3 | 72.1 | 57.7 |
| + SKAD | 83.2 | 67.1 | 70.9 | 73.7 | 48.6 | 75.0 | 61.4 |
| Step-Audio-R1† | 73.6 | 68.6 | 71.2 | 71.1 | 60.5 | 78.6 | 69.3 |
| + SKAD | 77.8 | 74.3 | 72.4 | 74.8 | 61.3 | 82.6 | 71.6 |
上表是 MMAU 和 MMSU 的完整原表,保留了原行列与百分号写法。表后解释如下:Qwen2.5-Omni-7B 在 MMAU 上从 70.3% 到 73.7%,在 MMSU 上从 57.7% 到 61.4%;Step-Audio-R1 在 MMAU 上从 71.1% 到 74.8%,在 MMSU 上从 69.3% 到 71.6%。细分上 Qwen 的声音从 78.7% 到 83.2%、MMSU 感知从 44.3% 到 48.6%,Step-Audio-R1 的音乐从 68.6% 到 74.3%、MMSU 推理从 78.6% 到 82.6%,说明通用理解和口语推理两类任务都有增益,且后者在 MMAU 上达到表内最好平均。
同样要说明边界:结论依赖复现基线和版本标注为 v05.15.25 的 MMAU 划分,换划分或换解码方式结果可能变化。MMSU 感知子集绝对值仍明显低于推理子集,平均提升不代表感知短板已被补齐,未胜出的基线细节和未评测的范围仍需另行验证。
草图和对比强度各自起了什么作用
消融要回答两个问题:没有草图而直接对普通思维链做音频对比是否有用,以及对比强度取不同值时平均表现如何变化。直接思维链记为 Direct CoT,直接对比记为 Direct CD,SKAD 记为有草图后的对比,平均是 3 个基准准确率的平均,指标方向仍是越高越好。
| 方法 | 对比强度 | Qwen2.5-Omni-7B 3 个基准平均 | Step-Audio-R1 3 个基准平均 |
|---|---|---|---|
| Direct CoT | – | 60.5% | 67.7% |
| Direct CD | 0.5 / 0.2 | 60.8% | 67.6% |
| SKAD 多强度范围 | 0.1-1.0 | 62.9–63.9% | 69.5–70.4% |
| SKAD 最优与过强 | 0.5 / 0.2 / 1.0 | 63.9% | 70.4% / 69.5% |
上表整理消融的比较条件和平均结果,Direct CD 行分别对应各自测试过的强度,SKAD 范围行对应多强度下的稳定区间。表后解释如下:Qwen 上直接对比在 0.5 时平均仅从 60.5% 到 60.8%,Step-Audio-R1 上直接对比在 0.2 时从 67.7% 微变为 67.6%,属于有限或负增益,支持被遮蔽分支缺乏声音上下文时参照不可靠的动机。
加上草图后,Qwen 平均为 62.9% 到 63.9%,Step-Audio-R1 为 69.5% 到 70.4%,均稳定超过直接基线。最优强度因模型而异,Qwen 在 0.5 最好,Step-Audio-R1 在 0.2 最好,后者把强度加大到 1.0 时平均从 70.4% 回落到 69.5%,提示过强干预会削弱内置推理。这组对照的适用条件是同一贪心设置和同一平均方式,不能把事后最优当作部署时自动可得的增益。
一个倒水声的例子说明了什么又没说明什么
论文用一个两次倒水的定性例子对比了 3 种做法,读图任务是看清声音变化如何被文字化,以及不同参照如何影响最终选项,图后先说像素层面确实可见的内容,再谈它对方法的启示和局限。读图时先确认顶部音频描述,再对比三栏推理文字,最后看 SKAD 草图措辞。
看图路径: 1. 先看顶部音频描述和问题,确认两次倒水声的变化是判断依据;2. 对比左中右三栏的推理文字和最终答案有何不同;3. 注意右侧 SKAD 栏中草图如何描述第二次声音的质地
论文图 2。原论文 Figure 2::“Qualitative comparison of Direct CoT, Direct CD, and SKAD on an audio reasoning example.”。
图 2 顶部注明音频是两次倒水,第一次是顺滑的液体声,第二次质地不同,问题问第一种物质如何变成第二种,选项有冻结、加热、稀释和搅拌。左侧直接思维链把第二次声理解为更黏稠而选加热,中间直接对比把变化归为冒泡而仍选加热,右侧 SKAD 的草图写下第二次声音更离散、有颗粒感,推理指向物理状态变化而选冻结。像素上三栏的输入标注也不同:左栏是直接推理,中栏是同时跑有音频和无音频分支,右栏是音频加草图对比仅草图分支。
这个例子支持的判断是:共享草图能给对比提供更对齐的参照,帮助模型利用录音里未被草图完全覆盖的细粒度线索。但它只是一个样本,不能证明所有错误都是语言先验导致,也没有统计显著性。草图本身可能遗漏或含糊表达细节,例子选了成功情形,失败情形和草图写错时会发生什么在正文没有系统测量。
复现第一步做什么以及需要哪些信息
复现 SKAD 第一步是准备能输出词 logits 的两个主干,并按论文设置用贪心解码。流程上先实现草图提示与生成,把草图固定为共享上下文,再实现双分支同步解码:每一步用同样前缀分别计算有音频和无音频的 logits,按调整公式合并,然后按原解码规则选词。Qwen2.5-Omni-7B 从 0.5 起试,Step-Audio-R1 从 0.2 起试,再小范围扫描 0.1 到 1.0。
需要补的验证包括:在自己划分上报告贪心与采样两种解码,记录草图生成开销和双分支带来的延迟与显存,检查草图错误对最终答案的影响,并做多次运行的波动。代码方面,作者资源当前可用,链接为论文给出的 GitHub 仓库,但这只说明代码可获取,不等于权重、数据和一键运行环境都齐备,跑之前要核对提交版本与依赖。来源未确认不是技术缺陷,只是复现时要单独确认的部分。
什么时候值得尝试以及还缺什么验证
综合来看,当任务需要综合多处声音线索、模型已能写出基本推理但偶尔滑向常识编造,且你能在推理时承担一次草图生成加双分支前向的成本,SKAD 值得一试。对通用全模态模型可用稍强对比,对已有长推理的模型宜用温和对比,避免扰动原有推理习惯。3 个基准上的平均增益是在复现基线、贪心解码和预设强度下得到的,换模型版本、划分或解码方式时需要重测。
还缺的验证主要是成本与鲁棒性:论文没有报告延迟、吞吐和显存,也没有系统统计草图质量、误判率或失败模式,因此不能承诺这些方面会改善。后续若要落地,建议补上分任务的胜负 breakdown、不同强度的曲线、草图文字长度影响,以及在噪声、长音频和开放式问答上的表现,再决定是否作为默认解码策略。
📎 论文与评分元数据
排名:前25% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses