📄 做本地语音助手的小模型:对话、工具调用与低延迟如何兼顾

英文题目:Nemotron 3.5 Bolt E4B 4GB: An Open and Efficient Small Language Model for Fast Conversational Agents

评分:5.9/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.4/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

  • NVIDIA:机构信息未能在本次解析中与作者逐人可靠绑定
  • Adi Margolin:机构信息未能在本次解析中与作者逐人可靠绑定
  • Aditya Malte:机构信息未能在本次解析中与作者逐人可靠绑定
  • Aishwarya Chhabra:机构信息未能在本次解析中与作者逐人可靠绑定
  • Alex Hodson:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ameya Sunil Mahabaleshwarkar:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ambrish Dantrey:机构信息未能在本次解析中与作者逐人可靠绑定
  • Amy Shen:机构信息未能在本次解析中与作者逐人可靠绑定
  • Andrii Skliar:机构信息未能在本次解析中与作者逐人可靠绑定
  • Annamalai Chockalingam:机构信息未能在本次解析中与作者逐人可靠绑定
  • Anusha Pant:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ashwath Aithal:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ashwin Kumar:机构信息未能在本次解析中与作者逐人可靠绑定
  • Besmira Nushi:机构信息未能在本次解析中与作者逐人可靠绑定
  • Bhavesh Pawar:机构信息未能在本次解析中与作者逐人可靠绑定
  • Bryan Catanzaro:机构信息未能在本次解析中与作者逐人可靠绑定
  • Bryan Yu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Chantal Hwang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Chenhan Yu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Chris Alexiuk:机构信息未能在本次解析中与作者逐人可靠绑定
  • Conner Currie:机构信息未能在本次解析中与作者逐人可靠绑定
  • Cynthia Gao:机构信息未能在本次解析中与作者逐人可靠绑定
  • David Mosallanezhad:机构信息未能在本次解析中与作者逐人可靠绑定
  • Dina Yared:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ehsan Hosseini Asl:机构信息未能在本次解析中与作者逐人可靠绑定
  • Eileen Long:机构信息未能在本次解析中与作者逐人可靠绑定
  • Erick Galinkin:机构信息未能在本次解析中与作者逐人可靠绑定
  • Felix Friedmann:机构信息未能在本次解析中与作者逐人可靠绑定
  • Giedrius Burachas:机构信息未能在本次解析中与作者逐人可靠绑定
  • Gorkem Batmaz:机构信息未能在本次解析中与作者逐人可靠绑定
  • Grzegorz Chlebus:机构信息未能在本次解析中与作者逐人可靠绑定
  • Guillermo Siman:机构信息未能在本次解析中与作者逐人可靠绑定
  • Haifeng Qian:机构信息未能在本次解析中与作者逐人可靠绑定
  • Hao Guo:机构信息未能在本次解析中与作者逐人可靠绑定
  • Hayley Ross:机构信息未能在本次解析中与作者逐人可靠绑定
  • Hrishith Thadicherla:机构信息未能在本次解析中与作者逐人可靠绑定
  • Hui Wang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Huiying Li:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ike Nnoli:机构信息未能在本次解析中与作者逐人可靠绑定
  • Irina Filatova:机构信息未能在本次解析中与作者逐人可靠绑定
  • Iris Liu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ji-Eun Lee:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jian Leong:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jian Zhang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jiaqi Zeng:机构信息未能在本次解析中与作者逐人可靠绑定
  • Joey Conway:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jonathan Cohen:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jose Vergara:机构信息未能在本次解析中与作者逐人可靠绑定
  • Julien Veron Vialard:机构信息未能在本次解析中与作者逐人可靠绑定
  • Kari Briski:机构信息未能在本次解析中与作者逐人可靠绑定
  • Katherine Luna:机构信息未能在本次解析中与作者逐人可靠绑定
  • Kedar Pandurang Potdar:机构信息未能在本次解析中与作者逐人可靠绑定
  • Kevin Ning:机构信息未能在本次解析中与作者逐人可靠绑定
  • Khalil Ben Khaled:机构信息未能在本次解析中与作者逐人可靠绑定
  • Krzysztof Pawelec:机构信息未能在本次解析中与作者逐人可靠绑定
  • Laura Dykes:机构信息未能在本次解析中与作者逐人可靠绑定
  • Leili Tavabi:机构信息未能在本次解析中与作者逐人可靠绑定
  • Lily Lee:机构信息未能在本次解析中与作者逐人可靠绑定
  • Linda Liu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Liwei Ding:机构信息未能在本次解析中与作者逐人可靠绑定
  • Maka Dong:机构信息未能在本次解析中与作者逐人可靠绑定
  • Manoj Kilaru:机构信息未能在本次解析中与作者逐人可靠绑定
  • Maria Bagdasarova:机构信息未能在本次解析中与作者逐人可靠绑定
  • Matthew Lee:机构信息未能在本次解析中与作者逐人可靠绑定
  • Meredith Price:机构信息未能在本次解析中与作者逐人可靠绑定
  • Micah Schaffer:机构信息未能在本次解析中与作者逐人可靠绑定
  • Michael Boone:机构信息未能在本次解析中与作者逐人可靠绑定
  • Michael Fukuyama:机构信息未能在本次解析中与作者逐人可靠绑定
  • Michael Hasper:机构信息未能在本次解析中与作者逐人可靠绑定
  • Nancy Agarwal:机构信息未能在本次解析中与作者逐人可靠绑定
  • Negar Habibi:机构信息未能在本次解析中与作者逐人可靠绑定
  • Oleksii Kuchaiev:机构信息未能在本次解析中与作者逐人可靠绑定
  • Oluwatobi Olabiyi:机构信息未能在本次解析中与作者逐人可靠绑定
  • Pablo Ribalta:机构信息未能在本次解析中与作者逐人可靠绑定
  • Payal Motwani:机构信息未能在本次解析中与作者逐人可靠绑定
  • Pinky Xu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Prasoon Varshney:机构信息未能在本次解析中与作者逐人可靠绑定
  • Pritam Biswas:机构信息未能在本次解析中与作者逐人可靠绑定
  • Puhui Meng:机构信息未能在本次解析中与作者逐人可靠绑定
  • Rameshwar Shivbhakta:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ran Zilberstein:机构信息未能在本次解析中与作者逐人可靠绑定
  • Reka Kovacs:机构信息未能在本次解析中与作者逐人可靠绑定
  • Richard Mazzarese:机构信息未能在本次解析中与作者逐人可靠绑定
  • Rishabh Garg:机构信息未能在本次解析中与作者逐人可靠绑定
  • Rita Fernandes Neves:机构信息未能在本次解析中与作者逐人可靠绑定
  • Rochelle Woods:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ruby Ye:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ruvaid Virk:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ryan Hill:机构信息未能在本次解析中与作者逐人可靠绑定
  • Saeid Motiian:机构信息未能在本次解析中与作者逐人可靠绑定
  • Seph Mard:机构信息未能在本次解析中与作者逐人可靠绑定
  • Shai Ben Nun:机构信息未能在本次解析中与作者逐人可靠绑定
  • Shaona Ghosh:机构信息未能在本次解析中与作者逐人可靠绑定
  • Sharad Yadav:机构信息未能在本次解析中与作者逐人可靠绑定
  • Sudeep Sabnis:机构信息未能在本次解析中与作者逐人可靠绑定
  • Suhas Hariharapura Sheshadri:机构信息未能在本次解析中与作者逐人可靠绑定
  • Terry Kong:机构信息未能在本次解析中与作者逐人可靠绑定
  • Thanh Do:机构信息未能在本次解析中与作者逐人可靠绑定
  • Thinh Le:机构信息未能在本次解析中与作者逐人可靠绑定
  • Udi Karpas:机构信息未能在本次解析中与作者逐人可靠绑定
  • Viet Anh Trinh:机构信息未能在本次解析中与作者逐人可靠绑定
  • Vinay Raman:机构信息未能在本次解析中与作者逐人可靠绑定
  • Vinita Sharma:机构信息未能在本次解析中与作者逐人可靠绑定
  • Warren Drones:机构信息未能在本次解析中与作者逐人可靠绑定
  • Wenwen Gao:机构信息未能在本次解析中与作者逐人可靠绑定
  • Whei Hsueh:机构信息未能在本次解析中与作者逐人可靠绑定
  • Will Efstratis:机构信息未能在本次解析中与作者逐人可靠绑定
  • Yoshi Suhara:机构信息未能在本次解析中与作者逐人可靠绑定
  • Yunsheng Liu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Zhenming Wang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Zijia Chen:机构信息未能在本次解析中与作者逐人可靠绑定
  • Zuhair Ahmed:机构信息未能在本次解析中与作者逐人可靠绑定

原作者元数据中有 1 项仅为分隔标点,未列为作者;其他作者与机构按原来源记录展示。

📌 核心摘要

本地语音助手要在有限内存和延迟下完成多轮对话,输入混杂对话历史、系统指令、工具定义和工具返回,输出需同时给出可说的简短回应和可执行的准确调用,难点是长期记忆不丢失又不产生冗长思考。先以对话基座Gemma-4-E4B-it为起点跳过监督微调,直接用可验证奖励与人类反馈强化训练优化多轮工具调用、指令层级和输出格式,同一训练样本分别在显式思考开启与关闭两种模式下按2:1配比学习,并以组相对长度惩罚控制推理与回答冗长,输出兼顾准确与简洁的BF16检查点。再把该BF16检查点选定步骤约1M tokens的强化采样轨迹送入重要性矩阵校准,将权重转为Q4_K_M格式以压低显存占用。最后用目标模型在两种思考模式下重生成的3.79M段对话回应蒸馏训练5层并行草稿器DFlash,它一次前向提出7个候选词元供目标模型并行验证以加速解码。与Gemma-4-E4B-it、Qwen3.5-4B和Nemotron-3-Nano-4B相比,模型在推理模式21项基准中有15项准确率最优且平均输出更短,非推理模式有14项最优。在SPEED-Bench的BF16微服务评测中,RTX PRO 6000单并发推理开启时每用户解码速度从无推测解码的124.7 tokens/s提升至DFlash的341.2 tokens/s,达到2.74倍。结论主要适用于英文主导的短时交互,多语言知识推理与视觉理解仍有小幅回落,原文用延迟与吞吐数据报告了部署收益。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音助手为什么需要又小又能干活的模型

刚进入语音或音频方向的研究生容易把对话模型想象成只负责聊天,而本地语音助手、具身机器人和车机桌面的实际要求是边聊边干活。用户说一句话,模型既要听懂口语化的省略和指代,又要结合对话历史、应用状态和工具返回结果决定下一步动作,例如查日历、调机器人动作库、下单或追问缺失参数。

这类任务对延迟和显存非常敏感。对讲机式的语音交互要求首字响应快、整句简短可朗读,太长的推理过程和大段排版都会直接变成等待和播报事故。同时设备端往往只有几 GB 可用显存,放不下几十 B 的大模型。于是问题变成如何在 4 GB 量级内保留对话能力、多轮工具调用、指令遵循和对上下文的 grounding,还要让输出足够简洁。

论文的出发点正是这个缺口。它没有提出全新的预训练结构,而是选择一个已经擅长对话的同量级基座 Gemma-4-E4B-it,用强化学习继续打磨工具使用和指令控制,再配重量化和推测解码做本地部署。对于语音研究者,值得关注的不是参数规模本身,而是训练如何同时照顾思考质量与不思考时的直接回答质量,以及评测如何把对话、工具、长上下文和状态 grounding 放在一起看。

论文要解决的输入输出问题是什么

论文把任务定义为快速会话智能体的建模与部署。输入包括系统提示、用户多轮话语、对话历史、工具定义与工具执行返回的结果,在多模态服务形态下还可接受文本、图像和最长 30 秒的语音输入,上下文长度在 NIM 服务中设为 65536 个 token。输出是助手轮的文本回复,以及需要时附带的工具调用,模板要求文本在前、工具调用在后,让模型先口头承接再动手。

必须保留的信息有 3 类。一是用户意图随时间的变化,例如从问天气变成改时间、追加条件或纠正之前的说法;二是系统指令设定的人设、格式和权限边界,不能被用户指令覆盖;三是工具与环境的状态,例如库存是否足够、工具是否报错、检索证据是否支持当前说法。丢失任何一类都会出现答非所问、越权执行或幻觉式断言。

输出的使用方式分两种。推理模式允许模型先产生思考 token 再给最终答案,适合需要多步规划的工具任务;非推理模式直接给答案,适合延迟敏感的语音轮次。论文还增加会话简洁模式,通过模板追加简短口语化指令,让同一模型在语音场景下少用排版、多说短句。目标显存是约 4 GB,意味着 BF16 检查点必须经过 4 位量化才能落地,速度则靠推测解码补足。

整体思路:基座继承加纯强化学习后训练

方法整体可以看成一条继承加改造的路线。基座是 Gemma-4-E4B-it,论文明确继承它的对话能力,重点改造多轮工具使用、工具参数模式、指令遵循、指令层级和输出格式。实现手段是通过 NeMo-RL 做 RLVR 与 RLHF,通过 NeMo-Gym 组织多环境训练与评测,训练数据覆盖会话工具、函数调用、指令遵循、系统用户层级、结构化输出和自由格式等环境。

一个关键选择是每个训练样本同时用于推理开与关两种模式,并维持每个批次约 2 比 1 的非推理与推理样本比例。直觉是语音助手大量轮次其实不需要长思考,如果只在推理模式下训练,关掉思考时质量会掉;反过来如果只练简短回答,又会丢掉复杂任务的规划能力。双模式加独立的奖励画像就是为了让关思考时也准,开思考时还能更强。

另一个主线是 verbosity 控制。作者观察到强化学习推进后推理 token 和答案 token 都明显变长,于是用奖励环境里的组相对长度惩罚压长度,并配合过长过滤的开关做周期性松紧,在保准确的同时把平均输出拉短。中间曾试过先做有监督微调再做强化学习,发现多轮工具上限更高、达到上限所需强化步骤更少,但多样化教师数据导致对话质量与简洁性回退,因此最终版本没有 SFT 阶段,完全用强化学习后训练。

多轮工具调用 × 指令层级: 多轮工具调用指模型在多轮对话里决定何时调工具、调哪个工具、如何用返回结果继续对话;指令层级指当系统提示与用户输入冲突时以系统指令为准的优先级规则,二者搭配是因为语音助手既要连续动作又不能被用户一句话带偏,组合后模型能在长对话里既做事又守住系统设定的人设与安全边界。

沿一个样本走一遍有助于理解分工。假设用户说帮我订明天上午的会议室并通知参会人,模板把系统人设、历史对话、可用工具说明拼成输入,模型先判断是否信息齐全,不全则追问或直接调日历查询工具,拿到工具结果后再结合指令层级决定是执行预订还是拒绝越权请求,最后生成一句简短口头确认加 1 次工具调用。推理模式下中间规划会显式展开,非推理模式下则压缩成直接行动,两种路径共享同一套工具语义和层级规则。

聊天模板改了什么,为什么文本要放在工具调用前面

模板改动虽小但直接服务于语音交互。当助手一轮同时包含文本与工具调用时,新模板强制文本在前、调用与结果在后。这样模型会先说我来帮你查一下或确认关键参数,再真正发起调用,而不是静默调完工具才开口。对于语音播报,这避免了长时间沉默,也让用户有机会在工具执行前打断纠正。

模板保留了原有的 enable_thinking 与 preserve_thinking 控制,用于开关推理。新增的 conversational_mode 是一个请求级开关,为真时在已有系统提示之后追加一条要求简洁、少用复杂排版、适合口语的指令;若原来没有系统提示,则这条指令直接成为系统提示。为假或缺省时不追加任何内容,保证非语音任务不受影响。论文提到内部简洁性基准的结果被用来选择这条指令的具体措辞,但该基准未来才公开,因此外人目前只能看到开关行为,看不到完整的选型过程。

推理模式 × 非推理模式 × 会话简洁模式: 推理模式允许模型先输出思考过程再给答案,非推理模式直接给答案,会话简洁模式是在系统提示后追加要求简短口语化回复的开关,三者分工是前两者控制是否花 token 思考,后者控制最终话术是否适合朗读,组合后同一模型既能保留复杂任务的思考能力,又能在语音场景下默认说短话。

对语音方向的学生,这个设计的启示是把思考、回答与播报分开控制。是否思考决定规划深度,是否简洁决定播报长度,二者正交。实验中推理与非推理都要测,正是因为助手需要在同一套权重下支持两种延迟预算,而不是为每种预算各训一个模型。

后训练如何组织奖励、长度与数据比例

后训练的数据与奖励按环境组织,每个环境对应一类可验证或可评判的能力。工具调用环境关注多轮会话中的工具选择与执行,工具模式环境关注函数调用的参数格式,指令遵循环境覆盖 SysBench、InverseIFEval、CFBench 等来源的复杂约束,指令层级环境使用新构建的系统用户层级评测集,结构化输出与自由格式环境约束排版,GenRM 环境提供通用质量奖励并承担长度控制。全局批量为 256,每提示采样 8 条 rollout,推理样本最大生成 4096 个 token,非推理样本为 1024 个 token。

RLVR × RLHF × GenRM: RLVR 指用可验证规则给奖励的强化学习,例如工具格式对不对、指令是否被满足;RLHF 指用人偏好或模型评委给奖励的强化学习,处理开放式对话质量;GenRM 是论文里提供通用质量奖励并附带长度惩罚的奖励环境,三者搭配让模型同时学对格式、学对话偏好并控制啰嗦。

长度控制的具体做法值得细读。作者没有简单截断,而是在 GenRM 里加大对推理长度与答案长度的组相对惩罚,同时在其余环境关闭过长过滤以避免误伤。随着训练推进,又以松紧循环的方式反复调节惩罚强度与过滤开关,在准确与简洁之间找平衡。这解释了后文输出 token 明显少于基线但平均分反而更高的现象,长度是被奖励显式压下去的,而非偶然的解码截断。

下表摘自论文的训练环境与来源数据对照,说明每一类能力从哪里取数,读者复现时应先按此清单准备数据与奖励,而不是只复现模型结构。

下表比较后训练覆盖了哪些能力环境及其来源数据,用于判断训练信号是否与 21 个评测维度对齐,表中均为名称对照无数值方向。

EnvironmentsSource data
Tool-CallingConversational Tool Use Pivot
Instruction FollowingInstruction Following, SysBench, InverseIFEval, CFBench, MultiTurnChat, Calendar
Instruction HierarchySystem-User-Instruction-Hierarchy
GenRMUpdated version of Nemotron-RLHF-GenRM-v1

上表支撑的判断是训练覆盖面与评测覆盖面基本同构,工具、指令、层级、格式与通用质量都有独立环境,而非只用单一对话数据微调。其限制是表格只给出来源名称,没有给出各环境样本量、混合权重与奖励公式,2 比 1 的双模式比例是批次层面的总体控制,具体到每个环境如何做推理与非推理画像仍需看代码与数据发布。读者应拿它与后文评测表对照,看哪些评测维度有直接训练对应,哪些属于泛化。

21 个基准在测什么,条件如何对齐

评测分成 5 组。会话能力组测多轮指令保持、角色扮演、角色条件下的阅读理解、情感与社交推理,以及内部简洁性基准,后者把回答长度与人工参考比较,超过参考则扣分,再与 LLM 评的质量分取平均。多轮工具组用 BFCL-v3 测基础调用,用 When2Call 多轮扩展测何时该调用、何时该追问、何时该拒绝或直接回答,用 ToolSandbox 与 Tau2-Bench 测有状态工具与对话式任务完成。指令控制组测 AgentIF、IFBench、IHEval、InverseIFEval 与 StructEval-T,分别对应智能体复杂指令、未见约束泛化、冲突指令层级、反直觉指令与结构化格式。

上下文稳健组用 RULER 在 64K 长度测检索推理,用 LongMemEval 测跨历史记忆,用 LongBench v2 取 48K 以下子集测长文理解,用 SysBench 测系统指令在多变用户输入下的遵循。状态与动作 grounding 组用 GaRAGe 测有证据回答的相关 factuality,用 RAGTruth 以片段级 F1 测检索增强回答中的无依据断言,用 RelyToolBench 以原生函数调用测工具故障与误导性返回下的可靠 pass 率。

对齐方式上所有模型与基线都在 NeMo-Gym 下重测,每个基准按需重复多次以把分数波动控制在 1 到 2 个百分点内。推理开与关分别测,表中注明每个基准的推理开关、评委与用户模型,例如 MultiChallenge 用 GPT-4o 做评委重复 16 次,RoleBench 定制版以 Gemma-4-E4B-it 为固定参照做双序成对比较以减少位置偏置。需要留意的是部分评委是 GPT-5 系或 Claude、Gemini 集成,SysBench 与部分数据被译成英文并改写评委提示,GaRAGe 为自实现,When2Call 多轮版与简洁性基准暂未公开,这些都会影响跨论文复现时的绝对分数。

多语言与多模态是额外探针。后训练只用英文,因此用 WMT24++ 看 36 个语言的翻译保持,用 MMLU-ProX 看 12 个语言的知识推理保持;用 VoiceBench 与 AudioMC 看语音理解,用 OmniDocBench、MMMU-Pro Vision 等看视觉是否因纯文本训练而漂移。部署侧则在 RTX 5090、RTX PRO 6000、DGX Spark 等硬件上测首 token 延迟与解码吞吐,输入输出长度、量化格式与并发数都固定,这是理解速度结论成立条件的关键。

主结果:在更少输出下拿到更高的平均分吗

先看效率与质量的总体位置。下图把 6 个代表性基准的平均分与首 token 延迟放在一起,本地模型统一用 Q4_K_M 量化在 RTX 5090 上以约 3000 输入与 50 输出 token 测量,云端大模型作为参照。读图时不要只看上下,也要看左右与圆点大小,左上才是又准又快且显存小。

读图任务:确认 Bolt 是否落在论文标注的又聪明又快区域,并比较它与同尺寸基线的左右距离。

看图路径: 1. 先看横轴首 token 延迟越往左越快,纵轴代表性基准平均分越高越好;2. 再看圆点大小代表显存占用,绿色小圆是 Bolt E4B 的位置;3. 对比同在左侧的小模型点与右侧大圆点,理解快与准的权衡

原论文 Figure 1:Average benchmark score versus time to first token (TTFT).

论文图 1。原论文 Figure 1::“Average benchmark score versus time to first token (TTFT).”。

该图实际可见的是绿色小圆代表的 Nemotron 3.5 Bolt E4B 4 GB 位于左上绿色区域,标注约 70.2 分,延迟约 300 ms 内;其下方是 Gemma 4 E4B 约 63.2 分与 Qwen 3.5 4B 约 59.1 分,延迟相近但分数更低;右侧大圆如 Gemma 4 26B-A4B 约 72.8 分虽略高但延迟约 600 ms 且圆点大得多,Qwen 3.8 27B 约 67.0 分延迟超过 1000 ms。这支持论文关于同延迟下分数占优的说法,但也表明绝对分数仍低于更大的 26B 级模型与云端 77 分左右的参照,结论只在同显存与同延迟预算下成立。

下表聚焦推理开启时 BF16 检查点的 6 个代表性基准,行名即基准名,指标按原表定义,数值越大越好,用于核对上图平均分的来源结构。

下表比较推理模式下 Bolt 与 3 个基线在 6 个代表性基准上的分数,条件为 BF16 与表 2 的推理开关一致,分数越高越好,用于检验提升是否集中在工具与层级类任务。

BenchmarkNemotron-3.5 Bolt-E4BGemma4 E4B-itQwen3.5 4BNemotron-3 Nano-4B
MultiChallenge53.1042.0851.7635.30
BFCL-v368.5166.3970.9561.10
IHEval84.7967.0460.5751.31
GaRAGe42.6134.7324.6625.18
RelyToolBench63.1661.6043.3541.20

这张表支撑的判断是优势并非均匀分布。Bolt 在 MultiChallenge 的 53.10 分、IHEval 的 84.79 分、GaRAGe 的 42.61 分与 RelyToolBench 的 63.16 分上领先 Gemma-4-E4B-it 与 Qwen3.5-4B,但在 BFCL-v3 的 68.51 分上低于 Qwen3.5-4B 的 70.95 分。也就是说论文摘要的平均最高分成立,但单看基础工具调用仍有未胜出项,读者应把平均结论与按能力分组的 15 比 21 胜率一起理解,而不是认为所有工具基准都赢。

关掉推理后的对照同样重要,因为语音助手大量轮次跑在非推理模式。下表是同一 6 个基准在非推理模式下的分数,模型与指标与上表对应。

下表比较非推理模式下同一组模型与基准的分数,验证双模式训练是否让关思考时仍保持优势,分数越高越好且需与上表分开解读。

BenchmarkNemotron-3.5 Bolt-E4BGemma4 E4B-itQwen3.5 4BNemotron-3 Nano-4B
MultiChallenge48.8140.7238.6023.27
BFCL-v364.6858.0866.0445.23
IHEval66.9052.9534.2523.78
GaRAGe46.0437.3322.1923.61
RelyToolBench61.2558.8719.4336.18

该表显示类似趋势但反例也在变化。Bolt 在 MultiChallenge 非推理的 48.81 分、IHEval 的 66.90 分、GaRAGe 的 46.04 分与 RelyToolBench 的 61.25 分仍领先,但在 When2Call 多轮的对应完整评测中非推理为 51.25 分低于 Gemma 的 54.80 分,在 BFCL-v3 非推理的 64.68 分低于 Qwen 的 66.04 分,在 LongMemEval 非推理的完整表中为 60.20 分低于 Gemma 的 65.79 分。这说明 2 比 1 非推理偏向的训练确实让关思考时总体更强,论文称非推理 14 比 21 领先,但记忆类与部分工具决策类仍有短板,不能推广为所有场景关思考都赢。

最后看准确与啰嗦的权衡。下图横轴是 21 个基准的平均输出 token,对数刻度越往右越啰嗦,纵轴是平均准确越高越好,圆点为推理,三角为非推理。

读图任务:比较同一颜色模型在圆点与三角之间的移动,并看 Bolt 是否同时处于更靠上与更靠左的位置。

看图路径: 1. 先区分圆点是推理模式、三角是非推理模式,横轴是对数刻度的平均输出 token;2. 再看左上绿色区域为又准又简洁,右下为又差又啰嗦;3. 重点对比 Bolt 与 Gemma 和 Qwen 在同一模式下的上下左右关系

原论文 Figure 2:Average benchmark score versus mean output token count across 21 benchmarks in reasoning and…

论文图 2。原论文 Figure 2::“Average benchmark score versus mean output token count across 21 benchmarks in reasoning and non-reasoning settings.”。

图中实际可见 Bolt 推理为 63.9% 与 672 个 token,非推理为 57.3% 与 210 个 token,均位于左上更准更简洁区域;Gemma 推理为 58.1% 与 782 个 token,非推理为 51.4% 与 269 个 token,位置更靠下;Qwen 推理为 57.8% 却高达 3604 个 token,落在最右侧又差又啰嗦一侧。这直观解释了长度惩罚的效果,但横轴是对数刻度,视觉上的小距离对应实际 token 的数倍差距,解读时应以标注数字为准,而非仅凭点距判断提升大小。

哪些改动真正起作用,代价在哪里

论文的消融更像一组工程取舍而非单变量剔除。第一组是 SFT 加 RLVR 对比纯 RLVR。作者报告先做 Nemotron 后训练数据集的 SFT 再做 RLVR,能以更少强化步骤达到更高的多轮工具上限,但对话质量与简洁性回退,而基座正是因对话能力被选中,因此最终舍弃 SFT。这意味着工具上限与口语质量之间存在张力,复现者若只追求工具分数而加入 SFT,可能会重现同样的回退。

第二组是长度控制的开关循环。单纯加大长度惩罚或常开过长过滤能压短但会伤准确,作者采用松紧循环,即一段收紧惩罚、一段放开并开关过滤,最终在保准确下维持低 verbosity。论文没有给出每次循环的惩罚系数与触发阈值,外部只能复现思路而无法复刻曲线,这是方法部分的信息缺口。

第三组是草稿器选择。DFlash 与带轻量校正头的 LiLiCorr 相比,后者接受长度高约 5%,但因小模型单步解码本身很短,校正头的额外开销抵消了收益,二者人均解码速度相当,因此选用更轻的 DFlash。这提醒读者接受长度不是唯一目标,草稿开销与目标模型步长必须一起算。

Q4_K_M 量化 × 重要性矩阵校准: Q4_K_M 量化是把 BF16 权重压到约 4 位以装进 4 GB 显存的存储格式,重要性矩阵校准是用约 100 万 token 的训练 rollout 估计哪些权重更重要从而分配量化精度,二者搭配是因为均匀压 4 位会伤关键通道,校准后能在同体积下保留更多基准分数。

第四组是量化变体。BF16 转 Q4_K_M 时,用训练 rollout 校准的重要性矩阵版本在平均准确上优于无校准的 Q4_K_M,也优于 IQ4_XS 与 IQ4_NL。完整量化表显示 Bolt 的 Q4 版本在多数对话与指令基准上仍领先同为 Q4 的 Gemma 与 Qwen,但在 RULER 64K 与 LongBench v2 长上下文上落后于 Qwen3.5-4B 的 Q4 版本,例如 RULER 中 Bolt 为 85.76 分而 Qwen 为 95.37 分。这说明量化本身没有改变长上下文的相对短板,4 GB 部署的结论不包含长文检索最强。

多语言与多模态可视为负结果探针。纯英文后训练后,WMT24++ 翻译质量基本保持,平均 xCOMET 与 chrF 变化在零点几以内;但 MMLU-ProX 12 语言平均下降约 1.5 个百分点,推理与非推理一致,表明翻译能力比多语言知识推理更易保留。音频侧 Bolt 在 VoiceBench 与 AudioMC 上均高于自测的 Gemma 基线,但 AudioMC 有 23.36% 的用户轮超过 30 秒输入限制、53.1% 的会话至少含一条超限轮次,因此报告分数只反映截断后的会话而非完整长语音对话。视觉侧则一致轻微下降,作者归因于纯文本训练导致的视觉编码器与语言模型失配,且单训视觉编码器无明显改善,视觉恢复被列为未来工作。

结论在什么条件下才成立

第一个边界是数据语言。后训练只用英文,翻译保持不等于知识保持,MMLU-ProX 的一致小幅下降提示跨语言泛化已有损耗。若目标是中文方言、少数民族语言或混合语码语音助手,不能直接沿用英文结论,需要补做对应语言的指令与工具评测。

第二个边界是评测方式。大量分数依赖 LLM 评委与用户模型,不同基准用了不同的 GPT、Claude 与 Gemini 组合,部分提示被翻译改写,GaRAGe 为自实现,简洁性基准与 When2Call 多轮版尚未公开。这意味着绝对分数可比性局限于论文自测的 4 模型对照内,换一套评委或公开实现后排名可能变化,引用时应同时给出评委与重复次数,而不只抄分数。

第 3 个边界是输入限制与定性证据。音频评测的 30 秒上限使超长轮次被截断,视觉评测显示纯文本训练确有代价,活体测试部分只有 Jetson 机器人与游戏 NPC 的定性 GIF 描述,没有成功率、延迟分布或失败恢复统计。因此论文能支持的说法是模型在受限语音与工具场景下更准更简洁且更快,而不能支持它在任意长语音、任意视觉任务或真实用户留存上必然更好。来源未确认的发布物也不应计入技术评价,复现应以论文披露的训练与评测条件为准。

要复现速度与部署应先看哪些设置

复现分训练复现与部署复现两条线。训练侧先按环境清单准备数据与奖励,重点是把每个样本同时跑推理开与关两种模式并做独立奖励画像,再维持约 2 比 1 的非推理偏向批量。批量 256、每提示 8 条 rollout、推理最大 4096 与非推理最大 1024 的生成长度是论文给出的少数可直接照抄的超参数,长度惩罚与过长过滤需要自行按循环策略调参,并用平均输出 token 与平均分一起监控,而不只看单基准。

部署侧论文给了可直接对照的服务配置。NIM 基于 vLLM 0.30.0,单卡 BF16,上下文 65536,默认启用推理与工具调用,DFlash 草稿长度为 7,请求级可调 enable_thinking、thinking_token_budget 与 conversational_mode。验证硬件包括 DGX Spark、RTX PRO 6000、RTX PRO 4500 与 H100,本地量化对比用 AIPerf 在批量为 1 的 SPEED-Bench 编码子集上测得 Bolt 加 DFlash 在 RTX 5070 上 272.6 token 每秒对 Gemma 加 MTP 的 225.9 token 每秒,相对 1.21 倍,在 RTX Spark N1X 上为 124.4 对 118.4,相对 1.05 倍。NIM 形态下推理开启、并发为 1 时 RTX PRO 6000 上从 124.7 到 341.2 token 每秒约 2.74 倍,DGX Spark 上从 20.1 到 71.6 token 每秒约 3.56 倍,首 token 延迟变化均小于 100 ms。

推测解码 × DFlash 草稿模型 × 接受长度: 推测解码是先由小草稿模型一次提出多个候选 token 再由目标模型并行验证的加速方法,DFlash 草稿模型是 5 层 360M 参数、一次提 7 个 token 的专用草稿器,接受长度是每次验证平均实际采纳的 token 数,三者组合后接受长度越高则每步前向传播产出的有效 token 越多,解码速度提升越明显。

下表是草稿器本身的量化取舍,比较 BF16 草稿与两种 NVFP4 草稿在 DGX Spark 上每步读取权重、接受长度与不同并发下的相对加速,用于判断本地低带宽显卡应选哪种草稿。

下表比较同一 DFlash 草稿在 3 种精度下的权重读取量与相对加速,接受长度在并发为 1 时测量,加速比以 BF16 草稿为基准,越高越好。

Drafter(GB)AL11632
BF162.062.991.00×1.00×1.00×
NVFP4 W4A16 (default)0.582.991.13×1.05×1.01×
NVFP4 W4A40.582.931.11×1.09×1.06×

该表支撑的判断是 NVFP4 把每步读取权重从 2.06 GB 降到 0.58 GB,接受长度基本保持在 2.99 或 2.93,并发为 1 时加速约 1.13 倍与 1.11 倍,高并发下 W4A4 略好。代价是接受长度最多掉约 2%,且 W4A4 的额外加速依赖原生 NVFP4 硬件支持,复现时应先确认显卡是否支持再选默认的 W4A16 还是 W4A4,而不能把单机单并发的加速直接当成所有并发与硬件下的承诺。

什么时候值得试,第一步做什么,还缺什么验证

当任务同时满足三点时值得优先试这个路线。第一是设备预算卡在 4 GB 左右且需要语音播报,输出必须短;第二是任务以多轮工具、指令层级与格式约束为主,而非超长文档检索,因为后者在评测中仍落后于同尺寸 Qwen;第三是能接受纯英文后训练带来的多语言知识小幅下降,或目标用户以英文与翻译保持较好的语言为主。若目标是长视觉文档理解或超 30 秒连续语音,目前证据不支持直接选用。

复现第一步不是下载权重,而是重建评测对照。先用 NeMo-Gym 跑通 MultiChallenge、BFCL-v3、IHEval、GaRAGe 与 RelyToolBench 的推理开与关两套配置,固定评委模型与重复次数,再加入平均输出 token 统计,确认基线行为与论文同向后,再引入双模式强化与长度惩罚循环。部署验证则先固定输入输出长度、量化格式、草稿长度与并发数,分别测首 token 延迟、人均解码速度与端到端延迟,避免把推测解码对解码段的加速误读为全链路同比加速。

还缺的验证集中在三处。一是公开可跑的简洁性基准与 When2Call 多轮版,缺了它们就无法独立验证口语简洁与工具决策的核心主张;二是真实用户语音的端到端评测,包括打断、纠错与工具失败恢复的成功率,而非仅靠定性演示;三是视觉失配的机理与修复,需要对比文本训练前后跨模态对齐的变化,而不只是报告分数下降。对语音与音乐方向的学生,一个常见的误解是把平均分最高等同于所有场景最强,论文实际给出的是 15 比 21 与 14 比 21 的分组胜率加若干明确反例,正确用法是按能力分组引用,并在长上下文、多语言知识与视觉任务上主动声明不适用。

📎 论文与评分元数据

排名:前50% | 文档类型:模型报告 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-17 语音/音乐/音频论文速递