一个大内核不够：在哪里切分流式推理模型

📄 一个大内核不够：在哪里切分流式推理模型

英文题目：One Megakernel is Not Enough: Predicting Where to Cut for Streaming Inference

评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.5/1.5

👥 作者与机构

• Aditya Chatterjee：机构信息未能在本次解析中与作者逐人可靠绑定
• Anand Joseph X M：机构信息未能在本次解析中与作者逐人可靠绑定
• Sanjay Singh Chauhan：机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

流式语音合成与大语言模型推理按一次预填充加多步自回归生成分批发布结果，输出对应首个可发布的音频块或首个词元，难点在于不同阶段计算形状与驻留需求不同，融合边界决定共享的启动配置、线程块占用时间和固定开销分摊。论文把有序阶段划分为连续区域并为每个区域选择常规执行或常驻大内核，再配以串行或生产者与消费者并行的共享策略，最优答案在不同模型与批量下为零至四个大内核。边界规划器先用常规图画像构造区域图并枚举候选组合，再用分块图估计各区域在不同后端与线程块预算下的服务时间形成服务表，然后把候选组合展开为事件图并仿真到首次发布时刻，用最低预测分选择组合，全程不端到端实测候选设计。在H100 NVL上NH-TTS批量32时，选出的三巨内核重叠设计首音频发布时间比常规执行早4.05倍，比单巨内核设计早21.4%，该排序在批量64时为47.4 ms对61.0 ms对221.5 ms、在批量1时为27.5 ms对32.7 ms对73.0 ms。冻结后的规划器在已声明验证池13个模型与批量组合中13/13选中已测最快设计，常规与单双巨内核预测误差在5%以内而三巨内核被高估6%至22%仍不改变排序。规划器输入采集成本为分钟级，NH-TTS核基准耗时4.6 GPU-min，Qwen3-TTS四个批量合计耗时15.9 GPU-min，该口径仅为输入采集成本而非完整训练或部署费用。该结论限于三模型三框架已实现验证池与H100 NVL硬件，不证明未实现组合最优或跨GPU迁移。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

流式推理要等的是什么

流式语音和语言模型不是一次算完再返回，而是边生成边发布。论文关心的输入是文本提示或对话上下文，输出是按步生成的声学码再解成的波形，或按词元生成的文本。必须保留的信息包括已生成的状态、缓存的帧和解码器需要的块边界，最终输出是第一块可播放音频或首词元，以及后续能否跟上实时。

评价围绕首次发布展开。对语音是首次音频时延，对语言模型是首词元时延，另有步间时延和实时倍率衡量持续跟进能力。原文强调只要实时倍率大于一，整体等待就由首次发布决定，因此规划器只对首次发布打分排序。双向流应用对这个等待更敏感，同时又希望批量越大越好，这就形成时延与吞吐的权衡。

常规图执行是理解起点的基线。张量实时推理、向量化语言模型服务和深度学习框架通常把模型跑成一串内核，每个算子或小融合组启动一次。每次启动形成线程块网格，硬件把协作线程阵列分布到流多处理器上，英伟达 H100 NVL 有 132 个流多处理器。内核边界是屏障，下一个内核必须等上一个完成。记录启动序列后重放的图技术能省掉主机启动开销，但在小批量短内核下启动、屏障和同步仍占大头。

巨内核 × 常规图执行： 巨内核指把多个算子融进一个常驻内核，一次启动后线程块不退回主机而依次执行多个算子；常规图执行指每个算子或小融合组各启动一次内核，按顺序执行并以内核边界做同步。巨内核省掉多次启动和部分访存，但全区共享一套启动配置并带来寄存器压力；常规图保留每算子调优和清晰边界，但小批量时启动和同步占比大。二者是本文切分时的两种后端选项。

与已有巨内核和边界选择有何不同

常驻核是长期编程风格，已有手工巨内核、编译器与系统多为给定区域做快核。本文不同在决定区域应该是哪些。比较时需对齐任务与阶段：若对方只融解码而本文连预填充与声码器一起切分，不能直接比单核速度，只能比在各自支持组合上的选择能力。

另一支是选常驻程序边界与调流水线阶段分组与资源分配。本文侧重首次发布感知的组合，使用常规与算子级证据并显式建模常驻占用与发布依赖。性能预测与干扰感知共享是互补手段，本文把服务估计与占用寿命和发布依赖合在一起，而不是单独预测内核时长或单独做共享调度。

原文把自身定位为边界规划器而非更快编译器。实现契约、瓦片几何与同步都来自来源声明，代价只复用键匹配的记录，不从常规计时推断任意融合编译行为。因此外层入口变化会先改变服务代价再影响组合分数，这是理解其保守性的关键。

为什么切在哪里比融不融更关键

巨内核（megakernel）指把多个算子融进一个常驻内核，线程块一次常驻后按指令流依次执行，不再每次返回主机。它能让就绪瓦片填补空闲执行单元、提前预取权重、减少访存中转，从而提高利用率。但代价是全区共享一套线程数和瓦片形状，寄存器压力上升后可能溢出到局部内存。

多阶段让边界成为性能选择。语言模型一般只有预填充跑一次、解码逐词元跑多次，现有巨内核多只融解码。语音模型阶段更多：预填充一次、自回归生产者每步一次、局部变换器每步多次、声码器每块一次。各阶段速率、张量形状和偏好的线程块形状不同。每次切分决定哪些阶段共享启动配置、线程块被占用多久、阶段之间如何分卡。

猜测代价在原文中被量化。跨 3 个框架 13 个模型批量组合，实测最优从零个到 4 个巨内核都有。对所测语音模型，次优布局比最优慢 3% 到二十九。穷举实现并实测全部候选很贵，所举语音模型的搜索空间有 81 种候选，因此需要不端到端实测候选就能排序的方法。

规划器总览：只用常规画像排序切分

规划器的输入是模型的常规图实现画像、独立算子或单步基准，以及来源声明的实现契约。契约写明几何形状、存储、编译入口归属和同步要求。输出是切分加后端加共享策略的组合，以及每个候选的首次发布分数，选分数最低者。关键限制是绝不实测候选组合端到端，只复用与契约键完全匹配的证据，缺证据的候选直接排除。

流程分三步。先建区域图并枚举受支持的组合，再对每组建瓦片图得到服务表，最后对每个候选建事件图并仿真到首次发布。瓦片图回答单次执行要多久，事件图回答多次执行按发布依赖排起来要多久。这种分层让跨核就绪、权重预取等机制落在瓦片层，重叠、启动占用和带宽竞争落在事件层。

下面这张图是后文反复引用的最优切分实例，先建立直观印象。它把整体分成预填充、阶段零、阶段一三段，阶段零和阶段一在批量三十二时分别占用八十八和 44 个线程块，下一节再解释它为何不是单个整体大内核。

看图路径： 1. 先看上半单个巨内核与下半三个巨内核的对照；2. 再看箭头连接的预填充、阶段零、阶段一的执行顺序；3. 注意阶段零标注的八十八线程块与阶段一四十四线程块；4. 注意下方大括号标出的重复多次部分与只运行一次部分

论文图 2。原论文 Fig. 3:：“Best megakernel composition for NH-TTS at batch size 32”。

图中所见是一个上下对照。上方是单个整体巨内核并标注并非最优，下方是 3 个巨内核串联并标注最优性能。下方从左到右依次是预填充巨内核、阶段零巨内核、阶段一巨内核，阶段零和阶段一被括号标为重复多次部分，预填充标为运行一次。阶段零下方写八十八线程块，阶段一写四十四线程块。这张图帮助理解切分不是越少越好，保留阶段边界可以换取各自的线程配置和重叠机会。

区域图如何枚举八十一种候选

区域图先回答模型有哪些节拍不同的部分。规划器运行常规图实现并记录执行频率、算术强度与访存、数据与状态依赖、什么算完才能发布。按频率得到 3 类组：每请求一次的准入组、每生成步一次的生产者组、每输出块一次的消费者组。对所研究的语音模型具体化为 4 个有序组：预填充、主干、局部变换器、声码器，其中主干和局部变换器同属生产者。

切分在此基础上定义。覆盖指把有序组切成连续区域并给每区指定常规或巨内核后端。共享策略有 3 种：串行轮流独占全卡，固定切分让生产者与消费者按固定线程块数常驻并排，动态切分让生产者先独占全卡、输入就绪后再分出部分线程块与消费者并排。重叠要求生产者成一个巨内核区且消费者也是巨内核，动态切分还要求它们是不同启动。

预填充 × 生产者 × 消费者： 预填充指请求开始时运行一次、建立上下文的准入工作；生产者指每生成一步运行一次的自回归声学码生成工作，包括主干和局部变换器；消费者指每累积一块帧才运行一次的声码器解码工作。生产者向缓存写入帧，消费者从缓存读帧生成波形，首次发布要同时等到第一块解码完成和后一步生产确认流未断。

数量关系需要讲清。4 个有序组在只考虑串行时有 54 种覆盖，固定切分适用于 6 种覆盖，动态切分适用于其中 3 种。配上 3 种受支持的线程块预算对，额外增加 27 种候选，总计八十一。候选等于覆盖加适用策略，不是任意组合，策略只挂在它适用的覆盖上。

瓦片图如何估计单次服务时间

瓦片图回答去掉屏障后能省多少。每个受支持的输出瓦片变成 1 个任务，携带计算、权重与激活加载、输出写和暂存。边记录瓦片间供给关系，原内核屏障保留为独立边集。依赖来自契约、画像内核、网格与资源占用，规划器用观测画像校验契约，并校准瓦片服务时间以复现独立执行。没有瓦片分解的算子保留为不透明任务，占据建模的工作池，其缩减预算代价用线程块波次近似。

调度在一个固定工作池上做事件驱动列表调度，工作数等于线程块预算。瓦片在依赖完成且有足够暂存的工作者空闲时启动，访存经过单先进先出内存队列，时间推进到下一次完成。两种巨内核机制作用于此：删掉连续内核间的屏障边让下一核就绪瓦片填空闲，权重预取让计算工作者在前驱未完时先排队后继权重加载。片上转发则删掉被转发张量的存取。

结果是服务表。记为按组、后端、线程块预算、形状精度和实现上下文索引的单次估计时间。同一组同后端同预算在不同外层实现下代价可以不同，因为线程数、瓦片形状、调用与存储策略、编译入口和同步要求变了。代价只复用键完全匹配的实测或仿真记录，这是后文讨论迁移限制的前提。

区域图 × 瓦片图 × 事件图： 区域图按执行频率把模型分成准入组、生产者组、消费者组并记录数据与发布依赖，用于枚举切分候选；瓦片图把每组展开为输出瓦片任务并保留瓦片间依赖与原内核屏障，用于估计每组在不同后端和线程块预算下的单次服务时间；事件图把候选的各次执行展开到首次发布，用于仿真启动占用、重叠和带宽竞争并给出排序分数。三者分工是枚举、估服务、算发布。

事件图如何算出首次发布分数

事件图把候选展开到首次发布。准入组出现一次，生产者组执行到步数等于延迟加首块步数加前视步数，第一块消费者在延迟加首块步数后才有资格开始。常规区保留其算子启动，巨内核启动在分配任务全部完成前一直占用线程块，包括任务等待依赖的时间。动态切分在就绪步结束全卡生产者启动，转为生产者与消费者分预算并排。每个启动前有按启动代价加权的分发节点。

节点时长来自服务表，边编码执行依赖与块就绪。发布节点同时等第一块消费者完成和第指定步生产者完成，取二者最大值。仿真在启动占用和共享服务约束下推进：只有空闲线程块足够才准入启动，同时运行任务按内存带宽与总需求之比降速。若无可运行节点而仍未完成则判死锁不可行。

串行 × 固定切分 × 动态切分： 串行指各区域轮流独占整个图形处理器；固定切分指生产者和消费者从开始就按固定线程块数常驻并排运行；动态切分指生产者先独占全卡，到消费者输入就绪后让出部分线程块与消费者并排。三者是同一切分下共享显卡的不同执行策略，决定线程块被占用多久和重叠能省多少等待。

一个算例说明重叠为何能赢。假设块就绪在 20 毫秒，剩余生产与解码串行各需 4 毫秒和 6 毫秒，并排分卡后各需 6 毫秒和 8 毫秒，串行与重叠切换代价分别为 0.1 和 0.2 毫秒且无带宽竞争，则串行分数为 30.1 ms，重叠为 28.2 ms。重叠下单个部件更慢，但省掉串行等待后总体更早发布。

没有神经网络训练时规划器学了什么

本研究没有训练语音或语言模型权重，也没有训练排序模型。各设计共享权重、算子精度、输入夹具、生成上限、确定性解码和发布规则。所谓学习只是用常规基线和独立基准校准代价：校验契约、校准瓦片服务时间使其复现独立执行、冻结候选生成与打分规则。开发集用于固定规则，评估批量和夹具被排除在开发之外，候选池与预测分数在端到端计时前冻结，验证结果不回头改模型。

正确性门槛先于计时。每个设计先与未融合参照在独立夹具上比对，词元或码索引与发布前提必须完全一致，浮点输出相对误差至多 1% 量级。失败设计报告并排除，合格设计在匹配的显卡块内以均衡随机顺序各跑独立进程独占 1 卡。收集规划器输入只需分钟级：所报语音模型的内核基准共需数个显卡分钟，另一语音模型跨 4 个批量约十余分钟。

这意味着可复现的是选择流程而非绝对时延。常规设计因有实测运行作分，预测落在验证值 5% 内；巨内核设计因实现上下文不同，存在 6% 到二十二的高估或 1 毫秒量级的低估。排序对但绝对值不对，仍足以选出验证池内最快者，但不能把分数当成延迟分布或百分位预测。

在什么模型批量和统计口径下比较

评估覆盖 3 个模型 3 种框架。语音模型一用张量推理加图重放，语音模型二用深度学习框架加闪注意力与编译图，1000000000 参数语言模型用缩放点积注意力合进一张图。首次发布对语音是引擎侧或主机侧首音频，对语言模型是首词元。批量覆盖一、三十二、六十四等，语言模型还测二、十六、四十八。硬件为单卡显存九十四吉字节、峰值带宽 3.9 太字节每秒，软件栈固定。

统计口径按模型分别定义。语音模型一报告每批请求 95% 时延在 36 批上的均值，语音模型二在多次运行的队列级首次发布时间上取 95% 再平均，语言模型在三十次重复上取 95% 再跨进程平均。每次测前丢弃两个预热队列，比值置信区间用 20000 次自助重采样在匹配显卡块或进程单元上配对计算。

首次音频时延 × 实时倍率： 首次音频时延指从请求开始到第一块可发布音频或首词元就绪的时间，本文规划器以其仿真值排序；实时倍率指生成速度相对实时播放的倍数，大于一是流式跟得上的前提。本文优化目标是首次发布，实时倍率用于确认重叠后整体吞吐没有被拖垮，二者分别回答等多久和跟不跟得上。

验证池是关键限制。规划器对全部八十一候选打分，但实测只覆盖能建成并通过正确性检查的子集。所谓十三场全中是指在已实现验证池内选中实测最快，不是对未实测组合的最优证明，也不证明换显卡架构仍成立。冻结规则与持留批量保证选择精度是事前预测，不是事后挑最优。

语音模型上三个巨内核为何最快

先看批量三十二的主结果。下表前要回答的比较问题是：在相同权重精度与发布规则下，三巨内核重叠设计相对常规管线和单个整体巨内核能早多少发布。指标方向是首次音频时延越小越好，实时倍率大于一为前提。

上表只列出批量 32 与批量 64 两行，批量 32 行用比值表述，批量 64 行用毫秒数。批量一的 27.5 ms 对 32.7 ms 对 73.0 ms 见同一段正文，不在此表内。规划器在批量三十二选中的正是预填充独立、主干加局部变换器融合、声码器独立，并以 88 对四十四动态分卡。资源策略排序也对：80 对五十二比分卡慢约 1%，3 核串行比重叠在批量六十四慢约 4.2%。

下图把这种选中放在全部验证池里看。它比较选中与次优在报告差距上的距离，纵轴是相对最优的百分比差距，横轴是批量，绿色块是选中，白色块是次优。读图时先对批量再对块数，不要把相对差距百分比误读为百分点，也不要误读为绝对毫秒。

看图路径： 1. 先看三列分别对应哪三个模型与哪些批量；2. 再看绿色虚线报告的选中与次优相对差距百分比；3. 对照下方绿色方块选中的巨内核数与白色方块次优的巨内核数；4. 注意右侧拉马模型五种批量被合并为一个区间显示

论文图 3。原论文 Fig. 4:：“Predicted selections within the implemented validation pools. Predicted and measured margins compare the winner with the nearest alternative in the same pool.”。

图中所见分三列。左列语音模型一在批量一、三十二、六十四分别选中三巨内核，报告差距为 19.3%、6.67%、28.6% 相对差距；中列语音模型二在小批量选中四巨内核、在大批量选中常规，差距为 3.2%–10.2%；右列语言模型 5 种批量合并显示选中两巨内核，差距为 7.8 到 14.9。顶部标注十三场全部命中，说明预测胜者与实测胜者在每个池内一致，但绝对误差仍存在，常规与一二核设计预测较准，3 核设计被高估 6% 到二十二。

批量变大时融合边界向哪移动

要回答的比较问题是：批量变大后巨内核相对常规的领先是否还能覆盖其固定代价。下表把原文报告的领先收缩与固定代价放在一起，指标是毫秒差，领先越大越倾向融合，固定代价越大越倾向常规。

上表支持两类已观测行为。语音模型一属于巨内核稳定型，领先随批量增大而常规从未反超；语音模型二属于巨内核后退型，领先从 15.9 毫秒掉到 0.65 毫秒，低于 0.7 到 1.1 毫秒固定代价后常规在四十八和六十四反超。语言模型对首词元稳定、对步间后退，因为首词元路径只有预填充。另两类未观测：小批量不付、大批量付的推进型，与大小都不付的厌恶型，原文只给出预期条件。

机制解释是固定代价不随省下的工作缩小。图技术未删掉的启动分发与工作量正比的访存省量、编译排布与分核调优的差异，随瓦片填满与波次数变化而升降。当省量大于固定代价时该区值得常驻，否则值得切回常规。连续稳定核若被逐个打散，切分开销会吃掉收益，这也是要求稳定核成片连续的原因。

拿掉重叠仿真与换掉打分会怎样

要回答的比较问题是：在相同服务代价与候选池下，完整事件仿真相对简单加法打分与无重叠消融能多对几场。评价用选中实测最快场数与最大后悔值，后悔指选中实测时延除以池内最小再减一，越小越好。并列预测不计为唯一命中并取最差成员后悔。

上表说明事件仿真的好处集中在重叠敏感决策。两种简化都在语音模型大批量选了串行，而完整规划器因考虑块就绪、线程块分配与并发完成而选重叠。在全串行执行处，部件代价本身已能解释选择，仿真没有额外增益。最接近的决策仍在置信区间内成立，例如语音模型二小批量两核比四核慢约 8.1%，大批量四核比常规慢约 4.2% 和 3.2。

4 个观察提炼了何时切分有效。更快单核可能因多占线程块或多耗带宽而拖慢并排同伴；并置代价取决于同伴实现，固定契约下纯串行切分不改变设备排布，整体与两核只差预填充切且实测差在 0.5% 内；语言模型两核胜单核因合入口寄存器溢出使每层慢约 15%。关于声码器并置，原文文字称常规声码器在生产者巨内核旁慢 7.57 倍而巨内核声码器只慢 1.23 倍，下表原样呈现作者表格的 4 个毫秒格，表格的行列组合方向与该文字归属在原文中无法闭合，此处分别呈现而不把该表当作该归属的直接证实。

上表是原表二的完整呈现。行对应阶段零的后端，列对应阶段一的后端，格内为毫秒时延：两侧巨内核为 0.991 ms，一侧常规时为 1.290 ms 或 1.216 ms，两侧常规时为 9.760 ms。表格本身只给出这四格组合下的时延，常规声码器恶化多少的归属以作者正文文字为准，此处不另作推断。

结论在什么条件下才成立

选择精度只在已实现验证池内成立。未建成或未通过正确性检查的组合不在比较中，未测组合可能更快，换显卡或换形状精度后分数需重算。绝对时间未校准，不能把分数当 95% 时延预测，也不能推广到全程曲线。

证据只支持排序代理有效，不支持因果万能。相关不等于因果，例如重叠胜出依赖块就绪与分卡预算同时成立，换预算或换同伴实现后结论会翻转。缺证据不等于技术缺陷，未确认来源只说明本次不可达，不能据此否定方法。

还有两类细节限制外推。批量一、三十二、六十四等离散点不能插值为任意批量，推进型与厌恶型尚未观测而只是预测。训练资源、推理开销、输出帧率与实际延迟是四件事，本文只报告推理侧首次发布与实时倍率，没有测量误判率改善或训练成本下降，不能承诺那些会变好。

复现第一步做什么

先复现常规基线与发布口径。固定权重、精度、文本长度、延迟块长与前视步数，确认生成索引与发布前提与未融合参照一致，浮点相对误差在阈值内。再跑常规图画像与独立算子基准，记录内核时长、显存流量、启动配置与资源占用，检查契约与观测一致并校准瓦片服务时间。

再冻结候选生成与打分。按有序组枚举覆盖与适用策略，配上受支持的线程块预算，建服务表与事件图并仿真到首次发布，保留并列最小而不借验证测量打破平局。计时时每个设计独立进程独占 1 卡，均衡随机顺序在匹配显卡块内测量，预热后按原文口径取 95% 并做自助区间。

关键超参数与信息条件要保留。线程块预算、线程数、瓦片形状、调用存储策略、编译入口归属、同步要求、批量与形状精度共同决定服务代价，任一变化都要重建记录而不能复用。代码模型数据是否公开是三件事，本篇未发现完成验证的作者资源，不得声称已公开，只能按论文提到的链接去核对。

什么时候值得尝试与还缺什么验证

值得尝试的信号是阶段节拍差异大、小批量启动占比高、且稳定核成片连续。若大批量下领先已接近固定代价，或并置同伴是常规实现且会抢线程块，则应先测分卡与同伴组合再决定是否融合。语言模型首词元与解码要分开看，前者看预填充，后者看解码。

下表汇总本文可直接复用的数字依据，阅读时注意单位与口径不可混用。

上表每格数字都来自原文连续句，毫秒与百分比不可相减，相对百分比与百分点是两回事。单看更快单核会误判，必须连同伴与预算一起看，这正是本文反复强调的切分观。

还缺的验证是换卡、换形状与更大批量的选择稳定性，以及推进型与厌恶型的实测例。软件级调度能否隔离常规图与巨内核的干扰是原文提出的开放方向，回答它需要新的干扰测量而非复用现有分数。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-27 语音/音乐/音频论文速递