英文题目：Hierarchical Policy Optimization for Simultaneous Translation of Unbounded Speech
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.80
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#强化学习 #大语言模型 #长音频处理 #流式处理 #语音翻译
评分：7.4/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Siqi Ouyang：机构信息未能从会议 PDF 纯文本可靠映射
- Shuoyang Ding：机构信息未能从会议 PDF 纯文本可靠映射
- Oleksii Hrinchuk：机构信息未能从会议 PDF 纯文本可靠映射
- Vitaly Lavrukhin：机构信息未能从会议 PDF 纯文本可靠映射
- Brian Yan：机构信息未能从会议 PDF 纯文本可靠映射
- Boris Ginsburg：机构信息未能从会议 PDF 纯文本可靠映射
- Lei Li：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
同时语音翻译以无界英语语音流为输入，在流到达过程中增量输出中文/德文/日文译文，难点在于读取与写入决策交织且合成多轮对话轨迹存在对齐错位与过早翻译，翻译质量与延迟目标天然冲突。方法首先采用流式语音编码器逐块编码语音并复用键值缓存，将交错语音特征与历史译文送入Qwen3大语言模型解码部分译文，遇到结束符则输出空，从而形成可处理长语音的多轮对话架构。然后对每段长语音采样16条翻译轨迹，经SEGALE分句对齐为假设与参考句对并分别计算质量分与延迟分，若句质量低于阈值则延迟取最大惩罚以抑制投机性提前输出。最后在假设组内对质量与延迟分分别归一化后加权求和得到分层奖励，并用分组相对策略优化对有缺陷监督微调模型做后训练校正。与InfiniSST等依赖启发式等待策略或无质量保证合成轨迹的方法相比，关键机制差异是句子级质量门控与质量延迟分组归一化，使延迟仅在质量达标时被优化，实际意义是减少过译欠译并缓解量纲差异导致的优化不稳定。在消融评测设置下，HPO的COMET为0.8234，高于SFT基线的0.7348。该结论适用边界受限于英语源演讲域及三个翻译方向，BLEU与大模型评审不一致揭示神经奖励可能带来奖励黑客的失败条件，跨语种与噪声场景尚未验证。训练成本方面单次后训练约需三个8卡H100节点运行约20小时完成500步，其中一节点专用于奖励计算，推理开销需维护滑动窗口缓存并伴随约1.5秒级延迟。
🔗 开源与复现资源
- 第三方资源：https://spacy.io/ — 链接可访问（HTTP 200）
- 第三方资源：https://github.com/NVIDIA-NeMo/RL — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
任务是什么：边听边译为何不能等听完再译？
输入是连续到达的源语音波形，目标是在只看到前缀语音时就逐步输出目标语言译文。学习者必须保留的关键信息是：每一步模型要做读还是写的二选一决策，写出的每个片段都被赋予当前已流逝的时间作为延迟，评价时同时看最终译文质量与每个词的时间戳。输出不是 1 次性全文翻译，而是一串带时间的部分译文拼接成的完整假设。
论文研究的不是短句语音翻译，而是无界语音，即时长可达数分钟到数小时、不预先切句的连续讲话。典型场景包括学术报告、直播与实时对话。难点在于源语与目标语语序不同，过早写出会缺关键信息，过晚写出会增大延迟，而合成训练数据又不能保证给出的等待时机正确。
同时语音翻译 × 读-写策略： 同时语音翻译负责在语音未结束时就产生译文，读-写策略负责在每一步决定是继续读入语音块还是写出下一个译文片段，二者搭配的原因是翻译质量取决于已读上下文是否充分，而延迟取决于写出时机，组合意义是把同传建模为按块交替读写的序列决策问题。
为理解后文，先建立一个具体样本的直觉。假设英文报告正在播放，模型每 1.12 秒收到一个语音块。若当前已读两个块而译文只写了前半句，模型需要判断已有信息是否足以写下一词。若选择等待，则本块输出为空；若选择写，则输出若干词并进入下一块。这种按块交替的动作序列就是后文所说的轨迹，本文例子仅用于说明动作，不代表任何实测数值。
已有路线如何处理长语音与延迟权衡？
同输入、同目标的已有工作可分为两类。第一类把大语言模型作为同传主干，通过合成读-写轨迹做有监督微调，并用交替结构复用缓存以支持长语音。第二类在同时文本翻译中用强化学习学读-写策略，把源流看作环境，把延迟与质量加权为奖励。论文报告指出，前者依赖的词对齐工具考虑了词序重排但忽略翻译时机所需的未来上下文，后者多基于编码器-解码器且不支持无界语音输入。
与之相比，本文的差异是有源可核对的：它保留交替结构与合成数据作为起点，再引入强化后训练专门纠正合成轨迹的错误行为，并用分层而非简单相加的方式组合质量与延迟。另一相关对照是同时文本翻译中的序列策略优化方法，它对质量与延迟分别归一化并截断延迟项，本文在消融中将其作为比较对象之一。
学习者容易误以为延迟越低越好。原文明确提醒，延迟奖励本质上更容易优化，模型只需提前输出而不保证正确即可获得好处，因此必须先约束质量再谈延迟。这一判断是后文分层设计的直接动机。
要解决的具体问题是什么？
问题可以表述为：给定按固定时长切分的语音块序列，学习一个策略函数，它以全部历史语音块与历史译文为条件，为当前块生成可能为空的部分译文。形式化上源波形被记为块序列，策略输出的可变长词序列若长度为零表示等待，若大于零表示写出，所有词共享同一延迟标记。
监督来源的问题在于，合成轨迹的两种主流做法都有缺陷。基于词对齐的做法用时间戳与翻译对齐构造交替格式，但对齐单调化后仍可能给出过早或过晚的切分。基于大模型模仿译员的做法把源文本切成自认为可译的单元，但切分不稳定且不能保证合法的读-写轨迹。论文因此把问题定位为后训练纠偏，而不是重新设计编码器。
评价条件同样需要明确。质量用切分对齐后的句子级指标度量，延迟用流式长度自适应平均滞后度量，空对齐会被赋予最差分数作为惩罚。这意味着漏译与多译都会同时拉低质量分并抬高延迟惩罚，后文的奖励计算依赖这一约定。
方法全景：采样、对齐与分层奖励如何串起来？
全景可分为 3 步。第一步是对同一长语音采样多个完整翻译假设，得到组内可比较的候选。第二步是把每个假设切成句子并与参考译文句子对齐，形成句子对。第 3 步是对每个句子对分别算质量分与延迟分，先按质量阈值决定延迟取真实值还是最大值，再在假设内平均，最后在组内分别归一化并加权求和得到最终奖励。
下图给出了这 1 流程的官方示意，左侧是采样，右侧是切分，下方是分层奖励的汇合路径，适合对照正文逐步阅读。
看图路径： 1. 先看左上采样分支：长语音输入如何得到多个完整假设；2. 再看右上切分分支：假设句子与参考句子如何一一对应；3. 最后看下方奖励分支：质量门控在何处决定延迟取真实值还是最大值
论文图 2。原论文 Figure 2：“Overview of Hierarchical Policy Optimization.”。
从图中可见，质量分支与延迟分支并非对称。质量分直接进入平均与归一化，而延迟分支在进入平均之前先经过一个由质量分控制的分叉：达标走真实延迟，不达标走最大惩罚。这种不对称是故意的，目的是让模型先学会译对，再学会译快。组归一化则解决量纲差异，使不同语音段的奖励可比。
组相对策略优化 × 分层奖励： 组相对策略优化负责对同一语音采样多个假设并在组内比较优劣，分层奖励负责先看质量是否过阈值再决定是否给予延迟奖励，二者搭配的原因是延迟奖励更容易被利用、直接相加会导致抢跑，组合意义是用质量门控约束延迟优化方向。
沿一个样本走完流程有助于记忆。输入一段长语音，模型采样出 16 条不同等待风格的轨迹，有的激进抢译，有的多等上下文。对每条轨迹，先切句对齐，再逐句打分，抢译轨迹可能延迟低但多句质量不过阈，于是延迟被置为最大值，平均后仍不占优。最终组内归一化会放大稳定高质量且延迟合理的轨迹的优势，策略向该方向更新。
组件如何计算：编码器、大模型与奖励各管什么？
模型架构包含流式语音编码器与大语言模型译码器两部分。编码器对每个新语音块增量编码并复用历史块的缓存，输出上下文特征。大模型接收交替排列的语音特征与历史译文，解码当前块对应的部分译文，直到输出特定结束符。若立即输出结束符，则本块译文为空，即执行等待动作。下图展示了语音块、特征与译文交替进入大模型的布局。
看图路径： 1. 从底部语音块向上追踪到流式编码器输出的特征；2. 观察中间层语音特征与历史译文如何交替进入大语言模型；3. 确认顶部新译文只依赖当前及历史块而非未来语音
论文图 1。原论文 Figure 1：“Model architecture of HPO. Speech chunks are encoded by a streaming speech encoder into con- textualized features.”。
从像素可见，底部是按时间排列的语音块，中部是编码后的特征，上部是大语言模型，特征与译文交错作为其输入。这种布局的工程意义是消除重复特征计算，并通过滑动窗口与注意力槽技术支持无界推理。推理时论文还保留前 400 词缓存并维持 2000 词滑动窗口，缓存取自旋转位置编码之前再重新施加，这是复现时必须保留的实现细节。
多轮对话形式 × 键值缓存复用： 多轮对话形式负责把语音特征与已生成译文交替排列为模型输入，键值缓存复用负责避免对历史语音和历史译文重复编码，二者搭配的原因是无界语音长达数十分钟，逐块重算不可行，组合意义是让流式编码器与大语言模型都能增量推理。
奖励组件的计算需要更细的说明。每个假设先用现成句子切分器切句，再用基于嵌入的对齐器与自适应搜索得到对齐，其中空对齐表示过译或漏译。对每个对齐句，质量可用神经指标估计，延迟用长度自适应平均滞后估计，并用源语音段起始时间偏移假设句起始时间。空对齐直接赋最差质量与最大延迟惩罚。
\[¯qj = qj −mean(q1, · · · , qn) ¯lj = lj −mean(l1, · · · , ln) rj = ¯qj −λ · ¯lj,\]上式是奖励合并的关键。符号含义是：小写质量与延迟分别是假设内句子平均分，带横线的版本是组内归一化后的值，最终奖励是归一化质量减去加权归一化延迟。原文明确先对质量与延迟分别做组归一化再相加，以稳定训练。阈值、最大延迟与权重的默认取值为后文实验条件表所列，复现时应先按默认值起步。
切分与对齐为何不用传统的词错率最小化？
传统文档评测常用的切分器通过最小化词错率强制对齐，即使假设是乱码也会硬切出高分。论文报告观察到这种做法会引入句内切断等错误，并与神经指标不鲁棒的弱点叠加，导致乱码假设获得近乎满分的奖励投机。
替代方案采用的切分对齐工具先用现成切分器切句，再用嵌入对齐与自适应搜索稳健对齐，并显式保留空对齐以标记过译与漏译。形式上每个假设被切为多个句子，参考译文同样为句子序列，对齐结果是每组包含假设索引集与参考索引集的元组，任一为空即表示异常。
句子切分对齐 × 长度自适应平均滞后： 句子切分对齐负责把长假设切成句子并与参考译文句子对应起来，长度自适应平均滞后负责在每个对齐句上度量译文相对源语音的滞后，二者搭配的原因是长语音假设必须先落到可比的句子单元才能分别打质量分和延迟分，组合意义是实现句子级分层奖励与组内归一化。
教学上可以这样记忆：切分对齐是显微镜，延迟指标是秒表。没有可靠的显微镜，秒表再准也会量错对象。论文用乱码例子显示，旧切分下两句源语对应的乱码假设仍能得到接近满分的神经分数，而新工具通过空对齐给予惩罚，从机制上堵住了这一投机通道。这也是后文消融专门比较切分策略的原因。
训练与数据构造：合成什么、冻结什么、采样什么？
数据构造从大规模英语语音集合中选取子集，先用开源语音识别模型带时间戳转写，再按时间戳拼成长达 67.2 秒的段，对应 60 个 1.12 秒的块。每段用大模型翻译为中、德、日三语，再用两种质量估计模型过滤，只保留全部话语都通过阈值的长段。最后用词对齐工具对齐源词与目标词，强制单调并按语音块分组，得到有监督微调所需的交替格式。
有监督微调分 2 个阶段。第一阶段冻结大语言模型，只训练语音编码器与适配器。第二阶段冻结编码器与适配器，只微调大语言模型。全局批量对应约 2.4 小时音频，优化器与学习率按阶段分别设置，训练步数上限分别为 8000 与 2000 步，并随机合并连续块以增加多样性。
有监督微调轨迹 × 强化后训练： 有监督微调轨迹负责提供初始的读-写行为，但词对齐或大模型仿写都不能保证切分时机正确，强化后训练负责用质量与延迟奖励纠正这些错误行为，二者搭配的原因是合成数据规模大但有噪声，组合意义是先用合成数据学会交替格式，再用采样优化学会何时等待。
强化后训练复用同一合成数据集。每次取 32 个语音段，每段采样 16 条轨迹，采样用极高的截断参数以保留多样性。小批量为 128，散度惩罚权重为 0.01，裁剪率为 0.2，梯度范数裁剪为 1.0，优化器学习率为 1 乘 10 的负 6 次方。默认质量奖励为神经指标，阈值与延迟权重取默认值，训练至多 700 步并按验证质量奖励选点。单次训练在 3 个 8 卡节点上约 20 小时 500 步，其中一节点专用于奖励计算。
需要指出的缺项是，原文未报告梯度是否流经编码器之外的全部细节以外的逐层冻结矩阵，复现时只能按上述冻结描述实现，不应从模型名称推定额外实现。推理采用束宽为 4 的束搜索，重复惩罚为 1.0，长语音推理保留的缓存策略如前所述。
实验条件：数据、基线与指标方向如何保证可比？
评测用两套数据。第一套是学术报告构成的开发集，每篇 10 到 20 分钟并译为包含中德日在内的 10 种语言，也被近期评测采用。第二套是更口语化的真实演讲集，平均每篇约 5 分钟，仅有英中方向，更接近现实自发语音。训练数据来自视频语音集合的英语子集，过滤后中、德、日分别保留约 1592、1622 与 1018 小时。
基线包括离线翻译与强同传基线。离线翻译使用全部语音上下文，视为质量近似上界，论文同时实现话语级与长段两种推理，前者只给预切分话语，后者每次处理至多 67.2 秒并以前文译文为条件，以公平对比直接处理长语音的同传模型。强同传基线是此前在低延迟赛道质量最优的交替结构模型，也是本文后训练的初始化。
指标方向必须记牢。延迟用流式长度自适应平均滞后，越小表示越快，单位为毫秒或秒。质量用多个指标交叉验证，神经指标越高越好，其中一个指标以负数表示且越接近零越好，文本重叠指标越高越好，另有大模型评测作为补充。空对齐在延迟上记 10 秒惩罚，在质量上记最差分，这是理解曲线断点与惩罚项的前提。
资源可用性按本次核验声明：正文引用的切分工具官网与强化训练代码仓库本次均可达，状态码为 200，可写为当前可用。但这只表示链接可达，不代表权重、数据与完整运行环境可直接复现，复现节将区分代码开源与系统可运行。
训练与部署成本：复现前必须知道的开销有哪些？
复现成本按原文交代可分为数据、训练与推理三部分。数据侧需要转写、翻译与过滤流水线，长段上限与块长固定，过滤阈值按语向分别设置。训练侧有监督 2 阶段步数与批量已定，强化阶段每步采样量为 32 乘 16，小批量 128，步数上限 700 并按验证奖励选点。
下表把可直接用于复现配置的关键超参数整理为五列，数值保留原文写法，便于逐项核对。
| 组件 | 参数 | 默认值 | 采样/批量 | 约束来源 |
|---|---|---|---|---|
| quality reward | qthres | −5 | MetricX default | validation quality reward 选点 |
| latency penalty | lmax | 10 seconds | most trajectory smaller | null alignment penalty |
| reward weight | λ | 0.5 | group normalization 后相加 | default setting |
| rollout sampling | top-p/top-k | 0.999/10000 | 32 segments, 16 trajectories | mini-batch size 128 |
| optimization | KL/epsilon | 0.01/0.2 | Adam lr 1×10−6 | up to 700 steps |
表后说明同样要讲代价。单次强化训练约 20 小时 500 步，需 3 个 8 卡节点且一节点专用于奖励计算，说明奖励模型本身是主要开销。推理侧束宽为 4，长语音需维护滑动窗口与历史缓存，实际延迟不仅取决于模型等待策略，还取决于硬件吞吐与缓存实现。总体趋势不等于每一步都更快，论文曲线是按延迟 operating points 比较，复现时应报告完整曲线而非单点。
另一特有细节是数据合成中的单调化与按块分组。词对齐先给出可能非单调的对应，再强制单调并把对应同一语音块的目标词归为 1 次写出，这一步决定了初始等待行为。理解这一点才能明白后训练纠的是时机而非格式。
主结果：在相近延迟下质量提升了多少、有何代价？
要回答的核心问题是：在可比延迟下，分层后训练是否稳定优于强基线，以及与离线翻译的差距还有多大。公平条件是同一评测集、同一延迟度量、同一质量指标族，横轴为延迟，纵轴为质量，曲线点对应不同等待策略。支持的判断仅限于 3 个神经指标方向，文本重叠指标是已知的例外。
下图是开发集三语向四指标的结果矩阵，每行一语向，每列一指标，红色星形为本文方法，蓝色方形为强基线，另有两条离线水平线作为参照。
看图路径： 1. 按行对比英中、英德、英日三个语向的四列指标；2. 在每幅子图中比较红色星形与蓝色方形随延迟的变化；3. 注意最右列 BLEU 与其他三列神经指标走势是否一致
论文图 4。原论文 Figure 4：“Evaluation results on the ACL 60/60 dev set.”。
从可见内容看，在神经指标三列中红色曲线多数位于蓝色曲线之上，尤其在 1.5 秒附近差距明显，部分点甚至达到或超过离线长段水平。而在最右列文本重叠指标中，红色并不占优，蓝色在部分延迟段更高。这说明提升集中在语义与流畅性维度，而非字面重叠维度。下表把原文直接报告的关键增量整理为可核对的陈述，数值与单位保留原文写法。
| 条件 | 指标 | 基线 | 本方法增量 | 比较对象 |
|---|---|---|---|---|
| 1.5 seconds 延迟附近 | COMET score | 最强基线 | over +7 COMET score | English to Chinese/German/Japanese |
| 1.5 seconds 延迟附近 | MetricX score | 最强基线 | +1.25 MetricX score | English to Chinese/German/Japanese |
| average latency of 1.5 seconds | BLEURT | 最强基线 | +4 BLEURT improvement | strongest baseline |
| StreamLAAL 延迟轴 | Gemini-as-Judge | InfiniSST 基线 | 未见稳定超越 | En-Zh dev set |
| RealSI En-Zh | COMET/MetricX/BLEURT | InfiniSST 基线 | 高于基线 | comparable latency |
表后解释必须同时讲收益与代价。主要收益是：在相近延迟下神经质量指标系统性上移，且在部分语向逼近离线翻译。具体代价与反例是：文本重叠指标未胜出，大模型独立评测也未显示稳定超越，论文自身将其解读为神经奖励可能带来奖励投机的警示。换言之，报告显示的是在所用奖励与评测指标相关维度上的改进，不能直接等同于人工感知的全面超越。
另一细节是真实口语集的结果趋势与开发集一致，说明改进不限于学术报告语体。但原文也指出离线翻译若同样做强化优化可能更强，只是受计算预算限制未做，因此离线线应理解为当前可运行基线而非理论上界。
反证与消融：换奖励、换组合、换切分会怎样？
第一个要验证的是质量奖励本身。论文只用质量奖励训练多个模型，再用 4 种自动指标交叉验证，并对其中 4 种做人工评价。公平条件是同一采样与训练流程，只换奖励函数。结果显示多个奖励表现接近，其中默认奖励在多数自动指标略优，且在人工评价中对齐最好，因此被选为默认。
下图是 6 种奖励的交叉验证与人工评价，左 4 组为自动指标，右一组为人工评价，柱子颜色对应不同奖励，适合逐组比较高度。
看图路径： 1. 先看左四组柱状图：不同奖励函数在四种自动指标下的相对高度；2. 再看最右人工评分组：哪个奖励对应的柱子明显更高；3. 对比同一奖励在自动指标与人工评价上是否同时占优
论文图 6。原论文 Figure 6：“We train HPO using six different quality reward functions (Seed-X-RM, M-Prometheus, MQM, MetricX, VIP-LLM, and COMET) and cross-validate their performance across four evaluation…”。
从可见柱状看，基线柱明显偏低，默认奖励柱在多组中保持高位，而人工组中默认奖励柱显著高于其他候选。这支持选择默认奖励，但也留下限制：人工评价仅覆盖 4 种奖励，且样本与协议细节有限，不能推广为所有语向与场景的最优。
第二个验证是奖励组合方式。比较对象包括只分别归一化再相加、归一化加截断、文档级分层与句子级分层。论文报告句子级分层在延迟与质量权衡上整体最优，文档级次之，简单相加与截断方案在同等质量下延迟更高或质量更低。这支持把门控放在句子粒度而非整段粒度的设计。
第 3 个验证是切分策略。旧切分强制对齐乱码假设并给出虚高神经分数，新工具通过空对齐惩罚过译与漏译，从机制上减少投机。超参数敏感性显示默认阈值、最大延迟与延迟权重整体最优：阈值调高会显著增大延迟，调低会降质量；最大延迟调小伤质量，调大与默认相近；延迟权重调小增延迟，调大降质量。这些都是有源的权衡描述，不应理解为去掉某项必然崩溃。
边界与未验证事项：哪些结论不能直接推广？
论文明确报告的局限包括：只验证单一交替架构、单一词对齐合成路线与 3 个英源语向，未覆盖其他源语言与架构。最佳奖励仍不完美，案例分析显示它偏好流畅与连贯，有时会跳过次要细节，人工抽查发现约 28% 更流畅、10% 更忠实，但 6% 出现省略。
未测量的量不能承诺改善。原文未报告误判率、逐词延迟分布与完整推理成本，因此不能把质量曲线上移直接写成实际对话延迟降低或计算开销降低。相关性也不是因果，神经指标与人工评价的一致性仅在有限奖励子集上验证，换奖励、换语向或换领域时可能变化。
还有一个特有误解需要澄清：离线翻译线高于同传并不意味着同传失败，因为离线使用了全量未来上下文，本就是近似上界；同传的价值在于流式可用性。反过来，同传在部分点超过离线也不意味着全面超越，因为指标族不同结论不同，文本重叠与独立大模型评价就是反例。
下表把运行与验证边界整理为可执行清单，数字保留原文写法。
| 项目 | 原文报告 | 未报告/未验证 | 复现建议 | 风险 |
|---|---|---|---|---|
| architecture | InfiniSST single | other architectures | 先复现同架构 | 跨架构待验证 |
| data hours | 1592/1622/1018 hours | other source languages | 按语向分别过滤 | 阈值需重调 |
| segment length | 67.2 seconds / 60 chunks | longer than 67.2 seconds 推理 | 保留滑动窗口 | 长尾待测 |
| training steps | up to 700 steps | beyond 700 steps | 按验证奖励选点 | 过训待验证 |
| human eval | 100 outputs 抽查 | 全量误判率 | 补人工漏译率 | 省略风险 |
该表仅用于框定复现边界，已报告项按原文条件复用，未报告项不得外推为性能承诺，复现时应先对齐分段与选点逻辑再讨论延迟与成本取舍。
复现先做什么：最小可运行路径是什么？
若要复现，建议按学习依赖顺序推进。第一步先跑通数据合成：用带时间戳的识别结果拼长段，用大模型翻译并按阈值过滤，再用词对齐、单调化与按块分组得到交替格式。先检查长段上限、块长与过滤阈值是否与原文一致，再看交替样本是否出现空等待与多词写出两种动作。
第二步跑通有监督基线：按 2 阶段冻结关系训练，先只训编码器与适配器，再只微调大模型，确认模型能处理长语音并复用缓存。第 3 步再进入强化后训练：固定每步 32 段、每段 16 轨迹、小批量 128 与散度权重，按默认阈值、最大延迟与延迟权重起步，训练至多 700 步并按验证质量奖励选点。
验证时先复现延迟-质量曲线而非单点。同一评测集上用同一流式延迟度量与同一句子对齐工具，分别画出神经指标与文本重叠指标，检查是否出现神经指标上移但文本指标不占优的分化。若分化复现，说明已抓住本文的核心现象；若要进一步确认投机程度，需补独立大模型评价与人工漏译率，而这正是原文指出的待补验证。
代码与权重需区分看待。本次可达的仓库链接只保证页面可访问，不保证一键运行。复现前应确认语音编码器、大模型、奖励模型与对齐工具的版本与下载方式，并记录硬件配置，因为奖励计算节点与推理共置会显著影响 wall-clock 开销。
何时值得尝试这种分层后训练？
当同时满足 3 个条件时值得尝试：已有大量合成交替数据但切分时机不可靠，需要支持分钟级无界输入且必须复用缓存，以及延迟奖励容易导致抢译。此时先用合成数据学会格式，再用句子级质量门控约束延迟，比直接加权更符合先译对再译快的直觉。
不适合直接套用的情况包括：参考译文质量不高、句子对齐本身不可靠、或目标场景更看重字面一致而非流畅改写。因为奖励与评测都依赖切分对齐与神经指标，若对齐错或奖励偏好与任务偏好不一致，后训练会放大偏差。
收束时回到可核对的事实：论文在所报告的 3 个语向与两个评测集上显示了神经指标的系统性提升与文本指标的例外，消融支持句子级分层、稳健切分与默认超参数的选择，但也报告了省略风险与奖励投机的可能。研究生复述时应保留条件、指标方向与代价，而不是只记增量数字。若要把方法搬到新语向，第一件要补的验证是独立人工评价，而非继续调大延迟权重。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses