把找路和打分分开：用轻学生找束、重教师定稿的语音束搜索

英文题目：Decoupling Search and Evaluation: Efficient Beam Decoding for Language Model-Based Text-to-Speech Synthesis

会议身份：conference:interspeech:2026:conference-paper-id:liu26l_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#知识蒸馏 #高效推理 #语音 #文本到语音

评分：6.6/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Chenlin Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Jie Gao：机构信息未能从会议 PDF 纯文本可靠映射
• Wei Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Guangyan Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Minghui Fang：机构信息未能从会议 PDF 纯文本可靠映射
• Jiqing Han：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为文本与提示语音，输出为长序列离散声学码元再合成波形，码元自相关强且信息密度低导致一步错即不可逆级联，采样随机抖动而传统集束易陷入静音或噪声循环且延迟过高。所提搜索评估分离集束解码Search-and-eValuatE beam decoding将轻量学生用于局部分块建树，将原始教师用于树形精确评分与最优前缀选择，再以硬重复掩码阻断退化环路。相对传统集束搜索的关键差异在于不再由同一大模型同时承担扩展与评分，而是以排序保持的蒸馏学生降低扩展开销并以短块交替抑制误差累积。在SeedTTS-Eval英文与中文子集上相对采样基线词错率最高下降约一半，同时相对传统集束搜索实现最高约5.1倍的语言模型模块加速且实时因子回到接近基线水平。该结论限于CosyVoice 2基座与中英文朗读型评测，未验证长篇韵律、强情感或噪声提示下的外推稳定性。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么语音词元特别难解码？

这篇论文研究的输入是文本加一段用于确定音色和语境的提示语音，目标输出是可声码器还原为波形的离散声学词元序列，再经词元到波形模块合成语音初学者可以把整条链路理解为文本到词元的自回归语言模型加词元到波形的声码器论文的基础模型是 CosyVoice2，语言模型部分负责逐个预测下一个声学词元声码器负责把词元序列变成可听语音

语音词元和文本词元的一个关键区别是信息密度低且时间自相关强文本错一个词有时还能从语义补回来，语音错一个词元则可能破坏发音、节奏或音色，并因前后强相关被不断放大原文明确指出单个错误词元可能迅速级联，导致长时间静音或噪声循环这类时间坍缩低能量片段如停顿、吸气、拖尾和背景噪声在离散域表现为重复或同质词元，模型在不确定时会偏向这些高先验模式

因此解码策略不是可有可无的后处理，而是直接决定内容一致性、说话人相似度和自然度的关键环节常用的采样解码用低温度、小阈值或置信度过滤来求稳，但仍有随机不稳定和尾部采样错误最大化解码想直接找高概率序列，确定性更强，却在语音上同时撞上退化与延迟两堵墙理解这两堵墙是读懂后文分工的前提

已有的采样、束搜索和推测解码各解决了什么，还缺什么？

同输入同目标的第一条路线是采样解码，包括 top-k、nucleus 采样以及 VALL-E、CosyVoice 等实践中的保守配置做法是压低温度、缩小采样阈值或加置信度过滤，作用是缓解灾难性失败，代价是牺牲确定性，且仍可能抽到尾部错误论文把这类方法当作基线，即原文所说的原始采样解码

第二条路线是直接做束搜索，以 TRAD-BS 为代表它在 CosyVoice2 上按推荐配置复现，束宽为 5 并带时间与束间重复惩罚这类工作试图用软惩罚抑制重复，使束搜索在语音上可用论文承认它缓解了部分退化，但指出软惩罚在最大化解码下仍不足以防止坍缩，且延迟开销没有解决

第 3 条路线是加速推理，包括蒸馏后替代解码和推测解码蒸馏替代是训练小模型后直接接管推理，推测解码是小模型起草、大模型验证以提高接受率 Medusa 类多词元预测在语音合成中也有尝试论文明确区分自己与这两条路线的不同，不把最终解码权交给学生，也不以提高接受率为目标，而是严格保留寻找高概率序列的目标，只把束构建加速

3 条路线对照下来，缺口很清楚，采样不够稳，传统束搜索不够快且不够稳，通用加速又不直接保住束搜索的质量目标这正是后文把搜索与评估解耦的动机

束搜索为什么在语音上又慢又容易坍缩？

先走完一个样本的失败路径有助于建立直觉假设文本要求连续朗读，语言模型已生成一段正常语音词元下一步若进入一段不确定的弱能量区，静音对应的重复词元先验较高束搜索确定性地选最高概率延续，就会强化这个局部声学 regime 一旦进入静音或噪声主导区，自增强反馈会让重复持续，最终输出很长的静音或噪声，这就是时间坍缩

为什么文本束搜索不至于如此，语音会如此原文给出的机制是语音序列更长、时间自相关更强、信息密度更低，局部错误不可逆且易级联软重复惩罚只是压低概率，没有切断回路，在弱学生预测下尤其脆弱后文消融显示，把软惩罚换成硬约束才能实质降低错误，而去掉硬约束时退化频繁出现

延迟问题同样来自束搜索的定义每步要把 B 条束向整个词表展开，再算累积对数概率并保留前 B 原文把前者叫搜索，后者叫评估在标准实现中两者都用同一个全尺寸模型做，于是每步都是 B 倍前向开销，长语音序列下逐自回归步累积论文在 RTX 3090 上复现传统束搜索后报告，相对采样解码语言模型解码阶段放慢明显，端到端也放慢明显，实时因子恶化到非实时水平

采样解码 × 束搜索： 采样解码指按 top-k 或 nucleus 分布随机抽下一个声学词元，分工是用随机性绕开灾难性局部最优但引入不稳定；束搜索指同时维持 B 条高累积对数概率假设并取前 B，分工是用确定性最大化压住随机波动；搭配比较的原因是语音词元一旦走错会因强时间自相关快速级联，组合意义在于论文不是在二者之间调参，而是保留最大化目标、用解耦把束搜索做到可用延迟。

理解到这里，问题可以压缩为一句话，束搜索的质量目标值得保留，但它的搜索开销不该与评估用同等算力，它的坍缩回路不能只靠软惩罚

SaVE-Beam 的全景：谁铺路，谁定稿，如何交替？

SaVE-Beam 的全称是 Search-and-eValuatE 束解码，核心动作只有一句，把假设扩展与序列打分分给不同模型做轻量学生负责块级束构建，重教师保留精确评估与最终选择两者按短块交替，学生铺一小段路，教师验货并定稿一段，再进入下一块

具体到一个样本，流程是已有保留声学词元序列作为提示，学生模型在块长 L 内展开束树并做硬重复掩码与每步剪枝，教师模型对候选做树形解码得到精确分布，再做 top-K 过滤与接受检验，选出最优路径并由教师对首个拒绝位置回退补一个词元，然后把新确定的词元拼回序列这种学生扩展加教师评估的循环重复直到整句结束

搜索 × 评估： 搜索指在每一步把当前束集合向词表展开成候选树并做局部保留，分工是快速提出多条高概率走向；评估指用原教师模型对候选做树形打分、过滤与接受检验，分工是精确判定哪条该留；二者搭配的理由是原文剖析发现搜索占约 98% 时间而评估只占很小部分，不必同等算力，组合意义是把重算力留给判定、轻算力用于铺路，从而在不改变求高概率序列目标的前提下降低延迟。

读图前需要先明确看图目标，这张管线图要回答的不是模型结构，而是控制流，左侧循环提供提示，中间分出搜索与评估两栏，右侧拼出定稿并回指下一轮下面这张官方原图完整呈现了这一闭环

看图路径： 1. 先从左侧已保留声学词元序列出发，沿箭头看到学生模型交替生成束块的过程；2. 再看中间浅蓝搜索区内标注的束宽 B、块长 L 与每步保留 N 个节点的位置；3. 接着看右侧粉色评估区内树形解码、top-K 过滤与接受检验三步的上下顺序；4. 最后看最右侧如何拼出最终选中束并回指进入下一轮扩展

论文图 1。原论文 Figure 1：“Decoding pipeline of SaVE-Beam.”。

这张图左侧用绿色方块表示已保留声学词元序列，箭头指向学生模型，说明每轮的起点都是定稿历史中间浅蓝色搜索区画出束宽 B 向外展开、块长 L 向右延伸的树，剪刀标记对应只保留 N 个节点右侧粉色评估区自上而下是树形解码、top-K 语言模型过滤与接受检验，阈值线指向最终选中束，最右侧向上箭头标出拼回并进入下一轮扩展初学者应把颜色当作职责分界，蓝色是提名，粉色是审核，绿色是定稿

学生如何提名，教师如何审核，参数如何定？

搜索阶段的输入是当前提示加束宽 B，输出是一棵深度为 L 的候选树学生用自蒸馏训练，教师 logits 与学生 logits 先经温度平滑再做交叉熵蒸馏，温度取 2，蒸馏损失带温度平方的梯度重缩放训练时把学生自己的预测递归喂回输入，模拟多步束展开，目的是暴露其预测误差，提高 rollout 下的鲁棒性优化重点是保住高概率候选的排序，而非精确校准概率

为防坍缩，搜索阶段对最近窗口 w 内词元直接掩码，概率置零后重归一化搜索窗口取 10，评估窗口取 15 论文强调刻意不用软惩罚，因为软惩罚在学生较弱时仍会被击穿每步再按累积分数只保留前 100 个节点，这就是动态剪枝

学生模型 × 教师模型： 学生模型是由教师自蒸馏得到的 1 至 2 层小模型，分工是承担块内束树展开，优化目标是保住高概率候选的排序而非精确概率；教师模型是原 CosyVoice2 的 0.5B 语言模型，分工是做树形解码得到精确分布并做最终选择；搭配原因是束搜索更依赖相对排序，组合意义是学生只负责提名、不负责定稿，避免把最终解码权转移给弱模型。

评估阶段的输入是学生候选树，输出是定稿词元教师先做树形解码得到精确分布，再做语言模型过滤，若某词元不在教师 top-K 为 5 之内则直接剪掉剩余词元逐个算接受率，即教师概率除以学生概率加小常数后的截断值，大于等于阈值 0.5 才接受对每条候选路径记最长接受前缀长度与对应教师对数概率和，按先比长度再比分数的字典序选出最优路径，并由教师在首个拒绝位置按硬重复约束取概率最大词元补上

动态剪枝 × 接受检验： 动态剪枝指学生在块内每步只按累积分数保留前 N 为 100 个节点，分工是控制束树宽度与展开量；接受检验指教师对剩余词元计算教师概率与学生概率之比并与阈值比较，分工是逐词元验证学生提名是否可信；搭配原因是剪枝后的候选仍需教师口径复核，组合意义是先减量再验货，选出接受长度最长、打分最高的那条并对首个拒绝位置由教师回退补一个词元。

与推测解码的差别需要专门澄清推测解码追求接受率以加速，质量增益有限 SaVE-Beam 追求在保留束搜索高概率目标下降低延迟，并用严格约束保证最大化解码的稳健性论文还指出已有语音推测解码多为 Medusa 类架构，没有与这种块级师生框架直接可比的开源实现

块长、束宽与窗口之间如何权衡？

块长 L 取 5，束宽 B 取 8，动态剪枝保留 100 个节点，过滤 top-K 取 5，接受阈值取 0.5，搜索窗口取 10，评估窗口取 15 这些取值不是随意凑整，而是围绕两个矛盾定的块太长会让学生误差累积，块太短会让教师频繁介入而失去加速意义束太宽能提升质量上限，但展开量与评估量都会上升窗口太大可能伤正常重复韵律，太小则堵不住循环

论文用 1 层与 2 层学生做了对照两者最终有效词元数相近，但 1 层学生拟合能力弱，提名被拒更频繁，导致需要更多块扩展，总步数更多 1 层变体并没有因更小而更快，这说明瓶颈不在学生前向 1 次有多便宜，而在提名质量决定了要走多少轮

块级束扩展 × 硬重复约束： 块级束扩展指学生只连续展开长度 L 为 5 的短块、随后交由教师评估选出一段再更新提示，分工是截断弱模型的误差累积；硬重复约束指把最近窗口 w 内出现过的词元概率置零再重归一化，分工是直接切断静音或噪声循环的自增强回路；搭配原因是弱学生在长声学序列上更易滑入局部高先验，组合意义是先用短块限制漂移距离，再用硬掩码堵住坍缩入口。

初学者常误以为小模型一定更快，这里要纠正为有效速度等于单步成本乘以步数若单步省下的时间被更多轮次吃掉，总延迟未必下降选 2 层还是 1 层，本质是在提名通过率与单步成本之间找平衡论文主结果用 2 层学生在英文与中文上都更稳，困难集上一层与 2 层速度接近但内容一致性略有差异

训练了什么，冻结了什么，监督从哪里来？

需要训练的是轻量学生模型，教师即原 CosyVoice2 语言模型在蒸馏中提供监督训练数据用 LibriTTS 与 WenetSpeech4TTS 的优质子集，训练在 8 块 H800 上进行，评估在单块 RTX 3090 上进行学生结构取 CosyVoice2 的 0.5B 变体中的 1 至 2 个隐藏层，蒸馏温度为 2 论文未报告优化器类型、学习率、训练步数与数据划分细节，这些是复现时需要补齐的缺项，不能从模型名推定

监督来源是教师 logits 经温度平滑后的软分布，损失是带温度平方缩放的交叉熵梯度只更新学生，教师参数冻结训练输入包含学生自预测的递归回喂，目的是让学生见过自己的错误，而不是只在教师强制的干净前缀下训练

没有训练的是教师语言模型、声码器、说话人编码与识别评估器教师在推理时负责精确评估，声码器只负责把词元转波形，Whisper-large-v3、Paraformer 中文模型与 CAM++ 只用于测内容一致性与说话人相似度，不参与解码决策把训练与调用分开，才能正确归因速度与质量变化

在什么数据、基线和指标下比较，方向如何判定？

评估用 SeedTTS-Eval 基准，覆盖英文测试集、中文测试集与困难集基础模型是 CosyVoice2，基线包括原始采样解码与复现的传统束搜索 TRAD-BS，后者束宽为 5 并带时间与束间重复惩罚比较的公平条件是同一基础模型、同一测试子集与同一硬件下的语言模型解码速度与系统实时因子，论文还单独报告词元到波形时间以区分声码器开销

指标方向要先讲清，每秒词元数越高越好，速度比越高越好，实时因子越低越好，词错误率与字错误率越低越好，说话人相似度越高越好，平均意见分越高越好主观评分由 13 名中文母语者与 12 名英文母语者对每种方法 40 条语音按 1 至 5 整数打分，并报告 95% 置信区间论文指出说话人相似度足够高后感知差异很小，例如 0.7 以上不宜过度解读小数点后差异

复现传统束搜索的细节值得初学者学习，论文固定了束宽与惩罚配置，并在中文子集上做延迟剖析，把搜索与评估的时间占比拆开这一步直接引出后文解耦是否把计算搬到更均衡的位置

解耦是否同时改善了延迟与内容一致性？

先看延迟瓶颈是否真实存在传统束搜索相对采样解码在语言模型阶段与端到端都明显变慢，系统实时因子进入非实时区间，而搜索阶段占总解码时间的绝大部分这说明加速必须动搜索，而不是在评估上修修补补下表把原文报告的放慢倍数、实时因子与搜索占比放在同一视图，阅读时注意数值越大对传统束搜索越不利

上表说明传统束搜索的主要代价不在打分，而在每步用全尺寸模型做 B 倍展开正因为如此，用小学生做展开才有理论空间下表转向 SaVE-Beam 的收益，重点是相对传统束搜索的加速倍数与相对采样的错误率下降，阅读时注意加速倍数越大越好、错误率下降越大越好

后两段需要补充论文的限定论文报告 SaVE-Beam 在英文与中文上把词或字错误率分别降低约 50% 与 33%，主观分也有提升，系统实时因子回到接近基线，约为 1.18 至 1.19 这支持解耦在不牺牲延迟下改善内容一致性的判断但困难集上传统束搜索反而变差，SaVE-Beam 只是没有同样恶化而非全面取胜，且说话人相似度差异很小，不宜夸大音色收益

拿掉硬约束或剪枝会发生什么，哪类坏例最说明问题？

论文做了两组关键反证第一组是硬重复约束，把传统束搜索的软惩罚换成窗口为 10 的硬约束后，英文集词错误率明显下降，坍缩缓解反过来让 SaVE-Beam 改用软惩罚时，退化频繁出现，尤其在学生较弱的搜索阶段这支持硬约束对最大化语音解码至关重要的判断

第二组是动态剪枝与随机性在困难集上，传统束搜索没有额外坍缩，加硬约束也不能恢复性能论文推测困难集更容易触发语言模型幻觉，而偏好局部最优的束搜索会放大该问题 SaVE-Beam 用弱学生提名引入可控随机性，反而有助于跳出局部最优去掉动态剪枝以增加随机性后，困难集字错误率进一步改善这提示确定性与随机性之间存在值得利用的中间地带，但原文用词是推测与可能，尚未验证因果

初学者应注意未胜出项传统束搜索在英文与困难集上词或字错误率高于基线，说明全束搜索并不总是更准困难集上 SaVE-Beam 的内容一致性改善幅度小于普通集，主观分也未拉开这些负结果恰好说明不能把束搜索当成无条件更优，只能说在合适约束与评估下更稳

哪些结论有直接证据，哪些只是推测与未测边界？

直接报告的是延迟重分布与部分质量指标搜索占比从传统束搜索的很高降到 SaVE-Beam 的 70% 左右，评估占比相应上升，系统实时因子回到接近基线英文与中文的内容一致性提升与主观分提升有表格与置信区间支撑，困难集上未恶化也有数字支撑

有限解释的是困难集机制论文用幻觉与局部最优来解释传统束搜索变差，用可控随机性解释 SaVE-Beam 的韧性，并用去掉剪枝的改善来佐证但这些仍是事后解释，没有直接测量幻觉率、接受长度分布与错误类型的因果链条，应表述为支持而非证明

未验证的是更宽边界论文未报告不同束宽、块长、窗口与阈值下的完整灵敏度，未测量误判率随长度的变化，未报告训练资源与超参数搜索成本，也未在其他基座模型与流式条件下验证推理开销与实际延迟的关系不能把总体加速趋势推广为每组每步都成立，也不能承诺未测量的成本同样改善缺失证据不是技术错误，但复现与选型时必须当作待验证项

要复现应先固定什么，再调什么？

复现的第一步是固定可运行基线先跑通 CosyVoice2 原始采样解码，再按束宽为 5 加时间与束间重复惩罚复现传统束搜索，并在同一 RTX 3090 级别硬件上记录每秒词元数、搜索与评估占比、词元到波形时间与系统实时因子只有基线延迟与错误率对齐，后续加速才有意义

第二步是构造学生与解耦管线用 LibriTTS 与 WenetSpeech4TTS 优质子集做温度为 2 的自蒸馏，学生取 1 至 2 层，推理固定块长为 5、束宽为 8、保留节点为 100、搜索窗口为 10、评估窗口为 15、过滤 top-K 为 5、接受阈值为 0.5 按学生扩展、教师树形解码、过滤、接受检验、回退补词元的顺序实现块循环，缺失的优化器与训练步数需自行记录并做敏感性检查

第三步是补验证先做去掉硬约束与去掉动态剪枝的消融，再在英文、中文与困难集上分别报告内容一致性、说话人相似度与主观分，注意百分点与相对百分比不可混用资源状态方面，本次可核对的来源未绑定完成 HTTPS 验证的代码、模型或数据资源，因此不能写代码或权重已公开，只能写以论文参数与流程为准自行实现

何时值得尝试这种解耦，记住哪条可复述的方法主线？

当系统已用采样解码但仍受随机不稳定困扰，又无法承受传统束搜索数倍延迟时，这种解耦值得尝试它的适用条件是能接受 1 次蒸馏训练与多个阈值调参，且声码器不是主要瓶颈若任务对韵律重复敏感，硬窗口需要更谨慎地调，避免误伤正常停顿与拖音

可复述的主线是先剖析延迟，发现搜索占绝大部分，再用保排序的小学生做短块提名，用原教师做精确评估与定稿，用硬掩码切断重复回路，用接受检验与回退保证每块至少向前推进一步这条主线把加速放在提名侧，把质量兜底放在审核侧

最终记忆点不是小模型替代大模型，而是分工，找路可以轻，打分必须重，块级交替控制漂移，硬约束堵住坍缩困难集的反例提醒我们，最大化并非总是更准，弱提名带来的随机性有时反而是韧性来源，这也是后续值得继续验证的方向

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总