只记最近的声音：WAND 用全局加局部门限把自回归语音合成的显存拉成常数

英文题目：WAND: Windowed Attention and Knowledge Distillation for Efficient Autoregressive Text-to-Speech Models

会议身份：conference:interspeech:2026:conference-paper-id:lee26j_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #知识蒸馏 #高效推理 #跨语言 #文本到语音

评分：7.0/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Hanna Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Tan Dat Nguyen：机构信息未能从会议 PDF 纯文本可靠映射
• Jaehoon Kang：机构信息未能从会议 PDF 纯文本可靠映射
• Kyuhong Shim：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

自回归文本到语音（autoregressive text-to-speech，AR-TTS）以系统提示（system prompt，s）、目标文本（target text，x）与参考音频提示（reference audio prompt，apr）为条件逐token生成离散声学序列，全量自注意力（full self-attention）导致显存与计算随长度增长。第一步做注意力解耦与缓存分区，对条件token保持常驻全局注意力（global attention），对生成声学token只保留大小为W的局部滑动窗口注意力（local sliding-window attention），输出固定全局缓存加滚动窗口缓存的结构。第二步承接该截断结构做知识蒸馏适配，以全注意力教师用交叉熵损失（cross-entropy loss，LCE）锚定真值并以偏斜KL散度（skew Kullback-Leibler divergence，LKL）对齐分布，弥补远距截断的内容一致性损失。第三步再承接蒸馏训练做课程稳定，从128收缩至目标窗口并以温度软掩码渐进约束远端注意力，全程复用预训练权重且不改架构。与从头训练的非自回归加速不同，该机制只丢弃少量解码区注意力质量并抑制远端采样伪影传播，其关键差异在于无需结构改造即可实现与总长度无关的常数开销。在Seed-TTS-eval基准test-en任务下，WAND版CosyVoice 2的词错率（word error rate，WER）为1.72%，低于基线全注意力的WER 1.94%。在仅用 LibriTTS train-clean-100 约 53.8 小时英文数据微调 1 个 epoch 后，三模型在 Seed-TTS-eval test-en 上 10 秒生成的 KV 缓存减少 49.9% 至 66.2%，GFLOPs 加速 1.51 倍至 1.89 倍，词错率（word error rate，WER）持平或微降，跨语言 test-zh 字符错率（character error rate，CER）退化在 0.1% 绝对值内。结论限于 10 秒级短句与中英双语，未实测分钟级韵律漂移与超长外推。该结论的适用边界受限于10秒级短句验证，分钟级韵律漂移尚未验证，而训练成本仅为单卡20GB显存单轮微调且推理开销以常数延迟维持。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么长语音会卡住？

这篇论文研究的输入是零样本自回归语音合成任务。输入包括 4 类信息：系统提示词，它编码全局约束；目标文本，它规定要说什么内容；参考音频提示，它规定用谁的声音和风格说；以及在生成过程中逐步产生的声学 token 序列。

输出是从这些条件出发逐个预测出的声学 token，再经神经音频编解码器还原为波形。研究生可以这样走一遍样本：把一段英文句子和一段 3 秒左右的参考语音交给模型，模型先把文本和参考音频编码成条件前缀，然后从第一个声学 token 开始，每一步都看一眼全部条件加全部已生成历史，再预测下一个 token，直到说完目标句子。

卡住的位置在自注意力。解码器每生成一个新 token，都要和之前所有 token 计算注意力权重。序列越长，键值缓存越大，单步计算量也越大。论文指出，即使广泛使用的键值缓存把每步计算降到接近线性，显存占用仍随每个生成 token 累积。对于需要连续生成长段落、有声书或直播式合成的场景，这意味着要么中途显存溢出，要么延迟越拖越长。论文的目标就是在不改模型结构、不从头训练的前提下，把这部分随长度增长的开销封顶，同时保住原有的自然度和内容准确性。

必须保留的信息是：研究对象是已预训练的解码器自回归语音合成模型，不是新设计的声码器或新编解码器；效率指标是 10 秒生成的键值缓存兆字节数和累计吉浮点运算量，以及随 token 序号变化的单步延迟；质量指标包括词错误率、字符错误率、说话人相似度和主客观语音质量分。输出是一份能复述方法的解读，不承诺未测量的端到端 wall-clock 加速或所有硬件上的表现。

已有加速路线各解决了什么，又留下了什么？

要理解作者的选择，需要把同输入、同目标、同运行阶段的加速路线放在一起看。第一类是层剪枝，通过减少模型深度来压缩参数量。原文明确指出，这类方法没有改变自注意力本身，剩下的每一层仍然是 2 次计算复杂度和相同的每层显存开销，因此不能解决长序列的缓存膨胀。第二类是换成线性时间结构，例如门控线性注意力和基于 Mamba 的结构。

原文认为它们能带来更高吞吐，但需要从头训练，且生成语音的质量和韵律自然度常与成熟的自回归语音合成模型有差距。第 3 类是优化解码过程，例如推测解码和并行解码，每步生成多个 token。原文指出它们仍然依赖自注意力，没有解决底层的显存扩展问题。

与上述路线同阶段可比的是键值缓存。它被当前先进模型广泛采用，能在保留原模型性能的同时实现接近线性的推理代价。但原文强调它的关键瓶颈是累积显存随每个生成 token 继续扩大，限制了长形式合成，并带来硬件约束。这正是本文要动的部分。作者没有选择换结构或只做解码技巧，而是提出假设：语音合成可能不需要全序列注意力。

条件端的文本和参考音频提供足够的语义和声学上下文，生成的语音 token 主要维持局部时间一致性，只需局部视图来跟踪相对单调语音轨迹上的解码位置。这一判断与文本大模型中的注意力汇聚现象一致，即大部分注意力集中在若干前缀 token 和局部窗口。

因此，后文的方法不是在训练一个新模型，而是在已有预训练权重上做注意力限制加适配。复现时不要把本文与从头训练的线性注意力模型直接比绝对音质，因为训练数据和结构起点不同；公平的比较是同一基座在全注意力和窗口注意力下的质量与效率变化，这也是原文表 1 的组织方式。

问题如何形式化，窗口假设具体断在哪里？

原文把条件生成写成连乘形式：在给定系统提示词、目标文本和参考音频的条件下，整个声学序列的概率等于每个时刻在给定全部历史和全部条件时预测当前 token 的概率之积。这是自回归建模的标准写法，符号含义是：条件部分在整个生成中不变，历史部分随时间增长。窗口假设就是把这个历史依赖截断：预测当前 token 时，只依赖最近 W 个声学 token 加上完整条件，而忽略更远的过去。原文用近似等式表达这一截断，并解释声学信号局部连贯且单调，一旦全局条件固定，远距离过去 token 的影响会衰减。

这个截断带来两个可执行的效果。第一，键值缓存被分成固定全局部分和大小为 W 的滚动窗口部分，总长度不再随总序列长度增长，推理显存相对总长度是常数。第二，每步注意力只需在固定长度上计算，单步计算量也被封顶。原文还提到一个附带好处：限制窗口能缓解远距离采样伪影的传播，因为模型不再无限制地依赖自己早期的输出。

注意力汇聚 × 条件提示词： 注意力汇聚指文本大模型中大部分注意力质量集中在若干前缀 token 和局部窗口的现象；条件提示词指本研究中的系统提示词、目标文本、参考音频和任务标签拼接而成的前缀；原文把二者联系起来，认为语音合成的条件端恰好承担了汇聚前缀的作用，因而值得保留全局可见，而解码区只需局部窗口，这直接支撑了全局加局部的切分设计。

需要提醒初学者：这是一个假设，不是证明。原文用 3 类模型的注意力分布测量来支撑它，显示条件前缀占据了 48% 到 65% 的注意力质量，解码区内最近 W 个 token 又占据了解码区注意力的 57% 到 83%。这支持了切分设计的合理性，但不等于所有语言、所有说话风格下都成立。后文跨语言实验只验证了英文训练后中文字符错误率退化在 0.1% 绝对值以内，不能推广为任意语言都无需适配。

WAND 全景：一次前向要经过哪两条注意力路径？

WAND 的方法全景可以按 1 次解码前向来走。输入序列是条件前缀拼接已生成的声学 token。查询 token 在计算注意力时面对两类键。第一类是条件前缀的键，始终全部可见，对应图 1 中红色块。第二类是已生成声学 token 的键，只保留最近 W 个可见，对应图 1 中绿色块。

超出窗口的旧声学键值在推理时被丢弃或不再读取，因此缓存长度有界。原文在 3 个模型上使用的目标窗口是：CosyVoice 2 为 32，IndexTTS 为 32，SparkTTS 为 64。SparkTTS 需要更宽窗口的原因与它的语义 token 率更高有关，后文会结合注意力覆盖率解释。

训练侧的全景是：在预训练权重上做微调，用全注意力教师做知识蒸馏，同时用课程策略把窗口从大到小收紧。推理侧是严格的硬窗口加有界缓存。整个框架不做结构修改，因此能直接接入已有自回归语音合成管线。适配数据量很小，原文只用约 53.8 小时的英文数据做单轮微调。

下面这张总览图把推理缓存形态和训练掩码变化画在了一起，阅读时先看缓存条，再看掩码演变，最后看学习率调度，三者是同步推进的。

看图路径： 1. 先看左侧生成器下方键值缓存条：粉色块标注系统提示词加文本加参考音频，绿色块标注大小为 32 的窗口；2. 再看右侧三张注意力掩码从早期到晚期的变化：红色全局列始终可见，绿色对角带逐渐变窄；3. 最后看底部学习率曲线：先 3% 热身上升再按余弦调度下降，对应掩码由软到硬的收缩节奏

论文图 1。原论文 Figure 1：“Overview of the WAND framework. Conditioning tokens (system prompt, text, reference audio) retain global attention access, while generated acoustic tokens are restricted to a…”。

从像素看，左侧自回归语音 token 生成器的键值缓存条被明确分成两段：左侧粉色段标注系统提示词加文本加参考音频，右侧绿色段标注窗口大小为 32，中间还有虚线框表示已被滑出窗口的旧 token。右侧 3 张注意力掩码分别对应早期、中期和晚期训练阶段，纵轴是查询位置，横轴是键位置，红色首列始终标注可见，绿色对角带标注可见，其余为掩码区。早期掩码中绿色带外还有浅色过渡，说明软掩码允许部分注意力漏过；晚期掩码过渡消失，逼近硬截断。

底部是一条学习率曲线，先快速热身上升并标注热身占 3%，再按余弦调度缓慢下降，横轴是迭代数。这张图不支持读出具体掩码温度数值，只能确认由软到硬的收缩方向和全局列始终保留的设计。

全局和局部如何分工，窗口大小怎么定？

分工的第一步是理解两类信息。原文把语音合成所需信息分成全局上下文和局部上下文。全局上下文决定生成的不变特性，例如说什么内容、像谁的声音；局部上下文决定细粒度声学过渡，例如相邻帧之间如何平滑衔接。通过解耦，模型可以在不丢失全局一致性和说话人身份的情况下，把时间注意力限制在局部窗口。实现上就是把注意力机制分成全局注意力和局部滑动窗口注意力，前者固定面向条件，后者动态面向近期声学历史。

全局注意力 × 局部滑动窗口注意力： 全局注意力负责在整个生成过程中持续可见系统提示词、目标文本和参考音频，维持说话人身份和内容锚点；局部滑动窗口注意力只允许当前查询看到最近 W 个已生成声学 token，维持局部声学连贯和单调推进；二者搭配的理由是原文假设语音生成中长程依赖主要由条件端提供，声学历史只需局部视图，组合后推理缓存被拆成固定长度的全局部分加滚动窗口部分，从而把复杂度从随长度增长变为常数。

窗口大小不是拍脑袋定的。原文先测量了原始全注意力模型在解码时的注意力分布。3 个模型中，条件提示词占据的注意力比例分别为 58.5%、64.6% 和 47.9%，说明条件端确实是持续锚点，必须保留全局访问。在解码区内部，最近 W 个 token 占据的比例如下：CosyVoice 2 在 W 为 32 时占 70.2%，IndexTTS 在 W 为 32 时占 57.1%，SparkTTS 在 W 为 64 时占 82.8%。把前缀和局部窗口加在一起，前缀加局部窗口合计占总注意力的 85% 到 91%，说明丢掉的只是小部分注意力质量。

SparkTTS 在解码区占比更高，且需要 W 为 64 才能达到可比覆盖，这与它的编解码器语义 token 率为 50 赫兹、解码步数翻倍是一致的。复现时如果换了更高帧率的编解码器，应先重复这一注意力统计，再决定窗口，而不是直接沿用 32。

推理时的缓存管理动作是：全局部分的键值常驻，声学部分的键值按先进先出滚动，窗口外键值不再参与注意力计算。这样任意长音频生成都只需要有界显存和有界单步计算。原文强调这是无需结构修改的注意力限制，因此跨骨干、跨编解码器设计都可套用，但前提是已验证注意力确实集中，否则窗口会切掉重要依赖。

如何训练：教师从哪里来，窗口如何收紧？

训练要回答 4 个问题：参数起点、监督来源、窗口收缩节奏、优化设置。参数起点是预训练权重，不是随机初始化。监督来源是两项损失的加权和：交叉熵损失锚定真实声学 token，偏斜 KL 散度损失让学生在相同历史条件下模仿全注意力教师的概率分布。教师就是对应的全注意力基线模型，学生在注意力受限下前向，教师在全注意力下提供软目标。原文说直接截断会导致内容一致性轻微下降，这两项损失分别从硬对齐和分布一致性上缓解这一差距。

交叉熵损失 × 偏斜 KL 散度损失： 交叉熵损失把受限学生模型锚定到真实声学 token，保证与目标语音的基本对齐；偏斜 KL 散度损失让学生在相同历史条件下模仿全注意力教师的 token 概率分布，弥补去掉远距离上下文后的分布偏移；二者搭配的原因是只靠真值会丢失教师的软知识，只靠模仿会弱化硬对齐，组合后原文报告在 3 个模型上都取得最优词错误率。

窗口收缩节奏由课程学习控制。有效窗口按余弦进度从起始窗口向目标窗口插值，公式中的进度系数随步数从 0 到 1 变化。配合温度控制软掩码，早期掩码强度小，允许窗外位置保留部分注意力和梯度流动；后期强度按对数尺度插值增大，逐渐收紧为严格推理约束。原文课程从 128 收缩到目标 W。

优化设置原文报告的是：使用 AdamW 优化器，余弦学习率调度，峰值学习率为 1 乘以 10 的负 5 次方，在单块英伟达 A100 的 20 GB 显存分区上对每个基线微调 1 轮。训练数据是 LibriTTS 的 train-clean-100 子集，约 53.8 小时转录语音，作者有意只用这一小子集而非完整 585.80 小时语料，以证明数据高效性。

课程学习 × 温度控制软掩码： 课程学习负责按余弦进度把有效窗口从起始 Wstart 逐步收缩到目标 W，避免一步截断带来的优化冲击；温度控制软掩码负责在注意力 logits 上对窗外位置加负偏置减去掩码强度与掩码矩阵的乘积，早期强度小允许部分注意力漏过以保留梯度流动，后期强度大逼近硬截断；二者组合让模型逐渐适应推理时的严格窗口约束。

需要指出的缺项是：原文没有报告蒸馏权重系数、起始与终止掩码温度的具体数值、课程总步数，也没有说明教师参数是否冻结、学生哪些层可更新、梯度是否截断。复现时只能按常规做法让学生全参数微调、教师冻结不更新，并在报告中注明这些是自行补齐的选择，不是原文给定的。不要从模型名称推定分组查询注意力的具体实现细节，原文仅说明计算浮点数时按查询头全数计算，因为键值头在注意力中会被广播。

在什么数据和模型上测，用什么指标判定好坏？

数据与协议按原文交代。微调只用 LibriTTS 的 train-clean-100，约 53.8 小时英文。评测用 Seed-TTS 评测集的英文测试集和中文测试集，分别考察目标语言质量和英文训练后的跨语言保持。基线是 3 个预训练自回归语音合成模型：CosyVoice 2 的 0.5B 版本，基于 Qwen2.5 的 0.5B 骨干，使用有限标量量化的单码本编解码器，token 率为 25 赫兹；IndexTTS 1.5，GPT 风格，使用单码本矢量量化的编解码器，token 率为 25 赫兹。

SparkTTS 的 0.5B 版本，基于 Qwen2.5 骨干，使用双编解码结构，语义 token 率为 50 赫兹。三者在骨干、编解码器设计和 token 率上的差异构成了跨结构验证。

指标方向要先讲清。内容准确性用自动语音识别的错误率：英文用 Whisper-large-v3 算词错误率，越低越好；中文用 Paraformer 中文模型算字符错误率，越低越好。说话人相似度是参考提示与合成语音经 WavLM 提取的说话人向量余弦相似度，越高越好。整体语音质量用 UTMOS 预测分，越高越好。

主观自然度用 10 名评分者对每模型 50 个随机样本的 5 分制自然度平均分，越高越好，并报告 95% 置信区间。效率侧报告 10 秒生成的键值缓存兆字节数和累计吉浮点运算量，以及随 token 序号变化的单步延迟。原文说明键值缓存按 32 位浮点模式报告，加速比按浮点运算量换算。

硬件预算原文只给出微调侧：在单块 A100 的 20 GB 分区上每模型微调 1 轮。推理延迟的硬件环境和批量大小未详细报告，因此延迟曲线的绝对毫秒数只能在同一实验内比较相对走势，不能当作跨硬件承诺。资源状态方面，本次未发现来源绑定且完成安全验证的资源，不得声称代码、模型或数据已公开，原文末尾的页面链接在本次阅读中未能确认可达，复现应以论文文字和公开数据集为准。

主结果：质量保住了吗，显存和计算降了多少？

先提出比较问题：在同一基座、同一英文测试集上，窗口模型相对全注意力基线，质量是否在可接受范围内，效率是否显著下降。公平条件是同一 Seed-TTS 英文测试集、同一基线权重起点、WAND 仅经英文小数据微调。指标方向是词错误率越低越好，相似度和主客观质量分越高越好，缓存和浮点运算量越低越好。

表后解释要同时讲收益和代价。收益是 3 模型缓存分别下降 49.9%、66.2% 和 60.5%，累计浮点运算量同步下降，加速比在 1.51 倍到 1.89 倍之间。质量侧词错误率没有变差，反而持平或略有改善，CosyVoice 2 从 1.94% 降到 1.72%，IndexTTS 和 SparkTTS 也有 0.0% 几到 0 点 10 几的绝对下降。原文把这种稳定归因于滑动窗口的正则化效应：隔离解码上下文能减少远距离采样伪影和幻觉的传播，迫使模型更依赖不变的全局条件。代价和边界是：主观自然度和相似度基本持平，个别小数点后变化在置信区间内。

SparkTTS 绝对浮点数更高是因为 50 赫兹导致解码步数翻倍，不是方法失效；中文测试上 IndexTTS 字符错误率从 0.82% 升到 0.91%，SparkTTS 从 2.14% 升到 2.35%，说明跨语言保持不是零代价，只是主要系统退化在 0.1% 绝对值以内。未胜出项要明确：UTMOS 和自然度没有系统性大幅超越基线，效率收益主要来自缓存和计算，不是音质提升。

单步延迟的走势由下图直接显示，阅读时不要把单点抖动当结论，看两条趋势线的分离点。

看图路径： 1. 先确认横轴是解码步数即 token 序号，纵轴是每 token 延迟毫秒，图例区分全注意力和 W 等于 32 的滑动窗口；2. 再对比两条平滑曲线随步数走势：红色标注每步正比于序列长度，蓝色标注每步为常数；3. 注意背景浅色抖动是原始逐点测量，平滑粗线才是趋势，不把单点毛刺读成具体数值

论文图 2。原论文 Figure 2：“Per-step decoding latency regarding the number of generated tokens.”。

从像素看，这张 CosyVoice 2 的单步延迟图横轴是 token 序号即解码步数，范围到约 700 步，纵轴是每 token 延迟毫秒，范围约 7.0 到 9.5 毫秒。红色曲线标注每步正比于序列长度，蓝色曲线标注每步为常数并对应 W 等于 32。两条粗平滑线在约 200 步之前基本重合在 7.8 毫秒附近，之后红色持续上扬到 9.0 毫秒以上，蓝色始终在 7.8 毫秒附近水平波动。背景浅色细线是逐步原始测量，抖动很大，但不改变趋势结论。原文文字也报告全注意力延迟从 7.8 毫秒增长到 9.0 毫秒以上，而滑动窗口保持近似恒定。

这支持了有界注意力带来恒定单步计算的判断，但像素不能精确读出每一步的具体数值，也未给出长于 700 步的外推实测，因此无限长生成的恒定性仍是基于机制的推断，需补长序列实测才能确认。

键值缓存 × 单步延迟： 键值缓存是在自回归解码中保存历史键和值的显存，全注意力下随生成 token 数线性累积；单步延迟是每生成一个 token 所需的解码时间，随注意力范围扩大而上升；二者的联系是窗口把每步需要读取的键值数量封顶，原文因此同时报告缓存兆字节数下降和每步毫秒数不再随长度增长，二者是同一注意力限制在空间和时间上的两面。

拿掉蒸馏或课程会怎样，哪部分更关键？

消融按问题组织：测的是同一英文测试集上的词错误率，比较对象是同一基座下的不同训练配置，条件一致在于窗口大小固定，指标越低越好。先看蒸馏损失的组成。只加滑动窗口不做蒸馏时，IndexTTS 尚可，但 CosyVoice 2 和 SparkTTS 明显变差。单独加交叉熵或单独加偏斜 KL 散度能在部分模型上挽回一部分，但只有两者组合在 3 个模型上都最优。这支持了硬对齐和软模仿互补的判断。

表后解释要指出具体反例。反例一是 IndexTTS 对窗口最不敏感，不蒸馏也能到 1.11%，说明不同结构对长程依赖的敏感度不同，不能把某一模型的鲁棒性推广到所有模型。反例二是 SparkTTS 在只加交叉熵时反而从 3.81% 升到 4.92%，说明单一监督在某些结构上可能不稳定，必须看组合结果。课程学习的消融也一致：直接从目标窗口 32 开始训练，CosyVoice 2 为 1.86%，IndexTTS 为 1.03%；从 128 按温度掩码逐步收缩到 32，分别降到 1.72% 和 0.91%。这支持了渐进收缩有助于稳定的结论，但原文只报告了这 2 个模型的课程对比，SparkTTS 的课程消融未给出，不能默认同样幅度。

另一类特有细节是注意力覆盖率与窗口选择的对应。SparkTTS 需要 64 才能达到 82.8% 的解码区覆盖，而另 2 模型用 32 即可达到 57% 到 70%。这说明窗口超参数应与编解码器帧率联动，帧率翻倍时窗口也需放大，否则会切掉过多有效上下文。复现新编解码器时，建议先复刻表 2 的注意力统计，再定窗口。

哪些结论还没被验证，复现时最容易误解什么？

首先区分 3 类表述。直接报告的是：3 模型在英文测试集上的缓存、浮点运算量和词错误率变化，以及英文训练后中文字符错误率的变化。有限解释的是：窗口带来正则化从而减少幻觉传播，这与观测到的词错误率持平或略降一致，但原文没有做幻觉率的直接计数，因此只能写支持，不能写证明因果。未验证推测的是：无限长音频生成无性能退化。原文机制上缓存有界，但延迟图只到约 700 步，中文长语音和超长英文段落的系统性评测未报告，不能承诺任意长度都不退化。

未评测边界要明确。主观评测每模型仅 50 个随机样本、10 名评分者，置信区间约正负 0.13 到 0.18，自然度的小数点后差异不宜过度解读。训练资源只报告微调 1 轮的显存分区，没有报告 wall-clock 时间、总 token 数和推理批量下的吞吐，因此数据高效不等于训练零成本。推理开销、输出帧率与实际延迟要分开讨论：浮点运算量下降不等于所有硬件同比例加速，分组查询注意力下按查询头全数计算的口径也影响换算。

常见误解是把无结构修改等同于零适配成本。实际上仍需单轮微调和教师蒸馏，且蒸馏权重、温度起止值等关键超参数未公开，复现需自行搜索并注明。另一个误解是把自动指标当人评：词错误率改善不代表自然度同步提升，原文相似度和自然度只是持平。最后，表头或文本若出现单位与数值粘连，应保留原文写法，不自行四舍五入，百分点变化与相对百分比变化要分开表述，例如缓存下降 66.2% 是相对比例，而词错误率从 1.94% 到 1.72% 是 0.22 个百分点的绝对变化。

要复现，先准备什么，按什么顺序做？

复现的起点是拿到 3 个基线权重和两份数据。模型侧需要 CosyVoice 2 的 0.5B 权重、IndexTTS 1.5 权重和 SparkTTS 的 0.5B 权重，保持原编解码器和分词不变。数据侧需要 LibriTTS 的 train-clean-100 约 53.8 小时用于微调，以及 Seed-TTS 评测集的英文和中文测试集用于评测。评测工具侧需要 Whisper-large-v3 用于英文词错误率、中文 Paraformer 模型用于字符错误率、基于 WavLM 的说话人向量用于相似度、UTMOS 用于客观质量预测。硬件侧原文仅明确微调可用单块 A100 的 20 GB 分区，推理硬件需自行记录以保证延迟可比。

操作顺序建议按学习依赖推进。第一步复刻注意力统计：在全注意力基线下跑 5 个长语句，统计条件前缀占比和最近 W 窗口在解码区的占比，确认是否复现 48% 到 65% 和 57% 到 83% 的范围，以此选定 W。第二步实现注意力切分：条件前缀全局可见，声学历史只保留最近 W 个，缓存实现为全局常驻加滚动窗口，先在推理侧做硬窗口验证质量退化幅度。

第三步加入蒸馏微调：冻结教师，用交叉熵加偏斜 KL 散度训练学生，学习率峰值 1 乘以 10 的负 5 次方加余弦调度和 3% 热身，窗口从 128 按余弦进度收缩到目标并配合软掩码由软到硬。第四步按英文主结果和中文保持两张表复测效率与质量，并画出随 token 序号的单步延迟曲线，检查是否在 200 步后出现分离。

信息条件要保留：峰值学习率、热身比例、训练轮数、窗口起止值、缓存按 32 位浮点报告、10 秒生成的统计口径。缺失的蒸馏权重和温度起止值需自行网格搜索，并在报告中标为自选。由于本次未能确认代码链接可达，不要写代码已公开或可一键运行，应写本次未能确认可达，复现以论文文字为准。

何时值得尝试这种窗口加蒸馏的路线？

回到中心矛盾：自回归语音合成要保住零样本的高保真和说话人相似度，又要摆脱缓存随长度增长的束缚。WAND 的选择是承认条件端已提供足够全局信息，只对声学历史做限制，并用教师蒸馏和课程收缩来消化截断带来的分布偏移。这个选择的代价是仍需 1 次小数据微调，且窗口需与编解码器帧率匹配；收益是不换结构就能把显存和单步计算封顶，并在 3 类不同骨干和编解码器上复现了相近趋势。

何时值得尝试可以给 3 条可操作判断。第一，当部署场景是长段落、有声书或连续直播，且瓶颈明确是键值缓存而非声码器时，这种全局加局部的切分优先于换线性结构，因为它保留了预训练权重和原有管线。第二，当只有几十小时目标域数据时，原文 53.8 小时英文单轮的范式值得参考，但需先验证注意力集中度，若条件前缀占比远低于 40% 则不应贸然截断。第三，当编解码器帧率较高如 50 赫兹时，应按 SparkTTS 的经验把窗口放大并重做覆盖率统计，而不是沿用 32。

还需补的验证包括：超过 700 步的长序列延迟与质量实测、多语言和多风格下的窗口敏感性、批量推理下的吞吐与显存曲线，以及蒸馏权重和温度调度的系统性搜索。完成这些后，才能把接近常数的单步延迟从机制推断升级为部署承诺。对刚入门的研究生而言，复述这篇论文的关键不是背下加速倍数，而是能讲清哪部分注意力被保留、哪部分被丢弃、丢弃后靠什么监督补回来，以及每个数字是在什么数据、什么模型、什么统计口径下测得的。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总