细化换可懂度，搜索换音色：掩码扩散语音合成里测试时计算到底买到了什么

📄 细化换可懂度，搜索换音色：掩码扩散语音合成里测试时计算到底买到了什么

英文题目：Refinement Buys Intelligibility, Search Buys Identity: What Test-Time Compute Buys in Masked-Diffusion TTS

标签：#文本到语音 | #语音克隆 | #扩散模型 | #统计分析

评分：7.1/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Nityanand Mathur：机构信息未在 arXiv HTML 中可靠披露
• Hamees Sayed：机构信息未在 arXiv HTML 中可靠披露
• Ayush Pratap Singh：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

跨句零样本合成根据目标文本音素与三秒提示编解码器词元生成语音，用词错率考核读对、用SIM-o考核音色，两者瓶颈不同而不能互替。先把8个码本嵌入求和，连同始终可见的音素前缀与三秒提示词元送入双向Transformer，主干是唯一身份通路且不设说话人编码器。Transformer按由粗到细掩蔽只预测被掩蔽层的词元，低层保持可见而高层全掩，其输出词元再经编解码器还原为波形。细化仅增加同一模型的去噪步数，搜索则并行采样多个候选再用说话人编码器选相似度最高者，两者在相同函数求值次数下比较。在400条跨句评测上以实录词错率0.0345与往返相似度0.5554为界，T=1增至T=16细化关闭词错率区间86.2%而仅关闭SIM-o区间46.4%，比值约1.86倍前者高于后者。在同一400条评测相同函数求值次数下细化相对搜索词错率为0.1316对0.1955即细化更低，而搜索SIM-o更高并获四个异谱系编码器64.6%–79.0%胜率确认。同一WavLM-large度量下编解码器往返相对原始波形SIM-o为0.5554对0.678即往返更低，剩余身份差距62%来自编解码器而非生成器。结论仅在单语种单编解码器单语料无引导欠训练网格内成立，步指数差在重参数化下变号故只保排序，函数求值次数仅计Transformer。45模型网格训练共耗162.5 GPU小时，六秒以上长提示使输出脱离文本，深度最优与词错率饱和点仍在网格边界外。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

这篇论文研究什么样的语音合成任务

论文研究的是跨句零样本语音合成。输入有三样东西：要读的目标文本、一段约 3 秒的提示音频、以及提示音频对应的文字。目标是让模型读出目标文本，但声音要像提示音频里的人。跨句的意思是提示和目标是同一说话人的不同句子，直接把提示音频的波形抄过来并不能得分，模型必须从短提示里抽出音色，再和新的文本内容组合起来。输出是波形。

评价时固定看两个能力：内容是否读对，用自动语音识别转写后算词错误率，越低越好；声音像不像，用说话人编码器比较合成语音和原始提示波形的余弦相似度，越高越好。初学者容易把自然度混进来，论文确实用 UTMOS 记录了预测自然度，但在核心结论里只用上述两个指标，因为它们分别对应组合内容和表征音色的不同瓶颈。任务只用英语 Emilia-EN 的一个 2000 小时子集训练，评测用 174 个未见说话人的 400 条 4 到 15 秒目标，这种单语言、单编解码器、单语料的范围是后文所有结论成立的前提。

已有路线为什么没有把步数和能力分开看

在掩码扩散做编解码器语音合成这条路线上，之前的做法是把步数当作工程经验固定下来，比如 SoundStorm 式的由粗到细掩码、MaskGCT 式的步数扫描，只在少数几个设置上看一下词错误率和相似度的变化，没有把误差当作宽度、深度和步数的函数来拟合。流匹配语音合成同样是迭代细化，但也没有分离宽度、深度和步数。自回归语音 token 合成在参数、数据和带验证器的搜索上做过扩展，但它的每 token 串行代价在训练结束时就被结构锁死，没有租用步数这个旋钮。

推理时计算的文献在推理任务和图像扩散里讨论过搜索和重排，语音里也有用说话人相似度做束搜索的工作，但都没有在同一宽度深度网格上固定采样器、只扫步数来得到完整的响应曲面。论文的切入点正是补上这块：在相同输入、相同目标、相同运行阶段下，比较细化步数对可懂度和音色是否一视同仁，而不是把不同类别方法的绝对数值放在一起排高低。

为什么可懂度和音色要分开度量

可懂度是组合问题，要求把正确的音素按正确的顺序排出来，错一个音就可能错一个词；音色是表征问题，要求从短提示里保持住说话人的音质特点，即使内容全对，音色也可能不像。论文把两者绑到不同的测量工具上，就是为了不让它们互相掩盖。词错误率用 Whisper-large-v3 贪心解码得到，包含空转录、过短和重复四元组等退化解，全部计入误差；音色相似度记作 SIM-o，用 WavLM-large 对合成语音和原始提示波形打分，遵循已有语音合成评测的做法。

关键在于参照系：可懂度的地板是同一识别器在真实录音上的词错误率 0.0345，音色的天花板是 Mimi 编解码器对真实目标先编码再解码后的相似度 0.5554，两者都不是零，也都不是更好生成器能突破的。把增益参照到零会让两个单位不同的指标看起来不可比，参照到实测地板和天花板才能问每种计算到底走完了多少可走的路。

可懂度 × WER： 可懂度指合成语音是否把目标文本的发音内容按正确顺序说出来，论文用 WER 来度量，即用 Whisper-large-v3 转写合成语音再与参考文本比对的词错误率，WER 越低表示内容越对，它只关心说什么，不关心是谁说的。

音色相似度 × SIM-o： 音色相似度指合成语音听起来像不像提示音频里的那个人，论文用 SIM-o 度量，即用 WavLM-large 等说话人编码器提取合成语音和原始提示波形的向量再算余弦相似度，数值越高越像，它只关心像谁，不直接判断内容对错。

整体流程如何从文本和提示音频得到波形

整个系统可以沿着一个样本走一遍。先把目标文本转成 eSpeak 音素，把 3 秒提示音频用 Mimi 编码成 8 层 token，两者作为始终可见的前缀。目标长度在生成前就按文本字符数乘以语料字符速率 0.0602 秒每字符再乘以每秒 12.5 帧定死，不是逐个预测的。待生成的区域是一个 8 乘帧的网格，开始时全是掩码标记。

双向非因果 Transformer 主干在可见音素和提示的条件下，逐层预测被掩码位置的 token，采样器按 MaskGIT 置信度解码逐层推进，每层恰好用 T 步，每步按余弦计划决定还剩多少掩码，用温度 1.0 采样，加退火到零的 Gumbel 噪声，已提交的位置不再改动。8 层都走完后，用 Mimi 解码器把 token 网格变回波形。主干没有说话人编码器，所以音色只能从提示 token 里学；训练和推理都不用无分类器引导，避免给步数轴引入混杂。

下面这张结构图把拥有和租用的两类串行计算画在了一起，读图时先分清哪部分训练后就固定、哪部分每次合成还能调。

读图说明：这张总览图左侧是 3 路输入与目标长度计算，中间是主干与网格，右侧是采样器与解码器，重点看拥有与租用两处标注的位置和箭头走向。

看图路径： 1. 先沿左侧三路输入看到中间 8 乘帧的 token 网格，区分始终可见和全掩码区域；2. 再看中间主干标注的深度与右侧采样器标注的每层 T 步，理解拥有与租用的含义；3. 最后看右侧指向 Mimi 解码器和波形的箭头，确认输出是波形

论文图 1。原论文 Figure 1:：“The two ways a masked-diffusion TTS model buys sequential computation.”。

图的内容是这样对应的：左侧 3 个框分别是提示转录加目标文本转成的音素、3 秒提示音频的 8 层编码、以及按字符数算出的目标帧数，中间画出 8 乘帧网格里提示、已提交和可见部分的区别，主干框标注深度乘宽度与参数量关系，右侧框标注每层 T 步、余弦计划与函数求值次数等于 8 乘 T，最后指向 Mimi 解码器和波形。论文用这张图说明，一次覆盖宽度和深度的训练网格，在推理时扫 T 就能得到完整的宽度、深度和步数曲面，而核心问题是租来的这部分对两种能力是否一样有效。

主干和采样器各自负责什么

主干是一个前置层归一化的双向 Transformer，用宽 w 和深 d 参数化，头维度 64，前馈放大 4 倍，用 RMSNorm 和旋转位置编码，没有因果掩码，也没有权重绑定，非嵌入参数量满足 12 乘 d 乘 w 平方。输入是每个码本一张嵌入表求和，输出是每个码本一个线性头。采样器对所有配置、所有种子和所有 T 都冻结且完全相同，生成噪声也按键对齐，使得同一个训练结果的不同 T 点之间只有 T 不同。推理时按第 1 层到第 8 层逐层跑，每层 T 步，总函数求值次数就是 8 乘 T。这种冻结设计很重要：它保证后面看到的可懂度和音色曲线差异只能归因于步数，而不是采样温度或计划被顺手调了。

深度 × 细化步数： 深度指 Transformer 主干里串行堆叠的块数，是训练时就固定、花参数一次买下的串行计算；细化步数指推理时对同一序列反复去掩码、再掩码低置信位置的遍数，是每次合成时按需租用的串行计算，两者都能增加串行计算，但论文发现它们不是同一把钥匙。

码本层级 × 函数求值次数： 码本层级指 Mimi 编解码器从粗到细的 8 个残差码本，生成时按第 1 层到第 8 层逐层解码；函数求值次数指主干实际前向的次数，论文固定每层用 T 步，所以总数是 8 乘以 T，它是比较细化和搜索是否公平的统一花费口径。

码本层级和步数分配为什么也影响结果

8 个码本不是平等的，第 0 层最粗，携带内容骨架，第 7 层最细，携带细节。论文固定总函数求值次数为 32，对比了 3 种冻结的每层分配：全把步数堆在最粗层、全堆在最细层、以及均匀分配。结果是把计算堆在粗层能把词错误率从细层方案的 1.1480 拉到 0.2191，约为 5.2 倍的下降，但音色和预测自然度不如均匀分配，退化输出比例在细层方案高达 39.1%。这说明在同样花多少钱的前提下，钱花在哪一层同样具有指标选择性：粗层管内容，均匀分配更兼顾音色和自然度。理解这一点后，就不会把步数只当成一个总数，而会把它看成按层分配的预算。

模型是怎样训练和掩码的

训练沿用 SoundStorm 式的由粗到细掩码。每个样本先均匀抽一层 l，再在 0 到 1 之间均匀抽一个掩码比例 t，比 l 细的层保持可见，第 l 层以概率 t 独立掩码，比 l 粗的层全掩码，损失只算第 l 层被掩码位置的交叉熵。音素前缀和 3 秒提示 token 始终可见。网格覆盖 3 个等参数预算乘 5 种宽深比，共 15 个形状，每个形状训 3 个种子，共 45 个模型，每个跑 30000 步，有效批量 256，用最大更新参数化，基准宽度 256、基准学习率 0.004，并用五点学习率扫描验证了跨宽度的迁移。训练只用 2000 小时、4000 多说话人的 Emilia-EN 子集，留出 200 个说话人完全不参与训练。这种训练方式决定了模型见过的提示长度就是 3 秒，后文把提示加长到 6 秒和 9 秒其实是在测外推，而不是测模型正常工作的范围。

评测条件和拟合方式如何保证公平

评测是跨句零样本合成，400 条目标来自 174 个未见说话人，目标 4 到 15 秒。步数只在评测时扫 1、2、4、8、16，得到每指标 75 个曲面点，扩展分析又把所有运行延到 64 甚至 128。指标栈是 Whisper-large-v3 算词错误率、WavLM-large 算 SIM-o、冻结的退化规则和 UTMOS。误差变换是词错误率本身和 1 减 SIM-o，退化样本也计入。

拟合有两种形式：可分离形式把误差写成常数加宽度幂律加深度幂律加步数幂律，替换形式把深度和步数写成深度乘 T 的 kappa 次方的联合幂律，用加权非线性最小二乘加 32 个多起点拟合，权重是种子间标准误差平方的倒数，并在下四分位处截断。区间都用 2000 次运行级自助法，整轮重算所有 T 点，因为同一轮的 5 个 T 点共享同一个训练模型，拆散重采样会低估相关性。预注册了 4 个主假设和多个扩展与音色假设，阈值和采样器都在第一轮训练前冻结，训练网格花了 162.5 卡时。

关于可复现件，论文说随文发布了 harness、45 轮记录、75 点曲面与拟合自助代码，但本次没有收到可验证的作者资源链接，不能说代码模型数据已公开或当前可用。

细化步数对两种能力带来多大可达增益

核心结果不拟合任何模型，直接算从单步到某步数走完了多少可达区间。从 T 等于 1 到可部署的 T 等于 16，细化走完了可懂度可达区间的 86.2%，区间为 82.8 到 89.1，而音色只走完了 46.4%，区间为 45.0 到 47.8，比值约 1.86 倍，区间为 1.82 到 1.90。把预算再翻两番到 64，可懂度只从 86.2% 到 88.4%，音色只从 46.4% 到 47.9%，推到 128 时词错误率动 0.0018、音色降 0.0052，说明这条轴已经不再付费甚至轻微变贵。这个比值在单调重参数化下保持在 1.68 到 1.86 之间，而基于幂律指数差的说法会变号，所以论文把排序而非具体倍数当作结论。

编解码器上限 × 可达区间份额： 编解码器上限指不经过任何生成模型、只把真实目标音频编码再解码后测得的说话人相似度 0.5554，可懂度一侧对应 Whisper 在真实录音上的词错误率 0.0345；可达区间份额指从单步解码出发到上述实测下限或上限之间，某步数实际走完的比例，它避免了把单位不同的 WER 和 1 减 SIM-o 直接相减。

读图说明：下面两条曲线横轴都是每层细化步数，纵轴都是归一到单步后的相对误差，左侧是可懂度，右侧是 1 减音色相似度，粗线是网格均值，细线是各形状，重点比较下降速度和最终高度。

看图路径： 1. 对比左右两图纵轴同为归一到 T 等于 1 后的相对误差，横轴同为每层细化步数；2. 观察左侧可懂度粗均值线下降更快更深，右侧音色误差线下降平缓；3. 注意细线是 15 个形状各自的曲线，粗线是网格均值，说明是同一模型同一采样器

论文图 4。原论文 Figure 4:：“Test-time scaling is metric-selective.”。

图上可见的是同一模型、同一冻结采样器、同样本下只有 T 不同：左侧可懂度误差在 1 到 16 之间绝对下降 0.952 且到 16 仍在下降，右侧音色误差只下降 0.161，约为 5.9 倍之差。两条粗均值线的斜率和尾部高度直接对应了上段 86.2% 对 46.4% 的不对称，说明细化几乎耗尽了它在可懂度上能拿的部分，却留下了音色的大部分区间没动。

读图说明：下面柱状图左半比较各轴带来的音色绝对增益与到编解码器上限的剩余空间，右半拆解真实音频到最优系统之间的差距来源，重点看细化柱的起点与编解码器损失的占比。

看图路径： 1. 先看左图纵轴为音色相似度绝对增益，红色虚线为到编解码器上限的剩余空间；2. 比较从单步算起的细化柱与其他从可部署点算起的柱子的起点差异；3. 再看右图横轴为相似度，区分灰色已测系统、蓝色模型可争部分和橙色编解码器损失部分

论文图 3。原论文 Figure 3:：“Identity is mostly not the model’s to win.”。

图上可见的是左图细化从单步算起的柱子最高，达到 0.161，超过红色虚线标的剩余空间 0.075，但这只是因为起点是没人部署的单步；从 T 等于 16 算起细化不再带来增益，而候选选择、训练计算和参数量的柱子才是从可部署点出发的真实增量。右图把真实音频 0.678 到最优系统 0.481 的差距拆成编解码器损失 0.123 和模型损失 0.075，前者占 62%，说明音色剩下的差距大多不在生成器手里。

相同花费下搜索和细化各赢在哪一项

论文把比较口径统一到函数求值次数。候选选择的做法是按同样总花费采样多个候选，用一个说话人编码器选出最像提示的，再用另一个 lineage 不同的编码器打分，避免自己选自己评。匹配计算量下，细化在每一档都赢可懂度，搜索在每一档都赢音色：在 128、256、512 三档函数求值次数下，搜索相对细化的音色增益分别是 0.0153、0.0322、0.0444，而词错误率细化一侧为 0.1530、0.1335、0.1316，搜索一侧为 0.1938、0.1947、0.1955。增益来自选择而非采样本身，随机挑一个候选的分数不随候选数变化。

这个结论在 276M 参数和 3 倍训练计算下依然成立，增益分别为 0.0422 和 0.0368。为排除选择器 lineage 的偏好，论文用横跨 4 个家族的 5 个编码器重评，逐条胜率在 64.6% 到 79.0% 之间且区间都高于一半，其中选择器自身的 84.9% 只供参考，不计入一致性证据。代价也要说清：搜索在音色上赢的 0.0365 对应词错误率增加 0.0425，且选择器和打分器的前向没有计入搜索一侧的花费，所以这不是零成本的免费提升。

下面这张表对照宽度-深度形状网格在 T 等于 16 下的表现，表前先说明比较问题：从 15 配置中选取 5 行，在同样本集、同 T 等于 16 设置下对照 ww/dd/NN/WER/SIM-o，不涉及 0.0747 余量或各轴音色增益比较；音色增益对照另见原文 Table 4。

从这张表看，同样本集同 T 等于 16 下形状明显搬动可懂度而音色变化较小：A1 词错误率 53.9%、音色 0.327，到 C5 词错误率 9.9%、音色 0.388，中间 B3 为 11.9% 和 0.388，C3 为 14.3% 和 0.392。限制是这只是 15 配置中的 5 行摘录，训练计算、搜索、引导、时长匹配和提示长度的增益数字分属原文 Table 4 各 axis 行条件，不与此形状网格表混合解读。

步数花在哪一层和提示给多长会发生什么

如果只看总数会漏掉分配的影响。固定总函数求值次数为 32 时，把步数全堆在最粗层的方案词错误率为 0.2191，均匀分配为 0.3144，全堆在最细层为 1.1480，退化比例分别为 0.1%、0.5% 和 39.1%，音色和自然度则是均匀分配更高。这说明粗层决定内容骨架，细层堆再多步也救不回内容，反而丢音色和自然度，是 trade 而不是免费午餐。另一组对照是提示长度：在 125M 预算、397 条上，把推理提示从训练用的 3 秒换成 1.5 秒、6 秒、9 秒，音色分别为 0.3213、0.3839、0.3724、0.3759，词错误率分别为 0.1578、0.1474、0.7692、0.8642。加长提示没有买到音色，反而让输出保持流利和音色一致却脱离文本，说明模型只学会了 3 秒提示的条件分布，外推即失效。

下面这张分配表直接比较 3 种冻结的每层步数方案，表前说明公平条件是总函数求值次数同为 32、同预算同样本，指标方向是词错误率越低越好、音色和预测自然度越高越好、退化越低越好。

比较下来，粗层方案相对均匀分配赢了词错误率，但输了音色 0.3057 对 0.3477 和自然度 2.17 对 2.51，细层方案三项全输且退化近 40%。限制是这只是 125M 预算上的结果，且自然度是预测分不是人工听感，不能推广成所有规模都该全堆粗层。

下面这张提示长度表比较同一批音频在不同提示下的分数，表前说明打分都对照同一 3 秒参考，训练只见过 3 秒，所以 6 秒和 9 秒是外推测试，指标方向同上。

从这张表看，3 秒默认最优，1.5 秒两项都差，长提示音色持平但词错误率从 0.1474 跳到 0.7692 以上，未胜出项就是长提示，它没有带来论文预注册里期望的音色增益，反而摧毁可懂度。这个负结果提醒复现时不要自行加长提示，必须保持训练推理一致。

多训几倍之后不对称是消失还是缩小

为检验不对称是否只是欠训练的假象，论文把最浅、中间、最深 3 个 125M 形状各 3 个种子重训到 3 倍和 6 倍时长，同法重测从 1 到 16 的可达份额。比值从 1.84 单调衰减到 1.36 再到 1.23，区间互不重叠且始终大于 1。可懂度份额在 90k 到 180k 之间动了负 0.09 个百分点，换用不同家族的 CTC 识别器重转写同一批音频得到负 0.06 个百分点，两家绝对词错误率差 2.4 倍却在饱和判断上一致到 0.1 个点，说明可懂度确实到顶。同一段音色份额涨了 7.4 个百分点且还在涨。

训练计算本身也是音色大杠杆：30k 到 90k 涨 0.0827，再翻倍涨 0.0155，外推预测会高估，说明在减速但还在付费。因此论文强调要报告排序而非倍数，倍数是训练预算的属性，欠训练会夸大它，3 个预算还不足以判断比值收敛到 1 还是收敛到 1 以上。

读图说明：这张外推图横轴是最大预算实测值，纵轴是用两个小预算拟合后对最大预算的预测，对角线是完美预测，左为可懂度右为音色，重点看偏离程度和两种模型形态的差异。

看图路径： 1. 先看横轴为最大预算的实测值，纵轴为用两个小预算拟合后的预测值，对角线为理想预测；2. 对比左图可懂度点偏离对角线、右图音色点紧贴对角线的差异；3. 注意两种模型形态在右图几乎重合、在左图都不准，说明外推能力与指标有关

论文图 5。原论文 Figure 5:：“H-D4 extrapolation. The two smaller budgets are fitted and the largest budget predicted, under M_full and the N-only model.”。

图上可见的是音色两侧平均绝对百分比误差为 2.4% 对 2.2%，点紧贴对角线，可外推；可懂度为 20.2% 对 20.4%，点明显偏离，不可外推。这与上段饱和故事一致：还没饱和的音色更容易从小预算预测大预算，已经撞到识别地板的可懂度则不行。也正因如此，论文把小预算预测大预算的预注册假设判为不成立，没有把外推当成部署依据。

哪些结论有明确的适用边界

首先是欠训练与规模上限：网格最大 133M 非嵌入参数、主力训练只有 30000 步，可懂度的饱和步数只是下界，音色最优深度在两个大预算里都落在测过的最深形状上，属于删截而非内点最优。其次是编解码器天花板：真实波形 0.678、编解码器往返 0.555、最优系统 0.481，62% 的差距在模型动手前就丢在编解码器里，换编解码器结论会变。

再次是拟合的 3 条约束：指数差在对数、平方根和截断等单调非仿射重参数化下会变号，在 T 到 64 的嵌套窗口里从 0.2191 降到 0.1102 再到 0.0660，且加权准则下卡方自由度比为 14.3 和 8.8，说明它只是局部曲率的紧凑描述，不能读出机制。替换形式比可分离形式差 69.3 和 71.3 的修正赤池信息量，交换率顶到边界，宽度幅度也顶到边界导致各向异性比不可识别。

最后是测量 lineage：选择器和原打分器曾同属 ECAPA 家族，虽然后来用四大家族验证了胜率，但候选仍由同一编码器选出，只能说选出的候选在别家眼里也更好，不能说换选择器会选出同一批。单语言单语料、无引导、用中位字符速率定长度，这些都限制了外推。

要复现关键步骤第一步做什么

先不要调模型，先把两把尺子立住。用同一批 400 条跨句样本，跑真实录音的 Whisper-large-v3 得到词错误率地板，再跑 Mimi 先编码再解码得到音色天花板，没有这两数后面所有份额都无从谈起。第二步冻结采样器：按论文的余弦计划、温度 1.0、Gumbel 退火 1 到 0、已提交不改动的规则实现 MaskGIT 逐层解码，固定每层 T 并让总函数求值次数等于 8 乘 T，噪声按键对齐。第三步在同一批模型上只扫 T 为 1、2、4、8、16，算从单步到各 T 的可达份额，而不是直接比原始误差。

关键超参数是有效批量 256、30000 步、最大更新参数化基准宽度 256 与基准学习率 0.004、提示固定 3 秒、目标长度按 0.0602 秒每字符乘 12.5 帧每秒算出。搜索复现时用两个不同家族的编码器分别做选择和打分，并在相同函数求值次数下对比，同时记录词错误率代价和选择器打分器的额外前向。论文提到发布了训练与分析代码，但本次未获得可验证的公开链接，复现应按原文方法自写流程，不要默认能下载到权重或一键运行。

什么时候值得试以及还缺哪项验证

当部署目标是可懂度且预算只够加推理步数时，把 T 加到 16 附近是值得的，因为 86% 以上的可达区间已经到手，再往 64 加只有约 2 个百分点的增量；当目标是更像某个说话人且已有可部署的 16 步系统时，继续加细化不值得，值得的是在相同函数求值次数下做 8 选 1 的说话人编码器选择，或把训练从 30k 加到 90k，前者约涨 0.0365 音色但要多付 0.0425 词错误率，后者涨 0.0827 且词错误率还在容限内。

容易误解的是把 1.86 倍当成常数，它只是当前训练预算下的快照，多训后会缩到 1.23 且仍大于 1，真正稳定的是细化更擅长可懂度、选择和训练更擅长音色的排序；另一个误解是把指数差 0.110 当成系统属性，它随误差坐标和拟合窗口变号或减半，只能看作坐标的性质。还缺的验证是更大网格解除深度删截、用另一编解码器重测 62% 的占比、在计入选择器打分器花费的端到端延迟下重比搜索与细化，以及补人工听感替代预测自然度。

只有补完这些，才能把实验室里的排序变成可部署的分配规则。

下面这张整理表分开两类口径并列核心数字与代价，表前说明细化组是单步解码 T 等于 1 到 T 等于 16 的可达份额口径，训练组和搜索组是各自基线下的绝对音色增益口径，花费口径也各不相同，两类数字分列存放、不在同一数值列下混排、不作跨组同尺度排序，每格数字都来自原文连续句。

从这张表看，细化行只读可达份额列，训练行和搜索行只读绝对增益列，横杠表示该口径下无此数字，不把份额与绝对增益拼成同一增量列比较；细化的大份额含单步起点的口径红利，从可部署点看它对音色已无增量，而训练和搜索分属各自基线和匹配计算量条件下的音色杠杆。搜索的增益要以可懂度和额外编码器前向为代价，训练的增益要以数倍训练花费为代价。限制是该表是跨原文句子的整理，不是原表原样，跨编码器胜率 64.6% 到 79.0% 与编解码器 62% 占比的细节要回正文与原图核对，不能把整理行的比值当成新的拟合参数。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递