英文题目：DiTAR+: Dual Optimization for Robust Autoregressive Diffusion Speech Synthesis
标签：#文本到语音 | #扩散模型 | #自回归模型 | #语音克隆 | #零样本
评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Ziyu Zhang：机构信息未在 arXiv HTML 中可靠披露
- Tianlun Zuo：机构信息未在 arXiv HTML 中可靠披露
- Hanzhao Li：机构信息未在 arXiv HTML 中可靠披露
- Haoyu Zhang：机构信息未在 arXiv HTML 中可靠披露
- Lei Xie：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
零样本语音克隆（Zero-shot Voice Cloning）以目标文本与短参考音频为输入，输出保留说话人音色与韵律的连续语音，难点在于长时生成的音色漂移与复杂句式下的语义幻觉。所提 DiTAR+ 延续变分自编码器（Variational Autoencoder，VAE）压缩加分块自回归规划与局部扩散重建的两阶段链条：先由因果语言模型（Language Model，LM）根据文本与历史块聚合嵌入预测语义条件向量，再由局部扩散变换器（Localized Diffusion Transformer，LocDiT）据此去噪重建当前块。膨胀上下文采样（Dilated Context Sampling，DCS）在保留近端连续块保证边界平滑的同时稀疏拼接远端历史块，在不打乱物理时序的前提下扩大宏观感受野。分层声学掩蔽（Hierarchical Acoustic Masking，HAM）在前 \(N_1\) 个浅层阻断当前噪声块对历史声学上下文的注意力，迫使模型先建立语义对齐，深层再恢复声学上下文做音色与细节渲染。与仅依赖相邻块的 DiTAR 基线相比，关键差异在于同时解耦时间覆盖范围与语义声学优化阶段。在语言复杂的 ZH-Hard 集合上 DiTAR+ 将词错误率（Word Error Rate，WER）由 12.478% 降至 9.893%，在 25 秒至 35 秒的 ZH-Long 集合上将说话人相似度（Speaker Similarity，SIM）由 0.741 提升至 0.759，同时将 WER 由 2.778% 降至 2.173%。该结论限于中英文零样本朗读场景，跨语言泛化与实时流式部署能力尚未验证，原文未披露训练与推理成本。
🔗 开源与复现资源
- 第三方资源：https://github.com/BytedanceSpeech/seed-tts-eval — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么长句难句会翻车？
这篇论文研究的是零样本语音合成。输入是目标文本加上少量参考音频，参考音频只提供音色和风格提示，不提供目标文本的发音。输出是与参考音色一致、内容与目标文本对齐的连续语音波形。研究生复述时要先固定这个输入输出定义，后面所有词错误率和说话人相似度都是围绕它测的。 论文把当前路线分成两条。
第一条是离散词元自回归，先把语音压成编解码器索引，再用语言模型预测索引，好处是序列预测稳健，坏处是量化丢掉音色和韵律细节。第二条是连续隐变量自回归扩散，直接对压缩后的连续语音表示建模，再用扩散解码器重建局部声学片段，保真上限更高。DiTAR 属于第二条，它用自回归语言模型预测压缩补丁，用局部扩散 Transformer 即 LocDiT 生成高质量连续隐变量。 不稳定主要表现在两类现象。
第一类是长尾说话人漂移，越往后音色越不像参考人，论文归因于 LocDiT 只看紧邻前一个补丁，远端音色和韵律信息够不到，误差逐补丁累积。第二类是难句上的重复、漏读、错读、插入和循环退化，论文归因于声学惯性依赖，即扩散浅层过度依赖局部声学前文，直接复制延续前面的声学模式，忽略了上游语言模型的语义指令。给更多历史反而可能加重第二类问题，这是理解双优化必须先建立的矛盾。
连续声学隐变量 × 离散声学词元： 连续声学隐变量分工是经变分自编码器压缩波形后保留音色、韵律和频谱细节的连续向量，避免量化瓶颈；离散声学词元分工是把语音先转成编解码器索引以便复用文本语言模型做稳健序列预测；二者搭配理由是前者上限更高但解码更不稳定，后者稳健但丢失细节，DiTAR+ 选择在连续隐变量路线上做稳健性补强，而不是退回离散化。
同输入同目标的三条路线各解决了什么，没有解决什么？
在相同零样本条件下，论文对比了 4 类可运行系统。离散自回归代表是 CosyVoice 2，用大规模语言模型加离散音频编解码器，序列层面稳健但细节上限受限。非自回归代表是 MaskGCT，用掩码生成建模加双向上下文理解，不做逐补丁自回归推进。纯连续流匹配代表是 F5-TTS 和 E2 TTS，不带自回归语言规划器，直接做连续扩散或流匹配生成。直接基线是标准 DiTAR，即连续隐变量自回归扩散。
这种对照不是类别标签之争，而是运行阶段的差异。离散路线把困难放在量化与语言模型，非自回归把困难放在并行掩码恢复，纯流匹配把困难放在无自回归规划器的全局对齐，DiTAR 把困难拆成补丁间语义生成和补丁内声学重建。论文的判断是，DiTAR 的分治结构 promising，但局部预测窗口太窄，浅层声学捷径太强，所以在标准短句上可用，在 ZH-Hard 难句和 ZH-Long 长句上暴露问题。 初学者容易误以为历史越长越好。论文明确反对朴素加长或重排补丁。
重排会破坏连续隐变量的绝对物理时序，把自然相邻的补丁拆开，学到的时序先验失效。后面消融中 DiTAR 加 Skip 重排在 ZH-Hard 和 ZH-Long 上全面恶化，就是为这个判断准备的反证。
要解决的两个瓶颈如何形式化为可操作的问题？
第一个瓶颈是历史感受野受限。标准 LocDiT 在生成第 i 个补丁时，主要条件是第 i 减 1 个补丁作为声学前文。短句内边界平滑够用，长句中远端说话人和韵律信息不可见，逐段小误差累积成可听的音色漂移和可测的相似度下降。操作化目标是在不违反物理时序连续性的前提下，扩大宏观历史感受野，同时保留局部边界平滑。 第二个瓶颈是浅层声学捷径。
标准 LocDiT 把历史补丁作为前缀，在所有层都可见。迭代去噪早期就允许模型从已生成声学外推，而不是先听语义条件 hi。操作化目标是按网络深度渐进暴露条件，浅层只做语义对齐，深层再做声学细化，把语义对齐与声学渲染解耦。 两个目标存在张力。单纯扩大历史会给捷径更多可复制的材料，加重幻觉。
单纯遮蔽历史不扩大视野，长尾一致性仍然不足。论文因此提出双优化，两个机制分别承担一个目标，且在实现上正交，一个改送入 LocDiT 的历史集合，一个改 LocDiT 内部每层的注意力掩码。
DiTAR+ 整体如何走完一个补丁的生成？
先沿一个样本走完流程。目标波形先经变分自编码器压缩成连续隐变量，再切成不重叠补丁，每个补丁映射为一个聚合嵌入。自回归 Transformer 以文本条件和参考音频为前缀，顺序处理历史补丁聚合嵌入，对第 i 个目标补丁自回归预测语义隐藏条件向量 hi。这个向量封装了当前补丁所需的上下文语义和韵律指令。 接着 LocDiT 负责把 hi 变成当前补丁的细粒度连续语音隐变量。
它的输入是语义向量 hi、扩散时间步 t、带噪当前补丁 xt，以及历史声学上下文。标准基线只给紧邻前一补丁，DiTAR+ 改为给扩张后的历史集合，并在不同层施加不同掩码。最后去噪完成的补丁隐变量经解码恢复波形，再作为后续补丁的历史。 下图把 2 阶段与两处改动放在同一视野，左侧是基线分治，右侧上方是分层遮蔽，底部是扩张采样。读图时注意箭头方向即数据流向，不要把聚合编码器与 LocDiT 的位置混淆。
看图路径： 1. 先看左上面板自回归 Transformer 到 LocDiT 再到波形的纵向主路径；2. 再看右上面板浅层 N1 屏蔽历史补丁、深层 N2 恢复历史的纵向分层；3. 再对比左下标准只用 P_i-3 到 P_i-1 与右下同时稀疏采样 P_i-nj 的横向差异
论文图 1。原论文 Figure 1:：“The overall architecture of the proposed DiTAR+ framework.”。
上图左侧显示自回归 Transformer 在下，LocDiT 在上，文本 Transcript 与连续语音隐变量从下往上汇入，hi 向上驱动每个 LocDiT。右侧上方显示扩散 Transformer 按深度分成下部 N1 层与上部 N2 层，下部历史补丁以虚线圆圈和锁形标记表示被屏蔽，只保留 hi 与当前补丁，上部恢复实心历史补丁。底部左侧标准只用 Pi-3 到 Pi-1 作为历史，右侧同时用步长为 j 的远端稀疏补丁 Pi-nj 到 Pi-j 加上近端连续窗口，共同送入扩散 Transformer，目标仍是 Pi。该图直接对应后文算法的两个阶段，像素中右下角把所提方法误标为 SHC 字样，仍按正文认定为扩张上下文采样。
自回归语言模型 × 局部扩散解码器： 自回归语言模型分工是在补丁间宏观建模，输入文本与参考音频前缀和历史补丁聚合嵌入，逐补丁预测语义隐藏条件向量 hi；局部扩散解码器 LocDiT 分工是在补丁内微观重建，用双向注意力迭代去噪当前噪声补丁；搭配理由是前者管长程语义和韵律指令，后者管高保真声学渲染，组合后形成先规划后绘制的 2 阶段分治结构。
扩张上下文采样如何扩大视野又不打乱时序？
扩张上下文采样英文名为 Dilated Context Sampling，简称 DCS。白话是远近结合的历史拼盘。近端保留小窗口连续补丁，例如 Pi-c 到 Pi-1，保证相邻边界平滑。远端按固定步长 j 稀疏采样更早的补丁，例如 Pi-j、Pi-2j 直到 Pi-nj，提供宏观声学走向。两部分按原始时间顺序拼接后 jointly 作为 LocDiT 的条件。
原文强调不做重排，绝对物理顺序保持不变，计算代价可忽略。 符号含义是，Pi 表示第 i 个语音补丁，c 是局部窗口大小例如 3，j 是扩张步长且大于 c，n 决定宏观感受野最大范围，Ci 是预测第 i 个补丁时使用的总体历史上下文。计算目标是让 LocDiT 同时看到短程连续线索与长程音色韵律信息，减少长程误差累积，缓解说话人漂移，同时维持声学连续性。
\[C_{i}=[P_{i-nj},\ldots,P_{i-2j},P_{i-j},P_{i-c},\ldots,P_{i-2},P_{i-1}],\]上式中方括号左侧是稀疏远端部分，右侧是稠密近端部分，拼接顺序即时间顺序。算法第一阶段先取 Clocal 再取 Cdilated，最后拼接为 Xhist。需要复述的实现细节是，上下文是每个自回归解码步动态构造，不是静态前缀。论文未报告 c、j、n 的具体数值选择过程，复现时只能先按 c 等于 3 的示例与 j 大于 c 的约束做超参数搜索，并记录感受野与显存变化。
扩张上下文采样 × 分层声学遮蔽： 扩张上下文采样分工是给 LocDiT 同时提供稠密近邻窗口和稀疏远端历史，扩大宏观感受野以抑制长尾说话人漂移；分层声学遮蔽分工是在 LocDiT 浅层屏蔽历史声学键，迫使先依据 hi 建立语义对齐，深层再恢复声学上下文做平滑渲染；搭配理由是只加历史会加重声学惯性依赖，只做遮蔽不扩大视野则长程一致性不足，二者正交组合才同时解决漂移与幻觉。
分层声学遮蔽如何按深度切断浅层捷径？
分层声学遮蔽英文名为 Hierarchical Acoustic Masking，简称 HAM。白话是浅层闭眼听语义，深层睁眼修声音。具体做法是，LocDiT 前 N1 个浅层中，当前噪声序列 Xcurr 中的查询不能 attending 到历史声学上下文 Xhist 中的键，迫使模型只依据语言模型给出的 hi 建立语义对齐。后 N2 个深层解除掩码，允许利用历史声学信息做音色、韵律和连续性细化。 掩码自注意力的输入是查询 Q、键 K、值 V 与层相关掩码 M，计算目标是在 Softmax 前给被屏蔽的位置加负无穷，使其权重为零。Xcurr 是当前带噪隐变量序列，Xhist 是组装好的历史声学上下文，hi 是语义表示，l 是层索引，N1 是被屏蔽的浅层块数。
\[\text{Attention}(Q,K,V)=\text{Softmax}\left(\frac{QK^{\top}}{\sqrt{d}}+M^{(l)}\right)V,\]上式表示第 l 个 Transformer 块的掩码自注意力，掩码加在 QK 转置缩放之后。下一式定义掩码取值，只有当查询属于 Xcurr、键属于 Xhist 且层号小于等于 N1 时取负无穷，其余取零。
\[M_{u,v}^{(l)}=\begin{cases}-\infty,&q_{u}\in X_{\text{curr}},\;k_{v}\in X_{\text{hist}},\;l\leq N_{1},\\ 0,&\text{otherwise},\end{cases}\]算法第二阶段先把 hi、Xhist、Xcurr 拼接为初始序列 H0，逐层计算线性投影得到 QKV 并初始化全零掩码，若 l 小于等于 N1 则把历史声学键对应位置覆写为负无穷，再做掩码自注意力和前馈加残差更新，最终取出对应 Xcurr 的表示。论文未报告 N1 与总层数 L 的具体取值与梯度路径细节，复现时需把 N1 当作关键超参数做消融，并明确冻结或更新范围。
声学惯性依赖 × 语义对齐： 声学惯性依赖指 LocDiT 浅层无限制看到前文声学时走捷径，复制或延续前一补丁的声学模式；语义对齐指依据上游语言模型条件 hi 决定当前补丁应说什么内容；搭配意义在于论文把二者显式解耦为先后两步，先在遮蔽下建立语义表示，再引入声学细节，从而减少重复、插入、漏读和循环退化。
模型在什么数据和硬件上从零训练，推理如何配置？
训练数据与硬件按原文交代。所有模型在大规模多语言语音数据集 Emilia 上从零训练，计算集群包含 4 个节点，每个节点 8 张 H20 显卡，共 32 张 H20 显卡，训练时每张显卡批量大小为 8。论文未报告总步数、学习率、优化器、变分自编码器是否冻结等细节，这是复现缺项，需要在复现记录中明确标出未知，而不是从模型名称推定。 推理侧原文给出可复述的配置。采用欧拉常微分方程采样器 10 步，分类器无关引导尺度为 2.0，流匹配尺度为 1.0，并用 sway 采样平衡多样性与稳定性，最大提示长度截断为 75。
合成时提示音频用作说话人参考，逐句生成目标文本 utterance by utterance。初学者应把训练与推理分开记录，训练资源不等于推理延迟，输出时长与实际延迟也需分别测量，原文未测量延迟则不能承诺延迟改善。 下表把训练与推理条件整理为可核对清单，数值与表述保留原文写法，便于对照实验环境。
| 条件类别 | 配置项 | 原文值 | 说明 |
|---|---|---|---|
| 训练数据 | 数据集 | Emilia | 大规模多语言，从零训练 |
| 训练硬件 | 节点与显卡 | 4 节点，32 张 H20 | 每节点 8 张 H20 |
| 训练批量 | 每卡批量 | 8 | 总批量未报告 |
| 推理采样 | 求解器与步数 | Euler ODE，10 步 | 另有 sway 采样 |
| 推理引导 | 引导与流匹配尺度 | 2.0，1.0 | 分类器无关引导 |
| 推理提示 | 最大提示长度 | 75 | 截断，逐句生成 |
表前问题是复现需要哪些已报告条件才能对齐训练与推理，公平比较要求基线与本方法共用同一推理配置。表后解释是该表只解决环境可比性，不支持质量判断。
缺失的总步数、学习率与变分自编码器处理是明确缺项，需补做实验记录。主观评价的 10 名评估者与 50 条抽样放在实验条件节交代，不混入本表。
用什么数据、指标和协议测稳健性？
评估覆盖标准与极端两类场景。标准零样本集是 seed-tts-eval 的英文 Seed-EN 与中文 Seed-ZH。极端集是 400 条中文难句 test-zh-hard 记为 ZH-Hard，用于考验复杂语言结构，以及 400 条预期时长 25 到 35 秒的长句记为 ZH-Long，用于考验长期音色一致性与时序漂移。客观指标是词错误率反映语言可懂度，越低越好，以及说话人相似度反映音色克隆准确度，越高越好，严格遵循 seed-tts-eval 协议。主观指标是自然度、质量、相似度的平均意见分 5 分制，以及以 DiTAR+ 为 0.0 锚点的比较平均意见分，10 名专业评估者每系统随机评 50 条。
词错误率 × 说话人相似度： 词错误率分工是衡量语言可懂度和语义保真，越低表示发音和内容错误越少；说话人相似度分工是衡量零样本音色克隆准确度，越高表示与提示音色越接近；搭配理由是稳健合成必须同时看懂说什么和像谁说，论文在标准集、难句集和长句集上同时报告二者，避免只优化平滑听感而掩盖语义错误。
对比系统覆盖可运行策略。直接基线是标准 DiTAR，用于验证 DCS 与 HAM 是否缓解误差累积。离散自回归代表 CosyVoice 2，非自回归代表 MaskGCT，纯连续流匹配代表 F5-TTS 与 E2 TTS。复现时比较必须保留这些实际可运行策略，不能用搜索最优或事后最优代替可部署收益。评估仓库链接当前可用，地址为第三方 seed-tts-eval 仓库，状态码 200，这是正文开源声明之外的协议依据，不等同于本论文代码权重已公开。论文未报告统计显著性与方差，这是限制，需在结论中保留不确定性。
主结果在标准集、难句集和长句集上说明了什么？
比较问题是，在相同 seed-tts-eval 协议下，DiTAR+ 相对直接基线与 3 条路线代表，是否在可懂度与音色一致性上同时占优。公平条件是共用客观指标方向，词错误率越低越好，说话人相似度越高越好。标准集看基本功，难句集看语义稳健，长句集看长尾漂移。
| 系统 | Seed-EN 词错误率 | Seed-ZH 词错误率 | ZH-Hard 词错误率 | ZH-Long 词错误率 | ZH-Long 相似度 |
|---|---|---|---|---|---|
| CosyVoice 2 | 2.570 | 1.450 | 13.415 | 2.776 | 0.748 |
| MaskGCT | 2.623 | 2.273 | 14.085 | 2.954 | 0.740 |
| F5-TTS | 1.982 | 1.560 | 11.209 | 2.894 | 0.729 |
| DiTAR | 1.774 | 1.287 | 12.478 | 2.778 | 0.741 |
| DiTAR+ | 1.672 | 0.985 | 9.893 | 2.173 | 0.759 |
表后解释需要同时讲收益与代价。收益是 DiTAR+ 在 Seed-EN 达到 1.672%，在 Seed-ZH 达到 0.985%，均为参评最低。
难句集从基线 12.478% 降到 9.893%，长句集词错误率从 2.778% 降到 2.173%，相似度从 0.741 升到 0.759，均为参评最优，报告显示双优化在极端场景的结构优势。代价与未胜出项是，标准集相似度上 DiTAR+ 在 Seed-EN 为 0.735 略低于基线 0.737，在 Seed-ZH 为 0.762 低于 MaskGCT 的 0.774，说明相似度并非全线碾压。主观质量分上基线更高，下一节展开。相对百分比与百分点不要混用，这里都是百分点差值。 单样本梅尔谱提供机制层面的直观证据。 下图导读先看整体布局，再看可执行细节。
看图路径： 1. 先看上下两条梅尔谱共用的时间横轴 0 到 25 秒与频率纵轴；2. 再看上条右侧红框内高度重复的竖条纹理与下条 14 秒后黑色的及时截断；3. 再对照标题标注的 25.5 秒与 52% 和 14.0 秒与 6% 的单样本数值
论文图 3。原论文 Figure 3:：“Mel-spectrogram comparison between the standard DiTAR baseline and the proposed DiTAR+ on a challenging utterance.”。
上图上排基线生成时长 25.5 秒、词错误率 52%，右侧红框内出现高度重复的竖条纹理，论文称为失控循环，未能按时终止。下排 DiTAR+ 生成时长 14.0 秒、词错误率 6%，频谱细节不重复且在 14 秒后及时截断为空白。像素显示纵轴为频率千赫兹 0 到 12.0，横轴为时间秒 0 到 25，右侧色标为功率分贝负 80 到 0。该证据是单条挑战 utterance 的定性展示，支持分层遮蔽抑制声学捷径的解释，但不能推广为平均时长或平均词错误率，平均结论以主表为准。
主观听感是否支持客观指标，质量分 trade-off 如何理解？
比较问题是人类听感是否偏好 DiTAR+，以及客观最优是否以微观平滑为代价。公平条件是以 DiTAR+ 为比较平均意见分锚点记为 0.0，负值表示不如 DiTAR+，自然度、质量、相似度均为 5 分制越高越好，评估者 10 人每系统 50 条。
| 系统 | 自然度 MOS | 质量 MOS | 相似度 MOS | 比较 MOS |
|---|---|---|---|---|
| Ground Truth | 3.88 | 3.60 | 3.57 | +0.22 |
| E2 TTS | 3.25 | 3.42 | 3.17 | -0.28 |
| F5-TTS | 3.37 | 3.59 | 3.32 | -0.02 |
| DiTAR | 3.70 | 3.88 | 3.52 | -0.06 |
| DiTAR+ | 3.71 | 3.82 | 3.58 | 0.00 |
表后解释是，DiTAR+ 自然度 3.71 与相似度 3.58 为参评最高，且所有竞品比较分均为负，支持人类偏好 DiTAR+。
但质量分上基线 3.88 高于 DiTAR+ 的 3.82，论文解释为有意权衡，基线过拟合紧邻历史带来局部平滑，听感细腻但长尾语义幻觉与漂移更严重，DiTAR+ 打破局部惯性，用可忽略的微观平滑损失换取宏观韵律自然、语义稳健与长期音色稳定。未胜出项必须保留，真人录音 Ground Truth 在比较分上为正 0.22，说明整体仍偏好真人，DiTAR+ 在相似度上略超真人 3.58 对 3.57，论文解释为模型生成更干净理想的音色，滤掉真实录音的微环境噪声，该解释属于有限解释而非直接测量，表述用可能。
拆开看，扩张采样与分层遮蔽各自管哪一段？
比较问题是两个模块是否正交，各自贡献能否分离。公平条件是在相同 ZH-Hard 与 ZH-Long 上测词错误率越低越好、相似度越高越好，并加入朴素重排 DiTAR 加 Skip 作为负对照。实际可运行策略包括基线、仅 DCS、仅 HAM、负对照与完整 DiTAR+。
| 系统 | ZH-Hard 词错误率 | ZH-Hard 相似度 | ZH-Long 词错误率 | ZH-Long 相似度 |
|---|---|---|---|---|
| DiTAR | 12.478 | 0.672 | 2.778 | 0.741 |
| DiTAR + DCS | 10.671 | 0.681 | 2.165 | 0.757 |
| DiTAR + HAM | 9.889 | 0.700 | 3.056 | 0.749 |
| DiTAR + Skip | 16.231 | 0.612 | 5.105 | 0.685 |
| DiTAR+ | 9.893 | 0.695 | 2.173 | 0.759 |
表后解释要讲分工与反例。仅 DCS 把 ZH-Long 词错误率降到 2.165%、相似度升到 0.757，长尾稳定性最好，但难句词错误率 10.671% 不如仅 HAM。
仅 HAM 把 ZH-Hard 词错误率降到 9.889%、相似度升到 0.700，为难句最优，但长句词错误率回升到 3.056%，长尾轨迹接近基线，符合其不扩展窗口的设计定位。完整 DiTAR+ 在两类极端上接近最优且均衡，长句相似度 0.759 为最高。负对照全面恶化，难句 16.231%、长句 5.105%，支持破坏绝对时序会摧毁时序先验的判断。未胜出细节是完整模型难句词错误率 9.893% 略高于仅 HAM 的 9.889%，差异极小，报告为接近最优而非全胜。 块级相似度曲线展示时间动态。 导读先确认坐标，再看分叉。
看图路径： 1. 先确认横轴是 3.0 秒每块的块索引 1 到 12，纵轴是相对参考的余弦相似度；2. 再比较绿色基线在中后段的快速下落与蓝色完整模型在尾部的高位平稳；3. 再观察红色仅扩张采样与橙色仅分层遮蔽在尾部的相对位置
论文图 2。原论文 Figure 2:：“Chunk-level speaker similarity over continuous generation steps (3.0 s per chunk).”。
上图横轴为块索引 1 到 12，每块 3.0 秒，纵轴为相对参考的余弦相似度 0.60 到 0.80。4 条曲线图例分别为蓝色完整 DiTAR+、橙色仅 HAM、绿色基线 DiTAR、红色仅 DCS。可见绿色基线在第 5 到 6 块约 15 到 18 秒后急剧下落，中后段低至约 0.65 到 0.67。红色仅 DCS 明显减缓下落，中段保持在 0.71 以上。橙色仅 HAM 中前段尚可但尾部与基线同样走低。
蓝色完整模型全程最高且尾部平稳在 0.70 以上，支持语义正则与时序连贯正交的解释。像素可辨趋势，精确到小数点后 3 位的逐块数值不应硬读，以原文平均表为准。
哪些结论有边界，哪些验证还没有做？
直接报告的是，在给定 Emilia 训练、给定推理配置与 seed-tts-eval 协议下，DiTAR+ 在难句可懂度与长句音色稳定性上优于所列基线。支持的是 DCS 扩大宏观感受野缓解漂移、HAM 解耦语义与声学减少循环的机制解释，消融与谱图为其提供一致证据。待验证的是该解释的因果强度，例如 N1 层数、扩张步长与窗口大小的敏感性未报告，超参数迁移到其他语种与采样步数时是否成立未知。 未测量项必须点名。
论文未报告训练总步数、学习率、优化器、变分自编码器冻结策略，未报告推理延迟、实时率、显存增量与输出帧率，未报告统计显著性与多次运行方差。因此不能承诺延迟改善或成本下降，训练资源与推理开销需分别讨论。质量主观分略低于基线是已报告代价，不能略去。 另一个边界是评估范围。难句集为中文 400 条，长句集为 25 到 35 秒 400 条，标准集为 Seed 英文中文。
英文难句、超长超过 35 秒、噪声提示、多说话人切换等条件未评测，不能外推。单样本谱图从 52% 降到 6% 是挑战样本的定性案例，不能当作平均收益引用。
复现先做什么，如何保证改动可归因？
第一步复现基线分治。实现变分自编码器压缩与不重叠补丁聚合，自回归 Transformer 输出 hi，LocDiT 以前一补丁为前文做 10 步欧拉采样，引导尺度 2.0、流匹配尺度 1.0、最大提示长度 75，先在 Seed-EN 与 Seed-ZH 上对齐词错误率与相似度基线。 第二步单独加 DCS。按公式实现近端连续窗口与远端步长采样的动态拼接，保持时间顺序，固定 HAM 关闭，先在 ZH-Long 上看长尾块级相似度是否回升，同时检查难句是否出现复制加重。若仅加历史导致幻觉加重，正好复现论文指出的张力。
第三步单独加 HAM。按公式实现层相关掩码，前 N1 层屏蔽 Xcurr 对 Xhist 的注意力，深层恢复，先在 ZH-Hard 上看词错误率是否下降，同时检查长尾相似度是否仍走低。把 N1 从小到大扫描，记录语义错误与平滑损失的 trade-off。最后再合并为完整 DiTAR+，验证是否同时接近两个单模块最优。 全程保留基线与负对照。
必须包含 DiTAR 加 Skip 重排作为失败条件，验证破坏时序是否复现 16.231% 与 5.105% 量级的恶化。评估严格用 seed-tts-eval 协议，词错误率与相似度同时报告，主观评价若资源不足可暂缺，但不能用自动指标冒充人评。所有超参数与缺项如 c、j、n、N1、学习率需写入实验记录。
何时值得尝试 DiTAR+，一句话如何带走？
当任务是零样本连续隐变量合成，且痛点集中在长尾音色漂移或难句循环重复时，值得尝试先加分层遮蔽稳住语义，再加扩张采样稳住长程。若应用只关心短句局部细腻度且能容忍偶发幻觉，基线的高质量分可能已够用，不必为宏观稳健支付微观平滑代价。 带走的复述是，DiTAR+ 不是换更大的模型，而是改历史怎么给、每层能不能看。远近结合扩大视野但不重排时序，浅层遮蔽迫使先听语义、深层再修声音，二者正交才同时拿下难句词错误率与长句相似度。复现时先对齐推理配置与评估协议，再分别验证两个模块，最后用负对照确认时序先验不可破坏，这样的顺序最省时间且可归因。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses