标签：#音频生成 | #流匹配 | #端到端学习 | #自监督学习
评分：7.7/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.4/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Runwu Shi：机构信息未在 arXiv HTML 中可靠披露
- Kai Li：机构信息未在 arXiv HTML 中可靠披露
- Yujin Wang：机构信息未在 arXiv HTML 中可靠披露
- Dong Yang：机构信息未在 arXiv HTML 中可靠披露
- Jiahui Li：机构信息未在 arXiv HTML 中可靠披露
- Jiang Wang：机构信息未在 arXiv HTML 中可靠披露
- Chang Zeng：机构信息未在 arXiv HTML 中可靠披露
- Benjamin Yen：机构信息未在 arXiv HTML 中可靠披露
- Ashizawa Takeshi：机构信息未在 arXiv HTML 中可靠披露
- Chunxiang Jin：机构信息未在 arXiv HTML 中可靠披露
- Kazuhiro Nakadai：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
文本到音频（Text-to-Audio，TTA）生成需由开放文本描述合成语义准确且声学真实的高质量通用声音，难点在于为重建最优的紧凑隐空间未必适合后续生成建模。Unite-Audio 先以在线编码器编码部分波形并经指数滑动平均（Exponential Moving Average，EMA）编码器提供全量目标，再将二者加噪至同一流时间构造完整流输入以训练文本条件流模型，接着冻结表征专训由噪声出发的全文生成，最后以 Flow-GRPO 强化语义对齐。与冻结分词器的两阶段范式及依赖外部语义教师的方法不同，该框架让生成损失直接塑造从零学习的连续隐空间并保留重建分支以维持可解码性。在 AudioCaps-886 评测上最终模型取得 CLAP 相似度 0.534 与 PaSST KL 散度 1.057，均优于表中对比系统并保持少步采样鲁棒性。该结论目前仅在 16 kHz 最长 20 秒英文描述场景验证，长音频、音乐性与跨域泛化尚未证明。原文未披露训练时长与部署成本，仅报告单卡 H800 上的相对实时因子。
🔗 开源与复现资源
模型相关资源：https://runwushi.github.io/Unite-Audio/ — 链接可访问（HTTP 200）
演示资源：https://runwushi.github.io/Unite-Audio/ — 链接可访问（HTTP 200）
复现相关资源：https://runwushi.github.io/Unite-Audio/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
文本到音频要解决什么，为什么潜空间很关键？
文本到音频生成的输入是一段自然语言描述，输出是一段波形，要求合成的声音真实且与描述中的声事件和场景一致。初学者可以把任务理解为给定文字，模型要决定出现什么声音、各自何时出现、混合后听起来是否自然。直接在高维波形上建模代价很大，因此主流做法是先把波形压缩成紧凑的潜表示，再在潜空间中训练条件扩散或流模型，最后用解码器把潜序列还原为波形。
潜空间的质量直接决定两件事：解码器能否忠实还原声音细节，生成模型能否容易地学到文本到声音的映射。论文指出的矛盾是，现有 2 阶段做法先按重建目标独立优化分词器并冻结，再训练生成器，重建好的表示不一定好生成。举例来说，一个只追求波形还原误差的编码器可能保留大量与语义无关的细粒度变化，而生成器在推理时只能从噪声和文本出发，难以复现这种组织方式。
本文的目标就是让生成目标直接参与塑造潜空间，同时不丢失解码所需的信息。需要保留的关键信息是：连续潜表示、联合学习、部分上下文加噪声的流匹配、EMA 全视角目标、3 阶段训练，以及在 AudioCaps 上的可核对评测条件。
已有路线如何改进分词器，本文与它们有何不同？
相关工作可以按输入、目标和监督来源分成 3 类。第一类是标准的 2 阶段文本到音频潜生成，输入是波形加文本，目标是重建加潜生成，但两个阶段的监督是分离的，生成阶段不能改变已冻结的分词器。第二类是在分词器训练中引入外部语义监督，例如借助预训练语言模型或语音识别编码器的知识来塑造连续音频表示，输入增加了外部模型的先验，目标仍是让潜空间更适合下游生成。
第 3 类来自视觉生成，思路是不依赖外部大模型，而是用自监督或生成目标直接塑造潜空间，例如在分词器中加入掩码建模、用扩散先验正则表示、或把分词与潜去噪放在单阶段联合优化。本文属于第 3 类在音频上的延续，但论文明确说明其潜空间完全从零开始学习，不依赖外部预训练模型做表示对齐。
区别在于监督来源和梯度路径：外部语义路线把知识从冻结的教师模型搬运过来，本文路线让在线编码器的部分观察表示直接接受流匹配损失的梯度，并用完整波形的 EMA 表示作为预测目标。理解这一区别有助于复述：本文不是换了一个更大的生成器，而是改变了潜空间是谁来教、梯度流向哪里。
两阶段冻结会带来什么具体困难？
假设分词器已经按重建训练好并冻结，生成器只能在这个固定几何中学习从噪声到潜序列的映射。如果重建潜空间的维度利用率低、语义可分性弱，生成器就需要用更多参数和采样步数去拟合一个难走的流形。论文用有效秩和线性探针准确率来刻画这种结构差异，用多尺度梅尔距离和尺度不变信失真比来确认重建没有被牺牲。教学例子是：把潜空间想象成仓库货架，重建目标只关心货物能否原样取出，生成目标关心货架是否有规律以便按订单快速备货。
2 阶段做法相当于货架固定后才训练备货员，本文做法是让备货员的反馈直接参与调整货架布局。需要强调的是，这只是一个帮助理解的例子，论文并未给出货架类比中的任何数值，真正的证据来自后文不同上下文学习策略在生成指标、表示指标和重建指标上的对照。另一个具体困难是训练与推理的不一致：推理时生成从纯噪声开始，而部分上下文训练若使用干净的在线表示，就会把推理时不存在的干净信息泄露给流模型，造成状态不匹配。
单阶段联合训练的全景是什么？
Unite-Audio 包含在线编码器、解码器、EMA 编码器和文本条件潜流模型。训练时每个批次按概率分流：一部分走重建路径，另一部分走生成路径，两条路径都把梯度传回在线编码器，共同塑造潜空间。重建路径的动作很直接：完整波形经在线编码器得到潜序列，再经解码器还原波形，用频谱与对抗损失约束保真度。生成路径的动作是：在线编码器只看部分波形上下文，EMA 编码器看完整波形并经停止梯度给出全视角目标，部分在线表示被放入流模型输入并保留到编码器的梯度连接，使生成目标直接参与表示学习。论文还交错加入从高斯噪声开始的完整生成训练，以对齐推理设置。
连续音频分词器 × 潜流匹配： 连续音频分词器负责把波形压成可解码的连续潜序列并保证声学保真，潜流匹配负责在该潜空间中按文本条件从噪声预测完整潜目标，二者搭配的理由是让生成损失的梯度直接参与塑造编码器，组合意义是潜空间同时保留可重建信息和更易生成的结构，而不是先固定重建潜空间再训练生成器。
以下导读帮助建立 2 阶段与单阶段的对照，重点是冻结发生在何处、梯度能否回到编码器。
看图路径： 1. 先看上半部分两阶段流程中编码器何时被冻结；2. 再看下半部分在线编码器到流匹配与到解码器的两条线；3. 对照图例确认可训练、重建虚线与生成实线的含义；4. 观察 EMA 编码器到流匹配损失的停止梯度标记位置
论文图 1。原论文 Figure 1:：“Comparison between conventional separate tokenizer–generator training and our joint single-stage training.”。
上图上半部分显示分离训练先做分词器重建，再冻结编码器训练生成模型，流匹配损失无法改变表示。下半部分显示本文的联合训练中在线编码器同时连向解码器和流匹配模块，EMA 编码器提供停止梯度的全视角目标，图例区分了可训练模块、重建虚线和生成实线。关键观察是下半部分的掩蔽分支进入流匹配，而 EMA 分支经停止梯度符号进入损失，这正是生成监督回传与目标稳定之间的分工。推理时只用文本、噪声和学好的流模型加解码器，不再需要部分波形上下文。
部分上下文如何构造，噪声匹配做了什么计算？
生成路径把每条波形切成互不重叠的 2 秒时间桶，在每个桶内独立采样上下文比例。上下文指保留的未掩蔽波形区域，论文将每个桶的上下文比例独立采样在 0 到 30% 之间。由部分波形得到在线表示，由完整波形得到 EMA 目标。为了缩小部分上下文训练与从噪声生成的差距，论文把上下文表示加噪到与 EMA 轨迹相同的流时刻。
具体做法是对同一噪声和同一时刻构造两条插值轨迹，再按位置拼成完整的流输入：在上下文位置放加噪后的在线表示，在其余位置放加噪后的 EMA 表示。这样流模型始终收到完整的噪声潜序列，但只有上下文位置保留到在线编码器的梯度路径。论文明确指出，若用干净在线上下文搭配噪声流状态会导致不匹配并损害生成性能，因此必须做同流时刻加噪。
在线编码器 × EMA 编码器： 在线编码器观察部分波形上下文并保留到流匹配损失的梯度通路，EMA 编码器观察完整波形并经停止梯度提供全视角目标，二者搭配的原因是需要一个稳定且完整的预测目标来引导部分观察的表示学习，组合意义是以预测完整 EMA 表示的方式给编码器提供自监督生成监督。
部分上下文流匹配 × 重建路径： 部分上下文流匹配分工是让生成目标塑造潜空间的预测结构，重建路径分工是用频谱与对抗损失维持可解码的声学细节，二者搭配的原因是只做其一会偏向可生成或可重建的一端，组合意义是在同一编码器上按概率路由同时优化两类目标，使表示兼顾生成友好与忠实解码。
以下导读把重建单链与生成双分支分开看，重点是掩蔽潜序列在何处与噪声混合。
看图路径： 1. 先看重建路径中波形到波形的单链条；2. 再看生成路径中掩蔽波形与完整波形的双输入；3. 观察掩蔽潜序列如何与噪声在时刻 t 插值后进入流匹配；4. 确认文本编码器与时间步 t 从哪两个方向进入流匹配模块
论文图 2。原论文 Figure 2:：“Overview of the proposed framework: (a) the reconstruction path and (b) the generation path.”。
上半重建路径只有波形到在线编码器再到解码器的单链条。下半生成路径左侧是掩蔽波形进在线编码器得到带掩蔽标记的潜序列，下方是完整波形进 EMA 编码器再经停止梯度得到完整潜序列，中部标注在时刻 t 与噪声插值后拼接，右侧是文本编码器、流匹配模块、时间步 t 与流匹配损失的连接。可见的教学要点是：梯度可传播的浅蓝色区域集中在在线编码器、解码器和流匹配，灰色无梯度区域集中在文本编码器与 EMA 编码器，损失同时比较流模型输出与 EMA 完整目标。
符号与计算目标需要先说清。公式中的波形、文本、流时刻、噪声、上下文位置集合、在线部分表示和 EMA 完整目标都是输入或中间量，流模型的输出是预测的干净全视角表示，损失只在非上下文的目标区域上求均方误差。
\[\tilde{z}_{t,i}=\begin{cases}z_{t,i}^{\mathrm{ctx}},&i\in\mathcal{C},\\ z_{t,i}^{\star},&i\notin\mathcal{C}.\end{cases}\]上式说明完整流输入是按位置拼接的结果，上下文位置用加噪在线表示，其余位置用加噪 EMA 表示，保证输入完整且梯度只从上下文位置回传。
\[\mathcal{L}_{\mathrm{FM}}=\mathbb{E}_{t,\epsilon}\left[\frac{1}{|\bar{\mathcal{C}}|}\sum_{i\notin\mathcal{C}}\left\|F_{\psi}(\tilde{z}_{t},c,t)_{i}-z_{i}^{\star}\right\|_{2}^{2}\right],\]上式是 x 预测的流匹配目标，模型以拼接后的噪声潜序列、文本和时刻为输入，在目标区域逼近干净的 EMA 表示。论文还说明采用偏向高噪声状态的偏移流时刻调度，遵循 UNITE 的做法。
三阶段如何组织损失、冻结与优化？
重建目标遵循音频自编码器做法，组合全局频谱重建、局部多分辨率频谱重建和对抗学习。全局短时傅里叶损失在完整有效波形上计算以保留全局谱结构，相位感知的多分辨率短时傅里叶损失在随机 2 秒片段上用 32 到 2048 的 7 个二进傅里叶尺寸计算，再用多视角短时傅里叶与伪正交镜像滤波器判别器的生成对抗损失和特征匹配损失提升感知真实感并稳定对抗训练。判别器单独优化。潜生成使用上一节的 x 预测流匹配损失。联合目标按重建路由概率加权两项，重建维持声学保真与可解码性，流匹配提供预测与生成监督。
\[\mathcal{L}_{\mathrm{total}}=p_{\mathrm{rec}}\mathcal{L}_{\mathrm{rec}}+(1-p_{\mathrm{rec}})\mathcal{L}_{\mathrm{FM}}.\]上式中路由概率控制每批走重建路径的比例，论文第 1 阶段将其设为 0.5。阶段一从零联合优化在线编码器、解码器和流模型，部分上下文流匹配把梯度传给在线编码器，同时用完整生成样本让流模型直接暴露于从噪声生成，EMA 编码器不接受梯度只做指数滑动平均更新。阶段二冻结编码器、解码器和 EMA 编码器，只优化流模型，移除重建与部分上下文训练，专门化文本条件从高斯噪声生成，同时保持潜表示固定。
阶段三在编码器和解码器固定的条件下用 Flow-GRPO 继续优化流模型，对每个文本采样多个生成组成组，用 CLAP 相似与 PaSST 散度相对参考音频的组合奖励计算组内归一化的优势，再用裁剪的目标加与参考策略的散度约束更新策略，参考策略是冻结的阶段 2 流模型。
流匹配损失 × Flow-GRPO： 流匹配损失分工是学习从噪声潜状态到干净潜目标的文本条件映射，Flow-GRPO 分工是在冻结表示后用 CLAP 相似与 PaSST 事件一致组成的组相对奖励继续优化策略，二者搭配的原因是先学到可用的生成映射再针对语义对齐做奖励优化，组合意义是分阶段先保生成能力再提文本音频一致性。
实现细节按原文交代：阶段一训练 240k 迭代，批量 24，AdamW 学习率 1×10−4，EMA 衰减 0.999，上下文比例 0 到 30%，重建路由概率 0.5，重建权重分别为 1.0、1.0、0.1 和 5.0，对抗训练在 10k 步后开始，文本条件以 10% 概率丢弃以支持分类器无关引导。阶段二用 AdamW 学习率 5×10−5、权重衰减 0.01、批量 64。阶段三学习率 1×10−6、组大小 4，奖励权重 2/3 和 1/3，裁剪参数 1×10−4，散度系数 0.01。采样时 32 步用引导尺度 5.0，低步数用 2.0。所有实验用两块 NVIDIA H800。论文未报告优化器 1 阶 2 阶矩参数和学习率调度细节，复现时应视为缺项而不猜测。
数据、模型与评测条件是什么？
数据方面，阶段一用 AudioSet 的 1,729,107 个样本和 WavCaps 的 246,324 个样本，并从 AudioSet 派生数据中明确移除所有 AudioCaps 测试集条目以防止评测泄露。阶段二和阶段三用 AudioCaps 训练集。论文保留短于 20 秒的 WavCaps 样本，把所有音频重采样到 16 kHz、最大时长 20 秒。编码前波形按固定因子 8 缩放，潜表示做均方根归一化到固定尺度 1.0，使流模型工作在单位均方根潜空间。模型方面，分词器在 160 采样波形块上操作，产生 64 维、25 Hz 的潜表示，编码器和解码器各含 12 个同分辨率 Transformer 块，再分别接两个下采样和上采样块。
潜流模型用多模态扩散 Transformer 结构，音频与文本表示经联合注意力交互，隐藏维 512、18 层 Transformer，其中 11 个是融合音频文本块，文本条件由冻结的 FLAN-T5-Large 编码器提供，可训练潜流模型含 117.2M 参数，不含分词器与冻结文本编码器。评测遵循 TangoFlux 在 886 样本 AudioCaps 测试划分上的协议，报告基于 OpenL3 的 Fréchet 距离、基于 PaSST 的 KL 散度、CLAP 相似与 Inception 分数，另报告把生成与参考都重采样到 16 kHz 后的 FD。原文说明 FD 衡量生成与参考的分布相似，KL 比较 PaSST 预测的事件分布，CLAP 衡量文本音频语义对齐，IS 反映样本多样与特异性。实时率在单块 H800 上对 10 秒生成平均 10 次得到。
下表把分散在正文中的训练与结构超参数集中为可核对的配置表，阅读时注意区分分词器、流模型与文本编码器的冻结状态。 下表提出的问题是联合训练的可复现条件是否完整：阶段、优化量级与结构规模是否在同一表中对齐，指标方向在后文结果表中如何对应。
| 配置组 | 关键参数 | 阶段一取值 | 阶段二取值 | 阶段三取值 |
|---|---|---|---|---|
| 优化 | 迭代与批量 | 240k 迭代，批量 24 | 批量 64 | 组大小 4 |
| 优化 | 学习率 | 1×10−4 | 5×10−5 | 1×10−6 |
| 联合 | 上下文与路由 | 上下文 0 到 30%，路由 0.5 | 移除部分上下文 | 冻结表示 |
| 重建 | 损失权重 | 1.0，0.1，5.0 | 冻结 | 冻结 |
| 结构 | 分词与流模型 | 160 采样块，64 维 25 Hz | 512 维 18 层，11 融合块 | 117.2M 可训练参数 |
下表把优化量级、路由开关与结构规模放在同一行，便于对照后文阶段一到阶段三的性能变化；代价是该表只解决可运行性，不直接证明生成质量，质量判断必须回到主结果表与消融表。
文本编码器冻结、EMA 只做滑动平均、判别器单独优化三点是复现时最易接错的冻结边界。
主结果显示了什么收益与什么代价？
主结果在 AudioCaps-886 基准上比较多个文本到音频系统，参数量只计潜生成模型，不含音频编解码器与文本编码器。论文报告阶段二在奖励后训练前已显示较强生成，Flow-GRPO 进一步提升语义对齐与事件一致性，最终模型在比较系统中取得最高的 CLAP 与最低的 PaSST KL，并保持有竞争力的 IS。同一段也明确报告 FD 在 Flow-GRPO 后退化，阶段二在分布保真度上有更好折中。论文还报告在更少采样步数下保持稳健，在 8 步时只有适度下降。
分类器无关引导 × 采样步数： 分类器无关引导分工是在采样时加强文本条件的控制强度，采样步数分工是控制求解流轨迹的离散精细程度，二者搭配的原因是强引导与多步采样通常提升对齐但增加推理开销，组合意义是论文用 32 步配引导尺度 5.0 和少步配引导尺度 2.0 两套可运行设置来展示效果与速度的折中。
下表要回答的问题是：在同一 AudioCaps-886 协议下，紧凑潜流模型的可运行设置能否在语义对齐上取得优势，公平条件是同一切分与同一套 FD、KL、CLAP、IS 定义，指标方向为 CLAP 与 IS 越高越好、FD 与 KL 越低越好。
| 系统与采样 | 可训练潜模型规模 | KL 方向越低越好 | CLAP 方向越高越好 | 结果含义 |
|---|---|---|---|---|
| TangoFlux-RL 类大参数基线 | 515M 量级 | 约 1.15 | 约 0.480 | 对照大模型语义与事件一致 |
| EzAudio 类基线 | 875M 量级 | 约 1.179 | 约 0.496 | 对照另一高 CLAP 基线 |
| Unite-Audio 阶段二 32 步引导 5.0 | 117M | 约 1.205 | 约 0.502 | 奖励前已具较强生成 |
| Unite-Audio 阶段三 32 步引导 5.0 | 117M | 约 1.107 | 约 0.534 | 奖励后语义最强但 FD 回退 |
| Unite-Audio 阶段三 16 步引导 2.0 | 117M | 约 1.057 | 约 0.532 | 少步仍保持低 KL 与高 CLAP |
上表的主要收益是阶段三在 CLAP 与 PaSST KL 上的语义优势，具体代价是 FD 分布保真度退化，论文明确用阶段二作为分布保真度更好的折中。
未胜出项必须指出：FD 不是本文最终模型最强，IS 也只是有竞争力而非全面领先，少步到 4 步时各项指标继续下降。阅读时不能把 CLAP 最高直接等同于听感全面最好，因为自动指标与人工评价不同，且不同指标的差值不能混为一谈。百分点与相对百分比的表述也不同，原文只报告原始分数，未报告相对提升，复述时不应自行换算成百分比提升。
无上下文、干净上下文与带噪上下文有何差别？
消融在阶段一 200k 迭代的检查点上比较 3 种上下文学习策略，用 EMA 权重在同一 886 样本测试集上评测生成，并从表示与重建两个角度检查编码器。无上下文把在线表示从流匹配中移除，使流匹配损失没有到编码器的直接梯度路径。干净上下文恢复梯度路径，但把干净潜信息放入原本带噪的流状态，造成上下文与当前生成状态的不匹配。本文的带噪上下文把在线表示放到与生成状态相同的流时刻。
表示方面报告有效秩与 ESC-50 线性探针准确率，重建方面按已有做法报告多尺度梅尔距离与尺度不变信失真比。论文报告带噪上下文在多数生成与表示指标上最好，梅尔距离最低，信失真比相当，表明表示学习改善且未损害重建质量。下表沿用原文的比较维度组织，重点不是逐行复述每个数字，而是说明梯度有无与状态是否匹配两步改动各自的作用。
下表的问题是：只断开梯度、只恢复梯度但状态不匹配、同时解决梯度与匹配三者如何分离，公平条件是同为 200k 迭代、同 EMA 权重、同一切分。
| 策略 | 生成趋势 | 表示趋势 | 重建趋势 |
|---|---|---|---|
| 无上下文 | KL 与 IS 弱于带噪，CLAP 较低 | 有效秩与探针准确率较低 | 梅尔距离较高，信失真比相当 |
| 干净上下文 | FD 与 KL 更差，IS 下降 | 有效秩最低，探针略升 | 梅尔距离居中，信失真比略高 |
| 带噪本文方法 | KL 最低，IS 与 CLAP 最好 | 有效秩最高，探针最高 | 梅尔距离最低，信失真比相当 |
表后需要说明反例与边界：无上下文的 FD 数值上并不最差，干净上下文的重建信失真比数值上略高，因此不能说带噪在所有单项上全面碾压。
论文的判断是带噪在多数生成与表示指标上最好且重建相当，这是一种有限支持而非因果证明。未评测的边界包括上下文比例超出 0 到 30% 会怎样、不同桶长或不同噪声调度会怎样，原文未报告，复现时不应脑补必然趋势。
哪些结论有边界，哪些量没有被测量？
首先区分 3 类表述。论文直接报告的是：联合训练的阶段二已具较强生成，Flow-GRPO 提升 CLAP 与事件一致性但 FD 退化，带噪上下文在多数生成与表示指标上优于无上下文与干净上下文。有限解释的是：更结构化的潜空间有助于生成，这一解释得到有效秩与探针准确率的支持，但相关性不是因果，论文也未做干预因果的额外验证。待验证的是：该设计能否推广到其他采样器、其他文本编码器或更长音频，原文没有证据。缺失证据不是技术错误，但复述时要明确。
原文未测量人工听感误判率，未系统报告训练时钟时间与显存占用，只说明用了两块 H800 与批量大小；推理开销只用实时率在单卡上平均 10 次 10 秒生成得到，未报告首包延迟与不同时长的扩展关系。输出帧率、实际延迟与训练资源应分别讨论，不能把参数量小直接等同于延迟一定低。此外，FD、KL、CLAP、IS 都是自动指标，不能当作人工评价；不同指标方向不同，不能把某条曲线向下直接读成变差而不看纵轴定义。
总体趋势不等于每组每步都成立，例如少步整体稳健不等于 4 步与 32 步无差异。
要复现应先准备什么，按什么顺序检查？
复现先做数据与泄露检查：准备 AudioSet 与 WavCaps 并明确移除 AudioCaps 测试条目，把音频重采样到 16 kHz、截断到 20 seconds 以内，保留短于 20 seconds 的 WavCaps 样本，编码前按固定因子缩放波形并把潜表示归一化到单位均方根尺度。阶段一使用 1,729,107 个 AudioSet 样本和 246,324 个 WavCaps 样本，阶段二和阶段三使用 AudioCaps 训练集，评测沿用 886 样本的 AudioCaps 测试切分并报告 FD、KL、CLAP、IS 与实时率的定义与聚合对象。
接着按结构搭建：分词器用 160-sample 波形块、64 维 25 Hz 潜序列、编码器解码器各 12 个同分辨率 Transformer 块加 2 级上下采样，流模型用 512 维 18 层、其中 11 个为融合音频文本块，文本用冻结的 FLAN-T5-Large，潜流模型可训练量级为 117M 且不含分词器与文本编码器。训练顺序是阶段一联合训练、阶段二冻结表示专训流模型、阶段三冻结表示做 Flow-GRPO，检查点是梯度能否从流匹配经上下文位置回到在线编码器、EMA 是否只做滑动平均且带停止梯度、判别器是否单独优化、对抗是否在 10k steps 后开启、文本丢弃 10% 是否实现。
采样检查阶段二用 32 步引导 5.0，少步用引导 2.0，并记录实时率是在单块 H800 上做 10 次 10 秒生成的平均。资源状态是正文开源声明的唯一依据：本次收到的官方页面在当前可达且状态为可用，因此可写音频样例与检查点在官方页面当前可用，但不应把页面可用等同于代码完全开源或权重可直接下载运行，实际可运行性需按页面当时的文件与许可再确认。本节只交代数据划分、采样、指标聚合与硬件等可核对条件，不替代主结果与消融中的数字结果表。
阶段一的大规模联合训练仍需较多算力，紧凑指的是潜流模型量级，复现预算应分别评估编码器解码器、流模型与文本编码器的开销，不承诺未测量的时间与显存。
何时值得尝试这种联合学习，还需补哪项验证？
当研究生的基线已出现重建很好但生成难训、潜维度利用率低或语义探针准确率低时，值得尝试把生成梯度连回编码器的联合学习，尤其是推理必须从纯噪声开始而训练用了额外上下文的场景，噪声匹配的细节最可能决定成败。尝试时建议先复现阶段一的路由与加噪逻辑，再做阶段二的冻结专训，最后才引入奖励优化，因为论文显示阶段二已提供分布保真度更好的折中，奖励优化主要换来语义对齐。
还需补的验证包括人工听感评价、不同上下文比例与桶长的敏感性、不同引导尺度与步数的完整曲线，以及训练时间与显存的实际预算。常见误解是把连续分词理解为离散词表，本文的连续指潜序列是实向量而非量化码本；另一个误解是把 EMA 目标当作可学习的教师，实际上它不接受梯度只做滑动平均；还有人把 Flow-GRPO 的提升理解为全面提升，原文明确指出 FD 退化，应按任务需要在语义对齐与分布保真之间选择阶段二或阶段三的检查点。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses