📄 用线性递推做长音频：MFlowAudio 的双路扫描与有状态流匹配
英文题目：MFlowAudio: Efficient Text-to-Audio Synthesis via Mamba-based Stateful Flow Matching
评分：7.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Hao Dai：Department of Computer Science, University College London；Department of Engineering, King’s College London
- Panyu Chen：Department of Computer Science, University College London
- Jagmohan Chauhan：Department of Computer Science, University College London
📌 核心摘要
读者需要理解的任务是由文字提示生成全频带连续波形，输入为单句或多段描述，输出为秒级至较长时长的声音。难点在于高采样率带来很长序列，自注意力随长度平方增长而难以容纳，一次性整体生成也不支持边播边产和中途更换提示词。方法先把音频压缩为多通道隐变量，再学习从噪声指向隐变量的速度场，推理时用常微分方程求解器逐步去噪得到隐变量并解码成波形。时间曼巴模块沿时间从左向右扫描并更新循环隐状态以保持因果与长程依赖，通道曼巴模块沿通道扫描以刻画谐波等跨通道结构，两者与条件注入共同组成TCMamba块。有状态流匹配只缓存每层曼巴隐状态，使得分块训练与生成接近一次性生成，并支持延迟基本恒定的流式输出；状态解耦条件引导把新提示方向与历史状态方向正交分解，减轻切换提示时的向量场冲突。在AudioCaps完整测试集十秒任务上，MFlowAudio的Frechet Distance为11.8569，低于TangoFlux的15.8429，Kullback-Leibler divergence为1.1158，低于TangoFlux的1.1164。在单卡RTX-5080上以默认配置多次生成的延迟比较中，十秒音频生成延迟MFlowAudio为1.93秒，低于TangoFlux的3.51秒，三十秒任务中为3.10秒，低于TangoFlux的3.55秒，首块等待时间恒定为1.8秒左右并支持实时播放。该结论适用于与训练分布接近的短句描述音频，动态组合提示的自然过渡仍依赖推理期干预且缺乏大规模序列标注验证，边界比指标也难以覆盖全部听感。
🔗 开源与复现资源
第三方资源：https://huggingface.co/spaces/mflowaudio/MFlowAudio — 链接可访问（HTTP 200）
第三方资源：https://github.com/state-spaces/mamba.git → https://github.com/state-spaces/mamba — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
文本生成音频要解决什么困难
文本到音频的任务是给定一句文字描述，生成一段波形在听感与语义上都相符的音频。输入是离散的提示词，输出是连续时间信号，中间必须保留事件内容、音色质感、混响与响度包络等信息。
困难在于音频采样率高而单位样本语义密度低，时长稍长序列就很长。论文面向 44.1 kHz 全频带合成，编码后潜在序列长度仍随时间线性增长。Transformer 的自注意力需要两两比较，计算与内存随长度平方增长，长音频训练与生成都容易遇到显存瓶颈，同时它本身对顺序没有强归纳偏置，需要额外位置编码才能分辨先后，外推到更长上下文也受限。
已有路线在何处受限
早期文本到音频潜在模型如 AudioLDM、Make-an-Audio 与 Tango 多在 16 kHz 上用 U-Net 骨干，近期 Stable Audio Open、TangoFlux 与 SoundCTM 转向 44.1 kHz，并引入一致性模型或流匹配以减少采样步数。但论文指出这些模型仍多用 Transformer 骨干，长上下文的平方复杂度问题没有消除。
Mamba 一侧已有 VisionMamba、DiMSUM 等把状态空间模型用于判别或自回归任务，音频侧 Sashimi 直接对波形建模但文本对齐与保真度落后，SpeechSSM 展示了长语音建模潜力。论文自述 MFlowAudio 是首个把独立 Mamba 用于基于扩散的文本到音频生成并针对时间与通道特性设计双路结构的框架，该定位仅按原文转述，不扩展为普遍首创判断。
论文把任务拆成哪三件事
第一是用线性复杂度的骨干替代平方复杂度的自注意力，同时保留时间因果与通道谐波两种结构。音频潜在被看作形状为(L,C) 的 2 维表示，L 是时间长度，C 是通道数，时间轴可切分为多个连续块分别解码成可听片段，这是分块的前提。
第二是让训练与生成都支持分块，并能流式输出。要求是只缓存固定大小的状态，与总时长无关，且分块结果与整段一次生成在数值上基本一致，同时首块延迟只取决于块长而不随总时长增长。
第三是在块边界动态切换提示词时保持可控与连续。例如在 0 秒、3 秒、6 秒分别指定不同事件，要求新语义生效，又不出现相位跳变、噪声地板突变等可听断裂。这需要同时处理历史惯性与新条件注入的冲突。
整体流程：一个样本如何从文字变为波形
沿一个样本走一遍有助于理解分工。训练时输入音频先经 Stable Audio Open 的 VAE 编码为 64 通道潜在，文本提示经 T5-base 编码为 128 个 768 维向量；测试生成时则从标准高斯噪声出发。中间的 TCMamba 堆叠学习一个随时间变化的向量场，采样时用欧拉等常微分方程求解器从噪声积分到音频潜在，再经 VAE 解码得到波形。
为理解连续变换，论文把生成写成常微分方程，模型输出向量场决定每个中间状态的前进方向。
\[\frac{d{\bm{x}}_{t}}{dt}=v_{\theta}({\bm{x}}_{t},t)\]其中 x_t 是 t 时刻的带噪潜在，v_theta 是待学习的向量场。训练目标是让模型速度逼近从噪声指向数据的目标速度，采样则是从噪声出发沿该向量场积分。
流匹配 × 向量场： 流匹配是学习从噪声分布到数据分布连续变换的训练框架，向量场是该框架中在每个中间时刻指引样本移动方向与速度的函数。MFlowAudio 用最优传输路径定义的直线插值训练向量场，采样时用常微分方程求解器沿向量场积分得到音频潜在，二者搭配把生成问题转化为回归目标速度场的问题。
下面的官方示意图把三部分并置，左侧是系统流程，中间是 TCMamba 块内部，右侧是双路扫描示意。读图时先沿输入到输出的主箭头确认主路径，再看条件分支在何处注入，不要把右侧潜在热图的颜色深浅直接当作质量高低。
看图路径： 1. 先沿输入音频经 VAE 到潜在再经 TCMamba 到输出音频的主箭头看闭环；2. 再看中间 TCMamba 块内 FiLM 与交叉注意力的条件接入位置；3. 最后对比右侧潜在热图上横向时间箭头与纵向通道箭头的方向差异
论文图 1。原论文 Figure 1:：“The key components of MFlowAudio: (left) the workflow of MFlowAudio, audio is encoded and decoded into latent using VAE and vocoder; (middle) the architecture of the TCMamba…”。
该图确实可见左侧虚线表示噪声输入与实线表示音频潜在输入共同进入 TCMamba，中间 FiLM 接收时间步、交叉注意力接收文本条件，右侧蓝色横箭头沿序列长度、红色竖箭头沿通道方向，分别对应时间扫描与通道扫描。它帮助把文字描述的双路分工落到具体模块与数据轴上，但具体性能仍需后文数字验证。
时间与通道为何分开扫描
TimeMamba 把潜在看作沿时间展开的长度为 L 的序列，从左向右递推更新隐状态 h_t。其递推遵循状态空间模型的基本形式，当前状态综合上一步状态与当前输入，当前输出综合当前状态与当前输入。
\[{\bm{h}}_{t}={\bm{A}}{\bm{h}}_{t-1}+{\bm{B}}{\bm{x}}_{t};\quad{\bm{y}}_{t}={\bm{C}}{\bm{h}}_{t}+{\bm{D}}{\bm{x}}_{t}\]其中 h_t 是隐状态，x_t 是输入帧，y_t 是输出，A、B、C、D 是转移与投影参数，B 与 C 随输入变化以获得上下文相关性。该设计的代价是每次只见过去，好处是天然保留因果且复杂度随长度线性增长。
TimeMamba × ChannelMamba： TimeMamba 负责沿时间轴从左向右递推，维护历史隐状态以刻画因果与长程依赖；ChannelMamba 负责沿通道轴扫描，刻画同一时刻不同通道间的谐波与相关结构。二者分工是因为音频潜在表示是二维时间-通道结构，单一时间递推难以兼顾频谱结构，组合后一个块同时获得时序连贯性与谱内一致性。
ChannelMamba 则把同一潜在转置看作沿通道展开的序列，扫描长度为通道数，目的是捕捉谐波共振等跨通道结构。由于通道数固定不适合任意时长，论文利用时间可分性只在较短子序列上沿通道扫描，使可变长输入仍能保留局部谐波关系。两路输出与条件调制汇合后再经交叉注意力与前馈网络，形成一个 TCMamba 块，全网堆叠 48 个这样的块。
时间步的条件注入用 FiLM 实现，即用正弦位置编码加两层线性层产生缩放与平移参数，再逐帧仿射调制激活。
\[\text{FiLM}({\bm{x}}_{t},t)=\gamma_{t}\odot{\bm{x}}_{t}+\beta_{t}\]其中 gamma_t 与 beta_t 是时间步 t 的调制参数。该操作逐帧进行，不混合时间信息，因此不破坏分块所需的因果性。
分块生成如何只靠固定缓存实现
有状态流匹配的关键是为每个 TCMamba 块增加显式状态输出。一次前向返回当前块的速度场与末端隐状态，下一块从该末端状态恢复继续扫描。全部块拼接即得完整速度序列。由于只缓存末端状态，额外内存与序列长度无关，原文记为 O(1) 缓存复杂度，且不增加额外计算量。
Stateful Flow Matching × 状态缓存： Stateful Flow Matching 是有状态的流匹配范式，允许按块传递隐状态实现分块训练与生成；状态缓存是每块前向结束时保留的末端隐状态。缓存之所以能替代整段历史，是因为 TimeMamba 的递推状态按构造就是过去的充分汇总，下一块从该状态恢复即等价于从头计算，从而把空间复杂度限制在块长而缓存大小与总长无关。
流式播放的逻辑是音频按序消费，只要每块推理时间小于其声学时长即实时因子小于 1，就可以播完一块的同时算下一块，用户感知延迟只取决于首块到达时间。实际实现只缓存 TimeMamba 的状态空间状态，ChannelMamba 在局部窗口内操作且要求块边界与窗口边界对齐。
论文也承认近似性：Mamba2 的因果卷积保留有限前帧，缓存未包含该部分，用 3 帧预热缓解并量化为约 2% 到 6% 的残差；VAE 解码器是非因果卷积，每侧感受野约 8 个潜在帧，直接按块解码会在接缝产生可听咔哒声，因此实现引入 W=8 的前视缓冲。最终只是近似等价且经验差异很小，并非比特级完全一致。
切换提示词时如何缓解向量场冲突
当块边界切换语义时，历史状态希望延续混响、幅度与相位，新提示希望转向另一语义目标，每一步积分都受 2 个方向牵引。论文称之为向量场碰撞，若不处理会出现信号相消或某一侧被压制。
State-Decoupled Conditional Guidance × 向量场碰撞： 向量场碰撞指切换提示词时历史状态牵引与新条件牵引在常微分方程积分每一步方向不一致，导致信号相消或某一侧表征被压制；State-Decoupled Conditional Guidance 是为此设计的条件引导校正。它把条件向量场分解为状态分量与纯语义分量，并对语义分量做与状态方向正交的投影，只保留与历史兼容的新语义，从而在切换边界增强新提示的同时保留声学骨架。
State-Decoupled Conditional Guidance 的做法是先分离出纯语义方向。具体用无条件有状态向量场作为桥梁，从条件向量场中减去无条件部分得到条件增量，从状态向量场中减去无条件部分得到状态增量，二者相减即得状态感知的语义向量。理想时语义方向与状态方向正交，实际则用正交投影去掉语义中与状态平行且同向的分量，并引入 0 到 1 之间的标量 delta 调节历史强度。
该机制只在边界处增加一次无条件有状态前向，额外开销有限。需要强调它在论文中是零样本推理干预，没有在多提示序列数据上显式学习过渡动力学，作者也承认它更像按比例混合而非真正理解事件如何作曲。
模型用什么目标与流程训练
训练采用无仿真的最优传输流匹配目标。对每个时间 t 在 0 到 1 之间定义噪声与目标潜在的直线插值路径，模型在给定时间步与语义条件下预测该直线的速度即目标减噪声。
\[{\bm{x}}_{t}=t\,{\bm{x}}_{1}+(1-t)\,{\bm{x}}_{0}\]其中 x_0 是标准高斯噪声，x_1 是目标音频潜在，x_t 是中间插值。损失是模型向量场与目标速度的均方误差，对噪声、数据与时间取期望，条件为空的无条件分支以一定概率参与训练以支持无分类器引导。
训练数据为 AudioCaps 与 WavCaps 中 AudioSet-SL 子集，全部重采样到 44.1 kHz，测试用 AudioCaps 完整测试集 4352 个样本同样重采样到 44.1 kHz。优化器为 AdamW，初始学习率 1×10-4 并用余弦退火经两个周期衰减，论文报告用 8 张 NVIDIA H100、每卡批量 64 训练 100 个轮次。生成默认用步长 0.04 的欧拉求解器即 25 步函数求值，无分类器引导尺度设为 2.5。
评价在什么条件下比较
比较对象包括 AudioLDM2-48K、Stable Audio Open、TangoFlux 及其 base 变体，以及 16 kHz 自回归 AudioGen。Stable Audio Open、TangoFlux 与 MFlowAudio 共享同类 VAE 结构与 T5 家族文本编码器，基线均用官方预训练权重与推荐配置报告最优性能。所有指标经公开 audioldm-eval 工具计算，覆盖文本对齐的 CLAP 分数、质量多样性的 PANNs Inception 分数、分布匹配的 VGGish 与 OpenL3 Frechet 音频距离与 Frechet 距离，以及 KL 散度。
边界最大谱通量 × 背景中值谱通量： 边界最大谱通量是在提示切换时刻附近窗口内谱通量的峰值，反映拼接处能量突变与咔哒声强度；背景中值谱通量是远离切换点的其余帧谱通量的中值，反映音频自然起伏。二者相除得到边界背景比，该比值越接近自然波动说明过渡越平滑，组合起来把听感上的不连续转化为可计算的谱变化对照。
动态注入评价从标准基准挑出 1267 条含显式时间过渡的提示，拆为 2 到 3 段子提示并固定在 0 秒、3 秒、6 秒触发。边界平滑用基于半波整流谱通量的量度，短时傅里叶变换用 Hann 窗、N 为 2048、跳长 512，分别统计切换附近峰值与背景中值并相除得到边界背景比，比值越低说明边界变化越接近背景自然起伏。主观评价有 25 名参与者双盲打分，文本相关性与总体质量用 5 分量表，动态切换另评边界伪影分数、咔哒爆音出现率与过渡自然度。
主结果在哪些指标成立、在哪里未胜出
下表比较 AudioCaps 测试集上 10 秒与 30 秒生成的分布质量与文本对齐，条件是相同 audioldm-eval 工具链，FD、KL、FAD 越低越好，IS、CLAP 越高越好。
| Duration | Model | Parameters | FD↓ | KL↓ | IS↑ | FADv↓ | CLAP↑ | FADopenl3↓ |
|---|---|---|---|---|---|---|---|---|
| 10s | AudioGen (16K) | 1.5B | 38.7259 | 2.5699 | 6.6716 | 6.6353 | 0.1950 | 192.4442 |
| 10s | AudioLDM2-48K | 1.7B | 36.2054 | 2.0261 | 5.442 | 5.4774 | 0.3827 | 148.1751 |
| 10s | Stable Audio Open | 1B | 32.0744 | 2.052 | 10.1462 | 3.7894 | 0.3442 | 109.0337 |
| 10s | TangoFlux-base | 516M | 16.9351 | 1.1724 | 12.0486 | 3.2514 | 0.4722 | 113.6228 |
| 10s | MFlowAudio-base | 581M | 10.9178 | 1.1588 | 10.8935 | 2.9612 | 0.4655 | 95.6402 |
| 10s | TangoFlux | 516M | 15.8429 | 1.1164 | 12.5489 | 2.1963 | 0.4990 | 102.8903 |
| 10s | MFlowAudio | 581M | 11.8569 | 1.1158 | 11.6865 | 2.5248 | 0.4957 | 96.2363 |
| 30s | AudioLDM2-48K | 1.7B | 52.5380 | 2.3984 | 5.1880 | 10.8777 | 0.2750 | 175.1954 |
| 30s | Stable Audio Open | 1B | 28.1238 | 1.9539 | 10.1849 | 4.3256 | 0.3619 | 108.4538 |
| 30s | TangoFlux-base | 516M | 24.6576 | 1.2224 | 9.0941 | 4.9399 | 0.4173 | 123.9447 |
| 30s | MFlowAudio-base | 581M | 17.1580 | 1.1491 | 10.6577 | 3.6937 | 0.4333 | 103.0790 |
| 30s | TangoFlux | 516M | 20.1872 | 1.1189 | 10.7179 | 2.9555 | 0.4541 | 102.2544 |
| 30s | MFlowAudio | 581M | 17.5387 | 1.1411 | 11.3356 | 2.8981 | 0.4448 | 94.4700 |
该表显示 MFlowAudio 在相近参数量下在 FD、FADv、FADopenl3 与 KL 等主要声学质量指标上优于 TangoFlux 等基线，但在 CLAP 与 IS 上略低于 TangoFlux，原文表述为整体与当前最优可比。该结论仅在 AudioCaps 划分、44.1 kHz 重采样与所用权重配置下成立，不能推广为所有语义对齐场景的胜出。
延迟与流式首块时间在什么硬件下成立
下表比较相同单张 RTX-5080 16 GB、同默认配置下不同模型生成 10 秒、20 秒、30 秒音频的延迟，表头单位为秒，20 次独立运行取平均。
| Duration | AudioLDM2-48K | Stable-Audio-Open | TangoFlux | MFlowAudio |
|---|---|---|---|---|
| 10s | 22.23 ± 3.1 s | 5.23 ± 13 ms | 3.51 ± 3 ms | 1.93 ± 13 ms |
| 20s | 32.17 ± 4.3 s | 5.31 ± 21 ms | 3.54 ± 12 ms | 2.17 ± 17 ms |
| 30s | 97.82 ± 7.5 s | 5.45 ± 25 ms | 3.55 ± 5 ms | 3.10 ± 18 ms |
该表显示 MFlowAudio 在三档时长下延迟最低，10 秒主均值 1.93 秒波动正负 13 毫秒，20 秒主均值 2.17 秒波动正负 17 毫秒，30 秒主均值 3.10 秒波动正负 18 毫秒，显著低于 AudioLDM2-48K 的秒级延迟。论文报告 10 秒加速 81.8%、30 秒加速 14.5%，并解释部分原因是 Stable Audio 与 TangoFlux 固定生成最大长度再裁剪而 MFlowAudio 按目标长度计算。该结论只针对所用默认配置与单卡实测条件。
流式方面块长 64 个隐帧对应约 3 秒音频时首块解码约 1.8 秒，且该时间小于块播放时长故实时因子小于 1，总时长增加时用户等待仍固定为首块时间。该固定延迟依赖分块推理快于播放与 VAE 前视缓冲的配合，不代表任意块长或服务器并发下相同。
主观听感与动态切换自然度如何
下表是 25 人双盲主观评价，指标为文本相关性 REL 与总体质量 OVL，均为 5 分量表越高越好，比较 MFlowAudio 与官方基线。
| Model | REL↑ | OVL↑ |
|---|---|---|
| AudioLDM2-48K | 2.61 | 2.57 |
| Stable-Audio-Open | 2.82 | 3.28 |
| TangoFlux | 4.15 | 3.52 |
| MFlowAudio | 4.09 | 3.59 |
该表显示 MFlowAudio 的 REL 为 4.09 低于 TangoFlux 的 4.15，OVL 为 3.59 高于 TangoFlux 的 3.52，说明总体质量略优但文本相关性并未胜出。该结论只在该受试者规模与随机抽样下成立。
下表是动态提示下的自然度评价，BAS 与过渡自然度 TN 越高越好，咔哒爆音出现率 CPO 越低越好，比较在块边界切换提示时的可听断裂。
| Model | BAS↑ | CPO↓ | TN↑ |
|---|---|---|---|
| TangoFlux (Dyna-P) | 4.08 | 0.76 | 2.04 |
| MFlowAudio (Dyna-P) | 4.12 | 0.02 | 4.18 |
该表显示 MFlowAudio 动态提示的 BAS 为 4.12 略高于 TangoFlux 的 4.08，CPO 为 0.02 远低于 0.76，TN 为 4.18 高于 2.04，支持其切换更自然、爆音更少的判断。但该判断依赖所用切换提示与主观量表，不能据此宣称绝无伪影。
为观察动态切换的频谱行为，可先看官方频谱对比，上方 TangoFlux 在切换秒处出现亮竖线，下方 MFlowAudio 过渡更连续。读图时聚焦切换线而非整体亮度，亮度差异可能来自内容而非伪影，切换时刻 3 秒与 6 秒来自原图注而非图轴精确读数。
看图路径： 1. 对比上下两张频谱在切换点附近是否有亮竖线；2. 观察切换后中频谐波横纹是延续还是突然中断；3. 注意下方频谱在切换处的能量过渡是否更连续
论文图 5。原论文 Figure 5:：“Spectrum generated by TangoFlux (top) and MFlowAudio (bottom) via dynamic prompting.”。
该图确实可见上方在切换附近有贯穿高低频的垂直亮带，对应拼接引起的宽带能量突发；下方同位置没有同等亮度的竖线，谐波横纹延续性更好。它支持分块状态传递减少相位跳变的解释，但频谱图只支持定性条纹比较，不能证明无其他伪影，仍需结合边界背景比与主观听感判断。
哪些对照说明代价与必要组件
下表是以完整一次解码为参照、比较不同重叠与前视下逐块解码 VAE 边界误差的原表，条件是 Stable Audio Open Oobleck 卷积解码器 2048 倍上采样、两侧感受野约 8 个隐帧，指标为相对 L1 与峰值误差。
| overlap WW | lookahead | rel-L1 vs full | peak error |
|---|---|---|---|
| 0 (naive per-chunk) | 0 ms | 4.54% | 0.62 |
| 4 | 182 ms | 0.39% | 0.15 |
| 8 | 364 ms | 0.049% | 0.003 |
| 16 | 727 ms | 0.047% | 0.002 |
该表显示朴素逐块解码相对 L1 为 4.54%、峰值误差 0.62，在接缝处可闻咔哒；重叠 8 对应前视 364 ms 时相对 L1 降至 0.049%、峰值误差 0.003，已到半精度下限，重叠 16 改善已饱和。该结论只针对该 VAE 解码器的边界误差测量，不证明生成语义质量，前视约数百毫秒是流式链路必须付出的代价。
通道分支的必要性由训练曲线与长时外推共同支持。去掉 ChannelMamba 仅减少约 2M 参数，总量从 581M 降至 579M，但训练损失收敛更慢且停在更高平台，测试集语义与保真全面下降，30 秒外推差距进一步拉大，说明谱建模对长期结构不可或缺。读训练损失曲线时注意纵轴是训练损失而非评测指标，下降快不直接等于生成质量高。
看图路径： 1. 看横轴训练轮数与纵轴训练损失的整体下降趋势；2. 对比完整模型与去掉通道分支两条曲线的收敛速度；3. 观察后期两条曲线是否停在不同的损失平台
论文图 6。原论文 Figure 6:：“The loss curve during training.”。
该图确实可见黑色完整 TCMamba 曲线在前 20 轮快速下降并稳定在较低位置，红色无通道分支曲线下降慢且中后期波动在更高位置。它帮助理解轻量通道模块带来训练稳定性，但具体泛化仍需测试集数字验证。
证据不支持哪些推广
动态控制在论文中明确为零样本推理干预，没有在富含时序标注的多提示数据上学习过渡动力学，状态引导更接近按比例混合而非理解事件作曲。边界背景比只反映谱边界变化，不能捕捉其他感知伪影，主观对比也需要更大规模与更系统的单次对分块、引导消融与动态切换评估。
分块与一次生成的等价性在理论部分依赖严格因果与充分统计假设，实际因因果卷积状态、窗口对齐与全局时间位置只能做到近似等价，论文已用预热与前视缓解并量化残差，阅读时应按近似等价理解。
所有质量与延迟结论都绑定特定数据、权重、工具链、步数与硬件。Clotho 外域测试虽显示较好泛化且论文称训练未用 FreeSound，但仍是同一指标体系下的结果，不能推广到任意领域或实时系统吞吐。
复现第一步做什么、需要什么
复现应先固定与论文相同的输入输出链路：44.1 kHz 重采样、Stable Audio Open 的 VAE 得 64 通道潜在、T5-base 得 128 个 768 维文本向量、堆叠 48 个 TCMamba 块、模型维度 768 而通道分支模型维度 64、状态维度 128、交叉注意力 16 头。训练按最优传输直线插值与均方速度损失实现，采样用步长 0.04 欧拉 25 步与引导尺度 2.5。
分块复现的关键是只传递 TimeMamba 的状态空间状态，保证块边界与 ChannelMamba 局部窗口边界对齐，加入 3 帧卷积预热，并在 VAE 解码侧加入 8 帧前视缓冲，否则接缝误差会被误判为模型问题。评价必须用同一 audioldm-eval 工具与相同测试划分，延迟需注明 GPU 型号、批量、步数与是否按目标长度计算。
资源方面论文训练为 8 卡 H100、批量每卡 64、100 轮，推理延迟在 RTX-5080 上测量。代码、权重与可运行演示是三件独立事项：原文给出演示空间链接可访问，Mamba 实现指向第三方仓库，VAE 与 T5 权重需另行获取，不应把链接可访问等同于作者已开源全部训练代码。
什么时候值得尝试、还缺什么验证
当任务是长时全频带文本到音频、需要在有限显存下训练或生成任意时长、并希望边播边生成或在固定时刻切换事件时，该方法值得尝试。它的收益是线性复杂度、固定缓存与固定首块延迟，代价是实现链路更复杂，需要处理窗口对齐、卷积预热与 VAE 前视，且新语义强度与边界平滑存在权衡。
复现第一步是跑通一次生成与分块生成的数值对照，确认不同块长下质量差异很小，再接入动态切换与正交投影引导。若只做离线短音频且已有 Transformer 管线很成熟，切换收益可能不大。
仍需补的验证包括多提示时序数据的训练、更大规模主观测试、不同硬件与步数下的延迟统计，以及块长、窗口与前视的系统敏感性分析。只有补齐这些，才能判断复杂可控生成是否真正可用。
📎 论文与评分元数据
排名：前50% | 文档类型：模型报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses