📄 把文字变成可导演的表演：Fish Audio Drama 3 解读
标签：#文本到语音 | #偏好优化 | #语音克隆 | #语音编辑 | #流式处理
评分：7.4/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Dawei Han：机构信息未在 arXiv HTML 中可靠披露
- Shidong Li：机构信息未在 arXiv HTML 中可靠披露
- Shijia Liao：机构信息未在 arXiv HTML 中可靠披露
- Jiahua Liu：机构信息未在 arXiv HTML 中可靠披露
- Songting Liu：机构信息未在 arXiv HTML 中可靠披露
- Qingzheng Wang：机构信息未在 arXiv HTML 中可靠披露
- Yuxuan Wang：机构信息未在 arXiv HTML 中可靠披露
- Xin Chen：机构信息未在 arXiv HTML 中可靠披露
- Yifan Cheng：机构信息未在 arXiv HTML 中可靠披露
- Tianyu Li：机构信息未在 arXiv HTML 中可靠披露
- Gangin Park：机构信息未在 arXiv HTML 中可靠披露
- Xuehao Yang：机构信息未在 arXiv HTML 中可靠披露
- Chang Zeng：机构信息未在 arXiv HTML 中可靠披露
- Haoyang Zhang：机构信息未在 arXiv HTML 中可靠披露
- Ruoyi Zhang：机构信息未在 arXiv HTML 中可靠披露
- Xiangyu Zhang：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
Fish Audio Drama 3把文字变成带导演意图的表演，输入是目标文本、自然语言导演说明和参考音频，输出是对应说话人音色和表达方式的波形，难点在于长会话上下文很长、表达方式会合理偏离字面转写和中性音色。骨干网络读入系统指令、目标文本和已生成的音频帧，输出下一帧的语义码，码本多词元预测解码器再补齐该帧的九个声学码，音频分词器把十个码转成波形。所有任务写成同一词元流上的对话，损失只落在模型自己的回合，多轮修改、整场配音、中间填补和流式输入因此共用一套训练流程。相对上一代S2，细码本不再只经一个骨干状态传入，而是由全序列因果注意力直接读取，强化学习也去掉字错率和说话人相似度奖励，只用一个人类偏好模型打分。在MiniMax多语言集德语上，以词错率为指标，Drama 3为0.48%，低于Fish Audio S2的0.55%。推理开销方面，在一块H200上单流解码时，以每秒帧数为指标，Drama 3为271帧每秒，高于S2的177帧每秒，尽管其参数量超过七倍。该多语言错误率最低的结论仅适用于中文、荷兰语、英语、德语和土耳其语，在阿拉伯语等其余语言上并非表中最低，粤语等高错误率语言的导演意图跟随效果尚未验证。
🔗 开源与复现资源
第三方资源：https://github.com/fishaudio/fish-speech — 链接可访问（HTTP 200）
第三方资源：https://huggingface.co/fishaudio/drama-3 — 暂时无法访问
第三方资源：https://fish.audio — 暂时无法访问
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要把朗读变成什么样的表演
论文的输入是目标文本加导演要求，输出是可播放的语音波形，必须保留的是一句话由谁说、用哪种声音说、在场景的哪个位置说。目标不是把字念清楚就行，而是让同一句话可以被要求成耳语、冷静、更受伤，或者在句中插入笑声和停顿，并且多个人物可以在 1 次生成里分角色说话。读者可以把任务理解成导演给纸条、演员按纸条演，纸条可以是行内标签、整句风格前缀，也可以是针对上一版成品的修改意见。
论文把克隆声音、多轮改戏、整场配音、局部改词、长篇连读和边到文本边出声都算作同一类生成任务，只是对话轮次里放的东西不同。衡量是否演对了，要同时看字错率或字形错率方向越低越好、说话人相似度方向越高越好，以及按目标情绪和风格判对的准确率方向越高越好，编辑还要看改后整体听感与原录音的差异越小越好。
它接在 S2 和常见语音做法的哪个位置
论文明确把上一代 Fish Audio S2 作为起点。S2 已经能做行内自然语言指令和原生多说话人生成，但骨干是全注意力，处理几千个音频词元的长导演会话代价高，而且帧内的快速自回归模块只能通过一个骨干状态看到参考音频，细音色信息是被压缩后转交的。任务层面 S2 是单次控制，一条指令管 1 次生成，没有针对已生成成品再给意见重演的机制，也没有只改一个词而不动周围音频的局部编辑。
训练层面 S2 一类做法用转录错误、语音质量和说话人相似度等代理奖励，论文认为这在表达性表演里会出问题，因为笑、长停顿、耳语本来就会改变识别结果和声纹距离。架构上论文把相关路线分成 3 类：延迟或展平码本、帧内小深度变换器、整序列逐阶段模型，并把自己的解码器归为第 3 类但做成单一解码器，而不是多个独立模型的链条。
论文具体要解决的四个限制是什么
第一个限制是长会话的计算结构。参考音频和历史成品都很长时，全注意力要反复看全部内容，帧内模块又只拿到一个汇总向量，细声学细节传不到每个码本预测。第二个限制是控制只能 1 次成型，导演看了第一版后说更柔和更温暖一点，模型没有规定的下一轮重演方式。第 3 个限制是生成非整即零，改一个词就要整段重生成，周围本来满意的语气和衔接也会变。第四个限制是训练目标与表演目标错位，用字错率和相似度去奖惩时，合理的艺术偏离会被扣分。
论文因此同时改三件事：换能处理长上下文且每层能直接看到细码本的模型结构，把修订、整场配音、填充编辑和流式输入写成同一种对话格式，以及把强化学习奖励换成单一学到的人类偏好模型。理解这三件事的分工很关键，结构管算得动和看得全，格式管一个模型学会多种活，奖励管什么算演得好。
从文本和参考音频到波形的总流程
整个流程可以沿着一个样本走一遍。系统轮先放任务说明和配音参考，参考以带编号的分块出现，每块是说话人标签加文字加音频。用户轮放要说的话，话里可以带标签，例如句首的风格前缀、句中的耳语范围标签或笑声点标签，多人物时用人名或说话人标记分行，长篇时用分隔符分行，编辑时则给出全文加改动窗口前后的原音频。骨干先读完这些文本和参考音频的融合表示，再逐帧生成自己的音频帧，每帧在骨干位置只占一个位置。
解码器在同一位置把该帧剩下的声学码本逐个补齐，最后音频分词器解码器把 10 个码本转成波形。举例只是帮助理解流程：比如把星期三改成星期四，模型保留前后的我和原录音，只重生成中间窗口，这就是填充式编辑的一个实例，实例中的效果数值以论文实验为准，这里不另给数字。要先看总览图里 4 种能力如何共用同一条从文本到音频的主路径，再看推理代价表如何说明参数变大但每帧读权重反而变小。
下表整理论文直接报告的每帧读权重和单流解码速度，比较问题是同样在一张 H200 上 Drama 3 是否比 S2 更省权重搬运且更快，指标方向是读权重越低越好、帧率越高越好。
| 条件 | 指标 | Drama 3 | S2 | 比较说明 |
|---|---|---|---|---|
| 批量为 1 时每帧 | 读权重 | 约 6.0 GB | 约 15.6 GB | 同一检查点张量估算 |
| H200 并发为 1 时 | 单流解码帧率 | 271 帧每秒 | 177 帧每秒 | 同样测法 |
| 参数规模 | 总参数相对关系 | 超过 7 倍 | 基准 | 论文原句定性描述 |
该表的含义是解码速度主要受搬运权重的字节数限制，而不是总参数个数。Drama 3 靠每层只跑 1 次和单字节专家减少了搬运，因此总参数更多但每帧读得更少。限制是这只是并发为 1 时的单流速度，不代表高并发或首包延迟，跨显卡的数字还要看具体精度格式。
读这张总览图时注意它不是结构图，而是功能地图，箭头不代表张量形状。
看图路径： 1. 先看四角四个功能：细粒度导演、多说话人场景、多轮修订和局部编辑；2. 再看中间长音频加文本块交错的示意，理解流式是边到文本边出声；3. 注意修订箭头是从第二轮导演意见指回新成品，表示历史成品留在上下文
论文图 1。原论文 Figure 1:：“Fish Audio Drama 3 turns text into directed performances.”。
这张图把细粒度导演、多说话人场景、多轮修订、局部编辑和长篇流式放在同一张画布上，中间是 Drama 3 直接导演一场表演。教学价值在于看到所有任务共享文本加参考音频到音频的输入输出，只是控制信号放在不同位置：标签放在句中，修改意见放在下一轮，编辑窗口用前后音频框定，流式用文本块逐步到达。例子中的标签写法只是示意，具体可用的控制语法要以论文附录为准。
音频分词器把声音拆成什么符号
论文沿用 S2 的音频分词器，不重新训练。它基于 Descript Audio Codec，把 44.1 千赫兹音频编码成每秒约 21.5 帧，每帧有 10 个码本。第 0 号是语义码本，管内容骨架，后面 9 个是残差向量量化器，逐层加上越来越细的声学细节。分词器是完全因果的，编码和解码都可以流式进行。每帧在骨干里只占一个位置，所以 1 秒语音约占 21.5 个位置，与码本数量无关。
没有单独的音频编码器，参考音频和提示音频都是以音频词元的形式进入词元流，损失只算在模型自己轮次的音频上，参考只当上下文。这个设计决定了后面所有关于上下文长度的讨论都是按每秒 21.5 个位置来算的。
骨干如何读长上下文又只看粗码本
骨干从 Qwen3.5-35B-A3B 的语言模型初始化，只用其中 40 层混合结构，每四层里三层是门控 DeltaNet 形式的线性注意力加一层门控全注意力。线性注意力层用固定大小的状态携带历史，只有一层保留键值缓存，全注意力层保留对全上下文的精确检索，例如参考音色或剧本很靠前的一行。前馈网络是稀疏混合专家，每个词元路由到 256 个专家中的 8 个再加一个共享专家，因此 35B 总参数中每词元只激活约 3B。骨干输入在音频帧位置是第 0 和第 1 号码本嵌入的融合，文本位置只用语言模型嵌入。
\[\mathbf{x}_{t}=\frac{1}{\sqrt{2}}\Bigl(\mathbf{E}^{\text{LM}}\bigl[s(q^{(0)}_{t})\bigr]+\mathbf{E}^{(1)}\bigl[q^{(1)}_{t}\bigr]\Bigr),\]上式中 x 是该帧进入骨干的融合向量，E 是词嵌入表，s 是语义码到新增词汇的映射，除以根号 2 是为了让融合向量保持与单个嵌入相近的尺度。第 2 到第 9 号细码本不进骨干，而是作为旁路进入解码器第一层。这样做按论文的说法是为了限制来自自己采样码本的暴露偏差，同时仍让骨干看到参考和已生成语音的粗略声学面貌。
混合线性注意力骨干 × 残差码本 × 逐码本多词元预测解码器： 混合线性注意力骨干负责读长上下文并决定下一帧的语义走向，残差码本是把一帧声音从粗到细拆成的十层离散符号，逐码本多词元预测解码器则是一层管一层细码本的预测栈。三者搭配的理由是骨干只回看粗码本以控制长序列代价，细码本由能看到全序列的专用层补齐，组合后参考音色的细节可以直接到达每一层声学预测。
语义码本 × 声学码本 × 部分码本融合： 语义码本即第 0 号码本，管说什么内容，声学码本是第 1 到第 9 号码本，管音色和质感由粗到细的差别。部分码本融合指骨干输入只融合第 0 和第 1 号码本，第 2 到第 9 号绕过骨干直接进解码器。分工是让骨干看到内容加粗略音色而不被自己采样的细节带偏，细致音色留给解码器在全序列注意力下使用。
读这张结构图时先确认底部是骨干，顶部是音频分词器解码器，中间是解码器堆叠。
看图路径： 1. 从下往上沿参考音频、目标文本、骨干、共享层、逐码本层的箭头看主路径；2. 注意标为 2-9 的细码本绕过骨干，直接进入共享层的旁路；3. 对比左侧文本位置和右侧音频位置，确认解码器在每个位置都运行
论文图 2。原论文 Figure 2:：“Fish Audio Drama 3 architecture. The backbone reads the system prompt, the target text, and then its own audio frames, each entered as a fused embedding of its codes 0 and 1.”。
图中底部黄色块是部分码本融合，把每帧的 0 和 1 号码本拼成一个位置送入骨干，灰色块是骨干隐状态，紫色块是语义和声学码本。共享层横跨全宽表示在每个位置都运行，上面逐码本层按 1 到 9 向上堆叠，每层虚线箭头表示读前一层刚选定的码本。右侧音频分词器解码器表示 10 个码本最终合成波形。这张图帮你把旁路和主路分开：细码本不经过骨干，但经过解码器的因果注意力。
逐码本解码器怎样一层管一个细码本
在帧 t 的位置上，骨干预测下 1 帧的语义码，解码器在同一位置补齐该帧的 9 个声学码本。解码器共 13 层，底部四层是共享层，上面九层是逐码本层，每层都是合并下方隐状态加注入码本嵌入，再跑一个带门控全注意力和稠密前馈的变换器块。共享层注入的是正在补全帧的语义码，第一层还额外加上输入帧的第 2 到第 9 号码本嵌入之和，这部分正是绕过骨干的声学细节。
逐码本层每层注入前一层刚选定的码本，再用自己的输出头采样当前码本，因此是逐码本顺序采样，但注意力仍看到截至当前位置的整个序列。训练时所有码本用真实值做教师强制，解码器相当于在骨干序列上多做 1 次时间并行的因果前向；推理时每帧先走一步骨干，再走 13 步单位置解码，采样出的第 0 和第 1 号进入下一骨干输入，其余细码本送往共享层。
与 S2 的帧内快速自回归相比，差别在于上下文、训练版式和容量：新解码器直接读参考细码本和全部历史帧，复用骨干的位置编码和掩码 1 次训完所有码本，每码本有整宽层和自己的键值缓存，而旧模块是四层共享、只看一个投影状态、每帧内循环。
\[\mathbf{e}^{(\ell)}_{t}=\mathbf{E}^{(\ell)}_{\text{s}}\bigl[q^{(0)}_{t+1}\bigr]+\mathbf{1}[\ell=1]\,a_{t}\sum_{k=2}^{9}\mathbf{E}^{(k)}\bigl[q^{(k)}_{t}\bigr],\]上式是共享层的注入项，第一项是语义码嵌入，第二项只在第一层且输入为音频时加入的细码本之和，a 是判断当前位置是否为音频的指示。这解释了细码本旁路在何处重新进入计算。
共享层 × 逐码本层 × 因果注意力： 共享层是解码器底部的四层，先把骨干隐状态、当前帧语义码和上一帧细码本拼成统一表示，逐码本层是上面九层，每层读前一层刚选定的码本再输出下一个码本。因果注意力指每一层只能看当前位置及之前的位置。搭配后所有细码本共享同一份时间上下文，又各自有专用参数和输出头，预测细码本时仍能看到参考音频和历史帧。
看逐帧顺序路径对比图时注意方块是按比例画的层通过次数，不是参数量。
看图路径： 1. 对比上排 S2 十次经过权重与下排 Drama 3 每层只过一次的长度差异；2. 注意下排 shared 加 1 到 9 的编号，对应四层共享加九层专用；3. 看骨干框下标注的 dense 与 MoE 区别，理解每帧读权重量的来源
论文图 4。原论文 Figure 4:：“Per-frame sequential path after the backbone step.”。
上排 S2 的四层快速自回归要跑十遍，每遍都重读权重；下排 Drama 3 的四层共享加九层专用各跑一遍，权重只读 1 次。这直接对应每帧读权重从约 15.6 GB 降到约 6.0 GB 的原因，也是单流帧率从 177 升到 271 的结构基础。代价是解码器层数更多、每层都有全序列缓存，上下文很长时缓存本身仍会增长，论文给出随上下文增长的缓存层数从 36 降到 23，但没有说缓存可以完全不增长。
三段预训练和指令微调各教什么格式
训练起点是预训练好的 Qwen3.5 语言模型加新初始化的解码器，先 3 段预训练，再指令微调，最后偏好强化学习。所有任务都写成 ChatML 风格对话，系统轮放任务说明和克隆参考，用户轮放要说文本，助手轮放音频，损失只算助手轮。第一和第二段序列最长 8K，学文本转音频码本，有纯文本文档和多轮语音合成对话两种，第二段把批量加倍以降低梯度噪声。
第 3 段把最长序列提到 16K，加入整段长篇合成、按行分隔合成、流式交错和语音填充，长篇的参考从同一录音靠后位置切出且目标在参考开始处截断，避免同一段音频既当上下文又当目标。样本按文档掩码打包成 128K 词元的行，用 Muon 优化。
指令微调从第 3 段检查点开始，序列最长 32K，统一用带编号的参考分块，教自然语言导演、多说话人对话和整场配音，方向包括点标签、范围标签、风格前缀和导演备注，多轮修订把历史成品保留为音频，整场配音把所有台词 1 次给出并用可监督的分隔符连接，普通克隆、长篇、填充和纯文本聊天仍留在混合里以保留预训练能力。
\[\mathcal{L}_{\text{text}}=-\frac{1}{|\mathcal{T}|}\sum_{t\in\mathcal{T}}\log p_{\theta}(x_{t}\mid x_{\lt t}),\qquad\mathcal{L}_{\text{sem}}=-\frac{1}{|\mathcal{S}|}\sum_{t\in\mathcal{S}}\log p_{\theta}\bigl(q^{(0)}_{t}\mid x_{\lt t}\bigr),\]上式是文本损失和语义码损失，都是各自桶内的平均，因此图文配比不随批量组成漂移，语义项和后面的码本项共享同一逐帧掩码。
直接克隆 × 多轮修订 × 填充式编辑： 直接克隆是按参考音频和目标文本一次生成，特点是输入只有参考和文本；多轮修订是下一轮用自然语言点评上一轮成品并重新生成，特点是历史成品也留在上下文里；填充式编辑是只重生成改动窗口内的音频，前后保留原录音，特点是输入同时有前缀音频和后缀音频。三者被写成同一种对话格式，区别只在系统轮放参考还是前后缀、用户轮放文本还是修改意见，模型因此可以用同一套损失学会三种任务。
只用单一偏好奖励的强化学习怎么做
强化学习从指令微调检查点开始，对富有表现力的请求做对齐，只用一个学到的人类偏好奖励，不用转录和相似度规则奖励。奖励模型是论文自己的小语音语言模型，经过同样分词器和同样序列格式预训练到第二段结束，在成品结束符的隐状态上加标量头。它读的是与策略相同的提示加成品音频词元，因此奖励路径里不跑分词器解码、语音识别或声纹模型，但因为能看到参考和剧本，声音一致性和内容保真仍是它评判的一部分。
训练用 Bradley-Terry 损失加平滑标签和小的平方正则，每组同一提示采 8 个成品，原始分经冻结锚点标准化并截断到正负 3，再转成组内期望胜率，无音频的成品得零分且不参与比较。策略优化用组相对策略优化，去掉散度惩罚和参考模型，组内奖励标准差小于 0.05 的组丢掉，每个提示 8 个成品、每步 1536 个提示的大批量短调度，用恒定 Muon 学习率且无权重衰减。
解码器在强化学习中冻结，只训练骨干采样的语义码和结束符，重要性比率的分母是推理引擎上报的采样概率，分子是当前训练骨干的概率，并用非对称截断限制两者偏离，论文把偏离主要归因于推理侧单字节专家与训练侧半精度的数值差异。
\[\mathcal{L}_{\text{RM}}=-\bigl[\,y\log\sigma(s_{a}-s_{b})+(1-y)\log\sigma(s_{b}-s_{a})\bigr]+10^{-3}\bigl(s_{a}^{2}+s_{b}^{2}\bigr),\]上式中 s 是奖励模型对两个成品的打分，y 是平滑后的偏好标签，最后一项是防止分数无界漂移的正则。
\[z_{i}=\operatorname{clip}\Bigl(\frac{s_{i}-\mu_{0}}{\sigma_{0}},-3,3\Bigr),\qquad R_{i}=\frac{1}{n-1}\sum_{j\neq i}\sigma(z_{i}-z_{j}),\]上式先把原始分按冻结均值方差标准化并截断，再在组内两两比较转成胜率，R 是该成品打赢同组其余成品的比率，有界在 0 到 1 之间，截断让超过 3 倍标准差的增益不再增加奖励，这让刷分行为更容易被观察到。
转录错误奖励 × 说话人相似度奖励 × 人类偏好奖励模型： 转录错误奖励把语音识别听到的文字和剧本比对，只管字有没有读对；说话人相似度奖励把生成音色和参考音色的声纹向量做余弦比较，只管像不像参考；人类偏好奖励模型是论文用同样分词和序列格式预训练到第二段的小语音语言模型，在成品结束符上加标量头，直接读提示加成品音频打分。前两者在笑声、长停顿、耳语等合理表达下会误罚，偏好模型同时看到剧本、参考和导演要求，能把内容保真和风格服从一起评判，论文因此只用偏好模型而不用规则奖励。
在什么条件下测克隆、编辑和修订
论文强调用同一个 Drama 3 模型测所有公开基准，而多数基线是为单一任务 built。解码采样在评测里用温度 0.7 加 top-p 0.7 加 top-k 30，与强化学习采样时的纯祖先采样不同。输出先过简单的信号检查，例如静音、语音太少、长度失控或长时间噪声会被重生成再打分。误差率按各基准官方协议，中日韩用字形错率，其他语言用词错率，中文用 Paraformer-zh 转录，其他语言用 Whisper-large-v3，说话人相似度是 WavLM-large 加 ECAPA 头的余弦，编辑质量还用 DNSMOS 总体分的改前改后平均绝对差，越小表示编辑越不改变原录音听感。
多语克隆在 MiniMax 多语集上测 24 种语言，其中三家商用系统由论文作者自己跑公开接口并同样打分，另三家引用论文数字但打分工具可能不同。多参考克隆因为没有公开基准，论文在 LibriSpeech-PC 的测试子集上自加每个说话人的另外两段参考并按 OmniVoice 的打分方式算。编辑在 Ming-Freeform 上测删除、插入和替换，窗口从源文本与目标文本首个不同词到末个不同词，中文按字算，删除无新文本时把窗口扩到相邻不变词。
修订在 Step-Audio-Edit 上测情绪、风格和副语言事件，情绪和风格由 Gemini-2.5-Pro 按官方提示判对，副语言事件按 1 到 3 打分。理解这些条件才能判断结论的边界：引用数字的基线与自跑基线的公平性不同，重生成机制会同时影响首版和终版误差。
多语克隆的误差在哪些语言最低
同样做零样本克隆时，要看的是 Drama 3 的可懂度是否在多语言上占优。比较用同一套 MiniMax 多语题目，中文用字形错率，荷兰语、英语、德语、土耳其语用词错率，误差越低越好。下表只取原文大表中的 5 种语言和 3 个对照，完整比较以原文 24 种语言为准，表头单位是百分比，数值保留原文精度。
| Language | Metric | Drama 3 | OmniVoice | ElevenLabs v4 |
|---|---|---|---|---|
| Chinese | CER | 0.63 | 1.01 | 0.66 |
| Dutch | WER | 0.59 | 1.36 | 1.00 |
| English | WER | 1.13 | 1.56 | 1.56 |
| German | WER | 0.48 | 0.96 | 0.90 |
| Turkish | WER | 0.52 | 2.17 | 0.87 |
这次比较的是多语可懂度，条件是 MiniMax 多语集的官方题目，指标方向是误差越低越好。Drama 3 在中文 0.63、荷兰语 0.59、英语 1.13、德语 0.48、土耳其语 0.52，均低于同表中的 OmniVoice 和自跑的 ElevenLabs v4，论文据此报告在这 5 个语言上低于表中所有其他系统，并在 11 个语言上同时低于 OmniVoice、FireRedTTS3-Base 和 S2。限制也要讲清：粤语、希腊语、印尼语、罗马尼亚语等语言上 Drama 3 并非最低，例如粤语 22.70 高于 OmniVoice 的 17.71；引用论文数字的三家与自跑打分的三家所用转录和脚本不完全一致；相似度和听感不在这张表里，多参考实验显示三参考比单参考相似度从 0.605 升到 0.633 但词错率同为 1.85，说明这张表的误差优势不能直接推广成音色更像。
局部编辑和按意见修订是否按预期变好
编辑要回答的是只重生成窗口能否既读对新词又不破坏原录音，修订要回答的是多给一轮意见能否让情绪和风格更准。编辑分两种做法，一种是整段解码后直接比，另一种是把新音频按 20 ms 等功率交叉淡化贴回原录音再比，指标方向是词错率越低越好、相似度越高越好、改前改后听感差越小越好。下表是第二种做法下与 Cartesia 填充接口的对比，每格是删除、插入和替换的平均，表头单位是百分比。
| System | Basic | Basic | Full | Full |
|---|---|---|---|---|
| Fish Audio Drama 3 | 3.49 | 3.69 | 3.43 | 2.35 |
| Cartesia Sonic-3, infill (Cartesia, 2026) | 4.58 | 8.64 | 4.68 | 6.53 |
这次比的是同样窗口下谁的新音频贴回去后更可懂，条件是 Cartesia 拿到 Drama 3 的窗口和按源音频克隆的声音，指标是词错率越低越好。Drama 3 在基础集英语 3.49 对 4.58、中文 3.69 对 8.64，完整集英语 3.43 对 4.68、中文 2.35 对 6.53，中文不到对方一半。填充提示同时给了全文和窗口前后音频，模型能利用前后衔接减少错词，限制是这张表只报误差不报相似度和听感差，另一张基础集细表显示英文插入和替换上专用编辑模型仍有更低误差和更小听感差，中文插入替换上 Drama 3 相似度更高但并非所有误差都最低。
修订是否逐轮提高判对率，可以用连续原句整理如下，情绪和风格是准确率，越高越好，副语言事件是 1 到 3 分，越高越好。
| 任务 | 指标方向 | 初版 | 第 3 轮或加事件后 | 变化 |
|---|---|---|---|---|
| 情绪 | 准确率越高越好，表头单位是百分比 | 55.5 | 58.2 | 逐轮上升 |
| 风格 | 准确率越高越好，表头单位是百分比 | 76.5 | 81.8 | 逐轮上升 |
| 副语言事件 | 1 到 3 分越高越好 | 1.32 | 2.32 | 加标签加填充后上升 |
该结果支持每轮修订都带来提升，但限制是同表对比的 Step-Audio-EditX 在情绪上从 53.6 升到 69.3、副语言从 1.91 到 2.89，绝对值高于 Drama 3，论文只报告自己按官方 Gemini 协议重跑的分数，对方是引用论文分数，评判运行并不完全相同。流式合成的额外证据是同 1088 句下流式词错率 1.86 对非流式 1.83、相似度同为 0.640，支持流式几乎不掉质量，但只测了英语测试集。
拿掉规则奖励后表达和可懂度发生了什么
这一节把奖励选择当作对照来读，尽管论文没有做拿掉解码器某层的消融。测量对象是同一批人声的风格化读法与默认读法的配对，比较方法是固定说话人和句子只改变风格，指标是相似度差、词错率差和奖励模型更偏爱哪一版。论文报告耳语使相似度平均降 0.310，相似度奖励在 99.7% 的配对里更偏爱默认读法，带笑朗读使词错率升 0.79 个百分点，因此规则奖励会惩罚合理的表达。
加上方向写法后，奖励模型偏爱耳语版的比例从 10.6% 升到 62.2%，偏爱带笑版从 27.1% 升到 64.4%，悲伤、困惑和开心也有类似的方向增益，只有清晰朗读的增益很小。另一组对照是同一推理引擎和采样下指令微调检查点与强化学习后模型的首版与终版误差，不用任何转录奖励时中文首版字形错率从 1.66 降到 1.00，英文首版词错率从 3.49 降到 2.20，被信号检查标记的首版比例也从 2.82% 降到 1.24% 和从 3.40% 降到 1.84%，重生成后终版仍略优。
这支持单一偏好奖励没有以可懂度为代价换表达，限制是这只是 Seed 评测上的结果，且重生成机制本身会掩盖一部分首版失败，风格偏好比例也只是成对胜率而非绝对质量分。
哪些结论还不能推广
第一，多语最低误差只在部分语言成立，粤语、日语、印尼语等仍有基线更低，不能读成全面最优。第二，编辑优势依赖具体条件，整段解码与贴回原录音是两种比法，英文插入替换上专用模型仍有更低误差，中文优势更明显但不能外推到所有语种和所有编辑类型。第三，修订逐轮上升成立，但情绪和副语言的绝对分数低于引用的专用修订系统，且双方评判运行不同，不能读成修订能力全面更强。
第四，速度优势是在单流、特定显卡和特定精度下测得，高并发需要预填充与解码分离的部署，首包延迟和长上下文缓存增长仍是独立问题。第五，奖励分析用的是 Expresso 的真人配对和自家奖励模型，只能说明规则奖励会误罚风格、偏好模型能响应方向，不能说明偏好模型在所有导演写法下都不刷分，论文用截断和冻结锚点让刷分可见，但没有给出误判率的上界。
要复现需要准备什么和先跑哪一步
复现第一步是按论文附录的提示格式拼出最小可运行请求，而不是先调模型结构。准备一段参考音频加对应文字，目标文本加一个简单风格前缀，例如耳语范围标签包裹半句，用温度 0.7 的评测采样先跑单句克隆，检查字错率和是否有静音或超长，再试下一轮加相对意见的重演和只改一词的填充。
关键信息条件要保留：参考分块用带编号的分块而非简单拼接，多人物用全局说话人标记，长篇用分隔符逐行对齐，填充按后缀在前、前缀在后的顺序让前缀紧邻生成区，流式按文本块加下一块预告交错。推理侧要区分两种阶段，预填充 1 次读完文本和参考，解码逐帧生成，单卡上新请求的预填充会挡住正在播放的流。 理解分离部署时先看单卡与分离两条时间线的差异。
看图路径： 1. 先看单卡时间线里冷启动预填充如何挡住所有正在播放的流；2. 再看分离方案里预填充卡与解码卡两条时间线如何并行；3. 注意 KV 加循环状态的箭头，表示预填充结果是整体搬运到解码卡
论文图 6。原论文 Figure 6:：“Schematic timelines of streaming on one GPU (a) and with prefill–decode disaggregation (b).”。
图中上半是单卡，新请求到达就插入预填充，冷请求的长预填充造成播放空洞，下半是分离方案，预填充卡做同样的预填充，完成后把键值和循环状态搬到解码卡，解码卡持续出帧。论文在 RTX PRO 6000 上的容量测试以无卡顿和首百分位每流至少 35 帧为门槛，分离单元平均每卡 24 路对单卡约 10 路，生产灰度中解码卡首百分位 55 帧对单卡 45 到 47 帧，字形错率差 0.02 可视为相当。复现时不要把帧率直接当延迟，首帧等待、交叉淡化、强制对齐和重生成都会影响端到端体验。
关于获取方式，论文正文给出 GitHub、Hugging Face 和 fish.audio 3 个链接，但本次只校验到其中两个第三方链接当前可达，不能据此写成作者权重已公开或推理服务可运行，需要补验证才能确认可用性。
什么时候值得试还缺哪项验证
当任务需要导演语言反复改戏、1 次配多个人物、只改一词而保留周围语气，或者文本边到边播时，Drama 3 的统一对话格式值得尝试，因为它把这些活写成了同一种输入输出，实验显示修订逐轮有增益、流式几乎不掉可懂度、中文编辑误差明显更低。当只需要单句中性朗读且只看字错率时，更轻的专用模型可能更划算，因为大总参数和复杂推理工程的收益在这种任务里不明显。
复现第一步如上一节先跑带风格前缀的单句克隆，再跑相对意见修订和单窗口填充，固定转录和相似度工具后再谈数字。还缺的验证是自跑基线在同一打分下的完整复测、长上下文下缓存和延迟的实测、偏好模型在未见导演写法下的误判率，以及多轮修订超过 3 轮后是否继续增益。论文没有报告这些上界，结论应停在已测条件内：部分语言和部分编辑条件下的误差更低、修订逐轮变好、单流帧率更高且高并发需分离部署。
📎 论文与评分元数据
排名：前50% | 文档类型：模型报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses