📄 DRAMA-Eval：面向上下文、多轮、多说话人的语音生成评测

英文题目：DRAMA-Eval: A Benchmark for Context-Aware, Multi-Turn, Multi-Speaker Speech Generation

评分：6.7/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Jingbin Hu：机构信息未能在本次解析中与作者逐人可靠绑定
  • Zihang Yang：机构信息未能在本次解析中与作者逐人可靠绑定
  • Xiaoge Peng：Shenzhen Pimei Technology Co., Ltd.
  • Haoyu Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
  • Ziyu Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
  • Qirui Zhan：机构信息未能在本次解析中与作者逐人可靠绑定
  • Huakang Chen：机构信息未能在本次解析中与作者逐人可靠绑定
  • Zhao Guo：机构信息未能在本次解析中与作者逐人可靠绑定
  • Wenjie Tian：机构信息未能在本次解析中与作者逐人可靠绑定
  • Kangxiang Xia：机构信息未能在本次解析中与作者逐人可靠绑定
  • Wenkang Hou：机构信息未能在本次解析中与作者逐人可靠绑定
  • Ruonan You：机构信息未能在本次解析中与作者逐人可靠绑定
  • Zihan Liu：机构信息未能在本次解析中与作者逐人可靠绑定
  • Chenyi Liao：机构信息未能在本次解析中与作者逐人可靠绑定
  • Hongyu Lyu：机构信息未能在本次解析中与作者逐人可靠绑定
  • Zihao Bai：机构信息未能在本次解析中与作者逐人可靠绑定
  • Jinrui Liang：机构信息未能在本次解析中与作者逐人可靠绑定
  • Shengming Lin：机构信息未能在本次解析中与作者逐人可靠绑定
  • Yunxiang Chen：Shenzhen Pimei Technology Co., Ltd.
  • Houdun Liu：Shenzhen Pimei Technology Co., Ltd.
  • Su Feng：Shenzhen Pimei Technology Co., Ltd.
  • Bengu Wu：Yutu Zhineng
  • Liumeng Xue：机构信息未能在本次解析中与作者逐人可靠绑定
  • Lei Xie：机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

读者需要理解的对象是有声书和广播剧式的语音生成，输入是一个包含场景背景、人物小传和逐轮说话人与台词及演绎要求的结构化剧本，输出是完整场景音频，难点在于同时保持人物音色、执行显式与隐式演绎要求并让多轮交互听感连贯。论文先从播客与影视等真实音频收集素材并做说话人与演绎标注，再改写为统一剧本并经人工审查，得到配有真实参考音频的测试集。评测沿一个样本把文本保真与跨句音色一致性算成客观指标，把生成音频与真实音频组成不透露来源的 A/B 对交给音频大模型按局部与全局维度判优，并经换位重判与多次重复平均为胜率。相对已有只看单句指令或只看对话音色的方法，该基准把客观、局部执行与全局交互放在同一场景下比较。在中文 537 例与英文 501 例共 12.50 小时音频上，SeedAudio 中文场景沉浸胜率达到 75.7%，高于只做单句拼接的强局部模型，而对话类模型音色一致性约 0.78 却局部表现力偏低。结论适用于中英文 43 秒左右、2 到 20 轮的短场景，未验证更长叙事与多语言泛化。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

这篇论文要解决什么评测缺口

做有声书和广播剧的语音生成，现在不再是单人念一句话，而是要按剧本连续生成多轮、多个人物的对话。输入不再只有要念的文字，还包括整场戏发生在哪里、人物是什么性格、每一句应该哭还是压低声音。输出要求是一整段音频，人物不能串声，情绪要随剧情走，前后接话要自然。

已有评测是分开做的：有的只看单句是否按指令变情绪，有的只看长对话里音色稳不稳，有的只看音质和可懂度。论文指出，这种拆开评会漏掉关键问题，单句指令做对了，拼成一场戏可能依然断裂；音色保持住了，演技可能依然平淡。所以需要一个统一的场景级评测，把理解结构化上下文、执行显式和隐式指令、维持多说话人一致性放在同一批剧本里一起考。

已有评测路线各管哪一段

第一条路线是指令跟随评测，代表是 InstructTTSEval 和 MINT-Bench。它们给一句文字加一段风格或角色描述，看单句有没有念出要求的音色和情绪，评测单位是单句，不考跨句身份和整场互动。

第二条路线是上下文和表现力评测，例如 CEAEval 看叙事上下文暗示的语气是否合适，CAST 看话语重音，Speech-DRAME 看角色扮演。这些工作说明了演得好不好既要看是否照做，也要看是否合乎上下文，但大多仍停在单句层面。

第三条路线是长音频和多轮对话评测，例如 SwanBench-Speech 覆盖长文本和带说话人标记的对话，看声学一致和韵律连贯，MSBench 和 TTSD-eval 看一次生成的多说话人对话，SceneTTS-Bench 看戏剧配音的跨轮音色和节奏。论文用一张对比表说明，只有 DRAMA-Eval 同时把指令跟随、跨句身份一致和完整多说话人场景作为专门评测目标。

另一条相关进展是用大音频语言模型当评委。InstructTTSEval 用 Gemini 2.5 Pro 看指令实现，EmergentTTS-Eval 用 Gemini 2.5 Pro 和参考系统对比，AnyAudio-Judge 则训练专用评委。DRAMA-Eval 沿用成对比较加真实音频参照的思路，但把比较对象固定为同一剧本的真实演出。

任务的输入、输出和必须保留的信息

评测的输入是一个结构化剧本，包含场景上下文、人物小传、每一轮的说话人、要念的文字和本轮演法说明。部分系统还允许额外给参考音频，用来指定目标音色。输出是整场音频，可以是模型一次直接生成的对话，也可以是逐句生成再按剧本顺序拼接起来的。

必须保留的信息有 3 类：一是文字内容不能念错念漏，二是每轮说话人归属不能错，同一人物在不同轮次要听得出是同一个人，三是演法要符合剧本，既包括直接写明的哭喊耳语，也包括由场景和前后对话暗示的紧张、敷衍、追问等走向。最终用真实世界的同剧本录音做参照，判断生成版在多大程度上接近真实演出的指令还原和戏剧连贯。

结构化剧本如何表示一次生成任务

论文把一个剧本形式化为场景、人物集合和若干轮次的组合，每轮记录说话人、文本和局部指令。这个表示的好处是把全局信息和局部信息分开存放，全局供整场定调，局部供单句定演法，评测时可以分别消融。

\[\mathcal{S}=\left(c,\mathcal{R},\{(r_{t},x_{t},u_{t})\}_{t=1}^{T}\right),\]

上式中 c 是场景上下文，R 是人物描述集合，r 是第 t 轮的说话人，x 是目标文本，u 是局部指令，T 是总轮数。下标 t 从 1 到 T 求遍整场，保证评测看到的是连续交互而不是孤立句子。

给定剧本和可选的参考音频，系统按条件分布生成整场音频，论文强调输出应该是场景级音频，这样才能同时暴露单句合成质量和轮次之间引入的不连续。

\[Y\sim p_{\theta}\left(Y\mid\mathcal{S},\mathcal{A}_{\mathrm{ref}}\right).\]

这里 Y 是场景级音频，S 是上述结构化剧本，A 是参考音频，p 是被测系统的生成分布。不同系统支持的输入接口不同，有的能吃完整剧本，有的只能吃单句文字加指令，有的只能吃文字加说话人标记，论文按各自支持的接口评，不强求输入完全相同。

结构化剧本 × 场景上下文 × 人物小传 × 轮次指令： 结构化剧本是统一输入格式，场景上下文交代整场的地点和氛围，人物小传说明每个角色应有的音色和性格，轮次指令说明当前一句要怎么说，四者分工是全局定调、角色定声、单句定演法，组合后模型既能看到远处剧情又能执行近处动作。

三层评价分别听什么

客观层有两个指标，处理整场生成音频的文字和声音身份。A1 是文字保真度，中文用字错率，英文用词错率，用 Qwen3-0.6B-ASR 转写生成音频后再与目标文本比对计算，越低越好。A2 是说话人一致性，用说话人向量比较同一人物在不同轮次的发音是否稳定，越高越好，它不比较与参考录音像不像，只看生成场内部稳不稳。两者只给后续主观判断打底，不能代替表达和互动评价。

局部层逐轮比较，处理同一轮次的生成片段和对应真实录音。B1 是指令跟随，只问有没有做出上下文要求的动作和情绪，不计较音质；B2 是韵律流畅，只问有没有机械卡顿、金属声和怪异停顿，不计较情绪对不对；B3 是局部表现力，问听感像专业演员还是平淡念稿，看音高能量语速的动态和气口细节。三者严格解耦，一段音频可能情绪错但演得很用力，就会出现 B1 输而 B3 赢。每维都由价值评估模型做盲听偏好判断，给出偏好生成、偏好真实或平局，再按平局记一半胜率汇总，50 表示与真实录音打平，三次独立运行取平均，前后交换顺序各判一次以减少位置偏好。

全局层听完整场，处理多轮拼接后的连贯和氛围。C1 是跨说话人互动自然度，看回应是否像听到了上一句，赞同、反驳和打断是否合乎逻辑；C2 是全局流畅和声学连续，看是否像一次录完，有无拼接感和底噪突变；C3 是场景沉浸，看整场是否共同建立了同一个氛围，例如紧张的警局会议是否全程保持高压。单说话人场景下 C1 不适用，直接记平局。全局判断同样采用与真实录音的成对比较和胜率口径，便于把单句做得好但整场接不上的问题暴露出来。

客观评测 × 局部评测 × 全局评测： 客观评测只看文字念对没有和同一个人声音稳不稳，局部评测逐句听是否按指令演、声音干不干净、演得有没有层次，全局评测听完整场看人物接不接得住话、拼接顺不顺、像不像一部戏，三层搭配才能区分念得准、演得像和戏成立三种不同能力。

对话式语音合成 × 单说话人声音设计： 对话式语音合成一次生成多轮对话，靠参考音频定声，擅长保持身份但看不到细致演法说明，单说话人声音设计是按文字加风格描述逐句生成再拼接，擅长单句可控但各句独立生成，两种路线正好暴露一致性和可控性各自的短板。

成对胜率如何计算和去偏

局部和全局的主观维度都用 Gemini 3.8 Flash 当评委。每次把生成音频和真实音频标为 A 和 B，不告诉来源，连同相关剧本信息一起给评委，每维度独立判 A 赢、B 赢或平局，不打绝对分。

为减少位置偏置，每对音频评两次且 AB 顺序互换，只有两次都偏向同一方才算该方获胜。结果按并列折算的胜率汇总，平局算 0.5 分，再在三次独立评测上取平均，用正负值表示轮次间波动。50 表示与真实参照打平，高于 50 表示更偏好生成版，低于 50 表示更偏好真实录音。

\[\mathrm{WinRate}(s)=\frac{N_{\mathrm{win}}+0.5N_{\mathrm{tie}}}{N_{\mathrm{comparisons}}},\]

上式中 Nwin 是生成版获胜次数，Ntie 是平局次数，分母是有效比较总数。论文还用人听一致性验证这个自动流程，并要求区分背景音乐和人声，真实录音若带音乐或房间噪声，不因此加分或扣分，只评人声的演绎和衔接。

胜率 × 并列折算 × 真实音频参照： 胜率不是绝对打分，而是把生成音频和同剧本的真实音频盲听对比，赢计 1 分、平局计 0.5 分再除以总次数，真实音频参照提供演技上限，50 表示打平，组合后能跨维度比较指令、韵律和沉浸感而不被绝对分尺度干扰。

这篇论文训练了什么，构造了什么

这是 1 篇评测论文，没有训练新的语音生成模型，也没有报告梯度、优化器或参数更新。它的构造工作是数据集和评测流程。

数据构造分四步。先从播客、影视剧、访谈、新闻、日常对话、直播带货、有声书和广告等真实音频收集来源，影视覆盖历史、谍战、现代和悬疑等类型。然后用 Gemini 2.5 Pro 对每段做说话人属性和局部演绎标注，得到与真实表演绑定的描述。接着用 DeepSeek-v4.1-Flash 清洗并改写为统一剧本格式，组织为场景背景、人物小传和逐句演法三层。最后人工检查格式和描述质量，通过的剧本作为测试输入，对应真实音频作为参照。

以下导读帮你看清这条流水线：从左到右是来源、自动标注、改写成剧本、人工质检，底部显示最终测试集由哪三部分拼成。

看图路径： 1. 按 1 到 4 的顺序看音频如何变成可评测剧本；2. 注意第二步和第三步分别用了哪个模型做什么；3. 看底部三块输入如何汇成最终测试集

原论文 Figure 1：Data construction pipeline of DRAMA-Eval, comprising real-world audio collection, automatic…

论文图 2。原论文 Figure 1:：“Data construction pipeline of DRAMA-Eval, comprising real-world audio collection, automatic annotation, script refinement, and human review.”。

图中可见 4 个编号面板依次衔接，第一步图标是话筒耳机和影视素材，第二步是模型看波形和人物卡，第三步是模型改稿，第四步是人工核对清单，底部箭头把场景上下文、人物小传和轮次指令汇入最终文件夹，说明测试输入不是纯文本，而是三层结构共同约束生成。

数据集规模和四类推理方式

测试集共 1038 个场景，中英文分别为 537 和 501 个，源音频共 12.50 小时，其中标注语音 10.65 小时，共 7530 个轮次，平均每场 43.36 秒、7.25 轮，每轮平均 5.09 秒。说话人数 1 到 4 人，轮次 2 到 20 轮，多说话人占 65.6%，2 人场最多为 478 个，68.0% 的场景有 6 到 10 轮。类别分普通、情绪升级、对比和丰富情绪 4 种，轮次情绪覆盖平静、悲伤、高兴、愤怒、恐惧、惊讶和厌恶。

以下导读帮你把握分布：左上看来源构成，右上看场景类型，中下看说话人数和轮次跨度，蓝色和橙色区分中文和英文。

看图路径： 1. 对比中文和英文在来源和场景类型上的分布差异；2. 看说话人数和轮次数哪一档占比最高；3. 注意多说话人和 6 到 10 轮为何是评测主体

原论文 Figure 2：Distributions of audio sources, scene categories, speaker counts, and turn counts in DRAMA-Eval.

论文图 3。原论文 Figure 2:：“Distributions of audio sources, scene categories, speaker counts, and turn counts in DRAMA-Eval. All values are percentages.”。

图中可见播客访谈和戏剧影视是主要来源，普通类占比最高，6 到 10 轮占 68.0%，2 人场景是主体，说明评测重点是连续多轮的交互而非单句朗读。

推理按能力分组。对话式语音合成只给文字、说话人标记和 Emilia 参考音频，不给场景和演法说明；单说话人声音设计不给参考音频，把人物描述和本句风格拼成指令逐句生成再拼接；单说话人声音控制同时给参考音频和演法指令逐句生成再拼接；上下文多说话人生成吃完整结构化剧本整场生成。跨组比较反映的是各自支持接口下的配置能力，不是同等输入下的胜负，解读时要保留这个条件差异。

数据集总体构成是多少

下表整理数据集规模，比较问题是测试量是否足以支撑多轮多说话人评测，数字越大表示覆盖的交互越多，但不直接代表难度均衡。

条件规模
场景总数 中文加英文1038 个，537 中文和 501 英文
音频时长 标注语音12.50 小时，10.65 小时标注语音，7530 轮
多说话人 2 人场65.6% 多说话人，478 个 2 人场
轮次跨度 6 到 10 轮68.0% 含 6–10 轮

上表数字说明评测主体是中等长度的多轮场景，2 人对话最多，6 到 10 轮最集中，适合看跨句连贯。但情绪和说话人配置不均衡，场景长度也到不了长篇叙事，结论只在这类中等长度范围内成立。

中文场谁在单句和整场更接近真实演出

下表聚焦中文，比较问题是在各自接口下谁的生成版更常被判为优于或打平真实录音。A1 越低越好，A2 和 B1 到 C3 越高越好，B1 到 C3 的 50 表示与真实参照打平，均为三次评测平均。

模型A1 字错率B1 指令B3 表现力C1 互动C2 流畅C3 沉浸
SeedAudio2.5862.264.267.473.275.7
StepAudio 3 Gen 中文 B2 最高58.3 B257.3 B156.9 B360.2 C164.7 C264.6 C3
Qwen3-TTS 声音设计59.7 B160.6 B328.2 C227.7 C3--
MOSS-TTSD 对话式35.9 B30.78 A2----

上表显示文字念准不能区分戏的好坏，SeedAudio 中文 A1 为 2.58，FireRedTTS3 英文 WER 为 3.97，多类系统都能把字念对。局部看 SeedAudio 中文 B1 为 62.2、B3 为 64.2，StepAudio 中文 B2 为 58.3，Qwen3-TTS 中文 B1 为 59.7、B3 为 60.6，说明单句可控性上声音设计路线也能接近。差距在全局拉开，SeedAudio 中文 C1、C2、C3 为 67.4、73.2、75.7，而 Qwen3-TTS 中文 C2、C3 仅为 28.2、27.7；MOSS-TTSD 说话人一致性约 0.78 但中文 B3 仅为 35.9。也就是说，逐句做对再拼接不等于一场戏连贯，稳住音色也不等于演得到位。

显式指令 × 隐式上下文： 显式指令是轮次旁白直接写出的哭、喊、压低声音等要求，隐式上下文是场景背景和前后对话暗示的情绪走向，前者考照做，后者考体会，论文发现模型做前者尚可，做后者尤其在长程一致和氛围维持上差距更大。

英文场和说话人一致性说明什么

下表聚焦英文和一致性，比较问题同上，只是语言换为英文，A1 为词错率。

模型A1 词错率A2 一致性B1 指令B3 表现力C1 互动C2 流畅
SeedAudio4.450.6856.5 B157.0 B356.8 C154.5 C2
FireRedTTS33.97-----
MOSS-TTSD-0.77-23.5 B3--
SoulX-Podcast-0.76----

上表显示英文整体胜率低于中文，SeedAudio 英文 C1、C2、C3 为 56.8、54.5、55.7，仍是参测中最高，但优势收窄。FireRedTTS3 英文 WER 为 3.97 最低，仍只说明念得准。对话式系统一致性突出，MOSS-TTSD 英文约 0.77、中文约 0.78，SoulX-Podcast 英文约 0.76、中文约 0.78，但其表现力和全局分偏低。结论成立条件是各自接口不同，对话式没看到演法说明，单说话人是拼接而成，因此不能说某类模型在同等信息下必然更强，只能说在被允许的用法下暴露了互补短板。

拿掉全局上下文会发生什么

论文在 SeedAudio 上做全局上下文消融，对比给与不给场景背景和人物小传时的整场质量，仍用与真实音频的 AB 比较报告 C1 到 C3。比较问题是全局信息是否只影响氛围还是全面影响互动和流畅。

原文报告给全局上下文后中英文 3 维度全面提升，尤其有助于产生合乎整场的表达，中文 C1、C2、C3 从无上下文的 61.1、66.2、64.4 升至有上下文的 67.4、73.2、75.7，英文从 50.8、48.5、45.9 升至 56.8、54.5、55.7。这支持全局信息对场景级生成有价值，但这只是单个强系统上的消融，不能推广到所有系统，也没有测量去掉局部指令或只留人物小传的细粒度效果。

自动评委和人类听感差多远

下表整理人机一致性，比较问题是 Gemini 3.8 Flash 的偏好能否代替人听。计分是完全一致 1 分，一方平局另一方有偏好 0.5 分，相反 0 分，个人级是逐条人标注与机器比，共识级是每条先取多数人意见且至少两票才保留再与机器比。

维度个人级一致性共识级一致性
B1 指令65.23%65.91%
C1 互动73.05%81.58%

上表显示个人级为 65.23% 到 73.05%，共识级为 65.91% 到 81.58%，共识高于个人，C1 最高。这支持自动评委可用于相对排序，但残余分歧不小，尤其 B1 共识仅 65.91%，说明指令是否做对仍难自动判定，论文也主张机器分要连同人工验证一起报告。

论文自述的局限还包括只覆盖中英文、依赖私有音频语言模型可能随版本变化、情绪和说话人配置不均衡、场景不够长、不评背景音乐和音效的配合，以及跨组输入本就不一致，跨类排名要谨慎解读。

要复现第一步做什么

复现先从测试集和评测码入手。原文给出 12 小时中英文人工校对剧本、对应真实音频、评测代码和榜单结果，读者应先按剧本格式跑通一次推理和一次评测，确认能复现 A1、A2 和 B1 到 C3 的计算。

关键是严格沿用 4 类推理接口：对话式只给文字加说话人标记加参考音频，声音设计把人物和风格拼成单句指令逐句生成再拼接，声音控制再加参考音频，上下文多说话人给完整剧本整场生成。参考音频按原文从 Emilia 采样，不要换成剧中原声，否则一致性会被高估。评测时每对音频做 AB 换序两次且两次都赢才算赢，B1 到 C3 取三次平均，50 为打平。

容易误解的是把客观分当主排名。A1 只反映念错多少，A2 只反映场内稳不稳，论文明确两者都不能区分演技和连贯，排序要看 B 和 C。另一个误解是把跨组数字直接当模型胜负，原文强调输入本就不同，只能说配置能力互补，不能说换成同等输入仍是这个顺序。代码开源、权重可下载和系统可运行是三件事，本篇只承诺评测资源，参测的商业和开源模型需各自按许可获取。

什么时候值得尝试，还缺什么验证

如果你做有声书、多人播客或戏剧配音，需要同时保文字、保人声和保整场氛围，这个剧本加三层评测的思路值得借鉴。它能帮你定位是单句演法不行，还是拼接断裂，还是人物接不住话。全局上下文消融提示先把场景和人物写清楚，往往比只调单句提示更能改善沉浸感。

还缺的验证包括更多语言和文化、更长篇幅、更多说话人数，以及背景音乐和音效与语音的配合。自动评委在互动维度与人更一致，在指令维度分歧更大，落地前应在自己的题材上重做一次人听校准。总体上，这篇论文的价值不是给出一个通用冠军，而是在中等长度、中英文剧本条件下，用统一参照揭示了长程身份一致和隐式上下文理解仍是短板。

📎 论文与评分元数据

排名：前50% | 文档类型：数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-10-27 语音/音乐/音频论文速递