把台词说得像那个人：ActorMind 用看听想说四步做语音角色扮演

英文题目：ActorMind: Emulating Human Actor Reasoning for Speech Role-Playing

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.1718

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #检索增强 #语音 #语音对话系统

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Xi Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Wei Xue：机构信息未能从会议 PDF 纯文本可靠映射
• Yike Guo：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音角色扮演要求模型以角色档案、场景描述与历史口语对话为输入，用目标角色音色准确说出指定台词并复现原片情感韵律，难点在于语音情感理解、角色一致性与富有表现力合成的联合建模。该框架先由眼智能体读取角色档案、场景描述与上下文文本，再由耳智能体对历史语音做语音识别与情感描述以同时感知语言与情感线索。随后脑智能体以大语言模型综合上述所见所闻推理目标台词的情感状态，其输出的情感描述直接作为下一步检索查询。最后口智能体以该情感状态检索情感最相近的历史语音，并以其作为音色与韵律提示驱动语音合成器生成目标语音。与零样本克隆式语音合成基线及语音大模型直接生成相比，关键差异在于将情感推理显式为文本中间状态并以此检索提示，使韵律选择可解释且可复用现成合成器。在Friends第一季11至14集保留测试的评测下，ActorMind的RP-MOS平均分为3.56±0.27，高于IndexTTS基线的RP-MOS平均分3.05±0.56。该结论适用边界受限于英语情景喜剧6个角色与有限情感分布，Chandler等风格多变角色表现下降，跨语言跨领域与长程多轮外推尚未验证，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/Edresson/YourTTS — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/index-tts/index-tts — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：要解决的语音角色扮演问题从哪里来？

这篇论文的输入是电视剧对白场景和一条待说的目标台词，目标是让模型说出这条台词的语音听起来像指定角色在当前剧情里会说出的样子。读者需要先保留 3 个关键信息。第一，任务定义强调根据角色、场景和历史口语对话产生自发回复，并带有个性化言语特征，原文举例为类似忧郁调情中带一点俏皮脆弱感的描述。第二，基准规模在摘要层给出为话语级 7653 句、场景级 313 个场景、角色级 6 个角色，全部取自老友记第一季。

第三，方法是现成的多智能体思维链式推理框架，不需要额外训练，直接调用已有模型完成推理和合成。 论文把语音角色扮演和已有文本角色扮演区分开。文本角色扮演已有较多基准和方法，但只处理文字，忽略了日常生活中传达情绪和态度最重要的语音。语音有两个现实约束。一是大语言音频模型能理解指令但音色库很小，论文指出通常只有几个到 10 个左右，演不了哈利波特这类具体人物。

二是文本转语音模型能零样本克隆音色和语气，但不会根据剧情自发选择语气。于是任务不是简单把文字丢给合成器，而是要在保持人物音色和说对词的前提下，让语气随剧情变化。

语音角色扮演 × 文本角色扮演： 文本角色扮演负责根据角色设定生成用词和句式上像该角色的回复，语音角色扮演在此基础上还要让声音听起来像该角色在具体场景中的自发言语。两者搭配的原因是只有文字像而声音平淡或串音，就不能算演完一场戏，组合的意义是把评价从文字相似扩展到声音身份保持和情绪表达是否贴合场景。

举一个教学用的例子帮助理解，但例子中的数值不是论文报告的效果。假设同一句道歉台词，文本相同，如果是心虚的角色在医院场景里小声说，和得意的角色在聚会场景里大声说，文字一样但语速语调完全不同。论文要解决的就是让机器能根据上面这种上下文差异选对语气，同时不把声音换成别人，也不念错词。这个例子只说明任务，不代表任何模型的得分。

已有路线在比什么：三条相关工作与本文的对照点是什么？

第一条路线是大语言模型做文本角色扮演。通过监督微调和上下文学习，用高质量角色对话提示或训练模型，已有哈利波特宇宙数据和人工构造的大范围角色数据等做法。监督来源是文字对话，运行阶段是文字生成，输入是角色设定加上下文，目标是文字风格像。该路线不处理声音，因此不能直接评价语气是否贴合剧情。 第二条路线是语音生成模型。

论文把它们分成两类对比。大语言音频模型以问答和奥姆尼等多模态模型为代表，输入输出跨文本和音频，擅长理解。文本转语音模型以斯帕克、索引、科西语音等为代表，输入文本加参考音频，擅长模仿。论文明确指出前者音色受限，后者缺角色化自发响应能力。这个对照的公平点在于同为语音输出，但监督和运行阶段不同，不能把理解强等同于演得像。

大语言音频模型 × 文本转语音模型： 大语言音频模型分工是理解指令和多轮上下文并直接产生语音，优点是推理强，缺点是可用音色很少；文本转语音模型分工是给定文本和参考音频后克隆音色和语气，优点是零样本模仿声音，缺点是不理解剧情。搭配理由是前者缺身份粒度、后者缺剧情理解，ActorMind 让前者做情绪推理、后者做声音落地，组合后得到既懂剧情又保音色的流程。

第三条路线是思维链推理和大语言模型智能体。思维链通过生成显式中间推理步骤处理多步问题，已用于数学和多语言推理。智能体则把大语言模型当推理核心，调用外部工具完成复杂任务，耳模块用自动语音识别和语音情绪描述，脑模块用大语言模型，口模块用检索增强生成。论文把这两条思想搬到语音角色扮演，提出眼耳脑口的顺序推理。相关工作的对照意义是说明本文没有发明新的合成器，而是发明组织已有合成器的方式。

任务如何形式化：一次试验要给定什么、输出什么、按什么判对？

1 次试验的输入包括三部分。角色档案是几百词的文字画像，场景描述是当前事件的文字概括，历史对话是带说话人和语音的若干轮文本加音频。输出是目标台词的语音，要求声音是目标角色、内容是目标文字、情绪贴合剧情。论文把评价拆成两个方面。精确投递指声音像该角色且词说对，这是前提条件。

情绪表达指与原剧同场景原声音的情绪接近程度，用语调语速强度等韵律线索体现。 评价指标是角色扮演平均意见分，范围 1 到 5 分，1 分最低，5 分最高。打分规则很严格。如果声音听起来像换了人，或者文本内容与参考不一致，直接打 1 分。只有在声音和内容通过后，才比较情绪一致性、强度对齐、自然真实度和总体印象。

评估由 10 名英语受试者完成，对 6 个角色各评两组，共 12 轮，每段语音至少听两遍后打整数分。这个设计把身份错误和内容错误先过滤掉，避免把说错词但好听的语音打高分。 需要区分的是，该指标以原剧语音的情绪表达作为真实代理，不是说原剧演法是唯一正确答案。论文引用 1000 个哈姆雷特的说法承认主观差异，但为了可复现，选择与原剧对齐作为可测量的维度。

复述时不要把该分数理解为通用语音质量分，它只在给定角色、给定场景、给定台词的条件下有意义。

全景如何走完：眼耳脑口四个动作按什么顺序协作？

论文用剧场演员的准备过程做类比。演员先读剧本了解人物和剧情走向，演出时听对手的语气，结合人物和场景想好自己下一句的情绪，再开口说出台词。对应到系统就是 4 个模块顺序执行。眼模块读角色档案、场景描述和对话文本。耳模块听历史语音的语气。

脑模块综合所看所听推理下一句的情绪状态文字。口模块按该情绪文字检索历史库中最像的一段同角色语音，再以它为参考合成目标台词。

思维链推理 × 多智能体： 思维链推理分工是把 1 次回答拆成看设定、听语气、想情绪、再开口等显式中间步骤，多智能体分工是把这些步骤交给眼耳脑口 4 个可替换的模块执行。搭配原因是单模型一步生成难以同时兼顾角色知识和听觉线索，拆开后每步输入输出可检查，组合意义是形成可复述的剧场式流水线而不是黑盒 1 次合成。

沿一个样本走完全程有助于建立依赖关系。假设当前要演菲比，场景是医院里莫妮卡和菲比看望昏迷病人。眼模块先把菲比古怪乐观的画像和医院场景描述装入记忆。耳模块把莫妮卡前几句的语音转成关切中带无奈等文字。脑模块看到下一句台词是夸奖对方体贴的话，结合菲比性格和莫妮卡的无奈，输出类似 wistful flirtation 的情绪描述。

口模块拿这段情绪描述去菲比的历史库里找一段情绪最接近的语音，用它的音色和语气合成目标句。这样输入到输出的链条是文本设定加语音历史到情绪文字再到参考音频最后到目标语音，每一步的输出都是下一步的输入。 下面这张总览图把左侧对话流和右侧四模块的箭头对应起来，适合先建立整体顺序再看细节。

看图路径： 1. 先看左侧医院场景对话流，确认说话人与轮次顺序；2. 再看右侧眼耳脑口四个方框之间黄色箭头的流向；3. 对照脑模块中角色场景对话与待说台词三类输入的位置

论文图 2。原论文 Figure 2：“Overview of ActorMind. ActorMind operates in a multi-agent chain-of-thought reasoning style.”。

这张图左侧是场景描述加莫妮卡和菲比的多轮对话，右侧从上到下是眼耳脑口 4 个方框，眼框放角色画像和场景对话，耳框放每句的说话人和情绪标注，脑框放综合推理的提示，口框放检索与生成的分工。黄色大箭头标出眼和耳汇入脑再指向口的顺序。看图时不要把左侧红色喇叭图标当成模型结构，它只标示当前轮到哪个角色说话。真正的方法结构在右侧虚线框内，左侧只是输入实例。

每个模块算什么：眼耳脑口各自的输入输出与实现是什么？

眼模块的输入是准备性描述文本，输出是保留在记忆中的几百词文字。它不处理音频，只负责提供角色、场景和上下文文本。实现上就是文本记忆，没有训练动作。它的作用是保证后续推理始终能看到人物设定，避免合成器只见一句话就开口。 耳模块的输入是历史语音信号，输出是每句的说话人、文本内容和情绪描述文字。

实现上用语音情绪描述模型提供直观的情绪字幕，论文点名使用塞卡普模型赋予听和识别情绪的能力。它的作用是把听到的语气变成可检索可推理的文字。如果去掉语音只留文本，就丢失了语调强度等信息，后续只能靠字面意思猜情绪。 脑模块是中央推理部件，输入是角色、场景描述、带情绪的历史对话和目标台词文本，输出是一段 3 到 20 词的情绪状态描述。实现上用骆马 3 大语言模型按提示生成，只做推理调用，不更新参数。

提示模板把眼看到的内容和耳听到的内容分别填入，再要求只输出感觉描述，不加多余文字。口模块的输入是该情绪描述、目标台词文本和该角色的历史语音库，输出是目标语音。实现上先用文本嵌入模型计算情绪描述相似度，检索最相似的一条历史语音，再用索引语音合成模型以目标文本为内容、以检索语音为语气参考进行合成。

语音情绪描述 × 检索增强生成： 语音情绪描述分工是把历史语音的语气转写成可比较的文字，如关切或梦幻，检索增强生成分工是拿目标情绪文字去库里找回一段情绪最接近的同角色历史语音做参考。搭配原因是语音合成模型擅长模仿参考音频而不擅长直接理解抽象情绪词，组合意义是用文字做检索桥梁，让合成有具体可模仿的声音锚点。

下面这张脑模块提示图展示了三色内容的分工，适合核对 1 次推理需要哪些信息条件。

看图路径： 1. 先读首段扮演声明与花括号内角色画像文字；2. 再找蓝色情绪标注在对话历史中的插入位置；3. 最后看末段要求用词数描述语气的指令与紫色输出句

论文图 8。原论文 Figure 8：“Prompt for the Brain Agent used for role injection, contextual understanding, and emotion rendering.”。

图中黄色代表眼看到的角色画像、场景和对话文本，蓝色代表耳听到的每句情绪标注，紫色代表脑推断出的目标情绪句。黑色是固定指令，包括扮演声明和只输出感觉的要求。可以执行的观察是先数黄色花括号有几类输入，再看蓝色情绪句是否紧跟在对应说话人后面，最后确认紫色句是否只描述语气而不复述台词。这种颜色分工说明脑模块不是凭空想情绪，而是对已见已听的综合。

有没有训练：基准如何建成而方法为何不训练？

本研究的方法部分没有神经网络训练阶段，需要明确说明没有训练哪些模型，再讲实际的构造和调用过程。眼耳脑口 4 个模块都是现成调用。耳的情绪描述、脑的大语言模型、口的嵌入模型和合成模型都不更新参数。检索库是按角色把已知语音和其情绪描述存起来，推理时只做相似度计算和合成，没有梯度路径。不能把冻结参数理解为输出确定，因为大语言模型生成和语音合成采样仍有随机性，也不能把无需训练等同于确定性求解。

真正的计算工作在基准构造流水线。起点是原始音频和带场景标注的原始剧本。前端语音处理做去噪、说话人切分和识别，得到带说话人和文本的话语级片段。语义层文本处理做场景切分和描述生成，得到场景边界和描述。角色层通过网络搜索人物介绍生成不超过 200 词的画像。

3 层合起来形成话语级含语音文本和说话人标签、场景级含场景描述和所属话语、角色级含文本画像的结构。 下面这张构造总览图适合理解 3 层数据从哪里来，避免把方法流程和数据流程混淆。

看图路径： 1. 从底部原始音频向上看前端语音处理条带，确认去噪切分识别的入口位置；2. 对比中间语义层场景切分条带与上下两层内容的箭头走向；3. 核对顶层角色层两个人物卡片与右侧网络搜索图标的连接关系

论文图 1。原论文 Figure 1：“Overview of ActorMindBench. ActorMindBench comprises three content levels: Utterance-Level includes speech segments with text content and speaker labels; Scene-Level includes…”。

图底部是原始音频波形，经过蓝色条带的前端处理向上得到话语级内容，中间蓝色条带的场景切分向上得到场景级内容，顶部红色标题的角色级内容来自右侧网络搜索，右侧还有原始剧本输入。观察时先沿底部向上追主路径，再看右侧两个外部输入分别进入哪一层，就能分清哪些是音频算出来的，哪些是文本概括出来的，哪些是外部知识引入的。 论文的伦理处理也与构造有关。

基准取自受版权保护的老友记第一季，作者声明不分发任何版权音频，只公开标注文件，研究者需自行通过合法渠道获取原剧集。这种做法把可复现性和版权合规分开，复现时必须先解决音频来源问题，不能假设下载代码就得到全部音频。

实验条件是什么：数据划分基线配置与打分如何保证可比？

数据划分按集数切分。1 到 10 集和 15 到 24 集用于训练和部署库，11 到 14 集留作测试。论文说明这样安排是为了让建库数据覆盖从早期相对平淡到后期较强烈的情绪范围，支撑稳健的角色建模。测试时每个角色从测试集随机抽语句，保证 6 个角色都被覆盖。需要保留的信息是划分对象是集数，不是按语句随机打散，这意味着测试场景在剧情上与建库场景不同，更考验泛化。

基线分两类共 6 个。第一类是大语言音频模型，以问答奥姆尼 7B 官方检查点为代表，提示模板见附录图 7，输入同样包含角色和上下文。第二类是 5 个文本转语音模型，分别评估科西语音 0.5B、斯帕克 0.5B、索引约 0.5B、你的语音约 90M、F5 约 300M 的官方检查点。口模块默认用索引语音合成，嵌入用开放平台的大型文本嵌入模型。比较的公平条件是同一场景同一目标台词，只换合成策略，打分都用同一套角色扮演平均意见分流程。

下面整理基线规模与数据划分的对应关系，重点是区分可运行策略和资源描述，避免把参数量当性能。

打分细节需要复现时照做。

10 名英语受试者评 12 轮，每轮听生成语音并与参考语音比对，按 5 分量表打整数分。指南要求先听两遍，若声音像换人或内容不对直接打 1 分，否则按情绪一致性、强度、自然度和总体印象打 2 到 5 分。评估者按当地平均时薪获得报酬。限制是样本量小且只有主观分，没有报告词错率、延迟或成本，论文也未给出统计显著性检验方法。

主结果测出什么：在相同台词下谁更像原剧情绪？

要回答的问题是给定同一场景和同一句菲比台词，不同方法合成的语音在角色扮演平均意见分上是否更接近原剧。指标方向是分数越高表示与参考语音的情绪越相似，1 分表示完全不像或串音串词。公平条件是同一目标文本和同一上下文，基线与本方法都只产生一条语音参与盲比。 下面先看 6 个角色加平均分的完整对照，数值保留原文写法与精度，平均列用于看总体趋势，角色列用于看未胜出项。

论文报告显示本方法平均 3.56 分高于全部基线，其中索引基线平均 3.05 分是基线中最高，问答奥姆尼平均 1.00 分是最低。

支持的判断是考虑角色档案场景和对话的推理流程有助于提升自发性和情绪贴合度。但必须同时看到代价和反例。钱德勒一角本方法为 3.20 分，虽然高于多数基线对该角色的分数，却低于索引对钱德勒的 3.30 分和 F5 对钱德勒的 3.60 分，论文解释为该角色说话风格生动多变，需要更强的推理。问答奥姆尼得 1 分的原因被归为音色对不上、输出偏中性平淡、长提示下内容表达不准，这说明把多模态理解强直接当成角色扮演强是误解。

频谱定性分析也支持类似结论，论文称基线即使音色对，能量时频分布仍与真值差异大，而本方法绿色框区域相似度更高，但该分析是单句可视化，不能推广为全程成立。

拿掉哪块会怎样：眼耳脑口各自的必要性有无反证？

消融要回答的是眼提供的文本输入、耳提供的语音情绪、脑推理出的目标情绪分别是否必要。论文采用顺序流水线式消融，设置包括去角色画像、去场景、去上下文连带去耳、去耳只留文本、去脑等同于去全部。由于去掉脑会导致口的检索失去查询依据，眼耳信息也无法生效，各模块效果相互牵连，不能理解为独立可加。

论文报告的相对变化方向是去掉任一成分都会让角色扮演平均意见分下降，其中去脑下降最多，约为 0.51 分，标准差约 0.56 分，去角色画像下降约 0.37 分，去场景下降约 0.30 分，去上下文下降约 0.22 分，去耳下降约 0.32 分。这些数字是相对于完整本方法的偏移，不是绝对分数，阅读时不要把它们当成独立模型的得分列。支持的判断是角色画像、场景、上下文语音情绪和目标情绪推理都有贡献，且脑的缺失破坏最大。 限制同样明确。

首先，消融的公平条件是同一测试语句和同一打分流程，但去掉文本上下文就同时去掉了耳的语音处理，因此去上下文的效果混入了去耳的影响，不能归因到单一模块。其次，论文未报告去掉口而保留脑检索的对照，也未报告只换合成器不换推理的细粒度拆分，因此不能说提升完全来自推理还是合成。复现消融时应先固定随机种子和检索库，再逐个屏蔽输入，而不是重新训练任何模型，因为本来就没有训练。

边界在哪里：数据覆盖与方法代价有哪些未验证项？

数据边界是只用老友记第一季的都市喜剧 6 人角色，领域和人数都有限。论文承认这一点，但认为当前方法在该基准上已表现不佳，足以支撑探索新方法。复述时要区分充分性与通用性。在该分布内能比出高低，不代表换到正剧、方言或更多角色时结论不变，未评测的边界不应承诺效果。 方法边界是现成调用不做训练，检索库来自已知语音，推理依赖大语言模型和嵌入模型。

可能的改进如用强化学习优化检索或情绪推理，但论文未实施。未测量的量包括误判率、合成延迟、推理开销和总体成本，总体趋势好不等于每步都快。频谱相似高也不等于每句韵律都准，单样本可视化不能替代统计检验。 评估边界是主观分样本小，打分者只有 10 人，每角色两组。情绪以原剧表达为代理，本身带有主观性。

1 分规则把串音和串词一票否决是合理的，但也意味着问答奥姆尼的 1 分更多反映身份和内容失败，而不是细粒度情绪差距。引用该结果时应说在该打分规则下表现最差，而不是说该模型完全没有语音能力。

复现先做什么：按什么顺序准备数据模型与打分？

第一步先解决数据与版权。按论文划分准备老友记第一季音频，1 到 10 集和 15 到 24 集建库，11 到 14 集测试。只复用公开的标注文件结构，自己实现去噪、切分、识别和场景切分。话语级要保留说话人、文本和语音段对应关系，场景级要保留场景边界和描述，角色级画像控制在 200 词左右。核对总量是否为 7653 句和 313 场景，避免集数切错。

第二步按眼耳脑口顺序接好现成模型。眼只需文本记忆。耳接语音情绪描述得到每句情绪句。脑用骆马 3 按附录提示生成 3 到 20 词的情绪描述，要求只输出感觉。口先为每个角色建库，库条目是历史语音加情绪描述索引，嵌入模型算相似度，合成用索引语音合成，以检索语音为参考、以目标台词为内容生成。

第三方资源状态是正文开源声明的唯一依据，当前可用性以本次收到的资源状态为准，其中你的语音仓库与索引语音仓库本次返回可用，但这只表示链接可达，不代表论文基准音频可下载。 第三步照搬打分流程再谈改进。随机抽测试语句，同一场景同一台词生成各基线与本方法语音，10 名英语受试者每段至少听两遍后按 1 到 5 分规则打分，串音串词直接 1 分。先复现平均分趋势和钱德勒未胜出的反例，再做去角色、去场景、去耳、去脑的流水线消融。

还需补的验证是报告词错率、推理延迟和多次采样的方差，以及换合成器后的通用性对照，这样才能把情绪提升与合成器本身的提升分开。

何时值得尝试：用一句话收束适用条件与下一步验证是什么？

当任务要求同一句话在不同剧情里说出不同语气，同时必须保住人物音色和说对词，且手头有该角色的历史语音可建库时，值得尝试这种先推理情绪文字再检索参考语音的流程。它的代价是流水线长、依赖多个现成模型、评估依赖小规模主观打分。下一步最需要补的是更大角色覆盖、客观韵律指标与成本延迟测量，只有这些补齐后，才能判断该流程是特定情景喜剧下的有效组织方式，还是可迁移的通用语音角色扮演方案。

回看全文的学习依赖，任务定义解释了为什么不能只比音质，相关路线解释了为什么单模型不够，全景与模块解释了情绪文字如何成为连接理解与合成的桥梁，构造与实验解释了分数在什么条件下可比，主结果与消融给出了收益与反例，复现部分给出了可操作的顺序。按这个顺序复述，就能在不夸大单点数字的前提下讲清方法真正解决的那部分问题。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总