角色对不上、坏片段没人管：AuDirector 用选角加审片闭环做长音频故事

英文题目：AuDirector: A Self-Reflective Closed-Loop Framework for Immersive Audio Storytelling

会议身份：conference:interspeech:2026:conference-paper-id:ren26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#模型融合 #环境声 #音乐 #语音 #音频生成

评分：7.3/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Yiming Ren：机构信息未能从会议 PDF 纯文本可靠映射
• Ziyang Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Wen Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Baoxiang Li：机构信息未能从会议 PDF 纯文本可靠映射
• Chao Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Xuenan Xu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为用户提示词Puser，输出为融合对白语音、音效与背景音乐的长时沉浸式叙事音频，难点在于多角色音色一致性、情感韵律控制与长程声景协调。管线先由导演智能体解析对话脚本与角色画像并生成7维情感指令，再经选角智能体粗到细检索320样本音色库完成配音。接着声学生产智能体分层合成语音与非语音轨道，评论智能体打分审计并触发定向再生，最后混音智能体合成初版并由交互智能体按自然语言反馈局部改写制作脚本。与WavJourney和PodAgent的开环调度相比，该工作以脚本驱动选角加审计再生闭环替代粗元数据选音与一次性生成。在100个播客与广播剧场景上，全系统内容享受度（CE）6.46、制作质量（PQ）7.59、语音角色匹配（VRM）4.23、情感MOS 4.17，均领先基线并保持制作复杂度与实用性平衡。结论限于短篇扩展故事与受控音色库，未验证更长篇幅、多说话人重叠与高密度混叠定位下的稳定性。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/Riddae/AuDirector — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/XiaomiMiMo/MiMo-Audio — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，哪些信息不能丢？

这篇论文要解决的输入是一个用户提示，例如雨点敲打贝克街窗户、福尔摩斯冷静揭示真相这样的故事设定，目标输出是一段较长的沉浸式音频叙事，其中同时包含人物对白语音、环境音效和背景音乐，并且三者在时间和语义上要对齐。

初学者容易把这件事理解成依次调用语音合成、音效生成和音乐生成再简单拼接，但论文强调必须保留的信息恰恰是拼接会丢掉的东西：谁在说话，这个人应该是什么声音，这一句话在当前场景下应该带什么情绪，音效和音乐应该在哪个时间点出现、多大音量、持续多久。如果这些信息没有被写成可执行的脚本并在合成后被检查，常见结果就是声音和人设错配、语调平淡重复、坏片段混入成品。

论文的开场例子就是让学习者先建立这个核对标准：拿到提示后，能否复述出人物档案、逐句情感要求、音轨时间戳和修改路径，如果不能，就还没有进入讲故事的阶段。

从可复述的角度，整个任务可以记成三句话。第一句是把非结构化的故事提示变成结构化对话脚本加人物档案加情感标注，这是后续所有检索和合成的依据。第二句是按脚本分轨合成语音和非语音，并对每段做质量审计，不合格只重做不合格的那段。第三句是允许用户用自然语言说改哪里，系统只改制作脚本中受影响的部分并更新混音。理解这三句之后，再去看智能体分工就不会迷路，因为每个智能体都是为其中一句服务的。

已有路线走到哪里，还缺哪三块？

论文把相关进展分成两条线。第一条是单域音频生成，包括能做高保真声音克隆并跟随细粒度情感和韵律指令的语音合成，以及能按文本描述生成环境音效和音乐的模型。这一类工作的输入输出都很清楚，但通常只做短片段，覆盖语音、音乐或音效中的一个域，不负责把多种声音组织成有结构的长叙事。第二条是智能体式音频生成，论文点名了通用思路和音频故事方向的系统，例如用大语言模型做控制器、分解复杂任务并调用专家模型，以及生成可执行脚本再整合多个音频基础模型来构建听觉叙事。

论文认为第二条线已经显著推进，但仍缺三块。第一块是受限的自适应语音表示，缺少动态音色适配和细粒度情感控制，导致合成语音与故事上下文错配。第二块是缺少自纠正的质量控制，忽略了生成模型的内在波动，不检测和选择性重做低质量片段，影响整体输出。第三块是有限的人机协同，主要以开环方式运行，用户在生成过程中几乎不能精修具体音频元素。把这三块缺口记住，后面每一块都对应论文的一个模块，学习依赖关系就是缺口加模块一一对应，而不是笼统地说多智能体更好。

要解决的问题如何界定，什么算做好？

论文把问题界定为连贯、富有情感、长篇的音频故事生成，横跨语音、音效和背景音乐。做好不是某一段声音好听，而是 4 个层面同时成立。第一是人物与声音匹配，选出的音色要在性别、年龄、音色和演绎风格上符合人物设定。第二是情感表达，每句对白的韵律和情绪要随场景变化，而不是全片同一语气。第三是结构连贯，语音时间戳、音效语义和音乐铺底要在时间轴上对齐。第四是声学保真，坏片段要被发现并被更好的重生成替换，而不是留在成品里。

评价也要按这个界定展开。客观侧用语音角色匹配度检查选声与人物档案的对齐，用音频美学分数检查制作质量、声学层次丰富度、艺术吸引力和实用价值。主观侧用平均意见分检查匹配度、清晰度、对齐度、情感生动度和整体美感。交互侧单独检查脚本修改准确率，看自然语言编辑指令是否被正确执行。初学者复述时要能说出每个指标在回答哪个问题，不能把自动指标直接当成人听感，也不能把某一项最高直接说成全面最好。

三阶段流水线如何从一句话走到成品音频？

论文把生成流水线写成 3 个阶段。第一阶段是身份感知预制作，导演智能体和选角智能体协同完成情感脚本解析和人物选声。第二阶段是协同合成与修正，声学制作智能体和评论者智能体通过迭代审计循环产生并精修多轨音频，再由混音智能体整合成初始输出。第三阶段是人工引导的交互式修订，交互智能体解释自然语言反馈并触发定点重生成，再由混音智能体精修出最终音频。沿着一个样本走一遍就是用户提示进入导演智能体，变成对话脚本、人物档案和情感指令，再变成带时间戳的制作脚本，再变成多轨音频和混音成品，最后接受用户反馈做定点更新。

下面这张总览图是理解分工的唯一像素依据，先看主路径再看两条审计回路和底部编辑回路，不要只记住智能体名字。

看图路径： 1. 先从左上用户输入沿箭头走到导演智能体和选角智能体，再看脚本加选角信息如何进入中部合成；2. 再对比中部语音生成与音效音乐生成两条横向分支的评估回路有何不同；3. 再看右侧混音智能体如何把两路通过的轨道汇成成品音频；4. 最后看底部第三阶段如何从用户反馈回到各阶段脚本形成编辑回路

论文图 1。原论文 Figure 1：“Overview of the AuDirector framework: 1) Identity-aware pre-production for script-driven voice casting; 2) Collaborative synthesis and correction featuring Critic-led quality…”。

这张图从左到右展示了 3 个色块。左侧绿色是第一阶段，用户提示进入导演智能体，人物档案与候选声音之间有双向检索关系，语音库参与语义检索，最终落到脚本加选角信息加情感标注的文档。中部蓝色是第二阶段，上路做语音音频加时间戳，下路做音效和音乐音频，每路都有评论者智能体做表达力评估或语义对齐评估，不通过就沿红色失败箭头回到制作智能体，通过后沿绿色箭头进入右侧混音智能体生成最终音频。

底部粉色是第三阶段，用户反馈进入交互智能体，变成目标性更新指令，再作用于各阶段脚本。复述时要能指出语音环看表达质量、非语音环看语义对齐，这是两条回路分开画的原因。

预制作如何把故事变成可执行的选声和情感要求？

第一阶段从导演智能体用大语言模型把用户提示变成结构化对话脚本和人物档案开始。这个输出同时支撑两件事，一是后续按脚本选声，二是按场景动态建模情感。语音库是预先构造的，包含 320 段语音样本，覆盖不同年龄、性别和声学特征，例如方言和说话风格，每段配有一段文本描述，描述先由生成模型产生再经人工检查，保证声学质量和描述准确。

运行时选声走由粗到细两步。先由选角智能体用文本嵌入模块把人物档案和候选描述映射到同一嵌入空间，筛出前 K 个候选组成高召回候选集。再由导演智能体结合对话脚本从候选集中定出最优声音，要求所选声音身份与脚本的情感和人物要求对齐。情感侧由导演智能体为每句对白结合周围场景上下文推断情感意图，并翻译成显式的 7 维指令，覆盖愤怒、快乐、恐惧、厌恶、悲伤、惊讶和中性。

身份感知预制作 × 评论者主导的协同合成与修正： 身份感知预制作负责把用户提示变成带人物档案和逐句情感指令的对话脚本并选出合适音色，评论者主导的协同合成与修正负责把已合成的语音和非语音逐段打分、不合格就触发重生成，二者搭配的理由是前者只解决演谁和怎么演、不能保证 1 次合成成功，后者只解决演坏了怎么发现和重来，组合后形成先定角色再验质量的闭环。

导演智能体 × 选角智能体： 导演智能体负责写对话脚本、写人物档案、写每句情感指令并做最终选声决策，选角智能体负责用文本嵌入把人物档案和语音库描述映射到同一空间并筛出高召回候选集，二者搭配的原因是直接让大语言模型在 320 个声音里逐个读描述既不准也难扩展，组合后形成粗筛加精判的两步检索选声。

情感指令 × 语音检索： 情感指令负责把场景上下文翻译成每句对白在愤怒、快乐、恐惧、厌恶、悲伤、惊讶和中性基上的加权表达要求，语音检索负责按人物档案找到年龄性别音色和演绎风格匹配的音色，前者管这一句怎么演，后者管用谁的声音演，搭配后才能同时避免选声对但语气平，以及语气对但声音跳戏。

对初学者来说，关键操作是区分档案、候选集和最终音色的关系。档案是文字要求，候选集是嵌入检索给出的短名单，最终音色是导演结合对话内容定的选择。情感指令不是贴在整个人物上的标签，而是逐句的演绎要求，同一人物在不同场景下指令不同，这正是缓解语调单调的机制。

合成与修正的双循环如何只重做坏片段？

第二阶段先做分层合成。声学制作智能体先按对白文本、已选音色和情感指令生成主语音轨，再由导演智能体利用语音时间戳和对话脚本构建结构化制作脚本，其中包含对齐信息和环境声描述。在此基础上协调非语音轨道生成，并为混音合成所有轨道打下基础。

修正侧是嵌套的生成评估精修循环。语音环由评论者智能体先给出合成质量的文本描述，再据此给出定量分数，如果分数低于预设的语音阈值，导演智能体就精修情感指令并触发重生成，最多尝试预设次数，最终保留得分最高的样本。非语音环遵循同样的迭代框架，但分数是音频与其文本描述之间的语义对齐度，如果低于非语音阈值，就调整文本提示或随机种子重生成。两路通过后，混音智能体按制作脚本把语音和非语音整合成初始音频。

人工引导的交互式修订 × 目标性重生成： 人工引导的交互式修订负责把降低背景音乐音量这类自然语言反馈解析成对结构化制作脚本的定点修改，目标性重生成负责只重做被修改影响的语音或音效片段再交给混音智能体更新成品，二者搭配的原因是全片重做浪费计算且容易破坏已满意部分，组合后实现只改受影响轨道的低成本编辑。

这里的学习要点是阈值、最多尝试次数和保留最高分三者的配合。阈值决定是否停下，最多次数决定最多花多少成本，保留最高分决定即使一直不达标也不会退化到更差的版本。语音环改的是情感指令，非语音环改的是提示或种子，这个差异要记住，因为它对应两类不同的失败原因，一类是演得不对，一类是内容或随机性不对。

本研究训练了什么，没有训练什么，真实计算是什么？

这是 1 篇没有报告新模型权重训练的系统论文，学习时不要默认它训练了语音或音频生成器。论文实际做的是组织和调用已有模型，并构造检索库和脚本流程。具体分工是导演和交互智能体使用同一个大语言模型，选角使用嵌入模型做检索，语音、音效和背景音乐分别使用已有的语音、音效和音乐生成后端，评论者使用音频语言模型和对比语言音频预训练模型做质量评估，混音阶段使用常规音频处理工具做最终合成。

真实计算过程是推理加检索加评估循环。检索是把人物档案和语音描述嵌入后算相似并取前 K，合成是按条件调用生成后端，评估是生成文本描述并打分或计算语义对齐，不达标就改条件重跑。论文没有给出这些基础模型的梯度路径、参数冻结或更新细节，也没有报告训练超参数，因此不能从模型名字推定实现细节。缺项要明确指出，复现时应把重点放在脚本格式、阈值设置、重生成条件和混音对齐上，而不是寻找一个并不存在的联合训练流程。

用什么数据、和谁比、条件是否对齐？

评估数据共 100 个场景，分成播客 40 个主题和广播剧 60 个故事。播客选自公开对话语料的子集，覆盖通用、知识、常识和反事实 4 类，每类 10 个主题，用于检验多轮对话深度和推理。广播剧使用 60 个有较强因果时序结构的短故事，用于检验把五句前提扩展成多人物、富音频设计的长脚本的能力。这个划分要记住，因为两类任务考察的不是同一种能力，一个偏对话推理，一个偏叙事扩展。

比较对象是两个基线系统加一个去掉评论者的消融版本。为了公平比较编排能力，所有系统由同一个大语言模型驱动，并使用与完整方法相同的底层音频生成后端。这样平均意见分中清晰度的差异就不大，比较就落在智能体调度层面，而不是谁用了更强的声码器。客观评估用模型打分和预训练评估模型，语音角色匹配由大语言模型按 1 到 5 打分，音频美学分数覆盖制作质量、制作复杂度、内容愉悦度和内容实用性。

主观评估由 10 名评价者按 1 到 5 打分，覆盖匹配、质量、对齐、情感和美感。交互评估用 200 条自然语言编辑指令，覆盖语音精修、声学内容修改、信号增益控制和结构编辑 4 类，用人工核验的指令执行准确率衡量。

主结果在客观和主观上分别支持什么判断？

比较要回答的第一个问题是完整方法在自动指标上是否同时改善选声和制作质量，公平条件是同一大语言模型和同一音频后端，指标方向都是越高越好。下表整理了客观侧的关键数字，重点看内容愉悦度、内容实用性、制作质量和语音角色匹配，制作复杂度作为需要结合解读的维度 1 起列出。

表后解读要同时说收益和代价。论文报告完整方法在制作质量、内容愉悦度和语音角色匹配上领先，语音角色匹配的优势支持由粗到细检索的有效性。基线的问题各不相同，一个系统靠多样音频元素拿到较高的制作复杂度，但协调差导致其他分数最低，另一个固定格式拿到较高的内容实用性但牺牲了复杂度。完整方法在制作复杂度和内容实用性上排第二，论文将其解读为在声学丰富度和实用价值之间取得平衡，而不是每一项都最高。未胜出项要明确说出来，不能只报领先的三项。

第二个问题是人听感是否一致，条件是 10 人打分、同一后端。下表把主观分数与客观分数放在同一行，便于核对自动指标和人评是否指向同一结论。

表后解读要分开归因。匹配最好支持选声和人物对齐有效，情感明显提升归因于导演智能体的动态情感指令，对齐和美感较高说明语音、音乐和音效之间的语义对齐和连贯较好。质量差异不大恰恰是公平性的证据，因为后端统一，差距应来自调度而非声码器。论文没有把自动指标当成人评，两侧是互补关系，复述时也要保持这种区分。

交互编辑的准确率在哪里高，在哪里掉？

交互评估要回答自然语言反馈能否被正确落到脚本修改上，指标是指令执行准确率，越高越好，200 条指令均匀覆盖 4 类编辑。下表按类别列出准确率，最后一行是总体平均，便于看出哪类最难。

表后解读要解释高低的原因并指出失败条件。论文报告总体平均为 90.00，信号增益控制和语音精修较高，原因是位置线索简单明确，例如第几段对白、第几段背景音乐，目标容易定位。声学内容修改和结构编辑略低，需要更复杂细粒度的时序定位，尤其在密集重叠的音效中，例如脚步声混着雨声，智能体难以精确区分目标，导致脚本编辑困难。这个反例是复现和改进的抓手，说明当前方法在重叠声场景的定位能力仍是边界，未评测的边界还包括更长的多轮连续编辑是否会累积误差。

去掉评论者后哪里变差，哪里没有变？

消融要回答评论者主导的自修正是否必要，比较的是完整版和去掉评论者的版本，其他条件相同。从客观表看，去掉评论者后内容愉悦度、内容实用性、制作质量和制作复杂度都有下降，语音角色匹配保持同值。从主观表看，情感、对齐和美感下降，而匹配和质量变化不大。论文据此认为评论者缓解了声学制作智能体的内在质量波动，提高了最终音频质量。

反证的细节同样重要。没有改善的两项恰好是匹配和质量，匹配主要由预制作的选声决定，不经过评论者循环，质量受统一后端限制较大。这说明评论者的作用边界是修坏片段和稳质量，而不是重新选角或换后端。初学者不要把消融理解成拿掉后必然全线崩溃，而要按证据说哪几项动了、哪几项没动。论文也没有测量去掉评论者后的延迟或成本变化，因此不能顺带承诺效率改善，只能说质量侧的收益有证据。

哪些结论有边界，哪些验证还没有做？

论文在结论中明确承认当前生成模型在非语音轨道上仍有限制，尤其在声学多样性和细微差别上，例如平静呼吸与紧张呼吸的区分不足，可能导致听觉不一致并破坏沉浸感。未来工作指向对环境声的细粒度建模，以增强叙事一致性。这是一个直接报告的局限，复述时要用论文的措辞范围，不要扩大成整个系统不可用。

未验证的推测要单独存放。交互部分的高准确率支持脚本修改可行，但论文没有报告误判率、延迟、计算成本和多轮编辑稳定性，因此不能承诺这些量得到改善。客观指标依赖模型打分，主观只有 10 名评价者，统计显著性和泛化到其他故事类型、语言和更长时长的能力都没有充分证据。相关性也不是因果，例如情感分数高与动态情感指令同时出现，论文给出的是支持性解释，不是严格因果证明。学习时把报告显示、支持和可能待验证 3 种语气分开，才能避免把有限解释当成定论。

要复现应先准备什么，如何一步步重跑？

复现前先确认资源状态。本次收到的资源证据显示代码链接当前可用，状态码为 200，地址指向公开仓库，第三方音频语言模型链接同样当前可用。按论文说法，详细系统提示词放在开源仓库中，示例音频也在同一仓库路径下。初学者应先核对仓库是否确实包含提示词、语音库构造说明和混音脚本，再动手，不要默认权重下载和系统可运行是同一件事。

重跑的操作顺序建议按学习依赖来。第一步准备语音库和描述，按论文的 320 段规模和多样性要求组织，并保留人工检查环节。第二步固定大语言模型、嵌入模型和语音、音效、音乐后端，保证与基线比较时后端一致。第三步实现预制作输出格式，包括对话脚本、人物档案和 7 维情感指令，并实现由粗到细的两步检索。第四步实现双循环审计，包括语音阈值、非语音阈值和最多尝试次数，以及保留最高分的逻辑。

第五步实现交互修订，只重做受影响片段再混音。关键超参数和信息条件是阈值、最多次数、前 K 和时间戳对齐方式，论文未给具体数值时要如实记录缺项，用自己的消融补验证，而不是编造划分或参数。

何时值得尝试这个框架，回去后先做什么？

当任务同时满足 3 个条件时值得尝试这个框架。第一是需要长叙事而不是单句合成，第二是人物多且对声音身份和情感变化敏感，第三是能接受多轮生成加审计的成本，并希望留一个自然语言改音频的入口。如果只是做单句高保真语音，直接调用语音后端即可，不必引入整套智能体调度。

回去后先做三件事。先用一个双人物短故事走完提示到脚本到选声到情感指令的全链，检查人物档案和逐句指令是否可读可用。再打开评论者循环，对比保留最高分与只取首次生成的差异，确认审计是否真的过滤了坏片段。最后用降低音乐音量、更换雨声、插入尖叫 3 类指令测试交互修订，观察重叠声场景是否出现定位错误。还需补的验证是更大规模听评、重叠声定位、非语音细粒度多样性，以及延迟和成本测量。只有这些补齐后，才能判断该框架在自己数据上的真实收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总