AuDirector: A Self-Reflective Closed-Loop Framework for Immersive Audio Storytelling
📄 AuDirector: A Self-Reflective Closed-Loop Framework for Immersive Audio Storytelling #音频生成 #多智能体系统 #语音情感识别 #人机交互 ✅ 6.0/10 | 前50% | #音频生成 | #多智能体系统 | #语音情感识别 #人机交互 | arxiv 学术质量 未说明/8 | 影响力 未说明/2 | 可复现性 0.4/1 | 置信度 中 👥 作者与机构 第一作者:Yiming Ren (上海人工智能实验室) 通讯作者:未说明 作者列表:Yiming Ren (上海人工智能实验室), Xuenan Xu (未说明), Ziyang Zhang (未说明), Wen Wu (未说明), Baoxiang Li (未说明), Chao Zhang (清华大学) 💡 毒舌点评 本文提出了一个整合多阶段、多智能体的音频故事生成框架,意图解决声音匹配、质量控制和交互性问题,流程设计清晰。然而,其核心创新严重不足,本质上是现有商业/闭源大模型(Gemini-3-Pro)、音频生成模型(IndexTTS2, TangoFlux)和检索模型的“拼装”。所谓的“自我反思闭环”机制,其关键参数(如阈值τ)黑箱操作,评估模型(如CLAP)本身也存在偏见,使得自纠正效果难以独立验证。论文在学术贡献的深度上乏善可陈,更像一篇系统应用报告而非算法创新论文。 📌 核心摘要 本文针对长篇连贯音频故事生成中存在的角色声音不匹配、缺乏质量自纠正、交互性差等问题,提出了AuDirector。这是一个基于多智能体(Director, Casting, Acoustic Production, Critic, Mix, Interaction Agent)的自反射闭环框架。其核心方法分为三阶段:1)身份感知的预制作,通过两步检索(语义过滤+导演决策)为角色匹配声音,并动态生成7维情绪指令;2)协作合成与修正,通过Critic Agent评估生成的语音和音效质量,并在低于阈值时触发迭代修正;3)人类引导的交互优化,允许用户通过自然语言反馈修改生产脚本并针对性地重新生成部分音频。实验在100个播客和广播剧场景上进行,与WavJourney和PodAgent基线相比,AuDirector在语音角色匹配度(VRM: 4.23 vs 3.59)、情感表达(MOS-Emo: 4.17 vs 3.60)和结构连贯性(MOS-Ali: 3.74 vs 3.60)上均取得领先。消融实验证明了闭环修正机制的有效性。论文明确承认的主要局限在于底层生成模型对非语音音轨建模的不足。 ...