一句话生成可玩视觉小说:AniTales 如何用情绪标签对齐故事、立绘与配音
AniTales 针对文本互动故事缺少稳定多模态呈现的问题,用大语言模型生成带说话人与情绪标签的结构化剧本,再以同一标签驱动立绘表情与语音韵律,在 10 名普通用户与 5 名专家的十幕故事试用中获得可用性 84 分与角色对话匹配 4.2 分,但语音适配在两组均为 3.6 分成为最弱环节。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
AniTales 针对文本互动故事缺少稳定多模态呈现的问题,用大语言模型生成带说话人与情绪标签的结构化剧本,再以同一标签驱动立绘表情与语音韵律,在 10 名普通用户与 5 名专家的十幕故事试用中获得可用性 84 分与角色对话匹配 4.2 分,但语音适配在两组均为 3.6 分成为最弱环节。
共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读
针对长序列视频叙事中辅助能力弱、视觉质量差和表达单调的问题,MAViS 用分阶段多智能体与 3E 迭代和剧本写作约束组织生成,最强证据是用户研究约 69.44% 平均投票份额与关键帧 CLIP 34.22,主要代价是双 H100 上平均 13.63 小时的生成耗时。
该文用同一组流式识别与流式说话人日志模型派生出级联、掩码输入、词级串行输出和日志条件四种架构,对比多说话人准确率、单说话人退化、内存占用与训练代价,并以排列不变动态时间规整解决短片段训练标签对齐问题,其中日志条件精度最好但需要微调与多实例代价。
论文用冻结视觉语言模型加 Whisper 转写路由构造免训练语音中心全模态理解,在 56 个基准和 21 种语言的配对比较中语音任务可比原生全模态训练而保留视觉推理能力,代价是增加串行语音识别延迟且无法处理音乐与环境声等非语音线索。
说话人验证 | 7.8/10
音频伪造检测 | 6.3/10
语音伪造检测 | 6.4/10
音频理解 | 8.0/10
语音情感识别 | 8.6/10
语音识别 | 7.1/10
音乐推荐 | 8.3/10
语音识别 | 9.0/10
多模态模型 | 7.0/10
音频伪造检测 | 6.3/10
音频事件检测 | 6.3/10
音乐源分离 | 5.7/10
音频检索 | 6.4/10
语音交互 | 6.7/10
语音交互 | 8.5/10