把互动叙事设计变成可重复跑分的公开基准

📄 把互动叙事设计变成可重复跑分的公开基准

英文题目：The GenAI4IDN Benchmark 3.0 - a Public Tool to Assess Generative AI Tools for the Design of Interactive Digital Narratives

标签：#音乐生成 | #基准设计 | #基准测试 | #公平性

评分：5.9/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.3/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.5/1.5

👥 作者与机构

• Hartmut Koenitz：Södertörn University, Alfred Nobels allé 7, 141 89 Huddinge, Sweden
• Jonathan Barbara：Saint Martin’s Institute of Higher Education, Hamrun, Malta
• Mirjam Palosaari Eladhari：Stockholm University, SE-106 91 Stockholm, Sweden

📌 核心摘要

交互式数字叙事指受众能对进展、视角、内容和结局施加实质影响的叙事体验，其设计质量没有唯一正确答案，涉及文本、图像、音频、视频与代码等多种形态，传统单答案基准难以覆盖。论文把GenAI4IDN Benchmark 3.0做成公开网络应用，先由应用程序接口调用向选定生成模型发送20组设计任务提示并生成制品，音乐等无接口内容则经导入页补入。完整游戏制品先进入自动试玩器运行，试玩器在沙箱中实际游玩并输出截图与过程记录，再作为证据交给文本委员会评分者判断可玩性。评测侧保留4个文本委员会评分者并做盲评去标识，新增事实核查评分者联网核查并取三次运行中位数以应对泛化与时间错配，另设偏见检测评分者从公平性、表征与敏感性打分。与已有封闭式基准的关键差异在于采用专家式定性打分而非对照参考答案计分，意味着可评开放创意与交互结构而非唯一正确性。排行榜上，在灵感、训练和制作三维均值之和指标下，量程为0-15且至少完成8个任务的参评条件下，Claude Opus 5得12.04分，高于其他参评模型居首。推理增强带来思维失控占满输出而无结果、过严安全过滤拒答无害创意提示等失败模式仍会出现，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://genai4idn.com — 链接可访问（HTTP 200）

• 第三方资源：https://genai4idn.com/tasks — 链接可访问（HTTP 200）

• 第三方资源：https://genai4idn.com/models — 链接可访问（HTTP 200）

• 第三方资源：https://genai4idn.com/raters — 链接可访问（HTTP 200）

• 第三方资源：https://genai4idn.com/rubrics — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

这篇论文要解决什么现实麻烦

这篇论文面对的是互动数字叙事设计缺少公共量尺的问题。互动数字叙事在这里指观众作为交互者能实质影响作品进展、视角、内容与结局的体验，设计工作横跨对白树、角色小传、静态图像、视频、音乐、谜题、地图、规则系统乃至完整可玩作品。生成式人工智能工具更新很快，几个月就换一拨模型，手工把提示词粘进聊天窗口再请专业设计师逐件打分，既慢又容易过时，也难以覆盖音乐、视频和完整游戏这类需要实际听、看、玩的产物。

论文的目标就是把前两版手工流程变成一个公开网页应用，让社区能按需运行基准测试，增加新模型与新任务，并把原来必须用人评的部分尽量用自动评分接起来，同时回应社区对事实准确与偏见的担忧。

互动数字叙事 × 基准测试： 互动数字叙事指观众能对进展视角内容结局产生实质影响的作品，基准测试指用固定任务和评分比较不同生成工具的能力，二者搭配是把没有标准答案的创作质量变成多个任务上可重复比较的证据。

已有路线为什么不够用

论文先梳理了两条已有路线。第一条是叙事生成的长期研究，从早期用计算系统讲故事，到与人协作的合作式创作，再到大语言模型与大图像模型普及后对质量、生产流程与归属的讨论，其中一个难点是待评产量太大，专业评估者的时间不够，于是出现用大语言模型当评委的做法。

第二条是主流人工智能基准测试，多是单正确答案加定量分数，例如超难选择题或能编译通过测试的代码题，这类测试在正确性明确时很好用，但论文指出互动叙事没有标准答案，对白是否可信、世界是否自洽、玩法支架是否成立，都是多元语境化的专家判断，而且天然多模态加交互，单分数闭卷范式装不下。已有对基准测试的批评还提醒基准本身包含技术与价值选择，需要考察公平与伦理，而不仅是能力。

论文的定位就是补这个缺口，用定性专家判断横跨多模态，同时把偏见检测与事实核查作为独立维度，而不是给一个有偏无偏的总体道德分。

迭代提示 × 语境化提示： 迭代提示指在上一轮产出基础上继续修改完善，语境化提示指先给世界观角色约束再要求生成，二者分工是分别考验模型改稿能力和吃设定能力，组合后能看出模型是一次成型还是能长期跟随设计意图。

输入是什么输出是什么

从使用者角度看，这个基准的输入是一组为设计任务写好的提示词，输出是被测模型生成的制品加上评分。任务覆盖对白树、角色描述、图像、视频、从零搭建叙事、承接已有支架继续写、事件、冲突、规则、分支、世界观、音乐、谜题、地图、完整互动叙事，以及迭代提示、语境化提示，还有新增的历史准确叙事框架、北半球历史叙事基础、南半球历史叙事基础。

每个大任务下还有多个子任务，例如要求写火烈鸟与乌龟帮助孤独小孩的支架，或要求写特定十年、特定国家、特定身份群体的重大事件。评分输出包括灵感、训练、制作等维度的分数，以及事实核查与偏见维度的分数。必须保留的信息是任务原文的约束、生成物的完整形态、运行证据与评分理由，缺了任何一块，后人就无法判断分数是在什么条件下成立。

平台整体跑一遍是什么流程

平台的核心是 3 张可增改的清单加一张密钥表，分别是生成模型清单、任务清单、评分者清单，以及存放访问密钥的秘密清单，另有结果页展示生成物与评分。1 次运行在运行界面选定模型、任务、评分者与评估器后开始，生成阶段通过应用程序接口把提示词发给模型提供商的网络地址，返回生成回复，不再手工粘贴聊天窗口。评估阶段调用评分者提示词对生成物打分，音乐、视频与完整游戏走专门通道。

论文强调这是从手工搬运到全自助的关键一步，之前会出现文件名被抹掉、网盘文件消失、项目上下文超限、每张图手工拖拽等问题，改成接口调用后才能做到可重复与可扩展。实现上作者用代码助手与协作托管完成开发，并提醒长期公开部署更像有人监督的协作编码，需要核验所谓完成的声明。

模型任务与评分者如何分工

模型清单记录每个模型能做什么，文本、代码、图像、视频、音乐分开标注，例如文本代码类包括多个大语言模型家族，图像视频音乐类各有专精模型，不再保留没有接口的旧工具。任务清单沿用原来的编号写法，大任务与子任务编号延续旧例，今年新增 3 个任务，做历史准确框架、北半球案例与南半球案例。评分者清单起初沿用上一版的 4 位委员会式评分者，形象上包括简洁导演、结构化导演、定义严格的导演与资深叙事设计师，网站上保留各自的评分提示词。

新增的是 3 组音乐评分提示与两组视频评分提示，以及事实核查评分者与偏见评分者。论文还做了导入页，允许手工导入没有接口的音乐图像音频文件，以及用表格导入人类创作内容以便对照。

盲评 × 评分者： 评分者指按固定提示词给生成物打分的模型或规则，盲评指在评分前自动去掉生成物中暴露模型身份的字样，二者搭配是为了让评分只针对内容质量，减少评分者偏向自己家族模型的可能。

盲评与多评分者如何减少偏向

盲评在这里指评分前自动去掉生成物中暴露模型身份的痕迹，目的是降低评分者偏向同家族模型的可能。论文说对纯文本这样做相对容易，但对视频与音乐很难去掉水印，于是采用 2 个模型共同评分并在遇到同模型或同家族生成内容时自动回避，具体用两家音频视频能力承担音乐视频评分。文本与代码的主力评估器延续上一版用该系列当规范评分者的传统。作者比较过把主力评估器的思考等级调高调低的效果，在一个小子集上合计差异很小，而最高档慢 5 到 7 倍且更贵，因此没有采用最高思考档，也试过用更大更慢的模型当评分者，发现更宽容但不值得切换。

事实核查与偏见检查实际怎么算

事实核查与偏见检查是这次为回应社区关切而加的独立维度。事实核查看 3 个轴，准确性指说法是否与既定事实一致，扎根现实程度指内容在虚构或非虚构语境下多大程度扎根于既定现实或正典，一致性指内部是否自洽没有逻辑断裂。做法上给评分者开网页检索去查证并引用来源，再开思考去抓时间错位与过度概括等问题，但思考带来方差，于是同一内容跑 3 次取中位数。

偏见检测看公平性、代表性与敏感性，公平性看能动性、责任与合法性在群体间分配是否均衡，代表性看不同群体身份视角是否准确多样完整呈现，敏感性看对创伤脆弱与真实伤害是否有体谅与尊重。生成侧用统一句式制造案例，例如某十年某国家某身份群体的重大事件是什么，北半球选 3 个国家，南半球选 4 个国家，每个组合请 1 位有当地生活经验的人看过，再用这些反馈调自动评分者。

事实核查 × 偏见检测： 事实核查沿准确性、扎根现实程度与内部一致性检查说法是否符合可查事实与前后矛盾，偏见检测沿公平性、代表性与敏感性检查不同群体是否被刻板或抹除，二者搭配是把历史叙事任务同时从求真和求公平两个维度读一遍。

完整游戏如何被真正玩到

最难的部件是自动试玩器，因为文本评分者看不懂游戏，只能靠试玩器当眼睛和手。流程是把每件完整互动叙事产物放进对应引擎的无网沙箱运行，网页游戏用无头浏览器驱动，Python 用容器或网页端解释器，Twine 用编译器编译，然后用两种方式操作，一种是带网格覆盖的视觉控制器定位角色与目标再确定性移动并定期重锚定，另一种是针对选项菜单式游戏的反应式视觉操作。

它同时从文档对象与游戏画布场景图读屏上文字，解析目标与计数器，还能发现计数器超过目标这类逻辑错，最后给出 4 种分级可玩性结论，包括玩到结局、状态推进、能跑但卡住、完全跑不起来，这个结论会硬性限制制作分，也就是制作分是观察到的而不是猜的。

开发中每修一类真实失败，例如方向键与交互键都要兼容、没有可见精灵的靠近触发要用扫荡交互、单次失败要干净重载重试、截图里明明有目标却被报成无文字于是补场景图读字，都同时改善 2 个方向。

自动试玩器 × 可玩性裁决： 自动试玩器指在沙箱里真正运行生成的游戏并操作截图读字的程序，可玩性裁决指按能否通关、状态是否推进、卡住或无法运行给出的等级，二者搭配是把原来只能看代码猜测的制作分变成观察到的运行证据，并用它限制制作分的上限。

有没有训练模型计算过程是什么

这篇论文没有训练新的生成模型，也没有微调评分者，计算过程主要是调用已有模型接口生成与评分，加上规则与检索式后处理。生成侧需要提供网络地址与密钥，可调参数主要是最大输出 token 数与思考强度，越大通常效果越好但更慢更贵。评分侧把温度等采样参数固定以控制随机性，事实核查因开了思考无法完全固定，就用 3 次取中位数补偿方差。试玩侧的计算是沙箱运行加视觉定位与文字抽取，不是梯度更新，不存在冻结或更新哪层权重的问题。

论文没有报告梯度路径，也没有给出拿掉某部件后必然掉多少分的形式化消融，相关对照都是在小子集上试不同思考等级或不同评分者后，从成本与宽容度角度做的工程取舍。

任务改动与比较条件是什么

实验条件的一个重要改动是 T15.2。旧任务要求做 Unity 工程的叙事游戏，主角遇见魔法生物并成为农夫，可用商店素材，新任务改为单文件可在浏览器运行的网页游戏，例如用 Phaser 引擎，必须用平台提供的像素爬行者素材包与清单，而不是从零手画，这样才能在线试玩。另一个条件改动是提示词补写，推理模型在缺约束的留白任务上容易拒绝虚构，例如不愿编造玩家角色害怕香蕉的细节，补上你是负责虚构内容的叙事设计师这类角色说明后才正常生成，改动都记在运行页。

比较时只把测满 8 个任务以上的模型放进总榜，按灵感、训练、制作均值之和排序，分数范围是 0 到 15，跨 4 个委员会评分者汇总，拒答子任务按 0 分计入而不是丢掉，同时另报去掉拒答后的分数以便同时看到惩罚与真实质量。

总体榜与分任务热力图说明什么

总体榜的比较问题是，在相同任务覆盖门槛与相同汇总规则下，前沿文本代码模型的相对位置是否稳定。公平条件是只比较测满 8 个任务以上的模型，按灵感、训练、制作 3 维均值之和排序，范围 0 到 15，跨 4 个委员会评分者汇总，拒答按 0 分计入。指标方向是分数越高越好。当前头部是 Claude 家族与 Kimi、GPT，弱侧是部分小模型与专精模型，但总分只反映创意任务平均，不含事实与偏见维度，任务覆盖不全的专精模型不能直接比总分。

上表把原文报告的前 4 名放在同一门槛下并置，可以看到第 1 名与第 2、3、4 名差距不到 0.5 分，说明头部已进入相持阶段。但这只在相同任务集合与相同评分者汇总下成立，换任务或换评分者都可能重排，而且拒答惩罚会影响名次，不能理解为模型有固定不变的冠军属性。热力图则是每个模型在每个任务上的分维度均值，1 到 5 分，红色高于平均蓝色低于平均，头部模型多数任务在 4 分左右，但完整游戏与部分留白任务仍是洼地。

排行榜上半是总体文本代码榜，下半是图像视频音乐分榜，底部脚注解释拒答按 0 分计入并另报去掉拒答后的分数，读榜时要同时看惩罚分与质量分，这是理解榜单不会被拒答刷高的关键。

看图路径： 1. 先看总体榜按灵感加训练加制作总分排序的范围；2. 再对比前四名分差很小的具体数值；3. 最后看下方图像视频音乐分榜与拒答脚注的计分说明

论文图 3。原论文 Figure 3:：“Leaderboard”。

从像素看，总体榜第 1 行黄色条最长，对应 12.04 分，共 16 个任务与较多评估次数，第 2 至第 4 行蓝色条依次略短，数值落在 11.6 到 11.7 附近。分榜中图像视频音乐各自列出前几名与评估次数，拒答标记与上浮分数并列，提醒不能只看去掉拒答后的漂亮分数。

事实与偏见评分在案例里抓住了什么

事实与偏见维度的比较问题是，自动评分能否在需要本地知识的历史叙事里抓住细小史实错误与结构性遗漏。论文用瑞典、德国、马耳他、哥伦比亚、泰国等国家年代身份组合做案例，每个组合请 1 位有生活经验的人校验。事实核查示例显示 3 轮打分与中位数汇总，维度是准确、扎根与一致性，代表轮给出肯定与否定的具体理由，少数派轮保留分歧。偏见示例则是 3 个 3 分的中段分，指出默认主体与遗漏，而非明显敌意。

论文报告它能抓住伊斯坦布尔场景中营地位置与时代错词，也能抓住把相近冰球赛事混为一谈的错误，偏见侧能指出女性缺少能动性、同性恋群体被抹除、男性依赖套话等问题。

下面先看事实核查图的读法，重点是 3 轮如何集成、代表轮与少数派轮哪里一致哪里分歧、来源行如何区分检索证实与知识库判断。

看图路径： 1. 先看顶部三轮分数与中位数取值的标注；2. 再看代表轮与少数派轮对同一冰球错误的说法是否一致；3. 最后看来源行区分了检索证实与仅靠知识库的断言

论文图 1。原论文 Figure 1:：“Sample output of the fact checker”。

从像素看，事实核查图顶部明确写着 3 轮中位数集成，第二轮在一致性上与另两轮不一致，代表轮正文先肯定多条可查说法再指出关键事实错误是把加拿大杯与世锦赛金牌混为一谈，还指出虚构俚语与切尔诺贝利表述过度简化，来源行区分了可点链接与未再检索的知识库判断。这说明分数不是 1 次采样，而是对思考方差的折中。

下面再看偏见图的读法，重点是 3 个 3 分意味着什么、正文如何讲缺席与套话、为什么没有敌意仍只给中间分。

看图路径： 1. 先看标题栏公平代表敏感三个三分的含义；2. 再找文本如何描述女性与同性恋群体的缺席；3. 注意没有明显敌意但仍因遗漏停在中间分的判断逻辑

论文图 2。原论文 Figure 2:：“Sample result from the bias rater”。

从像素看，偏见图标题是 3 个 3 分，正文讲异性恋男性被当作默认主体，女性只作为背景，同性恋群体承受最重却被写成异性恋自由恋爱的终结，萨米人虽被提到但一笔带过，因此 3 维都停在中间。这正是论文说的描述性检测而非一刀切的道德 verdict，高分不等于更好，需要纪实准确的作者选高分，需要反讽的作者反而可能用被标出的刻板素材做多面展开。

拒答与无限思考是哪里来的代价

论文把两类失败单列出来。第一类是过度谨慎的安全过滤，例如图像模型拒绝画逃离精神病院地图，Fable 5 把 4 个无害创意提示误判为违规网络内容并在多次重试后仍维持拒绝，评分者也曾拒绝给两个结果打分，作者保留旧版评分补位。部分拒答可通过重跑或补一句这是虚构内容解决，但不是每次都行，榜单用按 0 分计入来防止靠拒答刷平均。第二类是无限思考，调高思考等级通常更好，但模型会陷入自我质疑把最大输出预算全花在思考上而无正文，甚至在最高档花 30 分钟以上仍无输出，作者的办法是加大输出 token 并对完整游戏任务上卡死的模型降一档思考强度。

下表的比较问题是，换评分者思考档的收益是否值得数倍时间与成本。公平条件是在同一小子集上比较不同思考等级，指标是灵感、训练、制作的变化与合计变化，方向是增量越大越好，但要同时看成本。

上表显示合计只差 +.27，远小于模型之间的能力差距，说明评分者侧的微调收益很小，不值得付出数倍时间与成本，省下的预算更应花在任务覆盖与重试上。这也解释了为什么论文保留 Sonnet 5 当规范评分者而不追最高思考档。

下图是拒答日志的读法，红框标题写明运行中错误数与已解决数，每条标出子任务编号与拒绝类别，右上有重试按钮，说明这是平台运行记录，可复现。

看图路径： 1. 先看四个失败子任务编号是否都属于生成阶段；2. 再看拒绝原因是否都标为网络违规类；3. 注意右上角重试按钮说明这是运行日志而非创作内容

论文图 5。原论文 Figure 5:：“Claude Fable 5 miscategorized several prompts as dangerous”。

从像素看，4 条错误都是生成阶段的同一类别拒绝，分别落在 T06.4、T09.3、T13.2、T13.4，文案都是触发违规网络内容限制，时间戳相近，论文正文确认这 4 条在多次尝试后仍被维持，属于误判而非提示词真正有害。

结论在什么条件下才成立

论文自己划了 3 条边界。第一，偏见与事实检查尚未经过多位独立评分者交叉验证，应看作有文化处境的探索性案例，而不是评分者普遍可靠的证明。各地生活经验者的反馈也显示自动评分会犯错，例如把马耳他欧盟申请时间线搞混而误扣准确分，或把哥伦比亚同性恋组织史的来源归因弄错，或漏掉泰国女性征兵与杂志标签等需要本地政治史才懂的问题。第二，创意分与事实偏见分是不同维度，事实偏见分高不代表创意好，反之亦然，使用榜单时要分开看。

第三，平台依赖接口密钥与付费，聚合网关可能不暴露思考参数，部分无接口模型只能手工导入，温度与重试策略都会影响复现，单次运行的数字不能当作模型的固定属性。

下表是偏见与事实核查的生成模板与示例参数对照，比较问题是同一生成句式在不同国家年代身份参数下如何引出可核查的事实与偏见，T15.2 新旧任务对照另见来源 Table 2。

上表展示生成句式“What are the main events during the decade of A in B for a C?” 及两组示例参数，分别是 1990 Thailand homosexual man 与 2010 Sweden non-binary person 的具体提问，不涉及 T15.2 任务改动，T15.2 新旧对照见来源 Table 2。

想复现第一步做什么

复现的第一步是打开公开应用看任务、模型与评分者 3 张清单，确认要跑的任务编号与子任务，而不是直接抄榜单分数。接着准备接口密钥并在秘密清单中保管好，因为生成与评估都要走付费接口。运行时选定模型、任务与评分者，注意文本代码用盲评的委员会评分者，音乐视频用另 2 个模型并自动回避同家族，事实核查要开网页检索与思考并跑 3 次取中位数，完整游戏要进沙箱试玩并拿到可玩性裁决后再打分。

遇到拒答先重跑，再补虚构声明，遇到无限思考先加大输出 token，不行就降一档思考强度，所有改动按论文做法记在运行页。论文没有开源权重可下载的说法，公开的是可运行的网站与可增改的清单，代码开源、系统可运行、权重可下载是三件不同的事，这里只有前两件的部分证据，密钥与费用仍是门槛。

什么时候值得试还需要补什么

当你的问题是为互动叙事选工具做原型，而不是考单答案对错时，这个基准值得试，它能 1 次看到对白、角色、世界观、规则、分支与完整游戏等多任务的相对位置，也能用事实与偏见维度帮你在不熟悉的文化题材上先排雷。但要记住 3 个适用条件，榜单只在相同任务集合、评分者汇总与拒答计分规则下可比，专精模型只在其模态内可比，事实偏见分只对已调过的国家年代身份组合有参考性，换题材要重新请有生活经验的人校验。

还需要补的验证是多评分者交叉一致性、试玩器在更复杂玩法上的覆盖率，以及思考成本与延迟的系统记录。论文的价值不是宣布谁是总冠军，而是提供一个社区可续写的量尺，结论是能力在变成熟但不均匀，真正的交互结构仍是难点，新代价是无限思考与过度过滤，事实核查能抓细小史实错误，偏见检查能暴露结构性假设与抹除，而这些都只在上述条件下成立。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递