📄 三路必须讲同一页：故事续写如何卡住图文语音的一致性
英文题目：What Comes Next? Omni-StoryBench for Evaluating Story-Grounded Omnimodal Generation
标签：#音视频生成 | #基准设计 | #基准测试 | #数据集 | #语音合成
评分：7.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Sieun Hyeon：机构信息未在 arXiv HTML 中可靠披露
- Yejoon Lee：机构信息未在 arXiv HTML 中可靠披露
- Mintaek Lim：机构信息未在 arXiv HTML 中可靠披露
- Woojin Kim：机构信息未在 arXiv HTML 中可靠披露
- Jaeik Kim：机构信息未在 arXiv HTML 中可靠披露
- Jaeyoung Do：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
故事 grounded 全模态生成要求以当前故事书页面图像与旁白为输入，在结构化下一页条件下同时生成下一插图、下一旁白与角色语音，三者在人物、动作、情感与场景上保持同一叙事状态。Omni-StoryBench先从开放许可童书抽取91449个候选转移并用模型生成书籍元数据、下一页条件与语音元数据，再经规则过滤、GLM-4.6V打分选优与16人复核修订得到900个实例。评测链将BERTScore、CLIP相似度与语音元数据准确率等自动指标与文本、图像、语音及融合四组三评委大模型评审结合，并以有效样本条件平均与零填充对照分别报告质量与完备性。与已有交错生成基准只看开放式图文连贯不同，该基准强制条件可控的页间转移与三模态互一致。在基准零填充诊断设置下，图像瓶颈组的最大Total Average得分为6.55，低于文本瓶颈组的最大Total Average得分6.94。该结论适用边界受限于英语短篇童书受控续写，不支持开放域交互或长程故事外推，图像状态保持仍是主要失败条件。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
代码相关资源：https://github.com/AIDASLab/Omni-Storybench — 链接不可用（HTTP 404）
数据相关资源：https://huggingface.co/datasets/snu-aidas/Omni-StoryBench — 暂时无法访问
数据相关资源：https://www.africanstorybook.org/ — 暂时无法访问
数据相关资源：https://digitallibrary.io/ — 链接可访问（HTTP 200）
数据相关资源：https://www.storybookscanada.ca/downloads/ — 暂时无法访问
数据相关资源：https://storyweaver.org.in/en/stories?language=English — 暂时无法访问
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
为什么各自合理还不够：全模态续写要解决什么
刚进入语音音乐音频领域的读者，容易把多模态生成理解成 3 个独立任务的拼接。文本通顺、图像合理、语音自然，似乎就完成了，论文首先纠正这个直觉。
论文指出，全模态评价应当超越独立的文本、图像与语音生产。各自看似合理的输出，可能并不表达同一个连贯事件，这是全文的出发点。
举例来说，旁白写孩子走进教室，图像却画成操场，语音又让老师说出无关台词，3 路各自成立但合在一起就破裂。教学例子到此为止，论文不提供该例的数值，数值只来自后文受控实验。
为此任务被收紧为故事续写。每个样本给出当前页图像与旁白，再加结构化下一页条件，要求生成下一场景的图像、旁白与角色话语。输入是多模态加约束，输出必须是三元组。
评价同时对照结构化条件与真值参考，检查模态内质量与跨模态一致性。这种收紧不是简化故事，而是让转移可控。没有条件时任何合理续写都算对，就无法判断是否实现了指定状态。
与理解问答和两模态生成相比补了哪一块
定位这篇工作需要先分清两条已有路线。第一条是多模态理解与推理评测，典型做法是问答式考察感知与推理，但目标不是生成。第二条是生成侧评测，覆盖统一理解生成、多任务生成与跨模态鲁棒性。
论文还回顾了图文交错生成的连贯性评测。相关工作已明确包含交错连贯性，但多是开放域指令跟随或开放式交错生成。这与本文的提问方式不同。
本文问的是系统能否在保持给定故事上下文的同时，把指定的下一叙事状态一致地实现到图像、旁白与语音中。这要求同时评估转移与 3 路互相对齐。
论文用反例讲清必要性。3 路一致但违背指定转移仍不合格，3 路各自合理但互相矛盾也不合格。因此这篇基准不替代通用任意到任意评测。
它提供的是受控的系统级探针。童话绘本被选为载体，因为有重复人物、演进事件、视觉接地场景与角色对话。配对插图与旁白为页间变化提供了具体参考，这也解释了为何每样本只做相邻两页窗口。
输入是什么输出是什么什么算做对
复述方法先固定输入输出。绘本被看作多模态页面序列，每页包含图像、旁白文本与语音信息。评测时给出当前页图像、当前页旁白、书级元数据与期望下一页条件。
模型必须生成下一页的图像、旁白与语音，描述同一个叙事状态。真值下一页同时存在，用于评估单模态质量与联合一致性。对于语音，基准提供的是语音内容与语音元数据而不是原始音频，以便自动评测。
书级元数据捕捉全局故事信息，包括类型、主题、风格、叙事视角与人物档案。下一页条件规定局部约束，包括人物情绪、可见性、动作、语音意图、场景信息、文本目标与环境声。语音内容与元数据定义目标话语与说话人属性，包括情绪、语速、音高与性别。
故事接地续写 × 跨模态一致性： 故事接地续写分工是规定从当前页到指定下一页应该发生什么，包括人物、动作、情绪与场景转移；跨模态一致性分工是检查生成的图像、旁白与语音是否落在同一个叙事状态。搭配理由是单路合理不能保证联合成立，只有转移正确且三路互相对齐才算完成，组合后形成可评测的联合响应。
下面总览图把输入输出关系画成两条可比路径，读懂它就抓住了全文对照骨架。图左侧是统一输入，右侧是统一三元组输出，中间用不同系统路线实现，另有真值块作为参照。
看图路径： 1. 先沿左侧输入框自上而下确认当前场景图、旁白文本与条件元数据三块；2. 再对比中间上方任意到任意单体与下方视觉语言模型加双专家的两条箭头走向；3. 最后核对右侧两路输出与中间真值块在图像文本语音三格上的对应关系
论文图 1。原论文 Figure 1:：“Overview of Omni-StoryBench. Given the current scene image, narration text, and structured generation conditions, models generate the next scene’s image, narration, and spoken…”。
从像素看，左侧输入纵栏自上而下是当前场景图、旁白文本与条件元数据，条件中可见人物情绪等结构化字段。中间上方是宣称自己生成全部 3 路的任意到任意模型，下方是视觉语言模型加图像生成器加语音合成器的编排组合。右侧两路输出块均含图像、文本与带喇叭标记的语音，中间真值块给出参考图像、参考文本与语音条件。两条路径的对比点在于同样输入下谁更能同时满足条件与 3 路一致，这正是后文 32 组配置比较的直观来源。
三类基线系统如何组织成可比全景
论文把 32 组基线按实现范式分成 3 类，这是理解全部结果的前提。第一类是编排，用 5 个视觉语言模型骨干只输出文本，再把图像提示送给图像生成器、语音元数据送给语音合成器。
第二类是半编排，骨干联合生成其中两个模态，剩余一个模态外接专家补齐。第 3 类是原生任意到任意，单个骨干能接收并生成全部 3 个目标模态。论文特别提醒，这种能力不应等同于 1 次推理同时生成 3 路。
原文明确只有个别模型 1 次生成 3 路，其他原生基线按目标模态分别调用。这个区分必须保留，否则会把调用方式不同的系统混为一谈。
编排 × 原生任意到任意生成： 编排分工是视觉语言模型只写文本计划，再调用外部图像生成器与语音合成器分别落实图像与语音；原生任意到任意生成分工是由同一骨干直接生成三种模态。搭配比较的理由是前者借助专家保证完备性，后者追求统一接口，组合对照才能分离规划能力与端到端可控性的贡献。
下图把 3 类组织方式的文本流与模块边界画清楚，复现时照着接线就能避免把半编排误当成全端到端。
看图路径： 1. 先沿上方编排链确认骨干文本如何分出图像提示与语音元数据；2. 再比较左下接图像生成器与右下接语音合成器的半编排各缺哪一段；3. 最后看右上任意到任意虚线框是否把三路输出包在同一骨干之后
论文图 2。原论文 Figure 2:：“Overview of Baseline Systems. In the Orchestration approach, the backbone model only outputs text.”。
从像素看，上方编排框内骨干居中，向左经图像提示接图像生成器，向右经语音元数据接语音合成器，并另行向下输出旁白文本。左下半编排接图像生成器分支显示骨干同时输出旁白与语音，右下半编排接语音合成器分支显示骨干输出旁白并给出语音元数据。右上任意到任意分支只有一个骨干箭头指向虚线框内的 3 路输出。阅读时先沿主箭头走一遍，再核对每个分支缺了哪块专家，就能理解失败分析中为何有的缺失来自上游计划错误而不是专家本身。
条件参考与评分如何计算
沿一个样本走完输入到输出，有助于把组件与公式对应起来。假设当前页是父亲送孩子上学，条件要求下一页是孩子第一天进教室、老师欢迎。这只是教学例子，不添加无源数值。
模型先读当前图与旁白，再读人物档案与下一页条件，然后分别产生下一场景图像、旁白文本与角色话语及元数据。评价时既看每路与真值的接近度，也看 3 路是否同讲进教室这件事。
结构化下一页条件 × 真值下一页参考： 结构化下一页条件分工是给出可执行的生成约束，包括人物情绪、可见性、动作、场景、文本目标与语音意图；真值下一页参考分工是提供可比对的图像、旁白与语音元数据。搭配理由是条件防止任意合理续写蒙混过关，参考用于衡量语义接近度，组合后实现受控生成与可验证评测。
形式化上，模型是从当前图文与结构化上下文到三元组的映射，符号含义需要在读公式前固定。
\[f_{\theta}:(\mathcal{I}\times\mathcal{T})\times\mathcal{C}\to\mathcal{I}\times\mathcal{T}\times\mathcal{A},\qquad(\hat{x}_{i+1},\hat{t}_{i+1},\hat{a}_{i+1})=f_{\theta}((x_{i},t_{i}),c_{i+1}).\]该式中图像空间、文本空间、语音信息空间与结构化上下文空间分别对应输入输出的取值范围，帽子符号表示生成值，下标表示下一页。它的计算目标不是似然本身，而是为后文评分提供待评三元组。
文本保真度用候选旁白与真值旁白之间的评分实现，图像保真度用候选图像与真值图像经同一图像编码器归一化后的余弦相似度实现，语音用四字段精确匹配的均值实现。
\[B_{i}=\mathrm{BERTScore}_{F1}(\hat{t}_{i+1},t_{i+1}).\]\[C_{i}=\frac{f_{\mathrm{CLIP}}(\hat{x}_{i+1})^{\top}f_{\mathrm{CLIP}}(x_{i+1})}{\|f_{\mathrm{CLIP}}(\hat{x}_{i+1})\|_{2}\|f_{\mathrm{CLIP}}(x_{i+1})\|_{2}}.\]\[M_{i}=\frac{1}{4}\sum_{a\in\mathcal{A}}\mathbf{1}\left[\hat{m}_{i}^{a}=m_{i}^{a}\right],\quad\text{where }\mathcal{A}=\{\mathrm{emotion},\mathrm{speed},\mathrm{pitch},\mathrm{gender}\}.\]其中语音四字段为情绪、语速、音高与性别，标签在比较前统一小写并去空白。裁判侧每种评价类型有 4 条量表，文本、图像、语音与综合各用 3 个裁判骨干取算术平均。最终总平均是 7 个分量的等权平均，自动指标先从 0 到 1 放缩到 0 到 10。
\[\mathrm{Total}_{b}=\frac{10B_{b}+10C_{b}+10M_{b}+J_{b,\mathrm{text}}+J_{b,\mathrm{image}}+J_{b,\mathrm{speech}}+J_{b,\mathrm{omni}}}{7}.\]需要区分的是，主文质量是条件于可用输出与有效评分的平均，缺失另行报告为可靠性，补零分析只在附录作为敏感性对照。这种分离避免把未生成直接混入质量分，也是复现时最容易误用的聚合口径。
没有模型训练的一节标注筛选与调用做了什么
本研究没有训练新的生成模型，这一节必须先明确未训练对象。再讲实际发生的构造与调用过程，避免把基准构造误读为模型训练。
论文的计算集中在基准构造、基线推理与自动评价 3 段。构造侧用大语言与视觉语言模型做注释层，推理侧调用 32 组已有骨干与专家组合生成三元组，评价侧运行自动指标与裁判模型打分。
具体流程可复述为 4 步。第一步从 4 个开放许可儿童绘本来源抽取候选页转移，当前页为输入，下一页为真值。第二步补 3 类元数据，使受控续写可检查。
第 3 步 3 阶段质控。规则过滤过长输出与多语音行，模型按当前页质量、下一页质量、图像风格连贯与转移连贯打分并保留每书高分对再取前列，最后人工检查过滤修订得到 900 例。第 4 步按统一提示与解码设置跑基线与裁判。
未报告的缺项也要点名。论文未给出基线模型的梯度更新、参数冻结或重置时机，因为本研究不训练它们。裁判解码虽报告温度与种子等协议细节，但不保证跨硬件逐位一致。把无训练等同于确定性求解是常见误解，实际调用仍受采样、解析与外部专家可用性的影响。
数据协议与聚合口径复现前必须对齐什么
数据侧的规模与来源决定了结论的适用边界。基准含 900 个故事转移，来自开放许可儿童绘本，每样本是两页窗口而非整书。构造起点是大量候选页转移，经筛选保留每书高分对并取前列，再经人工审核修订定稿。
来源分布不均，语言为英语，语音参考是独立目标话语加说话人信息与 4 个被评属性。附录还报告了字符串重叠审计与内部重复敏感性，但那只刻画词面重叠与已识别重复集，不能证明与外部训练语料无交集。
传统自动指标 × 大模型裁判评分： 传统自动指标分工是给出可复现的保真度度量，分别对应文本相似度、图像相似度与语音元数据准确率；大模型裁判评分分工是按量表判断上下文保持、条件遵循与参考一致性。搭配原因是前者稳定但语义覆盖窄，后者覆盖语义但存在偏好，组合后兼顾可复现性与叙事质量判断。
下表把构造链路的输入操作与数量落点整理成五列，阅读时先看数量是否逐段收敛，再看每段操作是否可重放。比较问题是候选到终选经历了几次实质过滤，公平条件是同一来源页只参与 1 次窗口，指标方向是保留数越少代表筛选越严而非质量越高。
| 阶段 | 输入 | 关键操作 | 输出数量 | 保留依据 |
|---|---|---|---|---|
| 候选抽取 | 四来源绘本页 | 相邻两页组成转移 | 91,449 | 当前页为输入下一页为真值 |
| 条件增强 | 候选转移 | 生成书级元数据与下一页条件 | 91,449 | 结构化约束可检查 |
| 模型筛选 | 候选转移 | 质量打分取高分对 | 1,000 | 每书保留高分对后取前列 |
| 人工终审 | 1000 对 | 检查过滤修订注释 | 900 | 16 位审核者修订后定稿 |
| 基准定稿 | 900 例 | 配真值参考与语音元数据 | 900 | 3 模态参考齐全 |
该表的收益是每例都有可执行的条件与参考，支持条件遵循与一致性检查。代价是英语童话域与来源不均限制了向其他语言体裁的推广，且公开来源材料可能与模型预训练重叠。未胜出的理解是规则过滤与模型打分都可能漏掉有效转移，人工修订减少但不消除注释误差。
评价侧的聚合必须逐字对齐。每个裁判返回 4 条 1 到 10 整数分，不输出总分，不合格模式不计入有效分。文本图像语音与综合各用 3 个裁判，先在每个裁判内按有效样本平均，再跨裁判等权平均。自动指标各用各自有效分母，总平均为七分量等权平均。主文缺失不补零，补零只在附录。
下表把评价分量裁判数与量表整理成五列，便于对照实现时分母是否用错。比较问题是质量与可靠性是否分开，公平条件是同分量同分母，指标方向是裁判分越高越好、距离类诊断越低越好。
| 评价对象 | 分量构成 | 裁判数量 | 量表范围 | 聚合顺序 |
|---|---|---|---|---|
| 文本 | 相似度加裁判 | three judges | 1-10 | 先裁判内平均再跨裁判平均 |
| 图像 | 相似度加裁判 | three judges | 1-10 | 有效图像分母独立 |
| 语音 | 元数据准确率加裁判 | three judges | 1-10 | 四字段匹配后平均 |
| 综合 | 3 路联合裁判 | three judges | 1-10 | 需 3 模态齐全 |
| 总平均 | 七分量 | seven scores | 0-10 | 七分量等权平均 |
该表同样要看到反例。等权不等于等影响，裁判分量方差更大，对总方差贡献更高。语音裁判区分度弱，小分差不宜做细粒度排序。综合分与分量存在算术依赖，偏相关不能读成因果贡献。复现时若把缺失补零混入主平均，会同时惩罚质量与可靠性，改变相邻名次。
谁更可靠模态关联支持什么判断
主结果按问题组织。测的是给定相同输入与条件下 3 路续写的质量与一致性，比的是 32 组编排、半编排与原生配置。条件一致体现在同一 900 转场、同一条件与参考、同一七分量聚合，指标方向是总平均与裁判分越高越好。
论文报告大视觉语言模型编排占据最高总平均，连 4B 级编排也超过多数半编排与原生基线。这支持显式调用专家在该基准上仍有效的判断，但不应归因于骨干规模本身。
文本侧关联 × 图像瓶颈： 文本侧关联分工是反映故事理解、条件解析与提示构造质量与其他模态的伴随变化；图像瓶颈分工是指出在已评配置中视觉连续性最常成为相对弱项。搭配理由是相关性本身不指明短板方向，只有弱项频率、秩差距与离散度同时指向图像时，组合后才能避免把相关误读为单向因果。
下图是总分排序的阅读入口，读图前先确认横轴是 0 到 10 总平均，纵轴是系统，颜色区分范式，虚线是均值。
看图路径： 1. 先确认横轴总平均分刻度与纵轴按系统排列的条形顺序；2. 再按图例区分大编排、小编排、半编排与原生模型的颜色区间；3. 最后找到均值虚线并比较顶部与底部条形的落差
论文图 3。原论文 Figure 3:：“Omni-StoryBench ranking by the seven-metric Total Average.”。
从像素看，顶部条形集中为深蓝色大编排并标注 7.75 到 7.44 区间，中部粉色与浅蓝交错在 7.17 到 6.40 之间，底部橙色与绿色在 6.20 以下，最底为 4.46。均值虚线约在 6.80 附近，大编排全部位于均值右侧。解释时既要看到顶部优势，也要看到中部重叠，排除大编排后原生、半编排与小编排的性能区间存在重叠，个别原生模型与小编排相当，说明统一接口在受评设置下可能达到有竞争力的表现，但完备性与可控性仍是差距。
模态关联的数字结果需要用原表呈现，避免把不同指标的差值混放。比较问题是文本、图像、语音 3 路分数是否独立，公平条件是同一 32 配置、同一有效平均与三裁判平均，指标方向是相关系数越高关联越强。
| Pair | rr | pp |
|---|---|---|
| Text – Image | 0.824 | 6.9e-09 |
| Text – Speech | 0.880 | 3.1e-11 |
| Image – Speech | 0.693 | 1.1e-05 |
该表显示 3 对相关均为正，文本语音最强，文本图像次之，图像语音最弱。这与文本承担故事理解与提示构造的角色一致，也与半编排中文本语音骨干加图像专家的组合趋势相呼应。但相关不是因果，共享骨干与专家限制了独立性假设下的显著性解读。未胜出项是图像语音在控制文本后接近零，说明残差关联弱，不能据此主张图像语音存在权衡。
瓶颈诊断用第二张原表呈现，比较问题是哪个模态最常成为相对弱项，公平条件是基于模内排名而非跨指标绝对值比较，指标方向是弱项计数越高、秩差距越大、离散越大、弱子集最高总分越低，越指向瓶颈。
| Weakest-modality count | 9 | 14 | 9 |
|---|---|---|---|
| Mean weakest-modality rank gap (pp) | 2.57 | 6.85 | 3.13 |
| IQR of modality score | 1.22 | 1.79 | 0.45 |
| Max Total (Bottom Tercile) | 6.94 | 6.60 | 7.00 |
该表 4 个诊断在报告口径下一致指向图像，弱项计数最高，平均秩差距最大，四分位距最宽，图像弱子集的最高总分最低。这支持视觉连续性是已评配置中最清晰的瓶颈。但限制同样明确，排名比较丢掉了分数幅度，不同截止定义弱子集会改变排序，总平均本身含该模态分量因而存在算术依赖，因此只能在报告截止下解读，不宜推广为一切定义下的不变结论。
拿掉完备性会怎样失败计数与口径对照
反证在这里体现为失败条件分析与评分口径对照，而不是删模块重训。论文把生成可靠性与输出质量分开报告，失败包括编排 JSON 错误与分模态缺失，一个用例可同时计入多段。
半编排与原生系统常出现不完整或缺模态，论文指出失败多源于骨干不能可靠跟随指令并产出可供下游使用的中间输出，而不是专家本身不可用。编排即使小骨干也很少出现此类失败。
下图是可靠性对照的入口，读图前先确认横轴是 900 用例下的失败计数，图例区分 JSON 错误与文本图像语音缺失。
看图路径： 1. 先确认横轴 900 个测试用例下的失败计数刻度；2. 再按图例区分编排 JSON 错误与文本图像语音缺失的颜色分段；3. 最后比较顶部长条与底部短条在缺失模态分布上的差异
论文图 4。原论文 Figure 4:：“Number of orchestration JSON errors and missing outputs per modality.”。
从像素看，顶部横条最长对应 187 的浅绿 JSON 错误段，其次是 169 的红黑紫混合段，再次是 101 段，中下部为 50、24、22 等短段，底部仅个位数。解释时要看到集中性，缺失集中在特定骨干与特定模态组合，而非均匀漂移。代价是补零口径下这些配置总分下降更多，半编排接语音合成器组平均下降最明显，但这惩罚的是失败样本而非每样本质量下降，也不应归因于已成功样本的语音合成质量变差。
文本侧还有一组机制对照。大编排在裁判分上很高，但在参考相似度上优势较小。论文用长度数据解释，真值平均约 107 字符，大模型输出常超 200 字符。冗长带来语义合理但风格偏离简洁童话旁白，因而裁判喜欢而相似度仅小幅提升。附录进一步报告两者正相关但量程差异大，说明应同时保留相似度与裁判分，长度调整只是观察性对照，不能证明裁判偏爱冗长本身。
哪些结论不能下语音裁判与范围的三重限制
论文用独立附录讨论了评价本身的局限，初学者应把它们当作使用结论的边界。第一是语音评价的区分度陷阱。语音裁判分跨基线变化小于文本与图像，两种解释无法仅凭均值分布区分。
可能是话语短、需直接体现的元数据有限导致差距本就小，也可能是裁判对情绪韵律与人设匹配不够敏感。人类评测中语音一致性也较弱，裁判间语音分歧更大，因此小语音分差只作次要信号。
元数据分类器显示性别最准，其次语速音高，情绪最难。这与情绪依赖细粒度韵律线索的既有发现一致，也提示情绪是更主观的属性。第二是大模型裁判的共享偏好。
论文用三裁判平均降低对单一骨干的依赖，但平均不能排除共有偏好，也不能保证与人类判断一致。附录报告系统排序相关强但刻度校准差异大，尤其语音。人类研究支持宽泛排序与范式层级，但固定 10 转场窗口、每单元评分数少、语音一致性弱，限制了精确名次与域外推广。
第三是基准范围。材料限于英语儿童绘本且来源不均，不能代表其他语言体裁与无约束交互。公开来源可能与训练数据重叠，内部审计与重复剔除敏感性不能验证外部训练排除。语音用粗标签，性别为二元表观标注惯例，不代表性别认同。分数与排序依赖放缩聚合与裁判覆盖。读到这里应形成条件句，只有在故事受控续写、当前协议与有效分母下，图像瓶颈与编排可靠的判断才成立。
复现先做什么资源版本与必须锁定的口径
复现的第一步是区分代码开源、数据可得与系统可运行。论文给出代码与数据集链接，但本次资源核查显示代码链接当前不可用，2 个数据集链接本次未能确认可达，只有一个数字图书馆来源链接当前可用。
因此不要默认点击即得，复现前应先记录可达状态、版本号与校验信息。附录提到的指纹清单与重复簇标注是独立重叠检查的抓手，但缺失匹配不等于未接触训练。
第二步锁定评价口径。文本用英语设定与指定实现报告分数，图像用指定编码器余弦相似度，语音先从音频提取四字段再与目标精确匹配，标签归一化后再比对。裁判按文本图像语音综合 4 类分别跑 3 个指定检查点。
共享解码与上下文限制，空响应与推理失败不送修，非空解析失败才走修复并保留原裁判身份。聚合顺序是先裁判内有效平均再跨裁判等权平均，自动指标各用各自有效分母，总平均七分量等权，缺失主文不补零。任何把缺失补零、把自动指标当人评、把不同指标差值放进模型列的做法都会破坏可比性。
第 3 步复核基线接线。编排骨干只出文本，图像提示与语音元数据分别送专家。半编排按文本图像骨干加语音合成器或文本语音骨干加图像生成器区分，原生按是否 1 次生成 3 路区分调用方式。图像专家是否可见当前图是关键变量，能看当前图的版本更利于保持视觉连续。硬件预算与批量并发等推理设置按附录原样记录，不把总体趋势当成每组每步都成立。
何时值得尝试这套方法还需补哪项验证
综合全文，何时值得尝试是有条件的。如果你要做教育、讲故事或助手类应用，需要模型在同一叙事状态下同时给出图、文、声，并且希望用可执行的条件约束下一状态，那么这套两页窗口加结构化条件加三元组评价的思路可直接借用。
它把规划文本作为下游输入，使文本理解与提示构造的质量与他路质量关联起来，也让视觉连续性问题暴露得更清楚。但采用前还需补三项验证。
第一是语音侧的听感验证，用更长话语、更细韵律人设量表与专用听音研究替代仅靠裁判小分差排序。第二是聚合与不确定性验证，同时报告有效平均与补零对照、自助区间与相邻名次稳定性，避免把总分第一误读为显著最优。
第三是重叠与泛化验证，用版本化指纹做独立重叠检查，并在非童话、非英语或更长上下文上复测，因为当前结论只在已评配置与当前协议下成立。对研究生的操作建议是先复述再扩展。
先用一个样本走完输入、表示、组件、目标与输出，再对照公式与七分量聚合跑通一条编排链路。然后固定分母重算 1 次有效与补零两种总分，观察哪些名次移动、哪些范式差距保持。最后把图像连续性拆成人物外观、空间布局、动作与场景构成分别检查。只有走完这 3 步，才算把论文的方法真正转成可核对的实验能力。
📎 论文与评分元数据
排名：前25% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses