📄 HelixWorld：能看、能听、能实时操控的音画世界模型
英文题目：HelixWorld: A Real-time Interactive Audio-Visual World Model
标签：#音视频交互 | #知识蒸馏 | #数据集 | #基准测试
评分：7.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1.1/1.5
👥 作者与机构
- Lei Ke：机构信息未在 arXiv HTML 中可靠披露
- Jiahao Pan：机构信息未在 arXiv HTML 中可靠披露
- Zeyue Tian：机构信息未在 arXiv HTML 中可靠披露
- Jiaming Wang：机构信息未在 arXiv HTML 中可靠披露
- Haoyuan Huang：机构信息未在 arXiv HTML 中可靠披露
- Kam Man Wu：机构信息未在 arXiv HTML 中可靠披露
- Pengjun Fang：机构信息未在 arXiv HTML 中可靠披露
- Hongyu Liu：机构信息未在 arXiv HTML 中可靠披露
- Chenyang Qi：机构信息未在 arXiv HTML 中可靠披露
- Lin Wang：机构信息未在 arXiv HTML 中可靠披露
- Ruibin Yuan：机构信息未在 arXiv HTML 中可靠披露
- Weijia Chen：机构信息未在 arXiv HTML 中可靠披露
- Fangneng Zhan：机构信息未在 arXiv HTML 中可靠披露
- Qifeng Chen：机构信息未在 arXiv HTML 中可靠披露
- Wei Xue：机构信息未在 arXiv HTML 中可靠披露
- Yike Guo：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
交互式世界模型要处理用户键盘动作与连续6自由度相机轨迹输入，输出同步演化的画面与随视点转动的空间立体声，难点在于缺少带真实立体声与度量相机位姿的训练数据，且因果滚动误差会在视觉与音频分支同时累积。HelixWorld先以可扩展筛选管线剔除伪立体声与非现场声音并恢复帧对齐的度量相机位姿，建立高保真音画训练语料。在此语料上训练的双向教师模型把相机轨迹与离散动作注入视频分支，再经跨模态注意力传到音频分支，实现视角与声场的原生协同。随后教师被蒸馏为少步因果学生模型，在线轨迹蒸馏损失把学生速度场锚定到教师概率流常微分方程端点，抑制分布匹配带来的多样性下降与长滚动漂移。配合滑动键值缓存的长时微调，学生模型维持稳定的流式联合生成。在HelixBench的1015个人工核验案例上，因果学生模型取得Spatial得分41.7583，超过回放同一视频的ThinkSound配音基线的14.8467。推理成本在单张NVIDIA H800上以768×512分辨率、24帧每秒含音画解码测得稳态实时因子RTF为0.77，蒸馏训练成本为6个节点、每节点8张H200。结论适用于有主导可见声源、立体声真实的导航与视角变化场景，对多声源混杂与极端运动的稳定性尚未充分验证。
🔗 开源与复现资源
第三方资源：https://github.com/NoizAI/HelixWorld — 链接可访问（HTTP 200）
第三方资源：https://helixworld.org/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决什么输入输出问题？
HelixWorld 处理的是交互式世界模型的输入输出问题。输入是起始图像帧、文本提示、连续的 6-DoF 相机轨迹即每帧相机的旋转加平移，以及离散的用户动作。输出是随用户操作实时延续的视频流和与视角绑定的双声道立体声音频流，要求两者在时间上同步、在语义上对应、在空间上声场随视角转动。论文强调已有交互世界模型大多是无声的，只渲染画面和响应控制。
即使有音频的世界模型或先生成视频再配音的级联做法，也拿不到相机轨迹和动作意图，声音听不出左右随头转的变化，且串行延迟做不到实时。另一个现实约束是长序列自回归 rollout 会累积误差，视觉和声音一起漂。为此论文同时做数据、模型 2 阶段训练与评测基准三件事，目标是在单张 GPU 上做到 24 帧每秒的稳定音画联合交互。
已有路线为什么做不到相机对齐的空间声？
原文把相关工作分成 3 条路线对比。第一是交互世界模型，控制信号包括隐编码、键盘动作、6-DoF 相机轨迹与混合输入，但除 EchoWM 外基本无声，EchoWM 虽有音频却缺相机条件化的空间声。第二是音画生成，级联的视频到音频做法是先画好再配音，配音时看不到相机外参与控制意图，延迟也叠加；联合模型是视频与音频令牌在同一 Transformer 里共同去噪，同步较好，但通常是双向、固定长度、被动生成，没有控制接口和流式推理。
第三是因果蒸馏，视频领域有用分布匹配、自强迫有 KV rollout、常微分方程回归与长程流式微调来压曝光偏差，但直接搬到音画联合扩散上会出现模式坍缩，表现为颜色退化与声音丢失。HelixWorld 的定位是把交互控制与因果流式带入联合音画模型，并用在线轨迹蒸馏稳住自强迫。比较时输入目标要对齐：配音基线与 HelixWorld 共用同一段生成视频只换音频，才算固定视频比音频；世界模型对比则共用首帧与控制比画面与动作跟随。
难在哪里：数据、漂移与因果训练？
论文归纳了 3 个具体障碍。数据上，世界模型数据集大多无声，开放视频即使有音频也常混入后期背景音乐、旁白或把单声道复制成两声道的假立体声，没有真实的空间线索，也缺逐帧的度量相机位姿。漂移上，把双向音画基础模型硬改成因果自回归，会因历史误差累积出现多模态漂移，播得越长画面结构与声音保真度掉得越快。训练稳定性上，直接在未对齐的控制上全量微调会破坏预训练表示。
评测上，已有世界模型基准只看无声视频动态，音画基准只看短的固定视角片段，无法检验声音是否随相机移动而左右摆动。HelixWorld 因此需要同时解决真立体声筛选、度量位姿恢复、渐进式条件注入与长程蒸馏稳定 4 个子问题。
整体流程如何把画面与声音绑在一起？
方法分两大阶段。第一阶段训双向教师：在自建语料上逐步注入控制，连续相机轨迹经投影相对位置编码进入视觉注意力，离散动作经动作多层感知机加到噪声水平嵌入上经自适应层归一化调制主干，两路控制都先进视频分支，再经跨模态注意力传到音频分支，使相机自运动自然变成声像摆动。
第二阶段蒸馏为少步因果学生：先把视频隐变量与同时刻音频令牌同步成长度为时间块的时间块，块内双向注意保持音画交互，块间经滑动键值缓存严格因果，再用教师强制适配、自强迫展开与长程流式微调把漂移压住。数据管线按计算代价从轻到重过滤，最后分叉为相机恢复与解耦文本标注。下图展示了从原始音视频到可训练语料的 4 个阶段与两条标注支路，读图时注意每一步扔掉的是哪类污染。
看图路径： 1. 先从左到右看四个按计算代价排序的筛选阶段；2. 再看最后如何分叉为相机恢复与三轨文本标注两条支路；3. 注意音频真立体声与视觉覆盖物的剔除符号
论文图 2。原论文 Figure 2:：“Data pipeline. Raw video and audio pass four cost-ordered stages; surviving clips fork into parallel camera recovery and decoupled captioning branches to yield the trainable corpus.”。
图中从左到右是数据源、启发式过滤、片段标准化、语义过滤、相机与标注。音频侧用双单声道检测保留真立体声，视觉侧去掉跳切、低感知质量、文字覆盖与静止幻灯片；中间把长镜头切成与主干训练窗口等长的定长片段，音视频 1 次同步切分；语义阶段用音画多模态大语言模型按结构化模式剔除非世界内容与非剧情声音，但按声音的物理成因而非是否可见来判断，保留画外雷声车声等真实环境声；最后并行恢复度量相机位姿与生成三轨解耦文本，任一支路失败则整段丢弃。
相机与动作如何进入网络？
控制注入只发生在视频分支，这是理解声场对齐的关键。连续 6-DoF 相机位姿指相对首帧的旋转矩阵与平移向量加内参，首次出现这里解释为决定每个像素看向哪里的几何量。论文用 PRoPE 即投影相对位置编码，首次出现解释为用相机投影矩阵对注意力查询与键做变换，使注意力分数包含视角相对关系。离散动作指把相邻帧相对运动量化成的 81 类编号，由平移与旋转各 9 档组合而成，每帧视频隐变量各有一个动作编号。动作编号经正弦编码与线性-SiLU-线性多层感知机映射后，加到扩散噪声水平嵌入上形成条件向量，再经 AdaLN-Zero 调制 Transformer。
连续 6-DoF 相机轨迹 × 离散动作： 连续 6-DoF 相机轨迹指每帧相机的三维位置加三维朝向的连续变化量，负责精细的视角移动；离散动作用 81 类量化档位表示前后左右与偏航俯仰的速度意图，负责键盘式交互。二者都先进入视频分支再经跨模态注意力传给音频分支，组合后既能连续运镜又能离散操控，声音的左右摆动也随之变化。
\[{\bm{h}}_{\mathrm{cond},t}=\mathrm{Emb}_{\sigma}(\sigma)+\mathrm{MLP}\big(\phi(a_{t})\big).\]上式中 h 表示该帧的条件向量，Emb 表示噪声水平嵌入，phi 表示动作索引的正弦特征，MLP 表示零初始化输出的动作映射。相机与动作进入视频分支后，经跨模态注意力把视觉几何与声学特征绑定，相机移动即转为立体声摆动。真立体声筛选是数据侧的前提，用左右声道能量差探测假立体声。
\[\delta=\frac{\|L-R\|_{2}^{2}}{\|L\|_{2}^{2}+\|R\|_{2}^{2}},\]上式中 L 与 R 表示左右声道时域信号，delta 为归一化均方根差，全同声道时为零，真实空间声通常在 0.05 到 1.0 之间，论文丢弃小于 0.01 的上传并再查相位相关以去掉人工展宽。
PRoPE × AdaLN-Zero： PRoPE 即投影相对位置编码，把每帧相机投影矩阵作用到视觉注意力的查询与键上，使注意力能感知视角相对变化；AdaLN-Zero 即零初始化的自适应层归一化，把离散动作嵌入加到扩散噪声水平嵌入上再调制主干特征。二者分工是几何对齐与动作调制，组合后视频分支同时获得去哪里的几何约束和做什么的语义约束。
下图展示了 3 步渐进注入中可训练与冻结模块的变化，读后注意音频分支何时才解冻。
看图路径： 1. 对比三个步骤中火焰可训练与雪花冻结模块的变化；2. 看动作 MLP 与 PRoPE 如何经 AdaLN-Zero 进入视频 Transformer；3. 注意音频分支在前两步保持冻结、第三步才联合训练
论文图 3。原论文 Figure 3:：“Progressive condition injection. Three-stage training: optimize control modules with the backbone frozen, unfreeze the video branch, and jointly train the full audio-visual…”。
图中第一步冻结主干只训控制模块，第二步解冻视频分支适配控制，第 3 步解冻全部音画主干做联合流匹配优化，避免一步全量微调冲掉预训练表示。
三轨解耦文本为什么要分开写？
为防止图文声互相幻觉，标注分支用独立前向产生 3 条文本。视频轨只描述场景与主体运动，忽略音频，且禁止写视角变化与视差，使相机动态只由相机条件控制；音频轨只描述声层、事件顺序与时间动态，忽略画面，且因用单声道混音做标注，禁止出现左右等方向词，使声像摆动只由几何控制，语音只当环境声不转写；联合音画轨显式把可听事件绑定到可见发声体，记录同步与进出视锥时的音量变化。
消融显示三轨训练在跨提示格式下 ImageBind 相似度最高，说明显式的声源绑定给跨模态对应提供了直接线索。相机恢复侧对网络与真实 footage 用 VGGT-Omega 估计相对位姿，再用 Depth Anything V3 恢复度量尺度，极端透视时回退到 Metric3D v2，游戏录像直接用引擎记录的真值；随后按速度、加速度与跨窗拼接残差做运动学合理性门控，不设最小运动阈以保留静止与原地旋转。
双向教师如何分三步训稳？
教师训练的目标是联合流匹配损失，即视频流匹配损失加音频流匹配损失的加权和，权重为 lambda_A。先冻结主干只优化动作多层感知机与 PRoPE 投影，再解冻视频分支，最后解冻全音画主干。这种渐进解冻的理由是直接全量微调会破坏预训练视觉表示，对照是 ViPE 恢复轨迹下的旋转与平移误差，渐进版更低。教师用 50 步稠密求解器等配置提供高质量目标，为蒸馏做准备。联合优化的数学形式如下，符号含义是视频与音频两项各自的流匹配误差。
\[{\mathcal{L}}_{\mathrm{FM}}={\mathcal{L}}_{\mathrm{FM}}^{V}+\lambda_{A}{\mathcal{L}}_{\mathrm{FM}}^{A}.\]上式把视频与音频的流匹配误差相加，lambda_A 平衡音频项。训练时相机与动作序列先在源时间轴上对齐再选时间块，保证条件与生成块同步。
双向教师模型 × 因果学生模型： 双向教师模型指训练时能看到前后全部帧的流匹配模型，负责学好控制跟随与音画对齐；因果学生模型指推理时只能看到历史块的流式模型，负责低延迟交互。教师提供概率流常微分方程端点与分布目标，学生用少步去拟合，组合后把高质量但不能实时的能力转成能实时 rollout 的能力。
下图展示了因果蒸馏上半的自强迫与下半的长程微调，读图时先分清可训练学生与冻结教师的箭头。
看图路径： 1. 先看上半部分自强迫 rollout 中两条损失按概率二选一；2. 再看教师 ODE 积分出干净端点作为速度目标的箭头；3. 看下半部分长程微调中汇聚帧保留与远端历史丢弃的滑动过程
论文图 4。原论文 Figure 4:：“Causal distillation pipeline. Top: Self-forcing updates stochastically alternate between online trajectory distillation and distribution matching.”。
图中学生带键值缓存自回归展开，每次更新按概率二选一用轨迹蒸馏或分布匹配；长程微调逐段前滚，保留起始汇聚帧作锚点，丢弃远端历史，梯度只算当前段。
因果学生如何用轨迹蒸馏压住长漂？
因果初始化先把视频隐变量按每块 4 帧、音频按时间戳分成 27、33、33、34 个令牌的四块，块内双向、块间因果，条件图像占第一块首隐变量并以零噪声参与注意，每次去噪加噪后恢复且不计入生成损失。先用干净真值历史做教师强制适配块因果注意，再让学生单步回归因果教师的概率流常微分方程端点，得到稳定的少步起点。
\[{\mathcal{L}}_{\mathrm{init}}(\theta)=\mathbb{E}_{{\bm{x}}_{\sigma},\sigma,{\bm{c}}}\left\|\hat{{\bm{x}}}_{0}^{\theta}({\bm{x}}_{\sigma},\sigma,{\bm{c}})-\hat{{\bm{x}}}_{0}^{\mathrm{teacher}}({\bm{x}}_{\sigma},{\bm{c}})\right\|_{2}^{2},\]上式中 x 表示音画联合隐变量，c 表示历史上下文与条件，帽子 x0 表示模型预测的干净端点，期望对噪声状态、噪声水平与条件取平均。自强迫阶段学生按固定四节点计划去噪每块，完成后提交干净且截断梯度的键值缓存。标准自强迫只用分布匹配损失，靠冻结真分数与学习伪分数之差更新学生，会掉多样性并长漂。论文加了在线轨迹蒸馏损失：在第 k 步噪声状态下把冻结教师积分到零噪声端点，再监督学生速度场指向该端点的隐含流。
\[{\mathcal{L}}_{\mathrm{traj}}(\theta)=\sum_{m\in\{V,A\}}\lambda_{m}\left\|{\bm{v}}_{\theta}^{m}({\bm{x}}_{k},\sigma_{k})-\operatorname{sg}\!\left(\frac{{\bm{x}}_{k}^{m}-\tilde{{\bm{x}}}_{0}^{m}}{\sigma_{k}}\right)\right\|_{2}^{2},\]上式对视频与音频 2 模态加权求和，sg 表示停止梯度，分子为当前状态减教师端点再除以噪声水平。训练时每次以概率 p 用轨迹损失，否则做 5 次伪分数更新加 1 次分布匹配生成器更新，避免两目标梯度冲突；梯度只在当前步与当前块保留，历史与过去步骤截断。长程微调让学生按源时间顺序滚约 1 分钟，只在最新窗口算分布匹配损失，历史隐变量与键值截断，以有界内存学长程稳定。
在线轨迹蒸馏损失 × 分布匹配损失： 在线轨迹蒸馏损失指把学生当前噪声状态送入冻结教师积分到干净端点，再监督学生速度场指向该端点的均方误差，负责稳住长序列不漂移；分布匹配损失指用冻结真分数模型与跟随学生分布的伪分数模型之差来更新学生，负责让单帧更清晰锐利。二者按概率二选一交替使用，组合后兼顾稳定与清晰，避免梯度冲突。
HelixBench 测什么、怎么算分？
HelixBench 包含 1015 个人工核验案例，覆盖 6 类场景与导航、视角、事件、主体 4 个子集，每例提供立体声参考、起始帧、音画提示与连续相机位姿。音频质量用 PaSST 的 527 类事件分布算参考到生成的 KL 散度即相对熵，方向越小越接近参考分布；用 VGGish 嵌入算 Fréchet 音频距离即生成与参考嵌入均值协方差的分布差异，方向越小越接近。跨模态对齐用 ImageBind 算同条生成视频与音频在共享语义空间的余弦相似均值，用 CLAP 算生成音频与输入音画文本的余弦相似，均越高语义越一致。
事件子集用基于 Synchformer 的 DeSync 估计首尾窗的音画偏移绝对值平均，单位秒，越小同步越好。空间项是核心：视频侧用 Grounding DINO 按文本类别检测发声体并跨帧关联，取框中心归一化为左右位置；音频侧按 100 毫秒窗 50 毫秒跳算左右能量摆动并插值到视频时间戳；两侧各按阈值分左中右，视觉阈 0.2、音频阈 0.1，视觉居中样本不计分，侧向样本同侧加 1、居中 0、对侧减 1，每片段平均后乘 100 再跨片段平均，范围负 100 到 100，一直居中的音频得 0 分。
空间声学一致性 × HelixBench： 空间声学一致性指画面中发声体的左右位置与立体声左右能量摆动是否同向变化，用来检验声场是否随相机自运动而旋转；HelixBench 是包含 1015 个人工核验案例的交互评测集，提供参考立体声、起始帧、音画提示与连续相机位姿。HelixBench 把该一致性连同同步、对齐一起算分，组合后能区分联合生成与事后配音。
选择管线在整视频级隔离训练源，技术门保证帧连续、音频可听与真立体声，空间子集要求单主导可见可定位声源并排除音乐雨声多源，人工复核后再去重叠窗。
主结果：画面不输无声模型、空间声明显更好吗？
视频质量在 WBench 导航划分上比，HelixWorld 平均 79.9，在带原生音频的模型中保持了动作跟随与物理合理性，接近 Alaya、EchoWM 等强基线，且稳态实时因子 0.77 即生成单位时长所需墙钟比小于 1 表示快于实时，含编解码在单张 H800、768 乘 512、24 帧每秒下测得。音频侧在 HelixBench 上，因果学生 KL 为 1.3934、FAD 为 2.3872、ImageBind 为 0.2987、CLAP 为 0.3016、空间分为 41.7583，在 KL、FAD、ImageBind、空间分上优于双向教师、EchoWM 和 3 个固定视频换配音的级联做法，但 CLAP 0.3016 低于 HelixWorld+AudioX 的 0.3094，不构成对全部配音基线的全面超越；配音做法文本对齐尚可但空间分常为负，说明看不到相机外参时声像摆动不对。读数时注意指标方向不同，KL、FAD、DeSync 越小越好，ImageBind、CLAP、空间分越大越好。
阈值敏感性网格显示在 20 组视觉音频阈值下 HelixWorld 均第一，原生音频也全程优于 3 种替换音频。下图为同首帧同控制下的长 rollout 可视对比，读图时先看输入再横向看 4 秒到 15 秒的结构保持。
看图路径： 1. 对比竹林场景中抬头进树冠再返回时走廊是否还在；2. 对比车库场景中左右转向往返时红车与柱子是否可辨认；3. 注意左下角按键覆盖显示的控制输入是一致的
论文图 5。原论文 Figure 6:：“Visual comparison under interactive control. HelixWorld retains scene structure during navigation (left) and motion reversal (right). Key overlays indicate controls.”。
图中竹林左侧 HelixWorld 在视角抬进树冠再返回时仍保留森林走廊，车库右侧在右到左往返中红车与柱子仍可辨认，而对照常出现结构丢失或身份漂移。用户盲测也显示带音频时 HelixWorld 在每组对决中占优，静音只比画面时与 LingBot v2 打平、仅输 EchoWM，说明听感增益大于纯画面增益。
下面两张原表分别给出数据来源构成与筛选产率，读表时先看比较问题是语料是否真有空间声与位姿，再看每阶段的通过率与最终可训练量。
| Source | Hours | Share |
|---|---|---|
| Real-world | 1.8k | 43.9% |
| Game | 1.4k | 34.1% |
| Open-source | 0.9k | 22.0% |
| Total | 4.1k | 100% |
上表按真实采集、游戏录像与开源子集列出原始小时数与占比，总计 4.1k 小时，游戏侧提供引擎真值位姿作几何锚点，开源侧经同样筛选保证分布一致，限制是小时数不等于多样性，游戏与真实的运动分布仍有域差。
| Stage | Hours | Pass Rate |
|---|---|---|
| Raw footage | 4.1k | 100% |
| Heuristic filtering | 3.4k | 81.9% |
| Semantic filtering | 3.2k | 95.5% |
| Camera annotation | 3.0k | 93.5% |
| Trainable corpus | 3.0k | 73.1% |
上表给出启发式过滤、语义过滤与相机标注 3 步的剩余小时与阶段通过率，最终 3.0k 小时约 2.1M 同步片段，总产率 73.1%，说明大部分原始量因假立体声、非剧情声与位姿失败被扔掉，代价是重模型只在干净子集上见过数据。
效率与音画同步的证据在什么条件下成立？
效率按稳态实时因子定义，即首块交付后的墙钟除以剩余新生成帧的时长，预热两轮后取 2 次计时的中位数，含回路几何处理、CPU 卸载、解码与帧传 CPU，不含模型加载与 MP4 编码。HelixWorld 在该口径下为 0.77，非流式双向参考则用全生成解码时间除以全时长，不可直接比快慢。同步证据除 DeSync 数字外，还有高尔夫挥杆与架子鼓的声谱图：共享视频下 HelixWorld 的瞬态与可见击球虚线对齐，暂停区间瞬态回落再随动作恢复，而 AudioX 会在暂停中产生瞬态。
喷泉右移时右声道能量持续更强，车辆左到右经过时声平衡随车位从左切到右。这些是单样本可视化，支持声画对齐但不能推广为全集的因果证明。空间阈值网格用 145 候选视角集与 150 候选固定视频集分别验世界模型与配音替换，结论在阈值放宽缩小下保持，但有效片段数随视觉阈变宽从最多 143 降到 113，说明分数依赖可定位侧向样本的覆盖。
下面两张原表分别给出 WBench 视觉与动作跟随以及 HelixBench 音画质量的完整数字，读表时注意音频列区分原生与无声、RTF 越小越快、空间分越大越好。
| Method | Audio | RTF ↓ | Average ↑ | Quality ↑ | Setting ↑ | Interaction ↑ | Consistency ↑ | Physical ↑ |
|---|---|---|---|---|---|---|---|---|
| Alaya-EVOKE-Turbo | ✗ | 4.29 | 82.0 | 81.9 | 82.1 | 83.9 | 88.1 | 74.0 |
| EchoWM | ✓ | 1.98 | 81.0 | 81.1 | 77.5 | 87.9 | 88.3 | 70.1 |
| Zing-0.5 | ✗ | 2.81 | 81.0 | 80.6 | 77.8 | 84.2 | 88.5 | 73.8 |
| LingBot-World v2 | ✗ | 5.21 | 79.4 | 81.8 | 76.8 | 82.8 | 86.5 | 69.1 |
| HY-World 1.5 | ✗ | 12.33 | 78.1 | 78.1 | 72.2 | 86.8 | 86.9 | 66.3 |
| Lyra 2.0 | ✗ | 30.87 | 76.4 | 77.1 | 73.2 | 85.6 | 79.3 | 66.7 |
| SANA-WM | ✗ | 0.79 | 76.0 | 79.3 | 76.1 | 82.2 | 80.7 | 61.9 |
| DreamX-World | ✗ | 1.04 | 75.0 | 77.5 | 80.8 | 78.6 | 74.9 | 63.3 |
| Matrix-Game 3 | ✗ | 0.58 | 71.3 | 75.5 | 63.6 | 83.6 | 74.5 | 59.3 |
| LTX-2.3 (base) | ✓ | 14.61 | 74.2 | 77.1 | 85.2 | 66.4 | 77.2 | 64.9 |
| HelixWorld (ours) | ✓ | 0.77 | 79.9 | 79.2 | 76.5 | 86.4 | 86.4 | 70.9 |
上表显示 HelixWorld 在平均分与交互、一致性上接近顶级无声模型，物理项 70.9 未居首，基座 LTX-2.3 在设置为 85.2 但交互仅 66.4，说明基座偏置与控制注入的权衡仍在；RTF 列需同卡同分辨率下看，跨论文的帧率与后处理不同则不可比。
| Model | KL ↓ | FAD ↓ | DeSync (s) ↓ | IB ↑ | CLAP ↑ | Spatial ↑ |
|---|---|---|---|---|---|---|
| LTX-2.3 (base) | 1.8040 | 7.6354 | 0.4042 | 0.2777 | 0.2577 | 0.9826 |
| EchoWM | 1.9530 | 7.7472 | 0.6745 | 0.2036 | 0.2352 | 12.6476 |
| HelixWorld + AudioX | 2.0190 | 3.9166 | 1.1764 | 0.2569 | 0.3094 | −5.7392-5.7392 |
| HelixWorld + ThinkSound | 2.2335 | 6.1876 | 0.4236 | 0.2079 | 0.2888 | 14.8467 |
| HelixWorld + PrismAudio | 2.2427 | 6.3873 | 0.4582 | 0.2152 | 0.2716 | −9.5072-9.5072 |
| HelixWorld (bidirectional teacher) | 1.5414 | 3.0775 | 0.4988 | 0.2700 | 0.2676 | 33.2428 |
| HelixWorld (causal student) | 1.3934 | 2.3872 | 0.5867 | 0.2987 | 0.3016 | 41.7583 |
上表显示因果学生在 KL、FAD、ImageBind、空间分上优于双向教师、EchoWM 和 3 个配音基线，但 CLAP 0.3016 低于 HelixWorld+AudioX 的 0.3094，不构成对全部配音基线的全面超越；DeSync 为 0.5867 秒略高于基座的 0.4042 秒，说明清晰度与空间对齐的增益伴随轻微同步代价；配音三行的视频固定而音频替换，空间负分直接暴露无相机条件的短板，限制是该协议只证固定视频下的音频差距，不证各自独立生成的整体优劣。
拿掉渐进注入与轨迹蒸馏会怎样？
渐进注入对照比较一步全量微调，在 ViPE 恢复轨迹下旋转误差从 0.1237 降到 0.1144、平移误差从 0.0957 降到 0.0823，支持逐步解冻能保住预训练几何表示，但只报了该评测器的误差，未测其他位姿估计器下的泛化。三轨文本对照比较视频单轨与视频加音频双轨，在跨提示格式交叉评测中三轨的 ImageBind 最高，支持显式声源绑定增强跨模态一致，但增益集中在联合提示下，单轨推理时优势收窄。自强迫加在线轨迹蒸馏在 WBench 上把平均从 77.9 提到 78.7，一致性与物理项提升最明显；30 秒长 rollout 中云结构与地标伪影更少。
DINOv3 多样性涨 21.7%，CLIP 多样性涨 13.5%，说明稳住 rollout 的同时没有压掉样本多样性。长程微调对带与不带轨迹蒸馏的 2 分支都有正交增益，合用时平均达 79.1 为最好，但物理项略低于只加轨迹蒸馏的分支，说明长窗监督与块级轨迹引导的权衡仍需按场景调。失败侧也有记录：只用分布匹配会颜色退化与声音丢失，阈值极端时空间分绝对值整体下移但排序不变。
哪些还没测、哪些不能推广？
原文明确的边界有四处。数据上最终语料偏向能通过真立体声与度量位姿的干净片段，音乐、旁白、多声源与弱立体声被系统排除，模型在这些分布上的行为未评测。评测上 DeSync 只在 165 个事件案例上适用，空间分只在视角子集的有侧向样本片段上平均，一直居中或检测失败的片段不计分，分数不能读成全集平均。基线上有利条件要看清：配音对比固定了 HelixWorld 视频，只比音频；世界模型对比各用自家视频，只比同首帧同控制下的画面与跟随。
成本上训练用六节点每节点 8 卡 H200 等大规模资源，推理只报单张 H800 在特定分辨率帧率下的稳态值，换卡、换分辨率或计入首块延迟后结论会变。相关不等于因果：声像随视角转动的统计一致不能证明模型理解了物理声学，仍可能是视觉位置与能量摆动的关联拟合。
复现第一步做什么、需要什么？
先按原文管线复刻数据门：容器要求横屏不低于 768 乘 512、帧率在 23.9 到 121 之间后归 1 到 24 帧每秒、必须有双声道；用能量差与相位相关剔假立体声，用 PySceneDetect 按 HSV 直方图差 0.35 切镜头并扔掉短于 5 秒的碎片，用帧差中位数判静止但保留静止相机下的活动事件；再用音画大语言模型按视觉完整与声学剧情两准则过滤，连续 10 段判非剧情则整上传提前终止。
标注侧对真实 footage 用 VGGT-Omega 加 Depth Anything V3 做度量恢复，游戏用引擎真值，再按平均速度小于 40 米每秒、瞬时不超过 50、加速度不超过 20、跨窗拼接残差不超过 0.05 米做门控，动作量化成 81 类。模型侧从 LTX-2.3 出发，先教师强制适配块因果，再回归教师端点初始化学生，学生按 1.0、0.9、0.7、0.4、0 的 4 步计划展开，轨迹事件概率 0.1、伪分数每次 5 步，推理用 4 步随机去噪、无分类器引导为 1。评测复现要锁 1015 例的适用子集、VGGish 与 PaSST 版本、阈值 0.2 与 0.1 及先视频后音频的绑定顺序。
论文给出项目页与 GitHub 链接，第三方可达不等于权重已公开，代码、权重、在线系统三者要分开确认。
什么时候值得试、还缺哪项验证？
当任务需要第一人称漫游或运镜且声音必须随视角左右摆动、又要求键盘动作实时响应时，HelixWorld 的 2 阶段做法值得试：渐进注入保控制跟随，在线轨迹蒸馏加长程微调保长 rollout，联合生成保空间对齐。若只是离线短片配音或无相机运动，级联配音更省事，不必上交互世界模型。还缺的验证是弱立体声与多声源下的空间分、不同位姿估计器与新场景的迁移、首块延迟与长时交互的主观疲劳，以及训练与推理成本的完整拆分。误解澄清：实时指稳态快于实时而非零延迟。
空间分高指在可定位侧向样本上声画同向率高，而非所有片段都有声场旋转；静音评测打平或落后不否定音画价值，因为 HelixWorld 的增益本就来自相机绑定的声音。
📎 论文与评分元数据
排名：前50% | 文档类型：模型报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses