📄 EchoWM: Open and Enterable Omnimodal World Models

标签：#音视频生成 #多模态模型 #音视频交互 #长音频处理

10.0/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5

🔥 10.0/10 | 前10% | 文档类型：系统技术报告 | 评分置信度：中 | #音视频生成 | #多模态模型 | #音视频交互 #长音频处理 | arxiv

👥 作者与机构

第一作者：Songchun Zhang（正文列出 HKUST、PKU、Joy Future Academy, JD 等九家机构，但全文提取未保留作者编号映射） 通讯作者：正文未明确标注 作者列表：Songchun Zhang、Yaowei Li、Junhao Zhuang、Weiyang Jin、Haoyu Wang、Xin Lu、Yilang Sun、Shiyi Zhang、Haoran Li、Xiaoxiao Ma、Yuming Li、Yijun Liu、Yaofeng Su、Yanwen Ma、Haoyu Wu、Zihan Su、Yue Ma、Lvmin Zhang、Haoyang Huang、Zeyue Xue、Anyi Rao、Nan Duan（机构：HKUST、PKU、Joy Future Academy, JD、HKU、THU、USTC、FDU、Beihang University、Stanford University）

💡 毒舌点评

EchoWM 对音频的处理不是装饰性附加，而是把声音纳入可继续世界，这一点很有辨识度。相机意图和课程训练也相互匹配。当前宣传词“enterable”容易让人联想到完整游戏或机器人环境，实际证据只支持连续视点导航与生成式反馈；持久状态和任意行动仍待后续工作验证。

📌 核心摘要

现有世界模型多生成静音视觉轨迹或依赖特定游戏动作空间，用户只能沿固定控制器进入；但真实可导航环境需要脚步、碰撞、环境声和语音与画面同时变化。EchoWM 将“相机意图”定义为共同接口：离散键盘命令和连续位姿都转换为有米制尺度的相对 6-DoF 轨迹，第一视角表示观察者运动，第三视角则由数据学习相机、角色或车辆协同。

模型原生联合生成 720p 视频、环境声、音乐和语音，并通过持续缓存支持多轮继续。训练先用音视频丰富数据建立世界先验，再冻结主干从控制干净数据学习导航，最后小步联合适配；因果教师强制和短长时 Self-Gradient Forcing 减轻自生成历史漂移。公共 WBench、SANA-WM-Bench 和 200 例人评支持轨迹跟随与视觉质量。

边界同样重要：交互主要是相机导航，不含任意角色动作、游戏规则或确定碰撞，也没有持久 3D 记忆。

公开视频、仿真和游戏数据中的控制与声音质量各不相同，3 阶段训练正是为隔离这些职责。模型能在未显式训练的机器人或 2D 风格场景产生定性结果，但作者明确不把它们当动作迁移证明。人评偏好有场景差异，对 LingBot 的总体比例也未超过半数，因此不能宣传为所有对照上绝对胜出。代码公开提升架构透明度，训练混合权利、过滤阈值和完整资源仍需进一步披露。

🔗 开源详情

论文首页给出项目页和 https://github.com/jd-opensource/JoyAI-Echo，源代码开放状态明确。正文没有同等明确说明全训练数据、过滤后的混合、全部模型权重及可商用许可，因此按代码级而非完整数据训练包评分。复现公共评测还需大量算力和具体生成配置，仓库版本应与论文提交时间绑定。

🏗️ 方法概述和架构

交互条件首先标准化异构控制。离散前后左右、转向和连续相机位姿被转换为局部相对 6-DoF 轨迹，统一旋转、平移、轴方向和时间采样。数据集级稳健百分位尺度保留不同来源中的运动幅度，避免每段独立归一后大步和小步变得不可区分。轨迹条件经几何感知分支注入音视频生成主干；第一与第三视角不需要不同动作编码器，模型从场景数据学习观察者运动与可见主体行为之间的关系。

下图请追踪，交互条件先标准化异构控制后，camera intent、UCPE 与视听交互怎样串成共同控制坐标。

图中 UCPE 将相机意图接入视频分支，视听交互再让音频响应场景变化；这些连线也帮助理解后文训练资料的分阶段职责，但并未维护显式 3D 地图或保证严格物理状态。

训练资料来自游戏、仿真、互联网与音频丰富视频，经过相机估计、轨迹质量筛选、统一编码和音视频同步清洗。AV-CPT 使用声音和语音丰富样本继续预训练世界先验；Action-SFT 冻结该先验，以控制干净运动单独学习导航；较小且同时高质量的数据用于低学习率 Joint-FT，让轨迹和声音重新协同。这种顺序防止噪声动作数据破坏已经形成的视听世界能力。

长时生成把预训练双向多步扩散骨干逐步改为因果少步系统。音视频 teacher forcing 初始化按 chunk 的因果注意，自梯度强制在模型生成的历史上训练，短时阶段学习局部误差恢复，长时阶段延伸同步轨迹。推理持久保存流式 KV cache，不必把之前视频重新解码为外部记忆。评价使用 WBench 官方 158 例导航的 5 维分数、SANA-WM 短长时轨迹和 961 帧因果协议，以及 200 例的 5 维主观比较。

相机轨迹标准化需固定坐标轴、旋转表示、单位和采样时间；稳健百分位尺度在数据集级估计，既保留相对运动幅度，又降低异常位姿的影响。第三视角中轨迹只控制相机意图，角色移动是模型根据数据相关性生成，不是显式角色动力学。AV-CPT、Action-SFT 与 Joint-FT 的冻结策略限制灾难性遗忘，最终低学习率联合阶段负责恢复动作与声音协同。

教师强制把干净历史提供给因果模型，SGF 才将自己的生成作为后续条件；短时和长时阶段分别处理局部误差与累积漂移。KV cache 保存有限窗口特征，不能回读 1 个显式可编辑的 3D 地图。

评价生成时保持相同提示、轨迹和长度，对照差异才可归因于模型。导航轨迹的平移与旋转都以相邻帧相对量输入，避免把绝对世界坐标误当可跨场景共享的控制。

💡 核心创新点

1. EchoWM 连接了 2 条通常分离的路线：可控视觉世界模型和联合音视频生成。声音不是事后配乐，而与视频共享因果历史，环境声、音乐和语音能在继续生成时提供离屏和社交信息。相机意图把控制从特定角色按键解耦为几何轨迹，使该模型覆盖第一视角走动、第三视角跟拍、车辆和一般场景。

2. 分阶段课程体现数据职责隔离：音视频丰富但动作不干净的数据学世界，轨迹可靠但可能无声的数据学导航，最后只在双重高质量子集共同调整。因果后训练则让模型看到自己的错误分布，而非永远依赖干净历史。持续 KV cache 将上下文内化到流式状态，支持多轮音视频继续。创新不能被夸大为完整物理模拟，因为相机轨迹仍是唯一显式动作，声音通过既有跨模态耦合响应而无独立动作到音频控制器。

3. 原生音频生成带来的价值是动作之外的信息：离屏声源、语音和环境变化可增强世界感，但当前没有单独控制声音事件的动作接口。论文将这种能力限制为从视听联合数据中学习的条件相关，而非物理声学模拟。相机意图作为统一接口降低了数据源控制器差异，却也把交互边界限定在视点。SGF 和分阶段数据课程共同减少 rollout 漂移，是长时生成的重要工程创新，但没有消除持久状态缺失。

📊 实验结果

把 EchoWM 与 EchoWM-Flash 同所列世界模型、LingBot、HappyOyster 放在一起比较时，WBench、SANA-WM-Bench 及 200 例人评中的质量、交互和偏好分别如何？

在 WBench Navigation 官方 158 例 split 上，未蒸馏 EchoWM 的 Average 为 81.7，按 0–100 分且越高越好，在表列世界模型中最高。4 步 EchoWM-Flash 的 Average 为 81.0，Interaction 则以 87.9 略高于 EchoWM 的 87.2。少步版本因而大体保留总体质量并略改善交互项；0.7 分的 Average 差距和单项反转表明 2 种版本各有取舍。

200 例人评中的 46.50% 与 63.13% 是相对偏好，而且协议保留“双方都好”或“双方都差”选项，适合解释为对手内比较而非绝对成功率。对 HappyOyster，自动驾驶和多社交场景偏好分别为 75% 与 81.25%，机器人和自然户外差距则较小，显示收益具有领域依赖。论文同时说明训练未纳入 2D、2.5 维游戏与机器人数据，因此这些展示提供的是定性跨域潜力。

SANA 长轨将观察窗口从 241 帧扩至 961 帧：EchoWM 的平均和最低成像质量较高，困难轨迹中的部分姿态误差仍会退化。多视角重建还依赖下游流程，只能辅助说明空间连贯性，不能视作米制几何精度。WBench 与 SANA 测量视觉、交互和轨迹表现，并未覆盖游戏规则或物理状态一致；论文也缺少单模块消融，当前收益应绑定整套系统。

在 961 帧简单与困难轨迹上，EchoWM-Flash 的 VBench Overall 差异有多大，姿态误差是否同步占优？

80.13 与 81.06 描述的是视觉质量，不是位姿精度；但困难轨迹上仍存在控制误差，且部分姿态误差落后 SANA-WM，因此这 2 项分数不能写成全面胜出，边界也只覆盖当前 961 帧协议。

🔬 细节详述

WBench 官方分数归一到 0–100，Quality、Setting、Interaction、Consistency 与 Physical 分别衡量视觉、场景遵循、动作响应、时空持续和因果合理性。EchoWM 和少步 EchoWM-Flash 都按相同的 158 例导航 split 与多轮协议测试。SANA-WM-Bench 分短时前 241 帧、完整轨迹和 961 帧因果版本，避免只在首个片段比视觉。

自建 WMB 有 200 例，覆盖游戏、人形机器人、自然户外、家庭与多人社交，标注者比较语义遵循、初始世界一致、时空一致、运动质量和美学。偏好百分比不是绝对通过率，“两者都好/都差”另行保留。训练混合不含 2D 游戏与机器人数据，相关结果可能来自相邻视觉经验而非真正动作迁移。

音频示例同时给出时间帧、波形和对数频谱，包含环境声、音乐和语音。作者明确不声称独立监督动作到音频控制；Joint-FT 只通过模型跨模态耦合使声音随世界变化。代码公开让架构可查，但训练混合的来源权利、全部 checkpoint、过滤阈值和计算资源仍需仓库进一步核验。

训练来源经过相机估计与音视频同步过滤，估计误差可能与内容类型相关，例如快速旋转、镜头切换和运动模糊更易被删，形成选择偏差。公开代码可以复核模型接口和推理流程，但若无同等数据混合、过滤和大规模算力，难以重现全部成绩。声音结果应同时测同步、语义一致和音质，波形或频谱展示只提供个例。多视角重建来自下游方法，不是模型直接输出的永久几何。持续生成还需明确缓存窗口、首帧依赖和跨轮重访误差。

⚖️ 评分理由

• 创新性 (1.8/2)：原生全模态输出与相机意图被统一到可进入、可交互的世界模型中，并以 6-DoF 控制连接生成状态；贡献是系统级整合，持久 3D 记忆仍未建立。

• 技术严谨性 (1.4/1.5)：含数据引擎、3 阶段课程、因果后训练和持续缓存，链条完整。

• 实验充分性 (1.5/1.5)：实验设计覆盖 WBench 与 SANA-WM-Bench 2 个公共基准、158 例导航、241/961 帧长轨与 200 例人评，并保留困难姿态退化；但缺少独立模块消融、交互延迟和严格几何误差。

• 清晰度 (1.0/1)：论文以相机意图总览图串起 6-DoF 轨迹、3 阶段数据课程、因果后训练与持续缓存，自动指标和人评表分别标注短长轨、第一、第三视角及相对偏好，定性跨域示例也明确降级。

• 影响力 (1.2/1.5)：支持 720p 第一、第三视角导航与原生音视频输出，公共导航和人评显示系统潜力；动作接口仍限相机轨迹，物理状态和部署成本尚未闭合。

• 开源 (1.5/1.5)：明确发布代码和项目页，训练数据与全部模型产物开放仍需核验。

• 可复现性 (0.4/0.5)：披露相对 6-DoF 标准化、AV-CPT/Action-SFT/Joint-FT、教师强制与短长时 SGF、WBench 的 158 例和 SANA 长轨协议；训练混合比例、过滤阈值、优化日程、完整算力和 KV 缓存窗口仍未完整给出。

• 工程/实践价值 (1.2/1.5)：完成度和展示强，持久 3D 记忆与确定性交互仍是核心缺口。

🚨 局限与问题

交互仅限可映射到相对 6-DoF 的导航与视点，不能表示跳跃、攻击、操纵或机器人命令，也没有游戏规则和确定性碰撞。缺少显式持久 3D 记忆，多轮会漂移，异常大位移速度旋转未验证。

进一步审视

相对 6-DoF 只能表达导航和视点，跳跃、攻击、抓取、机器人指令等任意主体意图没有显式表示。系统没有游戏引擎的规则、碰撞状态和确定转移，视觉合理不等于可计算物理。缺乏持久 3D 记忆会让几何、身份、世界状态与声音在多轮漂移；持续 KV cache 只是有限窗口记忆。

训练筛选范围之外的大位移、高速和异常旋转未建立泛化。互联网和游戏位姿估计仍含误差与内容相关偏差。主观人评与定性重建不能替代严格几何、音频同步误差和交互延迟测量。

内容安全、训练版权与人物声音权利也未因技术性能自动解决。相机控制可能被滥用于合成误导场景，语音生成增加身份风险。真实机器人或驾驶部署还要求确定性状态、碰撞约束和安全控制器，当前概率视频模型不满足。缺少端到端交互延迟、显存和并发数据也阻碍实时应用判断。

← 返回 2026-08-25 语音/音乐/音频论文速递