📄 Tora3: Trajectory-Guided Audio-Video Generation with Physical Coherence

#音频生成 #音视频 #多模态模型 #扩散模型

✅ 评分：7.8/10 | arxiv

👥 作者与机构

第一作者：Junchao Liao (阿里巴巴云计算)
通讯作者：Long Qin (阿里巴巴云计算，复旦大学)，Weizhi Wang (阿里巴巴云计算)
其他作者：
- Zhenghao Zhang (阿里巴巴云计算)
- Xiangyu Meng (阿里巴巴云计算)
- Litao Li (阿里巴巴云计算)
- Ziying Zhang (阿里巴巴云计算)
- Siyu Zhu (复旦大学)
机构信息：主要来自阿里巴巴云计算（具体为阿里云智能集团）和复旦大学。论文未明确标注具体实验室。

💡 毒舌点评

亮点：论文的核心洞察——将稀疏的物体轨迹从单纯的视频控制信号，提升为跨模态共享的“运动学先验”，并以此统一约束视频中的物体运动与音频中的事件时序和强度，这个切入点非常聪明且具有物理直觉，是解决音画不同步“老大难”问题的一次优雅尝试。

槽点：论文在方法描述上过于“学术八股”，把一个直观的想法包裹在复杂的公式和模块命名里（比如“Hybrid Flow Matching”本质上就是区域自适应的噪声调度）。另外，新构建的PAV数据集号称有46万条，但数据清洗和轨迹提取的细节（如CoTracker3在复杂场景下的失败案例）对结果可靠性的影响被一笔带过，有“大力出奇迹”之嫌。

📌 核心摘要

本文针对现有音视频（AV）生成模型中存在的运动不真实、声音与运动事件不同步、声音强度与运动强度不匹配等问题，提出了Tora3框架。其核心创新在于将物体轨迹视为连接视觉与听觉模态的共享运动学先验，而非仅用于控制视频。为实现这一目标，Tora3包含三个关键技术组件：1）轨迹对齐的运动表示，通过在视频潜在空间中直接沿轨迹传播首帧特征来注入运动线索，避免了额外运动编码器的引入；2）运动学-音频对齐模块，从轨迹中推导出位置、速度、加速度等二阶运动学状态，并通过交叉注意力注入音频扩散模型，为声音生成提供精确的事件时序和强度提示；3）混合流匹配机制，对轨迹区域和非轨迹区域采用不同的概率流，以在保持轨迹保真度的同时维持局部外观一致性。此外，论文构建了一个大规模、以运动为中心的PAV数据集（46万片段）。实验表明，Tora3在视频质量（FVD 784.1）、轨迹跟随精度（TE 12.13）、音视频同步（FGAS 0.234）以及运动-声音相关性（MAIC 0.63）上均优于强基线模型。局限性在于其效果高度依赖于输入轨迹的质量与准确性，且对复杂物理交互（如材质、3D声学）的建模能力有限。

🏗️ 模型架构

Tora3基于一个双流扩散Transformer（DiT）架构（继承自Ovi），包含独立的视频和音频主干网络。其整体输入输出流程及核心组件如下：

输入：文本提示（Prompt）、可选的初始图像、以及物体轨迹（一系列物体在每帧的2D坐标）。
视频分支流程：
- VAE编码：初始图像通过预训练的VAE编码器得到潜在表示 z。
- 轨迹对齐运动表示：这是核心创新之一。不引入额外编码器，而是直接将轨迹映射到潜在空间坐标。对于每个物体的轨迹，在视频潜在序列的每一帧中，将该轨迹点对应的潜在位置特征，替换为初始图像在该物体起始位置的特征 z。非轨迹区域初始化为零（首帧除外）。这相当于在潜在空间“绘制”了运动的物体。
- 注入与生成：上述构建的 x_traj 作为条件，与噪声潜在变量 x_t 一起输入视频DiT主干。主干由N个Fusion Block组成，内部包含自注意力、跨注意力（用于融合文本嵌入）和前馈网络。
音频分支流程：
- VAE编码：目标音频波形通过音频VAE编码器得到音频潜在表示。
- 运动学特征提取：从轨迹中计算每个物体在每一帧的8维运动学特征向量 ϕ，包括：归一化位置 (r)、速度向量 (v)、加速度向量 (a)、速度模长 ||v||、加速度模长 ||a||。这些特征经过归一化和对数压缩后，通过一个3层MLP编码器 ℰ_k 映射为运动学令牌 H_kin。
- 运动学-音频融合：在音频DiT的每个Transformer块中，在自注意力层之后、原有的文本跨注意力层之前，插入一个辅助的跨注意力层。该层以音频潜在状态为查询（Query），以运动学令牌 H_kin 为键（Key）和值（Value），并应用RoPE保持时间对齐。输出通过一个可学习的门控机制（参数 γ，初始化为-10）与原始音频状态残差相加，从而自适应地平衡语义条件与运动学条件。
混合流匹配（视频训练目标）：
- 这是另一个核心创新。在训练时，对视频潜在空间的不同区域采用不同的流匹配目标。
- 定义区域：根据轨迹坐标定义二值掩码 M，标识出轨迹经过的时空位置 Ω_traj。
- 混合目标：
  - 在非轨迹区域 (M=0)：采用标准流匹配目标，即从干净潜变量 x_0 到高斯噪声 ϵ 的线性插值。
  - 在轨迹区域 (M=1)：将噪声终点替换为之前构建的轨迹条件潜变量 x_traj，即从 x_0 到 x_traj 的插值。这迫使模型在这些区域学习保留轨迹注入的运动先验。
- 损失函数：视频损失被分解为轨迹区域损失 L_traj 和非轨迹区域损失 L_out 的加权和（权重均为0.5），以防止稀疏的轨迹区域被主导。音频损失沿用Ovi的原始损失。
输出：视频DiT和音频DiT分别去噪后，通过对应的VAE解码器生成视频帧序列和音频波形。

设计理由：

无编码器运动注入：避免引入额外参数和优化复杂性，防止运动信号在编码中衰减，保持潜在空间一致性。
二阶运动学特征：位置提供空间上下文，速度指示运动模式，加速度对冲击等事件特别敏感，模长提供强度信息。这组特征为音频生成提供了丰富的物理线索。
门控融合：防止运动学条件在训练初期压倒语义条件，实现平滑、自适应的跨模态对齐。
混合流匹配：承认不同区域对运动保真度和外观灵活性的需求不同，进行针对性优化。

💡 核心创新点

轨迹作为共享运动学先验：是什么：首次将物体轨迹明确作为连接视频生成与音频生成的共享中间表示，用以约束两个模态的运动一致性。之前方法：轨迹仅作为视频生成的控制信号；音视频生成主要在语义层面对齐，缺乏显式的运动感知共享结构。如何解决：在视频分支，轨迹直接指导物体运动轨迹；在音频分支，从轨迹导出的运动学状态（位置、速度、加速度）直接控制声音事件的发生时间、类型和强度。效果：实验表明，同时使用（共享）时，模型在运动真实感（FVD 811.8）、音质（PQ 6.93）和音画同步（FGAS 0.225）上达到最佳平衡，优于仅用于视频或仅用于音频的情况。
轨迹对齐的运动表示：是什么：一种在视频潜在空间中，通过沿轨迹传播首帧特征来直接注入运动线索的方法，无需专用运动编码器。之前方法：使用独立的运动编码器（如Tora）或通道拼接（如WanMove）来处理轨迹，增加参数和复杂度。如何解决：利用VAE潜在空间的局部平滑性，将首帧物体特征复制到后续帧的轨迹对应位置。效果：在轨迹误差（TE 13.03）、音画同步（FGAS 0.198）和事件时序误差（ETE 0.247）上优于Tora-style和WanMove-style方法，且参数量无增加。
运动学-音频对齐模块：是什么：一个基于轨迹导出的二阶运动学状态（位置、速度、加速度及其模长）来调制音频生成的模块。之前方法：音频生成仅依赖文本或视觉特征的语义对齐，无法精确关联运动动力学。如何解决：将8维运动学特征编码为令牌，通过音频Transformer内部的跨注意力层注入，并使用门控机制控制影响强度。效果：逐步加入更丰富的运动学分量（从无到有，到仅位置速度，再到全二阶状态），所有同步和相干性指标（FGAS， ETE， MAIC）持续单调提升。完整模型达到FGAS 0.209， ETE 0.221， MAIC 0.61。

🔬 细节详述

训练数据：构建了PAV数据集，包含46万个视频片段。来源包括过滤后的VGGSound、ACAV-100M、OpenVid1M、Pexels及内部数据。使用Qwen3-VL筛选出具有平移、旋转、滑动、抛物线运动等模式的片段。使用SAM2分割首帧物体，再用CoTracker3跟踪得到轨迹标注。使用Qwen3-VL-8B-Instruct和Qwen3-Omni-Captioner生成文本描述。评估集包含50个代表性视频。
损失函数：
- 总损失：L_final = 0.85 * L_video + 0.15 * L_audio^Ovi
- 视频损失：L_video = λ_out * L_out + λ_traj * L_traj，其中 λ_out = λ_traj = 0.5。
  - L_out = Σ[(1-M_soft)⊙(v_hat - v)^2] / [Σ(1-M_soft) + δ] （非轨迹区域损失）
  - L_traj = Σ[M_soft⊙(v_hat - v)^2] / [ΣM_soft + δ] （轨迹区域损失）
  - M_soft 是对二值轨迹掩码 M 进行高斯模糊（σ=0.5）得到的软掩码。
  - δ = 1e-8。
- 音频损失：沿用Ovi模型的原始音频损失 L_audio^Ovi。
训练策略：
- 优化器：AdamW， β1=0.9, β2=0.999，权重衰减 0.01。
- 学习率：4e-5。
- 训练步数：30,000步。
- 批次大小：全局批次大小为32。
- 硬件：32块 NVIDIA A100 GPU。
- 精度：BF16混合精度。
- 正则化：梯度裁剪为1.0；轨迹条件丢弃（dropout），概率 p=0.05。
- 初始化：从预训练的Ovi检查点初始化。门控参数 γ 初始化为 -10。
关键超参数：
- 运动学特征编码器 ℰ_k：3层MLP。
- 轨迹掩码高斯模糊核 σ：0.5。
- 训练损失权重：视频0.85，音频0.15。
- 轨迹区域与非轨迹区域损失权重：各0.5。
推理细节：论文未提及特殊的推理策略（如DDIM采样等），使用标准的流匹配采样过程。在 t=1 时，初始潜变量 x_1 在轨迹区域初始化为 x_traj，在非轨迹区域初始化为高斯噪声 ϵ。

📊 实验结果

主实验对比（表1）：

模型	参数量	AS↑	FVD↓	CE↑	CU↑	PC↓	PQ↑	CLAP↑	CLIP-T↑	FGAS↑	ETE↓	MAIC↑	TE↓
LTX-2	22.16B	4.31	989.6	3.28	6.17	2.43	6.73	0.31	0.29	0.187	0.284	0.41	-
Ovi	11.66B	4.40	887.7	3.30	6.01	1.85	6.44	0.43	0.30	0.156	0.301	0.37	-
MOVA	30.00B	4.63	849.8	3.05	6.31	1.77	6.95	0.46	0.31	0.201	0.236	0.49	-
AVControl	22.32B	4.52	829.6	3.29	6.22	2.18	6.79	0.39	0.30	0.209	0.214	0.55	19.95
Tora3	12.25B	4.61	784.1	3.34	6.43	1.81	7.09	0.44	0.31	0.234	0.181	0.63	12.13

关键结论：Tora3在视频质量（最低FVD）、音质（最高PQ）、音画同步（最高FGAS）和运动-声音相干性（最低ETE，最高MAIC）上全面领先，且轨迹误差（TE）最低。在参数量远小于LTX-2和MOVA的情况下，取得了最佳综合性能。

消融实验：
- 共享先验的有效性（表2）：
  设置 AS↑ FVD↓ PQ↑ FGAS↑ ETE↓ MAIC↑
  Neither 4.39 854.7 6.75 0.173 0.296 0.39
  Video only 4.51 823.6 6.81 0.198 0.247 0.46
  Audio only 4.42 845.2 6.89 0.209 0.221 0.61
  Both (full) 4.47 811.8 6.93 0.225 0.193 0.66
  - 结论：同时用于视频和音频分支（共享先验）在大多数指标上达到最优，验证了核心假设。
- 运动表示设计（表3）：
  方法 AS↑ FGAS↑ ETE↓ TE↓ # Params
  Tora-style 4.49 0.179 0.271 17.06 12.65B (+0.99B)
  WanMove-style 4.44 0.184 0.251 13.91 11.66B (+590K)
  Ours 4.51 0.198 0.247 13.03 11.66B (+0)
  - 结论：本文提出的潜在空间轨迹对齐方法在效果和参数效率上均最优。
- 运动学信号分量（表4）：
  运动学信号 PQ↑ FGAS↑ ETE↓ MAIC↑
  None 6.75 0.173 0.296 0.39
  r + v 6.79 0.191 0.254 0.48
  r + v + a 6.86 0.202 0.229 0.56
  **r + v + a + v +
  - 结论：逐步增加运动学分量（位置→速度→加速度→模长），所有相干性指标持续提升，证明完整二阶运动学状态的有效性。
- 混合流匹配（表5）：
  方法 AS↑ FVD↓ TE↓ FGAS↑
  w/o HFM 4.47 811.8 12.94 0.225
  w/ HFM 4.61 784.1 12.13 0.234
  - 结论：混合流匹配一致地提升了视频质量（AS， FVD）、轨迹保真度（TE）和音画同步（FGAS）。

设置	AS↑	FVD↓	PQ↑	FGAS↑	ETE↓	MAIC↑
Neither	4.39	854.7	6.75	0.173	0.296	0.39
Video only	4.51	823.6	6.81	0.198	0.247	0.46
Audio only	4.42	845.2	6.89	0.209	0.221	0.61
Both (full)	4.47	811.8	6.93	0.225	0.193	0.66

方法	AS↑	FGAS↑	ETE↓	TE↓	# Params
Tora-style	4.49	0.179	0.271	17.06	12.65B (+0.99B)
WanMove-style	4.44	0.184	0.251	13.91	11.66B (+590K)
Ours	4.51	0.198	0.247	13.03	11.66B (+0)

运动学信号	PQ↑	FGAS↑	ETE↓	MAIC↑
None	6.75	0.173	0.296	0.39
r + v	6.79	0.191	0.254	0.48
r + v + a	6.86	0.202	0.229	0.56
**r + v + a +		v		+

方法	AS↑	FVD↓	TE↓	FGAS↑
w/o HFM	4.47	811.8	12.94	0.225
w/ HFM	4.61	784.1	12.13	0.234

⚖️ 评分理由

创新性：8/10 - 将轨迹从单模态控制信号提升为跨模态共享运动学先验是一个具有洞察力且优雅的核心思想。运动学-音频对齐模块的设计具有明确的物理动机。整体框架集成度较高。
实验充分性：8/10 - 实验设计全面，包括与多个强基线的对比、全面的评估指标（涵盖质量、同步、相干性）、以及针对每个核心组件的详细消融研究，数据支撑有力。PAV数据集的构建描述清晰。
实用价值：7/10 - 对提升生成视频的运动真实感和音画同步有明确价值，可应用于影视制作、游戏、虚拟现实等内容生成领域。但其效果依赖于准确的轨迹输入，在实际复杂场景中获取高质量轨迹可能是一个挑战。
灌水程度：6/10 - 论文结构标准，技术描述较为详实，核心创新点明确。但部分表述（如“Hybrid Flow Matching”）有将已有概念重新包装之嫌，且对数据集构建中可能存在的噪声和失败案例讨论不足。

🔗 开源详情

代码：论文中提到“Please view the build logs for errors. Generated by L A T E xml.” 并指向一个GitHub issue页面，暗示代码可能计划开源或部分开源，但未提供明确的GitHub仓库地址。论文中未明确提供开源代码链接。
模型权重：论文未提及是否公开预训练模型权重。
数据集：论文构建了PAV数据集（46万片段），但未提及是否公开该数据集。
预训练权重：模型从预训练的Ovi检查点初始化。
在线Demo：论文中未提及在线演示地址。
引用的开源项目：论文引用了多个开源工具和模型，包括：Qwen3-VL、SAM2、CoTracker3、Ovi、CLIP、CLAP、AudioBox-Aesthetics、MANIQA、MUSIQ、CAV-MAE Sync等。

🖼️ 图片与表格

图片保留建议：
- 图1 (示例图)：展示Tora3生成的音视频示例。保留 - 直观展示最终效果，吸引读者。
- 图2 (对比图)：展示轨迹引导如何更好对齐运动与声音。保留 - 直观对比，突出方法优势。
- 图3 (整体框架图)：展示Tora3的双流DiT架构、轨迹注入、运动学提取和混合流匹配等核心组件。必须保留 - 理解论文方法的关键。
- 图4 (定性结果对比)：与基线模型在摩托车、滚动球等例子上的生成结果对比。保留 - 提供定性证据，展示优势。
- 图5 (速度依赖音频变化)：展示不同拉箱子速度下生成声音的差异。保留 - 展示方法对运动强度变化的细粒度响应能力。
关键表格数据复述：
- 表1（主实验）：如上文“实验结果”部分所示，Tora3在FVD(784.1), AS(4.61), TE(12.13), FGAS(0.234), ETE(0.181), MAIC(0.63)等关键指标上达到最优。
- 表2（共享先验消融）：Both (full) 设置在FVD(811.8), PQ(6.93), FGAS(0.225), ETE(0.193), MAIC(0.66)上表现最佳。
- 表3（运动表示消融）：本文方法（Ours）在AS(4.51), FGAS(0.198), ETE(0.247), TE(13.03)上优于Tora-style和WanMove-style，且参数无增加。
- 表4（运动学分量消融）：完整特征（r+v+a+||v||+||a||）在PQ(6.89), FGAS(0.209), ETE(0.221), MAIC(0.61)上达到最优。
- 表5（混合流匹配消融）：使用HFM后，AS从4.47升至4.61，FVD从811.8降至784.1，TE从12.94降至12.13，FGAS从0.225升至0.234。

📸 论文图片

← 返回 2026-04-19 论文速递

📄 Tora3: Trajectory-Guided Audio-Video Generation with Physical Coherence#

👥 作者与机构#

💡 毒舌点评#

📌 核心摘要#

🏗️ 模型架构#

💡 核心创新点#

🔬 细节详述#

📊 实验结果#

⚖️ 评分理由#

🔗 开源详情#

🖼️ 图片与表格#

📸 论文图片#