📄 看得见的移动听得见的方向：StereoBind 的立体声视频音频联合生成
标签：#音视频生成 | #多模态学习 | #数据集 | #基准测试
评分：8.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Hanmo Chen：机构信息未在 arXiv HTML 中可靠披露
- Chengcheng Liu：机构信息未在 arXiv HTML 中可靠披露
- Tianxiao Chen：机构信息未在 arXiv HTML 中可靠披露
- Zheyu Zhang：机构信息未在 arXiv HTML 中可靠披露
- Siming Zheng：机构信息未在 arXiv HTML 中可靠披露
- Jinwei Chen：机构信息未在 arXiv HTML 中可靠披露
- Xu Yang：机构信息未在 arXiv HTML 中可靠披露
- Cheng Deng：机构信息未在 arXiv HTML 中可靠披露
- Bo Li：机构信息未在 arXiv HTML 中可靠披露
- Peng-tao Jiang：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
联合视频音频生成需同时确定发声内容、发声时刻以及声源方位如何随画面运动，要求左右声道间的强度差与时间差随可见声源连续演变，而已有模型多止于语义对应与时间同步。StereoBind以文本描述与归一化运动轨迹为输入，输出与轨迹一致的视频与双通道立体声音频，建模条件联合分布以实现动态空间对应。视觉运动绑定模块先汇聚运动参考特征再融合目标视频状态，并将融合表示提供给音频流做跨模态检索；空间轨迹编码器把轨迹映射为时序对齐的调制参数，用以适配各层音频查询。残差轨迹旋转位置编码在重采样轨迹上叠加水平与垂直残差相位，使音频自注意力显式携带相对位移信息，从而区分绝对位置条件与相对运动。在StereoWorldBench消融评测中，StereoBind完整模型的耳间强度差Wasserstein距离ILD-W为2.754 dB，低于去掉空间轨迹编码器变体的3.336 dB，数值越低表示与参考空间演变越一致。结论适用于单主导声源且以左右运动为主的情形，对多声源、遮挡与离屏声源尚未验证。原文披露训练在八张NVIDIA H20上约两天，未披露推理延迟与部署成本。
🔗 开源与复现资源
第三方资源：https://vivocameraresearch.github.io/Stereo-Bind-Project/ — 链接可访问（HTTP 200）
代码相关资源：https://github.com/vivoCameraResearch/StereoBind — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
任务的输入输出和必须保留的信息
这篇论文做的输入很具体，一段文字描述加一条归一化运动轨迹，轨迹是若干帧的 2 维坐标，取值在 0 到 1 之间。输出是两部分，一段生成的视频和一段对应的双声道立体声音频。目标不只是画面好看、声音像、时间对上，还要求听起来的方位跟着画面里发声物体的移动一起变。比如一只小狗从画面左边跑到右边，左右耳听到的响度差和到达时间差也要跟着变化，这就是论文所说的动态空间对应。
已有联合视频音频模型大多只解决听到什么和何时响，对左右声道是否有意义的空间线索约束很少。论文指出，即使模型能输出两个声道，也不保证两声道之间有符合人耳定位原理的结构化差异。对初学者来说，双声道文件和有方向感的立体声是两回事，前者只是格式，后者要求声道差异随声源运动连续演化。
下面这张示意图把任务讲得很直观，上面是生成视频里声源随时间的位移，中间对比已有模型与本文方法在立体声随时间变化上的不同，下面给出轨迹加文本到沉浸体验的总体链路，读的时候注意三排分别回答输入是什么、差别在哪、靠什么数据和评测支撑。
看图路径： 1. 先看上排小狗在五个时刻的位置与虚线轨迹；2. 再对比中排左右声道能量随时间变化的示意差异；3. 最后看下排轨迹加文本如何指向沉浸体验与数据集评测
论文图 1。原论文 Figure 1:：“To the best of our knowledge, StereoBind is the first framework for track-conditioned stereo VA generation, with StereoWorld-29K as the first large-scale dataset and…”。
从图中可以看到，上排用 5 个时刻的框标出同一只小狗的位置，虚线表示从左到右的运动路径，时间从 1.0 秒标到 5.0 秒。中排把音频画成随时间变化的左右差异示意，已有模型一侧的变化与运动对不上，而标为 StereoBind 的一侧随运动连续变化。下排把运动轨迹和文本一起指向 StereoBind，再指向沉浸体验，右侧另列出数据集与评测分支。这张图本身不证明方法有效，它只是把输入、期望输出和新增评测对象说清楚，后面的方法、数据和实验才分别回答怎么做、用什么学、怎么量。
已有路线在比什么本文补了哪一块
联合视频音频生成一路从扩散模型走到扩散 Transformer，早期用跨模态注意力把音频和视频连起来，后来出现双流结构同时建模音频和视频，也有工作加入时空先验或同步感知的训练来加强语义和时间对齐。另一路是立体声或空间音频生成，有工作用方向状态做可控立体声合成，有工作从视觉内容生成 1 阶 Ambisonics 或可控拟音，也有工作引入显式场景几何和物理空间化，还有工作用大语言模型做立体声理解。
按论文的写法，这两路各有缺口，前者语义和同步做得越来越好，但运动与听觉方位的对齐很少被考察，后者开始管空间，但声源运动与听觉空间线索随时间的对应在视频音频联合生成里仍少有人系统建模。本文的定位是做轨迹条件下的立体声联合生成，即输入里明确给运动轨迹，视频要画出沿轨迹走的声源，音频的空间感也要跟着走。
比较时要注意输入和目标是否相同，不支持轨迹输入的基线在评测里只能靠文字里加方向描述来凑运动意图，而本文方法直接吃轨迹，这不是同等条件下的公平对决细节，而是为了说明新增输入带来的差异，读结果时要把这点放在心里。
输入输出和必须保留的对应关系
把问题形式化一下会更清楚。输入是文本、轨迹和由轨迹渲染出的视觉参考，输出是视频和立体声音频，音频记为左右两路。模型要学的是给定文本和轨迹时的联合条件分布，训练和评测都要检查两件事，视频里会发声的可见物体是否沿着给定轨迹走，音频里感知到的声源位置是否跟着视觉运动一起演化。
难点在于两种表示不一样，轨迹直接说物体在画面哪里，而听觉方位是间接的，藏在左右声道的到达时间差、强度差和混响等线索里，不能把坐标直接复制成波形。论文也不去显式估计这些声学参数，而是让网络在数据监督下学出视觉运动到立体声结构的映射。初学者容易误以为给了轨迹就万事大吉，实际上还需要解决绑谁、绝对位置在哪、相对动了多少 3 个子问题，这正好对应后面的 3 个模块。
语义对应 × 时间同步 × 动态空间对应： 语义对应管听到的是什么类别的声音，时间同步管声音在什么时候响起，动态空间对应管听起来的方位怎样跟着画面里声源的移动连续变化，前两者成立时左右声道仍可能没有方向感，所以本文把动态空间对应单独拿出来建模，组合后才把听到什么、何时响、在哪里响三层对齐补全。
上面这组术语把评价层次说清楚了，只有三层都对，沉浸感才成立。后面方法里的 3 个模块正是为第三层服务的，数据和评测也是围绕第三层构造的。
StereoBind 的总体流程是什么
StereoBind 建在 LTX-2.3 主干上，主干本来就有分开的视频分支和音频分支。本文在视频分支加入冻结的运动轨迹控制模块来保证画面跟轨迹走，在音频分支的注意力和前馈里加入可训练的低秩适配器来学空间。
整体输入处理可以沿着一个样本走一遍，文字进文本编码器，轨迹一方面渲染成参考视频并经视频编解码器变成隐变量，另一方面同时送给两个轨迹编码器，视频隐变量和音频隐变量在每个 Transformer 块里经过各自的自注意力和文本交叉注意力后，进入新加的绑定块和联合视听交叉注意力，最后经解码器得到视频帧和左右声道波形。
3 个新机制的分工是，绑定块管跨模态的源感知上下文传递，绝对位置编码管逐时刻的空间调制，相对运动编码管音频自注意力里的几何修正。训练时沿用原来 LTX-2.3 的训练目标不做修改，优化的是音频侧适配器和新模块，视频侧运动控制保持冻结。
Visual Motion Binding × Spatial Track Encoder： Visual Motion Binding 负责把轨迹和画面里具体发声物体绑在一起再交给音频，Spatial Track Encoder 负责把同一轨迹编成逐时刻的绝对位置调制信号，前者解决绑谁的问题，后者解决每一时刻在哪里的问题，两者搭配让音频既知道目标实体又知道时间对齐的位置，组合后新增了源感知且时间对齐的空间条件。
条件联合分布的写法如下，符号含义是给定文本、轨迹及其渲染参考时视频与立体声音频的联合分布，论文的目标就是让这个分布同时满足视觉跟轨迹和听觉跟视觉运动两层一致性。
\[p_{\theta}(V,\mathbf{A}\mid c,P,\mathcal{R}(P)),\]读总体结构图时，先抓主路再看 3 个子图各自解决什么，下面的占位符对应论文的方法总览图，图中有视频自注意力、音频自注意力、绑定块、联合交叉注意力以及右侧的视频解码器和音频解码器，轨迹相位和轨迹嵌入两条线分别从下方汇入注意力。
看图路径： 1. 沿左侧文本加轨迹到中间双分支再到右侧输出看主路径；2. 对比下方三个子图各自的输入输出与汇入位置；3. 注意冻结与可训练模块在图例中的不同标注
论文图 3。原论文 Figure 3:：“Overview of the StereoBind framework. StereoBind introduces VMB for audiovisual source binding, STE for absolute track conditioning, and RT-RoPE for relative motion modeling.”。
这张总览图把输入在左、中间堆叠的 Transformer 块、输出在右的布局画得很全。上方面板显示文本编码器、视频编解码器、运动控制与立体声适配器的位置，下方 3 个小图分别展开绑定、绝对编码和相对编码的实现，中间的箭头表示轨迹信息以何种形式进入哪一处注意力。看图时不要把冻结的雪花标和可训练的火焰标弄混，也不要把视频前馈和音频前馈的更新方式记反，具体冻结与更新以正文实验设置为准。
绑定块怎样把轨迹和画面物体交给音频
Visual Motion Binding 简称 VMB，是跨模态的表示桥，它的直觉是，只看轨迹不知道画面里哪个物体在响，只看正在生成的视频不知道该往哪个方向走，所以要先把规定的运动和当前画面实体对上，再把结果交给音频。实现上每个绑定块里有 64 个可学习的 VMB Token，处理分三步走。
第一步以可学习 Token 为查询去注意运动参考特征，得到编码了规定轨迹的表示，第二步再去注意当前目标视频表示，把规定运动和正在合成的实体场景对上，第三步把参考聚合、目标关联以及两者的残差拼起来经多层感知机融合成统一表示，音频流再以交叉注意力从这个融合表示里读出空间条件特征，送入后面的联合视听交叉注意力。残差项的作用是刻画目标视频上下文对参考表示的修正，融合表示因此同时带有运动规定和视觉实体信息。
Token 数量可以理解为用来装源感知上下文的容量，论文试过 16、32、64、128，效果并非严格单调，但大容量总体更能保留上下文，64 之后增益趋于饱和而显存开销上升，所以最终选 64。
运动轨迹 × 运动参考视频 × 轨迹嵌入： 运动轨迹是归一化二维坐标序列作为原始输入，运动参考视频是把轨迹渲染成可视参考后经视频侧得到的特征形态，轨迹嵌入是把同一轨迹经时序编码后送往音频侧的调制形态，前者是输入，后两者是同一输入在视觉侧和音频侧的不同表示，分工是让视频画出该物体、让音频知道该位置，组合后新增了跨模态一致的轨迹使用方式。
上面这组输入形态解释了为什么同一轨迹要在视频侧和音频侧各走一遍，两侧不对齐就无法实现绑定。下一节讲绝对位置编码如何在此基础上做逐时刻调制。
绝对位置编码怎样逐时刻调制音频
Spatial Track Encoder 简称 STE，解决的是逐时刻的时间对齐问题。绑定块给了源感知的上下文，但没有显式的逐 Token 空间位置信号，STE 就把 2 维轨迹映射成与音频 Token 对齐的空间条件。做法是先把轨迹线性投影到隐空间，再过时序 Transformer 和层归一化得到共享的运动上下文，接着按音频 Token 长度做线性插值重采样，使每一音频 Token 都有对应的几何信息。不同 Transformer 层的音频表示在演化，直接套用同一份轨迹嵌入会有表示失配，所以每层再加一个可学习的 Track-Adaptive 表，把共享表示适配成本层的位移、缩放和门控 3 组参数。
位移和缩放用来调制音频查询，使其按轨迹去检索绑定块的上下文，门控控制检索到的更新以多大强度加回去。更新以门控残差形式写回，保留预训练的音频残差通路，只在绑定通路里注入轨迹相关信息。下面的公式就是该门控残差写回，符号里波浪线表示调制后的音频表示，加号下标表示叠加了绑定块输出后的表示，圆点乘是逐元素相乘，门控决定每 1 维加多少。
\[\begin{gathered}\widetilde{X}_{a}^{\ell}=\operatorname{RMSNorm}(X_{a}^{\ell})\odot(1+\gamma_{\ell})+\beta_{\ell},\\ X_{a,+}^{\ell}=\widetilde{X}_{a}^{\ell}+g_{\ell}\odot D_{s}^{\ell}.\end{gathered}\]这样设计的好处是轨迹决定了怎么查和加多少，而不是直接改写音频主路。绝对位置信息因此以显式条件进入每一层，又允许各层按自己的特征空间做适配。消融里去掉 STE 后立体声能量平衡和学习表征指标下降明显，说明绝对位置对空间连贯性很关键，但具体下降多少要到消融表里看，不能只记结论。
相对运动编码怎样改注意力的旋转位置
Residual Track RoPE 简称 RT-RoPE，管的是相对运动。STE 给的是绝对在哪里，这里要的是动了多少。预训练的 RoPE 本来只编码时间位置，RT-RoPE 在上面加一个与轨迹相关的残差相位。实现是把轨迹重采样到音频 Token 长度并归一化到负 1 到 1，每个注意力头的旋转对半分给水平和垂直两个子集，每个轴用对数间隔的旋转频率网格，基值设为 2 以保持低频紧凑、避免相位变化过快。残差相位是可学习系数经双曲正切限幅后乘以频率再乘以坐标，限幅是为了不把预训练的旋转几何扰动得太厉害。
加到原来的时间相位上后，音频自注意力的查询和键就带上了空间几何，同时在音频自注意力上加轻量低秩适配器并冻结预训练权重，让投影去适应新的位置几何。关键性质体现在两个音频 Token 的相对相位里，除了原来的时间差，还多出一项正比于坐标差的项，水平子集对应横向位移，垂直子集同理，所以自注意力天然能感知有符号的相对运动。
\[\theta_{hjr}-\theta_{hir}=\left(\theta_{hjr}^{\mathrm{time}}-\theta_{hir}^{\mathrm{time}}\right)+\tanh(a_{x})\omega_{r}^{x}\left(\bar{x}_{j}-\bar{x}_{i}\right),\qquad r\in\mathcal{I}_{x}.\]去掉残差相位的消融显示学习到的空间表征指标下降，说明相对位移对捕捉动态变化有帮助。论文还做了轨迹反转实验，只反转数值轨迹而保持可视运动参考不变，制造矛盾条件，结果信号级和学习表征指标都变差，但不是完全塌缩，说明主干和学到的立体声先验还能维持声道差异，但要让差异跟着可见声源走，还需要一致的空间条件。
数据怎样构造模型怎样训练
训练监督来自新建的 StereoWorld-29K，它有真实和合成两个分支。真实分支从 VGGSound、OpenHumanVid、FoleyBench 和 LU-AVS 等公开集里选视频，先按时长、分辨率、可解码性、静音比和信噪比做粗过滤，再用 Qwen3-Omni 做运动感知的语义过滤，只保留声音来自空间可辨、运动相对相机时间连贯的片段。接着是 VAS 流水线，先用 Qwen3-Omni 找主导可听事件并给出接地短语，再经 Grounded SAM 得到候选框和掩膜，对每个候选构造以候选为中心的验证视图并配原音频打分，选视听对应最强的，再用 AllTracker 跟踪并平滑得到运动轨迹。
然后用 VGGT 估计深度和相机参数，把 2 维轨迹反投影到以相机为中心的相机坐标系，把相机看成虚拟听者，按固定耳间距放左右虚拟接收器，用 gpuRIR 沿轨迹算一串房间脉冲响应，与单声道源音频卷积得到空间线索随几何演化的立体声。
合成分支 SDS 分 2 个阶段，第 1 阶段随机采样运动类型、运动族、语义族等空间配置，用 Qwen3.5 把轨迹转成文字描述，再分物体中心和人声中心两路生成蓝图或说话句，并用场景分布库和最近样本做去重，第二阶段把蓝图转成 LTX-2.3 可用的生成提示词，第 1 阶段高温求多样、第二阶段低温保真。
VAS 流水线 × SDS 流水线 × StereoWorld-29K： VAS 流水线从真实视频里找声源跟踪并按几何渲染立体声，SDS 流水线先采样空间配置再生成可控运动场景以补多样性，两条流水线分工是前者保留自然视听内容、后者提供大幅可控运动，合起来构成 StereoWorld-29K，组合后新增了兼顾自然性与可控性的空间监督。
下面是数据集构建流水线的官方图，左中右三列分别对应数据筛选、真实空间化和合成数据生成，读的时候把每一列的输入输出连起来，就能复述从原始视频到带轨迹立体声监督的完整链路。
看图路径： 1. 先看左列两阶段过滤保留什么样的真实样本；2. 再看中列从发现验证跟踪到渲染的四步产物；3. 最后看右列从采样经生成到提示词的三步
论文图 2。原论文 Figure 2:：“Construction pipeline of StereoWorld-29K.”。
图中左列列出场景切换、模糊帧、黑帧、低分辨率以及音画不同步、噪声背景音乐、静音等过滤项，中列画出声源发现、候选验证、跟踪和 3 维渲染四步所用的模型与中间产物，右列画出目录采样、多样性生成和提示词设计三步。注意中列的深度、相机参数、听者和房间脉冲模块是几何渲染的关键，右列的分布库更新箭头表示在线去重的反馈。模型训练本身在该数据集上跑 8000 步，用 8 张 H20 约 2 天，每个样本 121 帧、640×384 分辨率，优化器用 AdamW，学习率 2×10-4，音频分支低秩秩与缩放均为 32，视频分支运动控制冻结，训练目标沿用主干原目标。
评测集和指标在量什么
评测用新建的 StereoWorldBench，简称 SWBench，共 95 个样本，每个是运动轨迹加文本提示，与训练集独立构造，轨迹插值到 121×2。静态 37 个，动态 58 个，静态里左 15 右 22，归一化横坐标左右分居 0.08 到 0.35 和 0.64 到 0.92，动态都设计为大幅运动，左到右 27，右到左 22，其余 9 为其他非静态，横向覆盖约 0.059 到 0.939。语义以人为主 74 个，机器物体 12 个，动物 9 个，声音以语音对话广播 47 个为主，另有运动接触声、机械电子声、音乐非语音人声、动物声等。比较对象分两类，联合生成模型 Ovi、MiniMax-H3、LTX-2.5、LTX-2.3，以及视频到空间音频模型 PrismAudio 和 See2Sound。
前者不支持轨迹输入，评测时在提示词里加方向运动描述来鼓励跟随，后者不生成视频，评测时用 StereoBind 生成的视频作为它们的输入再合成音频。视觉质量用 VBench 的主体一致性、运动平滑和成像质量，音频质量用 Audiobox 的生成质量和 Synchformer 的音画同步，空间保真用自建的 5 个指标。5 个空间指标的计算都要先对齐采样率和时长并按窗统计。
其中 ILD-W 比较生成与参考在左右声级差分布上随时间的一致性，SELD-Acc 用外部定位模型看音频预测方向是否落在可见声源框内，SMR-Err 比较中侧能量比是否保留了同样的立体声强度，AST-Ang 在学习到的空间表征里比较方向一致性，AST-Cal 另做单声道基线校准。ILD-W 在 1.7 到 4.6 千赫频带计算，截断到负 24 到 24 分贝，单位分贝，越低越好。SELD-Acc 用 SAVGBench 的立体声定位模型以 10 赫兹预测，正确窗占比越高越好，但论文提醒该模型主要在语音和乐器上验证过，其他类别可靠性待定。SMR-Err 单位分贝，越低越好。AST 两项越高越好。
参考立体声本身是对生成音频下混到单声道再用 VAS 流水线重空间化得到的，这决定了指标是相对该构造参考的一致性，不是绝对物理真值。
主结果在什么条件下成立
主结果要回答的问题是，在给定轨迹加文本的 SWBench 上，StereoBind 是否在空间指标上更好，同时常规视听质量不掉。公平条件要说清，联合基线没有轨迹通道只能靠文字方向描述，V2SA 基线吃的是 StereoBind 生成的视频，这两类比较都不是完全同输入同任务的对决，结论应理解为在各自能跑的实际策略下，轨迹条件加空间模块带来了可测的空间一致性增益。指标方向是视觉三项越高越好，音频生成质量越高越好，音画同步越低越好，ILD-W 越低越好，SELD-Acc 越高越好，SMR-Err 越低越好，AST 两项越高越好。下表是原文的联合生成对比，保留了全部基线和 StereoBind 的完整行列，读的时候把视觉、音频、空间 3 段分开看，不要用视觉好坏去代替空间好坏。
| Visual Quality | Visual Quality | Visual Quality | Audio Quality | Audio Quality | Stereo Spatial Fidelity | Stereo Spatial Fidelity | Stereo Spatial Fidelity | Stereo Spatial Fidelity | Stereo Spatial Fidelity | ||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Model Type | Method | Subject Cons. ↑ | Motion Smooth. ↑ | Imaging Qual. ↑ | Audio PQ ↑ | AV Sync ↓ | ILD -W ↓ | SELD -Acc ↑ | SMR -Err ↓ | AST -Ang ↑ | AST -Cal ↑ |
| VA Models | Ovi [22] | 0.962 | 0.993 | 0.681 | 5.70 | 0.278 | 3.744 | 0.571 | 65.58 | 0.196 | 0.0261 |
| VA Models | MiniMax-H3 | 0.968 | 0.996 | 0.690 | 6.81 | 0.301 | 3.435 | 0.725 | 24.64 | 0.257 | 0.131 |
| VA Models | LTX-2.5 [9] | 0.950 | 0.995 | 0.655 | 6.70 | 0.367 | 3.565 | 0.571 | 37.62 | 0.237 | 0.122 |
| LTX-2.3 [9] | 0.953 | 0.995 | 0.653 | 6.68 | 0.374 | 3.574 | 0.617 | 39.34 | 0.221 | 0.119 | |
| V2SA Models | PrismAudio [20] | – | – | – | 6.02 | 0.479 | 3.426 | 0.473 | 44.55 | 0.189 | 0.036 |
| V2SA Models | See2Sound [5] | – | – | – | 5.10 | 0.406 | 6.30 | 0.375 | 30.48 | 0.292 | 0.119 |
| Ours | StereoBind | 0.955 | 0.996 | 0.697 | 6.86 | 0.262 | 2.754 | 0.757 | 14.86 | 0.465 | 0.314 |
表中 StereoBind 在运动平滑、成像质量、音频生成质量和音画同步上最好，主体一致性保持可比，空间五项全面领先，数值是 ILD-W 2.754、SELD-Acc 0.757、SMR-Err 14.86、AST-Ang 0.465、AST-Cal 0.314。限制也要讲，空间参考是下混再重空间化的构造参考，不是录音真值，SELD 模型在非语音乐器类别上可靠性有限，V2SA 的输入视频来自本方法，存在有利条件仍未反超，反而更说明空间模块的作用，但不能把该设置说成完全公平。未胜出项是主体一致性上 MiniMax-H3 的 0.968 高于 StereoBind 的 0.955，说明空间增益没有顺带把所有视觉指标都刷成第一。
定性可视化和人工听感看到什么
定性部分用两种音频侧可视化辅助判断。有符号声道级差随时间曲线把左右能量差压成 1 维时间轨，正为左强、负为右强，声源从左往右走时应看到由正转负，声道差谱是对左右差信号做短时傅里叶变换的对数幅度，能看出声道差异在时频上的结构，但不保留左右方向。论文的图里把参考和各方法画在同一时间轴，StereoBind 的曲线更贴近参考的走向，而部分基线接近水平或抖动无规律，说明它们有声音但空间不跟着走。
另需注意个别频谱呈均匀色块是因为生成的是近似平稳白噪声，能量随时间近似恒定，不是画图错误。人工评测招 25 名志愿者，在 SWBench 抽 15 组同条件样本，戴耳机按沉浸感打 1 到 5 分，综合考虑音画对应、运动跟随、立体真实感和临场感，顺序随机。下表是人工沉浸分，StereoBind 4.2 明显高于 LTX-2.5 的 2.3 和其他更低的方法，但这只是小样本主观结果，不能当成部署后的普遍增益，且自动指标好不等于人工一定好，这里两者方向一致才更有说服力。
| Method | Immersion Score ↑ |
|---|---|
| Ovi [22] | 1.2 |
| MiniMax-H3 | 2.1 |
| LTX-2.5 [9] | 2.3 |
| PrismAudio [20] | 1.5 |
| See2Sound [5] | 1.1 |
| StereoBind (Ours) | 4.2 |
表后要补一句限制，人工只覆盖 15 组和 25 人，语义以人声为主，结论外推到动物、机械或强混响场景需要另做验证。定性图里红框标出声源，读图时把关键帧位置变化与下方曲线的正负走向对起来看，才能判断是不是真的跟着走，而不是只看曲线抖得厉害就以为空间感强。
拿掉每个部件会发生什么
消融要回答每个部件是否必要，以及 Token 容量多大够用。所有消融都在 SWBench 上做，只动空间相关部件，主干和其他条件不变。下表保留了去掉相对编码、去掉绝对编码、去掉绑定以及不同 Token 数的完整结果，列数满足空间五项，读的时候注意个别指标非单调，不要只挑最有利的一列下结论。
| Variant | ILD-W ↓ | SELD-Acc ↑ | SMR-Err ↓ | AST-Ang ↑ | AST-Cal ↑ |
|---|---|---|---|---|---|
| w/o Residual Track RoPE | 2.800 | 0.653 | 19.28 | 0.308 | 0.219 |
| w/o Spatial Track Encoder | 3.336 | 0.669 | 27.38 | 0.282 | 0.198 |
| w/o VMB | 3.079 | 0.506 | 31.16 | 0.256 | 0.216 |
| VMB Tokens (NVMB=16) | 2.785 | 0.627 | 18.65 | 0.322 | 0.245 |
| VMB Tokens (NVMB=32) | 2.751 | 0.691 | 20.47 | 0.311 | 0.246 |
| VMB Tokens (NVMB=128) | 2.756 | 0.747 | 13.47 | 0.471 | 0.321 |
| StereoBind (Full, NVMB=64) | 2.754 | 0.757 | 14.86 | 0.465 | 0.314 |
去掉 RT-RoPE 后学习表征两项明显下降，去掉 STE 后能量平衡误差大幅上升到 27.38 且学习表征也降，去掉 VMB 后整体空间保真下降且 SELD-Acc 掉到 0.506，说明三者互补。Token 数从 16 到 128 并非每列都单调变好，例如 32 的 ILD-W 略好于 64，但 128 在 SMR-Err 上最好而 64 在 SELD-Acc 上最好，总体在 64 处趋于饱和，128 边际增益小而显存更高，所以选 64 是性能与代价的折中。
下面这张矛盾条件表说明模型对空间条件一致性敏感，但主干先验仍能维持一定的声道变化，读的时候不要把适度下降误读为完全失效，也不要把该实验当成证明因果的唯一证据，它只是支持空间条件被模型实际使用的旁证。
| Setting | ILD -W ↓ | SELD -Acc ↑ | SMR -Err ↓ | AST -Ang ↑ | AST -Cal ↑ |
|---|---|---|---|---|---|
| Consistent Spatial Conditions | 2.754 | 0.757 | 14.86 | 0.465 | 0.314 |
| Reversed Track Conflict | 2.925 | 0.651 | 20.78 | 0.416 | 0.322 |
这张表把一致条件与反转冲突条件并排比较，反转后四项变差而校准项基本持平，说明生成立体声差异本身还在，但方向与运动对不上了。结合上一张消融表，可以复述三模块分别管绑定谁、绝对在哪、相对动多少，缺一不可。
结论的边界和尚未评测的范围
先说直接边界。空间监督和参考都依赖 VAS 的几何与房间脉冲合成，不是多话筒实录，房间、混响和耳间距都是设定值，外推到真实复杂房间、相机运动、遮挡、画外音、快速运动和多声源时是否成立，论文没有评测。数据集以人为主，SWBench 里人占多数，SELD 模型在非语音乐器类别上可靠性有限，因此空间指标在动物和机械声上的说服力弱于人声。
比较公平性上，联合基线没有轨迹输入，V2SA 基线吃本方法生成的视频，这些设置决定了数字只能在各自实际可运行策略下解读，不能说成同输入下的绝对胜负。训练与推理代价只报告了 8 卡 H20 2 天和样本规格，没有给出推理延迟、显存峰值和输出帧率，谈部署成本时缺证据。未来工作也明确指向多声源、更丰富的 3 维场景和更复杂的声源听者交互，这些正是当前单主导声源假设没有覆盖的部分。
理解这些边界后，才能把已验证的结论用对地方，有清晰可见单声源、大幅横向运动、人声为主的轨迹条件生成，是当前证据最扎实的适用区。
复现第一步做什么需要哪些信息条件
复现先分清三件事，代码是否可得、权重是否可下载、系统是否可运行，三者要分别确认，不能混为一谈。按本次收到的资源信息，有第三方项目页和代码仓库链接可达，但这只证明链接提到该地址，不证明作者已开源或权重可下载，动手前先核对仓库里的说明完整性和可运行脚本。本研究的关键信息条件是轨迹格式与渲染方式，归一化坐标、121 帧、渲染参考的绘制风格必须与训练一致，否则视频分支的运动控制和音频分支的轨迹编码会对不上。
第一步建议从评测复现做起，用 SWBench 的 95 组轨迹加文本生成视频音频，再按论文的对齐规则重采样到 16 千赫或 32 千赫、按 100 毫秒窗统计，复算 5 个空间指标，重点核对分贝单位、频带和有效窗筛选是否一致。训练复现则要先跑通 VAS 的找源、验证、跟踪、深度加房间脉冲四步，检查耳间距、房间尺寸和混响参数是否按原文设置，再跑 SDS 的采样与去重逻辑。超参数保留原文值，AdamW、学习率 2×10-4、8000 步、音频低秩秩与缩放 32、VMB Token 64、RT-RoPE 基值 2。
缺失项也要记下来，原文未报告随机种子、数据划分细节的完整脚本和推理开销，这些要自己补测并记录，不能从模型名猜实现。
什么时候值得尝试还需要补哪项验证
如果你的场景是 AR、VR 或互动游戏，需要声音方位跟着画面声源走，且能给出逐帧轨迹，那么这种轨迹条件加 3 路空间编码的思路值得尝试，尤其在单主导声源、大幅横向运动、人声为主时预期最对路。如果只有文字没有轨迹，或声源不可见、多源混杂、相机剧烈运动，就不在本文已验证的范围内，硬套可能得不到同样的空间增益。复现的第一步是先复评测再谈训练，把轨迹渲染、采样率、窗口和参考构造对齐，否则数字对不上。
还需要补的验证至少有三项，一是在真实录制立体声上的泛化，摆脱合成参考的循环论证，二是在非人声和多声源上的定位可靠性，补上 SELD 之外的独立听感或定位测试，三是补上延迟、显存和帧率的部署测量，把 2 天训练之外的推理代价讲清楚。记住本文的贡献是把联合生成从语义和时间对齐推进到随运动演化的空间对齐，并给出数据与评测的起点，而不是宣告立体声问题已经解决。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses