看得见动、听得见位：Sonic4D 把单目视频变成可走动的视听 4D

英文题目：Sonic4D: Spatial Audio Generation for Immersive 4D Scene Exploration

会议身份：conference:aaai:2026:conference-paper-id:38087

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#信号处理 #音视频 #声源追踪 #空间音频渲染 #视频到声音生成

评分：6.2/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Siyi Xie：机构信息未能从会议 PDF 纯文本可靠映射
• Hanxin Zhu：机构信息未能从会议 PDF 纯文本可靠映射
• Xinyi Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Tianyu He：机构信息未能从会议 PDF 纯文本可靠映射
• Xin Li：机构信息未能从会议 PDF 纯文本可靠映射
• Zhibo Chen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

面向沉浸式四维场景探索，任务输入为单目视频\(V_s\)与任意目标相机轨迹\(T_r\)，输出为新视角动态视频\(V_r\)与随视点和时间变化的双耳空间音频\(A_b\)，难点在于动态几何、运动声源与运动听者需时空对齐且缺乏四维空间音频基准。第一阶段动态场景与单声道音频生成用TrajectoryCrafter合成自由视点视频并估计深度点云，同时用MMAudio生成语义对齐单声道信号，为后续提供视觉与听觉先验。第二阶段三维声源定位与追踪用GroundingGPT逐帧做像素级框定位并取中心，反投影到深度后经邻域平均与DBSCAN去噪及线性插值得到平滑声源轨迹，同时以目标相机位姿作为接收者轨迹送入下一步。第三阶段物理驱动合成按分段静止假设用gpuRIR基于镜像源法计算左右耳房间脉冲响应，再对单声道分块卷积叠加并归一化得到双耳信号。与ViSAGe等端到端学习方法不同，该框架解耦语义合成与空间渲染，以物理传播显式建模方向性与混响，从而支持动态听者自由视点变化并实现零样本空间化。在精选STARSS23乐器透视片段评测下，Sonic4D的定位感知F分数为4.0%，高于ViSAGe的0.4%。该结论适用边界仅为单主导声源室内混响短片段，室外多声源与长时漂移尚未验证，且原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，哪些信息必须保留？

这篇论文研究的输入是一段单目视频，记为多帧图像序列。目标是在只有这段视频的条件下，同时给出新视点视频和对应的空间音频。新视点由用户指定的相机轨迹决定，每一时刻都有一个相机位姿，包含旋转与平移。输出因此有两路，一路是随相机轨迹渲染的动态画面，另一路是随同一轨迹变化的双耳立体声。必须保留的信息有 3 类。

第一是语义对齐，画面里是直升机就应听到直升机声，画面里是尤克里里弹奏就应听到拨弦节奏，不能出现声画内容错位。第二是几何相对关系，声源在听者左侧时左耳应更强或更早，声源远离时整体应变弱，相机环绕时左右差异应连续翻转。第三是时间对应，声源移动、相机移动与波形包络变化要在同一时间轴上对齐。论文把空间音频明确定义为随听者视点变化、遵循物理声学原理的音频，这与简单把单声道复制成双声道不同。

4D 生成 × 空间音频： 4D 生成负责随时间变化的 3 维场景与任意视点画面渲染，提供几何与相机运动；空间音频负责让声音随听者视点和声源位置变化，提供方向与距离线索。二者搭配的原因是只有画面时听觉位置与视觉位置脱节，组合后同一条声源轨迹同时约束画面渲染与双耳卷积，才形成可走动的视听一致体验。

初学者容易把视频转音频理解成只要生成好听的声音即可。这里的关键差别是可走动。固定视点的全景视频即使有空间感，听者转动或移动后声场不再更新。而 4D 场景探索要求听者位置本身就是变量，声音必须能对新的收听位置重新计算。论文因此没有选择端到端直接生成立体声，而是把任务拆成内容生成与空间渲染两步。

内容生成解决有没有声、像不像，空间渲染解决从哪里来、随视点怎么变。前者依赖视频到音频生成模型，后者依赖声源 3 维位置与房间脉冲响应仿真。这种拆分让每一步的输入输出都可以单独检查，也是后文 3 阶段流水线的学习依赖基础。

已有路线各解决什么，为什么还缺自由视点？

4D 生成路线解决动态 3 维场景的画面问题。论文回顾了基于分数蒸馏采样优化动态表示的做法，以及一致性 4D、多视角插值、时序对齐、像素级监督、网格与高斯混合表示等改进。近期免微调方法更强调不训练大生成模型也能得到时空一致的渲染。但这些工作只输出视觉内容，没有为同一场景配上随视点变化的音频。初学者可以把这类工作理解为例子：给定一段直升机视频，它们能让你绕着直升机看，但你戴上耳机听到的仍然是无方向的声音。

空间音频生成路线此前有两类。早期双耳化方法以单声道为输入，用神经网络在视觉条件下去预测双耳差异。近期生成式方法直接从文本、图像、空间参数、无声视频或全景视频生成立体声或 1 阶 Ambisonics。论文点名了空间感知编码器加方位状态矩阵的扩散模型、融合视觉嵌入与音频编解码的自回归模型，以及融合全景与视角流的双分支全景模型。这些方法在固定相机下可以学到语义与空间特征，但论文指出两个限制。

一是端到端学习受数据稀缺与域差异影响，空间渲染保真度受限。二是即使输入是 360 度视频，合成声场仍绑定固定相机位姿，不支持听者移动或自由视点变化。也就是说，模型学会的是某个机位下的左右关系，而不是任意收听位置的物理传播。

声源定位路线解决声从画面何处来的问题。早期方法用跨模态注意力与对比学习对齐音频与视觉，多声源方法处理混合输入。但它们通常需要真实音频作为输入，且对场景与尺寸敏感。这与生成任务矛盾，因为 Sonic4D 在定位阶段并没有真实录音，只有生成或输入视频。多模态大语言模型出现后，像素级视觉定位可以直接用常识与推理找出可能发声的物体。

论文因此选择一种面向定位任务的大语言模型，在没有真实音频的条件下先做 2 维框定位，再反投影到 3 维。这个选择把声源定位从音频视觉匹配问题，转变为先找视觉主体、再用几何求 3 维位置的问题，为后文物理仿真提供位置输入。

任务的形式化与必须满足的约束是什么？

形式化地说，给定源视频多帧与目标相机轨迹每帧位姿，方法要输出目标视角视频与双耳信号。双耳信号包含左通道序列与右通道序列，长度与单声道总采样数一致。约束有 3 条。第一是新视角画面要保持时空一致，不能因换视点就出现闪烁或主体错位，否则声源位置也失去参照。第二是单声道内容要与源视频在语义与时间上对齐，它是后续所有空间化的原材料，若鼓点错位，后续左右变化再正确也没有意义。

第三是空间化必须同时使用声源轨迹、接收器轨迹与场景几何，不能只用画面亮度或单声道能量去猜左右。论文用房间脉冲响应显式建模传播，左右麦克风位置从接收器位置向相机成像平面平行方向偏置得到，再对每段音频块做卷积。这样，同一段单声道在不同视点下会得到不同的双耳输出，满足视点自适应要求。

一个教学例子有助于理解约束。假设同一段喷泉视频配两条相机轨迹，一条向右平移，一条逐渐拉远。内容相同，但第一条应表现为喷泉相对听者偏向左耳，第二条应表现为整体响度随距离衰减。若方法只根据单声道能量调左右，就会给出相同输出，违反视点自适应约束。论文后文用喷泉案例正是为了检验这一点。

三阶段流水线如何分工与衔接？

论文把全流程分成 3 个阶段。第 1 阶段是动态场景与单声道音频生成，负责提供视觉几何先验与听觉内容先验。第二阶段是 3 维声源定位与跟踪，负责把 2 维定位结果变成平滑的 3 维声源轨迹，同时把用户相机轨迹变成接收器轨迹。第 3 阶段是物理驱动的空间音频合成，负责用脉冲响应把单声道变成随视点变化的双耳音频。3 个阶段之间只传递显式中间结果：动态点云、新视角渲染、单声道波形、声源与接收器轨迹、左右脉冲响应。这种模块化让每个专家模型都可以被替换，论文强调这是一种免训练框架，性能可随上游模型进步而提升。

从一个样本走完全程有助于建立依赖关系。输入是直升机飞行的单目视频。第 1 阶段先估计每帧深度，把图像与深度经逆投影提升为动态点云，再把点云投影到新相机轨迹得到粗渲染，最后用视频扩散模型 refine 成高质量新视角视频。与此同时，视频到音频模型从同一输入视频生成单声道。第二阶段对源视频逐帧做视觉定位，得到声源包围盒中心像素，经深度反投影与小块平均得到 3 维点，再用密度聚类去噪并插值成平滑轨迹。

第 3 阶段把声源轨迹、接收器轨迹与单声道一起送入基于图形处理器加速的脉冲响应仿真，分段计算左右滤波器并卷积，最后归一化到可播放范围。目标是同一内容在不同相机轨迹下听到不同的空间变化，输出是与每条相机轨迹绑定的渲染视频加双耳音频。

看图路径： 1. 先从左侧视频输入沿箭头看到上方动态点云与下方单声道两条支路；2. 再看中间粉色块中绿色声源轨迹与红色相机轨迹如何汇入右侧定位框；3. 最后看底部黄色块中单声道加双轨迹经物理仿真变为左右声道

论文图 1。原论文 Figure 1：“Pipeline of Sonic4D. Our method is composed of three stages: 1) Dynamic Scene and Monaural Audio Genera- tion: extracting semantically aligned visual scenes and audio priors from…”。

上图展示了上述 3 阶段的完整数据流。左侧绿色块是第 1 个阶段，视频输入分两路分别走向动态点云与单声道波形，点云下方还标出新相机轨迹。中间粉色块是第二阶段，可以看到绿色声源轨迹与红色相机轨迹在 3 维示意中并存，右侧是逐帧红框定位与提示词要求输出包围盒坐标。底部黄色块是第 3 个阶段，单声道波形与双轨迹汇入基于房间脉冲响应的物理仿真，输出左右两路波形，并进一步按不同相机轨迹分别给出渲染结果与空间音频。读图时注意主路径始终是从视频到轨迹再到双耳，而不是从单声道直接猜左右，这正是解耦设计的可视化表达。

定位与跟踪如何从二维框得到平滑三维轨迹？

第二阶段是方法中最需要复述的计算过程。第一步是 2 维定位。对第 i 帧图像，用文本提示要求模型以包围盒形式估计声源位置，得到归一化坐标。论文取包围盒中心并乘以图像宽高得到像素坐标。这个中心选择意味着方法假设声源可用框中心近似，不处理框内多部件的精细结构。

第二步是反投影。设该像素的深度为对应深度图的值，通过反投影算子得到相机坐标系下的 3 维点。由于单目深度在单个像素上可能有偶发误差，论文取该像素周围 r 乘 r 小块内所有像素的 3 维点再平均，作为该帧的声源位置。小块平均的代价是平滑了细节，但提高了对深度噪声的鲁棒性。第三步是轨迹去噪。

用基于密度的聚类算法把稠密区域成簇、稀疏点标为噪声，被标为噪声的时刻用最近的非噪声邻居做时间线性插值补齐，最终得到长度与帧数一致的声源轨迹。接收器轨迹则直接取用户相机轨迹的平移部分，旋转部分用于确定左右耳偏置方向。

单声道音频 × 房间脉冲响应： 单声道音频提供语义与时序内容，即发什么声、何时发声，但不含方向；房间脉冲响应提供从声源位置到左右耳的传播滤波器，即怎么传、左右有何差异。搭配理由是把内容生成与空间渲染解耦，组合时把同一段单声道切块后分别与左右耳脉冲响应卷积，新增作用是得到随位置变化的声级差、时延与混响。

视觉定位 × 反投影： 视觉定位负责在每帧图像上给出声源的 2 维包围盒中心，解决在画面上找谁在发声；反投影负责把该像素连同深度映射到相机坐标系下的 3 维点，解决声源在空间中何处。搭配原因是只有 2 维框无法做声学仿真，组合后 2 维轨迹经深度平均与去噪成为 3 维声源轨迹，直接作为脉冲响应仿真的输入位置。

声源轨迹 × 接收器轨迹： 声源轨迹记录每一时刻发声物体在 3 维场景中的位置，接收器轨迹记录用户指定相机在每一时刻的位置与朝向。搭配原因是双耳信号取决于两者相对几何，组合时按时间分段假设段内静止，分别计算该段左右耳脉冲响应，新增作用是支持声源动、听者也动的自由视点试听。

镜像声源法 × 分块卷积： 镜像声源法负责给定房间尺寸、混响与收发位置计算左右耳脉冲响应，把反射建模为一组延迟与衰减；分块卷积负责把长单声道按声源与接收器分段切块后逐段卷积再叠加。搭配原因是动态轨迹不能用一个静态滤波器表示，组合后每段用各自位置的滤波器处理对应音频块，得到连续变化的双耳信号。

看图路径： 1. 先看左侧四帧直升机输入与带红框的定位结果对应关系；2. 再看中间 r 乘 r 小块平均与反投影箭头指向的黄绿点云；3. 最后看 DBSCAN 滤波中绿点簇与红点噪声如何经插值变为右侧平滑绿线

论文图 2。原论文 Figure 2：“Illustration of Stage II: We localize the sound source in each frame using GroundingGPT (Li et al.”。

上图细化了第二阶段的 4 个动作。左侧是 4 帧直升机输入与带红框的定位结果，可以看到框大小随距离变化。中间是 r 乘 r 网格与反投影示意，黄色小块平均成绿色中心点，公式含义是邻域平均而非单点取值。随后是密度聚类示意，绿色虚线内为保留簇，红色为剔除噪声。右侧绿色箭头是插值后的平滑声源轨迹，红色是相机轨迹。这个图说明抖动主要来自框预测不确定性与深度误差两处，处理顺序是先空间平均降噪，再时间聚类与插值保平滑，初学者复述时不要颠倒这两步。

需要指出的缺项是论文未报告 r 的具体取值、深度估计器的冻结细节之外的阈值、聚类半径与最小点数，以及插值是线性还是更高阶之外的边界处理。这些都属于未报告的实现选择，复现时需要自行记录并做敏感性检查，不能从模型名称推定默认值。

本研究训练了什么，没有训练什么，真实计算在哪里？

本研究没有训练任何神经网络，这是一个免训练框架。论文明确使用的 3 个预训练专家都不在本研究中更新。动态场景生成采用已有的轨迹控制视频扩散模型，先用单目深度估计把视频提升为动态点云，再投影到目标轨迹并以渲染结果为条件生成新视角视频。单声道生成采用已有的视频到音频变换器，直接推理得到与输入视频语义与时间对齐的单声道。声源 2 维定位采用已有的定位大语言模型，逐帧推理得到包围盒。这些调用都没有梯度回传，也没有监督损失，论文未报告任何优化器、学习率或训练轮数。

真实计算集中在几何与信号处理两部分。一是深度估计、逆投影、投影与新视角扩散采样，属于推理与渲染开销。二是反投影平均、密度聚类与线性插值，属于轨迹后处理。三是房间脉冲响应仿真与分块卷积，属于物理仿真开销。具体做法是把总采样切成多个区间，每个区间假设声源与接收器静止，用镜像声源法计算左右脉冲响应，再把对应单声道块与左右滤波器卷积后按起始偏移叠加，最后做峰值归一化。

论文未报告房间尺寸、混响时间、采样率、分段长度与归一化之外的限幅策略，这些缺项意味着室外喷泉或天空中的直升机也被放在等效房间模型中仿真，其混响更多是为产生可感知的空间线索，而非严格复刻露天声场。不能把免训练理解为确定性求解，因为扩散采样、定位框预测与深度估计本身都有随机性或不确定性，多次运行可能得到不同轨迹与波形。

用什么数据、和谁比、指标方向如何定？

由于 4D 场景空间音频没有现成基准，论文用了两类互补评估。第一类是声事件定位与检测评估，借用预训练的定位检测模型，从 5 秒视频加立体声中提取多目标表示。数据集是在 STARSS23 上精选的乐器透视片段，避开马赛克伪影对生成模型的干扰。对照方法是已有视频到空间音频模型 ViSAGe，它需要仰角与方位角输入，论文用其训练集全局平均仰角代替仰角，用 STARSS23 真值标注代替方位角，再把生成的 1 阶 Ambisonics 经旋转后用左等于全向加水平分量、右等于全向减水平分量转成立体声。

这个转换条件必须记住，因为它影响 ViSAGe 的公平性，方位角用了真值属于给对照方法额外信息。指标有 4 个，20 度容差下的定位感知 F 分数越高越好，方位角误差越低越好，绝对距离误差与相对距离误差越低越好。

第二类是用户研究，对照是只生成单声道的 MMAudio。同一视点视频分别配空间化立体声与非空间化单声道，受试者先二选一哪个更有空间感，再对两轨按 1 到 5 打分。维度有两个，空间定位准确度衡量耳间级差与时差还原 3 维位置的程度，1 表示无方向感，5 表示精确定位稳定；视听空间对齐衡量响度与双耳差异随画面运动的一致性，1 表示冲突，5 表示完全跟随视觉运动。

视频按自定义相机轨迹分成静态视点与动态视点，静态指沿用原视角或小幅变换且视点固定，动态包括平移、环绕、推拉。论文未报告受试者人数、每人试听条数、播放设备与是否强制戴耳机之外的随机化顺序，这些是复现主观评估时需要补齐的实验条件。

主结果在什么条件下成立，代价与反例是什么？

先看客观定位检测结果。比较问题是在精选乐器片段上，免训练物理仿真能否比纯学习生成给出更准的空间线索，公平条件是同一精选子集与同一预训练评估模型，指标方向是 F 分数越高越好、3 类误差越低越好。下表整理了论文报告的数字结果，包含真值上限、ViSAGe 基线与本方法这一实际可运行策略。

表后需要同时读出收益与代价。收益是本方法 F 分数达到 4.0%，高于 ViSAGe 的 0.4%，方位误差从 31.5 度降到 18.6 度，绝对与相对距离误差也分别下降，论文报告为在零样本设定下捕获空间信息的能力更强。代价与限制同样明确，真值 F 分数也只有 6.5%，说明评估本身难度大或精选子集规模小，绝对数值都不高；本方法距离误差仍高达 75.20，相对误差 0.44，离真值的 23.67 与 0.15 还有明显差距。未胜出项是真值在所有指标上仍最好，这提醒不能把超过 ViSAGe 理解为已解决定位问题。

再看主观结果。比较问题是同一画面下空间化是否带来可感知的空间差异，公平条件是视觉完全相同只换音频，指标方向是偏好率与平均意见分越高越好。下表是原用户研究矩阵的选择呈现，保留静态与动态划分。

上表显示本方法总体偏好率达 89.03%，静态 87.59%，动态 90.10%，对应单声道仅 10.97%。平均意见分上空间定位准确度从 2.322 提高到 4.013，视听对齐从 2.418 提高到 3.977，且动态视点下的优势并未消失。这支持空间化带来了稳定可感知的方向与运动跟随。但代价是主观分不能等同于定位精度，4 分不代表误差小于多少度，且论文未报告显著性检验与置信区间。未评测边界包括多人同时发声、多声源分离、遮挡与快速运动下的稳定性，这些在当前单声源框中心假设下都待验证。

补充一张宽表把主观数字与原文句子对齐，避免把自动指标当人评，也避免混放不同条件。

表后解释是偏好率回答有没有空间感，平均分回答空间质量如何，两者一致指向空间化有效，但都不回答延迟、算力与定位误差。不同指标的差值不能放到模型列下比较，例如不能用偏好率减平均分得到所谓提升百分比，百分点与相对百分比也须区分。

看图路径： 1. 先对照直升机新视角视频中红箭头左右移动与左右波形框 1 到框 4 的强弱翻转；2. 再对照尤克里里环绕时黄框 1 偏右耳大、黄框 2 偏左耳大的交叉变化；3. 最后对照喷泉右移与拉远时两组空间音频波形幅度与左右差异的不同走向

论文图 3。原论文 Figure 3：“Qualitative results across different scenarios.”。

上图用 3 个案例把数字落到波形上。直升机案例中目标先向左后向右，早期左通道占优，后期右通道反超，与红箭头方向一致。尤克里里案例中相机从右侧绕到左侧，黄框早期右耳大、后期左耳大，且包络随拨弦起伏。喷泉案例最关键，同一源视频配右移与拉远两条轨迹，右移时左耳渐强，拉远时整体渐弱，证明输出是视点依赖而非固定模板。读图时应把视频帧箭头、红黄绿框编号与左右波形包络一起看，而不是只看波形幅度，初学者建议戴耳机对照补充材料试听。

若去掉哪一块，空间感会从哪里先丢失？

论文没有提供标准的消融表，例如去掉小块平均、去掉聚类插值或换用不同混响后的指标变化，因此本节只能按证据做机制推断并明确标为待验证。按流水线依赖，若去掉 2 维定位，声源轨迹无从谈起，脉冲响应只能假设固定位置，左右差异将不再跟随画面主体。若去掉深度反投影而只用图像坐标，远近变化无法转为距离衰减与混响变化，拉远案例中的渐弱将丢失。若去掉分块而用单一静态滤波器，相机环绕时的左右翻转将变成平均化的模糊声像。若去掉归一化，峰值可能溢出，但这属于播放范围问题，不改变方向线索。

论文实际提供的反证是 ViSAGe 对照与真值上限。ViSAGe 在方位真值辅助下仍误差更大，支持解耦的物理仿真在小数据下更稳，但这只是有限解释，不是因果证明，因为两者输入条件与转换链路并不完全相同。真值 F 分数仅 6.5% 也提示评估链路本身有噪声，单看相对排序比单看绝对值更稳妥。缺失的消融意味着复现时应优先补做 3 组实验：不同 r 窗口对轨迹抖动的影响，不同分段长度对连续性的影响，不同房间参数对室外场景自然度的影响，并固定随机种子记录多次运行的方差。

哪些结论不能下，哪些边界尚未评测？

第一，论文直接报告的是在精选乐器子集与特定用户研究视频上的结果，支持在这些条件下空间线索更准、主观空间感更强，但不能推广为所有 4D 场景都成立。室外直升机与喷泉用了室内房间模型的等效混响，可能带来方向可辨但混响不自然的问题，论文未测量自然度与混响真实感。第二，相关性不等于因果，波形左右差异与画面运动对齐不能证明听者一定能准确报出角度，客观方位误差仍有 18.6 度，距离误差仍大。

第三，未测量的量不能承诺改善，包括推理延迟、显存占用、输出帧率、端到端实时性，以及多人声源、遮挡、快速运动与长视频漂移。第四，资源状态是正文开源声明的唯一依据，本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开，复现只能依赖论文描述与各自公开的上游模型自行搭建。第五，主观评估未报告人数与统计方法，89.03% 与 4 分上下结果应视为 1 次研究条件下的观察，而非普适保证。

要复现，先搭什么，先记什么？

复现的第一步是冻结输入输出约定。输入准备一段单目视频与一条目标相机轨迹，统一帧率、分辨率与相机内参。输出同时保存新视角视频、单声道、声源与接收器轨迹、左右脉冲响应与双耳音频，便于分段检查。第二步是依次调用 3 个专家。深度估计得到每帧深度后做逆投影成动态点云，再投影到目标轨迹做粗渲染并送扩散模型精化。

视频到音频模型生成单声道时记录采样率与时长对齐方式。定位模型逐帧输出包围盒时保存框坐标与置信度，取中心得像素点。第三步是几何后处理。对中心像素取 r 乘 r 邻域平均得 3 维点，再做密度聚类去噪，对噪声时刻做线性插值。接收器位置取相机平移，左右耳按成像平面平行方向偏置。

第四步是声学仿真。设定房间尺寸与混响参数后按时间分段计算左右脉冲响应，分块卷积叠加并峰值归一化到负 1 到 1。

先记的关键超参数与信息条件包括深度模型版本、r 取值、聚类参数、插值边界处理、耳间距偏置、分段长度、房间参数、采样率与归一化方式。论文未给出其中多项，复现报告应明确写出所用取值。验证时先做视点依赖检查，用同一源视频配右移与拉远两条轨迹，看左右差异与整体衰减是否按预期变化。再做声画对齐检查，看拨弦、飞行转向等时刻是否与包络变化同拍。最后再跑精选子集的定位检测指标，注意 ViSAGe 转换链路要与论文一致，否则比较条件不再相同。

何时值得尝试这个方案，收束时记住什么？

当任务是单目视频转可走动的 4D 视听体验，且没有空间音频训练数据时，这个方案值得尝试。它的价值在于把难学的空间化交给物理仿真，把内容生成交给各自最强的预训练模型，免训练即可得到随视点变化的双耳线索。直升机左右飞、相机环绕乐手、喷泉右移与拉远 3 类运动是检验视点依赖的最小集合，若你的场景也是单一声源主导且运动平滑，复现成功率更高。若场景是多声源、强遮挡、快速剪辑或严格室外无混响，应先补定位鲁棒性与房间参数选择的验证，否则方向可能对但听感不自然。

收束时记住三句话。内容与空间分开做，单声道管像不像，脉冲响应管从哪里来。位置是枢纽，2 维框经深度平均、聚类与插值变成 3 维轨迹后才能驱动仿真。评估要分开读，客观误差回答准不准，主观分数回答像不像空间，视点依赖案例回答动不动就变，三者一致才算真正复述了 Sonic4D。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 aaai-2026 论文汇总