📄 把声音放进世界状态：用全景代理与几何传播做听者相关的空间音频
英文题目：Audible World Models: Spatially Aware Sound Generation for 3D Worlds
标签：#空间音频渲染 | #信号处理 | #空间音频信号 | #音视频
评分：6.8/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Duowen Chen：Georgia Institute of Technology
- Jinjin He：Georgia Institute of Technology
- Gouthaman KV：Dolby Laboratories
- Sandeep Bangalore Venkatesh：Dolby Laboratories
- Bo Zhu：Georgia Institute of Technology
📌 核心摘要
输入为文本提示与听者轨迹，输出为随视点运动变化的双耳空间音频，难点在于声源身份持久性与遮挡反射衰减的几何一致性。系统先由 HunyuanWorld 生成全景代理并分层解析前景可发声物体与背景环境区，再为每个语义标签合成干声素材，然后将声源采样锚定到单目深度提升的三维网格，最后由声学参数智能体预测反射散射等参数并调用 GSound 做几何传播渲染。与仅以文本或渲染视频窗为条件的基线不同，该框架把语义标签、干声、三维位置与传播参数存为可复用世界状态。在80个生成场景的混合声方向恢复评测下，本方法的MAE指标为17.44，低于See-2-Sound的MAE指标45.6。结论仅在静态重建几何与固定声源假设下成立，未验证动态物体与动作声音同步。系统为免训练离线管线，端到端构造耗时约 926.67 秒，其中三维重建导出占 34.9%。该适用边界受限于静态几何假设与固定声源，动态交互情形尚未验证，而单卡H200硬件上的离线推理开销主要集中于三维重建导出环节。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要输出什么，哪些信息必须保留？
这篇论文研究的是生成式 3 维世界缺声音的问题。输入是一个文本提示和一条听者轨迹，轨迹给出每一时刻相机位置与朝向。目标是生成一段与轨迹同步的双耳音频，要求语义上符合场景，空间上随听者运动合理变化。初学者容易把任务理解为给视频配一段好听的音乐，但原文强调必须保留的信息是声源在世界中的身份与位置。例如街道场景中的交通声应在道路区域，人声应在人群附近，风声应分布在植被上。
当听者转头或走过声源时，左右耳差异与响度应按几何变化，且重访同一视角时行为应保持一致。论文把这种可复用的表示称为可听世界，也就是在渲染之前就存好几何、标签、干声、位置与声学参数。后续所有模块都围绕如何构造这个世界状态并用它渲染来展开。当前没有证据表明代码模型数据已公开，解读只依据论文正文与附录，不做可用性断言。
已有路线解决了什么，还缺哪一块？
第一条路线是文本转音频。音频生成模型能从描述合成高质量音效与氛围，但它只决定听什么，不决定声源放在 3 维何处，也不决定遮挡反射与左右变化。第二条路线是视频或全景条件音频。视频转音频在语义与时间同步上很强，全景或场景条件方法能给出空间感，但它们多以渲染后的观察窗口为条件，而不是以持久的世界表示为条件。结果是长轨迹、旋转与重访视角下容易漂移。
第 3 条路线是空间声学仿真。几何声学系统能渲染距离衰减、遮挡、衍射与混响，但通常假设网格、声源与材料参数已由人工给定。论文的定位是把这三块连接起来：生成世界提供近似几何与视觉语义，音频生成提供声音内容，几何传播提供物理渲染。智能体在中间做语义协调，把标签、干声、位置与参数拼成可评估的世界状态。理解这一定位后，就能明白后文为何既测语义对齐又测方向恢复。
如何把听觉需求写成可构造的世界表示？
论文提出 3 个设计要求。第一是组合性，场景氛围、河流、人群、车辆应是不同分量，而不是混成一条全局音轨。第二是持久性，一旦分量放入世界，它在听者运动中保持同一世界身份。第三是可渲染性，最终双耳信号能从源位置、听者运动与场景几何算出。为此作者定义可听世界为几何、源集合与声学参数的组合，每个源包含语义标签、声音描述、干声、位置与属性。
举例来说，提示是一条热闹街道，系统不应只生成一段街道氛围，而应把交通放在路面上，把人声放在行人区，把城市氛围分散到背景支撑上。这样方向歧义就由视觉世界本身解决。评估也因此可以对照已知听者与源几何，检查渲染出的双耳线索是否可恢复方向，而不是只看波形是否好听。
十一步流水线如何从一句话走到双耳波形？
整个系统是免训练的智能体流水线，不更新任何模型权重。第一到第六步构造声音感知的世界代理：用文本生成全景，再做前景与背景分层解析，得到标签、描述、分割掩膜、单目深度与分层 3 维几何。全景的价值在于起点是全局观察，即使声源当前不在相机视野内，也能提前放入世界。第七到第八步把语义清单变为干声资产并固定为持久 3 维源，前景紧凑源采样在物体网格上，背景弥散源采样在语义子网格上。
第九到第十一步估计声学参数，再用几何声学传播器沿相机轨迹渲染。图前导读：下图是全文总览，按编号从全景生成经前后景解析、分割深度、干声合成、源放置、参数预测到传播渲染，建议先看主路径再看分支汇合。
看图路径： 1. 沿左上 1 号到右下 11 号编号追踪主链路；2. 观察前景分支与背景分支在第 5 步汇合为分割与深度；3. 确认干声生成与声学参数在第 8 到第 10 步汇入传播器；4. 查看最终输出如何标注随听者运动变化
论文图 1。原论文 Figure 1:：“Overview of the proposed Audible World Models pipeline.”。
该图显示前景声音智能体先找海鸥与人群等显著对象并写出声音描述，背景声音智能体在前景移除后的干净全景上找海风餐厅闲谈与波浪等区域，随后分割掩膜、深度图与采样点共同支撑 3 维重建。干声生成给出每类声音的波形资产，3 维源放置用不同颜色小球表示源，物理传播用射线表示反射路径，最终输出强调音频随听者运动变化。
可听世界状态 × 干声素材： 可听世界状态负责记录几何、语义标签、源位置与声学参数等可复用信息，干声素材负责提供每个标签未加空间化的原始波形，二者搭配的理由是先把听什么与在哪里听分开存储，再统一送入传播器渲染，从而让同一世界可被不同轨迹反复听到。
这种安排的直接好处是诊断能力：每个源可单独渲染，从而检验其双耳线索是否跟随世界位置。代价是链条很长，任何一步的几何或语义误差都会进入最终混音。
前景背景分离、源放置与声学参数各算什么账？
前景解析分两遍进行，第一遍找最显著未遮挡对象，第二遍在概念移除后找剩余紧凑实体，并明确排除天空雾气等全局区域。每个可听标签配一段声音描述与方向标志，方向为真表示点状局域源，为假表示弥散氛围。背景解析在前景移除后的全景上运行，避免显著物体压制城市交通人群低语等大范围氛围。掩膜经面积过滤与重叠处理，天空只用于视觉合成与全局氛围，不做局域前景源。
前景声源 × 背景声场： 前景声源分工是定位紧凑可检查的点状发声体并保持其世界坐标稳定，背景声场分工是覆盖森林街道河流等大范围弥散氛围并用多点分布式表达，二者搭配是因为点源与面源需要的采样数与声学半径不同，组合后才能同时表达狗叫与风声。
源放置把标签变为发射器。局域源在对应网格上少点采样并做小法向偏移与抖动，避免源与表面重合导致渲染退化。弥散标签在语义支撑上多点采样。论文用能量归一化保持同一标签的总发射能量不随采样数膨胀，这是理解多点氛围不会越采越响的关键。
\[\mathcal{W}_{a}=\left(\mathcal{G},\left\{(\ell_{i},d_{i},a_{i},\mathbf{x}_{i},\rho_{i})\right\}_{i=1}^{M},\Theta\right).\]上式中几何与源元组分别记录场景网格、标签、描述、干声、位置与属性，声学参数记录反射散射与源级音量半径功率等，目标是让同一世界可被不同轨迹复用。
\[P=P_{0}-10\log_{10}(N),\qquad v=\frac{v_{0}}{\sqrt{N}}.\]上式说明当一个标签用多个采样点表达时，每个点的功率与音量按点数折减，使总量近似稳定。声学参数智能体读取场景类别与源布局后给出保守估计并钳制到稳定范围，例如室外反射较低而散射较高，远处标签适当提升以保持可听。它不试图从图像精确恢复材质，只求定性声学特征合理。最终用重建几何作传播场景，用相机路径作移动听者轨迹，输出与世界同步的双耳信号。
视觉语言模型代理 × 几何声学渲染： 视觉语言模型代理分工是在全景上发现可听标签、写声音描述并估计保守声学参数，几何声学渲染分工是根据重建网格计算距离衰减遮挡反射与衍射，二者搭配的理由是语义代理解决听什么，物理渲染解决随听者运动如何变，组合后得到与视角联动的双耳信号。
没有训练阶段时，计算时间花在哪里？
本研究明确是免训练框架，没有模型权重更新，也就没有优化器梯度路径与监督损失。真实计算由 3 类调用构成：已有生成模型的推理、规则几何处理与物理仿真。具体包括全景合成、视觉语言模型解析、分割修复、深度提升与分层重建、文本转音频合成干声、表面采样放置，以及声学参数预测与几何传播渲染。论文报告完整离线流水线在单卡上运行，声学渲染在中央处理器上执行。图前导读：下图是 20 秒与 40 秒轨迹的运行时分布环图，中心标注总分钟数，外环按模块着色，建议先看最大扇区再看声学部分占比。
看图路径： 1. 比较 20 秒与 40 秒两环的总时长标注；2. 找出占比最大的三维重建与分割修复扇区；3. 观察轨迹声学占比如何随 duration 变化
论文图 5。原论文 Figure 9:：“Runtime distribution of the full generation pipeline for 20s and 40s trajectories.”。
该图显示 3 维重建导出与地面分割修复占据约三分之二时间，全景生成与语言模型调用各占约 8%，源音频与轨迹声学只占小部分，且 40 秒轨迹的轨迹声学占比从约 8% 升至约 11%。这支持论文的判断：主要瓶颈是感知与 3 维世界构建导出，而智能体声音生成与声学仿真只占相对小部分。固定重建世界后，缓存可复用，32 个源下 5 秒轨迹约 21.36 秒，160 秒轨迹约 184.14 秒。移动源实验是把启发式源轨迹与听者轨迹直接送入渲染器，几何仍静态，不涉及动态重建与动作声音同步。未报告的缺项是各模块的梯度关系与参数更新时机，因为本就不存在训练，不应把冻结参数理解为输出确定。
用什么场景、基线与指标保证比较公平？
主语义基准包含 80 个生成场景。比较对象包括文本转音频的稳定音频基线、视频转音频的代表基线，以及全景或场景条件的空间音频基线。人类研究在 20 到 40 秒轨迹上比较 3 种方法，空间基线因发布配置只产生约 5 到 10 秒输出，故另用统一截断到 5 秒的片段做五方法自动评估，避免混用时长干扰盲测长时比较。语义评估为隔离空间化影响，对所有输出的单声道混音计算指标。
指标包括音频文本对齐、跨模态一致性，以及先用音频描述模型写标题再比标题与场景提示相似度的描述分数。空间评估对照由构造世界与已知轨迹算出的源方位角，检验方向是否可从渲染声音中恢复，而非拟合一条强度曲线。混合声的方向估计用匈牙利匹配与圆周角距离，单声道与通用立体声因无定义的绝对方位参考而不参与方向打分。视觉语言模型评估采用 2 阶段盲协议，先总结场景与运动，再匿名评价候选音轨。
人类评估要求佩戴耳机，对同一渲染视频的 3 条匿名音轨打分并排序。
语义标签库存与参数波动如何报告不确定性？
除主结果外，论文用库存统计与重复运行刻画管线行为。场景平均标签数与分布说明每个场景通常只有一个前景标签加多个背景标签，背景标签有独立描述干声与空间 grounding，全局氛围是单独的非局域分量。下表展示每场景语义音频分量的分布，重点是标签数而非采样发射器数，表前说明：先确认前景两层分解限制的是分层重建层数而非可听库存总量，再看背景标签的离散度。
| Component | Mean | Median | SD | Min | 25th pct. | 75th pct. | Max |
|---|---|---|---|---|---|---|---|
| Foreground labels | 1.17 | 1 | 0.55 | 0 | 1 | 1.25 | 2 |
| Background labels | 4.20 | 4 | 1.53 | 1 | 3 | 5 | 8 |
| Ambience tracks | 1.00 | 1 | 0.00 | 1 | 1 | 1 | 1 |
表后解释：背景标签均值约 4.2 且范围从 1 到 8，说明场景语义丰富度差异大，固定源上限的渲染时间分析应区分语义标签与渲染发射器，否则会误读扩展性。参数方面，2 次运行的平均绝对变化相对允许跨度均在百分之几量级，钳制率很低，支持参数预测相对保守稳定，但这只是范围合规与重复性，不代表材质正确。下表报告声学参数在 2 次运行间的变化，表前说明：关注原生尺度变化与相对允许跨度的比例，判断波动是否会影响可听性。
| Parameter | Mean absolute change | Mean % of allowed span |
|---|---|---|
| Reflectivity | 0.0217 | 2.17% |
| Scattering | 0.0688 | 6.88% |
| Render volume | 0.0210 | 1.11% |
| Source volume | 3.71 | 7.41% |
| Source radius ratio | 0.00197 | 3.95% |
| Source power | 1.13 dB | 7.53% |
表后解释：散射与源功率波动相对较大，但仍在个位数百分比跨度内，未观察到同时空的前背景库存，同样只是空输出诊断，不能当作漏检率或整体成功率。置信区间方面，语义分数给出基于场景自助法的区间，隔离源方向误差给出校准后的区间，这些区间刻画场景层评估变异，不构成与基线的成对显著性检验。
语义保持了吗，方向能恢复吗，人更喜欢谁？
语义问题是显式源分解是否损害内容相符度。下表比较 4 种方法的 3 类语义分数，条件是 80 个场景的单声道混音，指标方向均为越高越好。表前说明：重点看本方法是否在引入空间结构后仍接近最强的文本转音频基线，同时在文本与图像跨模态项上是否有补偿。
| 条件 | 指标 | 最强基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 80 场景单声道混音 | 音频文本对齐 | 0.3366 | 0.3172 | 稳定音频 |
| 80 场景单声道混音 | 跨模态文本分 | 0.1953 | 0.2199 | 视频转音频 |
| 80 场景单声道混音 | 描述相似度 | 0.2552 | 0.2760 | 稳定音频 |
表后解释：本方法达到最佳分数约 94.2%，同时在跨模态文本与描述分数上取得最好，图像对齐也在最好值的 0.5% 以内。这支持源级结构在增加空间 grounding 时未明显牺牲语义，但不能直接推出空间准确，因为语义指标对左右变化不敏感。
语义对齐 × 空间一致性： 语义对齐分工是检验音频内容是否与场景提示相符，空间一致性分工是检验声音方向与能量是否随听者运动按几何变化，二者搭配的理由是仅语义好可能得到好听但位置错误的配乐，组合评估才能区分文本转音频强基线与显式世界建模的差异。
方向问题分隔离源与混合两层。隔离源用多频带强度差、时差与弱耳廓谱线索解全圆方向，混合声用各自通道几何的估计器并做一对一匹配。下表总结混合方向误差与容差下调和平均，误差越低越好，分数越高越好。表前说明：比较只在有定义空间通道几何的方法间进行，单声道与通用立体声不参与，重点看严格容差下的优势。
| 条件 | 指标 | 本方法 | 次优对照 | 说明 |
|---|---|---|---|---|
| 最终混音 | 匹配平均误差 | 17.44 度 | 45.6 度 | 本方法最低 |
| 最终混音 | 15 度容差分数 | 0.297 | 0.202 | 本方法最高 |
| 最终混音 | 45 度容差分数 | 0.424 | 0.526 | 对照最高 |
表后解释：优势集中在严格角容差，宽容差下对照反超，说明恢复所有同时活跃源仍困难。隔离源平均误差约 6.91 度，中位误差约 2.96 度，15 度内准确率约 96.1%，这是几何一致性的直接证据，但参考的是构造世界的位置，不是真实世界测量。
\[\mathrm{ILD}(m)=10\log_{10}\frac{\sum_{t\in\Omega_{m}}y_{L}(t)^{2}+\varepsilon}{\sum_{t\in\Omega_{m}}y_{R}(t)^{2}+\varepsilon},\]上式是分窗强度差的计算，把左右声道在短窗内的能量比取对数，窗口取 0.2 秒且半重叠，用于得到随时间变化的左右线索。
\[\mathrm{ILD}_{\mathrm{proxy}}(t)=k\frac{\sin(\theta(t))}{d(t)^{\alpha}}+b,\]上式是几何诊断代理，用方位角正弦除以距离幂次拟合强度曲线，拟合优度与相关系数用于检验测量曲线是否跟随听者与源几何。
人类与模型偏好问题看同步视听输出。下表是盲测的人类评分与排序，分数越高越好，平均名次越低越好。表前说明：同一渲染视频配 3 条匿名音轨，评价维度包括整体一致、空间变化清晰度、与观看方向运动的一致性、合理性与自然度。
| 条件 | 指标 | 最强基线 | 本方法 | 增益 |
|---|---|---|---|---|
| 20 场景 20 人盲测 | 平均分 | 2.498 | 4.145 | 1.647 分 |
| 20 场景 20 人盲测 | 首选率 | 12.5% | 79.5% | 67.0 百分点 |
| 20 场景 20 人盲测 | 前二率 | 58.9% | 92.0% | 33.1 百分点 |
表后解释：听者明显偏好源 grounding 与运动相关渲染，即使基线内容合理。未胜出项是 5 秒截断的自动评估中平均分差异很小，排序更能拉开差距，且该评估是模型打分不是人类打分，不能与人类表直接比较候选数与时长。图前导读：下图用海滩与夜市两组 20 秒样例并排展示视频帧与三方法波形，建议先看同一帧下波形起伏再看时间轴变化。
看图路径： 1. 对比上下两组场景中三段波形的包络起伏；2. 观察同一视频帧下本方法与基线左右声道差异；3. 沿 0 秒到 20 秒时间轴看波形变化是否与视角转动对应
论文图 2。原论文 Figure 2:：“Synchronized 20-second audiovisual examples.”。
该图显示本方法的左右波形随视角转动起伏更明显，而基线波形相对平坦，这与每个声音绑定持久 3 维位置的解释一致。但波形图本身不证明方向准确，需结合方向误差与人类评价一起读。
声道间强度差 × 到达方向： 声道间强度差分工是给出随时间变化的左右耳能量比曲线作为可观测的空间线索，到达方向分工是把该线索与听者朝向结合解算为全圆方位角，二者搭配是因为前者易测量但非角度，后者需校准与前后解歧，组合后才能用角度误差检验声源是否真被放在世界中。
还有哪些特有细节支持长时与模块化主张？
论文用两类特有细节补强主结果。一是轨迹长度诊断，20 秒与 40 秒的强度相关与能量排序基本稳定，说明方法不只匹配短窗局部线索。二是单多模块替换，换音频分割视觉语言与深度后端后仍可执行，但语义与空间指标此消彼长，例如换音频后端降低描述相似而图像项几乎不变，换深度后端提升语义却降低强度相关。由于无真实深度，该实验只能谈下游行为，不能判定几何精度。
启发式世界声音构造的语义对照显示完整构造策略优于弱与强启发式，但因选择放置参数同时改变，只能评价整体策略。运行时缓存世界后随轨迹与源上限增长而增加，但不建立渐近复杂度界，也不证明实时性。移动源渲染在 32 个移动源下用时约 106.09 秒与约 978.6 兆内存，这是渲染阶段的能力证明，不验证运动估计视觉同步与多普勒行为。阅读时应把这些细节与主表分开，避免把可替换性误读为后端等价。
拿掉传播、几何与分层后，哪部分最不能少？
消融用局域单源渲染做空间诊断，用最终全场景音轨做语义指标。原文报告移除声学仿真后强度相关几乎消失，移除几何感知放置或分层 3 维重建后强度与能量排序同样退化，说明仅靠文本条件声音不能产生可靠的听者相关方向线索。移除智能体声学参数仍保留较强强度相关，但能量排序下降，提示场景自适应参数主要改善相对强度与衰减。移除前后景分离后语义与空间都变弱，可能因单遍解析的源结构不可靠。
语义上多个变体在音频文本相似度上仍具竞争力，却在空间指标上失败，这支持核心主张：可听世界生成需要显式场景结构，而不仅是更强的音频生成器。启发式构造对照保留重建网格与渲染器，只把声音选择放置与参数换成随机或通用方案，本方法在四项语义指标上更高，但该比较同时改变多处，不能归因于单个智能体。模块替换显示换音频后端、分割、视觉语言模型与深度后端仍可运行，但指标有取舍，且无真实深度时不能判定哪种重建几何更准。
轨迹长度从 20 秒到 40 秒空间分数保持稳定，支持长时一致性，但总体趋势不等于每组每步都成立。
哪些结论有边界，哪些验证还没有做？
论文明确自动构建管线产生静态几何与固定源位置，供轨迹的移动源实验只测试渲染接口，不推断物体运动、不重建动态几何、不建立动作声音同步。系统是离线而非实时，免训练不免除世界构建成本。音频保真依赖音频后端，声学真实感依赖重建几何与估计参数。几何方向参考检验的是与构造世界的一致性，不是恢复真实世界源位置或精确材质。
重复解析显示前后景语义标签一致性约 70%，方向标志一致性约 80% 以上，这只是可重复性诊断，不是相对人工标注的准确率。仅 0.869% 的预测源需要参数钳制，说明范围合规但不证明参数正确。混合方向的低匹配误差需与调和平均一起读，低误差本身不代表找回全部声源。缺失证据不是技术错误，后续若要补强，应做动态世界构建、更忠实的几何与材料估计，以及与长时世界模型的集成。
要复述方法并复现关键数字，先做什么？
复述时先固定一条样本路径：文本提示生成全景，前景智能体给出紧凑标签与声音描述，背景智能体在前景移除后给出弥散区域与全局氛围，分割与深度提升为分层几何，文本转音频为每标签合成干声，表面采样固定源位置，参数智能体给出保守声学设置，几何传播器沿轨迹渲染双耳信号。复现先做三件事：用同一全景与轨迹保证几何参考一致，用单声道混音复算语义指标以隔离空间化，用隔离单源渲染复算方向误差。
关键超参数与信息条件包括音量半径功率的允许范围、源采样数归一化、强度窗长与重叠、方向活动掩膜阈值。论文给出每场景平均约 1.17 个前景标签、4.20 个背景标签与 1 条全局氛围，但语义标签数不等于渲染发射器数。硬件预算按原文交代为准，不自行推定帧率与延迟。没有收到像素的长时曲线与用户表单截图只按图注归因引用，不猜颜色坐标与曲线位置。
何时值得尝试这种做法，何时不必？
当任务要求听者可走动、视角可转动、声源需跨轨迹保持身份时，值得尝试把声音存为世界状态再做几何传播，而不是只换更强的文本或视频音频模型。当只需要一段与画面大致相符的短配乐，且不关心左右变化时，简单的场景级生成可能更省事。初学者常见误解是把强度相关高直接等同于听感分离好，原文明确两者不等价，需人类评价补充。
另一个误解是把自动指标当人类评价，或把宽表中的不同指标差值混为一列比较，复现时必须核对数据集、基线、阶段、指标、单位与聚合对象。总体上，这篇工作的可核对贡献是显式世界空间源 grounding 带来严格容差下的方向可恢复性与人类偏好，同时保持有竞争力的语义对齐，代价是离线构建与静态假设。
📎 论文与评分元数据
排名：前50% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses