英文题目：Enabling Immersive Audio-Visual Experience from Any Video
标签：#音视频生成 | #信号处理 | #音视频 | #空间音频信号
评分：7.1/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.9/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Zitong Lan：University of Pennsylvania
- Mutian Tong：University of Pennsylvania
- Jiatao Gu：University of Pennsylvania
- Mingmin Zhao：University of Pennsylvania
📌 核心摘要
输入为无声单目透视视频，输出为可自由转头观看的 360 度全景视频与同步一阶 Ambisonics 空间音频，难点是声源须随听者朝向旋转保持锚定且混响须符合场景几何与材质。沉浸式视觉扩展先用 CubeComposer 将窄视场外扩为全景，再用全景深度模型估计相对深度并由视觉语言模型估计度量尺度，反投影三角化为逐帧开放网格，兼作显示、音频语义上下文与声学几何。音频内容生成在全景关键帧上由视觉语言模型提议发声物体并给出声音描述与包围盒，经 SAM2 传播为时空掩膜并做半径 200 像素圆盘膨胀以包含交互，再裁出物体管送入 MMAudio 生成单声道干声，并用盲 RT60 估计器筛除混响大于 0.15 秒样本以免湿声再卷积。物理声学渲染用 SAM2 语义分割划分材质区域并由视觉语言模型查询各频带反射与散射系数后赋予网格，再将掩膜质心提升为三维声源，用 AcoustiX 做射线追踪累积镜面与漫散射增益并按到达方向加权一阶球谐，得到逐秒四通道脉冲响应，对瀑布与人群等扩展源多点采样加全通滤波去相干叠加，最后卷积混合为 FOA。与直接生成混合 FOA 不同，该文保留物体级音轨与脉冲响应后再编码，支持旋转解码与多格式输出。在YT360基准评测下，OmniDream的指标CC为0.58，高于OmniAudio的指标CC 0.54。该结论适用边界受限于外扩质量与深度尺度估计，完全遮挡声源与自由视点移动尚未验证。原文披露硬件为NVIDIA L40上8秒片段推理开销为CubeComposer外扩约1680秒、音频生成约197秒与声学渲染约55秒，当前瓶颈明显。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要输出什么，什么信息必须保留？
输入是一个无声的单目窄视场视频，输出是一段 360 度全景视频加一段 1 阶 Ambisonics 空间音频。白话说，1 阶 Ambisonics 是用一个全指向通道加 3 个方向通道编码声场的格式，可以随听者转动而旋转。必须保留的信息有 3 类：发声对象是谁、在哪里、声音何时发生。
听者转头时声像要跟着场景转动，不同环境要有不同的混响与延迟。论文把这个问题拆成视觉扩展、按对象生成干声、按物理仿真渲染 3 步，不做端到端联合训练。举例来说，湖面小船的水声与远处瀑布声应各自有方向。
转向瀑布时瀑布声变大，转开后变小，这要求音频不是预混好的立体声。论文要求保留声源分离与传播响应的可渲染表示，而不是直接输出固定混音。
以下示意先建立直观目标：左侧是被动观看窄屏，右侧是可环视并听到多方向声音的沉浸观看，箭头表示从前者到后者的转换。
看图路径： 1. 先对比左侧窄屏无声观看与右侧戴耳机环视场景的箭头指向；2. 再找到右侧水、鸟、瀑布、火四个标签与虚线指向的声源位置；3. 最后观察人物周围双向旋转箭头，理解转头与声像变化的对应关系
论文图 1。原论文 Figure 1:：“OmniDream transforms a silent perspective video into a 360^\circ video with synchronized spatial audio.”。
图中左侧人物面对显示器只能看到码头与湖面一角，右侧同一人物戴耳机处于环绕场景中。水、鸟、瀑布、火各有标签与波形示意并用虚线指向声源，人物周围旋转箭头表示视角可变。教学上先把该图理解为任务定义：视觉从窄变宽，音频从无变成分离、可转向、有环境感，而不是简单配一段背景音乐。
已有路线各解决了哪一半，为什么拼不起来？
按同输入同输出对照 3 条路线，学习依赖是先分清各自的输入输出再谈组合。视频到音频路线能按窄视场视频生成语义与时间对齐的单声道声音，但不扩展视场。它们也不建模声源空间位置与环境塑造，声音没有方向。
空间音频路线能在透视或全景视频上给出方向线索，但依赖给定场景。它们不负责把窄视场补成全景，且预渲染双耳混音难以随任意头转自适应。1 阶 Ambisonics 虽可旋转，但 1 阶球谐近似限制了方向分辨率。
透视到 360 度视频路线能外推视觉环境，但不管音频。论文的表格对照表明只有 OmniDream 同时输出 360 度视频与 FOA，并具备音画同步、物理感知渲染与多轨分解。教学要点是类别差异不等于同条件胜负。
单声道模型本来就不是为 Ambisonics 设计的，直接复制通道得到的伪 FOA 只能反映无空间化的下限。这种比较不能说该模型失败，只能说明缺少空间化环节，理解这一点才能正确解读后续基线。
为什么要用对象中心表示，而不是直接生成 FOA？
直接生成 FOA 等于把内容、位置、混响 1 次压进 4 个通道，换听音朝向或换播放格式都要重新生成。这种做法难以把能量精确锚到扩出的全景几何上，错误也难以定位。
对象中心表示把每个声源的内容信号与场景相关的声学效应分开。内容是干声，效应是每个声源到听者的脉冲响应。干声按对象管独立生成，脉冲响应按重建网格与材质仿真得到，最后卷积混合。
这样做保留了声源轨迹、几何与材质 3 个可检查的中间量，也允许同一批干声渲染为 FOA 或更高阶 Ambisonics。论文明确指出该分解带来对象级视听关联、物理传播建模、可转向灵活渲染三点好处。
后续消融也围绕是否拿掉跟踪与是否换成简单声像展开，验证分解的必要性。先理解这种解耦，才能跟上后面 3 段流水线的分工。
三段流水线如何串起一个样本？
沿一个样本走完输入到输出，输入窄视场视频先经现成全景模型生成全景视频。再对每帧做全景深度估计并经视觉语言模型估计米制尺度，反投影成点云并三角化。
丢掉顶点深度差超过阈值的三角形，得到逐帧可见几何网格，以容纳动态场景。接着在全景上用视觉语言模型提发声对象框与声音描述，用 SAM2 把框传播为全视频掩膜序列。
掩膜经形态学膨胀后取出带周围交互的对象管，送入视频到音频模型生成单声道干声。最后对全景做语义分割并查询每类材质的多频段反射与散射系数，标注到网格上。
用声学仿真从声源位置向听者位置追踪声线，得到每对象每帧的 FOA 脉冲响应，卷积干声后跨源求和并在帧边界交叉淡化。以下总览图把上路语义链与下路声学链的汇合点讲清楚，学习时先看主路径再看汇合。
看图路径： 1. 先沿左侧全景生成与深度估计看到中间检测跟踪再到右侧音频生成的主链；2. 再看左下材质估计与中下声学仿真在右下渲染处汇入的位置；3. 对照吉他演奏与河流两条波形，确认对象分离后再混合的思路
论文图 2。原论文 Figure 2:：“OmniDream pipeline. We first expand the narrow perspective video to 360^\circ video and reconstruct the scene geometry (Sec.”。
图中左上窄视频经 360 度生成与深度估计得到全景与深度，中上检测框经跟踪得到人物与河流两个对象管。它们分别生成吉他声与水流波形，左下材质估计与中下声线追踪汇入右下声学仿真与 360 度渲染。解释是语义分支决定发什么、何时发，声学分支决定从哪来、经过什么环境，两路在卷积混合处汇合，任一路错误都会传到最终声像。
视觉扩展与几何重建做了哪些可复述操作？
视觉扩展默认用 CubeComposer，也可用 Argus 替换，下游音频只依赖全景与几何接口。深度部分把每帧相对深度经视觉语言模型找已知尺度物体标定为米制，再反投影三角化。
阈值取 2 米，逐帧建网格以容纳动态场景，避免跨越深度不连续处错误连边。材质部分先用 SAM2 语义分割出材质区域，再查询每类在多频段的反射、吸收与散射系数。
反射加吸收约等于 1，静态材质结果缓存复用，声源位置取跟踪掩膜质心经深度抬升为 3 维点。听者放在全景相机位置，声学更新每秒 1 次并在区间内保持不变。
干声 × 脉冲响应： 干声指每个发声对象本身的内容信号，尽量不带房间混响；脉冲响应指从声源位置到听者位置的传播效应，包括直达延迟、衰减与反射。两者搭配的理由是把内容生成与空间传播解耦：干声由视频到音频模型按对象管生成，脉冲响应由几何与材质仿真得到，组合后卷积即得到带方向和混响的湿声，保留多轨可重渲染。
全景视频扩展 × 材质标注网格： 全景视频扩展是把窄视场输入外推为 360 度视频，作为视觉输出与几何来源；材质标注网格是把深度反投影网格按语义分割赋予反射与散射系数的声学场景。前者分工提供语义与深度观测，后者分工提供声线追踪所需的传播介质，组合后声源位置、传播路径与混响都有场景依据。
下面用室内拉奏场景的几何与材质分区示例说明近似程度，左侧为原始重建网格纹理，右侧为按声学参数着色的分区结果。
看图路径： 1. 对比左侧原始网格纹理与右侧按颜色区分的不同材质区域；2. 观察红色人物与蓝色墙面橙色地面的分区边界与颜色对应关系；3. 注意人物边缘拉伸与缺失，联系可见几何近似带来的仿真局限
论文图 4。原论文 Figure 4:：“An example of scene geometry and material segmentation.”。
从像素可见左侧网格存在人物边缘拉伸与暗部模糊，右侧蓝色墙面、绿色窗框、红色人物与橙色地面分属不同声学分区。颜色即反射与散射参数分组，该近似只含可见几何，外推与遮挡区域必然粗糙，后续声线追踪是在此近似上计算传播，而非精确重建。
按对象生成干声与筛混响如何执行？
发声提议从全景按每秒 1 帧采样关键帧，1 次送入视觉语言模型。模型要求跨帧确认持续声源，最多返回 4 个对象，每个给出代表帧、框与声音提示。
跟踪用 SAM2 由代表框向全视频传播掩膜，再用盘形结构元膨胀，膨胀半径为 200 像素。取出对象管后，条件包括裁块视频与语义描述，送 MMAudio 生成单声道。膨胀的教学意义是保留水花撞石等局部交互，避免只剩孤立物体。
干声假设要求信号尽量无混响，因为湿声再卷脉冲响应会叠加 2 次混响。做法是用盲 RT60 估计器筛查，超过 0.15 秒阈值则重新生成而不做去混响，避免引入伪影。
对象管 × 空间音频能量图： 对象管是把某对象的分割掩膜在全视频上跟踪并膨胀后裁出的时空视频块，用于隔离该对象的视觉事件；空间音频能量图是把 FOA 解码到球面各方向的强度分布，用于检查声音能量是否落在发声体方向。对象管分工是给音频生成干净条件，能量图分工是检验渲染结果，二者组合把生成对齐与空间对齐分别可视化和可度量。
\[\mathbf{a}_{k}^{t}[n]=\sum_{\ell=0}^{L-1}\tilde{\mathbf{h}}_{k}^{t}[\ell]\,s_{k}[n-\ell]\;,\]上式先交代符号：s 是某对象的干声序列，h 波浪号是该对象在当前帧的有效 FOA 脉冲响应。L 为响应长度，n 为帧内采样索引，a 为该对象渲染后的 4 通道贡献。计算目标是对干声做线性卷积，把方向编码与瞬时几何混响同时施加，后续跨对象求和即得混合声场。
声线追踪与区域声源的计算目标是什么？
每帧每对象仿真一个 4 通道 FOA 脉冲响应，方向权重由声源相对听者的单位方向给出。即 1 与 x、y、z 分量，对应零阶与 1 阶球谐编码。
声线从声源出发经标注网格传播，每次作用按反射系数保留镜面能量。按散射系数分配漫反射，到达波前按到达方向加权、按路径增益与延迟累加为离散响应。
默认点源位于区域质心，对人群瀑布等扩展源则在 3 维源区按面积均匀采样多个发射点。每个发射点算响应后再经全通滤波去相干，并按能量守恒权重叠加为区域响应。
\[\mathbf{h}_{k}^{t}[\ell]=\sum_{r}g_{k,r}^{t}\,\bm{\gamma}(\hat{\mathbf{d}}_{k,r}^{t})\,\delta[\ell-\ell_{k,r}^{t}],\]上式中 l 为延迟采样，r 遍历仿真路径，g 为含几何与吸收的路径增益。d 帽为到达方向，gamma 为 FOA 方向权重，delta 表示延迟到对应采样，目标是把几何与方向编码进可卷积的响应。
\[\bar{\mathbf{h}}_{k}^{t}[\ell]=\sum_{m=1}^{M_{k}}w_{k,m}\bigl(\mathbf{h}_{k,m}^{t}*q_{k,m}\bigr)[\ell],\qquad\sum_{m=1}^{M_{k}}w_{k,m}^{2}=1,\]上式中 m 遍历区域内采样发射点，h 为每点响应，q 为保幅改相的全通滤波。w 为能量权重，h 横线为区域有效响应，目标是多方向叠加而不相干相消。
一阶 Ambisonics × 双耳回放： 一阶 Ambisonics 是用 W 全指向加 X、Y、Z 三个方向通道编码声场的可旋转格式；双耳回放是按当前观看朝向旋转声场再经虚拟扬声器与头相关传输函数得到左右耳信号。前者分工是存储与传输与朝向无关的场景声场，后者分工是按头转实时解码，组合后实现转头时视觉与听觉方向一致变化。
点声源 × 扩展声源： 点声源把对象近似为其掩膜质心处的一个发射点，只仿真一条脉冲响应；扩展声源对瀑布人群等大面积声源在三维区域内按面积均匀采样多个发射点并叠加区域响应。点源分工是高效处理小而集中声源，扩展源分工是避免把弥散声压成一个方向，组合后用同一卷积混合框架保留能量并形成漫射声场。
渲染时点源与区域源统一按有效响应卷积，帧间用互补升余弦窗交叠相加。同组标量权重同时作用 4 通道以保持方向关系，回放时按视角旋转 FOA 再经解码与头相关滤波得到双耳。
本研究训练了什么，没有训练什么？
本研究没有训练任何神经网络，是免训练框架，组装现成模型并做仿真与计算。具体调用为 CubeComposer 做全景外推、特定全景深度模型做深度、Gemini 做提议与尺度材质估计。
对象跟踪分割用 SAM2，按对象音频生成用 MMAudio，声学追踪用 AcoustiX。未报告梯度路径、参数冻结细节与随机种子对生成的方差分析，不能把免训练等同于确定性求解。
生成式前端与视觉语言模型调用仍带随机性与提示敏感性，这是明确缺项。真实计算包括深度反投影三角化、掩膜膨胀与对象管裁剪、盲 RT60 筛查与重生成。
还包括每秒 1 次的百万声线仿真、卷积渲染与 300 毫秒交叉淡化混合。复现时应把各模型版本、提示词、阈值与声线数固定，并记录全景前端是 CubeComposer 还是 Argus，因为前端直接影响几何与最终指标。
在什么数据、基线与指标下比较，条件是否一致？
评估用两套数据，分别回答无真值对齐与有真值相似度两类问题。ImmerseSet 自采 65 段 8 秒无声透视视频，50 段来自 Pexels、15 段来自文本到视频模型。
排除剧烈抖动模糊，无全景与音频真值，只能测生成音视频之间的语义、时间与空间对齐。YT360 用 1000 段带 FOA 真值的 360 度视频，可算与真值的音频相似度，也直接测全景到 FOA 生成。
基线各解决子任务：MMAudio 在生成全景上跑单声道再复制 4 通道作伪 FOA。MMAudio Spatial 把全景切四视图各跑再按视向编码为 FOA，See2Sound 只看首帧生成 5.1。
ViSAGe 只看原始透视输入，OmniAudio 吃与 OmniDream 相同的外推全景以隔离音频做法差异。指标方向为 ImageBind 越高越好、DeSync 越低越好、空间 CC 与 AUC 越高越好、KL 与 FD 越低越好。
空间参考在 YT360 来自真值 FOA 解码的能量图，在 ImmerseSet 来自光流幅度的视觉导出图。两者经平滑归一化但口径不同不可混比，用户研究 20 人戴耳机拖视角听双耳解码。
评价按 1 到 5 评价空间正确性与整体沉浸感，每方法评 6 段且隐藏方法身份。这种设计把视觉前端一致性与音频做法差异分开，比较条件在附录中逐基线交代。
主结果在什么条件下成立，能量图说明了什么？
论文报告在 ImmerseSet 上 OmniDream 全面优于基线，全景输入加显式场景关联比粗粒度四视图空间化更有效。在 YT360 上音画对齐与空间正确性最好，音频相似度略逊于在该语料训练过的 OmniAudio，但仍具竞争力。
以下能量图把空间对齐变成可检查的证据：暖色为高方向能量，覆盖在等距柱状帧上。
看图路径： 1. 先看第一列全景帧中黄框标注的皮划艇火山与火车声源位置；2. 再横向比较 OmniDream 与 OmniAudio 和 ViSAGe 的暖色能量集中程度；3. 重点看火山口与皮划艇处能量是否收紧在框内而非铺满全景
论文图 6。原论文 Figure 7:：“Spatial audio energy maps overlaid on equirectangular panoramic frames.”。
三行分别对应皮划艇、火山骑马、人物说话与火车场景，第一列黄框标出声源位置。第二列 OmniDream 能量收紧在框附近，第三四列基线能量更弥散或偏离，说明对象分解加几何传播把能量锚到可见声源。限制是 ImmerseSet 空间参考来自光流而非真值声场，只能说音画空间对应，不能说声学真值误差。
下面先看运行开销表，理解视觉前端瓶颈，再看声学渲染精度表。比较问题是各阶段耗时分布与物理近似边界，公平条件是同为 8 秒视频与同硬件，指标方向为耗时越低越好、误差越低越好。
| Video expansion (8s video) | Video expansion (8s video) |
|---|---|
| CubeComposer | 1680s |
| Argus | 173s |
| Depth estimation | 44s |
| Material segmentation | 28s |
| Object tracking | 88s |
| Audio generation | 197s |
| Acoustic rendering | 55s |
该表给出平均 3.4 个声源的分阶段耗时，全景扩展 CubeComposer 约 1680 秒、Argus 约 173 秒。音频生成约 197 秒可按源并行，声学渲染约 55 秒，结论是视觉前端是速度瓶颈。选择 CubeComposer 是用时间换视觉质量与端到端指标，替换前端不改变音频与渲染阶段。
下面再看与真值 IR 对比的声学渲染精度表，理解物理近似的边界。比较问题是视觉估计的响应与实测响应的差距，公平条件是同房间密集实测，指标为 C50、EDT、RT60 与多分辨率 STFT 误差。
| Setting | C50 | EDT | RT60 | STFT |
|---|---|---|---|---|
| Zero-shot | 4.69 | 0.099 | 31.9 | 0.58 |
| One-shot | 2.21 | 0.042 | 11.4 | 0.56 |
| INRAS | 2.45 | 0.071 | 25.1 | 0.52 |
该表比较零样本视觉估计、单条实测校准与 300 样本训练的 INRAS，零样本 STFT 误差已接近校准后。但 RT60 相对误差与 C50 误差较大，单条校准主要修正晚期混响尾，说明几何传播结构可用、晚期能量估计不足。单样本校准只是诊断，不属于可部署流水线。
以下两张整理表分别汇总人评与可复述的关键数字，单位与精度保留原文写法。比较问题是感知收益与干声假设是否成立，公平条件是同 ImmerseSet 与同双耳解码流程，指标方向为人评越高越好、误差越低越好。
| 评价维度 | 评价指标 | OmniDream | 对照方法 | 对照结果 |
|---|---|---|---|---|
| 空间正确性 | MOS | 3.83 | MMAudio | 2.85 |
| 空间正确性 | MOS | 3.83 | OmniAudio | 2.50 |
| 整体沉浸感 | MOS | 3.54 | MMAudio | 2.77 |
| 整体沉浸感 | MOS | 3.54 | OmniAudio | 2.51 |
人评表前已说明 20 人、隐藏方法随机、拖视角听双耳、1 到 5 分，方向为越高越好。表后解释是 OmniDream 在 2 维领先，差距在透视设计的基线上更大，但人评只覆盖每方法 6 段且排除 See2Sound。未胜出项明确保留，MMAudio 与 OmniAudio 的数值即反例，不能推广到所有场景。
| 检验主题 | 报告指标 | 报告值 | 对照值 | 适用条件 |
|---|---|---|---|---|
| 干声通过率 | 低于阈值比例 | 90.16% | 0.15 s | 盲 RT60 筛查 |
| 干声均值 | 平均混响时间 | 0.08 s | 0.15 s | 生成源统计 |
| 零样本误差 | STFT 误差 | 0.58 | 31.9% | RT60 相对误差 |
| 零样本误差 | C50 误差 | 4.69 dB | 31.9% | RAF 实测对比 |
| 单条校准后 | C50 误差 | 2.21 dB | 11.4% | RT60 误差诊断 |
该表把分散在正文的阈值、误差与提升放在一处，表后强调零样本与单样本校准不可混用。前者是可部署策略，后者只是证明剩余误差集中在晚期混响的诊断，代价是晚期混响与材质尺度误差仍存在。论文还报告空间相关约 52% 与人评约 34% 和约 28% 的相对提升，均是相对最强基线，不能当作绝对精度。
拿掉跟踪、膨胀与完整渲染会发生什么？
消融围绕三处，比较问题是各组件贡献与误差传导，公平条件是同 ImmerseSet 与同指标方向。不用对象跟踪而直接喂全景生成再作用于主导声源，空间正确性下降最大而语义对齐影响较小。
这支持空间精度主要来自按源分解的判断，不用掩膜膨胀而只取本体。音画对齐下降最明显，支持局部环境交互对时间耦合重要的判断，把完整声学渲染换成方位声像加距离衰减加传播延迟。
简单叠加只有边际增益，只有完整渲染在细时间分辨率与语义对齐上全面改善。这支持增益来自场景相关仿真而非简单声像，鲁棒性扰动显示材质加噪与尺度缩放影响中等。
声源位置加噪影响最大，符合定位错直接搬移能量的机制，IR 级扰动则尺度影响最大。因重缩放改变所有路径长度，两处评价对象不同不可直接对比大小，前端替换显示 CubeComposer 优于 Argus。
代价是完整渲染与高质量前端更耗时，且对声源定位误差敏感。未评测边界包括全遮挡声源与自由视点漫游，论文明确列为局限，不能从消融推出拿掉后必然怎样的因果承诺。
哪些情况还做不了，哪些数字不能外推？
论文自述不支持全遮挡声源，因生成阶段缺乏视觉证据，只支持头转不支持自由视点重定位。未来需动态新视角合成，声学上视觉估计的几何材质只是有用近似。
不是精确重建，零样本 RT60 与 C50 误差即证据，资源状态方面未发现来源绑定且完成验证的资源。不得声称代码模型数据已公开，原文说示例在 Hugging Face、接受后将发布实现与 ImmerseSet。
本次只能写链接当前不可用或未能确认可达，不作已公开判断。不同指标的差值不能混放一列，自动指标不能当人评，末步结果不能推广全程。
总体趋势不等于每组每步成立，YT360 的 KL 与 FD 优势在训练重叠方一边。比较时需保留该条件，ImmerseSet 的光流参考也不能当作声学真值。
要复现应先固定什么，第一步跑通什么？
先固定信息条件：8 秒输入、10 帧、全景前端版本、深度与尺度标定提示。还包括 SAM2 与膨胀半径 200 像素、MMAudio 版本与 RT60 阈值 0.15 秒、每秒 1 次脉冲响应。
百万声线、44.1 千赫、交叉淡化 300 毫秒、L40 或 B200 硬件，第一步跑通单对象样本。生成全景并存深度与网格，检查掩膜跟踪是否跟住声源，听干声是否干净。
再看该源脉冲响应的直达延迟与混响尾是否随距离环境变化，最后混多源并拖视角验方向。基线复现按附录给输入：MMAudio 跑生成全景后复制通道，Spatial 版切四视图。
ViSAGe 跑原始透视，OmniAudio 跑同一外推全景，评估用 AV-Benchmark 工具算 ImageBind 与 DeSync。按 ViSAGe 做法解 FOA 能量图算 CC 与 AUC，注意 ImmerseSet 与 YT360 参考图口径不同。
何时值得尝试这种分解，何时换更轻的方案？
当任务要求转头可变、全景可看、多声源各有方向且环境感重要时，值得尝试干声分离加仿真渲染的分解。因为它把错误定位到提议、跟踪、材质、定位 4 个可查环节，且同一干声可重渲染多格式。
当只有单个主导声源、环境简单或延迟预算极紧时，更轻的方位声像加衰减可能够用。但要接受细时间跟踪与混响真实感的损失，还需补的验证是遮挡与运动声源的误判率。
长视频时序一致性、真实房间的双耳听感对比，以及前端换更快模型后的性价比曲线。教学上记住核心矛盾：生成模型擅长补内容，物理仿真擅长定传播。
两者用对象与网格接口拼起来，而不是让一方硬做另一方的事。这种分工也是未来联合生成与流式生成的 baseline，需要配对监督与端到端优化才能进一步验证。
📎 论文与评分元数据
排名：前50% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses