📄 只渲染你点名的那个声音：AV-QTSS 如何从单声道混合与全景视频生成目标 FOA

英文题目：AV-QTSS: Class-Query Target Sound Spatialization in Multi-Source 360^\circ Videos

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Qingyu Luo：机构信息未能在本次解析中与作者逐人可靠绑定
  • Peng Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
  • Wenwu Wang：机构信息未能在本次解析中与作者逐人可靠绑定
  • Philip J. B. Jackson：机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

从单声道混合声与三百六十度视频中取出指定类别声源并生成其空间声场，困难在于混合声没有方向线索而画面中可能同时有多个发声物体，需要同时解决取出什么声音和对应画面中哪个位置。输入是五秒单声道混合声、五帧全景视频和十三类DCASE本体中的类别查询，输出是该查询声源单独的一阶Ambisonics四通道信号，含全向通道与三个方向通道。查询条件分离器先从混合声中估计目标的全向通道，查询条件稠密绑定定位器再结合分离音频、类别嵌入与视觉对应关系，输出每帧在球面网格上的概率图。地图条件FOA渲染器以该概率图为可微条件，由目标全向通道预测方向通道，定位与渲染联合优化，使FOA损失回传塑造定位图。与整场景空间化或只分离不定位的方法不同，该工作把分离后音频、类别与视觉绑定到同一张概率图，保证提取内容、绑定对象与渲染方向一致。在AV-QTSS-Syn合成测试集上，以空间指标整体角度误差Δang比较，完整系统为23.3°，低于方向独占基线的24.4°和解析编码基线的25.5°。结论适用于查询类别在片段内活跃且不同声源类别不同的情况，同类多实例、语义相近类别仍易混淆，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

沉浸视频为什么需要单独渲染一个声音

这篇论文处理的是 360 度视频里的空间音频。观众戴耳机或面对音箱阵列时，希望铃声从左边来、人声从右边来，声音与画面对齐。1 阶 Ambisonics 是一种紧凑的全球面声场表示，本文采用 ACN/SN3D 约定，用通道顺序[W,Y,Z,X] 表示，其中 W 是全向通道，记录声压本身，Y、Z、X 是 3 路方向通道，记录声场在不同轴向的指向性分量。

实际录制往往只留下一路单声道混合，所有声源叠在一起，没有显式的方向线索。如果直接把整个混合做成空间音频，创作者就无法单独把某一个事件抽出来增强、压低或搬到别处。论文要解决的就是点名式的需求：给定单声道多声源混合、一路 360 度视频和一个来自 13 类 DCASE 声音事件本体中的类别查询，只生成被查询的那个声源的 1 阶 Ambisonics 信号，其它声源不进入输出。

单声道混合 × 一阶 Ambisonics： 单声道混合指全景视频录制时所有声源叠加到一路全向波形，丢失了方向线索；一阶 Ambisonics 指用一路全向通道 W 加三路方向通道 Y、Z、X 编码整个球面声场。本文把前者当输入，把后者当输出，中间的方向必须从视频补回。

已有路线为何停在场景级或只做一半

论文把已有工作分成几条路线。第一条是音视频驱动的整体空间化，用视觉线索从单声道重建双耳或 FOA，或者像 OmniAudio 和 ViSAGe 那样只看视频合成一段听起来合理的 FOA 配乐。这类方法的目标是场景级配乐，不是把录到的某个声源恢复出来单独使用。

第二条是查询式抽取与定位的各一半。文本查询的分离能从单声道混合里取出目标但不给位置，文本查询的定位只给方向不给信号，音视频分割能标出发声像素但把音频当作已给输入而不做混合分离。第三条是空间目标抽取，它确实输出带空间的目标，但要求输入已经是 Ambisonics 或双耳，多声源下抽取后的音频条件定位器仍可能响应到竞争的视觉声源。

本文的差异在于输入、目标和监督同时对齐：输入是单声道混合加全景视频，目标是查询类别单独的 FOA 4 通道，训练需要每声源波形与 FOA 真值。已公开的 360 度空间音频语料只有场景级 Ambisonics 而无分声源信号，最接近的真实库也只有方向标注而无分声源波形，这正是论文要自建 80 小时语料的原因。

任务的输入输出与必须保留的信息是什么

任务形式化为从三元组到 4 通道的映射。输入是 5 秒、24 kHz 的单声道混合 Wmix、同步的 360 度视频 V 和 1 到 13 的类别编号 q，输出是查询声源单独的 FOA 估计，包括保留内容的全向通道估计与新生成的 3 路方向通道估计。混合本身不含方向，所以方向必须从视频推断，而视频里可能多个物体同时发声。

为帮助理解，下面先看任务对比示意图。上行是已有场景级做法，下行是本文的类别查询目标级做法，输入的画面与波形相同，差别在于是否有点名控制和输出是整体还是单个声源。

看图路径： 1. 先对比上下两行输入是否相同而输出与控制条件有何不同；2. 注意下行多出的类别查询箭头指向哪里；3. 看右端球面图标是整体声场还是单个铃声的指向

原论文 Figure 1：(a) Scene-level spatialization. (b) Class-query target-level spatialization.

论文图 1。原论文 Figure 1:：“(a) Scene-level spatialization. (b) Class-query target-level spatialization.”。

上图上半把单声道混合与全景画面送入已有空间化方法，右端是场景级空间音频，听者听到的是整体。下半多了一个查询输入，以铃声为例，系统只输出铃声的 FOA，右端球面图标上只有铃声指向听者。图中黄色高亮的铃声与灰色的行人、垃圾桶形成对照，说明同一混合与同一画面下，查询切换应切换输出的内容与方向。这是后文所有分离、定位与渲染分工的起点。

一个样本如何走完分离定位渲染三步

论文把系统分成 3 个阶段。查询条件分离器先按 q 从 Wmix 估计目标的全向通道，即混响后的目标 W 分量；定位器把该估计、视频 V 和同一查询 q 变成每视频帧一张球面概率图，帧数 T 为 5；渲染器以这些图为条件，保留目标全向通道并预测对应的 Y、Z、X 3 路。整体映射可写作从混合、视频与查询到 4 通道估计的函数。

\[\mathcal{F}:\;\left(W_{\mathrm{mix}},\,\mathbf{V},\,q\right)\;\mapsto\;\hat{\mathbf{F}}_{q}=\left[\hat{W}_{q},\,\hat{Y}_{q},\,\hat{Z}_{q},\,\hat{X}_{q}\right].\]

上式中带尖号下标 q 的符号表示查询 q 的 FOA 估计，方括号内依次是全向与 3 路方向估计。关键在于同一查询 q 被用了两次：一次告诉分离器取什么内容，一次告诉定位器绑定哪个视觉对象。这样内容与方向的一致性才有抓手，否则分离出的声音与渲染方向可能各说各话。系统框图见下一节，3 个模块的输入输出与条件路径在那里汇合。

框架图里三条链路在哪里汇合

在进入各模块细节前，先沿框架图走一遍数据流。左侧是查询分离器，输入混合波形与文本查询，输出目标波形估计；中间是稠密绑定定位器，输入视频帧、目标波形估计与查询，输出每帧的发声先验与融合后的概率图；右侧是 FOA 渲染器，输入目标波形估计与概率图，输出 3 路方向通道。图中雪花标记表示冻结的编码器，橙色粗箭头表示查询条件路径，虚线表示先验融合。

看图路径： 1. 沿左侧混合与查询经分离器得到目标波形的路径看主链；2. 看中间定位器如何从发声图与查询令牌汇出概率图；3. 看右侧渲染器如何用概率图门控从目标波形生成三路方向通道

原论文 Figure 2：The framework of the proposed AV-QTSS system.

论文图 2。原论文 Figure 2:：“The framework of the proposed AV-QTSS system.”。

从像素可见，左下 AudioSep 框同时接收波形与查询字样，上方图像编码器处理 5 帧全景帧并与音频编码器在 AVS 编码器处交汇。中间球面位置编码与查询令牌分别进入 Transformer 解码器，再经余弦匹配与先验融合得到下方的概率图，上方的发声图作为先验参与融合。右侧 U-Net 接收目标波形，门控路径接收概率图，最后经掩码分支输出 3 路波形。该图说明分离结果既是定位器的音频输入，又是渲染器的时频骨架，而概率图是连接定位与渲染的唯一可微条件。

分离器如何只取出查询类别的内容

因为同时发声的数量未知，分离器不能按固定路数分离，只能按类别点名抽取。论文采用文本查询的 ResUNet 分离器 AudioSep，它天然适配类别查询接口。但有 2 个条件与原模型不同：查询词表固定为 13 类而非自由文本，目标是查询声源的混响全向通道，而发布模型并未针对该目标训练。

做法是先用冻结的 CLAP 文本编码器预计算类别原型，得到 13 乘 512 的基矩阵，再学习一个同样尺寸的零初始化残差，加到基向量上后做归一化，推理时按索引取出对应类别的条件向量。零初始化意味着训练起点就是原始 CLAP 语义，残差只做小幅修正去适配混响全向目标与固定词表。分离器独立训练，后文定位与渲染训练时使用的是它估计出的目标波形而非干净真值，这样后级学到的是带分离误差的真实工作条件。

分离器 × 定位器： 分离器负责按类别查询从混合中取出目标的内容波形，解决不知道有多少声源时只取一路的问题；定位器负责判断查询目标在球面上占据哪个区域，解决多个可见物体同时发声时绑定谁的问题。二者都使用同一查询，前者给内容，后者给方向。

定位器如何把查询绑定到球面格子

定位器要决定哪个空间区域属于查询声源。已有 AVS 模型在 2 比 1 等距柱状投影帧上运行，图像用冻结的 PVT-v2 编码，音频用冻结的 VGGish 编码，已经能从分离后的目标音频定位发声区域，但其输出的发声图没有显式类别身份，多物体同响时仍含糊。论文引入查询条件稠密绑定定位器，预测整网格上的分布。

具体地，每帧视听特征池化到 7 乘 14 的球面网格，共 98 个格子，每个格子投影为 128 维令牌，编码其与分离音频的对应关系，再加上该格固定球面单位方向的 3 维向量的线性嵌入，得到空间感知令牌。查询融合层把当前秒的分离音频特征与学习到的 64 维类别嵌入拼接、层归一化再线性投影为单个 128 维查询令牌，使目标同时由声音与类别指定。

\[\mathbf{u}_{t}=\mathrm{Linear}\!\left(\mathrm{LN}\!\left(\left[\mathbf{a}_{t};\,\mathbf{e}_{q}\right]\right)\right).\]

上式把分离音频特征与查询类别嵌入拼接后做层归一化与投影，得到查询令牌。随后 Transformer 解码器让查询令牌读取全场景令牌，压缩为单个目标向量，再与每个格子令牌算余弦相似度投影回网格，并与同格发声先验在对数域融合后做 Softmax。

\[P_{t,j}=\mathrm{Softmax}_{j}\!\left(\alpha_{s}\cos\!\left(\mathbf{h}_{t},\,\mathbf{z}_{t,j}\right)+\alpha_{p}\log\!\left(S_{t,j}+\epsilon\right)\right).\]

上式给出查询声源占据每个格子的概率，余弦项区分查询声源与其它发声体，发声先验压低静默格，两个大于零的学习尺度控制权重与锐度，二者都支持的格子才会被青睐。

发声图 × 球面概率图： 发声图是已有音视频分割编码器给出的正在发声区域的先验，没有类别身份，多声源时会混淆；球面概率图是本文定位器输出的按查询归一化的分布，每个格子是目标占据该位置的概率。前者在对数域压住静默格，后者在余弦相似度上区分查询声源与其它发声体，二者相加再做 Softmax 得到融合图。

查询令牌 × 空间感知令牌： 空间感知令牌是每个球面格子的 128 维向量，编码该格视听特征与分离音频的对应关系再加上固定球面方向嵌入；查询令牌是把当前秒的分离音频特征与学习到的类别嵌入拼接后得到的一个向量，同时携带声音长什么样和查询是哪一类。二者通过 Transformer 解码器让查询读全场景，再投影回网格打分。

渲染器如何用概率图生成方向通道

渲染器原型是作者此前的场景级渲染器：时频 U-Net 从 W 的短时傅里叶变换预测每路方向通道的复数掩码，经门控 FiLM 以类别无关的发声先验为条件。本文把它改为查询专用条件：用查询声源的稠密概率图经线性插值到短时傅里叶帧率后替代先验，门控跟随图的峰值概率与熵。

掩码作用在目标全向估计的频谱上，使每路方向通道继承其时频结构同时编码声源方向，再经逆短时傅里叶变换得到 Y、Z、X 估计。直观说，内容骨架来自分离器，方向来自概率图，掩码是把方向写进骨架的算子。解析编码基线是把目标波形按图的期望方向做编码的免训练做法，方向独用变体只保留期望方向但保持可微，完整模型则保留整张图的分布信息，门控能感知不确定性。

联合损失如何同时塑造图与声场

定位器与渲染器联合优化，使 FOA 损失经可微条件回塑概率图。总损失是定位损失加权 FOA 损失，定位损失又由三项组成：与以目标为中心、西格玛 10 度的归一化球面高斯的交叉熵、期望方向的余弦损失、以其它活动声源为中心、西格玛 20 度高斯逐点最大值加权的距离惩罚；FOA 损失是方向通道短时傅里叶变换实部、虚部与 0.1 加权幅度的 L1 损失。

权重取值为方向项 1、距离项 1.75、FOA 项 20。优化器用 AdamW 加余弦衰减，学习率 2 乘 10 的负 5 次方，权重衰减 10 的负 4 次方，梯度裁剪到 1.0。分离器是另 1 阶段独立训练，采用分阶段微调与模块相关学习率，从 2.5 乘 10 的负 7 次方到 2.5 乘 10 的负 5 次方。在真实 STAIRS26 上只更新定位器，学习率同样为 2 乘 10 的负 5 次方，因为该库无分声源波形与 FOA，只能监督查询定位到达的那 1 级。

定位损失 × FOA 损失： 定位损失监督球面概率图本身，包括与目标高斯的交叉熵、期望方向余弦损失和对其它声源位置的距离惩罚；FOA 损失监督渲染出的三路方向通道的复数频谱。渲染器以概率图为门控条件且可微，因此 FOA 损失的梯度能回传塑造定位图，这就是联合优化的含义。

数据从哪里来以及如何划分与评测

实验用两类数据。合成库 AV-QTSS-Syn 为获得分声源监督而建，共 80 小时 5 秒片段，同一本体下用 SpatialScaper 与 SELDVisualSynth 构建，提供单声道混合与混响后分声源目标；纯音频部分提供多变重叠以适配分离器，视听完整部分再加 360 度视频、分声源 FOA 与轨迹，且每声源贯穿全片以做逐帧空间监督。每 40 小时部分含 24000、2400、2400 的训练、验证、测试片段。并发数 1、2、3、4 占比 10、40、35、15%，运动按静态与移动划分，50% 片段含 5 到 20 dB 信噪比的环境声。资源身份跨划分不重叠，所有合成结果用视听完整测试划分。

真实库 STAIRS26 扩展自 STARSS23，约 7.5 小时真实录音，最多 4 并发，带 13 类标注与方向，保留 156 段带 360 度视频的录音按房间不交叠分为 94、27、35。因无分声源波形与 FOA，它只监督真实域查询定位。

输入为 5 秒 24 kHz 音频与 5 帧 1 Hz 采样的 224 乘 448 等距柱状帧。重建指标在方向通道上算波形均方误差、幅度与包裹相位均方根误差、多分辨率短时傅里叶距离；W 通道用相对混响目标的 SI-SDR，混合为负 3.75 dB，分离后多声源片段为 6.33 dB。空间指标用 DOA 估计报方位角、俯仰角平均绝对误差与总角度误差。主观指标 MOS-C 与 MOS-S 分别评内容正确性与感知空间准确性，11 名听众对每方法 5 段双耳解码片段按 1 到 5 打分再平均。

完整系统在合成集上是否更准

由于没有已有系统做完整任务，论文采用每次替换或消融一个阶段的方式评估全系统。这里先看定位器绑定的消融，比较问题是去掉稠密绑定或去掉类别嵌入后总角度误差如何变化，误差越低越好，三者都在相同调度下训练。

方法总角度误差
Ours23.3∘
No-Binding [35]47.4∘
No-Class38.7∘

上表整理自合成集上的定位器消融，完整模型总角度误差为 23.3∘，去掉绑定后升至 47.4∘，只去掉类别嵌入后为 38.7∘，且原文指出后两者在空间主观分上的下降大于内容主观分。这说明类别绑定主要改善方向而非内容保留，但该表只覆盖角度一列，幅度与相位等重建指标以及联合训练 4.4∘的改善需结合正文中的其它对比理解，不能只看此表下结论。

下图展示查询切换的定性结果，行依次为输入场景、混合、预测目标、渲染 FOA 能量图，白框标出查询声源的标注位置，左右两块分别为合成三源与真实双源场景。

看图路径： 1. 对比同一列混合频谱与预测频谱保留了哪些成分；2. 看最下一行能量热点是否落在白框标注的目标位置；3. 对比左右两大块合成与真实场景下查询切换是否都跟随目标

原论文 Figure 3：Qualitative results. Rows: input scene, mixture, predicted target, rendered FOA energy map.

论文图 3。原论文 Figure 3:：“Qualitative results. Rows: input scene, mixture, predicted target, rendered FOA energy map. Boxes mark the annotated position of each queried source.”。

从像素可见，左块三源合成中水龙头与铃声两列的预测频谱明显不同，前者宽带连续，后者为离散铃声条纹，能量热点分别落在左右白框处；右块双源真实场景中乐器与男声的预测频谱与热点同样跟随查询切换。原文报告左块水龙头 SI-SDR 为 9.6 dB、铃声为 6.2 dB。该图支持的判断是同一场景与同一混合下输出内容与能量跟随查询走，但它只是所选样本，不能代替表中的平均误差与主观均值。

定位器的类别绑定在多声源下作用多大

定位器单独评估用 Acc@30 度，即查询帧中图峰值落在标注 30 度内的帧比例，越高越好。合成混合使用互异类别，真实集则排除查询类别有多个活动实例的帧。比较问题是稠密绑定与显式类别嵌入各带来多少增益，以及适配前后在真实域的变化。3 个变体是直接级联已有部件并用发声先验代替融合图的无绑定、只去掉定位器类别嵌入的无类别、完整查询稠密绑定定位器，真实域各变体经相同调度适配。

DatasetLocalizerK=1K=2K=3K=4
AV-QTSS-SynNo-Binding [35]97.076.665.555.1
AV-QTSS-SynNo-Class97.178.569.960.4
AV-QTSS-SynQDB97.990.689.682.7
STAIRS26No-Binding [35]38.844.047.119.7
STAIRS26No-Class42.358.157.920.1
STAIRS26QDB55.069.460.229.6

上表按并发数 1 到 4 分别报告合成与真实适配后的准确率。合成上完整模型在 1 到 4 源下为 97.9、90.6、89.6、82.7，随并发增加仍保持高位，而无绑定在 4 源跌至 55.1，无类别跌至 60.4，说明增益随声源数增大。真实适配后完整模型为 55.0、69.4、60.2、29.6，排序与合成一致，但 4 源绝对值仍低，且各变体准确率不随并发单调变化。原文指出这不是单纯复调性效应，因为真实子集的场景与类别内容本就不同。

未适配时完整定位器仅 11.1 到 32.8%，适配后各子集至少翻倍，说明合成到真实的域差大，真实小目标常不显著，必须适配。无绑定与无类别在真实域同样提升但仍落后，支持类别嵌入在真实域仍有区分作用。一个未胜出项是真实 1 源完整模型仅 55.0，低于 2 源的 69.4，提示单源真实片段可能含更难的类别或遮挡，不能把多源下的相对优势推广为源越少一定越准。

结论在什么条件下才成立

论文的改善结论依赖 3 个条件。第一，查询是封闭集 13 类且在片段内处于活动状态，不处理开放词表；第二，合成评估用互异类别，真实评估排除了同类多实例帧，因此不能分离同类实例，语义相近类别也可能混淆；第三，真实域数字都是适配后结果，未适配时准确率很低，说明直接迁移不成立。

指标上，重建与角度误差只在方向通道上计算，W 通道另用 SI-SDR 报告；主观样本量小且经双耳解码，分数不能等同于 FOA 本身的物理精度。联合训练的 4.4 度改善是在分离估计输入下测得，若分离器换成更弱或更强模型，定位与渲染的相对差距可能变化。复调最高只系统评估到 4 源，更高复调与更长运动轨迹尚未评测。

复现第一步做什么与资源现状

复现应先对齐数据与评测管道。合成侧需按原文资源池与划分重建 80 小时库，包括方向相关 FOA 房间脉冲网格与环境声，并保证音频、视觉物体与全景资源身份跨划分不重叠；真实侧用房间不交叠的 94、27、35 划分，只做定位监督。音频统一为 5 秒 24 kHz，视频统一为 5 帧 224 乘 448 等距柱状帧，FOA 用 ACN/SN3D 与[W,Y,Z,X] 顺序。

模型侧先独立微调分离器得到目标波形估计，再用该估计联合训练定位器与渲染器，损失权重按方向 1、距离 1.75、FOA20 设置；真实域只更新定位器。评估时重建与角度误差要在方向通道上算，主观需说明双耳解码与听众数。关于资源，论文脚注给出演示页链接，本次核验该第三方演示页可达，但这只证明论文提到该链接，不证明作者已开源代码或权重。来源未确认不是技术缺陷，需要补的验证是公开训练代码与模型权重后在独立环境重跑表 1 与表 2。

什么时候值得尝试以及还缺哪项验证

当任务是单声道加全景视频且用户能给出封闭集类别点名，需要单独拿出一个声源的 FOA 做增强、抑制或重定位时，这个 3 段式值得尝试。它的关键经验是同一查询要同时约束内容抽取与视觉绑定，且概率图要以可微方式交给渲染器联合优化，否则内容与方向容易脱节。

还需要补的验证包括开放词表查询、同类多实例分离、更高复调与长时运动下的稳定性，以及更大规模听音与延迟成本测量。原文未报告训练资源、推理开销与输出帧率，总体趋势不能推到每组结果。未来工作指向开放词表、更高复调与更真实语料，这与本文列出的封闭集、不能分同类实例、易混淆近义类的局限是一致的。

📎 论文与评分元数据

排名：前50% | 文档类型：方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-10-27 语音/音乐/音频论文速递