📄 Rel2Traj：让文字描述变成多声源相对运动都成立的空间音频
英文题目：Rel2Traj: Inter-Source Relation-Aware Trajectory Generation for Text-To-Spatial-Audio
评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5
👥 作者与机构
- Yihang Bao：机构信息未能在本次解析中与作者逐人可靠绑定
- Lingfeng Yao：机构信息未能在本次解析中与作者逐人可靠绑定
- Shengyao Wang：机构信息未能在本次解析中与作者逐人可靠绑定
- Junpei Xun：机构信息未能在本次解析中与作者逐人可靠绑定
- Miao Pan：机构信息未能在本次解析中与作者逐人可靠绑定
- Jiang Liu：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
文字描述的多声源空间音频不指定每条轨迹的具体形状，只要求多个运动声源的联合运动在每一帧都满足相对关系，需生成并验证有效的轨迹集合。处理过程是先把文字转成结构化条件，再一次生成全部声源的轨迹，最后沿轨迹渲染双耳音频。经微调的解析器从描述中抽出声源及其运动类型、声源间关系和每声源粗略位置锚点，输出经图编码器做类型化消息传递后形成每声源条件向量。关系条件扩散模型在该条件和跨声源注意力下联合生成全部声源的16个关键帧轨迹，每帧关系几何裕量既定义评测也作为训练辅助损失，镜像等变结构对应左右对称的空间语言。双耳渲染器把预训练文本到音频模型的声音沿插值后轨迹放置，经多普勒频移、头部相关传输函数插值和房间反射后输出音频。在仅含训练未见运动—关系组合的组合测试集上，以关系满足率RSR衡量，Rel2Traj为0.983，高于独立逐声源基线的0.869，其抖动更高说明优势来自联合协调而非更平滑。适用范围限于受控语言、至多三声源、每场景至多一个声源间关系和有限关系词表，held-out的behind单元以0.780为最低点，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://echo-sculpture.github.io/Rel2TrajSA/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
空间音频要解决的输入输出是什么
这篇论文处理的是文字到空间音频的生成。输入是一句自然语言描述，例如一辆车从左前开到右前，同时一只狗跟着它。输出是双耳音频，听者戴耳机时能感到不同声音来自不同方向并随时间移动。
关键在于描述往往不给出具体坐标，只规定联合运动必须满足的关系。车和狗各自走哪条线可以有很多种，但狗跟着车这个约束在每 1 帧都要成立。已有方法能按文字把每个声源单独放好或让它动起来，却没有把声源之间的相对约束显式建模，也没有在每帧检查它是否成立。这是本文要补的缺口。
因此生成器必须一次给出有效的轨迹集合而非单条轨迹，且每帧都要能验证是否满足关系，这直接决定了后文联合生成全部声源轨迹与逐帧几何检查的设计分工。
已有两类做法为什么管不住声源之间的关系
论文把已有文字驱动空间音频归为两类。第一类是端到端生成，用扩散模型直接生成带空间属性的音频，声源静态或在两点间直线移动，空间信息只藏在生成的波形里，生成后难以可靠评估多声源或移动声源的位置。第二类是级联做法，先从文字解析出每个声源的显式空间表示，再分别生成声音并渲染，例如解析静态坐标或单声源轨迹。
两类做法的共同点是空间信息都写成每个声源的绝对方向。关系只在听觉理解或单声道空间化里对静态声源出现过，没有对移动声源建模。因此即使每个声源单独看都合理，合在一起跟随、在后面、同向等关系也可能被破坏。论文的比较都建立在任务、输入和阶段相同的基础上，不把静态定位与多源相对运动混为一谈。
执行顺序上，端到端是生成波形后再评估空间属性，级联是先解析每声源显式表示再分别生成与渲染；两条路径都缺少声源之间的显式关系边，因而无法在生成过程中协调多源联合运动。
关系约束为什么必须按帧验证
关系约束的特点是允许多组轨迹同时成立，但每 1 帧都要检查。例如跟随包含朝向与距离等多个子条件，论文把多个条件取最小边际，只要最弱的一项不成立就判为不满足。有些关系只在特定时间段有效，有些只在声源移动时计入，这些时间范围在评价时都要限定。
这就要求生成器一次输出场景中全部声源的轨迹集合，而不是逐个独立生成再拼起来。同时需要一个可微、可验证的几何定义，既能当评价指标，又能在训练时提供信号。论文用逐帧的有符号边际统一这两件事。
机制分工是：轨迹集合的联合生成负责给出多种有效组合的可能性，有符号边际负责把每帧是否满足转化为可比较的数值，时间范围限定负责只在关系有效且声源移动的帧内计入满足率。
Rel2Traj 的三段流程是怎样衔接的
Rel2Traj 分为文本解析、联合轨迹生成、双耳渲染与评价 3 段。解析器把描述转成声源列表、关系列表和每个声源的 10 个离散锚点字段；轨迹模型在关系图和锚点条件下一次生成所有声源的轨迹；渲染器沿轨迹把预训练文字到音频模型的声音做成双耳音频。
下面这张框架图有助于建立整体印象，请先看三栏的主路径，再注意底部边际条带如何同时指向评价与训练。
看图路径： 1. 先从左到右看文本解析、轨迹生成、渲染与评价三栏的主箭头；2. 再看底部关系边际条带如何同时连回生成模块和评价模块；3. 对照中间去噪器标注的跨声源联合注意与 DDIM 步数
论文图 1。原论文 Figure 1:：“Rel2Traj: (1) text parsing into a relation graph and per-source anchors, (2) joint trajectory generation by a relation-conditioned keyframe diffusion model, and (3) binaural…”。
图中左侧是解析器输出的关系图与每声源锚点，中间是图编码器加镜像等变去噪器与联合轨迹输出，右侧是预训练文字到音频模型、双耳渲染器、关系满足率与听音测试。底部长条明确写出关系边际同时用于逐帧评价、辅助损失和可选引导，说明评价几何与训练几何是同一套定义。
3 段的执行过程是先解析得到关系图与锚点，再由图编码器给出每声源条件向量并联合去噪生成轨迹，最后沿轨迹渲染双耳音频并用同一套边际做几何评价与听音验证。
解析器把一句话拆成什么结构
解析器是在数据集的描述与结构对上用 QLoRA 微调的 Qwen3-4B，秩与缩放系数原文记为 r=16、α=32。它输出 3 个字段：声源及其运动类型，关系及其类型、主体、参照物和可选时间范围，每个声源 10 个描述粗略摆放与路径的离散锚点字段。
场景被表示为有向图，一个节点对应一个声源，一条类型化边对应一条声源间关系。初始节点状态把运动类型、锚点字段和与听者相关关系的嵌入相加，再经过两轮门控循环风格的类型化消息传递，得到每个声源 1 个条件向量。这些双层条件是扩散模型的唯一条件输入，关系图约束声源之间，锚点约束每个声源自身。
声源 × 关系 × 锚点： 声源指场景中每个发声对象及其运动类型，关系指声源之间或声源与听者之间每帧都要成立的几何约束，锚点指每个声源粗略位置与路径的离散描述；三者分工是声源确定生成谁，锚点约束每个对象大致在哪里走，关系约束它们之间如何配合，组合后扩散模型才能同时收到个体约束和相互约束。
关系图 × 图编码器 × 条件向量： 关系图是以声源为节点、以类型化关系为有向边表示的场景结构，图编码器是对该图做两轮类型化消息传递的编码模块，条件向量是它为每个声源输出的约束表示；三者衔接是关系图提供结构，图编码器把结构与运动类型和锚点融合为向量，条件向量再作为扩散模型每一步的唯一条件输入。
双层条件的分工是关系图处理声源之间的相对约束，锚点处理每个声源自身的粗略摆放与路径，图编码器经过两轮类型化消息传递后把两层信息汇成每声源 1 个条件向量再送入扩散模型。
扩散模型如何一次生成所有声源的轨迹
每条轨迹用 16 个直角坐标关键帧表示，一个 N 声源场景就是一个 N×K×3 的样本，扩散过程作用在整个样本上，生成后再插值到 30 fps。去噪器是宽 192、4 层、8 头的镜像等变 Transformer，把 N×K 个关键帧展平为一个 token 序列并做全序列注意力，因此每次去噪都在协调全部轨迹。每个关键帧 token 上都加上对应声源的条件向量与时间步嵌入。
论文选择左右镜像群，是因为左右是空间语言的核心对称，而前后与上下在以听者为中心的语义里并不对称。图编码器同样是镜像等变的，条件向量随镜像一致变换，整个生成器按构造与镜像操作可交换。生成器共 1.52M 参数，其中去噪器占 0.92M。采样用 20 步 DDIM，几何引导默认关闭，报告的结果都不开引导。
关键帧轨迹 × 联合注意力 × 镜像等变： 关键帧轨迹指每个声源用 16 个三维直角坐标点表示的稀疏路径，联合注意力指把所有声源所有关键帧展平为一个序列一起做自注意力的机制，镜像等变指左右镜像输入必得到镜像输出的结构性质；组合意义是稀疏表示降低生成难度，联合注意力让多条轨迹在每次去噪时互相协调，镜像等变保证左右对称的语言在未见组合上仍能泛化。
执行时扩散作用于整个 N×K×3 样本，展平后的全序列注意力在每一步去噪中协调全部声源，条件向量与时间步嵌入逐 token 相加，20 步 DDIM 采样得到关键帧后再插值到 30 fps。
训练目标里的几何项在约束什么
训练用余弦噪声表，步数 T=100，网络预测噪声。完整损失在噪声预测误差之外，加了由当前预测恢复出的干净估计上的关系损失与平滑损失，并用随噪声水平变化的系数降低高噪声处的几何权重，因为此时恢复的干净估计不可靠。平滑损失惩罚 2 阶差分，系数为 0.1，整体几何系数为 0.1。公式如下，先看它计算什么，再看符号含义。
\[\mathcal{L}=\mathbb{E}_{t,\varepsilon}\Big[\,\|\hat{\varepsilon}-\varepsilon\|_{2}^{2}+\lambda_{\mathrm{geo}}\,\bar{\alpha}_{t}\big(\mathcal{L}_{\mathrm{rel}}(\hat{x}_{0})+0.1\,\mathcal{L}_{\mathrm{smooth}}(\hat{x}_{0})\big)\Big],\]式中第一项是预测噪声与真实噪声的平方误差期望，第二项是几何约束，x̂0 是由当前预测恢复的干净轨迹估计，Lrel 是对其关系边际的平方合页惩罚，Lsmooth 是平滑项。去掉 Lrel 后组合测试的关系满足率基本不变，说明一致性主要来自结构化条件与联合生成，而不是直接优化评价几何。
关系边际以更近为例，是参照物到听者距离减去主体到听者距离，主体更近时为正。关系满足率是在关系时间范围内边际超过 0.05 死区的帧比例，位置关系边际单位为米，运动关系多为米/秒，同向、反向和跟随取朝向余弦与成对距离的最小值。公式如下。
\[m_{\mathrm{closer}}(t)=d_{\mathrm{ref}}(t)-d_{\mathrm{subj}}(t);\]\[\mathrm{RSR}(r)=\frac{1}{|S_{r}|}\sum_{t\in S_{r}}\mathbf{1}\big[\,m_{r}(t)>\tau\,\big],\qquad\tau=0.05,\]关系边际 × 关系满足率 × 辅助训练损失： 关系边际指每帧衡量关系成立程度的有符号余量，大于阈值算成立，关系满足率指在关系时间范围内边际超过死区的帧比例，辅助训练损失指把同一边际写成平方合页形式加进扩散训练目标的项；三者共用同一几何定义，边际是计算基础，满足率用于评价，辅助损失用于训练时约束，评价与训练因此可互相验证。
训练与评价共用同一套边际几何：训练时对干净估计施加平方合页惩罚与平滑项并按噪声水平加权，评价时只统计时间范围内边际超过死区的帧比例，采样阶段的边际梯度引导保持关闭。
合成数据与组合划分控制了什么
由于缺少移动声源关系与真值轨迹配对的数据，论文用受控语言合成数据，定义 15 种运动基元、25 个关系词和每声源 10 个锚点字段，空间语义以听者为中心。声音素材来自 ESC-50 录音和按类别离线生成的预训练模型片段，双耳渲染实现多普勒、头相关传输函数插值与房间反射，并做响度归一化，渲染器无可学习参数。
下表整理数据集规模，比较问题是训练、验证与测试各有多少场景、测试是否为未见组合。
| 划分 | 场景数 | 说明 |
|---|---|---|
| 训练集 | 5091 | 含 1 至 3 个声源，82% 为 2 至 3 声源 |
| 验证集 | 242 | 分布内 |
| 组合测试集 | 1020 | 仅含训练未见的运动关系组合 |
| 场景时长 | 8–14 s | 真值轨迹 30 fps 记录方位角、仰角与距离 |
表中数字与单位保留原文写法，比较条件是同一受控语言与同一渲染管线下的划分差异。组合测试的限制在于 5 个运动关系单元在训练前冻结，只出现在测试集，每单元的两个成分在训练中都出现过但从不同时出现，因此考查的是未见搭配而非未见类型。约三分之一关系限时有效，其余在全场景有效，真值由运动基元加 95% 质量门构造，所以真值满足率是 0.996 而非 1.0。
组合划分 × 验证集 × 听音测试： 组合划分指把 5 个运动与关系组合单元只放在测试集的划分方式，验证集指分布内 242 个场景的几何检查，听音测试指让人分辨两种仅关系不同的描述哪个符合听感的感知检查；三者分工是组合划分考查未见搭配的泛化，验证集给出上限与解析准确性，听音测试确认几何成立是否真的可听。
数据构造的执行顺序是先由受控语言同时生成描述与真值轨迹，再配 ESC-50 录音与离线生成的类别片段，最后经同一双耳渲染管线实现多普勒与房间反射并做响度归一化，从而保证划分差异只反映未见组合而非渲染差异。
模型配置与基线条件是否可比
下表整理轨迹表示与去噪器配置，比较问题是生成器在什么规模与采样预算下运行。
| 项目 | 取值 |
|---|---|
| 每声源关键帧数 | 16 |
| 去噪器宽度、层数、头数 | 192，4 层，8 头 |
| 生成器总参数，去噪器参数 | 1.52M，0.92M |
| 噪声表步数，采样步数 | 100，20 步 DDIM |
表前说明这是同一套生成器的固定配置，表后解释可比性：除直接读原文的 LLM-direct 外，本节所有系统都以真值结构为条件，以隔离生成与解析；独立每声源基线与 Rel2Traj 共享架构、参数量与训练预算，只是去掉跨声源信息流并屏蔽锚点，对应此前单源轨迹预测的逐源分解。规则求解器以运动类型和显式关系为输入，最小化关系边际的合页惩罚来调整轨迹。
场景分按每场景 10 个样本平均且不挑选，类型分按该类型全部实例平均，还报告抖动与多样性，多样性是同场景 10 个样本间的平均位移，单位为米。执行上多声源关键帧展平为同一序列做联合注意力，每步去噪都协调各源轨迹，条件向量与时间步嵌入相加后送入每个关键帧令牌，几何辅助损失只在训练场景上计算且采样时关闭引导。
几何评价显示谁在未见组合上保持了关系
下表整理核心几何结果，比较问题是在分布内验证与未见组合测试上谁的关系满足率更高，抖动越低越平滑，多样性只在同条件下看 spread。
| 系统 | 组合测试关系满足率 | 关键消融变化 |
|---|---|---|
| Rel2Traj 完整 | 0.983 | 基准 |
| 去掉关系损失 | 0.987 | 与 0.983 基本持平，22/25 类在 0.01 内 |
| 去掉跨源耦合跟随项 | 0.992 降至 0.692 | 跟随明显下降 |
| 去掉锚点后面项 | 0.780 降至 0.053 | 后面崩溃，多样性 0.44 升至 1.30 m |
表前已说明指标方向是满足率越高越好，表后解释结论与代价：Rel2Traj 在两划分上都高于 3 个基线，每个基线至少在一类关系上失效，规则求解器在同向与反向上至多 0.52，独立基线在跟随与后面上崩溃，原因是两个单独合理的轨迹合在一起不再满足关系。Rel2Traj 没有类型级崩溃，最低的是未见组合上的后面 0.780。但它的抖动在表中最高，优势来自协调而非平滑；独立基线多样性最大，反映的是未协调的发散而非更多有效解。
非等变同规模 Transformer 验证集可达 0.988，但组合测试只有 0.835，再加镜像一致性损失在两个手性单元 579 个场景上为 0.720 对 0.727，仍远低于等变模型的 0.993，说明结构等变对逆时针和跟随这类手性单元的泛化很关键。
听音测试证明了什么又没证明什么
听音测试用 24 名有效参与者，每题播放一个双声源场景，被试在仅关系不同的两句描述中二选一，28 题覆盖 6 种关系，真值与生成渲染混合并随机分配 3 套头相关传输函数之一。另有 4 题 ABX 测试能否区分真值与生成渲染。
下表整理预注册的三项标准，比较问题是生成的关系是否可听、与真值差距是否在容限内、两者是否可区分。
| 标准 | 结果 |
|---|---|
| Rel2Traj 高于随机 | 86.0% |
| ABX 接近随机 | 46.9% |
表前说明检验方向与样本量，表后解释限制：第一项显著高于随机说明关系可听，第二项等效说明生成场景与真值一样是描述的有效实现，而非复刻真值，ABX 接近随机说明听感上难以区分。但结论限于预注册的关系类型，个别几何余量很小的题例如两声源距听者几乎等距，参与者听不出来。测试流程先混合真值与生成渲染并盲测头相关传输函数，再按二选一识别率、与真值分差的等效性检验和 ABX 辨别率三项预注册标准判定，几何成立但余量过小的边界情形仍可能超出人耳分辨能力。
耦合、锚点与关系损失各自管什么
消融把 3 个关系机制分开。去掉跨源耦合主要伤跟随，从 0.992 掉到 0.692；去掉锚点主要伤后面，从 0.780 掉到 0.053，同时多样性从 0.44 m 涨到 1.30 m，说明耦合管精细协调，锚点管粗略摆放。两者都去掉就退化为独立基线。
去掉显式关系损失后组合满足率是 0.983 对 0.987，25 类中有 22 类差距在 0.01 内，几乎不变。这支持论文的判断：一致性是通过结构化条件与联合生成学到的，而不是靠直接优化评价几何。镜像等变架构的对照进一步说明，未见手性组合的泛化来自构造上的对称性，而不是参数量或额外一致性损失。
结论在什么条件下才成立
几何结论依赖合成受控语言、每场景至多一个声源间关系、不含纯垂直运动等条件，解析器在 242 个验证场景上关系与运动类型全对、锚点准确率 85–100%，但生成与解析是分开评估的，端到端文字输入的误差不在主表内。后面在未见组合上存在运行间波动，论文在局限中明确提到。
感知结论只覆盖预注册的 6 种关系与双声源、远程匿名听音条件，不能推广到所有 25 个关系词或更复杂场景。抖动最高也提示，若下游对平滑要求严格，需要额外平滑或后处理，而这可能影响关系边际。来源方面，演示页为第三方可用链接，不证明作者已开源代码，当前没有可确认的作者代码与权重可用性陈述。
复现第一步做什么与需要什么
值得尝试的情形是需要多声源相对运动可验证的文字到空间音频，例如影视预演或交互场景，且能接受受控词表与合成轨迹训练。如果追求单源绝对定位精度或开放词汇描述，这篇的相对约束不是主要矛盾。
复现第一步是按原文重建受控语言与组合划分：15 种运动基元、25 个关系词、每声源 10 个锚点字段，冻结 5 个运动关系单元只放测试集，真值按 30 fps 记录方位角、仰角与距离，并实现同一套逐帧边际与 0.05 死区的关系满足率。关键超参数是关键帧 16、宽 192、4 层 8 头、余弦表 T=100、几何系数 0.1、平滑权重 0.1、DDIM 20 步。还需要 ESC-50 或同类按类声音与带多普勒、头相关传输函数插值、房间反射的无参数渲染器。仍需补的验证是开放描述解析误差对生成的传导、更多关系类型与三声源以上的听感，以及抖动与可听平滑之间的权衡测量。
如何一句话复述方法与证据边界
复述时可按样本走一遍：文字先被解析为声源、关系边与每源锚点，再经图编码器变为每源条件向量，扩散去噪器在联合注意力下一次输出全部 16 帧关键帧轨迹，插值后沿轨迹渲染预训练声音为双耳音频，最后用同一边际定义算满足率并做听音二选一。
证据支持的是在冻结的未见组合上保持全部关系类型且听感可辨，代价是抖动最高、依赖合成数据与受控语言。超出此范围的开放词汇、多关系共存或垂直运动效果都属待验证，不能当作已证明的提升。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses