用文字加空间提示直接生成双耳音频：TTBA 为何要交叉排列左右声道

英文题目：TTBA: Spatial Prompted Text to Binaural Audio Generation Using Transformer

会议身份：conference:interspeech:2026:conference-paper-id:he26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#自回归模型 #知识蒸馏 #Transformer #空间音频信号 #空间音频渲染

评分：6.2/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Changjun He：机构信息未能从会议 PDF 纯文本可靠映射
• Lianyu Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Yukun Qian：机构信息未能从会议 PDF 纯文本可靠映射
• Shiyun Xu：机构信息未能从会议 PDF 纯文本可靠映射
• Wenjie Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Mingjiang Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Weiping Chen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

文本到双耳音频生成需从自然语言输入产生左耳与右耳双通道波形，难点在于同时保证语义内容正确与耳间强度差和时间差等空间线索可控且稳定。TTBA先用文本编码器将描述转为语义表示，再由空间提示编码器将声源起点方向、终点方向与运动速度映射为空间嵌入并与文本做注意力融合，形成内容感知的条件。随后交叉排列的双通道离散码本将左右耳token交织输入解码器式自回归语言模型，使其在统一空间中联合建模内容与声道依赖，最后由单声道解码器分别重建波形。与先单声道生成再渲染及端到端扩散方案不同，该框架以离散token交织显式保留通道间关系，并用单声道教师蒸馏稳定内容学习。在BEWO-1M单静态评测任务下，TTBA的FDopenl3指标为104.2，低于SpatialSonic的FDopenl3指标136.33。该结论限于合成数据集的5扇区粗粒度方向与短文本提示，尚未验证真实录音、连续角度与长时运动的外推能力。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://spatialaudiodemo.github.io/TTBA/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，哪些信息不能丢？

这篇论文要解决的输入是两类信息。第一类是自然语言描述，例如一只鸟从左飞到右，说明发声对象与事件。第二类是紧凑的空间提示，每个声源用起始方向、终止方向与运动速度表示，方向被量化为左、左前、前、右前、右共 5 个扇区，编号为 1 到 5，速度是 0 到 1 之间的小数，静态声源速度为 0。目标输出是双耳音频，也就是左耳与右耳各一路波形，两路之间保留细微的级差与时差，人脑据此产生 3 维声场错觉。

必须保留的信息有 3 层，语义内容不能错，声源数量与方向要与提示一致，运动过程要连续可控。初学者容易把任务理解为先生成单声道再加混响，论文强调这是端到端生成，不是把现成单声道渲染为双耳。单声道只回答像什么，双耳还要回答在哪里与如何移动。 论文开场交代的输出形式是波形对，用公式记为左右两路经解码器重建。训练时模型看到的是离散 token，推理时只给文本表示与空间提示，模型自回归预测左右两路离散码，再经单声道解码器分别恢复波形。

学习依赖是先理解双耳与单声道的区别，再理解离散化与条件融合，最后理解训练监督与评测。资源状态方面，演示页当前可用，地址为官方展示页，论文在正文中给出链接，初学者可以先听例子建立方向感，再回头看方法。

双耳音频 × 单声道音频： 双耳音频指左右耳各一路、利用耳间级差与时差形成方向感的 2 通道信号，分工是承载空间感知；单声道音频指混合为一路、不保留左右差异的信号，分工是只承载内容。TTBA 搭配的原因是主流文本生成只能产出后者，无法控制方向，组合意义是用离散建模同时学生成内容与左右差异，把渲染问题变为生成问题。

对于刚入门的读者，关键动作是把每句话拆成内容词与空间词。内容词决定音色与事件，空间词决定起始扇区、终止扇区与速度。若空间词缺失或含糊，模型只能猜方向，这正是后文引入显式空间提示编码器的动机。

单声道转双耳与文本直接生成双耳有何不同？

相关路线可分为两支。第一支是单声道到双耳的渲染，已有大量工作利用人类听觉感知与声源位置信息，或利用视频帧特征，把已有单声道变为双耳。这类方法不创造声音内容，内容受限于输入音频，难以满足需要从文字凭空创作的场景。第二支是文本到音频生成，基于 Transformer 与扩散模型已能生成高保真多样的单声道，但主流输出几乎全是单声道，个别能做立体声的工作仍缺乏可控空间信息。

初学者要分清渲染与生成，渲染是给定声音定方向，生成是给定文字同时定声音与方向。 论文对照的近期可控空间生成有 3 类。第一类是由图像视觉元素先生成单声道再空间化，第二类是用端到端扩散模型生成可控双耳，第 3 类是生成可控 1 阶 Ambisonics。论文报告这些方法仍会出现空间漂移与定位误差，使双耳线索不稳定。

TTBA 的定位是据作者所知首个基于离散 token 的双耳生成框架，区别在于把左右 2 通道的码本融合建模，并用显式空间提示参与条件，而非仅靠文本隐含方向。这种路线选择直接决定后文的交叉排列与注意力融合设计。

为什么文本生成双耳容易出现内容对但方向错？

问题来自两个难点的叠加。语义难点是文本可能包含多个声源，每个声源有不同方向与运动模式，模型要同时生成多种音色而不混淆。空间难点是方向信息体现在左右通道的细微差异上，若 2 通道独立建模，模型可能各自生成合理声音，但合起来方向感错误或随时间漂移。若 2 通道完全共享，又会丢失耳间差异，听感变平。论文要建模的是联合分布，既要每路自身连贯，又要两路之间保持正确的相对关系。

用一个样本走通有助于理解。假设输入文本是一只鸟从左飞到右，空间提示给出起始方向为左扇区、终止方向为右扇区、速度为 0.6。理想输出是鸟叫声内容清晰，且能量与到达时间从左向右连续变化。若模型只学内容，可能生成居中的鸟叫，内容对但方向错。若模型学了方向但内容不稳，可能出现鸟叫断裂或变为其他声音。

TTBA 因此把内容准确与通道间差异作为两个并列目标，用不同损失分别约束，并在评测中同时报告语义指标与耳间指标。

TTBA 全景：一条样本如何走完输入到波形？

TTBA 全景包含 4 个部件，文本编码器、音频编解码器、空间提示编码器与基于 Transformer 的音频语言模型。训练时给定带空间信息的文本，先用文本编码器得到语义表示，再把该表示与空间提示一起送入空间提示编码器，得到融合条件。音频侧把双耳波形经音频编码器压缩为离散 token，音频语言模型在该离散空间做条件建模，输出预测的双耳 token。推理时只有文本表示与空间提示进入模型，模型预测离散码，再经音频解码器重建为左右波形。

论文用紫色路径在图中标出推理过程，以区别训练时的教师与损失分支。 下面这张总体结构图值得沿主路径读一遍，它把训练与推理画在同一张图上，左侧是编码与交叉拼接，中间是条件与生成，右侧是提取与解码，下方是单声道平均与教师蒸馏。先看懂箭头方向，再看损失位置，就能理解空间学习与内容学习如何分工。

看图路径： 1. 先从左侧双耳音频经单声道音频编码器分出左与右两路码，再看它们如何汇入交叉拼接节点；2. 再看下方输入文本与起始方向、终止方向、速度如何分别进入文本编码器与空间提示编码器；3. 接着确认中间 Transformer-ALM 内部因果自注意力、交叉注意力与嵌入文本的位置关系；4. 最后沿右侧紫色推理虚线看交叉提取、单声道音频解码器如何还原为双耳波形

论文图 1。原论文 Figure 1：“Diagrams of the overall structure of the text to binaural audio model (TTBA). The purple path denotes the inference process.”。

这张图从左到右的主干是双耳音频进入单声道音频编码器，分出左路与右路离散码后做交叉拼接，再进入中间的 Transformer 音频语言模型，模型输出后再做交叉提取，分回左路与右路码，经单声道音频解码器恢复为双耳波形，右侧虚线框标明这是推理阶段。下方的分支是把双耳取平均得到单声道，送入教师模型并重复码本后计算蒸馏损失，上方分支是对预测码计算交叉熵损失，分别对应内容学习与空间学习。

中间下方的文本编码器接收输入文本，空间提示编码器接收起始方向、终止方向与速度，并与文本表示交互后作为条件进入 Transformer。读图时不要把虚线损失箭头当成推理数据流，推理只走紫色路径。

左右声道如何交叉排列为统一离散表示？

双耳离散化的起点是预训练的单声道 EnCodec 神经编码器。左右通道波形分别通过该编码器，变为离散 token 序列，记为左序列与右序列，码本数与压缩维度由 EnCodec 决定。论文实现采用 4 码本乘 2048 词的配置。关键操作是在码本维度做交叉排列，把左 0、右 0、左 1、右 1 依此类推交替拼接为一个长度加倍的序列。这样做的安排理由在原文明确写出，使模型不仅学习每通道的内容特征，还在隐空间建模通道间依赖。推理时假设模型输出仍是交叉排列的码，做法是按通道分别提取，再各自经单声道解码器恢复波形。

交叉排列 × 音频语言模型： 交叉排列指把左声道离散码与右声道离散码按码本维度交替拼接为统一序列，分工是让 2 通道在同一表示空间暴露依赖；音频语言模型指基于 Transformer 的自回归序列模型，分工是按条件逐个预测该序列。搭配理由是只有统一序列才能让自回归同时看到内容与声道差，组合后模型在 1 次生成中同时学习语义连贯与耳间关系。

对初学者而言，可执行动作是拿纸写出码本索引。假设左路码为左 0 到左 3，右路码为右 0 到右 3，交叉后顺序为左 0、右 0、左 1、右 1、左 2、右 2、左 3、右 3。自回归预测时看到左 0 才能预测右 0，看到前面对才能预测后面对，方向线索就藏在这种交替的相对模式中。若左右分开独立生成，模型难以学到这种相对模式，容易出现两路各自合理但合起来不像同一声源的错误。

空间提示如何变为可用的条件向量？

空间提示编码器处理的是显式三元组。每个声源表示为起始方向、终止方向与运动速度，方向取 1 到 5 的扇区编号，速度在 0 到 1 之间，静态为 0。多个声源时把所有三元组拼接为长向量。编码器先用两层多层感知机加非线性激活，把低维向量映射为连续空间嵌入，再把该嵌入扩展为与文本长度对齐的查询，用多头注意力去 attending 文本表示，得到融合条件。这个设计的含义是空间嵌入作为查询，文本作为键与值，输出是内容感知的空间条件，而非把空间向量简单拼在文本后。

空间提示编码器 × 文本编码器： 文本编码器指用 T5-large 把自然语言描述变为语义表示 Etext 的模块，分工是定下发什么声；空间提示编码器指把起始方向、终止方向与运动速度三元组映射为空间嵌入并与文本做注意力的模块，分工是定下声源在哪里与怎么动。搭配理由是文本常含糊，多声源方向无法仅靠文字推断，组合后形成内容感知的空间条件去引导双耳 token 生成。

教学例子是单声源从左到右。文本说一只鸟从左飞到右，空间提示给出起点 1、终点 5、速度 0.6。文本编码器负责知道这是鸟叫而非汽车，空间提示编码器负责知道起点在左、终点在右、中速移动，注意力融合负责把鸟叫与左到右绑定，而不是把方向平均化。若没有该模块，仅靠文本中的左右词，模型对扇区边界与速度快慢的控制会变弱，后文消融中去掉该模块后空间指标变差支持了这一点。

Transformer 音频语言模型如何注入文本条件？

音频语言模型是整个框架的核心，采用基于 Transformer 的解码器自回归结构。论文实现为 24 层、维度 1536、24 头，文本编码器用预训练 T5-large，最大长度 128，维度 1536。文本特征通过交叉注意力注入，确保输出与输入描述一致。模型内部包含因果自注意力、交叉注意力与嵌入文本，分别负责序列内长程依赖、条件对齐与语义承载。针对音频生成输入长度可变，论文采用最大长度填充策略对齐批量输入，避免位置编码歧义，目的是提升训练稳定性，减少长度差异带来的偏置。

该模块与前两者的分工要分清。交叉排列决定模型看到什么序列，空间提示编码器决定模型按什么条件生成，音频语言模型决定如何一步步生成。推理时模型从起始符出发，给定文本表示与空间提示，逐个预测交叉排列的双耳 token。这种统一生成框架使语义与空间在同一自回归过程中被建模，而不是先生成内容再后期加空间效果。

两项损失与教师引导如何分工训练？

训练难点是同时抓住语义与空间。论文采用知识蒸馏策略，用预训练文本到单声道模型做教师，固定教师参数，为内容生成提供引导信号。学生模型只取教师一半层数，规模更小，用从教师抽取的参数初始化，再在空间音频数据集上微调，使其同时学习语义与空间。教师是 48 层、维度 1536、24 头的自回归 Transformer，学生即 Transformer 音频语言模型为 24 层。优化器用 Adam，学习率为 5 乘 10 的负 5 次方，贝塔参数为 0.9 与 0.999。

此外引入无分类器引导，在训练时同时做条件与无条件预测，生成时用系数调节两者权重，在内容保真与空间可控之间平衡。 优化目标是两项加权，联合左右 token 预测的交叉熵与来自单声道教师的内容蒸馏。由于教师只用学生一半码本，计算蒸馏损失时把教师码沿码本维度重复。原文明确该设计是为了同时强调语义内容与通道间差异。

需要指出的缺项是论文未报告两项权重的具体数值、重复策略外的对齐细节与无分类器引导系数的取值，初学者复现时不能从模型名推定这些实现，应先按等权或小范围搜索起步，并以原文代码或后续公开为准。

交叉熵损失 × 蒸馏损失： 交叉熵损失指对联合左右 token 预测的监督，分工是保证双耳序列整体准确并保留声道差异；蒸馏损失指来自固定单声道教师模型的内容知识约束，分工是稳定语义、防止空间学习带偏内容。搭配理由是双耳数据同时考验内容与空间，单目标易顾此失彼，组合为两项加权目标后训练同时强调内容准确与通道间差异。

从梯度路径看，交叉熵来自双耳预测与真值码的比较，监督来源是双耳数据集，蒸馏来自学生预测与教师单声道码重复后的比较，监督来源是固定教师。两者共同更新学生参数，教师不更新。若去掉蒸馏，内容学习失去稳定器，后文消融显示所有指标变差，这支持内容引导的必要性，但不意味着去掉后必然完全失效，具体退化幅度与训练步数有关。

数据划分、基线与指标方向如何设定才可比？

实验用 BEWO-1M 的文本音频子集做训练与评测，该子集提供双耳音频配对的文本标题与空间提示，总量超过 100 万音频标题对，约 2800 小时。论文沿用官方训练验证测试划分，并在 4 个子集上评测，单静态为一个静止源，双静态为两个静止源，单动态为一个运动源，混合为 1 到 4 个源且同时含静止与运动。这种划分使结论可按复杂度分层，初学者应先在单静态上调通，再看多源与运动。

音频 token 化、文本编码器与模型规模的配置是复现的关键条件，训练步数在消融中明确为 110,000 步后评测，主结果也强调仅 110,000 步即取得较强结果，这与教师初始化有关。 比较问题是生成音频是否同时像真、像文、像方向。公平条件是同一数据集与同一划分，对手为标准立体声生成模型与最接近任务的 SpatialSonic。指标方向要记牢，音频相似度的 FD 与 FAD 越低越好，语义对应的 KL 越低越好，文本音频对齐的 CLAP 分数越高越好，空间误差的 DILD、DITD、DIACC 是生成与真值的平均绝对误差，越低越好。

空间指标计算条件在原文交代，ILD 用快速傅里叶变换尺寸 1024、跳长 512 的短时傅里叶变换，ITD 与 IACC 用 20 毫秒窗、50% 重叠。感知评测用总体质量、文本相关性与空间化质量三项，1 到 5 打分，越高越好，20 名参与者先熟悉双耳音频再评分，并报告均值与 95% 置信区间。

耳间级差 × 耳间时间差： 耳间级差指左右通道能量或电平之差，分工是反映声源偏左偏右带来的响度线索；耳间时间差指左右通道到达时间之差，分工是反映声波绕头带来的延迟线索。搭配理由是仅看频谱相似度无法判断方向是否正确，组合为 DILD 与 DITD 等平均绝对误差后才能量化生成音频与真值的空间偏差。

下表把实现条件整理为可核对的配置表，阅读时先确认编码器与语言模型的规模，再确认优化器与数据规模，避免把不同配置下的数字直接比较。表前已提出比较问题与公平条件，表后还需结合主结果看代价。

该表的主要价值是给出可复现的起点，代价是学生减半与教师固定的选择意味着内容上限受教师影响，空间能力则依赖双耳微调。

若复现时改动码本数或层数，交叉排列长度与蒸馏重复方式都要同步改，否则会出现维度对不齐。

多声源与混合场景的收益来自哪里，有何反例？

主结果要按子集分开读，不能只看平均。论文报告在双静态与混合集上，本方法在 FD、FAD、KL 与 CLAP 上最好，说明文本含多声源时更能生成符合要求的双耳。单动态集上 FAD 相对较弱，但其他指标仍好。单静态集上本方法 FD 为 104.2，优于 SpatialSonic 的 136.33，但 KL 与 FAD 不如 SpatialSonic，说明简单场景下语义与保真度并非全胜。空间指标方面，本方法 DILD 多优于 SpatialSonic，表明耳间级差更准。

需要特别说明一个反例，Stable 模型的 DIACC 有时更低，但原文解释这是 2 通道过于相似而非正确空间化，其 DILD 与 DITD 明显更差，因此不能把 DIACC 单独拿来证明空间好。 感知评测因难以用客观指标完全衡量方向感而必要。20 人打分显示本方法在多数情况下最高，尤其文本相关性与空间感知，即使客观指标不占优的单静态与单动态集，主观仍更高。这支持客观指标与听感不完全一致，复现时应同时跑客观与主观，不可用单一指标代替。

演示页当前可用，可用于定性核对方向变化是否连续，有无跳变。 下表聚焦双静态与混合这两个复杂场景，对比可实际运行的基线与本方法，并附消融变体，指标方向为 FD 越低越好、KL 越低越好、CLAP 越高越好、FAD 越低越好、空间三误差越低越好。表前已说明比较对象与条件，表后解释收益与代价。

该表显示复杂场景收益最大，双静态 FD 从 128.32 降到 81.97，混合 FD 从 296.38 降到 190.91，CLAP 从 0.19 升到 0.30，代价是单静态与单动态的部分指标未全胜，且 FAD 在单动态仍弱于对手。

未胜出项提示该方法更擅长多源解耦，对简单场景的打磨可能不足，选用时要按场景加权，不能把混合集的优势推广为所有场景全胜。

去掉蒸馏与去掉空间提示各损失什么？

消融在相同 110,000 步下比较，目的是分离内容引导与空间条件的贡献。去掉蒸馏指不用预训练单声道模型引导内容学习，结果是相同步数下所有指标变差，文本语义学不准。这支持蒸馏主要帮助内容学习，尤其在训练步数有限时稳定语义。去掉空间提示指只用文本提示，不用显式三元组，结果是内容相关指标变化较小，多数情况下 CLAP 几乎不变，说明文本已足以定下整体语义，但空间指标一致变差，尤其 DILD，证实显式空间提示对耳间级差准确至关重要。

总体是蒸馏管内容，空间提示编码器管空间精度。 复现消融时要注意聚合对象。原文表格按 4 个子集分别报告，同一变体在不同子集退化幅度不同，不能跨子集平均后下结论。例如去空间提示在双静态 FAD 从 4.39 变为 4.73，退化可见但不大，而 DILD 从 0.55 变为 0.58，方向明确。去蒸馏在双静态 FD 从 81.97 变为 106.85，退化显著。

初学者应先复现双静态与混合的消融，因为多源对空间提示更敏感，单静态可能掩盖差异。

哪些边界尚未验证，不能承诺什么？

论文直接报告的局限包括单动态 FAD 相对较弱，以及单静态部分客观指标不如 SpatialSonic，但主观仍更高，这表明客观指标与感知之间存在缺口。未验证的推测要谨慎表达，空间漂移是否完全消除、长时运动是否全程连续、超出 5 个扇区的细粒度方向是否可用，原文未给出证据，不能承诺。相关性不等于因果，CLAP 高不代表方向一定对，DIACC 低不代表空间一定好，前文 Stable 的反例已说明需联合看 DILD 与 DITD。 缺失证据不是技术错误，但复现时要补验证。

原文未报告训练资源、推理开销、输出帧率与实际延迟，也未测量误判率与部署成本，因此不能承诺这些量得到改善。总体趋势不等于每组每步都成立，混合集的优势不能推广到每一样本。初学者常见误解是把自动指标当成人评，或把不同指标的差值放在同一列比较，正确做法是按数据集、模型、阶段、指标、单位与聚合对象逐项核对，百分点与相对百分比也要区分。

复现先做什么，需要哪些超参数与信息条件？

复现的第一步是准备数据与划分。采用 BEWO-1M 文本音频子集的官方训练验证测试划分，保留 4 个子集的定义，单静态、双静态、单动态与混合分别评测。音频侧用 EnCodec 的 4 码本乘 2048 词做 token 化，文本侧用 T5-large 最大长度 128、维度 1536 并做最大长度填充。生成主体用 24 层、维度 1536、24 头的解码器 Transformer，教师用 48 层、维度 1536、24 头的自回归 Transformer 并固定参数，学生用教师参数初始化后微调。优化器用 Adam，学习率 5 乘 10 的负 5 次方，贝塔为 0.9 与 0.999，消融以 110,000 步为统一比较点。

第二步是实现交叉排列与条件融合。把左右码按码本维度交替拼接，推理时再交叉提取并分别解码。空间提示按每源起始方向、终止方向、速度拼接，经两层多层感知机映射后作为查询与文本表示做多头注意力，得到融合条件。损失为联合交叉熵加蒸馏，教师码沿码本维度重复以对齐，生成时用无分类器引导系数调节。

权重下载与代码开源方面，原文只给出演示页当前可用，未在证据中声明代码与权重公开情况，因此应写本次未能确认代码权重可达，不把演示可用等同于系统可运行。还需补的验证是权重系数的具体值、引导系数的搜索范围与不同随机种子的方差。

何时值得尝试这种离散加显式提示的路线？

当任务需要从文字同时决定声音内容与方向，且有多声源或运动需求时，这种路线值得尝试。交叉排列的价值在于把耳间关系暴露给自回归，避免 2 通道各自为政。显式空间提示的价值在于把方向与速度从含糊文本中解耦，用可控三元组直接约束生成。若场景只有单静态居中声源，传统渲染或单声道生成已够用，不必引入双耳联合建模的复杂度。若数据没有配对的空间提示，该方法的优势难以发挥，应先补标注或仿真。

收束时回到可核对的动作。先听演示页确认方向变化是否符合提示，再按配置表复现单静态基线，接着跑双静态与混合的主结果表，最后做去蒸馏与去空间提示的消融，分别观察内容指标与 DILD 的变化。记住指标方向与计算条件，ILD 用 1024 点窗、512 跳长，ITD 与 IACC 用 20 毫秒窗、50% 重叠，感知评测需 20 人左右并先熟悉双耳听感。只有走完这些步骤，才能说复述了方法，而不只是重复了摘要。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总