SciPhi-Chat:能听方向、能对话、能调工具的空间音频智能体
论文要解决用一阶 Ambisonic 录音把声音身份和方向关联并回答关系问题,方法是冻结双路音频编码加小规模投影与适配器并生成先推理后结构化描述再回答的对话轨迹,在包含真实与仿真场景的 MASU 上得到 44.9% 单轮总分,主要代价是 5.50M 对话的仿真与大模型生成和约八卡四天的微调。
论文要解决用一阶 Ambisonic 录音把声音身份和方向关联并回答关系问题,方法是冻结双路音频编码加小规模投影与适配器并生成先推理后结构化描述再回答的对话轨迹,在包含真实与仿真场景的 MASU 上得到 44.9% 单轮总分,主要代价是 5.50M 对话的仿真与大模型生成和约八卡四天的微调。
Ananas 针对分布式空间音频需要多节点严格同步的问题,用 Teensy 4.1 节点加 PTP 同步、多播音频与发现协议和 DAW 控制,在 16 通道 WFS 演示中报告约 80 纳秒平均不同步,但每包通道数和长时间稳定性仍受以太网包长与时钟微调条件限制。
本文针对固定阵列假设下区域提取难以换阵列使用的问题,提出随麦克风数量和位置变化的前端与重建辅助目标,在仿真上超过同类可变阵列基线并在四麦克风上接近专用模型,但边界区分仍依赖孔径条件。
Rel2Traj 针对多声源相对运动约束问题,把描述解析为关系图与锚点后联合生成轨迹再渲染双耳音频,在未见过的运动与关系组合上关系满足率达到 0.983,代价是轨迹抖动较大且依赖受控语言与合成数据。
SPATEX 针对多麦克风下既要提目标语音又要保留各通道空间关系、且麦克风数量与几何可变的问题,用几何感知的通道交换与共享时间注意力逐通道重建混响目标像,并以相位差与相干性约束通道间关系,在可变阵列与固定阵列上都报告了提取与空间保真度的提升。
针对新场地不知音箱位置、又想在现场听着真实音箱做空间创作的问题,Spatial DJ 用 AR 对准采集布局、以后端距离增益实时渲染,并以 18 只音箱房的校准误差、控制延迟和 18 人听感实验说明效果与边界。
论文把理解一阶 Ambisonics 场景的语言模型用流匹配扩展到生成与结构化编辑,用按模态路由的 LoRA 在保留理解的同时获得可控合成,并在受控仿真评测中优于全量微调。
本文用一个声源的一次房间脉冲响应得到两组镜像声源点云,再用以真实声源为锚点的 ARCTIC 配准求相对位姿,在 36 个真实房间脉冲响应上达到平均角度误差 5 度以内和距离误差 10 厘米以内,代价是依赖早期反射可见重叠和紧凑阵列假设。
本文用 DAW 插件做声场设计加 Teensy 单片机网络分担解码来解决集中式多通道声卡贵且难同步的问题,三阶 16 通道实例显示包长 523 字节且模块间约 200 ns 同步,但仍需手工配置且未做主观听音评估。
论文把理想高阶 Ambisonics 重建写成一个从传声器观测出发的逆问题,用只在理想信号上训练的扩散先验加物理前向算子在推理时做后验采样,并以阶数掩蔽和分数混合解决可观测分量校正与不可观测高阶生成之间的矛盾,代价是 90 步约 150 次网络求值的迭代推理开销。
本文新增 18 个高质量立体声源经双耳线索失真与对话增强处理得到的 148 对信号及实验室 MUSHRA 评分,并连同既有子集合并为 688 对信号与 18984 条评分的统一资源,为空间失真主导的客观质量评价提供可复用基准。
论文提出从单目视频生成可自由漫游的 4D 视听场景的新任务,用前景背景分解重建几何与轨迹,再以双空间扩散同步生成可重渲染的声源信号,在 SonoScene4D 上空间方向与语义一致性优于基线,代价是依赖多个现成重建与生成模型且只建模直达声。
AV-QTSS 用类别查询先分离目标单声道、再用稠密绑定定位图给出方向并渲染三路方向通道,在 1 到 4 声源合成集上把角度误差降到 23.3 度并在真实录音适配后提升定位,代价是只处理封闭集内且处于活动状态的查询。
该文只改宽域 DirAC 渲染中的插值权重,用轻量图网络从实测声场特征预测场景相关的组合权重,实验显示在未见房间和布局下能量和指向性图相似度提升,但扩散度基本持平,且模型很小。
SEMAC 针对五阶 Ambisonics 通道数多、逐通道编码码率随阶数平方增长的问题,用 16、9 或 4 个波束域传输通道加全阶方向能量包络边信息做编码与重建,在 512 和 768 kbit/s 下经 11 名听众的 MUSHRA 验证,16 通道版本评分高于 36 通道全阶 Opus CMF 3,代价是包络在五阶时可占 100 kbit/s 以上且 …
Ambit 用可执行的场景计划连接自回归规划与整流流渲染,并配合全向恢复与通道间监督的连续变分自编码器和联合在轨自蒸馏,在语音音乐环境声的生成与编辑评测中提升内容与空间指标,但结论只在约 15 秒内、四声道一阶 Ambisonics 与原文数据划分下成立。
本文解读《Resonance and Depth》如何用个人打击乐语料、多智能体重组与对象化空间把音色和空间写成 9 分钟沉浸式演出的形式,证据是作者在 SAT 穹顶的现场演出记录与系统分工描述,代价是缺乏可量化的音色与空间效果评估。
论文用普通视场图像加双耳音频构造听见定位推理三层问答,并给强视听大模型外加一条空间音频支路加三阶段课程训练,在仿真基准上提升定位与关系推理并在真实录音上做迁移验证,但结论只在该仿真划分与离散评价条件下成立。
论文把 HRTF 空间上采样看成跨被试共享的上采样算子学习问题,用 SPARO 把稀疏观测映射到可任意查询的声场,在 SONICOM 上 LSD 和 ILD 全面最低而推理比 RANF 快 15 到 373 倍,代价是仍需分别训练幅度与 ITD 两个网络并做短时测试优化。
该文研究球谐域声场如何分解为少数平面波,提出压低旁瓣并消除背瓣的广义球面核与跨阶联合稀疏恢复,在信噪比 20 dB 以上和高阶时提高支撑恢复,但振幅误差和定位误差略有代价。