SciPhi-Chat:能听方向、能对话、能调工具的空间音频智能体
论文要解决用一阶 Ambisonic 录音把声音身份和方向关联并回答关系问题,方法是冻结双路音频编码加小规模投影与适配器并生成先推理后结构化描述再回答的对话轨迹,在包含真实与仿真场景的 MASU 上得到 44.9% 单轮总分,主要代价是 5.50M 对话的仿真与大模型生成和约八卡四天的微调。
论文要解决用一阶 Ambisonic 录音把声音身份和方向关联并回答关系问题,方法是冻结双路音频编码加小规模投影与适配器并生成先推理后结构化描述再回答的对话轨迹,在包含真实与仿真场景的 MASU 上得到 44.9% 单轮总分,主要代价是 5.50M 对话的仿真与大模型生成和约八卡四天的微调。
针对盗猎监测中大面积与弱卫星定位条件下的枪声值守问题,论文用多个边缘麦克风阵列单元先触发再分类再估计阵内时延与到达角并融合定位,在约 5000 至 49000 平方米场测中取得 MCC 0.70 与数米级定位误差,但结论依赖扬声器回放与特定布站条件。
论文构造同时含口语主张与环境声证据的冲突音频,测五款音频语言模型能否坚持环境声答案,发现无语音时能听对不等于冲突时不跟错话语,而改提示词有时能拉回、有时只换错法。
共分析 48 篇语音/AI 论文
ARPEGE 用 6 个空房间的 248 个球形阵列房间脉冲响应和几何标注来支撑镜像声源定位与语音盲估计房间参数两类任务,实测显示近距离一阶镜像声源召回率达 97.3% 但高阶迅速下降,而语音估计的表面积与体积误差在多位置融合与指向性声源训练下可降至 35 平方米和 30 立方米,房间 1 的几何大误差则标定了方法的适用边界。
V33DA 把已检测到的每声鸣叫归给当时可见的某只斑胸草雀,用随身振动信号定真值并扣留该通道,再以三套划分检验熟悉个体识别与可迁移空间归属,代价是单装置、单发声事件与有限无线电特征。
AV-QTSS 用类别查询先分离目标单声道、再用稠密绑定定位图给出方向并渲染三路方向通道,在 1 到 4 声源合成集上把角度误差降到 23.3 度并在真实录音适配后提升定位,代价是只处理封闭集内且处于活动状态的查询。
本文用图像与声音共现的弱监督对应学习定位电锯电钻骨凿,在独立采集的 21 序列 853 帧上达到总体 IoU 0.36 与中位距离 12 px,代价是仅覆盖三种模拟骨操作且每步依赖 3 s 音频与 16×16 粗热图。
共分析 80 篇语音/AI 论文
针对移动声源的双耳音频驱动人体动作生成问题,MOMO 用声源定位网络估计头中心方向加 CLAP 理解音频内容再做扩散生成,在 DySAM 测试集上取得更好的对齐和物理合理性,但结论只在室内单声源采集条件下成立。
论文要解决住宅多房间语音数据难批量构造的问题,用结构化平面图转可编辑声学场景加混合几何声学求解生成多通道房间脉冲响应与混响语音,并用实测校验与分布式定位增强实验验证其覆盖与增益,代价是仍依赖几何声学近似与受控仿真条件。
论文把有视觉反馈的声音指向任务建模为对变分自由能的在线自然梯度下降,用侧向精度、极角精度和半脑场权重三个信念分量解释个体学习曲线,并用留出似然和极角加权稳健性检验限定结论成立条件。
共分析 25 篇语音/AI 论文
该文研究球谐域声场如何分解为少数平面波,提出压低旁瓣并消除背瓣的广义球面核与跨阶联合稀疏恢复,在信噪比 20 dB 以上和高阶时提高支撑恢复,但振幅误差和定位误差略有代价。
论文研究无可见光工业场景下只用空间音频找方向、只用深度看路的导航问题,用三阶段训练的 ADAPT 和位置朝向图上的剩余动作数奖励 TARS 实现,在未见过的工厂中 Clean 条件成功率 90.6% 而最难的局部噪声下保持 60.0%,代价是依赖仿真中的特权地图和固定鸣叫信标。
针对重叠与运动下指定声源在指定时刻位置难定位的问题,SonicWorld 用持续声源状态组织声学证据,在 Sonic-Bench 上把单声源方向准确率从 43.75% 提升到 50.00%,代价是需要完整片段离线推理与两阶段微调。
共分析 146 篇语音/AI 论文
论文研究把前向仿真学到的传感器关系图用于稀疏源定位逆任务是否有效,通过定理证明边误差容忍条件并用氢气泄漏 CFD 与声学两类 180 场景实验证明满足边准确仍因任务目标错位而失效,且给出基于 Jaccard 重叠的轻量可迁移性检验及其代价。
论文用从消声到 12 阶镜像声源加扩散混响和阵列仿真的 20 种几何仿真训练同一多声源定位模型,在三个实测数据集上发现中等复杂度已能强泛化而更高阶与镜像源随机扰动只带来小幅提升,但阵列精细仿真代价很高。
SEA-LM 针对可穿戴麦克风阵列的自我中心多声源场景,用 FOACoder 把可变阵列信号统一为一阶 Ambisonics 空间嵌入再与单声道语义嵌入联合输入大语言模型,在合成评测集上降低了方位角与俯仰角误差并改善了转写与检测,但结论只在仿真静态场景和 1211 种眼镜阵列配置内成立。