一张图如何长出可走可听的三维声景:SonoWorld 的定位与空间化链路
论文提出从单图生成可导航三维视觉加空间声场的新任务,并用免训练的全景重建加语义接地加高保真立体声编码链路实现,在 68 段实录上的方向误差降低 47% 等报告提升下仍保留运动声源等明确边界。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文提出从单图生成可导航三维视觉加空间声场的新任务,并用免训练的全景重建加语义接地加高保真立体声编码链路实现,在 68 段实录上的方向误差降低 47% 等报告提升下仍保留运动声源等明确边界。
该研究用可微扩展 Karplus-Strong 做事件级声音匹配,证明时域拉格朗日插值梯度可用且无时间混叠,揭示频谱损失无法给出多事件起音方向梯度,仅用合成参数损失能学到音高音色与起音但难泛化,真机上外部检测器加音频损失最稳,而谐波加噪声基线多数重建指标更高。
该文把双手关节未来位置的预测误差同时映射为幽灵手可视化和双手粒度合成参数,并在 2 分钟录制数据上比较 6 种算法预测器在 5 种预测跨度下的均方误差,代价是依赖受限算力的启发式映射与自适应量程调节且无正式用户评估。
针对环境录音中可懂语音的隐私问题,论文用语音活动检测加语音分离定位语音后再做分段波形反转,在 CitySpeechMix 上报告词错误率 97.9%、声源分类准确率下降 2.7%、FAD 为 1.40,代价是确定性反转可被二次处理部分恢复,需重排序增强鲁棒性并损失音质。
针对特设麦克风网络中到达时差含大量离群点时方向估计易陷入局部极小的问题,该文把估计写成内点数最大化并用两点临界点枚举保证全局最优,在合成数据上 80% 离群率下仍保持可用、在 13 段室外无人机实录上优于离散化与最小二乘,代价是计算量随测量数平方增长且依赖内点界的选取。
论文用导电琴弦加永磁体实现传感与驱动同位,用 20 kHz 时分复用交替完成感应电动势采样与脉宽调制洛伦兹力驱动,在单弦琴与改装自动竖琴和天气竖琴上验证了免校准自持,其代价是只能控制单轴、受热漂移与材料限制且伴随代码链接当前不可用。
本文要解决混合乐器中传感与驱动同位、同时、同模态、同频段时的串扰与失稳问题,梳理分时、频分、阻抗与异模态四类做法,最强证据来自低惯量弦的直接传感驱动与超声频分实例,代价是带宽、功率、线性与延迟约束同时收紧。
该研究把短暂宽带点击嵌入播客自然静音进行间歇采集与加权平均,在 1.5×播放约每分钟 102 次点击下取得平均约 5 dB 误差并把舒适度从 1.0×的低位提升到高位,代价是点击过少时误差底抬高。
论文把古董手动簇绒工具柄接在单块木柄加 ESP32 系统上,用簇绒手势同时驱动织物成形、原声共振与石器采样,以两次现场表演完成的地毯证明声音与纺织可同过程产出,代价是未报告可复测的声学指标与受控对照。
论文把与大模型对话的键盘重读为乐器,提出不看键盘屏幕的 vyping 技法并用 ll00mtube、clix-vibe、KeyMeter 三个软件探针呈现时间与声音维度,其代价是标准聊天接口目前丢弃击键时序且全篇无受控用户实验支持泛化判断。
论文用轮廓复信号傅里叶分解做形状到音色映射,用面积做包络、用极坐标位置做混音,在键盘保音高时序下实现可重复的物件预置,代价是仅用二维剪影且边缘畸变与电平部分耦合。
论文用 1948 年调音叉笔记的 8 个实测频率驱动 Pure Data 与 Vital 合成,以 8 块废滑板加压电传感与 Bela Mini 实现 10 毫秒以下击打响应并在驻地验证合奏可行,但未测量声学相似度与延迟分布。
作者为摆脱 Traktor 专用软件依赖,在 Mixxx 中逆向 S4 Mk3 力反馈转盘,通过 USB 抓包与试凑滤波加 PID 复刻出可演出的转盘仿真,但触摸量化、点推校准与 cue 停盘等处仍需妥协且手感与原厂有可感差异。
针对传统黑胶台难容纳现场采样与定序且不愿依赖屏幕的问题,论文用可复用的颜色令牌 Tamples 加 Bela 中央主机与 ESP 外设的模块扩展套件来保持搓盘手势,并在音乐节与酒吧演出中报告了无线与颜色识别稳定可用,但代价是令牌本身不显示内容且序列器暂只发音符开事件。
针对通用 MIDI 控制器丢失跳线等小手势的问题,Umbilical 用数字共生体加物理镜像实现一对一映射,最强证据是 1024 点跳线矩阵以约 60 赫兹扫描实现约 4.6 毫秒最坏延迟,代价是串口带宽限制扫描频率且源码目前处于禁运不可用。
针对噪声加混响同时存在的语音与音乐恢复问题,论文把多麦克风观测的最小二乘数据保真项与正则项组成反问题并用前向后向算法展开为 10 层网络,在已知或估计房间冲激响应与噪声标准差的条件下,LibriSpeech 上多麦克风展开结构取得最好客观与主观指标,代价是依赖房间与噪声先验且去混响层数与去噪器规模不可过小。
针对乐器起振与调制在分析帧内非平稳的问题,该工作用分布导数法估计三阶多项式调幅调频正弦,在 39 个乐器声音上获得更高的信号残差比并在听感上接近原声,代价是峰选择不当仍是主要误差来源且频谱距离指标并不总是最优。
论文把增强边界从外部参数映射搬到电路内部的电压电流关系,用低延迟数字阻抗替换哇音谐振网络中的无源元件,在保留脚踏交互的同时展示了从近似仿真到失稳自激的可复现探索空间,但代价是高频不稳定与对延迟和拓扑的高度敏感。
针对无损完美循环压抑偶然与主动性的问题,Zen-PCB 用裸露印制电路板做皮肤与 5 行 3 列导电短接矩阵做输入,配合 16 颗粒 WSOLA 与处理后写回同一环形缓冲的破坏链路实现持续音蚀,最强证据是 15 人评价中享乐刺激达 0.98 而实用质量仅 0.55,代价是 22.05 千赫低保真与直觉优先于效率。
该演示用归一化距离参数同时驱动增益、混响比、高频吸收、预延迟和低频补偿五种线索并保持互洽,在 18 人耳机测试中把三声源距离摆放误差从手动混音的 15.3 点降到 7.3 点,代价是 48 kHz 下双耳级开启时 CPU 峰值约 10.5% 与固定 10.7 ms 分区延迟。