把超声切面当乐谱：可触摸的明胶幻影如何决定声音

英文题目：Ultrasound Probe as Tool for Tangible Sound Performance Using Physically Sculpted Phantoms.

会议身份：conference:nime:2026:conference-paper-id:nime2026_109

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#时频分析 #音乐 #音频生成

评分：5.2/10 | 创新 1.2/2 | 技术严谨 0.9/1.5 | 实验充分 0.5/1.5 | 清晰度 0.7/1 | 影响力 0.6/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：后50% | 文档类型：应用研究

👥 作者与机构

• Kevin Blackistone：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文任务以手持超声探头在可塑幻影体上的接触操作为输入，输出随滑动按压旋转连续变化的多频谱声音流，难点在于超声深层分辨率低且随深度衰减失相，高频过强而低频单薄，难以形成稳定可控的音高结构。方法链分三步：先以高浓度明胶混合豆腐葡萄橙皮等食物材料塑形透明幻影体并固定布局，其多层密度分布作为空间化声源进入成像。其次以线性凸阵与相控阵探头从任意侧面采集深度方向密度图像，以增益降噪与动态范围控制图像输出与频率衰减特性。最后沿扫描线采样像素亮度并重采样为1024点数组，送入带Hann窗的逆离散傅里叶变换做加性正弦合成，并以均衡与多采样线插值补偿。相对固定探头观测舌部的Tongue’n’Groove，本文反转控制关系并将作曲前置到幻影体材料选择与摆放中，使触觉操作直接驱动频谱演进。在实时表演采集设置下，初始图像采集传输阶段的延迟指标为约33ms，低于包含VVVV处理在内的估计最大总延迟指标的70ms。其结论适用边界受限于模具精度不足与低分辨率，不同设计听感趋同且精细频率控制易失败，干燥凹凸与破裂表面会限制平滑运动，身体内部演奏等外推尚未验证。推理开销上仅披露采集链路延迟与总延迟及每频点约46.9Hz划分，硬件采购受限于医疗资质，原文未披露训练、推理或部署成本的完整核算。

🔗 开源与复现资源

• 第三方资源：https://vvvv.org/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，哪些信息必须保留？

这篇论文的输入不是一段现成的音频，也不是人体本身，而是一个可以亲手制作的固体：用食用明胶把葡萄、橘皮、豆腐、蘑菇、咖啡粉等包埋起来的透明块，医学训练中称之为幻影。演奏时把便携超声探头压在这个块的表面或侧面滑动，探头软件实时显示出内部切面，作者再用视觉编程环境把画面转成声音。目标是让切面上的多层密度信息同时发声，并让探头的手感变化直接变成音乐变化。

为此必须保留两组信息。第一组是深度，也就是离探头表面有多远，原文把它对应到频率，浅层对应低频仓，深层对应高频仓。第二组是该深度上的组织密度，也就是超声回波有多强，在画面上就是像素有多亮，原文把它对应到该频率分量的音量。深度顺序不能打乱，否则和弦结构就错了，亮度对比不能压平，否则音色对比就丢了。

初学者容易把这项工作误解为用超声测距控制合成器。那是另一条路线，常见做法是把超声距离传感器当旋钮用。这里不同，探头输出的是整幅灰度图像，每 1 帧都包含从表层到深部的连续密度剖面。作者要的是把剖面本身当作频谱来听，而不是只取一个距离值。理解这一点，后面关于取样线和逆傅里叶变换的讨论才有落点。

另一个必须交代的起点是便携超声探头的性质。原文指出这类点护理探头体积小、功耗低、成本相对低，能按线阵、凸阵等模式成像，并提供增益、降噪和动态范围等控制。它们原本为看人体设计，超声波在组织中传播会有吸收和失相干，深部自然衰减，高频自然滚降。作者把这种物理衰减留在了声音里，所以听感上高频不会无限刺耳，但也带来了低频细节不足的问题。

本文的写作顺序是先讲相关路线以划清边界，再讲方法全景让一个样本走完全程，然后拆开幻影制作、探头手法与合成计算 3 个组件，接着说明没有机器学习训练时真正做了什么构造与调试，再讲实验条件、表演结果与反例，最后给出复现步骤与适用判断。所有事实只来自原文证据与本次收到的原图像素，不引入外部评价。

同样用医学或图像做声音，前人走了哪些路？

先说医学传感器的艺术挪用。原文回顾了把肌电、脑电、动作捕捉等用于新乐器接口的传统，指出这类工作长期存在。它们共同的输入是身体信号，共同的目标是扩展控制维度，共同的运行阶段是现场表演。与本文的相同点是都把原本为诊断或交互设计的传感器拿来演奏，不同点是本文的传感器输出的是 2 维密度图像，而不是 1 维肌电包络或脑电节律，因此映射对象从控制参数变成了频谱本身。

再说超声这个词在音乐语境中的两种含义。一种是超声距离传感器，只输出一个距离数，常被映射为音高或音量。另一种是医学超声成像，输出的是内部切面。原文明确区分了二者，并指出后者在音乐文献中很少见。初学者如果把两者混淆，就会误以为本文只是换了个距离传感器，实际上本文的信息量和操作维度完全不同。

与本文最接近的是舌头超声控制器。原文提到的例子把探头固定住，让舌头在口腔内运动，再用光流和轮廓提取舌形来控制频率成形与时空发音。它的输入也是超声图像，目标也是声音控制，监督也是人工设计的映射，运行阶段也是实时。区别在于它是探头静止、介质运动，本文是介质预先设计好、探头运动。这种镜像关系是作者自己点出的，理解它就能明白为什么本文强调推滑倾扭等手法。

另一条相关路线是图像到声音的频谱合成。原文提到了把专辑封面藏进频谱图的彩蛋、把视频像素当波表源的表演，以及用频谱编辑软件做声音设计的传统。它们的输入是普通照片或视频，目标是可听的频谱，计算多用傅里叶变换家族。与本文的相同点是都把亮度当幅度，不同点是普通图像没有深度衰减的物理含义，而超声图像的纵轴天然就是深度，横轴移动天然就是换切面，因此探头移动具有声学解释，不只是换一张图。

还有放射影像的空间化工作。原文提到有人把体数据拿到混合现实里做空间化，但用的是离线体数据，不是实时探头输入。本文的差异正在于实时性与可触性：演奏者压下去，图像立刻压缩，声音立刻变化。这种闭环是离线体数据没有的，也是后面讨论延迟时要检验的。

要解决的演奏问题是什么，难在哪里？

要解决的问题可以表述为如何让一个物理固体成为可演奏的多声部乐谱。作曲者事先把不同声学特性的食物埋进明胶，规定它们在 3 维空间中的位置。演奏者事后用探头在固体表面移动，实时切出不同的剖面并听见不同的和弦。固体既是乐谱又是琴身，探头既是弓又是眼睛。

难的第一点是多层信息必须同时保留。普通固体乐器只关心表面形状，而超声能看到内部叠层。橘皮下面压着葡萄，葡萄下面撒着咖啡粉，取样线穿过时应该同时听见三者的贡献。如果只取表面距离，就会丢掉这种纵向复调，而这正是作者选择超声的原因。

难的第二点是物理操作必须可理解。探头有 6 个自由度，幻影又有弹性，压一下图像会压缩，斜一下深部会拉伸，离开表面信号就丢了。演奏者需要很快建立手与耳的对应，否则动作再丰富也无法作曲。原文为此整理了动作与图像变化的对应表，并花篇幅讲接触压力、表面湿度与探头方向感的适应过程。

难的第三点是声音不能只是噪声。直接把亮度送进逆傅里叶变换，容易得到高频过亮、低频呆滞的粗糙噪声，不同幻影听起来差不多。如何在不开发全新合成算法的前提下，用现有可视化编程节点做出可演奏、可区分的声音，是本文的工程约束。作者承认当前实现更像是加法正弦合成而非真正的频谱合成，低频复杂度不足，需要均衡和其他技巧补偿。

举一个教学用的例子帮助理解。假设在明胶中竖着埋一片橘皮，旁边横着放一颗葡萄。当探头从橘皮上方滑向葡萄上方，取样线先穿过薄而亮的直线，再穿过圆而散的团块，听感应从窄带哨声变成宽带低能量鼓包。这个例子是为解释而设，不是原文报告的测量值，实际音高取决于取样长度、增益与均衡，不能直接推定为某个频率。

一个样本如何从探头走到耳朵？

先跟着一个假想样本走完全程。演奏者把线阵探头压在幻影顶面，探头向幻影发射超声并接收回波，探头软件在屏幕上画出一幅纵切面，纵轴是深度，亮度是密度。作者用窗口采集把这个画面送进视觉编程环境，在画面上立一条从探头表面指向最大深度的垂直取样线，把这条线上的像素亮度重采样为等长数组，再把数组同时送给逆傅里叶变换节点的实部与虚部，得到 1 帧音频，送混音与效果后播出。探头一滑动，画面一变，下 1 帧声音跟着变。

为了建立超声长什么样，先看作者腿部肌肉的线阵成像。它是理解幻影图像的基线，因为幻影正是要模仿这类分层质感。

看图路径： 1. 先看横向条纹的明暗分层，确认浅层与深层都有不同亮度的回波；2. 再看白色细线与深色背景的对比，理解亮度将被映射为频谱幅度；3. 最后想象一条从上到下的垂直取样线会穿过几层亮带，对应几个同时发声的分量

论文图 1。原论文 Figure 1：“Linear probe image result from author’s leg muscle (depth = 0-25mm).”。

这幅腿部肌肉图像显示为横向延展的多层灰度条纹，亮线与暗带交错，深浅方向连续，没有彩色叠加。它告诉我们超声只认回波强弱，肌肉纤维与筋膜的阻抗差异变成亮度差异。幻影中的橘皮、葡萄皮与豆腐正是要制造类似但更夸张的亮度对比，以便在声音上形成可辨的频谱峰。取样线穿过这类条纹时，每穿过一条亮带就对应一个较响的分量，条纹越密，频谱峰越密。

超声探头 × 幻影： 超声探头负责向介质发射超声并按深度回传组织密度形成灰度切面，幻影负责提供可雕刻、可按压的多层物理密度分布，二者搭配的理由是探头只认声学阻抗差异而幻影正好能布置这种差异，移动探头就等于移动取样位置从而实时改变声音。

全景中的关键选择是幻影透明化。医学训练幻影通常染成不透明以模拟看不见皮肤内部，本文反其道而行，保持透明以便舞台视觉与表演定位。透明只影响人眼，不影响超声，因为明胶基质本身对超声近乎透明。演奏者能看见埋了什么，观众能看见探头压在哪里，而声音仍由超声决定。这种视觉与听觉的分离是舞台设计的一部分。

另一个全景选择是信号链全部用现成工具拼起来。探头经无线连到厂商软件，厂商软件窗口被采集后经共享纹理送进视觉编程环境，环境内做裁剪、取样与合成。作者明确说概念演示阶段没有必要开发新的重合成技术，直接用了视觉编程环境自带的逆傅里叶节点。这种拼装降低了复现门槛，但也带来了固定的线性频率划分与相位简化，后面会在组件节细讲。

取样线、逆变换与探头手法各自算什么？

先讲取样与变换的计算。设超声画面裁剪后有效区的垂直线为输入，沿线取像素亮度得到序列。实现步骤是把该序列用双 3 次插值重采样为长度为 1024 的数组，再把黑到白线性映射为数值，把该数组同时复制给逆傅里叶变换每个仓的实部与虚部，加汉宁窗后做逆离散傅里叶变换。原文强调没有相位重建、没有帧间相位连续性估计，各仓相位恒定，因此更接近加法正弦合成而非考虑相位的声码器式合成。频率划分是线性的，每个仓宽度由采样率除以数组长度决定，高频容易过亮，低频动态受限。

深度 × 频率： 深度指超声图像中从探头表面向下到最大探测距离的纵向位置，频率指合成后每个频谱仓对应的听觉音高，二者搭配的理由是原文把取样线按探头到深部顺序重采样为等长数组再一一对应频谱仓，组合意义是浅层亮点变成低频分量、深层亮点变成高频分量，材料在纵向的排布直接写成和弦结构。

组织密度 × 频谱幅度： 组织密度在超声图像中表现为像素亮度，越亮表示回波越强，频谱幅度在合成中表现为对应正弦分量的音量，二者搭配的理由是原文把亮度线性映射为数值后同时送给逆傅里叶变换的实部与虚部，组合意义是葡萄皮这类强反射薄层变成窄带大音量，果肉这类弱散射变成宽带小音量，亮度对比直接变成音色对比。

再讲信号链的拼装，下面是作者给出的简化流程，阅读时抓住主路径与分支位置。

看图路径： 1. 先沿超声视频经无线到探头软件再经窗口采集的箭头看主路径；2. 再看右侧从图像裁剪到线性取样再到逆傅里叶合成与混音的分支；3. 最后确认左右两部分经共享传输连接，理解延迟主要来自采集与传输

论文图 5。原论文 Figure 5：“Simplified signal flow diagram.”。

从像素可见，左侧主路径为超声视频经无线进入探头软件的控制与流视图，再经窗口采集向右传输，右侧分支依次为按探头模式裁剪、按模式线性取样、逆傅里叶合成、混音与效果。虚线框暗示左右同属一个运行时，但采集与传输引入约 1 帧延迟，视觉编程本身还有子帧处理延迟。这种拼装的好处是每段都可替换，坏处是频率选择与对数划分等音频友好的功能缺失，只能靠后级均衡压高频。

探头手法 × 取样线： 探头手法指推、滑、压、倾、扭、滚 6 类手部动作，取样线指在超声画面上从探头表面向深部画出的一条像素采样向量，二者搭配的理由是手法改变探头与幻影的相对几何就等于改变取样线切过哪些材料，组合意义是演奏者不用改代码，只靠滑动和倾斜就能实现图像平移、频谱压缩与拉伸，触觉操作直接成为声音调制。

最后讲探头手法。原文把坐标系定为图像平面为横纵轴，长边为横轴，垂直于平面的推进为纵深轴。在此定义下推是沿纵深走，图像按埋藏顺序推进，滑是沿横轴走，等于平移取样线，压是向下压缩介质，浅层频谱压缩更多，倾是绕横轴转，深部图像推进更多且频谱拉伸，扭是绕纵轴转，中央取样线变化小，滚是绕纵深轴转，容易失去接触，需加压才能维持并带来图像旋转与拉伸。幻影脱模后还可从侧面扫查，挤压与摇晃则带来整体音高抖动，但会增加保持接触的难度。初学者先练保持接触压力与表面湿润，再练方向感，因为屏幕平面与探头朝向需要几次使用才能适应。

没有模型训练时，真正构造和调试的是什么？

本研究没有神经网络训练，没有梯度、损失、优化器与权重更新，也就没有冻结与解冻可言。该节对应的真实工作是幻影的物理构造与软件参数的手工调试。构造目标是让不同食物在超声下产生可区分的亮度结构，调试目标是让取样与合成链在舞台上稳定出声。

先看材料库，下面是作者摆开的一组备选食物，理解选择逻辑比记住名单更重要。

看图路径： 1. 先从左到右辨认橘瓣、橘皮、葡萄、葡萄梗、豆腐和甜椒等不同形态材料；2. 再比较薄膜类与块状类的厚度和透光差异，关联其窄带与宽带之分；3. 最后注意豆腐上的切刻痕迹，思考形状雕刻如何改变超声反射面

论文图 4。原论文 Figure 4：“An example spread of prepared food items used.”。

画面中可见橘瓣、橘皮条、葡萄、葡萄梗、切刻过的豆腐块与甜椒片等，形态从薄膜到块状到粉末俱全。作者的思路是按声学作用选材：薄膜给窄带，厚膜给中带，湿软多汁给宽带低能量，疏松多孔给细线加深部遮挡，半致密豆腐给宽带加遮挡，松散粉末给底噪，不规则梗给不规则 pattern，容器底面给反射梳状。选择食物而非塑料小球，理由是易得、可食用或可降解，减少浪费。

明胶浓度 × 超声透明性： 明胶浓度指制作幻影时明胶粉与水的配比，超声透明性指基质本身不产生强回波从而衬托出嵌入食物的能力，二者搭配的理由是浓度太低则幻影易碎且易晃动，浓度太高则可能引入额外衰减，原文选择高于食用浓度的配比，组合意义是在保持透明的同时获得可按压、可站立、可巡演的弹性固体，让触觉演奏成立。

构造中有 3 个工程细节。第一是浮力与布放，液态明胶倒入时会推动预摆好的食物，会浮的更会移位，加粉的时间点也会影响均匀性，必要时用牙签固定。第二是模具厚度，太薄则超声打到底面反射回来形成重复条带，听感上变成梳状谐波，若事先没考虑会成为意外。第三是透明与浓度，高于食用浓度的配比在保持超声透明的同时提高抗压抗碎能力，适应按压与巡演。

为把材料选择讲成可核对的对照，整理出下表。表中声音描述来自原文定性总结，不是测量值，使用时需结合增益与深度理解。

上表把原文按行给出的材料到声音的定性映射收拢为一行一材料，公平条件是同一探头增益与同一深度范围，指标方向是定性可区分度而非分贝数。主要收益是选材即配器，薄膜与粉末分工明确，代价是浮力与倾倒扰动让精确布放很难，不同设计最后听起来仍可能相似，未胜出项是蘑菇类疏松材料，其遮挡会吃掉深部信息，负结果是模具太薄时的底面反射，若不想要就必须加厚。

软件侧的调试包括取样线数量、低频振荡器频率与混音滤波，多取样线时凸阵与相控阵需沿扫描弧线校正取样向量，次级取样线位置可挂载振荡器自动游动，而主图像仍由手控探头改变。这种手工调试没有训练曲线可画，但决定了演出时能否在高频过亮与低频呆滞之间取得平衡。

演出与测量的条件是什么，延迟与分辨率如何交代？

本研究不是数据集基准测试，没有划分、采样、指标聚合与显著性检验，实验条件就是表演条件。场地包括圣界面音乐节等现场，输入是手工幻影加便携探头，输出是实时音频加投影的超声画面，操作者一手持探头一手操作控制器与触屏，控制采样线数量、振荡器频率与混音滤波。探头厂商软件必须全屏可见以切换线阵、凸阵与相控阵模式，这限制了双手同时揉捏幻影，并要求台面保持干净干燥。

数据侧按原文交代：没有采集大规模语料，没有标注，没有基线模型对比，主结果是定性表演观察与观众反馈，失败条件与局限以文字讨论形式给出。硬件预算未报告具体探头型号与价格，只讨论了便携探头相对便宜但仍属医疗器械，购买可能需要资质证明，使用需注意地区法规。伦理上明确未在医疗场景对人做诊断，研究材料为非活体食物，明胶之外的替代如琼脂也被提及。

指标方向在这里是可演奏性与可区分度，而非准确率。延迟是唯一给出数字的性能量，原文报告采集传输链带来约 1 帧延迟，视觉编程还有子帧延迟，总延迟估计有上限。分辨率是另一项条件，原文指出探头分辨率本就不高，深部更差，这直接限制了频谱细节。增益、降噪与动态范围是可调的，调大能提亮深部但也会抬起噪声底，调小则干净但深部丢失，这种权衡贯穿所有表演。

为把动作条件讲清楚，整理出探头手法对照表。阅读时先想比较问题：在同一幻影上，哪种手移动哪根取样线，哪种手压缩或拉伸频谱。

上表把原文分散在正文与动作表中的描述按动作收拢，公平条件是同一幻影同一增益，指标方向是图像与声音变化的可预测性。主要收益是推与滑最直观，适合初学，代价是滚与摇易丢接触，压与挤虽触感满足但会让表面破损，未评测边界是脱模后多侧面扫查的系统比较，原文只说可行而未量化。负结果是干燥或凹凸表面会让滑动卡顿，只能换位置或改转动作。

延迟与分辨率的数字条件留给下一节的合成参数表，阅读时注意采样率、数组长度与帧率三者共同决定音高网格与时间网格，不能只看其中一个。

系统实际听起来怎样，观众看到了什么？

先讲声音结果。原文报告当前实现频繁表现为高频过强、低频动态不足，深部相位像差带来一定自然滚降，但仍需均衡压高频，低频复杂度则无从增加。不同幻影设计有时听起来相似，带有图像频谱合成常见的粗糙感。表演物理性在一定程度上补偿了听感，但长时演出仍需改进动态。这不是贬义，而是作者自己给出的判断，初学者应把它当作该路线的起点，而非终点。

为理解多声部如何产生，看凸阵下的多取样线示例。每条斜线都是一条从表层指向深部的采样向量，各自独立送合成，位置可由振荡器驱动。

看图路径： 1. 先找到画面中央垂直与两侧倾斜的三条白色取样线；2. 再观察每条线穿过的亮斑位置深浅不同，对应不同频率组合；3. 最后注意扇形凸阵图像边缘发散的形状，理解倾斜取样需沿弧线校正

论文图 6。原论文 Figure 6：“Example of multi-synthesis. Each angled line represents a vector of value samples from a convex probe.”。

画面为扇形凸阵切面，中央一条垂直白线，两侧各一条倾斜白线，三线穿过的亮斑深浅各异。中央线穿过中部团状亮区，两侧线穿过边缘斜向纹理，这意味着 3 路声音的频率组合不同，叠加即和声。凸阵的弧线发散要求倾斜取样沿弧校正，否则深部会采偏。这张图的可执行观察是先数三线各自穿过几个亮点，再比较亮点深浅，最后想象振荡器让两侧线左右游动时和声如何变化。

再讲表演结果。作者报告左手持探头、右手操作控制器与触屏的分工基本流畅，触屏改善了早期用鼠标切模式的尴尬，但仍需保持清洁。探头压入与弹跳的触感被描述为满足感，压缩弹性带来连续可触界面的体验，幻影破裂甚至被当作表演的一部分。表面湿度与微小起伏会影响滑动，干燥或凹凸面需换位。延迟未被感知为问题，因为像素值逐帧变化不剧烈，而真正需要帧间插值的是逆变换的啁啾，当前实现没有做。

观众反馈是另一类结果。原文报告反响积极，但主要来自对介质新奇性与探头移动、画面抽象投影的兴趣，而非声音本身的丰富性，当前声音更接近噪声表演。控制声音的尝试限制了动作速度与范围，但动作本身更好地吸引了观众。这提示评价维度是双重的：作为乐器，声音分辨率不足，作为表演，视觉与触觉足够抓人。

为把合成链的数字条件 1 次讲透，整理出参数表。阅读问题是：在固定实现下，什么决定了音高网格与时间延迟。

上表把原文散落的数字收拢为可复现的配置单，公平条件是同一视觉编程节点与同一探头模式，指标方向是仓越窄、低频可调性越好、延迟越低越好。主要收益是配置极简，复制即出声，代价是线性仓导致低频只有少数几仓可调，高频则大量冗余，未胜出项是固定仓宽方案，作者明确说换音频软件会更好。反例是深部分辨率下降，即使数字上仓还在，图像模糊也会让深部高频分量糊成一片。

换掉哪一块，声音会怎样变？

原文没有做消融实验的数字表，但提供了可当作对照的定性替换。第一组替换是材料替换。把薄膜换成厚膜，窄带变成中带，把块状换成粉末，和声之间填入底噪，把致密豆腐换成蘑菇，深部出现遮挡。这相当于 1 次材料消融：拿掉强反射层，高频峰消失，拿掉粉末，空频谱变安静，拿掉遮挡，深部重新出现。这种对照支持材料即配器的判断，但限制是布放精度差，浮力与倾倒让每次结果不完全可重复。

第二组替换是动作替换。同样经过一个埋藏序列，用推经过与用倾经过听感不同，推是等比推进，倾是深部拉伸更多。用滑平移与用滚旋转也不同，滑是平移取样线，滚还带来旋转与拉伸。用压压缩与用挤幻影都带来抖动，但挤的复杂度更高且更难保持接触。这相当于 1 次手法消融：固定幻影只换手法，声音变化即手法的贡献。原文的动作表就是这组对照的文字记录。

第 3 组替换是合成替换。作者明确指出当前逆变换节点同时给实部虚部相同值、无相位重建、无帧间插值、无频率选择与无对数划分，换用音频导向的软件应能改善低频表现与啁啾。此外还尝试了取样线到音符的映射、像素行做波表源、多普勒模式当调频麦克风听介质内振动等。这些是算法层面的对照：固定图像只换解释方式，声音从加法噪声变成音符序列或波表音色。原文报告波表变化有限，多普勒则有独特反馈潜力，但都未量化，需要待验证。

还有两类特有细节值得展开。一是底面反射的意外对照。模具太薄时底面反射形成重复条带，听感上多出一组梳状谐波。加厚模具后这组谐波消失，这反证了纵向结构到频率的映射是真实的，而非后期效果伪造。二是增益的对照。

调大增益能提起深部与粉末底噪，但也会抬起噪声，调小则干净但丢深部。这种此消彼长说明音色不仅由食物决定，也由探头参数决定，复现时必须记录增益。

综合来看，支持的判断是材料、手法与参数三者都对声音有因果贡献，限制是都没有数字消融表，无法给出拿掉某层后分贝数的变化。初学者做复现时，应 1 次只换一类变量并录音对比，先固定增益换材料，再固定材料换手法，最后固定前两者换均衡，这样才能把定性对照变成自己的半定量记录。

哪些边界会让这个方法失效或变味？

第一个边界是精度。原文明确说不要指望精确的频率输出，模具手工制作精度有限，超声分辨率本身不高，深部更差。试图按十二平均律布放食物大概率受挫，不同设计听起来相似是常态。这不是操作失误，而是物理与成像双重模糊的结果。接受它，才能把该系统当作噪声与纹理乐器，而非旋律乐器。

第二个边界是声音本身的局限。线性等宽仓让低频只有少数仓可用，高频则过剩，即使均衡压住高频，低频依然单薄。无相位考虑的实现带来粗糙感与帧间啁啾，缺少插值与对数划分让音乐性打折。作者把这些都归为当前实现的局限，并指向换音频软件的改进方向。初学者不应把这种粗糙当作超声的本质，而应看作特定节点的实现选择。

第 3 个边界是设备与法规。便携探头虽相对便宜，但仍是医疗器械，部分厂商要求医疗资质才出售，使用还需查阅地区法规。采购二手或借用是可能的路径，但需确认合规。演出中厂商软件必须全屏、触屏需保持干净干燥，这些舞台约束会限制双手揉捏幻影的自由度。

第四个边界是物理耐久。幻影能承受一般按压，但做成异形或反复穿刺按压会破裂，表面干燥或凹凸会让滑动卡顿。破裂可以是表演的一部分，但巡演需要备品与保湿。粉末均匀性、浮动物定位、牙签固定痕迹都会在超声下显形，制作时需预留调试时间。

最后是评价边界。现有积极反馈更多来自新奇性与视觉，而非声音丰富性，动作速度为保音质而受限。这意味着用听众掌声证明乐器成功是不充分的，还需补上声音可区分度的盲听或任务完成度的测量。原文没有承诺延迟、误判率或成本的改善，也没有给出这些量的测量，复现者不应代为承诺。

想复现，先做什么，需要什么条件？

先做最小可发声链。准备透明明胶按高于食用浓度配制，埋入一片橘皮与一颗葡萄，加厚模具避免底面反射。借到便携探头并确认可在非医疗演示场景使用，了解地区规定。探头连厂商软件，窗口采集送进视觉编程环境，画面裁剪到只剩超声区，立一条垂直取样线，重采样为等长数组后送逆变换节点，加均衡压高频，先让推与滑两个动作出声。这个最小链跑通后，再加多取样线与振荡器。

关键超参数与信息条件必须记录。数组长度、亮度映射范围、采样率与仓宽、帧率与延迟估计、探头模式与深度、增益与动态范围、明胶浓度与模具厚度、食物种类与大致埋深，这些是复现他人结果的最低信息。原文给出的数字是重采样为 1024 点、映射为 0.0 到 1.0、采样率为 48 kHz、仓宽为˜46.9 Hz、帧率为 30 Fps、采集延迟为˜33 ms、总延迟上限低于 70 ms、腿部示例深度为 0-25mm、明胶浓度约为 20g/250ml，照抄这些才能对齐起点。视觉编程环境当前可用，链接在原文参考文献中给出，状态为可用。

操作顺序建议是先固定增益做材料对照，录下薄膜、厚膜、块状与粉末各自的声音，再固定材料练手法，按推滑压倾扭滚逐个录，最后固定前两者调均衡与混音。每次只换一个变量，否则无法归因。表面保持湿润，备好替换幻影，触屏与台面保持干净。

还需补的验证有三项。一是声音可区分度的盲听，让他人在不知探头位置时分辨材料或动作。二是延迟的实测，用拍击探头到听见变化的端到端计时替代估计值。三是深部分辨率的标定，用已知间距的埋藏物测量图像模糊与声音糊化的关系。这些在原文中未报告，补上才能从演示走向乐器评估。

常见误解需要澄清。透明不等于超声透明，透明是给人看的，超声透明是基质本身回波弱，两者都要但原因不同。粉末不是杂质，而是填充空频谱的底噪源。底面条带不是故障，而是反射，留着可用，去掉需加厚。破裂不是失败，在作者的表演中它本身就是触觉反馈的一部分。

何时值得尝试，一句话如何复述方法？

当你想要一件看得见内部、压得动声音的舞台乐器，且能接受噪声质感而非精确音高时，这个方法值得尝试。它把作曲前移到厨房，把演奏留给手腕，适合工作坊、现场即兴与跨媒介表演。不适合需要精确旋律、快速音阶或长时间稳定音色的曲目，也不适合无法解决探头合规借用与备品制作的团队。

复述方法只需一句话：把食物按声学作用埋进透明高浓度明胶，用超声探头扫出深度亮度剖面，取一条从表层到深部的像素线重采样后当作频谱幅度送逆傅里叶变换发声，靠推滑压倾等手法移动与变形取样线来演奏。这个复述保留了输入、表示、组件、目标与输出的完整链条，换掉任一环节都能预见声音变化。

回到中心矛盾：物理可塑性带来演奏自由，也带来不可精确性。雕刻越自由，频率越难预定，手法越丰富，接触越难维持，频谱越真实，低频越单薄。作者的选择是用现成工具先让链条转起来，用身体补偿声音的不足，用视觉吸引补足听觉的单调，并诚实写下局限与改进方向。初学者沿着材料、手法、参数 3 组对照各做 1 次录音比较，就能亲手验证这条判断，而不只是记住结论。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 1 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 nime-2026 论文汇总