📄 用硬度、尺寸、速度和阻尼直接控制敲击音:PhysicsSliders 解读
英文题目:PhysicsSliders: Learning Physical Controls for Audio Foley Generation
标签:#音频生成 | #流匹配 | #环境声
评分:7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Peiwei Chang:机构信息未在 arXiv HTML 中可靠披露
- Yongqiang Chen:机构信息未在 arXiv HTML 中可靠披露
- Yuelan Cheng:机构信息未在 arXiv HTML 中可靠披露
- Liting Gao:机构信息未在 arXiv HTML 中可靠披露
- Yishun Lu:机构信息未在 arXiv HTML 中可靠披露
- Li Zhang:机构信息未在 arXiv HTML 中可靠披露
- Mark D. Plumbley:机构信息未在 arXiv HTML 中可靠披露
- Philip J. B. Jackson:机构信息未在 arXiv HTML 中可靠披露
- Wenwu Wang:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
接触音生成需要把材料、几何与敲击方式的变化转成可预测的声音变化,只给事件标签无法满足游戏与虚拟环境拟音中按场景调整物体的需求。PhysicsSliders用在线模态模拟训练流匹配生成器,输入15维物理参数或含数值的文字描述,输出2秒、44.1 kHz的板与条形体接触音,训练时随机化房间混响、麦克风与噪声。处理链路是先从真实录音用共振峰包络拟合读出有效阻尼q,再经模拟器反演找到产生相同读数的源损耗η*,最后把η*作为直接参数或写入数值标题送入生成器。相对已有声学特征控制与单因素物理响应工作,差异在于同时考核绝对目标精度与双目标联合交付,并分离出厚度信息的作用。在5个真实音频数据集的18类冲击音有效阻尼目标评测中,直接参数版本PXS-Physical的分组Spearman相关系数均值ρ=0.976,高于文字数值版本PXS-Text的0.954。在阻尼与尺寸5×5网格的联合目标评测中,PXS-Physical以68.0%对15.6%超过PXS-Text在225次设置—运行评估中的1.5倍联合交付成功率。在同一网格固定权重与噪声下,提供厚度使1.5倍联合成功率从51.1%升至80.0%,频率误差随之改善,说明厚度决定联合交付。结论适用于冲击音有效阻尼控制与阻尼加尺寸联合控制,持续音存在12.7倍的阻尼下限,串扰与感知质量尚未解决,原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
影视拟音要解决什么输入与输出问题
论文面对的是接触声的可控生成。输入是物体与交互的物理状态,输出是 2 秒、44.1 千赫的敲击、弹跳、刮擦或滚动声。用户想直接说把板子变大一点、敲得硬一点、闷住一点,或者把房间说成干一点或混响大一点,模型就要给出对应变化的声音,而不是让用户去猜亮度、音高这类声学旋钮。
已有文本生成能指定事件与场景,时序条件能定事件时刻,声学特征条件能跟随响度与音高轨迹,潜空间引导能管强度与节拍,语义滑杆能做属性编辑。这些控制落在声学或语义坐标上,要改物体尺寸或接触硬度时必须绕道翻译。另一路物理感知方法用模态先验、几何与敲击位置、物理状态描述、估计的质量速度来连接物体与声音,还有用物理启发合成器训练爆炸声的例子。论文把任务再收紧一步:不仅要方向对,还要能命中指定的声学数值,而且要一次命中两个,这就需要同时评估目标精度与方向,并查清联合控制时必须补哪些物体属性。
已有路线在相同输入输出下能做什么
在输入、目标、监督与运行阶段相同的意义上比较,文本到音频的 Stable Audio Open 与 TangoFlux 接受的是事件加数值或等级词的提示,SonicGauss 接受的是几何与接触坐标,本文的 PXS-Physical 接受的是 15 维物理参数加可选房间文本,PXS-Text 接受的是写明数值的英文句子。监督也不同:外部基线用大规模真实音频与文本对训练,PXS 只用在线模态仿真训练,没有用真实音频微调。
论文的比较保持了输出时长、单声道、带宽与响度归一等处理一致,再看排序与命中率。单因素视频到音频基准只测干预方向,本文额外测绝对目标精度与双目标同时命中。模态与几何条件工作证明了物理条件可行,本文把评估推到真实录音定出的有效阻尼目标,以及阻尼加尺寸的 2 维网格,并用遮掉厚度比的同一生成器做对照,区分方向对与同时定准的区别。
目标值从真实录音来时如何定义与分组
用户可以直接给 θ,也可以给出从录音 x 测到的有效阻尼 q。测量读数记为 hc,c 代表激励类型。敲击用希尔伯特包络跟踪共振幅度,持续激励因为自由衰减被掩盖而改用无偏自相关包络。峰检测用 8192 点汉恩谱,敲击按起振对齐,持续声用 50% 重叠的韦尔奇平均。敲击保留谱峰值 45 分贝内的至多 6 个峰,持续声保留 20 分贝内的至多 8 个峰,并去掉 150 赫兹以下的峰,再用矩形傅里叶掩码隔离每个共振做衰减拟合。
拟合细节决定了 q 不是源损耗 η 本身。敲击半带宽从 0.015fk 加 4 赫兹起步,再按初始衰减估计扩展;拟合从包络峰后 10 毫秒开始,要求起始 20 分贝净空与重拟合时高于尾部中值 15 分贝,到下降 30 分贝或高出地板 6 分贝或 1.5 秒停止。持续声半带宽取 0.05fk 与 25 赫兹的最大者,去掉前 10% 音频后从 2/fk 与 0.002 秒的最大者开始,到归一化幅度低于 0.15 或剩余时长 1/4 停止。有效拟合至少持续 10 毫秒且衰减率大于零,取 dk 除以 πfk 的中值作为 q,无有效峰则缺失。
有效阻尼 × 源损耗 × 模拟器反演: 源损耗是仿真输入的 η 材料参数,有效阻尼是从波形测到的 q 值,它还受激励、房间和模态频率影响,所以两者不等价;模拟器反演是在固定模板下扫描 24 个候选 η 并比较仿真输出的测量值与真实目标,找到最接近的 η 星,再把它作为生成器的输入,从而把真实录音的目标转成仿真支持的输入。
为让目标可比,论文保留 18 个敲击类与 12 个持续类,每类把有效 log10q 排序后取 8 个均匀索引目标。排序与增益要求至少 3 组,每组距组首对数值不超过 δ。dex 指以 10 为底的对数单位,0.10 dex 对应 1.26 倍。材料与激励相关的阈值定排序分辨率,不做目标容差。评估用 240 个请求,包括超出模拟器支持范围的请求,以检验外推。
两套接口如何共用一套生成流程
论文提出 PhysicsSliders,简称 PXS,有两个分开训练的变体:PXS-Physical 接受直接参数输入,可带或不带文本;PXS-Text 只接受文本。两者共用流匹配结构与冻结解码器,训练数据都来自仿真。整体流程是先设定物理,再经隐变量流生成,最后经冻结解码器出波形;真实录音只用来定目标,不参与微调。
下图把这条主路径画了出来,左侧是硬度、尺寸、阻尼与 15 维输入加形状接触类型,中间是分开权重的模型流与冻结解码器,右侧是攻击、共振、衰减 3 段声音整形,配文还给出了黄铜在固定采样噪声下只变一项的频谱与包络示例。
看图路径: 1. 先看左侧设定物理与右侧整形声音的三栏,确认输入到输出的主路径;2. 再看中间 PXS-Physical 与 PXS-Text 共用隐变量流与冻结解码器的位置;3. 对比右上黄铜在固定噪声下只变一项时的频谱与包络差异
论文图 1。原论文 Figure 1::“PXS variants train separately with a shared architecture and frozen decoder.”。
从像素看,左侧小球敲平板示意硬度 E 与尺寸 L 的输入,中间物理编码器与 8 块隐变量流方块串联,下方标注噪声与文本描述或数值,右侧三列分别标攻击质心、频率标尺与阻尼 q,低中高三档曲线随输入单调移动,下方 5 级扫描曲线用配对噪声平均,说明模型学到的是可重复的方向性变化,而不是单次采样的偶然抖动。
仿真负责产生什么样的监督声
物理监督来自在线模态仿真,生成平板与条形的赫兹接触声与随机表面激励,比例是 45% 敲击、15% 弹跳、25% 刮擦、15% 滚动。15 维参数向量 θ 覆盖材料与阻尼、几何、激励与运动。材料侧有纵波速 cL、密度、源损耗 η、外部阻尼倍数 κ;几何有尺寸 L 与厚度比 h/L;激励有等效接触模量 E、质量、半径、速度 v 与位置;运动有恢复系数、粗糙度、法向力与滚动半径。
固定形状下第 k 个模态频率正比于 cL 乘以 h/L 再除以 L,幅度衰减率是 πfkηκ 加 1.5 每秒。E 控制硬度,κ 叠加类似手闷的额外阻尼。房间声学、麦克风响应、噪声与均方根增益随机化,60 分贝混响时间 T60 在 0.08 到 0.8 秒对数均匀。PXS-Physical 的字幕把同一次仿真房间写成 0.12 秒以下为干、0.45 秒以上为混响,之间不写房间短语。平板长宽比在 1.15 到 1.6 均匀但不作为输入。
尺寸、厚度比与硬度对数均匀,损耗采样 65% 按材料、35% 全范围覆盖,η 在 2.82 乘 10 负 4 次方到 7.10 乘 10 负 2 次方之间。速度敲击 0.2 到 5 米每秒、滑动 0.03 到 1 米每秒,25% 取 κ 等于 1 否则在 1 到 16 对数均匀。训练用钢、玻璃、陶瓷、石头、木头与塑料,L 为 0.06 到 0.6 米,h/L 为 0.005 到 0.10;留出的铝、黄铜、混凝土波速分别为 5100、3430 与 3540 米每秒,其中铝落在训练支撑内,后两者落在训练带之间。
参数与文本如何变成流模型的条件
生成主干是从零训练的 8 层、54,800,000 参数的 1 维流 Transformer,用冻结的 Stable Audio Open 的 Oobleck 变分自编码器。参数标记先把每个 θi 经自然对数或恒等变换再按仿真均值方差标准化,位置、恢复系数与粗糙度指数用恒等,其余用对数,再把标量与频率为 0.25、0.5、1 的正余弦项拼接。二值掩码选择用提供值还是学到的空标记,加上身份嵌入与共享多层感知机得到每个参数的标记,形状与接触类型再加两个标记,共 17 个汇聚成平均池化向量,与隐变量位置、掩码加权值一起进入每步输入。物理标记与冻结的 FLAN-T5-large 文本嵌入一起进交叉注意力,汇聚物理向量与时间嵌入调制网络块。
流匹配 × 冻结解码器 × 物理参数标记: 流匹配负责学习从高斯噪声到音频隐变量的条件速度场,冻结解码器指 Stable Audio Open 的 Oobleck 变分自编码器解码端不更新只做波形重建,物理参数标记是把 15 维 θ 经标准化与正余弦扩展后与掩码结合成的交叉注意力条件,三者分工是:前者定训练目标与采样轨迹,中者保重建质量,后者提供可缺省的物理控制。
训练目标是流匹配,学习从音频隐变量 z0 到高斯噪声的条件速度场,采样用 50 步欧拉与 3 倍无分类器引导,再经冻结解码器。PXS-Physical 训练时以 15% 概率丢文本、14.5% 丢物理、两者同丢 6%,单个坐标 10% 丢弃;PXS-Text 恒掩物理并以 15% 丢文本。每个变体做 3 次独立 AdamW 运行,各 50,000 更新、批量 48、学习率 10 负 4 次方,用最终指数滑动平均权重评估。
直接参数接口 × 数值字幕接口 × 房间描述: 直接参数接口即 PXS-Physical,接受数值 θ 并可叠加文本;数值字幕接口即 PXS-Text,只接受写有具体数值的英文句子;房间描述是说明混响干湿的文本短语。两者共用 8 层一维流 Transformer 结构但分开训练,房间文本与物理输入组合后,前者定物体与激励,后者调尾响能量,实现了物体控制与声学场景的叠加。
从测量到请求的映射靠模拟器反演。对物体接触模板 T,模拟器 S 在 24 个对数间隔训练范围损耗上各做 3 种激励录音实现,取中值测量与目标 q 的对数距离最小者作为 η 星,再填入目标对应的 θ 星。PXS-Text 把 η 星写进字幕。模板用 0.30 米平板、h/L 为 0.008、κ 为 1,按类别指定材料,未指定用木头,敲击目标用敲、持续目标用刮。
\[\eta^{*}(q;\mathcal{T})=\underset{\eta\in\mathcal{E}}{\arg\min}\left|\log_{10}\frac{\operatorname{med}_{b=1}^{3}h_{c}(S(\eta;\mathcal{T},\nu_{b}))}{q}\right|.\]该式中 med 取有效读数中值,S 是给定 η、模板与随机实现下的仿真声,hc 是对应激励的读数,E 是候选集合。它不更新生成器权重,只是把真实目标翻译成生成器见过的输入语言。
训练与不训练的部分各是什么
本研究训练的是 8 层流 Transformer 的速度场,监督全部来自在线仿真声的隐变量重建,没有用真实音频微调。冻结的是 Oobleck 变分自编码器与 FLAN-T5-large 文本编码器,它们的参数不更新,梯度只经过流 Transformer 的物理标记路径与文本交叉注意力。仿真器本身不训练,只是按上述分布在线产生波形与 θ 对。
3 次运行的随机性来自仿真采样、丢弃掩码与噪声初始化,评估保留 3 次平均以看稳定性。PXS-Physical 与 PXS-Text 分开训练意味着两者权重不同,不能把一个的数值表现直接归于另一个。训练成本按 50,000 更新乘批量 48 计,推理按 50 步欧拉加 3 倍引导计,原文未报告具体硬件时长与延迟,因此不能承诺实时性或成本优势。无训练不等于确定性求解,固定目标下仍靠不同潜噪声采样出不同频谱,这是后文固定目标多样性评估的前提。
真实目标、分组与指标如何定公平条件
评估用 10 个 ESC-50 类、4 个 FSD50K 类、6 个 AudioSet 类、5 个 NSynth 类与 5 个 RealImpact 类,筛选后剩 18 个敲击类与 12 个持续类,去掉范围不足的两类与 2 对重复。选择与分组不用模型输出。每目标要求 4 个输出中至少 3 个有效才算中值,增益是组均值预测对组均值目标的带截距对数回归斜率,理想为 1;误差是预测中值与目标比值的对数绝对值;Spearmanρ 测组排序,平坦或不完整响应记零。
容差 λ 取 1.5 或 2 倍,4 个输出中至少 2 个落在目标除以 λ 到乘以 λ 之间才算请求成功,无效读数算失败。成功率先按请求与训练运行或模拟器噪声库平均,再取类中值。
分组 Spearman 相关 × 增益 × dex 误差: 分组 Spearman 相关衡量按目标排序后组均值预测的顺序一致性,增益是预测对目标对数回归的斜率反映量程覆盖,dex 误差是预测与目标比值的以 10 为底对数绝对值反映绝对偏差。三者搭配是因为只看排序会漏掉整体偏小或偏大,只看误差会漏掉单调性,论文因此同时报告三项。
测量本身先用 36 个已知衰减的干敲击验证,32 个有效拟合中 29 个在 1.5 倍内。另一读数用施罗德 T60 与至多 3 个最低有效共振几何均频率标尺换算,两读数在 144 个 PXS-Physical 敲击请求上都有效,未分组相关与 1.5 倍请求中值一致率分别为 hc 的 0.941 与 78.9%,另一读数为 0.986 与 40.7%,说明排序稳定但绝对一致取决于衰减定义。持续阈值用 Arni 录音取组内与跨配置百分位的平方和根,敲击阈值取 RealImpact 同敲麦克风对对数差 95 百分位的类内平均。
等效阻尼目标能否被跟随
下表比较编码方式对硬度、尺寸与阻尼方向响应的影响,用模型与模拟器对数斜率比值衡量,理想值为 1。对比在相同训练与输入下进行,只更换特征形式与是否保留数值掩码直连通路,平滑指原文式 1,高频指 2 的幂次形式且不带标量,两次运行平均,加粗的一组为 PXS-Physical。
| Token features | Direct | Hardness | Size | Damping |
|---|---|---|---|---|
| Smooth | Yes | 0.95 | 0.76 | 0.97 |
| High-freq. | Yes | 1.11 | 0.65 | 0.89 |
| Smooth | No | 0.94 | 0.65 | 0.97 |
| High-freq. | No | 0.20 | 0.19 | 0.25 |
表中平滑编码加直连通路的一组硬度、尺寸、阻尼比值分别为 0.95、0.76 与 0.97,方向基本跟随模拟器。高频编码加直连通路对应 1.11、0.65 与 0.89,尺寸响应有所下降。去掉直连后,平滑编码仍为 0.94、0.65 与 0.97,而高频编码掉到 0.20、0.19 与 0.25,说明同时去掉平滑与直连会明显削弱硬度与阻尼响应。该对比只看方向比值,不直接说明绝对目标精度,尺寸项本身也低于理想值,使用时仍需结合联合控制误差一起看。
硬度尺寸速度阻尼的单项变化是否可复述
物理响应在 3 个留出材料上对 E、L、η、v、κ 逐项做 5 级扫描,每设置每运行 32 个配对噪声输出。硬度与速度看前 30 毫秒攻击质心,尺寸看频率标尺,κ 看 T60,η 看 hc。模型与模拟器对数斜率比理想为 1,模拟器需满足至少两条曲线有效级数、方向校正 Kendallτ 均值、拟合优度与绝对斜率门限才纳入比较。PXS-Physical 速度与 κ 比值分别跨 0.72 到 1.41 与 0.89 到 1.04,6 种材料接触组合中各有 5 组与 4 组达标。图 1 下排曲线即此类扫描的几何平均,模拟器曲线按材料平均。
编码消融在相同训练与输入下比较平滑编码与高频编码在有无直接数值掩码通路时的方向响应,下表报告模型与模拟器对数斜率比,理想为 1,加粗对应 PXS-Physical 所用配置。
| Token features | Direct | Hardness | Size | Damping |
|---|---|---|---|---|
| Smooth | Yes | 0.95 | 0.76 | 0.97 |
| High-freq. | Yes | 1.11 | 0.65 | 0.89 |
| Smooth | No | 0.94 | 0.65 | 0.97 |
| High-freq. | No | 0.20 | 0.19 | 0.25 |
表中平滑编码加直接通路在硬度、尺寸、阻尼上比值为 0.95、0.76 和 0.97,高频编码加直接通路为 1.11、0.65 和 0.89;去掉直接通路后平滑编码为 0.94、0.65 和 0.97,高频编码无直接通路时降到 0.20、0.19 和 0.25,说明保留平滑编码或直接通路之一才能维持硬度与阻尼响应,两者都去掉则响应明显变弱。
与外部零样本生成的对照把输入、时长与处理拉齐:外部数值提示直接填原始 q 不做反演,等级提示把有序目标组映射到从响亮共鸣到完全闷住的五档词;SAO 用 100 步、7 倍引导,TangoFlux 用 50 步、4.5 倍引导,都取 2 秒 4 种子并做带宽与响度匹配。分组排序中 PXS-Physical 敲击 0.976 无缺失,SAO 数值 0.022 缺 3 类、等级 0.278 缺 5 类,TangoFlux 数值负 0.028 缺 17 类、等级 0.100 缺 16 类;持续 12 类上 PXS 为 0.829 无缺失,外部最好约 0.25 且仍有缺失。用预设 2 秒能量窗从 10 秒输出选段的 timing 敏感性测试中,配匹配平板字幕后 SAO 补全 18 类但相关为负,TangoFlux 补全 14 与 10 类。
另 1 对照在 4 个 ObjectFolder 真实物体的 2 个验证位置各选 4 个能量窗输出,30 个有效 SonicGauss 与 32 个 PXS 输出按位置再按物体平均,阻尼误差 0.440 对 0.171 dex,频率误差 0.366 对 0.520 dex,说明 PXS 阻尼占优但频率不如几何条件模型。分布与语义对齐见下表,参考为每 θ 星 16 次独立渲染或真实目标录音。
下表比较各生成器在匹配时长、响度与带宽下的分布距离与语义对齐,同时给出以模拟和真实录音为参考的结果及其限制。
| Generator | FAD Sim. ref. | FAD Real ref. | CLAP Semantic | KL Sim. ref. |
|---|---|---|---|---|
| Simulator | 0.13 | 4.23 | 0.486 | 0.070 |
| Simulator + VAE | 1.13 | 3.62 | 0.456 | 0.436 |
| PXS-Physical | 4.05 | 3.43 | 0.433 | 0.709 |
| PXS-Text | 2.67 | 2.82 | 0.437 | 0.925 |
| SAO q | 4.16 | 2.37 | 0.404 | 2.896 |
| SAO η∗ | 4.10 | 2.40 | 0.415 | 2.865 |
表中以模拟参考计,模拟器本身 Fréchet 音频距离 0.13,加变分自编码器重建升到 1.13,PXS-Physical 为 4.05,PXS-Text 为 2.67;以真实参考计则 PXS 更低。变分自编码器重建把模拟器类中值误差从 0.032 升到 0.047 dex 但降低真实参考距离。CLAP 音频文本余弦与 PANNs softmax 的参考到生成 KL 散度同时给出,SAO 两行的 KL 接近 2.9 奈特,明显高于 PXS 的 0.7 到 0.9,表明外部基线在此协议下分布偏离更大。本表数值与单位依据论文 PDF。
编码与厚度信息拿掉后会发生什么
先看编码方式的消融。平滑指公式 1 的标量加正余弦,高频指 2 的 0 到 7 次幂无标量,直接指值与掩码通路。两运行的模型与模拟器斜率比理想为 1,加粗为 PXS-Physical 所用组合。
| Token features | Direct | Hardness | Size | Damping |
|---|---|---|---|---|
| Smooth | Yes | 0.95 | 0.76 | 0.97 |
| High-freq. | Yes | 1.11 | 0.65 | 0.89 |
| Smooth | No | 0.94 | 0.65 | 0.97 |
| High-freq. | No | 0.20 | 0.19 | 0.25 |
表中平滑加直接在硬度、尺寸、阻尼上为 0.95、0.76、0.97;高频加直接为 1.11、0.65、0.89;平滑无直接为 0.94、0.65、0.97;高频无直接掉到 0.20、0.19、0.25。这支持在训练与输入匹配时,平滑编码或直接通路任留其一可保硬度与阻尼方向,两者都去掉才明显削弱,但尺寸本身比值偏低,提示单看方向不够。
再看阻尼加尺寸的 5 乘 5 网格,η 从 1.7 到 10.8 乘 10 负 3 次方,L 从 0.13 到 0.32 米,在 3 个留出材料上先过模拟器检查:每格 8 输出至少 6 有效、两轴严格单调且覆盖至少 1/2 请求对数范围、两轴在对数阻尼与对数频率标尺上间隔至少 0.05 dex。训练格式字幕写明材料、L、v、E、η,物理输入再加材料常数、h/L 为 0.008 与接触几何。2 维方向斜率比在 0.82 到 0.98 之间,说明方向都对。联合成功要求 4 输出中至少 2 个同时落在两模拟器 8 输出中值的 1.5 倍内,225 个设置运行评估上 PXS-Physical 对 PXS-Text 为 68.0% 对 15.6%,每运行都是前者领先;频率误差 0.126 对 0.372 dex,阻尼误差 0.055 对 0.053 dex 相近。串扰斜率 PXS-Physical 与 PXS-Text 分别为频率对损耗负 0.26 与负 0.33、阻尼对尺寸正 0.34 与正 0.26,模拟器为零与正 0.08。
方向性响应 × 联合目标精度 × 厚度比: 方向性响应指增大输入时输出指标是否同向变化,用模型与模拟器对数斜率之比衡量;联合目标精度指阻尼与频率两个目标同时落在容差内的比例;厚度比 h/L 同时影响公式中的频率与衰减。只看方向会掩盖绝对误差,而控制厚度信息后频率误差下降,说明要同时定准两个声学目标,必须补足决定频率标尺的几何信息。
只遮掉 h/L、固定权重与噪声,成功率每运行都下降,总体到 27.6%,尺寸响应仍有 0.86,误差频率 0.245 dex、阻尼 0.058 dex。用 32 输出模拟器中值重算,在 h/L 为 0.016 与 0.032 的角落与中心设置,给厚度把 1.5 倍联合成功从 51.1% 提到 80.0% 与从 57.8% 提到 95.6%,三运行都有增益。下图即该网格的可视化,对数轴上红蓝箭头分别增大阻尼与尺寸,粗线固定另 1 维在中点,细线为全网格。
看图路径: 1. 先看横轴频率标尺与纵轴实测有效阻尼的对数网格;2. 再沿红色阻尼箭头与蓝色尺寸箭头看两维是否正交展开;3. 比较空心生成点与灰色模拟器点在铝、黄铜、混凝土三块面板的重合度
论文图 2。原论文 Figure 2::“Damping–size grid (log axes). Open points geometrically average PXS-Physical four-output medians over three runs.”。
从像素看,铝、黄铜、混凝土三面板横轴为频率标尺 200 到 800 赫兹、纵轴为实测有效阻尼,空心生成点连成的红蓝折线与灰色模拟器网格走向一致,但个别角落间距压缩,说明方向学到了而绝对位置仍依赖厚度等几何细节。房间文本与尺寸组合在黄铜与混凝土上用 5 尺寸乘干、混响或无文本、η 为 0.04、360 个共享噪声敲击测试,混响对干文本的尾对攻击能量在 80 到 600 毫秒对 0 到 80 毫秒上 30 个比较全升,上下文中值 5.75 到 10.10 分贝,18 个尺寸斜率仍为负,频率标尺偏移正 0.097 到 0.240 dex,说明房间文本提尾响但不翻转尺寸方向。
结论在什么条件下才成立
最强的等效阻尼跟随结论限于敲击 18 类、分组评估与 hc 读数,持续 12 类增益不足 0.3 且有 12.7 倍地板,不能推广到刮擦与滚动的量程覆盖。联合同时命中 1.5 倍的 68% 是在给定厚度比、训练格式字幕与模拟器中值为参照下取得,遮掉 h/L 即掉到 27.6%,换用真实目标或另一衰减定义时绝对一致率会变。
外部基线落后是在 2 秒、4 种子、直接填 q 或五档等级词、无反演的协议下测得,timing 敏感性测试显示换能量窗选段后补全率与相关都会变,因此不能说外部模型无物理响应,只能说在此数值目标协议下排序与补全不如 PXS。SonicGauss 对照限于 4 物体 2 位置的能量选段,频率误差 PXS 更大,说明几何定位仍是短板。分布指标依赖参考选择,以模拟为参考时模拟器最优,以真实为参考时 PXS 更优,变分自编码器重建本身就会推高前者,因此不能单看一个距离下结论。
感知评价未做,响度、音色偏好与影视可用性待验证。
复现第一步要准备什么
复现先按论文的仿真分布重建数据流:2 秒 44.1 千赫平板与条形声,45% 敲击、15% 弹跳、25% 刮擦、15% 滚动,15 维 θ 按文中的对数均匀与材料比例采样,T60 在 0.08 到 0.8 秒对数均匀,长宽比在 1.15 到 1.6 均匀但不输入。模型用 8 层 1 维流 Transformer、Oobleck 变分自编码器冻结、FLAN-T5-large 冻结,按公式 1 做标准化加正余弦与掩码标记,流匹配目标训练 50,000 步、批量 48、3 次 AdamW 运行取滑动平均,采样 50 步欧拉、3 倍引导。
评估要原样实现 hc 读数:8192 点汉恩谱、敲击希尔伯特包络、持续自相关包络、矩形掩码、半带宽与起止门限、有效判据与中值,再按 δ 分组、8 目标、组回归增益与 dex 误差统计。真实目标用同样的读数从 ESC-50、FSD50K、AudioSet、NSynth 与 RealImpact 的指定类测出,经 24 损耗 3 实现的模拟器反演得 η 星,模板固定 0.30 米平板、h/L 为 0.008、κ 为 1。关键超参数是丢弃概率、引导强度与采样步数,信息条件是必须提供 h/L 才能同时定准频率。来源方面,本文未发现完成超文本传输安全协议状态验证的作者资源绑定,不得声称代码、模型或数据已公开;第三方链接只证明论文提到,不证明已开源。
什么时候值得尝试还缺哪项验证
当任务是为游戏、虚拟场景或动画快速探索同一物理设定的替代敲击声,或要把尺寸、硬度、阻尼与房间干湿一起调,且能接受先在仿真里训练、再用反演把真实目标翻译成输入时,值得尝试 PXS-Physical;若只能给文本,则用 PXS-Text 并预期联合精度更低。复现第一步是把仿真、读数 hc 与反演跑通,再训小规模流模型看敲击分组相关是否接近 0.97。还缺的验证是持续声量程压缩的成因、串扰的抑制、不同衰减定义下的容差标定,以及正式听感与影视剪辑可用性测试。只有补上这些,才能把方向对的初步证据变成可部署的双目标交付能力。
📎 论文与评分元数据
排名:前50% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses