简单输入画不准、精细能量难手绘：AudioSketch 如何调制出有语义的时间能量

英文题目：AUDIOSKETCH: CONTROLLABLE IMAGE-TO-AUDIO GENERATION VIA SEMANTIC-TEMPORAL ENERGY MODULATION

会议身份：conference:eusipco:2026:conference-paper-id:0000391

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #多模态学习 #音视频 #音频生成

评分：5.7/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.2/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Lee, Jihyun：机构信息未能从会议 PDF 纯文本可靠映射
• Li, Jiahao：机构信息未能从会议 PDF 纯文本可靠映射
• Chung, Woojin：机构信息未能从会议 PDF 纯文本可靠映射
• Lu, Yan：机构信息未能从会议 PDF 纯文本可靠映射
• Kang, Hong-Goo：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

图像到音频（Image-to-Audio，I2A）生成需从单帧图像推断语义合理且时序自然的声音，难点是一对多映射与用户时间控制的易用性和表现力难以兼顾。本文提出AudioSketch，三阶段流水线为：图像到音频映射器把剪辑对比预训练（Contrastive Language-Image Pre-training，CLIP）图像特征投影到对比语言音频预训练（Contrastive Language-Audio Pretraining，CLAP）音频嵌入空间以复用预训练音频潜在扩散模型（AudioLDM）；控制网络（ControlNet）分支注入能量轨迹约束响度时序；能量调制器以扩张卷积结合图像语义嵌入把二值时间戳转化为平滑精炼均方根（Root Mean Square，RMS）能量。与直接用粗糙时间戳或频域对数梅尔均值的方法不同，该设计把语义理解放在控制信号整形阶段而非仅放在扩散条件阶段。在视觉声音（VisualSound）评测上，无能量控制版本弗雷歇距离（Fréchet Distance，FD）为16.21，优于视觉到音频映射器（V2A-Mapper）的17.11，同时库尔贝克-莱布勒散度（Kullback-Leibler Divergence，KL）为1.48，感知分数（Inception Score，IS）为12.41，均居表1最优。该结论仅在10秒开域Foley类片段和单关键帧条件下验证，对长时复杂场景与自由手绘能量的泛化尚未证明。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://audiosketchdemopage.github.io — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么、要输出什么、为什么单看图像不够？

输入是一张单帧关键帧图像加一段用户给定的能量引导，目标是生成一段 10 秒左右的音频波形，中间经过梅尔频谱图与潜扩散生成再声码还原。输出必须同时满足两点，听起来自然且与图像语义一致，响度起落与用户意图的时间结构一致。必须保留的信息包括数据集划分与关键帧采样方式、3 个训练阶段的监督来源、能量表示的计算域与后处理、评价指标方向与主结果数字。

任务难点在于 1 对多映射。同一张街景图可以对应车流声也可以对应人声喧哗，单靠图像无法锁定用户想要的时序与事件。论文把响度随时间变化的能量轨迹单独拿出来做控制，因为它同时管时间结构与语义线索。时间结构指何时响、何时静、起振多快，语义线索指不同声源的包络衰减形态不同。

举例说明，例子：用户希望狗在第二秒叫两声，能量上就是两个凸起，模型据此安排事件位置与强度。再如狗吠与机关枪虽都是瞬态，但衰减与延续特性完全不同，只给类别词不够，还需要包络形状。这种双重作用是后文同时报告音质、语义一致性与时间对齐的原因。

同输入同目标的已有路线如何处理响度控制？

与本文同输入同目标的工作是图像到音频生成。代表路线包括直接学习视觉到听觉映射的 Im2Wav、连接基础模型的轻量映射方案 V2A-Mapper、开放域扩散对齐方案 Seeing and Hearing。它们都回答从单图生成开放域声音的问题，区别在如何建立跨模态对齐与保留生成先验。AudioSketch 继承轻量映射加冻结文本到音频主干的思路，并以 AudioLDM 为骨干与其中一个基线对齐以保证公平。

在响度控制维度，已有工作覆盖从低层结构到高层抽象的光谱。波形形状与旋律属于时变结构控制，音色属于抽象属性控制，时间戳与起振点属于稀疏事件控制，对数梅尔均值属于与生成域对齐的稠密控制。论文指出已有设计要么过于简单，要么过于复杂，且初始能量信号的作用未被系统评估。教学上可以理解为稀疏控制好指定但信息少，稠密控制信息多但难指定。

与视频到音频的 Foley 合成相比，本文只用单帧而非视频流，因此运动与同步线索更少，更依赖能量轨迹补足时序。与音乐多时变控制相比，本文聚焦单一能量通道，但强调其语义结构，即能量形状本身携带声源类别信息。这种定位决定了后文实验要同时看分布距离、语义分与起振准确率，而不是只看音质。

问题如何形式化、评测要回答哪三个问题？

形式化上，设图像为单帧关键帧，期望音频为 10 秒片段。模型先把图像映射为音频文本共享嵌入，再以该嵌入与精炼能量表示为条件，用潜扩散生成梅尔频谱图。精炼能量记为原始能量经均值方差归一化、平滑与非线性后的版本。推理时用户只给简单时间戳，系统经调制器补全为精炼能量，再送入 ControlNet 分支。

评测围绕 3 个问题组织。第一，无能量控制时，图像到音频的基本映射能力是否达到主流水平，用分布与多样性指标回答。第二，不同能量表示在音质、语义一致性与时间对齐之间如何权衡，哪种结构最平衡。第三，能量调制器能否把简单输入变为有效表示，语义条件是否必要，主观听感是否改善。每一问都有对应基线与条件一致性要求，不能跨条件直接比大小。

需要提前说明的边界是，时间对齐的客观指标起振准确率依赖在谱表示上运行的起振检测算法，这天然偏向与谱域对齐的能量表示。论文明确讨论了这一点，因此后文既看客观起振分数，也看主观时间对齐评分，避免单一指标误导。总体趋势不等于每一样本都成立。

三段流水线如何从一张图走到可控声音？

跟着一个样本走完全程有助于建立依赖顺序。取 VisualSound 中一个 10 秒片段，训练时按与全片段平均 CLIP 嵌入相似度选出 1 帧关键帧作为视觉输入。第一步，CLIP 图像编码器输出视觉特征，轻量多层感知机映射器把它投影到 CLAP 音频嵌入空间，目标是对应音频的嵌入。第二步，训练好的 ControlNet 分支接收精炼能量，与图像到音频嵌入一起条件化 AudioLDM 去噪过程，生成梅尔频谱图并声码为波形。

第三步是推理时的用户路径。用户只画零一时间戳表达何时有声，能量调制器在图像到音频嵌入的语义加持下，把它扩展为精炼能量，再送入第二步的受控生成器。3 个阶段按顺序训练，职责分离，映射解决跨模态对齐，受控生成解决时序可控，调制解决用户友好与表达力的鸿沟。先有映射才有语义嵌入，先有受控生成才有调制目标，这个顺序不能颠倒。

资源状态方面，论文声明音频样例在演示页可听。本次收到的官方资源证据显示演示页当前可用，状态码为 200，可以作为听感核对入口。但本文的数字结论仍以论文正文表格为准，不用听感代替指标。演示可用不代表代码与权重已公开，复现仍需另找代码。

图像到音频映射器做了什么计算？

该组件的输入是 CLIP 图像嵌入，输出是与 CLAP 音频嵌入同维的向量，目标是对应真实音频的 CLAP 音频嵌入。实现是 4 层多层感知机，参数量小。优化目标是等权重的两项之和，一项是逐维绝对误差约束数值接近，另一项是余弦相似度最大化约束方向一致。两项互补，前者管幅度，后者管语义方向。

为什么选这个共享空间。因为所用文本到音频骨干原本就以联合编码文本与听觉语义的嵌入为条件，把视觉特征投影到同一空间即可复用其条件接口，无需改动主干。这样做的好处是训练开销小且保留预训练保真度，代价是映射质量上限受两种表征差距制约。论文未报告主干是否更新与梯度路径细节，复述时只说映射器被优化，不推定主干冻结与否。

图像到音频映射 × 文本到音频扩散模型： 图像到音频映射负责把 CLIP 图像嵌入投影到 CLAP 音频嵌入所在的共享空间，解决视觉特征无法直接作为音频条件的问题；文本到音频扩散模型负责在该嵌入条件下生成梅尔频谱图并还原波形，保留预训练的高保真与泛化能力；二者搭配的理由是复用已有的强大音频先验，只训练 4 层感知机即可打通跨模态接口，组合意义是以最小训练开销得到图像条件音频生成的底座。

从可复述角度，关键是 4 层结构与等权重损失。若要复现，先固定 AudioLDM 与 CLIP、CLAP 的具体版本，抽取配对特征，再训练该映射器至验证集分布指标稳定，然后再进入受控生成阶段。版本不一致会导致嵌入接口对不上，这是常见的复现失败点。

能量表示有哪些选项、精炼步骤是什么？

能量线索按计算域分为两类。一类在时频域，沿频率轴平均对数梅尔谱值，优点是与生成目标梅尔谱空间对齐。另一类在时域，直接对波形短窗求均方根值，优点是无需时频变换，直接反映响度。两类原始轨迹都有短时抖动与噪声，因此多数先验工作会加平滑，本文用 Savitzky-Golay 滤波器。为稳定训练，先对原始能量做均值方差归一化得到尺度不变轨迹。

再经平滑、加一并经 Softplus 映射到正值区间，得到最终精炼表示。符号含义是原始能量、其均值标准差、归一化轨迹、平滑算子与 Softplus 非线性，计算目标是有界、平滑且与用户输入范围兼容的能量。教学例子：持续 3 秒的流水声能量是宽而平的隆起，断续敲门声是窄而高的脉冲。平滑决定脉冲是否被抹平，归一化决定整体响度尺度是否被抹去。

ControlNet × 能量轨迹： ControlNet 负责复制扩散去噪器编码器并训练辅助分支以注入结构化条件，保持主分支的生成质量与多样性；能量轨迹负责刻画响度随时间的变化与事件包络形状，提供细粒度时序引导；搭配理由是把原用于图像空间控制的范式平移到音频时间轴，用能量约束粗时序而不破坏预训练分布，组合意义是实现起落可控且波形仍自然的受控生成。

均方根能量 × 对数梅尔均值能量： 均方根能量负责直接对波形短窗求有效值，反映真实响度且无需时频变换；对数梅尔均值能量负责沿频率轴平均对数梅尔谱，与生成目标的梅尔谱空间对齐；搭配比较的原因是二者计算域与复杂度不同，对音质语义与起振对齐的影响相反，组合意义是通过对照选出兼顾三者的目标表示，即加平滑与归一化的均方根版本。

平滑滤波 × 标准化与 Softplus： 平滑滤波负责用 Savitzky-Golay 滤波器抑制原始能量的短时抖动，抽出跨样本共享的包络分布；标准化与 Softplus 负责先减均值除标准差得到尺度不变轨迹，再经平滑加一后映射到正值区间，保证数值稳定有界；搭配原因是原始复杂能量噪声大且与用户输入范围失配，组合意义是得到兼容用户输入又保留表达力的精炼能量，作为调制器的训练目标。

论文后文用对照说明，平滑通常提升泛化与语义一致性，归一化提升音质与语义但可能损失时间保真度，因此需要按域分别选择。复述时要保留这种按域讨论，不能笼统说平滑总是有益。

能量调制器如何把简单输入变复杂？

推理时的现实输入是约束范围内的简单能量，例如归一化到零到一的二值时间戳。它与训练 ControlNet 时见到的精炼能量分布失配，直接送入会导致质量下降或不自然。调制器的任务就是学一个映射，把简单轨迹变为富有表达力且兼容的表示。输入是用户时间戳，条件是图像到音频嵌入经特征相加注入，输出是逼近目标精炼能量的轨迹。

实现是 6 层空洞卷积堆叠，兼顾局部细节与长程依赖，例如补全事件拖尾与衰减。语义条件的必要性来自能量即语义的观察，同样是高电平段，狗吠的衰减与引擎轰鸣的持续形态不同，只有知道图像中是什么，才能把二值高电平扩展为正确的包络。消融中去掉语义嵌入后时间对齐明显退化，支持这一设计。

能量调制器 × 图像到音频嵌入： 能量调制器负责把归一化到零到一的简单时间戳转换为与 ControlNet 期望兼容的精细能量，由 6 层空洞卷积捕捉局部与长程依赖；图像到音频嵌入负责提供声源类别与典型衰减形态的高级语义上下文；搭配原因是能量包络本身携带语义，同样高电平对应不同拖尾，组合意义是通过特征相加注入语义，使二值输入能扩展为有语义的自然包络。

从流水线看，调制器是连接用户与 ControlNet 的适配层。它不直接生成音频，只生成更好的控制信号，再由受控生成器生成音频。这种分工使简单输入的易用性与复杂表示的高质量得以兼得。论文未给出卷积核与膨胀率逐层取值，复现时需按开源代码补齐，不自行假设。

三个阶段各优化什么、监督从哪里来？

第一阶段训练图像到音频映射器。监督来自配对数据的 CLAP 音频嵌入，损失是等权重的绝对误差与余弦相似度组合。输入是关键帧的 CLIP 嵌入，输出对齐到对应音频的嵌入。该阶段只解决跨模态投影，不涉及扩散去噪。评估以验证集上的对齐与后续生成指标为准。

第二阶段训练 ControlNet。监督是标准扩散损失，条件是第一阶段得到的图像到音频嵌入与从目标音频提取的精炼能量。做法是复制扩散去噪器中的编码器为可训练分支，学习跟随粗时序结构，同时保留原预训练模型的生成质量与多样性。能量在此作为时序响度引导，控制生成过程的起落。

第 3 阶段训练能量调制器。监督是调制后能量与目标能量之间的绝对误差，条件是图像到音频嵌入。此时受控生成器已训练好，调制器学习把时间戳映射到论文选定的最优表示，即加平滑与归一化的均方根版本。论文未报告优化器类型、学习率、批量大小与训练轮数等细节，这是复现缺项，需要查代码补足，不能从模型名推定。

数据、采样、指标与主观评测条件是什么？

数据用 VisualSound，它是 VGGSound 中按视听相关性筛选的子集。训练集 77210 段，评测集 5423 段，每段 10 秒。训练时每段随机采样 1 帧关键帧，候选帧中选与全片段平均 CLIP 嵌入相似度高的帧，以保证视觉代表性。音频骨干为预训练 AudioLDM，与基线之一版本对齐以保证公平。映射器为 4 层感知机，调制器为 6 层空洞卷积。

客观指标分 3 组。音质与多样性用弗雷歇距离、音频弗雷歇距离、库尔贝克散度与 Inception 分数，方向分别是越低越好、越低越好、越低越好、越高越好。语义相关用 ImageBind 分数，越高越好，衡量输入图像与生成音频的语义一致性。时间对齐用起振准确率，从生成与参考音频提取起振事件后计算，越高越好。

主观评测用平均意见分，维度为整体质量、与图像语义相关性、与能量引导的时间对齐，每维 1 到 5 分，15 名有经验评分者，每模型评 20 份样本。公平性上，无控制比较只测基本映射能力，能量表示比较固定同一受控框架只换能量输入，调制器比较固定输入为时间戳只换是否调制与是否加语义。不同指标差值不能混放，也不能把自动分布指标当成人评。

无控制时基本映射能力是否达到主流水平？

要回答基本能力问题，需要在同一评测集上比较无能量控制的 AudioSketch 与 3 个同任务基线。公平条件是同为单图到音频的开放域生成，骨干与评测划分一致。指标方向为弗雷歇距离越低越好、音频弗雷歇距离越低越好、库尔贝克散度越低越好、Inception 分数越高越好、图像音频语义分越高越好。

表中可见 AudioSketch 在弗雷歇距离、库尔贝克散度与 Inception 分数上为最好，音频弗雷歇距离与语义分接近最好。具体代价是语义分未超过 Seeing and Hearing，说明在该绑定指标上仍有差距。论文的判断是整体映射能力强，能把视觉内容有效转为音频表征。复述时要限定为无控制阶段的结论，不能推广到受控生成阶段。未胜出项是 Seeing and Hearing 语义分最高但其音质分布距离最差，呈现音质与语义的不同权衡。

哪种能量结构最平衡、代价在哪里？

要回答能量结构问题，需要固定受控框架，只换输入能量表示，比较音质加语义加起振准确率。公平条件是同一 ControlNet 训练范式与同一评测集，只改变能量计算域与是否平滑归一化。指标方向与上节一致，起振对齐率越高越好。对数梅尔族与均方根族的对照是本节核心。

主要收益是均方根族在音质与语义上明显优于对数梅尔族，支持波形导出能量更适合高质量图像到音频生成。对数梅尔族在起振准确率上更高，论文解释为其与生成域梅尔谱对齐且起振检测本身在谱域运行。在对数梅尔域内，平滑提升泛化与音质语义，归一化提升音质语义但损失时间保真。在均方根域内，平滑与归一化对使模型成为可控系统必不可少。

论文据此选定加平滑与归一化的均方根为调制目标，视为平衡音质、语义与中等起振准确率的上限，而排除原始均方根与其仅平滑版本，因其起振准确率过低。反例是二值时间戳在长事件上易在一到零处生硬截断，并在长零区间误生成，主观时间对齐反而是最优表示更好，不能只看客观起振分数。

调制器与语义条件各自带来什么、拿掉什么会变差？

要回答调制器问题，需要固定输入为时间戳，比较无调制、有调制无语义、有调制有语义三档，训练目标均为最优均方根表示。公平条件是输入同为用户友好的时间戳，输出都走同一受控生成器，只改变是否经过调制器与是否注入语义。客观指标方向不变，主观 3 维均越高越好。

解释需要区分客观分布指标与主观听感。论文报告，有语义的调制器在音频弗雷歇距离与库尔贝克散度上改善音质，保持语义分可比，并达到与最优表示可比的时间同步。去掉语义条件则时间对齐明显退化，证实语义对把二值信息转为有效能量必不可少。主观上，经语义调制的时间戳在 3 维上全面优于原始时间戳，并与最优表示相当。

未胜出与冲突点是有语义调制的客观弗雷歇距离并未最好，无语义版本反而在部分分布指标上更低，但其时间对齐与主观自然度更差，说明不能单看分布距离选模型。未评测边界包括调制器对非二值手绘连续能量的泛化，以及不同声源类别上的分组效果，论文未分组报告，总体趋势不推广到每类。

哪些结论有限、哪些量没有被测量？

直接报告的是在 VisualSound 固定划分与单帧采样下的分布指标、语义分、起振准确率与小样本主观分。有限解释是均方根最优表示为平衡选择，以及语义条件对时间对齐的帮助，这些有对照支持，但仍受起振算法偏向谱域的影响。时间戳的客观起振高分部分来自评测与目标生成用同一检测算法的红利。待验证的是调制后能量在开放手绘输入与长尾声源上的稳定性。

未测量的量包括训练与推理开销、延迟、输出帧率与实际部署成本。论文给出网络层数与 3 阶段流程，但未报告参数量、浮点运算量、训练时长、硬件型号与推理耗时，因此不能承诺更快或更便宜。主观评测仅 15 人 20 份样本，样本量小，结论应表述为在该评测条件下显示改善，而非普遍听感定论。相关性不等于因果，例如平滑与音质提升相关，但未证明对所有声源都因果成立。

另一个边界是单帧输入丢失运动信息，快速动作的精细同步可能不足，能量只能补响度起落，不能补方向与速度。复述时应明确这些缺项是信息不足，而非技术错误。补验证需要增加按类别分组、按事件时长分组与延迟测量，才能从论文条件推广到实际创作工具。

要复现先做什么、需要哪些版本与检查点？

先按学习依赖准备三样东西。第一，数据与采样，按 VisualSound 训练七万余段与评测五千余段划分，每段 10 秒，训练时按与平均 CLIP 嵌入相似度选关键帧，记录随机种子与帧索引以保证可比。第二，骨干与特征版本，固定 AudioLDM、CLIP 图像编码器、CLAP 音频编码器的具体版本与权重，因为映射目标与条件接口都依赖它们。第三，3 阶段检查点，依次训练 4 层感知机映射器、ControlNet 受控分支、6 层空洞卷积调制器，每阶段保存验证指标，避免联合训练混淆归因。

再核对能量计算细节。均方根的窗长与跳长、Savitzky-Golay 滤波器窗长与多项式阶数、归一化是按整段还是按窗、Softplus 前加一的数值稳定性处理，都需与代码一致。调制器训练的目标必须是用同一后处理得到的最优均方根表示，输入为同一时间戳生成规则，否则 ControlNet 期望分布对不上。评测时同时跑客观六项与主观 3 维，主观需固定评分者指南与样本集，不能用自动指标代替人评。

代码与权重方面，论文正文只给出演示页链接，本次资源证据显示该页当前可用，可用于听感核对，但复现仍需等待或查找作者发布的训练代码与检查点。若只有演示而无代码，应先复现特征抽取与能量后处理，再用公开 AudioLDM 与 ControlNet 模板搭建受控分支，最后补调制器。缺失的学习率与优化器设置需在复现报告中明确标注为待补项，不自行编造。

何时值得尝试、如何一句话记住它？

当任务是单图配音且用户能给出粗时间意图时值得尝试，例如为静态插画配两声犬吠、为产品图配一段持续水流声。做法是先用图像映射锁定语义，再让用户画零一时间戳表达何时有声，最后经语义调制器扩展为自然包络后生成。若用户能直接提供准确精细能量，可跳过调制直接用最优表示控制。若输入是视频而非单图，则应优先考虑带运动同步的视频到音频方案，而非本文单帧路线。

一句话记住它是把难画的精细能量留给模型学，把好画的简单时间戳留给用户画，中间用语义补全衰减形态。它的强证据是无控制映射的多项分布指标领先与调制后主观 3 维改善，主要代价是对后处理选择敏感且客观起振与主观对齐并不完全一致。后续验证应补按声源与事件时长分组、按手绘风格分组的对照。

以及训练推理成本与延迟测量，才能从论文条件推广到实际创作工具。初学者复述时应先讲 1 对多与能量双重作用，再讲 3 段流水线与能量对照，最后讲调制器语义必要性，避免把分布指标改善直接说成听感必然改善。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 2 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总