英文题目：FineLAP: Taming Heterogeneous Supervision for Fine-grained Language-Audio Pretraining
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.473
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#对比学习 #音频分类 #音频检索 #音频事件检测
评分：8.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前25% | 文档类型：方法研究
👥 作者与机构
- Xiquan Li：机构信息未能从会议 PDF 纯文本可靠映射
- Xuenan Xu：机构信息未能从会议 PDF 纯文本可靠映射
- Ziyang Ma：机构信息未能从会议 PDF 纯文本可靠映射
- Wenxi Chen：机构信息未能从会议 PDF 纯文本可靠映射
- Haolin He：机构信息未能从会议 PDF 纯文本可靠映射
- Qiuqiang Kong：机构信息未能从会议 PDF 纯文本可靠映射
- Xie Chen：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
该工作处理开放词汇细粒度音频语言对齐，输入为十秒音频与自然语言标题和短语，输出要求同时给出片段级语义匹配与帧级事件起止位置，难点在于帧级标注稀缺且长尾事件难以穷举，同时粗细两种粒度目标在共享空间中容易相互干扰导致细节丢失。方法链分为四步，首先利用自监督音频编码器同时提取全局音频特征与稠密时频特征，为后续多粒度对齐提供统一表征基础。其次通过解耦适配器分别投影到共享语义空间，其中轻量分支保留整体语义而表达力更强的分支建模时序依赖，使两类表示互不挤占。然后以片段级成对损失对齐音频整体表示与标题表示，学习可迁移的粗粒度跨模态关联。最后以帧级成对损失对齐稠密帧表示与短语表示，并用基于语义聚类的负采样补充跨簇负短语，增强对未见事件的细粒度判别能力。与仅依赖全局批量归一化对比学习的已有语言音频预训练方法相比，关键机制差异在于采用独立成对的双流目标避免归一化竞争，使异构监督相互补充并保留时序细节。在AudioCaps评测集下，FineLAP文本到音频检索指标R@1为45.7，高于Cacophony的41.0。该结论适用边界受限于固定时长与中等密度事件假设，对变长音频密集重叠与长程依赖等场景尚未验证，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 数据相关资源：https://freesound.org/ — 链接可访问（HTTP 200）
- 数据相关资源：https://sound-effects.bbcrewind.co.uk — 链接可访问（HTTP 200）
- 数据相关资源：https://soundbible.com — 暂时无法访问
- 第三方资源：https://github.com/fgnt/sed_scores_eval — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么初学者容易低估时间定位？
这篇论文研究的是语言音频预训练中的细粒度对齐。输入是两类东西，一类是音频，论文统一裁剪或补齐到 10 秒，另一类是文本，包括描述整段音频的一句话，以及描述短暂声事件的短语。
输出也是两类，片段级输出回答整段音频与哪句话最匹配，用于检索与分类。帧级输出回答每 1 帧与每个短语是否对应，用于声音事件检测与文本到音频定位。
初学者容易把这件事理解为只要整段对上描述就行，因为常见对比学习只要求片段级相似度高。但原文强调大多数训练样本只有片段级描述，而帧级标注昂贵稀少。若只学片段级，模型不知道事件在何时开始结束，也难以处理重叠事件。
论文因此把训练数据写成每条音频附带一句描述，再附带可能为空的短语集合与帧级二值标签。空集合表示该样本不参与帧级监督，这种表示直接决定了后续需要异构监督。
复述时要记住数据规模，论文报告收集 210 万无帧标注的音频描述对，以及 20.1 万有强时间标注的样本。后者包括公开强标注集与自建合成集，理解这个不平衡才能理解负采样与合成数据的动机。
同输入同目标的路线有哪些，FineLAP 与它们在监督上如何区分？
按同输入同目标划分，相关路线可分为 3 组。第一组是只用全局监督的对比语言音频预训练，例如 LAION-CLAP 与 HTSAT-BERT 等，论文表格将其监督标注为仅全局。
它们擅长检索与分类，但缺乏显式时间定位。第二组是显式支持帧级对齐的方法，包括 FLAM 与 PEA-Frame 等，其中两者直接用帧级监督训练。
第 3 组是声音事件检测专用系统，分为闭词表与开词表，例如基于 BEATs 编码器的预训练检测模型，以及在 AudioSet-Strong 上训练的开放词表检测模型。它们优化检测精度，但一般不做开放文本检索。
FineLAP 的定位仍是对比语言音频预训练，训练量为 220 万片段，同时使用全局与帧监督。它与第一组的区别是有无帧级目标，与第二组的区别在于解耦适配器与双流损失加聚类负采样的组合。
它与第 3 组的区别在于保持开放词表，即检测时可用任意短语查询，而不必局限于训练时的固定类别。这种分类不是谁替代谁，而是监督粒度和运行阶段不同，后文比较必须保留这些条件差异。
异构监督带来哪两个具体困难？
第一个困难是标注形态不一致。片段级样本只有一句话，没有时间信息，帧级样本则有多个短语与每帧 0 或 1 标签。直接混训会出现部分样本缺失帧标签与短语数量不一的问题。
若对每条音频只用其自带正短语，模型见到的负例太少，难以区分语义相近的事件。第二个困难是表示需求冲突，片段级任务需要整段语义的紧凑表示，帧级任务需要保留时间分辨率的稠密表示。
若共用同一个投影器，两种需求会互相牵制。论文用实验说明这种牵制真实存在，后文消融中去掉细粒度适配器后检索与检测同时下降。
片段级监督 × 帧级监督： 片段级监督分工是给整段音频配一句描述，只说明出现过什么，不说明何时出现；帧级监督分工是给每个时间帧标注某个短语是否发声，说明何时起止。两者搭配的原因是前者数据量大易获得语义覆盖，后者稀少但提供时间定位，组合意义在于用前者稳定语义空间，用后者把语义落到时间轴，FineLAP 因此需要两条损失同时优化。
沿一个样本走一遍有助于建立依赖。取一条 10 秒音频与其描述，再假设它有狗叫与煎炸声两个正短语及其帧标签。理想训练要同时完成整段与描述对齐，以及每 1 帧与短语分别对齐。
还要让该音频远离语义无关的负短语。若负短语恰好是同义不同写法的变体而被误作负例，就会引入噪声，这正是聚类采样要解决的问题。
FineLAP 全景：一条样本如何走完输入到两个损失？
FineLAP 全景可按输入到输出的主路径复述。音频侧用 EAT 编码器把梅尔谱切块并加入分类标记，输出一个全局表示与一组稠密帧特征。文本侧用 RoBERTa 对整句描述与每个短语分别编码。
再经轻量全局文本投影器映射到共享空间。音频侧则走解耦的两条路，全局特征经两层线性得到向量，稠密特征先按频率池化并线性映射。随后经两层 Transformer 精炼时序得到帧序列。
随后进入双流监督，片段级用全局音频向量与描述向量算余弦相似度，帧级用每帧向量与每个短语向量算相似度。训练目标是两者之和，同时优化粗细对齐。
推理时按任务取不同分支，检索分类用全局分支，检测定位用帧分支计算相似度再阈值化。下面这张总览图把左右两部分放在一起，左侧讲不同任务取不同分支，右侧讲异构监督如何汇入两个损失，阅读时先看主路径再看监督汇入点。
看图路径： 1. 先沿右侧音频批量与文本批量箭头看编码器到投影器的主路径；2. 再比较中间片段级矩阵与右侧帧级立方体的监督位置差异；3. 核对左侧解耦适配器中全局与细粒度分支各连接哪类下游任务
论文图 3。原论文 Figure 3：“Overview of FineLAP. Left: The decoupled adapter enables simultaneous clip- and frame-level under- standing.”。
看完图后应能复述关键分叉。音频编码器之后立即分叉为全局与稠密特征，文本编码器之后分叉为描述特征与短语特征，但文本投影器是共享的轻量设计。损失侧中间是片段级矩阵，右侧是帧级立方体。
短语侧有来自短语库的聚类负采样虚线，且帧级损失明确标注只用于有帧标注的数据。这种只对部分数据启用帧损失的设计，就是异构监督在实现上的落点。
编码器与解耦适配器各自做了什么计算？
音频编码器采用 EAT，原文说明其用自监督的语句帧目标与逆块掩码策略训练，在多种下游任务上优于先前编码器。计算上它把波形转梅尔谱并切成时间与频率 2 维的不重叠块。
与新增的分类标记一起送入主干 Transformer，最终输出对应分类标记的全局表示，以及保留时间与频率维度的稠密特征。文本塔采用 RoBERTa，不做局部建模，只做全局语义理解。
对描述或短语输出整体特征后再经两层线性构成的全局文本投影器映射。解耦音频适配器是核心结构选择，全局分支为两层线性，细粒度分支为线性加两层 Transformer。
原文称这种非对称设计容纳了片段语义抽取与帧级时序建模的不同需求。
全局投影器 × 细粒度投影器： 全局投影器分工是把分类标记对应的整段表示经两层线性映射到图文共享空间，服务检索与分类；细粒度投影器分工是把按频率池化后的帧序列先线性映射再经两层 Transformer 精炼时序依赖，服务检测与定位。搭配原因是两种特征的语义粒度和时序需求不同，组合意义是避免同一投影在粗细任务间折中，使两类表示各有专用通路。
损失侧的设计同样需要先走完计算目标再谈公式。片段级 Sigmoid 损失对批量内每对音频与描述计算余弦相似度，匹配对标签为 1 否则为负 1。经可学习的温度与偏置缩放后做独立逻辑损失。
它与常用 InfoNCE 的区别在于不做批量归一化，每对独立判断，这与帧级多标签判断保持一致。
Sigmoid 损失 × InfoNCE 损失： Sigmoid 损失分工是对每个音频文本对独立做二分类，不做全局归一化；InfoNCE 损失分工是在一批内做归一化竞争，一个正样本要压过所有负样本。搭配比较的原因是 FineLAP 的帧级目标天然是多标签独立判断，组合意义在于统一片段与帧为同族独立对损失，使优化更稳定并保留细粒度信息，消融显示 Sigmoid 在检测与分类上更占优。
总目标是两项之和，原文明确写出相加形式，实验称两者互相增强。
\[LTotal = LGlobal + LLocal\]读到此处应能区分原始目标与实现细节。原始目标是粗细同时对齐，近似是都用独立对的 Sigmoid 形式而非全局竞争，实现是温度与偏置可学习。
原文未给出梯度截断或冻结编码器的说明，因此复述时不应断言哪部分冻结，只说投影器与精炼层参与多粒度对齐学习。
EAT 音频编码器 × RoBERTa 文本编码器： EAT 音频编码器分工是把波形转梅尔谱并切块，用 Transformer 输出一个全局表示和一组稠密帧特征，承担声学多粒度表示；RoBERTa 文本编码器分工是只做全局语义理解，对整句描述或短事件短语输出整体特征。搭配原因是音频需要时间定位而文本不需要局部建模，组合意义是声学侧保留时间轴、文本侧保持轻量，再由各自投影器对齐到同一维度。
教学例子是帮助理解的例子。设批量为 4，每条音频对应一句描述，则片段级要判断 16 对是否匹配。帧级若每条有 20 个短语与每秒多帧，则要判断每帧与每个短语是否对应，两者都是独立二分类。
帧级负采样与合成数据管线如何一步步构造监督？
帧级训练的第一步是训练前收集全部短语构成短语库，并把每个短语映射到预定义语义簇。簇中心初始化自 AudioSet-Strong 本体，因其音乐描述过粗，论文又并入乐器标签并用大语言模型精炼扩展。
最终得到 494 个簇与 600 多个替代表述，再用 Sentence-BERT 按余弦最近分配每个短语。训练时对每条有正短语的音频，先求其正短语诱导的正簇集合，负簇为全集减去正簇。
由此得到候选负短语池，再从中采样足够数量使每条音频的短语总数达到固定值。负短语对应的帧标签全置零，论文把完整采样记为附录算法。
目标是保证每样本有足够真负例，并利用簇内多样性提升开放词表泛化。
异构监督 × 基于聚类的负短语采样： 异构监督分工是指同时利用 210 万无帧标注的音频描述对和 20.1 万有强时间标注的样本；基于聚类的负短语采样分工是为只有少量正短语的音频补足真负短语，避免把同义不同写法的短语误作负例。搭配原因是帧标注稀缺且短语长尾，组合意义是先按语义簇排除正簇再采样负短语，使每条音频都有固定 20 个短语的稠密监督，支撑开放词表泛化。
第二条构造线是 FineLAP-100k 合成检测数据。先从 FSD50K 中选单事件标注片段，计算能量包络并按滑动窗口以负 20 分贝阈值找非静音区。合并连续窗口并取首段连续高能量段，只保留 1 秒到 7.5 秒的片段。
共得到 19775 段干净单事件，背景从环境声录音切成 10 秒不重叠段，共 1765 段。随机混合时先取一段背景，再随机取 1 到 5 个前景事件，短于 3 秒的随机重复。
随机放在 10 秒时间轴上，每个前景独立采样 12 分贝到 20 分贝信噪比并按背景幅度缩放后混合。再用规则加语言模型模板拼接事件短语生成片段描述。下图展示了能量包络裁剪的直观依据，横轴为时间，纵轴为能量，红绿虚线标出截取边界。
看图路径： 1. 先看每幅子图蓝色对数能量包络随时间的变化形态；2. 再核对红色起始线与绿色结束线截出的高能量段位置；3. 比较长段与短段在阈值上下的保留与切除差异
论文图 6。原论文 Figure 6：“Visualization of the proposed window-based audio clipping strategy”。
该图包含 4 个子图，分别对应不同时长与能量形态的原始片段。可见高能量事件段被保留，低能量静音段被切除，截取后的首段连续高能量部分即作为前景事件。像素不能精确读出每段秒数，不应硬写未标注的数值。
训练超参数按原文交代，训练 10 轮，批量 1024，学习率 5 乘 10 的负 5 次方，余弦退火加 1000 步热身。每样本短语数 20，嵌入维度 1024，温度与偏置均初始化为 10 与负 10。
音频统一到 10 秒，资源可达性需要如实记录。论文脚注给出 3 个音频来源链接，本次核对显示 Freesound 当前可用，BBC 音效库当前可用。
SoundBible 本次未能确认可达，评估脚本的第三方仓库当前可用。合成管线依赖的背景与前景来源应按此状态引用。
\[initialized as t = t′ = 10 and b = b′ = −10,\]该公式给出温度与偏置的初始化取值，复述时只说初始化为给定常数。原文未说明编码器是否冻结，因此不推定冻结或全量微调，只记录投影器与适配器参与学习。
训练与评测条件是什么，指标方向如何读？
训练数据分为无帧标注与有帧标注两部分。无帧标注包括 AudioSetCaps 与 WavCaps 等 4 组描述数据，有帧标注包括 AudioSet-Strong 与 DESED-Strong 等 3 组公开强标注。
再加自建 FineLAP-100k，评测分为片段与帧两类。片段级用 AudioCaps 与 Clotho 测试集的召回率，方向为越高越好，分类用固定模板句子套类别名。
在 ESC-50 与 UrbanSound8K 等 3 组数据上报准确率。帧级在 AudioSet-Strong 与 DESED 等 3 组数据上用 PSDS1，在 AudioGrounding 上用 PSDS2021。
方向同样越高越好，论文说明遵循先前工作的标准 PSDS 协议。并对类别多且不平衡的 AudioSet-Strong 去掉方差惩罚，基线覆盖全局监督的对比模型。
还包括带帧目标的同族方法，以及检测专用的闭词表与开词表系统。表格中标注了各自训练量与监督类型，复述比较时必须同时核对数据集与指标。
数值相同不代表同一指标，特别要注意 Clotho 为变长音频。FineLAP 按固定 10 秒训练与评测，原文明确把 Clotho 增益较小归因于这种失配。
并把变长支持留作未来工作，这是理解检索结果差异的关键条件。
主结果在检索检测分类上分别支持什么判断？
先看检测主结果，它是细粒度是否学到的直接证据。下表比较的问题是在相同开放评测下谁的时间定位更准，公平条件是各方法在各自报告的编码器与训练下按标准 PSDS 评测，指标方向为越高越好。
表中四列均为检测定位分数，覆盖家庭场景与开放词表定位等不同标签空间。
| Methods | DESED | AS-SL | USED | TAG prehensive taxonomy covering a wide range of |
|---|---|---|---|---|
| HTSAT-BERT (Mei et al., 2024) | 0.131 | 0.284 | 0.016 | 0.344 |
| MGA-CLAP (Li et al., 2024b) | 0.264 | 0.354 | 0.087 | 0.487 |
| FineLAP (Ours) | 0.344 | 0.474 | 0.446 | 0.649 |
表后解释需要同时讲收益与代价。FineLAP 在四列分别取得 0.344 与 0.474 等领先分数，报告显示全面领先只用全局监督的基线，也超过带帧目标的同族方法。支持的判断是帧级监督对时间定位不可或缺，且异构同训学到的表示可迁移到不同标签空间。
代价与边界是这仍是固定阈值与固定长度下的结果，可视化用 0.5 阈值得到最终标签。长尾与重叠密集场景的稳定性未被该表完全刻画，需要结合单样本图理解。
分类结果回答表示是否退化为只会定位。下表比较的问题是全局语义是否保持，条件是同一模板零样本分类，指标为准确率越高越好，覆盖环境声与大规模音频分类。
| Methods | ESC-50 | US8K | VGGSound |
|---|---|---|---|
| LAION-CLAP (Wu et al., 2023) | 91.0 | 77.0 | 29.1 |
| HTSAT-BERT (Mei et al., 2024) | 94.8 | 80.6 | 29.6 |
| Cacophony (Zhu et al., 2024) | 93.4 | 77.1 | 27.0 |
| MGA-CLAP (Li et al., 2024b) | 94.9 | 83.7 | 31.8 |
| FLAM (Wu et al., 2025) | 86.9 | 75.6 | 39.3 |
| FineLAP (Ours) | 93.9 | 84.9 | 31.5 |
表后应指出未胜出项。FineLAP 在 UrbanSound8K 达 84.9 为最佳，在 ESC-50 为 93.9 接近最佳，在 VGGSound 为 31.5 处于中游。而同族方法在 VGGSound 达 39.3 明显更高，这说明 FineLAP 没有以牺牲分类换检测。
但在 VGGSound 这类分布上并非全胜，不能推广为所有分类都最优。检索的雷达图提供跨任务包络的直观对照，阅读时先看轴定义再看包络开口。尤其注意下半区检测轴的拉开幅度与上半区检索轴的贴近程度，该图外圈共 10 个轴。
看图路径： 1. 先确认雷达图外圈十个轴分别为检索分类与检测任务；2. 比较蓝色 FineLAP 包络与橙灰绿三条基线在下半区检测轴上的开口差距；3. 再看上半区 AudioCaps 与左上分类轴上各方法的贴近程度
论文图 1。原论文 Figure 1：“FineLAP’s performance across different benchmark datasets: Our model achieves state-of-the- art (SOTA) results on both clip- and frame-level tasks.”。
该雷达图显示蓝色 FineLAP 包络在下方检测轴上明显外扩，在上方 AudioCaps 检索轴上也保持外侧。橙色与灰色基线在检测轴上收缩较多，在检索轴上相对贴近，绿色基线整体更靠内。
图后解释要结合数字。AudioCaps 上 FineLAP 的 R@1 为文本到音频 45.7 与音频到文本 62.5，报告为最佳且领先幅度清晰。Clotho 上为 18.9 与 26.6，与现有最优基本持平，支持的判断是全局对齐有效。
限制是 Clotho 变长失配可能压制增益。单样本的帧级可视化进一步显示模型能同时跟踪持续长事件与间断短事件，该图自上而下为语谱与真值等四排。
看图路径： 1. 自上而下确认四排面板为语谱图真值相似度分数与 0.5 阈值后预测；2. 横向对照持续存在的煎炸声长条与间断出现的碗碟声短块；3. 检查预测排与真值排在起止边界上的对齐与漏检位置
论文图 2。原论文 Figure 2：“FineLAP effectively leverages the fine-grained alignment between audio frames and textual phrases to detect temporal boundaries of overlapping events.”。
该图横轴为 0 到 10 秒，可见煎炸声整段为黄条，碗碟声为多段短黄块。预测排基本复现了这种长短叠加结构，说明帧与短语相似度确实学到了边界。
像素不能精确读出每帧分数，不应硬写具体数值，只报告边界对齐的定性观察。这组图与表格共同支持细粒度对齐有效的判断。
拿掉哪部分会怎样，合成数据与结构选择贡献多少？
消融围绕 3 个问题组织。第一是异构监督是否互补，去掉帧级损失只用片段监督时，定位指标大幅下降，检索分类也同步下降。第二是去掉片段损失只用帧标注时，检索分类崩塌，定位也小幅下降。
第三是合成数据与结构选择。下表把关键消融数字放在同一视图，比较时注意每行只改一处，其余条件保持一致，指标方向均为越高越好。
| 条件 | 指标 | 完整模型 | 消融后 | 比较对象 |
|---|---|---|---|---|
| 去帧损失 | DESED | 0.344 | 0.021 | 同协议检测 |
| 去帧损失 | UrbanSED | 0.446 | 0.000 | 同协议检测 |
| 去片段损失 | AC-T2A | 45.7 | 4.9 | 同检索 R@1 |
| 去片段损失 | AC-A2T | 62.5 | 6.2 | 同检索 R@1 |
| 去片段损失 | AS-SL | 0.474 | 0.451 | 同协议检测 |
表后要讲清可运行策略的取舍。完整 FineLAP 是实际可部署的组合，去帧与去片段均为反证而非可部署改进。去帧导致定位崩塌，去片段导致检索崩塌，两者共同支持互补性判断。
Sigmoid 与 InfoNCE 对比显示两者检索接近，但 Sigmoid 在检测与分类上更好。结构上去掉细粒度适配器改用单一全局投影器，检索与检测同时下降，定位基准下降最明显。
把 EAT 换成 HTS-AT 同样全面下降。下表把检索与合成数据的关键数字整理为五列，便于核对全局与定位的联动，数字均来自正文连续原句的逐字证据。
| 条件 | 指标 | 完整模型 | 对照值 | 比较对象 |
|---|---|---|---|---|
| AudioCaps | T2A R@1 | 45.7 | 领先基线 | 可运行检索 |
| AudioCaps | A2T R@1 | 62.5 | 领先基线 | 可运行检索 |
| Clotho | T2A R@1 | 18.9 | 持平最优 | 可运行检索 |
| Clotho | A2T R@1 | 26.6 | 持平最优 | 可运行检索 |
| 去合成 | UrbanSED | 0.446 | 0.154 | 同协议检测 |
表后补充未评测边界。去掉合成后 UrbanSED 大跌而 AudioSet-Strong 变化较小，原文假设为合成分布与目标集在标签粒度与声源上的差异。聚类短语数从 10 增到 25 时检测持续提升，30 时略降。
主实验取 20 以平衡性能与计算。细粒度投影器用 Transformer 优于循环与线性，支持非对称设计的结论。但长音频与密集重叠等任务不在本次评测内。
不能从现有消融推广到这些场景，这是必须保留的反例与边界。
哪些结论不能下，哪些条件缺失？
论文明确列出两点局限。第一是不显式支持变长或长音频建模，时间分辨率与输入长度受底层音频编码器约束，主要面向短中长度片段。
这限制了在密集重叠与长程依赖的长时检测上的适用性。第二是帧级评测主要集中在声音事件检测，时序问答与时序增强检索等任务未纳入。
缺失证据不应视为技术错误，但相关性不是因果。训练资源只报告轮数批量与学习率，未报告硬件时长与显存，推理开销与实际延迟也未测量。
因此不能承诺延迟或成本改善。合成数据的标签体系与事件粒度与目标集存在差异，总体趋势不等于每组都成立。
引用图注或正文时应明确归因，不猜测像素中无法辨别的曲线数值或模块位置。凡未测量的误判率与延迟只记为待验证，不写入收益结论。
要复现应先固定什么，再跑哪组对照？
复现先固定数据与评测口径。按原文收集 4 组无帧描述数据与 3 组公开强标注加自建合成集，注意 Freesound 与 BBC 音效库当前可用。
SoundBible 本次未能确认可达，背景环境声与前景单事件的来源状态会影响合成复刻。评估脚本用公开仓库的标准 PSDS 协议，AudioSet-Strong 按原文去掉方差惩罚。
DESED 等保持原文阈值参数，可视化用 0.5 阈值。模型侧固定 EAT 与 RoBERTa、嵌入维度 1024 与每样本短语数 20。
温度 10 与偏置负 10、10 秒输入与 10 轮批量 1024 的训练配置也要固定。先跑完整版得到 AudioCaps 与 Clotho 等多组基线数字，再跑 3 组最小反证。
包括去帧损失与去片段损失等，每组只改一处并保持优化步数可比。若资源有限，优先跑去帧与去合成两组，因为它们分别对应定位崩塌与 UrbanSED 大跌。
最能验证异构监督与合成管线的必要性。记录时区分直接报告与有限解释，凡未测量的延迟显存与误判率只记为待验证。
何时值得尝试 FineLAP，何时应换路线？
当任务同时需要整段语义与时间定位，且手头有大量描述对加少量强标注时，值得尝试这种双流同训。解耦适配器的适用条件是声学侧确有两个粒度需求。
若下游只有检索分类，细粒度分支的收益可能有限。当音频为变长或长时密集重叠，且延迟预算严格时，应优先补变长建模与开销测量。
而非直接照搬固定 10 秒配置。当目标分布与合成源差异大时，应先小规模验证合成增益在目标集上是否成立，再决定是否扩大合成比例。
对初学者而言，可复述的方法链是单样本走完编码器分叉与投影器分叉，再经双损失求和。用聚类负采样解释开放词表泛化，用消融数字解释互补性。
最终判断保留原文措辞的强度，报告显示检测与 AudioCaps 检索领先，Clotho 持平。分类部分领先部分持平，合成与结构消融支持各自贡献，但长音频与更广时序任务仍待验证。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses