📄 从场景标签到场景描述：AVSD-Scenes 如何把听觉与视觉拼成一段话

英文题目：AVSD-Scenes: A Dataset for Audio-Visual Description of Urban Scenes

标签：#音视频理解 | #数据集构建 | #数据集 | #音视频

评分：7.1/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Dhanunjaya Varma Devalraju：机构信息未在 arXiv HTML 中可靠披露
  • Arshdeep Singh：机构信息未在 arXiv HTML 中可靠披露
  • Mark D. Plumbley：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

城市声景理解需要同时输入同步音频与视频并输出刻画事件与交互的自然语言段落，难点在于听觉与视觉线索互补却粒度不一致且缺乏联合标注。作者先用Qwen2-Audio-7B-Instruct与Qwen2.5-VL-7B-Instruct分别从音频和视频抽取时序事件序列与模态专属描述，并以场景标签作为上下文约束避免虚构不可观察意图。再将两路事件与描述连同场景标签送入Qwen3-14B、Mistral-Small-3.2-24B-Instruct-2506与Gemma-3-27B-it进行去冗余与一致性约束的文本级融合，生成约30到60词的统一单段落。与仅描述单模态的已有标注相比，该机制差异在于显式保留时序与重叠事件后再做文本级融合，而非直接对音视频做联合编码，从而在保留视觉对应的同时增强音频对应的语义表示。在TAU Urban Audio-Visual Scenes 2021 development基准下，三模态融合描述的准确率为95.4%，高于纯文本描述的准确率94.5%。该结论仅适用于 10 类欧洲城市场景的开发集划分与基于 CLIP、CLAP 与 ImageBind 的语义相似度体系，尚未验证开放场景与跨城市泛化。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要解决的缺口是什么？

这篇论文的输入是城市环境中同步录制的声音与画面，目标是为每一段声视记录生成一段自然语言的场景描述。研究者使用的底座是 TAU 城市声视场景 2021 年开发集，该集合在 10 个欧洲城市按统一规程采集，每个样本包含一段音频与对应的视觉序列，并附带一个粗粒度场景标签，例如机场或公园。论文要解决的缺口是标签只能说出地点类别，说不出当时发生了什么、声音与画面如何互动。

举例来说，同样标为公园的片段，可能是 1 人骑车经过并伴随鸟鸣，也可能是人群聚集与交通噪声，标签把这些差异抹平了。作者因此提出 AVSD-Scenes，在保留原有声视信号与标签的基础上，为每个样本增补一段融合听觉与视觉的描述。全文报告的数据规模是 12291 段配对描述，生成过程完全自动，不引入新的人工逐句标注。理解这一点很关键，后文所有关于质量与判别力的结论，都是在自动生成、无人工改写的前提下成立的，幻觉与漏检的讨论也由此而来。

已有的音频描述路线为什么不够用？

初学者容易把音频描述理解成给声音加一句话，但已有路线各有边界。第一条路线是人工标注的环境音频描述，代表是 Clotho 与 AudioCaps，前者约 51,000 段环境音频配多人撰写的多句描述，后者约 46,000 对音频文本对。优点是语言质量高，缺点是标注成本限制规模。第二条路线是自动构建的大规模音频语言数据，例如 LAION-Audio-630K、WavCaps 与 AudioSetCaps，它们从 Freesound、BBC 音效库与 AudioSet 等公开资源出发，用语言模型把已有标签或相关文本改写成描述，规模大但主要描述声事件本身。

第三条路线是基于声视数据的自动描述，例如 Auto-ACD 与 Sound-VECaps，依托 AudioSet 与 VGG-Sound，用音频、视觉与语言模型联合生成音频文本对，更关注可见声源对应的事件。与上述路线相比，TAU 城市声视场景数据的特点是按统一规程记录完整城市环境，而不是抓取孤立事件或可见声源。AVSD-Scenes 正好补在这一空位上，它不追求事件级标注，而是为整段城市环境写一段同时包含听觉活动与视觉上下文的场景描述，用于场景理解、检索与多模态生成。区分事件级与场景级，是读懂后文评价指标选择的前提。

从一个公园样本看标签与描述的差别

论文用一个具体样本让差别可感。样本编号为公园在斯德哥尔摩的一段记录，画面显示湿滑路面、残雪草地、木围栏、光秃树木与 1 名穿蓝色夹克背红色背包骑车从左向右经过的人。已有标注只给出一个词，即公园，无法还原动作、声音与环境细节。作者提议的描述则写成一段话，同时交代骑车人的移动与着装、早期鸟鸣、持续嗡鸣声与间歇男声，以及草地、围栏、残雪与树木的空间特征。下面的导读对应论文第一幅示意图，它把同一声视场景的两种表示并置，左侧为原始画面，右上为已有标签，右下为提议的融合描述。

看图路径： 1. 先看左侧真实街景画面中骑车人、雪地与围栏等视觉元素；2. 再对比上方红色虚线框内只有一个词 Park 的已有标注；3. 最后逐句读下方绿色虚线框内对动作、鸟鸣、嗡鸣声与男声的联合描述

原论文 Figure 1：Comparison of AVSD-Scenes descriptions with existing descriptions of an audio-visual scene example…

论文图 1。原论文 Figure 1:：“Comparison of AVSD-Scenes descriptions with existing descriptions of an audio-visual scene example “park-stockholm-246-7354” taken from TAU Urban Audio-Visual Scenes 2021…”。

这幅图值得细读的原因是它定义了全文的质量标准。好的描述不是把音频描述与视觉描述简单拼接，而是把谁在做什么、在什么环境中、伴随什么声音写进同一段落，并保持时序与共现关系。例如鸟鸣在前、嗡鸣持续、男声间歇，这种时间表达来自音频分支；骑车方向与着装、围栏与残雪来自视觉分支。初学者复述时应抓住三要素：环境上下文、主体动作、声音事件及其时间关系，缺一即不算完整的场景描述。论文后文用保真度、事件覆盖与跨模态一致性来量化这三要素，正是对这幅示例的拆解。

两阶段管线如何从声画走到一段话？

整体方法是 2 阶段自动管线。第一阶段分模态独立处理，第二阶段用大语言模型融合。输入是一段音频与一段视觉序列，输出是一段约 30 到 60 词的单段落描述。第一阶段调用指令微调后的基础模型分别阅读声音与画面，产出各自的事件列表与简短描述；第二阶段把两份事件与描述连同融合指令一起交给大语言模型，由它去重、取舍并组织成统一描述。

融合阶段论文实际试了 3 种大语言模型，分别是 Qwen3-14B、Mistral-Small-3.2-24B-Instruct-2506 与 Gemma-3-27B-it，记作 Qwen3、Mistral 与 Gemma，用于比较不同融合器对最终文本的影响。管线图还注明所有模型均以 4 比特正态浮点量化加双重量化与半精度计算加载，以降低推理开销。下面的导读对应论文的管线总览图，沿箭头走一遍即可复现数据流。

看图路径： 1. 先沿左侧音频 A 与视频 V 两条支路看到各自指令与基础模型；2. 再看中间两份事件加描述文档如何汇入右侧大语言模型；3. 最后确认右侧输出只有一个统一描述 DF 及其三种可选融合模型

原论文 Figure 2：Dataset construction pipeline.

论文图 2。原论文 Figure 2:：“Dataset construction pipeline. All the models are loaded using 4-bit NormalFloat quantization with double quantization and FP16 computation for efficient inference.”。

从像素看，这张图分为左右两个色块。左侧黄色虚线框内是第一阶段，上方音频支路经过指令进入粉色模型框，输出一份文档；下方视频支路经过指令进入蓝色模型框，输出另一份文档。右侧橙色大框是第二阶段，框内列出 3 个可选的大语言模型，两个文档与融合指令从左侧汇入，右侧只伸出一根箭头指向最终描述。这种画法强调了两个设计选择。

其一，音频与视觉在第一阶段互不见面，避免互相干扰；其二，融合模型看不到原始波形与像素，只能看到第一阶段的文字产物，因此最终质量受限于分模态描述的准确性。复现时必须保留这一信息瓶颈，不能跳过第一阶段直接把音视频喂给融合模型，否则就不是论文验证过的流程。

第一阶段：分模态事件与描述如何生成？

第一阶段的操作可以按 1 次调用复述。音频侧使用 Qwen2-Audio-7B-Instruct，指令要求识别录音中的声音事件，按时间顺序描述，明确标出重叠事件，并生成一句简洁的总结性标题。视觉侧使用 Qwen2.5-VL-7B-Instruct，指令要求识别可见的物体、人物、动物、车辆与动作，按时间顺序描述，明确标出同时发生的动作，并生成一句简洁的总结；同时要求不推测不可见的意图，遇到无法确认的物体或动作只描述视觉特征。两个指令内部都把场景标签作为上下文信息提供，这一点后文消融会专门拿掉以检验标签泄漏。形式上，音频映射与视觉映射可分别写成函数调用。

\[(E_{A},D_{A})=f_{\mathrm{Qwen2\text{-}Audio}}(A,I_{A}),\]

其中符号含义是直接的。A 表示输入音频，IA 表示音频指令，EA 表示识别出的声音事件，DA 表示音频描述，函数下标表示所用的音频基础模型。下一式是视觉侧的对应写法。

\[(E_{V},D_{V})=f_{\mathrm{Qwen2.5\text{-}VL}}(V,I_{V}).\]

其中 V 表示视觉序列，IV 表示视觉指令，EV 与 DV 分别表示视觉事件与视觉描述。初学者注意，这里的事件不是分类标签，而是按时间组织的短语或句子；描述不是最终场景描述，而是单模态摘要。论文把实现细节、完整提示词与数据统计放在代码仓库，复现时应以仓库中的指令文本为准，不要自行改写时间顺序或重叠事件的要求，否则事件覆盖的评价口径会变化。

音频事件描述 × 视觉事件描述： 音频事件描述负责把录音中的声事件按时间顺序转成文字，包括重叠声与总结性标题；视觉事件描述负责把画面中的物体、人物、车辆与动作按时间顺序转成文字，并被要求不推测不可见意图。二者搭配的理由是城市场景的语义分散在听觉活动与视觉上下文两处，单看一侧会漏掉声源或活动；组合意义是由大语言模型在第二阶段把两份事件与描述对齐去冗余，生成一段约 30 到 60 词的统一场景描述。

第二阶段：三个融合模型如何拼成统一描述？

第二阶段把四份文字产物拼成一段话。输入是音频事件、音频描述、视觉事件、视觉描述与融合指令，输出是最终描述 DF。论文用同一套融合指令分别驱动 Qwen3、Mistral 与 Gemma，得到 3 个版本的 AVSD-Scenes 子集，便于比较融合器的风格差异。指令强调只组合 2 模态中的相关信息，以提供的事件为依据，避免无支撑推断、虚构细节与冗余；场景标签同样作为上下文提供。

长度限制在约 30 到 60 词，以单段落呈现。形式上可写成 1 次大语言模型调用。

\[D_{F}=f_{\mathrm{LLM}}(E_{A},D_{A},E_{V},D_{V},I_{AV}).\]

其中 LLM 下标表示所选的融合模型，IAV 表示融合指令。理解这个公式的关键是信息来源封闭。融合模型没有听到声音也没有看到画面，它能用的证据只有第一阶段的文字，因此任何在第一阶段漏检的声音或误认的物体，都会直接传导到最终描述。后文人类评价中音频保真度低于视觉保真度，部分原因就在于此。复现时若想提升质量，应优先改进第一阶段的事件召回，而不是只调融合指令的措辞。3 种融合器的对比也不是为了选出通用最优，而是为了说明管线对不同规模与系列模型的稳健性，分类与检索的结论需要在 3 个版本上分别成立才可信。

语义对齐 × 跨模态检索： 语义对齐负责度量文本嵌入与音频或视觉嵌入在共享空间中的余弦相似度，反映描述与信号在语义上靠得多近；跨模态检索负责用描述作查询在候选音频或视频中按相似度排序并计算召回率，检验能否找回正确场景。搭配理由是相似度只看平均距离，检索看排序能否在同类场景干扰下命中；组合意义是两者共同证明多模态描述是否同时保留听觉对应与视觉对应，而不是只偏向一侧。

本研究训练了什么，没有训练什么？

本研究没有训练任何新的音频、视觉或语言生成模型，这是一个需要明确的点。Qwen2-Audio、Qwen2.5-VL 以及 3 个融合大语言模型都是现成指令微调模型，论文只调用它们做推理，并以量化方式加载以节省显存，不更新参数，不计算梯度，不存在优化器、学习率与训练轮数的设置。同样，CLIP、CLAP 与 ImageBind 在评价中只作为冻结的特征提取器，用于计算跨模态相似度与检索排序，不参与训练。论文中唯一需要拟合参数的学习环节是下游场景分类所用的支持向量机。

它以音频、视觉与文本嵌入为输入，采用 1 对其余策略与径向基核函数，正则化参数取 10，在预定义的 70% 训练划分上拟合，在 30% 测试划分上评价。这个分类器很轻，目的是检验描述嵌入的判别力，而不是提出新的分类方法。复现时应区分两类计算：描述生成是无训练的模型调用，分类是小规模监督拟合；前者的不确定性来自基础模型的解码与指令理解，后者的不确定性来自划分与核参数，不能把分类准确率高低直接归因于生成模型的参数更新。

评价如何组织，基线与指标是什么？

评价围绕 4 个问题组织。第一，描述与声视信号在语义上对得上吗，用语义对齐与场景级跨模态检索回答。文本侧分别用单模态描述与 3 种多模态描述，音频与视觉侧用冻结模型提取嵌入，相似度用余弦计算，检索用召回率衡量。场景级检索的含义是查询一段描述，能否找回属于正确场景的音频或视频，而不是精确找回同一条记录；实例级检索作为消融另行报告，难度更大。

第二，描述是否保留场景判别信息，用场景分类回答。音频与视觉嵌入来自预训练 L3-Net，每模态 512 维，描述嵌入来自 bert-base-uncased 的分类标记向量 768 维，不同模态按早期拼接融合后送入支持向量机。第三，描述写得好不好，用大语言模型作评判与人工评价回答。前者用 Qwen2.5-14B-Instruct 在 5 分制下对 8 个维度打分，幻觉项分数越高表示无支撑细节越少；后者对 100 个均衡抽样样本的 Mistral 版本按 6 个维度由 4 人独立打分。

第四，描述是否只是复述标签，用去掉标签的对照回答，把 2 阶段指令中的场景标签上下文删去后重走全流程再测分类。

CLIP × CLAP： CLIP 负责提供图像与文本的联合嵌入，用于评价描述与视觉画面的对应；CLAP 负责提供音频与文本的联合嵌入，用于评价描述与声音的对应。搭配理由是 AVSD-Scenes 的描述同时包含听觉与视觉陈述，需要两个不同模态对的编码器分别打分；组合意义是把文本到视觉与文本到音频的成绩平均后，才能判断融合是否补上了音频信息而没有丢掉视觉信息。

下面的整理表把数据规模与划分等可复现条件集中呈现，便于核对实验口径。表中训练与测试比例来自原文对 TAU 开发集预定义划分的说明，描述总数来自摘要与结论的一致报告。

条件数据来源描述总数训练占比测试占比
本文条件TAU 城市声视场景开发集1229170%30%

表后需要说明比较的公平性。同一份声视样本在不同融合器下只差最终文本，音频与视觉嵌入保持不变，因此检索与分类的差异可归因于文本侧。指标方向是相似度与召回率越高越好，分类准确率越高越好，主观分数越高越好，其中幻觉项同样是越高表示虚构越少，不要误读为幻觉越多。论文未报告多次随机种子的方差与显著性检验，这是复现时应补的缺项，尤其在比较 Qwen3、Mistral 与 Gemma 之间百分点差异时。

场景分类 × 早期特征融合： 场景分类负责检验描述嵌入是否保留可区分机场、公园、街道等类别的语义，用支持向量机在固定划分上测准确率；早期特征融合负责把音频、视觉与描述的向量直接拼接成一个长向量再分类。搭配理由是单看描述只能证明文本本身的判别力，拼接才能检验互补性；组合意义是若拼接后准确率继续上升，则说明描述没有完全覆盖声视信号的判别信息，三者各有增量。

LLM 作为评判者 × 人工主观评价： LLM 作为评判者负责用统一量表对全部生成描述在音频保真度、视觉保真度、事件覆盖、幻觉、跨模态一致性、语法、流畅度与总体质量上打分；人工主观评价负责让四名被试在 100 个均衡抽样的样本上对 Mistral 生成结果按六个维度打分。搭配理由是自动评判覆盖量大但可能偏向流畅表达，人工评判量小但更贴近人对声音是否听得见的判断；组合意义是用人工分数校准自动分数，重点看音频保真与幻觉两项是否一致偏低。

多模态描述带来了哪些可验证的增益？

主结果集中在三处。语义对齐上，单模态描述的文本到视觉相似度略高，但多模态描述明显提升文本到音频相似度并基本保持视觉对应，Qwen3 版本的平均相似度在 CLIP 与 CLAP 以及 ImageBind 两套评价下都是最高。场景级检索上，多模态描述的文本到音频检索大幅优于单模态，文本到视觉检索保持高位且两者接近，说明融合补上了音频侧而没有牺牲视觉侧。场景分类上，音频、视觉与声视基线与含描述条件的差距是全文最直观的证据。下面的导读对应分类柱状图，左侧散点显示基线高度，右侧放大柱显示含描述条件的具体数值。

看图路径： 1. 先看横轴从单模态 A、V 到拼接 A 加 V 再到含描述 D 的七组条件；2. 再比较左侧散点中黑色无描述基线与彩色含描述点的高度差；3. 最后读右侧放大柱状图中 Mistral 在 D 与三模态拼接上的具体数值

原论文 Figure 3：SVM-based urban scene classification accuracy for different combinations of audio (A), visual (V)…

论文图 3。原论文 Figure 3:：“SVM-based urban scene classification accuracy for different combinations of audio (A), visual (V), and multimodal description (D) obtained using Qwen3, Mistral, and Gemma models.”。

从像素看，左图横轴 7 组条件从左到右依次为纯音频、纯视觉、声视拼接、纯描述、视觉加描述、音频加描述、3 模态拼接。黑色叉号的 3 个基线明显低于彩色圆点、方块与三角代表的含描述条件。右图放大了后 4 组，蓝色为 Qwen3，橙色为 Mistral，绿色为 Gemma，柱顶标注的数值显示 Mistral 的纯描述与 3 模态拼接最高，分别达到 94.51% 与 95.45% 附近。下面的整理表用原文连续句中的数字保留关键对照，基线三项与描述单模态上限及 3 模态拼接上限分别来自两句原文。

条件音频基线视觉基线声视基线描述单模态上限3 模态拼接上限
原文报告准确率73.14%69.33%82.19%94.5%95.4%

表后应同时看到收益与代价。收益是描述单模态已大幅超过声视拼接基线，3 模态拼接再小幅提升，t-SNE 可视化也显示加入描述后同类样本更聚拢。代价是描述嵌入贡献了大部分判别力，声视嵌入的增量有限，说明分类任务可能被文本中的场景线索主导；此外右图中不同融合器之间存在差异，Gemma 在视觉加描述等组合上偏低，提示融合器选择仍影响最终判别力，不能只报最优版本。论文报告显示多模态描述改善了对齐与检索，同时保留强判别信息，这一表述有分类与检索数字支撑，但仅限场景级语义，不应推广到实例级精确匹配。

拿掉标签与换成实例检索会发生什么？

两个反证实验限定了结论的边界。第一个是实例级检索，即用描述找回同一条而非同类场景的记录。论文报告在 CLAP 文本到音频与 ImageBind 文本到音频及文本到视觉上，3 个融合版本的召回率都很低，文本到音频的 R@1 多在零点几的量级，文本到视觉略高但仍远低于场景级。这支持作者的解释，即描述主要捕获场景级语义，同类样本的声视内容本就相似，精确到条的区分需要 clip 特有细节，而当前 30 到 60 词的通用描述没有提供。

第二个是去掉场景标签的对照，即把第一阶段与第二阶段指令中的标签上下文删去后重走管线再测分类。结果显示描述仍具强判别力，与音频或视觉拼接后仍优于对应基线，但总体低于带标签管线。这说明最终文本的判别力不完全来自标签复述，其中一部分确实来自声视内容本身，但标签确实带来了额外增益。复现时应保留这一双向表述，既不把高分类准确率全部归功于内容理解，也不因去标签后下降就否定内容贡献。

未胜出的细节也值得记录，例如去标签后不同融合器的排序与带标签时不完全一致，提示标签对不同模型的提示效应不同。

哪些边界尚未评测，数字不能说明什么？

论文的局限集中在三处。第一，质量评价显示音频侧弱于视觉侧。Mistral 版本的人工均分在音频保真度、事件覆盖、幻觉与总体上相对偏低，具体为音频保真度 3.51、事件覆盖 3.63、幻觉 3.22、总体 3.36，而视觉保真度 4.14 与流畅度 4.26 较高；大模型评判同样给出语法与流畅度高分、幻觉相对可控但非零的格局。这表明描述读起来通顺、画面对得上，但声音事件的漏检与虚构仍是主要风险，未来工作明确提出要减少幻觉与增强语义接地。下面的整理表用原文连续句保留人工六项均分，单位为 5 分制分数，分数越高越好，其中幻觉项越高表示虚构越少。

条件音频保真度视觉保真度事件覆盖幻觉控制流畅度总体质量
Mistral 人工均分3.514.143.633.224.263.36

表后必须强调不能从自动指标推出人工体验。自动的对齐与检索分数高，不等于人听到的每个声事件都被写对；分类准确率高，不等于描述没有利用标签捷径，去标签实验只是部分缓解而非彻底排除。第二，成本与效率缺项。论文只说明量化加载以高效推理，未报告生成 12291 段描述的总耗时、显存峰值、单条延迟与分类训练时间，复现预算无法直接估计。

第三，统计与泛化缺项。未报告多次运行方差、未在 TAU 之外的城市或设备上验证，t-SNE 的聚拢是定性观察，不能替代跨域测试。相关性不等于因果，总体趋势也不等于每类场景都成立，阅读时应按场景分项核对，而不是只记平均数。

复现先做什么，需要哪些仓库与条件？

复现可按数据、管线、评价 3 步走。数据上，先获取 TAU 城市声视场景 2021 年开发集的音视频与标签，再从作者仓库获取 AVSD-Scenes 的描述文本、代码与评价标准。资源状态是正文开源声明的唯一依据，本次核验的代码、数据集与复现脚本链接均返回可用，地址为作者 GitHub 仓库；第三方资源 Freesound 与 BBC 音效库在原文中作为背景提及，本次同样可达，但不是本数据集的直接输入。

管线上，按仓库中的原始指令文本依次调用 Qwen2-Audio-7B-Instruct 与 Qwen2.5-VL-7B-Instruct 生成事件与单模态描述，再用 Qwen3-14B、Mistral-Small-3.2-24B-Instruct-2506 或 Gemma-3-27B-it 之一按融合指令生成 30 到 60 词单段落描述，加载时保持 4 比特正态浮点量化加双重量化与半精度计算，以对齐原文的推理条件。评价上，用冻结的 CLIP、CLAP 与 ImageBind 计算余弦相似度与场景级召回率，用 L3-Net 与 bert-base-uncased 提取拼接特征并以正则化参数为 10 的径向基支持向量机在 70% 与 30% 划分上训练测试，用 Qwen2.5-14B-Instruct 按 8 维 5 分制复刻自动评判，并抽样 100 条做人工核查。

先跑通单融合器全链路再扩展到三融合器对比，可以更快定位是分模态漏检还是融合改写引入的问题。

何时值得尝试，还需补哪项验证？

当任务需要用一句话同时讲清环境、动作与声音，并且下游涉及按文本找回场景或按语义分类场景时，这套管线值得尝试。它的价值在于把分散在 2 模态的证据收拢成一段可检索、可分类的文本，且在 3 个融合器上都显示出对音频侧的补充作用。反之，当任务要求精确找回同一条记录、或对声音事件的时间边界与类别精度要求极高时，当前描述并不合适，实例级检索的低召回已经给出警示。复现后建议补三项验证。

其一，按场景分项报告分类与检索，避免平均数掩盖困难类别；其二，多次运行并报告方差，尤其在比较融合器之间百分点差异时；其三，对音频保真度与幻觉做细粒度错误分析，区分漏检、误认与融合虚构，以便决定是改进第一阶段还是约束第二阶段。回到最初的问题，城市场景理解不只是给片段贴一个地点词，而是把看得见的上下文与听得见的活动写成可核查的陈述，AVSD-Scenes 提供了一种可复现的自动写法，但其可信度仍需放在具体场景与具体声音上一句一句核对。

📎 论文与评分元数据

排名：前50% | 文档类型：数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-10-02 语音/音乐/音频论文速递