ICASSP 2026 - 音频检索 论文列表

ICASSP 2026 - 音频检索 共 11 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 GLAP: General Contrastive Audio-Text Pretraining Across Doma 8.5分 前25% 🥈 CASTELLA: Long Audio Dataset with Captions and Temporal Boun 8.5分 前25% 🥉 WavLink: Compact Audio–Text Embeddings with a Global Whisper 8.0分 前25% 4. SLAP: Scalable Language-Audio Pretraining with Variable-Dura 8.0分 前25% 5. AUDIOCARDS: Structured Metadata Improves Audio Language Mode 7.5分 前50% 6. Automatic Music Sample Identification with Multi-Track Contr 7.5分 前25% 7. Contrastive Timbre Representations for Musical Instrument An 7.5分 前25% 8. BEST-STD 2.0: Balanced and Efficient Speech Tokenizer for Sp 7.5分 前25% 9. EchoRAG: A Two-Stage Framework for Audio-Text Retrieval and 7.5分 前25% 10. Scalable Evaluation for Audio Identification Via Synthetic L 7.0分 前25% 11. Do Speech LLMs Learn Crossmodal Embedding Spaces? 6.5分 前50% 📋 论文详情 🥇 GLAP: General Contrastive Audio-Text Pretraining Across Domains and Languages 🔥 8.5/10 | 前25% | #音频检索 | #对比学习 #预训练 | #对比学习 #预训练 ...

2026-04-29

Leveraging Whisper Embeddings For Audio-Based Lyrics Matching

📄 Leveraging Whisper Embeddings For Audio-Based Lyrics Matching #音频检索 #音乐信息检索 #对比学习 #Whisper #多语言 ✅ 7.0/10 | 前50% | #音乐信息检索 | #对比学习 | #音频检索 #Whisper 学术质量 5.0/7 | 选题价值 1.0/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者:Eleonora Mancini(博洛尼亚大学,DISI) 通讯作者:未说明 作者列表:Eleonora Mancini(博洛尼亚大学,DISI)、Joan Serrà(Sony AI)、Paolo Torroni(博洛尼亚大学,DISI)、Yuki Mitsufuji(Sony AI, Sony Group Corporation) 💡 毒舌点评 亮点在于将“可复现性”作为核心卖点并切实执行,在音乐信息检索领域提供了第一个透明的歌词匹配端到端管线,这对建立公平的学术比较至关重要。短板则是其核心技术创新略显不足,本质上是将现有的优秀组件(Whisper、Transformer、对比学习)进行有效组装,缺少对歌词语义表征学习本身更深入的建模或理论分析。 📌 核心摘要 解决的问题:现有的基于音频的歌词匹配方法面临可复现性差、基线不一致、依赖文本转录或复杂流程等问题,阻碍了公平比较和领域发展。 方法核心:提出WEALY(Whisper Embeddings for Audio-based LYrics matching),一个端到端的、可复现的管线。其核心是直接从原始音频中提取Whisper解码器的隐状态(歌词感知嵌入),然后通过一个轻量级Transformer编码器和广义均值(GeM)池化,将其映射为紧凑的向量表示,并使用对比学习(NT-Xent损失)在音乐版本识别(MVI)任务上训练。 与已有方法相比新在哪里:主要创新不在于提出全新的模型架构,而在于:a) 完全摒弃了文本转录步骤,直接从音频特征中学习歌词表征;b) 提供了从代码到模型检查点的完全透明、可复现的实现;c) 在多个数据集上建立了标准化的歌词匹配基线;d) 通过消融研究系统分析了损失函数、池化策略、多语言能力等关键设计选择。 主要实验结果:WEALY在三个数据集(DVI, SHS, LYC)上均显著优于基于转录文本(TF-IDF, ASR-SBERT)和简单平均嵌入的基线。例如,在SHS数据集上,WEALY的MAP为0.640,而最强的文本基线ASR-SBERT-Cosine仅为0.508。消融研究表明,NT-Xent损失优于三元组损失和CLEWS损失;GeM池化优于简单平均;保留Whisper的多语言能力比强制英语解码性能更高(0.640 vs 0.578)。初步的多模态融合实验(WEALY+CLEWS)在SHS上达到了0.912 MAP,超越了单一模态的最佳性能。 实际意义:为音乐信息检索、版权检测、音乐发现等应用提供了一个可靠、开源的歌词匹配工具和研究基准,推动了该领域的可复现研究。 主要局限性:a) 核心方法组合创新性有限;b) 作为代理任务的MVI与纯粹的歌词匹配任务可能存在差距;c) 尽管多模态融合效果好,但歌词匹配本身的性能仍低于纯音频内容模型(如CLEWS的0.876 MAP)。 🏗️ 模型架构 WEALY采用一个两阶段的管线架构,如图1所示: ...

2026-04-29

MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models

📄 MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models #基准测试 #模型评估 #多模态模型 #跨模态 #音频检索 ✅ 7.5/10 | 前25% | #基准测试 | #模型评估 | #多模态模型 #跨模态 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Haohang Huang (Eastern Institute of Technology, Ningbo) 通讯作者:Rui Meng (Google AI Research) 作者列表:Haohang Huang¹, Xuan Lu¹², Mingyi Su⁴, Xuan Zhang⁵, Ziyan Jiang⁶, Ping Nie⁴, Kai Zou⁷, Tomas Pfister³, Wenhu Chen⁴, Wei Zhang (未说明), Xiaoyu Shen¹, Rui Meng³ ¹Eastern Institute of Technology, Ningbo ²Shanghai Jiao Tong University ³Google AI Research ⁴University of Waterloo ⁵NUS (National University of Singapore) ⁶UCSB (University of California, Santa Barbara) ⁷Netmind.ai 💡 毒舌点评 亮点: 论文敏锐地指出了当前多模态嵌入模型在“指令约束模态”这一实际应用中的关键缺陷,并构建了一个覆盖音频、智能体任务的庞大基准(MMEB-V3)和精巧的诊断数据集(OmniSET)来系统性验证这一问题,研究动机扎实,分析深入。 短板: 本文的核心贡献是一个“评测基准”和“诊断分析”,而非提出一个新的多模态嵌入模型或解决该问题的创新算法,这使其更像一篇扎实的“系统工程与分析”论文,而非突破性的“方法创新”论文。 ...

2026-04-29

MusiCRS: Benchmarking Audio-Centric Conversational Recommendation

📄 MusiCRS: Benchmarking Audio-Centric Conversational Recommendation #音乐推荐 #多模态模型 #基准测试 #音频检索 ✅ 7.5/10 | 前25% | #音乐推荐 | #多模态模型 | #基准测试 #音频检索 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:未说明(作者列表无顺序指示) 通讯作者:未说明 作者列表:Rohan Surana(University of California, San Diego, USA)、Amit Namburi(University of California, San Diego, USA)、Gagan Mundada(University of California, San Diego, USA)、Abhay Lal(University of California, San Diego, USA)、Zachary Novack(University of California, San Diego, USA)、Julian McAuley(University of California, San Diego, USA)、Junda Wu(University of California, San Diego, USA) 💡 毒舌点评 亮点:本文提出的MusiCRS基准,是首个系统性地将真实Reddit音乐对话与可访问的音频片段(YouTube链接)对齐的工作,填补了音乐对话推荐评估中“对话”与“音频”同时缺失的空白,实验设计严谨,对比维度(模态、流派)清晰。 短板:论文最核心的发现(多模态组合性能常不如单模态)更像一个值得深究的“问题揭示”而非“方案贡献”,且477个对话的规模对于支撑一个健壮的基准来说略显单薄,部分生成模型的Ranking结果与检索模型的差距暗示了任务定义与模型范式可能存在错配。 ...

2026-04-29

Scalable Evaluation for Audio Identification Via Synthetic Latent Fingerprint Generation

📄 Scalable Evaluation for Audio Identification Via Synthetic Latent Fingerprint Generation #音频检索 #流匹配 #扩散模型 #数据集 #模型评估 ✅ 7.0/10 | 前25% | #音频检索 | #流匹配 | #扩散模型 #数据集 学术质量 6.0/7 | 选题价值 0.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Aditya Bhattacharjee(Queen Mary University of London, School of Electronic Engineering and Computer Science) 通讯作者:未说明 作者列表:Aditya Bhattacharjee(Queen Mary University of London)、Marco Pasini(Queen Mary University of London)、Emmanouil Benetos(Queen Mary University of London) 💡 毒舌点评 亮点: 这篇论文巧妙地将生成模型用于“元评估”,即评估评估工具本身,为缺乏大规模公共音乐数据的领域提供了一个优雅且高效的基准测试框架。短板: 该方法本质上是“以假乱真”,其有效性完全依赖于对特定预训练指纹模型分布的拟合,论文并未严格证明其生成的指纹能迁移到完全不同的指纹系统或模拟复杂的“真实世界”干扰分布(如流行度偏差、元数据噪声等)。 ...

2026-04-29

Separate this, and all of these Things Around It: Music Source Separation Via Hyperellipsoidal Queries

📄 Separate this, and all of these Things Around It: Music Source Separation Via Hyperellipsoidal Queries #音乐分离 #音频检索 #零样本 #少样本 #信号处理 ✅ 7.0/10 | 前25% | #音乐分离 | #音频检索 | #零样本 #少样本 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Karn N. Watcharasupat(佐治亚理工学院音乐信息学组) 通讯作者:未说明 作者列表:Karn N. Watcharasupat(佐治亚理工学院音乐信息学组)、Alexander Lerch(佐治亚理工学院音乐信息学组) 💡 毒舌点评 亮点:论文将“用几何形状圈定目标”这一优雅直觉成功转化为音乐源分离的模型输入,让“我想分离‘这个声音以及它周围所有类似的玩意儿’”这样的模糊创意需求变得可计算,思路非常漂亮且具扩展性。 短板:然而,论文的“灵活性”很大程度上停留在理论设计层面,其训练仍完全依赖于监督学习下的固定茎干数据集,这使得实际能分离的“任意目标”依然受限于训练数据的分布,用户界面上的“自由绘制超椭球”体验可能远不如想象中流畅。 📌 核心摘要 要解决什么问题:传统音乐源分离(MSS)系统通常只能提取预设的固定类别(如人声、鼓、贝斯、其他),限制了其在创意音乐制作中的灵活性。论文旨在构建一个能根据用户查询,提取任意单一或复合目标声音的分离系统。 方法核心是什么:提出“基于超椭球体查询的区域查询”范式。用户通过在预训练音频嵌入空间(如PaSST)中指定一个超椭球体的中心(代表目标)和形状(代表目标的“范围”或“相似度容差”),来描述要提取的声音。模型(在作者前作Banquet基础上扩展)通过FiLM条件模块接收该查询,并从混合音频中分离出所有嵌入落在该超椭球体内的声源。 与已有方法相比新在哪里:从“点查询”升级为“区域查询”。之前的查询式分离方法(如Banquet)只能通过一个点(单个示例的嵌入)来指定目标,无法控制查询的宽泛程度。本工作引入超椭球体,允许用户直观地控制目标的“位置”和“扩散范围”,支持从非常具体到宽泛的连续查询,是首个系统化实现音乐源分离中区域查询的工作。 主要实验结果如何:在MoisesDB数据集上进行评估。 单源查询:通过遍历不同尺度因子α,发现模型性能对查询宽度敏感。采用最佳α后,本方法在长尾乐器(如管风琴、合成器、铜管、簧片)上的性能(中位SNR)显著优于前作Banquet,解决了其输出坍塌问题(如图4所示)。在MUSDB18-HQ上,对人声、贝斯、鼓的中位SNR分别为8.5 dB、6.8 dB、3.0 dB。 多源查询:系统性能随目标源占混合源比例的增加而提升(如图5、6所示)。整体检索指标为:平均精度(AP)0.83,加权mAP 0.86,准确率0.76,F1值0.81(见表1)。 检索评估:论文创新性地提出一种基于最小二乘投影的近似检索评估方法,将分离输出视为检索结果,并计算准确率、召回率、mAP等指标。 实际意义是什么:为专业音乐人、混音师和普通用户提供了一种更灵活、更接近自然语言描述的音频分离工具。例如,用户可以分离“所有钢琴独奏片段”或“贝斯和鼓的节奏部分”,而不仅仅是固定的茎干,极大扩展了MSS在创意工作流中的应用潜力。 主要局限性是什么: 训练依赖监督数据:模型的灵活性受限于训练数据中提供的声音类别和组合。对于训练集中从未共同出现过的声音组合,超椭球查询的泛化能力未经验证。 查询设计依赖嵌入空间:查询的有效性高度依赖于PaSST嵌入空间的质量,其PCA降维可能损失了部分区分信息。 开源缺失:未提供代码和预训练模型,难以验证和复现。 🏗️ 模型架构 论文描述的整体系统架构是一个经典的基于时频掩膜的音源分离网络,但在其瓶颈层引入了基于查询的条件适应机制。 ...

2026-04-29

Shared Representation Learning for Reference-Guided Targeted Sound Detection

📄 Shared Representation Learning for Reference-Guided Targeted Sound Detection #音频事件检测 #多任务学习 #预训练 #音频检索 🔥 8.5/10 | 前25% | #音频事件检测 | #多任务学习 | #预训练 #音频检索 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者:Shubham Gupta(印度理工学院海得拉巴分校,语音信息与处理实验室) 通讯作者:K. S. Rama Murty(ksrm@ee.iith.ac.in,印度理工学院海得拉巴分校) 作者列表:Shubham Gupta(印度理工学院海得拉巴分校,语音信息与处理实验室),Adarsh Arigala(印度理工学院海得拉巴分校,语音信息与处理实验室),B. R. Dilleswari(RGUKT R.K. Valley),K. S. Rama Murty(印度理工学院海得拉巴分校,语音信息与处理实验室)。*号表示贡献均等。 💡 毒舌点评 亮点:提出将双分支参考/混合编码器统一为单一ConvNeXt编码器的思路清晰有效,不仅简化了架构,还在URBAN-SED上取得了显著的性能提升(~7%相对增益),证明了共享表示学习对特征对齐的有效性。 短板:论文的核心验证基于一个合成且规模不大的数据集(URBAN-SED),尽管有跨域评估,但现实世界复杂声学场景下的泛化能力仍待更强有力的证明。此外,任务本身(给定参考检测特定声音)的通用性和影响力相比语音分离、生成等任务略显狭窄。 📌 核心摘要 问题:传统声事件检测(SED)需对所有预定义类别进行标签,而目标声检测(TSD)旨在根据一个参考音频片段,在更长且可能嘈杂的混合音频中检测并定位特定目标声音,这更符合人类选择性听觉注意的特性,也更利于处理未见类别和减少标注依赖。 方法核心:提出一个统一的编码器框架。使用单一的预训练ConvNeXt网络,同时处理参考音频和混合音频,将它们映射到一个共享的表示空间。随后通过融合模块(如逐元素乘法、FiLM、交叉注意力)结合两者的特征,并接入BiGRU进行时序建模。 创新点:与之前需要两个独立编码器分支(一个处理参考,一个处理混合)的方法相比,该统一设计降低了模型复杂度,增强了参考与混合音频特征的对齐,并提升了对未见类别的泛化能力。同时,系统性地评估了多种特征融合策略。 主要结果:在URBAN-SED数据集上,该方法达到了83.15%的片段级F1分数和95.17%的准确率,显著超越了TSDNet(76.3% F1)等基线,建立了新的SOTA。消融实验表明统一编码器优于双分支设计。在AudioSet-Strong的跨域评估中,模型仍取得了76.62%的F1分数。 实际意义:该模型可用于智能助手、多媒体检索、安防监控等需要根据用户指定声音进行检索的场景,具有实际应用潜力。 主要局限性:评估主要依赖于合成的、类别有限的URBAN-SED数据集。虽然引入了负面样本(Strong+)评估,但任务难度增加后性能下降(F1降至78.94%),表明在更现实的查询场景下模型仍有挑战。对极短或高度噪声的参考音频的鲁棒性未深入探讨。 实验结果关键数据表: 方法 片段级 F1 (%) 准确率 (%) 数据集 Multi-Branch [21] 61.60 未提供 Urban-TSD-Strong CDur [1]* 64.75 90.03 Urban-TSD-Strong CTrans [19] 65.14 未提供 Urban-TSD-Strong TSDNet [11]* 76.3 90.77 Urban-TSD-Strong 本文方法 (Unified) 83.15 95.17 Urban-TSD-Strong 编码器设计 骨干网络 片段级 F1 (%) 准确率 (%) Dual-branch CNN14 71.19 91.27 Unified CNN14 74.20 91.66 Dual-branch ConvNeXt 80.38 93.81 Unified ConvNeXt 83.15 95.17 🏗️ 模型架构 图1: pdf-image-page2-idx0] (图1:模型架构概览。包含共享的ConvNeXt编码器、融合模块、BiGRU时序建模层和多任务损失输出。) ...

2026-04-29

SLAP: Scalable Language-Audio Pretraining with Variable-Duration Audio and Multi-Objective Training

📄 SLAP: Scalable Language-Audio Pretraining with Variable-Duration Audio and Multi-Objective Training #音频检索 #音频分类 #多模态模型 #预训练 #对比学习 🔥 8.0/10 | 前25% | #音频检索 | #预训练 | #音频分类 #多模态模型 学术质量 6.0/7 | 选题价值 1.8/2 | 复现加成 0.2 | 置信度 高 👥 作者与机构 第一作者:Xinhao Mei(Meta) 通讯作者:未说明 作者列表:Xinhao Mei(Meta)、Gael Le Lan(Meta)、Haohe Liu(Meta)、Zhaoheng Ni(Meta)、Varun Nagaraja(Meta)、Yang Liu(Meta)、Yangyang Shi(Meta)、Vikas Chandra(Meta) 💡 毒舌点评 SLAP在CLAP的“变长音频处理”和“单阶段多目标训练”两个痛点上给出了工程与学术结合得相当漂亮的方案,尤其序列打包技巧很实用。但宣称的“109M数据”优势建立在未公开的私有数据集上,这削弱了其结论的可复现性和说服力,让后续研究者难以直接验证或跟进其“规模至上”的逻辑。 📌 核心摘要 要解决什么问题:当前对比语言-音频预训练(CLAP)模型存在三大局限:训练数据规模相对较小(通常百万级)、音频输入时长固定(通常≤10秒)且需要填充/截断、以及全局对比学习损失阻碍了密集细粒度音频特征的学习。 方法核心是什么:提出SLAP框架,通过三点解决上述问题:(1) 将预训练规模扩展至1.09亿音频-文本对;(2) 重新设计Transformer音频编码器,支持最长30秒的变长音频输入,并采用混合注意力机制与序列打包技术高效处理;(3) 统一对比损失、自监督掩码建模损失和字幕生成损失到单阶段训练中。 与已有方法相比新在哪里:相比先前工作,SLAP首次将音频-文本预训练推向亿级数据规模;其音频编码器从头训练,原生支持变长输入,避免了填充/截断;其统一的单阶段多目标训练管道简化了流程(不同于多阶段方法),旨在同时学习全局对齐和局部密集特征。 主要实验结果如何: 音频文本检索(Table 1):在AudioCaps和Clotho数据集上,无论是零样本还是微调设置,SLAP均达到了SOTA性能。例如,在微调后,AudioCaps文本到音频检索的R@1达到47.5%,Clotho的音频到文本检索R@1达到36.8%。 零样本音频分类(Table 2):在ESC-50、CREMA-D和GTZAN数据集上,通过在WavCaps上微调后,SLAP取得了新的SOTA(如ESC-50上达到95.5%)。 音频字幕(Table 3):在AudioCaps和Clotho上,SLAP的CIDEr分数(75.1和43.7)优于M2D2-CLAP等采用多阶段训练的CLAP方法。 消融研究(Table 5):在AudioCaps零样本检索上,去除自监督损失(L_SSL)或字幕损失(L_CAP)均导致性能下降,证明了多目标训练的有效性;去除局部注意力也带来性能损失。 实际意义是什么:证明了大规模、灵活(变长)、多目标预训练对学习强大通用音频表示的重要性。SLAP模型可作为强大的音频基础模型,服务于音频检索、分类、字幕等多种下游任务。 主要局限性是什么:预训练使用的MovieGen Audio数据集未公开,这限制了方法的完全复现和对数据规模效应的独立验证;尽管支持变长音频,但报告的测试集音频长度仍在30秒内,更长时序的处理能力未验证;在音频标注(AudioSet)等任务上,并未显著超越最强的专用模型。 🏗️ 模型架构 图1展示了SLAP的整体训练框架。模型主要由三部分组成:音频编码器、文本编码器/解码器和多目标训练管道。 ...

2026-04-29

WavLink: Compact Audio–Text Embeddings with a Global Whisper Token

📄 WavLink: Compact Audio–Text Embeddings with a Global Whisper Token #音频检索 #对比学习 #零样本 #预训练 #迁移学习 🔥 8.0/10 | 前25% | #音频检索 | #对比学习 | #零样本 #预训练 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.2 | 置信度 高 👥 作者与机构 第一作者:Gokul Karthik Kumar (Technology Innovation Institute, Abu Dhabi, UAE) 通讯作者:未说明 作者列表:Gokul Karthik Kumar (Technology Innovation Institute, Abu Dhabi, UAE)、Ludovick Lepauloux (Technology Innovation Institute, Abu Dhabi, UAE)、Hakim Hacid (Technology Innovation Institute, Abu Dhabi, UAE) 💡 毒舌点评 这篇论文巧妙地将用于语音识别的Whisper模型“降维”用于音频文本嵌入,用一个全局token替代了1500个帧特征,在检索任务上取得了优于CLAP系列模型的效果,思路清晰且实用。然而,其在零样本分类(如ESC-50)上的性能落后于专用模型,表明为ASR预训练的特征在通用音频理解上仍有局限;同时,论文对“为何选择现代BERT并表现不佳”的讨论不够深入。 ...

2026-04-29

Robust Audio-Text Retrieval via Cross-Modal Attention and Hybrid Loss

📄 Robust Audio-Text Retrieval via Cross-Modal Attention and Hybrid Loss #音频检索 #对比学习 #跨模态 #鲁棒性 ✅ 7.5/10 | 前25% | #音频检索 | #对比学习 | #跨模态 #鲁棒性 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Meizhu Liu(论文中未说明所属机构) 通讯作者:未说明 作者列表:Meizhu Liu(未说明)、Matthew Rowe(未说明)、Amit Agarwal(未说明)、Michael Avendi(未说明)、Yassi Abbasi(未说明)、Paul Li(未说明)、Hitesh Laxmichand Patel(未说明)、Kyu J. Han(未说明)、Tao Sheng(未说明)、Sujith Ravi(未说明)、Dan Roth(未说明) 注:论文作者列表中未提供任何作者的机构信息。 💡 毒舌点评 这篇论文的核心优势在于它敏锐地发现了现有音频-文本检索方法(如CLAP)在噪声、小批次训练和长音频下的“水土不服”,并通过精心设计的混合损失(L1+余弦+对比)和仅在训练时引入的跨模态注意力来系统性地解决这些问题,实验结果扎实,说服力强。短板在于其提出的每个单独模块(Transformer投影、交叉注意力、注意力池化)都不是新东西,文章更像是一篇优秀的工程优化集成,理论深度和原创性上稍显不足,且未开源代码,让“复现”停留在了纸面。 📌 核心摘要 这篇论文旨在解决现有音频-文本检索方法(如CLAP、Wav2CLIP)在处理长时、噪声、弱标签音频时性能下降,且依赖大批次训练的问题。方法核心是提出一个训练时使用、推理时弃用的跨模态嵌入优化模块(包含Transformer投影、线性映射和双向注意力),并设计了一个混合损失函数(结合余弦相似度、L1损失和对比损失)。与已有方法相比,新在:1)训练时引入细粒度跨模态交互以提升对齐质量;2)混合损失降低了对大批次的依赖,提升了噪声下的训练稳定性;3)采用静音感知分块和注意力池化来有效处理长音频。实验在Clotho、AudioCaps等基准上进行,在音频到文本和文本到音频检索任务上,其方法在多数指标(如mAP@10,Recall@K)上优于Microsoft-CLAP和LAION-CLAP。例如在AudioCaps数据集上,音频到文本检索的mAP@10达到0.486,显著高于基线。实际意义在于提升多媒体搜索、无障碍访问等场景下检索系统的实用性和鲁棒性。主要局限性包括对预训练编码器质量的依赖,在极端噪声或复杂声学环境下的性能仍需验证,以及静音分块是一种粗略启发式方法。 主要实验结果 表1:标准测试集上音频-文本检索结果(摘录关键部分) 模型 数据集 模态 R@1 R@5 R@10 mAP@10 Microsoft-CLAP AudioCaps a2t 0.381 0.697 0.814 0.319 LAION-CLAP AudioCaps a2t 0.444 0.768 0.889 0.438 Proposed (ours) AudioCaps a2t 0.451 0.793 0.905 0.486 Microsoft-CLAP AudioCaps t2a 0.289 0.630 0.770 0.432 LAION-CLAP AudioCaps t2a 0.341 0.697 0.827 0.490 Proposed (ours) AudioCaps t2a 0.352 0.715 0.844 0.521 表2:不同噪声等级下(SNR 5-15)音频到文本检索鲁棒性测试(mAP@10,摘录关键部分) ...

2026-04-28