音频检索

📄 Automatic Music Sample Identification with Multi-Track Contrastive Learning #音频检索 #对比学习 #自监督学习 #数据增强 #音乐信息检索 ✅ 7.5/10 | 前25% | #音频检索 | #对比学习 | #自监督学习 #数据增强 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Alain Riou (Sony AI) 通讯作者：未说明 作者列表：Alain Riou (Sony AI), Joan Serrà (Sony AI), Yuki Mitsufuji (Sony AI) 💡 毒舌点评 亮点在于用多轨数据“动态合成”正样本对的设计非常巧妙，比以往在单轨上做文章更贴近“采样后混音”的真实场景，且通过VQT域的增强操作在计算效率和效果之间取得了很好的平衡。短板是论文坦诚地指出了当前方法在理论上的一个根本局限（即单嵌入无法区分来自同一原曲的不同采样），但这恰恰暴露了对比学习在复杂关系建模上的天花板，后续工作若不能在此突破，则该领域的进步可能很快会触及瓶颈。 🔗 开源详情 代码：提供了GitHub仓库链接：https://github.com/sony/sampleid 模型权重：承诺发布预训练模��（论文中提及“we release… pretrained models”）。 数据集：发布了新的评测数据集SamplePairs（论文中提及“we release this dataset”）。 Demo：未提及。 复现材料：提供了详细的训练代码、配置（学习率、batch size、优化器、调度策略等）以及硬件要求，复现指引充分。 论文中引用的开源项目：使用了Demucs (HT-Demucs) 作为基线比较的一部分，并引用了CQT/VQT工具箱。 📌 核心摘要 问题：自动音乐采样识别（从新曲中检测并找到被采样的原曲）是一项重要但极具挑战的任务，面临训练数据匮乏、需抵抗复杂音频变换、以及在大库中高效检索等难题。 方法核心：提出一种基于自监督对比学习的框架。核心创新是利用多轨录音数据，在训练时动态创建“人工混合”正样本对（将不同轨道子集混合），模拟真实的采样混音过程。模型使用VQT（可变Q变换）时频表示作为输入，并采用ResNet-IBN编码器。 与已有方法相比新在哪里：(1) 数据创建范式革新：首次在采样识别任务中利用多轨数据创建混合正样本，而非仅从单轨中裁剪。(2) 对比损失设计：为匹配新的数据创建方式，设计了一种允许每个样本拥有两个正样本对的修改版对比损失。(3) 高效的频域增强：在VQT表示上进行随机裁剪和时间拉伸，以低成本实现对音高和时间偏移的鲁棒性。 主要实验结果：在标准的Sample100基准上，本方法取得了0.603的mAP，相较于之前最佳基线（0.442）提升了超过15%（绝对值），同时在HR@1、HR@10等指标上也大幅领先。消融实验证明了时间拉伸、音高偏移（VQT裁剪）等增强策略以及使用高质量ground-truth stems的必要性。实验结果关键表格如下： 表1：模型消融实验（在Sample100和SamplePairs数据集上） ...

📄 BEST-STD 2.0: Balanced and Efficient Speech Tokenizer for Spoken Term Detection #音频检索 #自监督学习 #对比学习 #最优传输 #语音分词 ✅ 7.5/10 | 前25% | #音频检索 | #自监督学习 | #对比学习 #最优传输 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Anup Singh（IDLab, Department of Electronics and Information Systems, Ghent University, Belgium） 通讯作者：Vipul Arora（ESAT-PSI, KU Leuven, Belgium；标注有⋆表示equal advising） 作者列表：Anup Singh（IDLab, Department of Electronics and Information Systems, Ghent University, Belgium）、Vipul Arora（ESAT-PSI, KU Leuven, Belgium）、Kris Demuynck（IDLab, Department of Electronics and Information Systems, Ghent University, Belgium） 💡 毒舌点评 亮点在于将最优传输（OT）优雅地用于解决语音分词码本坍缩这一老大难问题，使得大码本训练稳定且高效，且在抗噪抗混响的鲁棒性上做到了超越同类基线（包括大模型WavLM的分词）的扎实水平。短板是研究的问题域（查询式语音术语检索）略显小众，且其核心的“稳健性”提升高度依赖于特定的任务和评价指标（Jaccard相似度、MTWV），对于通用语音理解或生成任务的直接启示有限。 ...

📄 CASTELLA: Long Audio Dataset with Captions and Temporal Boundaries #音频检索 #多模态模型 #预训练 #迁移学习 #数据集 🔥 8.5/10 | 前25% | #音频检索 | #迁移学习 | #多模态模型 #预训练 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Hokuto Munakata（LY Corporation） 通讯作者：未说明（论文中通讯作者符号*对应作者列表第二位Takehiro Imamura，但未明确其通讯作者身份） 作者列表：Hokuto Munakata（LY Corporation）、Takehiro Imamura（名古屋大学）、Taichi Nishimura（LY Corporation）、Tatsuya Komatsu（LY Corporation） 💡 毒舌点评 本文最大的贡献是为音频时刻检索任务“修桥铺路”，用一个规模空前（相比前作大24倍）且质量可控的真实世界数据集，终结了该任务依赖合成数据或极小测试集的尴尬历史，让后续研究得以立足于可靠地基之上。然而，它也清晰地揭示了一个残酷现实：即便有了优质数据，当前模型在检索短时刻（<10秒）时依然表现糟糕，这恐怕是未来比数据规模更难啃的骨头。 🔗 开源详情 代码：论文未直接提供代码仓库链接，但承诺“Upon paper acceptance, we will provide the recipe for this experiment”，并提及实验基于开源库 Lighthouse。因此，复现所需的训练脚本、配置文件等预计将在论文接收后开源。 模型权重：未提及公开预训练或微调后的模型权重。 数据集：是，CASTELLA数据集已公开。获取地址：https://h-munakata.github.io/CASTELLA-demo/。 Demo：是，提供了数据集的在线演示页面（同上链接）。 复现材料：提供了实验的超参数设置（优化器、学习率、批大小）、使用的特征提取器（MS-CLAP）、以及训练框架（Lighthouse）。 论文中引用的开源项目： 特征提取器：MS-CLAP [14] (https://github.com/LAION-AI/CLAP) 实验框架：Lighthouse [30] (https://github.com/taichi-m108/lighthouse) DETR网络：引用了QD-DETR [24], Moment-DETR [25], UVCOM [26] 的原始论文。 优化器：AdamW [29]。 📌 核心摘要 要解决什么问题：音频时刻检索（AMR）任务长期缺乏大规模、真实世界的人工标注基准数据集，导致现有模型性能评估不可靠，且训练严重依赖合成数据。 方法核心是什么：构建了CASTELLA数据集。它包含1862个1-5分钟的YouTube音频，每个音频配有全局摘要描述、多个局部关键事件描述及其精确的起止时间边界。同时，基于该数据集，采用预训练音频-文本模型（CLAP）结合检测Transformer（DETR）架构建立了基线模型。 与已有方法相比新在哪里：CASTELLA是首个满足AMR任务三大核心需求（长音频、自由格式描述、时间边界）的大规模真实世界数据集。其标注规模（约1.9k音频）是此前人工标注数据集（UnAV-100子集）的24倍以上。此外，论文首次系统验证了“在合成数据上预训练，再在真实数据集上微调”的两阶段训练策略的有效性。 主要实验结果如何：实验证明，使用CASTELLA进行微调能显著提升性能。仅在合成数据集（Clotho-Moment）上训练的模型Recall1@0.7为5.8；仅在CASTELLA上训练为9.7；而在合成数据预训练后于CASTELLA微调的模型达到16.2，提升10.4点。不同架构对比中，UVCOM模型表现最优（Recall1@0.7: 20.3）。实验还发现，模型对短时刻（<10秒）的检索能力明显较弱（见图3）。 索引 DETR网络 训练数据 R1@0.5 R1@0.7 mAP@0.5 mAP@0.75 mAP@avg. 1 QD-DETR Clotho-Moment 10.3 5.8 9.9 4.7 5.3 2 - CASTELLA 19.8 9.7 17.6 5.9 7.7 3 - 两者 30.6 16.2 26.5 12.2 13.7 4 Moment-DETR 两者 19.3 10.8 17.2 7.0 8.2 5 UVCOM 两者 31.7 20.3 28.4 15.2 15.9 实际意义是什么：为音频理解领域，特别是音频时刻检索任务，提供了一个可靠的评估基准和训练资源，推动了该任务从合成数据走向真实应用。 主要局限性：1）数据集规模虽相对前作巨大，但对于深度学习而言仍属中等；2）音频均来自YouTube，可能存在领域偏差；3）短时刻检索仍是巨大挑战；4）论文未探索更先进的音频表示学习模型或更复杂的检索架构。 🏗️ 模型架构 论文中的基线模型基于 AM-DETR 架构，该架构受视频时刻检索（VMR）模型启发。 ...

📄 Contrastive Timbre Representations for Musical Instrument And Synthesizer Retrieval #音频检索 #对比学习 #预训练 #数据增强 ✅ 7.5/10 | 前25% | #音频检索 | #对比学习 | #预训练 #数据增强 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Gwendal Le Vaillant (Haute-École Bruxelles-Brabant, ISIB) 通讯作者：Yannick Molle (University of Mons, ISIA Lab, Impulsia) 作者列表：Gwendal Le Vaillant (Haute-École Bruxelles-Brabant, ISIB), Yannick Molle (University of Mons, ISIA Lab, Impulsia) 💡 毒舌点评 亮点：为虚拟乐器对比学习设计了“乐器自身生成正样本”的策略，巧妙规避了传统音频增强对音色本质的破坏；提出的单一模型同时处理单源和混合音源的检索框架，显著优于先分离再检索的复杂流水线。 短板：实验验证的混合场景局限于三种特定家族乐器的组合，对于更复杂、更真实的多乐器混合（如交响乐、摇滚乐队）缺乏探索；论文声称代码和模型将开源，但当前缺乏具体承诺，对于依赖该工作的后续研究是种障碍。 ...

📄 Do Speech LLMs Learn Crossmodal Embedding Spaces? #语音大模型 #模型评估 #跨模态 #音频检索 ✅ 6.5/10 | 前50% | #音频检索 | #模型评估 | #语音大模型 #跨模态 学术质量 5.5/7 | 选题价值 0.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Carlos Escolano（TALP Research Center, Universitat Politècnica de Catalunya） 通讯作者：未说明 作者列表：Carlos Escolano（TALP Research Center, Universitat Politècnica de Catalunya）、Gerard Sant（University of Zurich）、José A.R. Fonollosa（TALP Research Center, Universitat Politècnica de Catalunya） 💡 毒舌点评 本文最大的亮点是提供了一个系统且可量化的框架来“解剖”语音大模型的黑箱内部，明确指出了当前主流架构在“让模型听懂语义”与“保留说话人特征”之间难以兼得的根本困境，为后续研究提供了清晰的“病历本”。短板在于，作为一篇诊断性工作，它揭示了问题却几乎没开药方，且仅对比了几个特定模型，结论的普适性有待更广泛模型的验证。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文评估了四个模型（SONAR, Spire, Qwen2-Audio, Phi4-Multimodal），但这些模型本身是已发表的工作，论文未提供其权重获取方式。 数据集：所使用的评估数据集（FLEURS, Spoken SQuAD, SD-QA）均为公开数据集，论文中提及。 Demo：未提及。 复现材料：论文给出了模型的基本架构参数和评估指标的定义，但未提供完整的训练细节、配置文件或附录。复现需要依赖原模型论文中的信息。 论文中引用的开源项目：引用了HuBERT, Whisper, TOWER等模型，但未明确说明是否提供了本次评估使用的具体版本。 总体而言，论文中未提及针对本分析工作的开源计划。 📌 核心摘要 要解决的问题：语音大模型（Speech LLMs）需要将语音信号映射到LLM的文本嵌入空间，但这一映射过程的性质（是否形成良好的跨模态嵌入空间）和代价（是否会丢失副语言信息）尚未被系统研究。 方法核心：提出一套评估指标（各向同性分数IsoScore、Hubness的Robin Hood分数、关系相似性RS），并结合跨模态检索、性别分类、口音分类等探针任务，对不同架构的语音大模型（保留连续语音编码器表示 vs. 从头学习离散语音单元）进行系统分析。 与已有方法相比新在哪里：首次从嵌入空间几何属性（各向同性、Hubness、同构性）的角度，定量对比了纯编码器模型（SONAR）与多种解码器架构的语音大模型（Spire, Qwen2-Audio, Phi4-Multimodal）。明确揭示了现有语音大模型在跨模态对齐质量上仍逊于专门的多模态编码器，并发现了两种主流设计范式（连续表示 vs. 离散表示）在语义对齐和副语言信息保留方面存在的根本性权衡。 主要实验结果： 跨模态映射属性：在FLEURS数据集上，所有语音大模型的IsoScore均低于0.05，远低于SONAR的0.0425；RH分数（越低越好）均高于0.35，差于SONAR的0.25；RS分数（越高越好）均低于0.55，远低于SONAR的0.94。 检索性能：在FLEURS（精确句对）和Spoken SQuAD（主题匹配）数据集上，语音大模型的Top-1检索准确率（FLEURS @1）在16-18%之间，与SONAR（19.19%）接近，但Spire稍弱（11.54%）。 副语言信息保留与权衡：使用连续编码器的模型（Phi4, Qwen2）在浅层能很好地区分性别（准确率~85%）和口音，但随着层深增加，性能显著下降（见图1）。而使用离散单元的Spire则能稳定保留性别信息（全层>82%），但在SD-QA数据集的口音分类上，对某些口音（如IND-S, NGA）的准确率下降近20%，显示鲁棒性不足（见表2）。 关键数据表格： 模型 IsoScore ↑ RH ↓ RS ↑ FLEURS @1 ↑ Spoken SQUAD @1 ↑ SONAR 0.0425 0.25 0.94 54.25% 19.19% Phi4-Multimodal 0.0004 0.35 0.53 54.04% 16.37% Qwen2-Audio 0.0002 0.41 0.55 53.55% 18.35% Spire 0.0001 0.43 0.16 50.17% 11.54% 实际意义：为语音大模型的设计提供了重要启示：1）当前基于LLM的架构在跨模态嵌入空间质量上仍有很大提升空间，可能需要更复杂的非线性映射。2）模型设计者必须在“保持语义对齐强度”与“保留丰富的副语言信息/对多样口音的鲁棒性”之间做出明确权衡。 主要局限性：研究局限于对4个特定模型的分析，结论的普适性需要在更多模型上验证；所提出的评估框架本身可能需要更多验证；论文主要进行诊断分析，未提出具体的改进模型或算法来解决所发现的权衡问题。 🏗️ 模型架构 本文是一篇分析性论文，核心是评估而非提出新模型。因此，模型架构部分主要描述所评估的四个模型�� ...

📄 EchoRAG: A Two-Stage Framework for Audio-Text Retrieval and Temporal Grounding #音频检索 #知识蒸馏 #对比学习 ✅ 7.5/10 | 前25% | #音频检索 | #知识蒸馏 | #对比学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者：Zilin Wang（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室） 通讯作者：Liyan Chen（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室） 作者列表：Zilin Wang（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室）， Zheng Huang（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室）， Zibai Ou（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室）， Yuchen Yang（厦门大学电影系）， Liyan Chen（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室） 💡 毒舌点评 EchoRAG 的亮点在于其工程设计的巧妙，将稳定的全局检索（教师）与精确的细粒度对齐（学生）结合，形成了一个有效的“粗筛-精排”范式。然而，其“创新”更多体现在对现有技术（如ColBERT的后期交互、KL蒸馏）的组合与适配上，在理论深度上稍显不足；峰值平滑正则化虽有效，但其设计（熵+全变差）更像是一个启发式的“补丁”，缺乏更深入的理论分析。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及是否公开训练好的EchoRAG模型权重。 数据集：实验使用的数据集（SQuAD-Spoken， AudioCaps， VoxPopuli）为公开数据集。论文中未提及是否提供了其处理后的VoxPopuli查询数据。 Demo：未提及在线演示。 复现材料：论文提供了较为详细的实现细节（模型架构、训练三阶段、损失函数、优化器设置、硬件环境），但未提供完整的配置文件、训练脚本或检查点。 引用的开源项目：论文依赖预训练模型 CLAP，并引用了 Whisper（用于基线ASR）、 BGE-M3、 Qwen3-Embedding（文本嵌入基线）、 Qwen2-Audio（生成模型）等开源项目或模型。 开源计划：论文中未提及开源计划。 📌 核心摘要 问题：现有的音频RAG方法通常将音频压缩为单一的全局嵌入（如CLS token），丢失了细粒度的帧级信息和时间线索，这限制了其在需要精确定位音频片段的任务中的性能。 ...

📄 GLAP: General Contrastive Audio-Text Pretraining Across Domains and Languages #音频检索 #对比学习 #预训练 #多语言 #零样本 🔥 8.5/10 | 前25% | #音频检索 | #对比学习 #预训练 | #对比学习 #预训练 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Heinrich Dinkel (MiLM Plus, Xiaomi Inc., China) 通讯作者：未说明 作者列表：Heinrich Dinkel (MiLM Plus, Xiaomi Inc., China)、Zhiyong Yan (MiLM Plus, Xiaomi Inc., China)、Tianzi Wang (MiLM Plus, Xiaomi Inc., China)、Yongqing Wang (MiLM Plus, Xiaomi Inc., China)、Xingwei Sun (MiLM Plus, Xiaomi Inc., China)、Yadong Niu (MiLM Plus, Xiaomi Inc., China)、Jizhong Liu (MiLM Plus, Xiaomi Inc., China)、Gang Li (MiLM Plus, Xiaomi Inc., China)、Junbo Zhang (MiLM Plus, Xiaomi Inc., China)、Jian Luan (MiLM Plus, Xiaomi Inc., China) 💡 毒舌点评 亮点：GLAP真正实现了将语音内容理解无缝整合进音频-文本对齐框架，并在多语言语音任务上取得了远超前辈模型（如L-CLAP, MSCLAP）的惊人效果，证明了“一个模型通吃所有音频类型”的可行性。短板：其语音理解能力的显著提升，很大程度上归功于选择了对语音建模能力强的Dasheng作为音频编码器，这更像是一个工程上的“正确组合”，而非方法论上的根本性突破，且其性能在非英语语言的零样本声音分类上仍有明显衰减。 ...

📄 Hashing-Baseline: Rethinking Hashing in the Age of Pretrained Models #音频检索 #图像检索 #预训练 #基准测试 #模型评估 🔥 8.0/10 | 前25% | #音频检索 #音频分类 | #预训练 | #音频检索 #图像检索 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文作者列表顺序为并列贡献） 通讯作者：未说明 作者列表：Ilyass Moummad（INRIA, LIRMM, Université de Montpellier, France），Kawtar Zaher（INRIA, LIRMM, Université de Montpellier, France；Institut National de l’Audiovisuel, France），Lukas Rauch（University of Kassel, Germany），Alexis Joly（INRIA, LIRMM, Université de Montpellier, France） 💡 毒舌点评 亮点在于论文极其简洁地证明了“大力出奇迹”的道理：利用强大的预训练模型（如DINOv2、CLAP）的冻结嵌入，搭配几个无需训练的经典降维与二值化“零件”（PCA、随机正交投影），就能在图像和音频检索任务上达到与昂贵训练的深度哈希方法相竞争的性能，这为实际应用提供了一个极其简单且强大的基线。短板在于方法本身的创新性有限，本质上是现有技术的拼接，且虽然提出了音频哈希基准，但在更大规模、更贴近真实场景的跨域检索任务上的验证仍然不足。 ...

ICASSP 2026 - 音频检索 共 11 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 GLAP: General Contrastive Audio-Text Pretraining Across Doma 8.5分 前25% 🥈 CASTELLA: Long Audio Dataset with Captions and Temporal Boun 8.5分 前25% 🥉 WavLink: Compact Audio–Text Embeddings with a Global Whisper 8.0分 前25% 4. SLAP: Scalable Language-Audio Pretraining with Variable-Dura 8.0分 前25% 5. AUDIOCARDS: Structured Metadata Improves Audio Language Mode 7.5分 前50% 6. Automatic Music Sample Identification with Multi-Track Contr 7.5分 前25% 7. Contrastive Timbre Representations for Musical Instrument An 7.5分 前25% 8. BEST-STD 2.0: Balanced and Efficient Speech Tokenizer for Sp 7.5分 前25% 9. EchoRAG: A Two-Stage Framework for Audio-Text Retrieval and 7.5分 前25% 10. Scalable Evaluation for Audio Identification Via Synthetic L 7.0分 前25% 11. Do Speech LLMs Learn Crossmodal Embedding Spaces? 6.5分 前50% 📋 论文详情 🥇 GLAP: General Contrastive Audio-Text Pretraining Across Domains and Languages 🔥 8.5/10 | 前25% | #音频检索 | #对比学习 #预训练 | #对比学习 #预训练 ...

📄 Leveraging Whisper Embeddings For Audio-Based Lyrics Matching #音频检索 #音乐信息检索 #对比学习 #Whisper #多语言 ✅ 7.0/10 | 前50% | #音乐信息检索 | #对比学习 | #音频检索 #Whisper 学术质量 5.0/7 | 选题价值 1.0/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Eleonora Mancini（博洛尼亚大学，DISI） 通讯作者：未说明 作者列表：Eleonora Mancini（博洛尼亚大学，DISI）、Joan Serrà（Sony AI）、Paolo Torroni（博洛尼亚大学，DISI）、Yuki Mitsufuji（Sony AI， Sony Group Corporation） 💡 毒舌点评 亮点在于将“可复现性”作为核心卖点并切实执行，在音乐信息检索领域提供了第一个透明的歌词匹配端到端管线，这对建立公平的学术比较至关重要。短板则是其核心技术创新略显不足，本质上是将现有的优秀组件（Whisper、Transformer、对比学习）进行有效组装，缺少对歌词语义表征学习本身更深入的建模或理论分析。 🔗 开源详情 代码：提供。论文明确给出了代码仓库链接：https://github.com/helemanc/audio-based-lyrics-matching。 模型权重：论文中提到了“models’ checkpoints”，但未明确说明是否公开下载。未提供。 数据集：论文使用了三个公开数据集（DVI， SHS， LYC），并说明了数据收集和处理方式。未提供自己的新数据集。 Demo：论文中未提及在线演示。 复现材料：提供了充分的训练细节（优化器、学习率、调度、批量大小、早停条件等）、超参数设置和评估协议，可复现性高。 论文中引用的开源项目： Whisper [1]（预训练ASR模型） Sentence-BERT (SBERT) [18]（用于基线） 可能引用的其他基线实现（如CLEWS [6]， ByteCover [7,8]）。 📌 核心摘要 解决的问题：现有的基于音频的歌词匹配方法面临可复现性差、基线不一致、依赖文本转录或复杂流程等问题，阻碍了公平比较和领域发展。 方法核心：提出WEALY（Whisper Embeddings for Audio-based LYrics matching），一个端到端的、可复现的管线。其核心是直接从原始音频中提取Whisper解码器的隐状态（歌词感知嵌入），然后通过一个轻量级Transformer编码器和广义均值（GeM）池化，将其映射为紧凑的向量表示，并使用对比学习（NT-Xent损失）在音乐版本识别（MVI）任务上训练。 与已有方法相比新在哪里：主要创新不在于提出全新的模型架构，而在于：a) 完全摒弃了文本转录步骤，直接从音频特征中学习歌词表征；b) 提供了从代码到模型检查点的完全透明、可复现的实现；c) 在多个数据集上建立了标准化的歌词匹配基线；d) 通过消融研究系统分析了损失函数、池化策略、多语言能力等关键设计选择。 主要实验结果：WEALY在三个数据集（DVI, SHS, LYC）上均显著优于基于转录文本（TF-IDF, ASR-SBERT）和简单平均嵌入的基线。例如，在SHS数据集上，WEALY的MAP为0.640，而最强的文本基线ASR-SBERT-Cosine仅为0.508。消融研究表明，NT-Xent损失优于三元组损失和CLEWS损失；GeM池化优于简单平均；保留Whisper的多语言能力比强制英语解码性能更高（0.640 vs 0.578）。初步的多模态融合实验（WEALY+CLEWS）在SHS上达到了0.912 MAP，超越了单一模态的最佳性能。 实际意义：为音乐信息检索、版权检测、音乐发现等应用提供了一个可靠、开源的歌词匹配工具和研究基准，推动了该领域的可复现研究。 主要局限性：a) 核心方法组合创新性有限；b) 作为代理任务的MVI与纯粹的歌词匹配任务可能存在差距；c) 尽管多模态融合效果好，但歌词匹配本身的性能仍低于纯音频内容模型（如CLEWS的0.876 MAP）。 🏗️ 模型架构 WEALY采用一个两阶段的管线架构，如图1所示： ...