音频检索

📄 Beyond Instance-Level Alignment: Dual-Level Optimal Transport for Audio-Text Retrieval #音频检索 #最优传输 #对比学习 #鲁棒性 🔥 8.0/10 | 前25% | #音频检索 | #最优传输 | #对比学习 #鲁棒性 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Wenqi Guo（上海交通大学） 通讯作者：Shikui Tu（上海交通大学），Lei Xu（上海交通大学，深圳人工智能与数字经济广东省实验室） 作者列表：Wenqi Guo（上海交通大学）、Shikui Tu（上海交通大学）、Lei Xu（上海交通大学，深圳人工智能与数字经济广东省实验室） 💡 毒舌点评 这篇论文的亮点在于它聪明地将最优传输（OT）从“实例级对齐”推广到“特征级正则化”，为解决小批量训练下的噪声敏感性问题提供了新颖且理论扎实的视角，实验结果在多个基准上确实很强。然而，其短板也很明显：提出的“可靠性感知边缘分布”计算依赖于批次统计量，在实际大规模分布式训练中的稳定性和计算开销可能成为落地隐患，且论文未提供代码，复现门槛较高。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开模型权重。 数据集：使用的AudioCaps, Clotho, ESC-50均为公开数据集，论文中给出了获取来源引用。 Demo：未提及在线演示。 复现材料：提供了极其详细的复现材料：完整的训练算法伪代码（算法1）、所有实验的超参数设置（表6）、可靠性分数计算的具体公式（附录B）、理论证明（附录C）、以及所有消融和敏感性实验（表5, 7-13）。 论文中引用的开源项目：引用了Sinkhorn算法（Cuturi, 2013），并使用了预训练的编码器（如BERT, Beats等）。 📌 核心摘要 问题：现有的跨模态检索（如音频文本检索）方法主要依赖实例级对齐（如对比损失），隐含假设所有特征维度贡献相等。在小批量训练和标签稀缺时，这种假设会放大噪声，导致对齐信号不稳定且有偏差。 方法核心：提出DART（Dual-level Alignment via Robust Transport）框架，在实例级对齐（基于逆最优传输IOT）的基础上，增加了基于非平衡Wasserstein距离（UWD）的特征级正则化。同时，设计了“可靠性感知边缘分布”，根据通道的跨模态一致性、方差和峰度统计量，自适应地为特征通道赋权，以抑制噪声通道。 创新点：首次将OT视角从样本对齐拓展到特征通道对齐；引入可靠性先验引导特征级运输计划；提供了理论分析，证明特征级目标比实例级目标具有更紧的集中界，对异常值和噪声更鲁棒。 实验结果：在AudioCaps、Clotho两个音频文本检索基准和ESC-50零样本声音事件检测任务上，DART均取得了SOTA性能。例如，在AudioCaps上，与最强基线相比，文本到音频R@1提升1.1%，音频到文本R@1提升4.5%。在小批量（k=32）和40%标签缺失的困难设定下，性能下降幅度显著小于基线方法（见表2）。 实际意义：为资源受限（小批量训练）或数据质量不高（标签噪声）场景下的跨模态检索提供了更鲁棒的解决方案，提升了模型在实际应用中的可靠性和泛化能力。 主要局限性：引入的特征级正则化和可靠性计算增加了训练时的计算复杂度（虽然论文分析内存开销可控）。可靠性估计依赖于小批量统计，其稳定性有待更广泛验证。此外，论文未开源代码。 🏗️ 模型架构 DART的整体架构是一个双层对齐框架，如图1所示。 ...

📄 Learning multimodal dictionary decompositions with group-sparse autoencoders #跨模态 #音频检索 #稀疏自编码 #对比学习 #多模态模型 ✅ 7.5/10 | 前25% | #跨模态 | #稀疏自编码 | #音频检索 #对比学习 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Chiraag Kaushik (Georgia Institute of Technology, School of Electrical and Computer Engineering) 通讯作者：未说明 作者列表：Chiraag Kaushik (Georgia Institute of Technology, School of Electrical and Computer Engineering), Davis Barch (Dolby Laboratories), Andrea Fanelli (Dolby Laboratories) 💡 毒舌点评 本文精准地识别了稀疏自编码器（SAE）在多模态嵌入分解中的核心痛点——“字典分裂”，并通过一个直观的理论定理和一项巧妙的工程改进（群稀疏损失+交叉模态掩码）给出了系统性的解决方案，实验部分在图像-文本和音频-文本两个场景中均显示出稳健的增益。然而，其理论证明（定理1）的假设略显理想化，且对于“群稀疏损失”为何能如此有效地对抗SAE内置偏置的理论机制探讨尚浅，更像是一种经验性的成功，缺乏更深层的原理解释。 ...

📄 MindMix: A Multimodal Foundation Model for Auditory Perception Decoding via Deep Neural-Acoustic Alignment #多模态模型 #音频检索 #对比学习 #自监督学习 🔥 8.5/10 | 前25% | #音频检索 | #多模态模型 | #对比学习 #自监督学习 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Rui Liu（香港理工大学） 通讯作者：Jibin Wu（香港理工大学） 作者列表：Rui Liu（香港理工大学）、Zhige Chen（香港理工大学）、Shu Peng（香港理工大学）、Wenlong You（香港理工大学）、Zhi-An Huang（香港城市大学（东莞））、Jibin Wu（香港理工大学）、Kay Chen Tan（香港理工大学） 💡 毒舌点评 本文的核心创新“跨模态低秩对齐”（CALRA）模块设计得颇为精巧，通过类型感知、双向注意力与低秩融合的协同，确实实现了EEG与音频深度对齐，实验上也展示了“碾压式”的性能优势。然而，论文将几乎所有功劳归于这个对齐模块和多模态预训练，却轻描淡写地忽略了其巨大的模型规模（97M参数，是多数EEG基线模型的数十倍）和对高质量配对数据的强依赖，这些在现实部署中都是沉重的负担。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/CookieMikeLiu/MindMix。 模型权重：论文中未明确提及是否公开预训练或微调后的模型权重。 数据集：所有使用的数据集均为公开数据集，论文详细列出了各数据集的名称和来源。 Demo：论文中未提及提供在线演示。 复现材料：提供了详尽的训练细节、超参数配置（Table A2）、分阶段的训练策略说明、评估指标定义以及数据预处理流程，复现材料非常充分。 论文中引用的开源项目：使用了预训练的Wav2Vec 2.0模型作为音频编码器，并引用了PyTorch等深度学习框架。 📌 核心摘要 解决的问题：现有EEG基础模型（如EEGPT, LaBraM）在听觉解码任务上表现不佳，因其为单模态预训练，缺乏与听觉刺激信息的深度耦合，导致泛化能力受限。 方法核心：提出MindMix，一个两阶段的多模态基础模型。第一阶段，在大规模EEG数据上预训练一个高容量的EEG编码器。第二阶段，利用一个新颖的“跨注意力低秩对齐”（CALRA）模块，在配对的EEG-音频数据上通过对比学习，学习深度对齐的神经-声学表示。 创新之处：这是首个专为学习精细对齐的神经-声学表示而设计的多模态基础模型。核心创新是CALRA模块，它超越了简单的投影对齐，通过类型特定对齐器、双向交叉注意力和共享低秩瓶颈融合，实现了模态间的深度交互。 实验结果：MindMix在多个听觉解码任务上大幅超越所有基线。在语音注意力解码（KUL数据集）上平衡准确率高达99.82%，最强基线DARNet为94.81%。在情感分析（HR-EEG4EMO数据集）上达到88.78%，比LaBraM高近16个百分点。关键对比数据如下表所示： 任务 数据集 方法 平衡准确率 加权F1分数 语音注意力解码 KUL DARNet 0.9481 ± 0.036 0.9567 ± 0.025 语音注意力解码 KUL MindMix 0.9982 ± 0.008 0.9991 ± 0.004 情感分析 HR-EEG4EMO LaBraM 0.7295 ± 0.082 0.7829 ± 0.081 情感分析 HR-EEG4EMO MindMix 0.8878 ± 0.045 0.8869 ± 0.046 音乐检索 MAD-EEG CBraMod 0.8011 (Duo Acc.) 0.7654 (Trio Acc.) 音乐检索 MAD-EEG MindMix 0.9475 (Duo Acc.) 0.8824 (Trio Acc.) 实际意义：为非侵入式听觉脑机接口和跨模态神经解码建立了强大的基准，推动了从“信号处理”到“神经-声学语义对齐”的研究范式转变。 主要局限性：论文明确指出，当前大规模配对EEG-音频数据的稀缺是制约该领域发展的首要瓶颈，也限制了对模型扩展规律的研究。 🏗️ 模型架构 MindMix采用双流架构，包含EEG编码器、音频编码器和跨模态对齐模块，最终通过对比学习目标进行端到端优化。 ...

📄 OmniCVR: A Benchmark for Omni-Composed Video Retrieval with Vision, Audio, and Text #多模态模型 #音频检索 #基准测试 #跨模态 🔥 8.5/10 | 前25% | #音频检索 | #多模态模型 | #基准测试 #跨模态 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Junyang Ji（清华大学、快手科技、南方科技大学） 通讯作者：Zhihai He（南方科技大学）、Wenming Yang（清华大学） 作者列表：Junyang Ji（清华大学、快手科技、南方科技大学）、Shengjun Zhang（快手科技）、Da Li（快手科技、中国科学院大学）、Yuxiao Luo（快手科技、北京大学）、Yan Wang（快手科技）、Di Xu（快手科技）、Biao Yang（快手科技）、Wei Yuan（快手科技）、Fan Yang（快手科技）、Zhihai He（南方科技大学）、Wenming Yang（清华大学） 💡 毒舌点评 本文核心贡献在于填补了组合视频检索基准中“音频模态缺失”的空白，并提出了一个扩展模型，其消融实验设计（如“盲目检索”、控制OmniEmbed骨干网络的音频表征方式）颇具巧思，有力地论证了“显式音频语义”的关键性。然而，其模型的核心创新“Audio-as-Text”在工程上略显“取巧”，完全依赖于现有大模型（Qwen2-Audio）的能力，并未在音频表征学习本身提出新方法，且额外的转录步骤带来了显著的延迟开销。 🔗 开源详情 代码：论文中提供了GitHub仓库链接：https://github.com/Kuaishou-Reasearch/OmniCVR，并声明将开源完整代码库。 模型权重：论文中声明将开源AudioVLM2Vec的模型权重。 数据集：论文中声明OmniCVR基准（包括160k+片段、50k+三元组和黄金测试集）将在发表后完全开源，数据集链接为：https://huggingface.co/datasets/Jun-Yang/OmniCVR。 Demo：论文中未提及。 复现材料：论文提供了详细的数据生成流程、所有使用的提示词（见附录G）、以及对训练设置（基于开源预训练权重）的描述，为复现提供了良好基础。但部分具体训练超参数未在文中说明。 论文中引用的开源项目/模型：Qwen2-Audio, Qwen2-VL, Qwen2.5-Omni, PySceneDetect, CLIP, CLAP, Gemini 2.5 Pro等。 📌 核心摘要 要解决什么问题：现有的组合视频检索（CoVR）基准和方法主要关注视觉与文本的对齐，系统性地忽略了音频模态（语音、音乐、环境声）在视频理解中的关键作用，导致无法评估模型在需要同时修改视觉和音频的复杂现实场景中的检索能力。 方法核心是什么：论文提出了OmniCVR基准，这是首个将视觉、音频和文本视为同等重要模态的大规模组合视频检索基准。同时，提出了一种名为AudioVLM2Vec的模型，该模型通过将音频轨道转录为细粒度文本描述，并将其与视觉信息和用户查询一同输入大语言模型骨干，从而显式地注入音频语义。 与已有方法相比新在哪里：1) 任务定义：首次定义了“全模态组合检索”，涵盖视觉中心、音频中心和集成型查询；2) 数据构建：设计了一套包含内容感知分割、全模态标注和由大模型与人类专家双重验证的自动化数据生成流程；3) 模型架构：提出了一种将原始音频转换为文本描述再与视觉信息融合的简单但有效的音频表征学习范式，区别于其他“全模态”模型（如ImageBind、OmniEmbed）直接处理原始音频token的方式。 主要实验结果如何：AudioVLM2Vec在OmniCVR基准上取得了全面的最佳性能。例如，在整体查询上R@1达到66.98%，比强基线VLM2Vec（38.44%）高出28.54个百分点；在音频中心查询上R@1达到77.2%，而VLM2Vec仅为12.4%。消融实验证明，移除源视频会导致性能暴跌，证实了任务对组合推理的严格要求；将OmniEmbed的骨干从原生音频token替换为Audio-as-Text机制，其R@1从13.6%大幅提升至32.7%。 实际意义是什么：该工作为评估和推动真正具备多模态理解能力的视频检索系统建立了新的标准，揭示了当前最先进模型在音频理解和组合推理上的重大缺陷，并证明了将音频转化为语义文本是提升相关性能的有效途径，对智能视频搜索、内容审核、跨模态生成等应用具有指导意义。 主要局限性是什么：1) 推理效率：引入的音频转录步骤显著增加了推理延迟（从1.72s增加到4.77s），限制了实时应用；2) 音频表征依赖：性能高度依赖于Qwen2-Audio的转录质量，可能引入偏差或错误；3) 任务范围：专注于检索任务，未探索音频修改指令的生成等更复杂的交互。 🏗️ 模型架构 本文主要提出AudioVLM2Vec模型，其架构是VLM2Vec的扩展。整体流程如下图所示： ...

📄 SupCLAP: Controlling Optimization Trajectory Drift in Audio-Text Contrastive Learning with Support Vector Regularization #对比学习 #音频检索 #多语言 #预训练 ✅ 7.5/10 | 前25% | #音频检索 | #对比学习 | #多语言 #预训练 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Jiehui Luo（中央音乐学院，2∗） 通讯作者：Yuguo Yin（北京大学，1†） 作者列表： Jiehui Luo（中央音乐学院） Yuguo Yin（北京大学） Yuxin Xie（北京大学） Jinghan Ru（北京大学） Xianwei Zhuang（北京大学） Minghua He（北京大学） Aofan Liu（北京大学） Zihan Xiong（电子科技大学） Dongchao Yang（香港中文大学） 💡 毒舌点评 本文的亮点在于从优化动力学的角度（力分解）为对比学习中的“轨迹漂移”现象提供了新颖的理论解释，并据此设计出简洁有效的SVR正则化方法，理论自洽且实验证据扎实。短板在于其验证主要依赖于相对较小规模的数据集（AudioCaps， Clotho），且未与更多、更强的近期基线（如一些大规模的CLIP式音频-文本模型）进行对比，其实效性和普适性在更大规模场景下有待进一步证明。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及公开预训练模型权重。 数据集：使用了公开的AudioCaps和Clotho数据集，并自行构建了多语言翻译版本。多语言测试集的质量在附录E.9中进行了评估。 Demo：论文中未提及在线演示。 复现材料：论文在正文和附录中提供了较为详尽的训练设置（超参数、优化器、硬件）、模型架构细节（编码器型号、MLP结构）以及评估方法，为复现提供了基础。 引用的开源项目：论文依赖的编码器模型为CED（Dinkel et al., 2024）和SONAR-TE（Duquenne et al., 2023），均为公开可用模型。 总结：论文中未提及开源计划。 📌 核心摘要 本文针对音频-文本对比语言-音频预训练（CLAP）中优化轨迹漂移的问题，该问题源于负样本推力中不受控的垂直分量，导致训练不稳定和收敛缓慢。 方法核心是提出支持向量正则化（SVR），通过在原损失函数中添加一个辅助损失项，利用构造的文本“支持向量”来选择性地抑制推力的垂直分量，从而稳定优化轨迹。 与已有方法（如InfoNCE、SigLIP）相比，本文新在：(1) 首次从梯度力分解视角明确剖析了轨迹漂移问题；(2) 设计了SVR方法进行针对性干预，且无需额外数据和推理开销；(3) 提出了无监督的语义半径建模策略（StaticSVR 和 DynamicSVR）来控制干预强度。 主要实验结果：在AudioCaps和Clotho数据集上，bi-DynamicSVR 方法在单语和多语言文本-音频检索任务上均显著超越InfoNCE和SigLIP基线。例如，在AudioCaps的T2A R@1指标上，InfoNCE为41.87，而bi-DynamicSVR达到44.16（提升约2.3%）；在零样本ESC-50分类上，InfoNCE为89.6，bi-DynamicSVR为92.1（提升2.5%）。 实际意义在于，该方法以极低的额外计算成本（训练开销可忽略），提升了对比学习的训练效率和最终对齐质量，可直接应用于各种基于对比学习的音频-文本模型训练流程中。 主要局限性包括：(1) 实验数据集规模相对较小；(2) 与更先进的、可能已包含复杂技巧的基线对比不完全；(3) DynamicSVR的性能依赖于预测半径的准确性，在极端噪声环境下可能不稳定（论文附录E.7对其鲁棒性有一定分析）。 🏗️ 模型架构 SupCLAP的架构并未提出全新的编码器模型，而是在标准的对称对比学习框架（由音频编码器和文本编码器组成）之上，修改了训练目标函数。 ...

📄 WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM #多模态模型 #音频检索 #视频检索 #对比学习 #多任务学习 🔥 8.5/10 | 前10% | #音频检索 #视频检索 | #对比学习 #多任务学习 | #多模态模型 #音频检索 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Changli Tang (清华大学) 通讯作者：Chao Zhang (清华大学) 作者列表：Changli Tang (清华大学)， Qinfan Xiao (清华大学)， Ke Mei (腾讯微信视觉)， Tianyi Wang (腾讯微信视觉)， Fengyun Rao (腾讯微信视觉)， Chao Zhang (清华大学) 💡 毒舌点评 亮点：该工作勇敢地填补了基于LLM的统一音频-视觉嵌入的空白，其提出的分层特征融合与联合训练策略在多项检索和QA任务上取得了令人信服的SOTA结果，显示了强大的跨模态理解与对齐能力。 短板：模型的通用性在一定程度上受限于其基础架构（Qwen2.5-Omni），且论文中提出的“versatile audio-visual learning”新基准未在附录或实验部分详细说明其构成与评估方式，略显缺失。 ...

📄 AUDIOCARDS: Structured Metadata Improves Audio Language Models for Sound Design #音频检索 #对比学习 #音频分类 #数据集 ✅ 7.5/10 | 前50% | #音频检索 | #对比学习 | #音频分类 #数据集 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Sripathi Sridhar（新泽西理工学院，Adobe Research） 通讯作者：未说明 作者列表：Sripathi Sridhar（新泽西理工学院，Adobe Research）、Prem Seetharaman（Adobe Research）、Oriol Nieto（Adobe Research）、Mark Cartwright（新泽西理工学院）、Justin Salamon（Adobe Research） 💡 毒舌点评 论文核心亮点是精准定位声音设计师的实际工作流，将通用大语言模型的知识“蒸馏”成针对性极强的结构化音频描述（AUDIOCARDS），而非追求通用的音频理解。短板在于其创新主要是任务适配与工程化整合，在模型架构和核心算法上缺乏根本性突破，且严重依赖一个未公开的、可能包含专有数据的大型内部数据集。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：论文将公开发布用于评估的ASFx eval数据集（包含500个经人工验证的音效文件及其音频卡）。核心的训练数据集（200万样本的混合集）未提及会公开。 Demo：未提及。 复现���料：论文提供了模型训练的关键超参数（如学习率、批大小、步数）和架构选择，但缺乏完整的训练代码、配置文件和检查点。 论文中引用的开源项目：依赖了Whisper（音频编码器）、RoBERTa（文本编码器）、HTSAT（音频编码器）、DistilBERT（分类器）、CREPE（音高估计）和LAION-CLAP（对比学习框架）等开源模型和工具。 📌 核心摘要 解决的问题：专业音效库的元数据（如声音类别、声学属性、使用场景）通常缺失或不完整，而现有音频描述模型生成的单句描述无法满足声音设计师的精确检索需求。 方法核心：提出“音频卡”（AUDIOCARDS），一种结构化的多字段音频元数据。利用大语言模型（LLM）的世界知识，以音频的声学描述符（响度、音高等）和少量元数据为输入，通过少样本提示生成包含名词、动词、UCS分类、视觉上下文、描述性标题等字段的JSON格式输出。 与已有方法的新颖之处：不同于训练通用的单句音频描述模型，AUDIOCARDS首先设计了一种面向特定领域（声音设计）的、细粒度的结构化描述格式。随后，将音频描述和检索任务重新定义为基于这种结构化表示的生成和对比学习任务，使模型训练与下游应用更匹配。 主要实验结果：在自行构建的专业音效评估集（ASFx eval）和通用数据集（Clotho）上进行了实验。关键结果包括： 结构化元数据生成：在生成音频卡字段任务上，所训练的Whisper-Cards模型全面优于作为基线的Audio Flamingo 3（AF3）模型。 描述生成：在ASFx eval上，Whisper-Cards生成的描述在SPIDEr和FENSE指标上显著优于基线模型和AF3等大型音频语言模型（如SPIDEr为19.36 vs. 9.61）。 检索：Cards-CLAP模型在零样本检索任务上，在内部专业数据集（ID）和Clotho上的R@10均优于仅使用描述性标题训练的Captions-CLAP模型（如ID上为75.40 vs. 73.45）。 表 1. 音频描述生成评估结果 ...

📄 Auto-MatchCut: An Audio-Visual Retrieval Framework for Seamless Match Cutting #音频检索 #视频检索 #跨模态 ✅ 7.0/10 | 前50% | #跨模态检索 | #音频检索 | #视频检索 #跨模态 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Hongjie Chen (Dolby Laboratories) 通讯作者：未说明 作者列表：Hongjie Chen (Dolby Laboratories), Hanyu Meng (The University of New South Wales), Gautam Bhattacharya (Dolby Laboratories), Lie Lu (Dolby Laboratories), Josh Kimball (Dolby Laboratories), Ryan Rossi (未说明) 💡 毒舌点评 亮点：框架设计巧妙，通过独立控制音频和视觉距离参数（τ_a, τ_v），为用户提供了在“平滑”与“创意对比”之间灵活调节的杠杆，这是对现有单一模态方法的一个有意义扩展。 短板：评估方法过于依赖主观打分（人类和LLM），缺乏如剪切点帧级精确度、跨视频语义连贯性等客观、可量化的指标，使得“超过60%平滑”的结论说服力打折扣；且整个系统严重依赖所选编码器（CLAP/CLIP）的性能，未探讨其边界与失效情况。 ...

📄 Automatic Music Sample Identification with Multi-Track Contrastive Learning #音频检索 #对比学习 #自监督学习 #数据增强 #音乐信息检索 ✅ 7.5/10 | 前25% | #音频检索 | #对比学习 | #自监督学习 #数据增强 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Alain Riou (Sony AI) 通讯作者：未说明 作者列表：Alain Riou (Sony AI), Joan Serrà (Sony AI), Yuki Mitsufuji (Sony AI) 💡 毒舌点评 亮点在于用多轨数据“动态合成”正样本对的设计非常巧妙，比以往在单轨上做文章更贴近“采样后混音”的真实场景，且通过VQT域的增强操作在计算效率和效果之间取得了很好的平衡。短板是论文坦诚地指出了当前方法在理论上的一个根本局限（即单嵌入无法区分来自同一原曲的不同采样），但这恰恰暴露了对比学习在复杂关系建模上的天花板，后续工作若不能在此突破，则该领域的进步可能很快会触及瓶颈。 🔗 开源详情 代码：提供了GitHub仓库链接：https://github.com/sony/sampleid 模型权重：承诺发布预训练模��（论文中提及“we release… pretrained models”）。 数据集：发布了新的评测数据集SamplePairs（论文中提及“we release this dataset”）。 Demo：未提及。 复现材料：提供了详细的训练代码、配置（学习率、batch size、优化器、调度策略等）以及硬件要求，复现指引充分。 论文中引用的开源项目：使用了Demucs (HT-Demucs) 作为基线比较的一部分，并引用了CQT/VQT工具箱。 📌 核心摘要 问题：自动音乐采样识别（从新曲中检测并找到被采样的原曲）是一项重要但极具挑战的任务，面临训练数据匮乏、需抵抗复杂音频变换、以及在大库中高效检索等难题。 方法核心：提出一种基于自监督对比学习的框架。核心创新是利用多轨录音数据，在训练时动态创建“人工混合”正样本对（将不同轨道子集混合），模拟真实的采样混音过程。模型使用VQT（可变Q变换）时频表示作为输入，并采用ResNet-IBN编码器。 与已有方法相比新在哪里：(1) 数据创建范式革新：首次在采样识别任务中利用多轨数据创建混合正样本，而非仅从单轨中裁剪。(2) 对比损失设计：为匹配新的数据创建方式，设计了一种允许每个样本拥有两个正样本对的修改版对比损失。(3) 高效的频域增强：在VQT表示上进行随机裁剪和时间拉伸，以低成本实现对音高和时间偏移的鲁棒性。 主要实验结果：在标准的Sample100基准上，本方法取得了0.603的mAP，相较于之前最佳基线（0.442）提升了超过15%（绝对值），同时在HR@1、HR@10等指标上也大幅领先。消融实验证明了时间拉伸、音高偏移（VQT裁剪）等增强策略以及使用高质量ground-truth stems的必要性。实验结果关键表格如下： 表1：模型消融实验（在Sample100和SamplePairs数据集上） ...

📄 BEST-STD 2.0: Balanced and Efficient Speech Tokenizer for Spoken Term Detection #音频检索 #自监督学习 #对比学习 #最优传输 #语音分词 ✅ 7.5/10 | 前25% | #音频检索 | #自监督学习 | #对比学习 #最优传输 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Anup Singh（IDLab, Department of Electronics and Information Systems, Ghent University, Belgium） 通讯作者：Vipul Arora（ESAT-PSI, KU Leuven, Belgium；标注有⋆表示equal advising） 作者列表：Anup Singh（IDLab, Department of Electronics and Information Systems, Ghent University, Belgium）、Vipul Arora（ESAT-PSI, KU Leuven, Belgium）、Kris Demuynck（IDLab, Department of Electronics and Information Systems, Ghent University, Belgium） 💡 毒舌点评 亮点在于将最优传输（OT）优雅地用于解决语音分词码本坍缩这一老大难问题，使得大码本训练稳定且高效，且在抗噪抗混响的鲁棒性上做到了超越同类基线（包括大模型WavLM的分词）的扎实水平。短板是研究的问题域（查询式语音术语检索）略显小众，且其核心的“稳健性”提升高度依赖于特定的任务和评价指标（Jaccard相似度、MTWV），对于通用语音理解或生成任务的直接启示有限。 ...