把“是什么”和“在哪里”分开学:DISSE 用双头解开空间音频文本表示
针对单嵌入把声源与空间混在一起的问题,DISSE 在同一主干上接声源头与空间头并用弱配对监督对比学习,在保持在任务检索的同时把偏离任务检索压到接近零,但代价是依赖合成房间脉冲与因子标签且只冻结编码器训练投影头。
针对单嵌入把声源与空间混在一起的问题,DISSE 在同一主干上接声源头与空间头并用弱配对监督对比学习,在保持在任务检索的同时把偏离任务检索压到接近零,但代价是依赖合成房间脉冲与因子标签且只冻结编码器训练投影头。
针对文本、视觉、音频三模态组合查询检索问题,OmniRet 用共享媒体重采样器压缩长媒体 token 序列提高效率、用注意力切片 Wasserstein 池化保留细粒度分布信息,在约 600 万对 30 个数据集训练下组合检索和音视频任务提升明显,而单向量压缩与有限主干仍是主要代价与边界。
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
针对给定目标音色从预设库中找回最接近 DX7 预设的问题,论文用 SLAP 式音频参数联合嵌入加仿真调制信号流的 DX7-GNN 编码器,在未见拓扑上以 52.2% R@1 超过 Transformer 与 Highway 基线,代价是依赖算子交换增强与单音高单力度渲染条件。
FXplorer 针对离散预设难以覆盖连续音色变化的问题,用离线随机采样加 CLAP 与 AFx-Rep 双嵌入降维构建可试听二维地图,2 秒干声生成 100 个变体在 CPU 上约 36.95 秒,代价是无用户对照评估且跨效果链插值仍需手动重选端点。
该综述以 60 个创意应用为对象,用中心性与交互性双轴揭示 Freesound 已成为基础设施但内容检索与相似检索仍被低估,代价是探索模式收敛于文本搜索。
论文用两阶段合成字幕数据引擎和覆盖八到十组跨模态对的对比学习训练 PEAV,在零样本声音音乐语音视频检索分类上取得最强证据,但代价是 92M 加 32M 数据与大音频编码器和长视频推理成本。
针对影视非语音非音乐音效在检索与程序化生成之间频繁切换的问题,QuAP 用混合检索加六个程序化模型加规则助手统一工作流,主证据是 16 人用户评估与 MUSHRA 在六类中五类显著改善和 FSD50K 上 MobileNetV3 检索占优,代价是 Rocket 与 Jet 等类别仍不够逼真且仅支持六类。
针对 CLIP 视频文本检索丢弃音轨且 AST 类编码器不理解语音的问题,SAVE 用 Whisper 转写加 CLIP 文本编码的语音分支与 ImageBind 软监督的 soft-ALBEF 先对齐再融合,在五个基准上超过 AVIGATE 等基线,代价是依赖 ASR 可用性与离线三分支特征抽取。
针对对比掩码自编码中随机可见块污染全局表示的问题,TG-DP 把重建与对比拆成两条掩码不同的前向路径并用全量教师做蒸馏与引导掩码,在 AudioSet 检索上把 R@1 从 35.2% 提升到 37.4% 和从 27.9% 提升到 37.1%,代价是每轮预训练时间从 730 s 增加到 1045 s 且推理前需丢弃教师分支。
针对短于两分钟与低信噪比录音中相关系数与归一化错位难以区分对齐与错位片段的问题,该工作用时域卷积编码器学习三谐波潜在表示并与原始相关分数线性融合做检索式时间戳估计,在跨电网训练与测试下把全部长度成功率从 77.63% 提升到 85.63%,短录音从 55.14% 提升到 73.14%,代价是仍依赖短时傅里叶提取与十五秒容差判定且长录音增益收窄。
该研究以约 35 分钟协奏曲为载体,用 BBC 爱乐广播档案训练 RAVE 与拼接合成乐器来驱动作曲与现场演奏,报告显示嵌入式 AI 塑造了全曲结构而非仅 moment 声音,代价是记谱、延迟与排练可信度需专门设计。
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
针对音频与文本交替出现的多轮上下文检索,论文构造统一 ATIR 基准并训练带音频令牌选择器的双编码器 ATIR-Qwen-3B,报告平均 78.86% Recall@1 和 85.09% nDCG@5,最强对照下仍保留打乱交织结构即下降的反证,代价是两阶段微调与选择器阈值调节。
针对沃洛夫语音查法语文本的跨语言跨模态检索问题,论文比较晚融合与双编码器路线,最强证据是晚融合在自然口语检索与未见意图任务上保持可复述的优势,代价是依赖合成文档与较高维度推理开销。
针对长语音问答中大音频语言模型难以直接处理十几分钟以上上下文的问题,论文提出先把语音转成类文本表示再做对比检索的 CLSR,用四个数据集的召回对照和长文问答的抽取验证支撑该路线,并以联合训练三项损失与冻结文本编码器为代价。
针对片段级描述数据量大但无时间信息与帧级短语标注稀少难同训的问题,FineLAP 用全局与细粒度解耦音频适配器加片段与帧双流 Sigmoid 损失同训,在 AudioCaps 检索 R@1 取得 45.7 与 62.5 并在四组声音事件检测上领先,代价是固定 10 秒输入与合成数据分布偏差仍待验证。
该工作把任意输入音频的频谱特征映射到在 7999 个电子舞曲鼓循环上学到的 256 个离散节奏原型,再用力度解码器恢复动态并用用户原声合成,在验证集上重建汉明距离为 0.0064、力度误差相对均值基线降低 77.4%,代价是 2000 个环境声音只激活 50% 码本且弱音表现不足。
针对单向量语音嵌入把内容与说话人混在一起的问题,该工作用共享声学编码器加分轴线性投影头做因子分区嵌入,并用带符号加权余弦实现可控检索,最强证据是跨语料库语义检索在加入说话人辅助任务后从近随机恢复到上限,而代价是纯语义蒸馏会坍缩且梯度反转与降维会破坏负权重几何。