音频事件检测

📄 Earable Platform with Integrated Simultaneous EEG Sensing and Auditory Stimulation #音频事件检测 #信号处理 #多通道 #时频分析 📝 5.5/10 | 后50% | #音频事件检测 | #信号处理 | #多通道 #时频分析 | arxiv 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 -1.0 | 置信度 中 👥 作者与机构 第一作者：Min Suk Lee (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) 通讯作者：Yuchen Xu (yux013@ucsd.edu), Gert Cauwenberghs (gcauwenberghs@ucsd.edu) 作者列表： Min Suk Lee (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) Abhinav Uppal (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) Ananya Thota (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) Chetan Pathrabe (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) Rommani Mondal (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) Akshay Paul (UC San Diego, Institute for Neural Computation) Yuchen Xu (UC San Diego, Institute for Neural Computation) Gert Cauwenberghs (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering; Institute for Neural Computation) 💡 毒舌点评 亮点在于其将定制化耳道模型与Ag/AgCl干电极喷涂技术相结合，显著提升了信号质量和佩戴舒适度，为长期脑电监测提供了实用方案。短板是验证仅限于单个受试者，且其中一个对侧通道表现出显著噪声，这使得“稳健”、“长期”等宣称的普适性大打折扣，更像一个精心调校的原型机演示。 ...

📄 EdgeSpike: Spiking Neural Networks for Low-Power Autonomous Sensing in Edge IoT Architectures #音频事件检测 #神经形态计算 #边缘计算 #硬件感知优化 ✅ 7.5/10 | 前25% | #音频事件检测 | #神经形态计算 | #边缘计算 #硬件感知优化 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Gustav Olaf Yunus Laitinen-Fredriksson Lundström-Imanov（斯德哥尔摩大学经济学系，研究助理；卢森堡大学生命科学与医学系，博士生） 通讯作者：Gustav Olaf Yunus Laitinen-Fredriksson Lundström-Imanov（论文明确标注“Corresponding author: G. O. Y. Laitinen-Fredriksson Lundström-Imanov”，并提供其邮箱） 作者列表： Gustav Olaf Yunus Laitinen-Fredriksson Lundström-Imanov（斯德哥尔摩大学经济学系；卢森堡大学生命科学与医学系） Taner Yilmaz（Afyon Kocatepe大学计算机工程系，本科生） 💡 毒舌点评 这篇论文最大的亮点在于其“从算法到田间”的端到端验证魄力，特别是那个在铁路桥上跑了七个月的64节点实验，用真实数据狠狠地扇了那些只会在玩具数据集上比精度的论文一耳光。不过，其主要短板在于，尽管声称框架通用，但那个耗时费力的实地验证仅针对单一模态（声学发射）和单一气候区，其泛化能力是否如框架宣称般强大，还需要更多样的长期部署来证明。 🔗 开源详情 代码：https://github.com/edgespike/edgespike-iot 模型权重：论文中未提及 数据集： Google Speech Commands v2 [40]：公共数据集，在其原始许可证下使用。 CWRU bearing [41]：公共数据集，在其原始许可证下使用。 风力涡轮机齿轮箱私有语料库：论文中提及将发布一个匿名子集至Zenodo，具体DOI将在接受后分配。 混凝土梁声发射记录（SHAM）：论文中提及将发布至Zenodo，具体DOI将在接受后分配。 Demo：论文中未提及 复现材料：论文中提及将提供一个“匿名的审阅者制品包”用于审阅时的可重复性，并将在接受后根据Apache 2.0许可证发布整个框架、硬件可移植的运行时和基准测试套件。未提供具体的检查点或详细配置文件链接。 论文中引用的开源项目： TensorFlow Lite Micro [44]：https://github.com/tensorflow/tflite-micro CMSIS-NN [45]：https://github.com/ARM-software/CMSIS_5 (属于CMSIS项目的一部分) nx-SDK：用于Loihi 2编程的SDK，具体链接未在论文中提供，但为Intel公开资源。 PyNN-SpiNNaker：用于SpiNNaker 2编程的接口，具体链接未在论文中提供，但为SpiNNaker项目公开资源。 Otii Arc：商用测量设备，非开源项目。 AdamW [39]：优化器实现，为常见深度学习框架内置函数，未提供特定仓库链接。 Intel Loihi 2 [11]：神经形态硬件平台，非开源项目。 SpiNNaker 2 [12]：神经形态硬件平台，非开源项目。 补充信息 [模型架构] 补充：论文明确指出，直接编码器是模态特异的：对音频（KWS）和振动（MFD, SHAM）使用Delta调制编码器，而对sEMG和雷达使用在MFCC/Doppler-FFT前端后的阈值交叉编码器。这种设计是不同模态均能高效映射到短时间步（T=8-16）的关键。 [细节详述] 补充：训练使用的batch size为128。此外，BNTT技术的应用条件在原文中更明确：仅在T≥8时应用。 [实验结果] 补充：关于消融实验（表IX），原文在结果部分V-F小节提供了更详细的定性分析：移除代理梯度课程调度（固定k=1.0）会导致0.9pp的精度损失，但对能耗影响可忽略不计。 [核心摘要/毒舌点评] 补充：论文在讨论部分VII-C“Threats to Validity” 中明确自我声明了四个方面的局限性，比核心摘要中的总结更具体： 构建效度（能量代理模型）：平均脉冲率ρ是从5个batch的前向传播中估计的，可能低估了突发输入的能耗，但实地测量误差仅0.01%表明此风险在实践中已得到缓解。 内部效度（适应性范围）：片上适应规则仅修改第一层权重，无法校正更深层的分布漂移，因此将精度恢复率限制在2.1pp总退化的67%（恢复1.4pp）。 外部效度：七个月的实地验证是在单一地点（温带欧洲）、单一气候带和单一结构材料（钢筋混凝土） 上进行的，其泛化性声明有明确范围。年度周期（≥12个月）和多站点验证正在进行中。 [实验结果] 补充：在与先前SNN系统的具体对比上，原文给出了明确数字：EdgeSpike在KWS任务上优于Yin et al. [24] 2.3pp（94.1% vs 91.8%）；在EMG任务上优于SpikNAS [31] 1.7pp（89.2% vs 87.5%）；在MFD任务上优于TrueNorth部署 [23] 4.1pp（93.7% vs 89.6%）。 [评分理由/细节详述] 补充：论文在讨论部分VII-A 中专门讨论了比较的公平性。它指出，31倍的神经形态硬件能耗降低是一个跨平台比率（CNN-INT8运行在Cortex-M4 vs. SNN运行在Loihi 2/SpiNNaker 2）。同平台（Cortex-M4）上的比较（表V，6.1倍）隔离了软件级稀疏计算的贡献，而神经形态硬件上额外的约5倍增益反映了事件驱动硬件的专用化优势。 [细节详述] 补充：实地部署（第VI节）提供了更具体的节点硬件配置：每节点集成STM32L496 Cortex-M4 MCU、150 kHz MEMS压电声发射传感器、Semtech SX1262 LoRa无线电和Tadiran TL-5104 Li-SOCl₂电池（4.32 Wh标称，可用预算约2 Wh）。在部署任务下，平均每节点每小时触发8.2次推理。 📌 核心摘要 问题：边缘物联网设备需要执行复杂的智能感知任务（如关键词识别、故障诊断），但受限于严苛的功耗预算（需电池供电数年），传统的深度神经网络（即使量化到INT8）推理能耗仍然过高。 方法核心：提出了EdgeSpike，一个跨栈协同设计的脉冲神经网络（SNN）框架，整合了四项关键技术：(1) 结合直接编码与课程调度代理梯度的混合训练管线；(2) 基于硅片校准能量模型、受限于功耗和内存预算的硬件感知神经架构搜索（NAS）；(3) 针对Loihi 2、SpiNNaker 2和ARM Cortex-M的事件驱动稀疏运行时；(4) 无需反向传播的轻量级片上Hebbian适应规则。 创新之处：不同于多数仅聚焦算法或单一硬件优化的工作，EdgeSpike首次系统性地将SNN训练优化、硬件感知架构搜索、跨平台高效运行时部署以及长期片上自适应能力整合在一个统一框架中，并进行了长达数月的实地部署验证。 主要实验结果：在五个感知任务上，EdgeSpike的平均分类精度为91.4%，与强INT8 CNN基线（92.6%）仅差1.2个百分点。在神经形态硬件（Loihi 2, SpiNNaker 2）上，平均每推理能耗降低31倍（18×-47×）；在Cortex-M4微控制器上，平均降低6.1倍（4.6×-7.9×）。所有任务的端到端推理延迟均低于9.4ms。七个月、64节点的铁路桥实地部署表明，其预测电池寿命从基线CNN的312天延长至1978天（6.3倍提升），且在季节性漂移下，启用片上适应规则后精度损失仅为0.7pp（对比未启用的2.1pp）。 实际意义：为在无处不在的低功耗边缘设备上实现长寿命、高鲁棒性的自主智能感知提供了切实可行的解决方案，对工业预测性维护、基础设施健康监测、人机交互等物联网应用具有重要价值。 主要局限性：当前的实地验证仅在一种气候条件（温带欧洲）和单一传感模态（声学）上进行，长期部署（超过一年）和多站点泛化性尚未证明。片上适应规则仅调整第一层权重，对更深层次的分布漂移适应能力有限。 🏗️ 模型架构 EdgeSpike的核心是离散时间漏积分发放（LIF）神经元。其工作流程与架构组件如下： ...

📄 A Task-Aware Dual-Level Self-Supervised Learning Method for Effective Sound Event Detection #音频事件检测 #自监督学习 #多任务学习 #预训练 ✅ 7.5/10 | 前25% | #音频事件检测 | #自监督学习 #多任务学习 | #自监督学习 #多任务学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Jun Liu（中国科学技术大学 语音及语言信息处理国家工程研究中心） 通讯作者：Yan Song（中国科学技术大学 语音及语言信息处理国家工程研究中心） 作者列表：Jun Liu（中国科学技术大学 语音及语言信息处理国家工程研究中心），Qing Gu（中国科学技术大学 语音及语言信息处理国家工程研究中心），Peng-fei Cai（中国科学技术大学 语音及语言信息处理国家工程研究中心），Nan Jiang（中国科学技术大学 语音及语言信息处理国家工程研究中心），Yan Song（中国科学技术大学 语音及语言信息处理国家工程研究中心） 💡 毒舌点评 该方法巧妙地将针对片段级的音频标记（AT）和针对帧级的声音事件检测（SED）的监督需求，统一到一个双层自监督框架中，并用在线聚类生成的原型作为更有效的监督信号，思路清晰且有效。然而，其性能提升高度依赖于所选的特定编码器（PaSST）和在特定领域数据集（DESED）上的调优，通用性和可迁移性尚待验证，且未开源代码，让人对其实际复现效果打个问号。 🔗 开源详情 代码：论文中未提及自身代码的仓库链接。 模型权重：未提及是否公开预训练或微调后的模型权重。 数据集：使用的是公开的DESED数据集，并说明了其构成。如何获取未在本文中赘述，但该数据集通常可公开获取。 Demo：未提及在线演示。 复现材料：提供了较为详细的训练超参数（如学习率、batch size、epoch数、损失权重等）和模型结构描述（如Transformer块数、LoRA配置），但未提供训练脚本或配置文件。 引用的开源项目：论文中引用的开源项目包括：PaSST [21]（作为编码器）、以及用于特征提取和上采样的方法参考自[16]。 📌 核心摘要 问题：现有自监督学习（SSL）方法多采用单一层次的预训练任务（如仅片段级或仅帧级），与联合SED-AT（声音事件检测-音频标记）的半监督学习范式不匹配，限制了性能。 方法核心：提出一种任务感知的双层自监督学习方法。设计了一个基于Transformer的孪生网络，通过自蒸馏方式并行学习两个层次的目标：(1) 帧级目标：通过在线聚类生成原型码本，用作伪标签进行基于原型的掩码预测，提供SED所需的细粒度监督；(2) 片段级目标：通过一个可学习的层间加权平均池化（L-WAP）聚合教师网络的CLS token作为目标，进行对齐，提供全局语义信息。 新意：相比之前分别训练帧级和片段级目标或仅用简单对齐的方法，该工作实现了任务对齐的联合双层训练；同时，在线原型学习取代了离线聚类，提供了更动态、稳定的伪监督。 实验结果：在DESED数据集上，该方法取得了0.611/0.819的PSDS1/PSDS2分数，超越了先前的SOTA方法（如PMAM的0.597/0.805）。消融实验证明，双层结合及在线原型机制均带来显著提升。关键数据对比如下表所示： 模型 PSDS1 PSDS2 PaSST-SED [4] 0.555 0.791 ATST-SED [25] 0.583 0.810 MAT-SED [15] 0.587 0.792 PMAM [16] 0.597 0.805 Ours 0.611 0.819 意义：展示了任务导向的自监督预训练能有效提升半监督SED的性能，为利用无标签音频数据提供了新思路。 局限性：方法依赖PaSST编码器及其预训练权重，通用性受限；在线聚类引入的额外复杂度和超参数（如原型数K）需要调整；实验仅在单一数据集DESED上验证。 🏗️ 模型架构 该模型整体由编码器网络和孪生上下文网络两大部分组成（见图1）。 ...

📄 CaMoD: Causal-Aware Modality Denoising for Multimodal Dialogue Intent Recognition #多模态对话意图识别 #因果推理 #多模态模型 #音频事件检测 #鲁棒性 ✅ 7.5/10 | 前25% | #多模态对话意图识别 | #因果推理 | #多模态模型 #音频事件检测 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Jinlong Zhang（北京航空航天大学计算机科学与工程学院） 通讯作者：Bo Li（北京航空航天大学计算机科学与工程学院），Xudong Liu（北京航空航天大学计算机科学与工程学院） 作者列表：Jinlong Zhang（北京航空航天大学计算机科学与工程学院），Bo Li（北京航空航天大学计算机科学与工程学院），Xudong Liu（北京航空航天大学计算机科学与工程学院） 💡 毒舌点评 亮点：将“不是所有模态都可信”这一朴素认知，包装成了一套严谨的因果路由与反事实学习框架，解决了多模态融合中“盲目融合”的真实痛点，逻辑自洽且实验完整。 短板：创新本质是现有技术（MoE门控、反事实增强）在特定任务上的精巧组合，缺乏底层理论或架构上的突破；且实验仅限于一个数据集，对极端噪声或模态缺失的鲁棒性验证不足。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开预训练或训练好的模型权重。 数据集：使用公开的MIntRec数据集，论文中给出了标准划分比例。 Demo：未提及。 复现材料：提供了部分训练细节（优化器、学习率、Batch Size、训练轮数），但关键超参数（如共享维度H）、代码实现和完整配置缺失。 引用的开源项目：论文依赖并引用了BERT、Swin-Transformer、Wav2Vec 2.0、AdamW等开源模型和优化器。 开源计划：论文中未提及任何开源计划。 📌 核心摘要 要解决的问题：现有方法在多模态对话意图识别中，盲目融合所有模态（文本、视频、音频）信息，忽略了模态本身可能存在的噪声或与意图无关的情况，导致模型对噪声敏感且泛化能力差。 方法核心：提出CaMoD框架，其核心是一个动态因果路由机制。该机制通过两个门控函数评估视频和音频模态对意图的“因果影响”，将所有可能的模态组合（如纯文本、文本+视频等）视为专家路径，并动态选择最相关的路径进行融合，从而抑制噪声模态。 与已有方法相比新在哪里：a) 引入因果评估：不再平等对待所有模态，而是显式建模每个模态的因果贡献。b) 动态路径选择：借鉴MoE思想，实现细粒度、可解释的模态级去噪。c) 配套的训练框架：设计了包括因果一致性损失、多样性正则化器和反事实样本生成策略的多目标训练方法，在没有真实因果标签的情况下有效训练路由模块。 主要实验结果：在MIntRec基准数据集上，CaMoD在所有指标上超越现有最强基线。例如，准确率（ACC）达到74.83%，比最强基线SDIF-DA（73.90%）高出0.93%；加权F1值（WF1）为74.91%，提升0.98%。消融实验证明，移除因果路由（CRM）、一致性损失（CCL）、多样性正则化（CDR）或反事实生成策略（CSGS）均会导致性能显著下降（ACC下降1.27%至2.36%不等），验证了各组件的必要性。 实际意义：提升了多模态对话系统在真实噪声环境（如嘈杂语音、无关背景画面）下的鲁棒性和可靠性，同时其路由决策提供了一定的可解释性，有助于理解模型融合决策的依据。 主要局限性：a) 实验仅在单一数据集MIntRec上进行，缺乏在更多样、更具挑战性场景（如模态严重缺失、噪声强度动态变化）下的验证。b) 训练策略较为复杂，多个损失项的权重（如λ1=0.3, λ2=0.7）需要精细调优，论文未提供超参数敏感性分析。c) 推理时采用argmax硬选择一条路径，可能损失部分不确定性信息，且训练时的加权求和与推理时的硬选择存在差异。 🏗️ 模型架构 ![CaMoD整体框架图](https://ieeexplore.ieee.org/secondary/xpl/global/similarpaper.jsp?tp=&arnumber=11462418&ref= 注：此处应为论文中“pdf-image-page3-idx0”对应的架构图URL。由于提供的文本中仅有图片标识“pdf-image-page3-idx0”而无具体URL，根据规则，此处无法插入图片，仅用文字描述。 ...

📄 DBFT-SD: Weakly Supervised Multimodal Detection of Sensitive Audio-Visual Content #多模态模型 #音频事件检测 #对比学习 #知识蒸馏 #弱监督学习 🔥 8.0/10 | 前25% | #音频事件检测 | #对比学习 #知识蒸馏 | #多模态模型 #对比学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Song Xiao (中国科学技术大学， 北京电子科学和技术学院) 通讯作者：Xu Ji (中国科学技术大学) 作者列表：Song Xiao（中国科学技术大学， 北京电子科学和技术学院）、Xu Ji（中国科学技术大学， 北京电子科学和技术学院）、Haodong Yan（西安电子科技大学）、Xinyue Yu（中国科学技术大学） 💡 毒舌点评 论文的核心亮点在于其双分支自蒸馏架构，巧妙地利用一个更稳定的视觉分支来“教导”多模态分支，有效缓解了弱监督场景下音频噪声和模态不平衡问题。然而，作为一篇顶会论文，其核心方法（瓶颈融合、混合头部注意力）的理论深度和新意略显不足，更多是工程技巧的有效组合与验证，对比学习部分的马氏距离度量也相对常规。 🔗 开源详情 代码：论文提供了代码仓库链接：https://github.com/Sphnix-box/DBFT-SD。 模型权重：论文中未提及是否提供预训练模型权重下载。 数据集：论文中使用了XD-Violence数据集，但未说明其获取方式或是否公开提供。 Demo：论文中未提及提供在线演示。 复现材料：论文提供了部分训练细节（优化器、学习率、批大小、epoch数、硬件、Dropout率、关键自蒸馏超参数）。 论文中引用的开源项目：未明确列出依赖的开源工具或模型，但特征提取使用了I3D/CLIP (视觉) 和 VGGish (音频)。 📌 核心摘要 本文针对弱监督下大规模在线音视频敏感内容（如暴力、色情）检测的挑战，提出了动态瓶颈融合Transformer（DBFT）及其自蒸馏变体DBFT-SD。要解决的核心问题是现有方法中多模态信息融合效率低、弱监督标签噪声大以及模态间不平衡导致性能受限。方法核心是：1）在DBFT中，设计了包含动态路由的混合头部注意力机制和瓶颈融合Transformer，实现自适应的模态内与模态间特征聚合；2）在DBFT-SD中，引入一个仅使用视觉特征的辅助分支，通过基于余弦调度器的权重移动平均自蒸馏，将视觉分支的稳定知识迁移至多模态分支，并结合基于马氏距离的对比学习来增强关键帧的判别力。与已有方法相比，新在提出了整合动态注意力、瓶颈融合和自蒸馏的端到端多模态检测框架，能更好地处理噪声和模态不平衡。主要实验在XD-Violence数据集上进行，DBFT-SD达到了85.9%的平均精度（AP），超越了之前最优的多模态方法BN-WVAD（85.26% AP）和视觉方法VadCLIP（84.51% AP）。实际意义在于为社交媒体、视频平台的内容安全审核提供了更高效准确的自动化工具。主要局限性是对比实验仅在一个标准数据集上进行，缺乏更多样化或更具挑战性场景的验证。 ...

📄 Event Classification by Physics-Informed Inpainting for Distributed Multichannel Acoustic Sensor with Partially Degraded Channels #音频事件检测 #信号处理 #麦克风阵列 #多通道 🔥 8.0/10 | 前25% | #音频事件检测 | #信号处理 | #麦克风阵列 #多通道 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Noriyuki Tonami (NEC Corporation, Japan) 通讯作者：未说明 作者列表：Noriyuki Tonami (NEC Corporation, Japan)、Wataru Kohno (NEC Laboratories America, Inc., USA)、Yoshiyuki Yajima (NEC Corporation, Japan)、Sakiko Mishima (NEC Corporation, Japan)、Yumi Arai (NEC Corporation, Japan)、Reishi Kondo (NEC Corporation, Japan)、Tomoyuki Hino (NEC Corporation, Japan) 💡 毒舌点评 亮点：论文巧妙地将地震学中成熟的逆时偏移（RTM）物理模型“移植”到声学事件分类的预处理环节，提出了一个无需训练、完全基于波动物理的信道修复前端，为应对传感器退化和布局变化提供了一个高解释性的新思路。 短板：整个方法建立在“完美同步、无混响、自由场”的理想化模拟之上，且性能上限（Oracle）遥不可及，这大大削弱了其在现实复杂声场中部署的说服力——毕竟，真正的挑战往往始于时延和反射。 ...

📄 Fine-Tuning Large Audio-Language Models with Lora for Precise Temporal Localization of Prolonged Exposure Therapy Elements #音频事件检测 #多模态模型 #语音生物标志物 #迁移学习 ✅ 6.5/10 | 前50% | #音频事件检测 | #多模态模型 | #语音生物标志物 #迁移学习 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Suhas BN (College of Information Sciences & Technology, The Pennsylvania State University, USA) 通讯作者：论文中未明确标注通讯作者信息。 作者列表： Suhas BN (College of Information Sciences & Technology, The Pennsylvania State University, USA) Andrew M. Sherrill (Department of Psychiatry & Behavioral Sciences, Emory University, USA) Jyoti Alaparthi (Department of Psychiatry & Behavioral Sciences, Emory University, USA) Dominik Mattioli (School of Interactive Computing, Georgia Institute of Technology, USA) Rosa I. Arriaga (School of Interactive Computing, Georgia Institute of Technology, USA) Chris W. Wiese (School of Psychology, Georgia Institute of Technology, USA) Saeed Abdullah (College of Information Sciences & Technology, The Pennsylvania State University, USA) 💡 毒舌点评 亮点：论文精准地切入了一个真实且重要的临床痛点（PE疗法评估），并设计了一套从标注（LLM+人工验证）到建模（多模态微调）再到部署（隐私保护）的完整流水线，展现了扎实的领域应用思维。 短板：实验的说服力很大程度上受限于其“自产自销”——用自己定义的任务、自己标注（尽管经过验证）的数据、自己提出的数据划分来评估自己的方法，缺乏与领域内或更通用任务上现有SOTA方法的横向比较，使得“最佳MAE 5.3秒”的优越性难以完全确立。 ...

📄 HAVT-IVD: Heterogeneity-Aware Cross-Modal Network for Audio-Visual Surveillance: Idling Vehicles Detection with Multichannel Audio and Multiscale Visual Cues #音频事件检测 #多模态模型 #端到端 #麦克风阵列 🔥 8.0/10 | 前25% | #音频事件检测 | #多模态模型 | #端到端 #麦克风阵列 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xiwen Li（Scientific Computing and Imaging Institute, University of Utah） 通讯作者：Tolga Tasdizen（Scientific Computing and Imaging Institute, University of Utah; Department of Electrical and Computer Engineering, University of Utah） 作者列表：Xiwen Li（Scientific Computing and Imaging Institute, University of Utah）、Xiaoya Tang（Scientific Computing and Imaging Institute, University of Utah）、Tolga Tasdizen（Scientific Computing and Imaging Institute, University of Utah; Department of Electrical and Computer Engineering, University of Utah） 💡 毒舌点评 这篇论文的亮点在于其问题导向的系统设计，针对异质性模态融合、多尺度检测和训练不稳定这三个具体痛点，分别用Transformer、特征金字塔和解耦头给出了清晰的解决方案，实验增益显著。然而，其短板在于创新点的“组合”色彩较重，每个组件（如Transformer用于融合、FPN、解耦头）在其他视觉任务中已有广泛应用，论文的核心贡献更多是巧妙地将这些成熟模块应用于特定任务，而非提出根本性的新机制。 ...

📄 Hierarchical Activity Recognition and Captioning from Long-Form Audio #音频事件检测 #音频分类 #多任务学习 #预训练 #统一音频模型 ✅ 7.5/10 | 前25% | #音频事件检测 | #多任务学习 | #音频分类 #预训练 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Peng Zhang（萨里大学视觉、语音与信号处理中心 CVSSP） 通讯作者：未说明 作者列表：Peng Zhang（萨里大学CVSSP）、Qingyu Luo（萨里大学CVSSP）、Philip J.B. Jackson（萨里大学CVSSP）、Wenwu Wang（萨里大学CVSSP） 💡 毒舌点评 这篇论文的亮点在于它像一个严谨的“包工头”，为“长音频层级理解”这个新工地（MultiAct数据集）和一套标准施工流程（统一层级模型）打了样，实验全面且开源承诺明确。短板则是所用的砖瓦（模型组件）多为现有库存，施工方法（框架创新）更偏向于系统集成而非原创性突破，面对复杂长程依赖时，模型表现仍有明显瓶颈（如序列预测的误差随上下文增长）。 🔗 开源详情 代码：提供代码仓库链接 github.com/PennyZhang9/MultiAct。 模型权重：论文中未明确说明是否公开预训练模型权重，但提供了开源代码仓库，权重可能包含在其中或后续发布。 数据集：MultiAct数据集公开，遵循CC BY许可（音频部分受EPIC-KITCHENS非商业许可约束）。 Demo：论文中未提及。 复现材料：提供了主要模型架构图和实验设置描述，但关键训练超参数在正文中未详细列出，复现细节需参考代码仓库。 论文中引用的开源项目： Auditory SlowFast (ASF)：音频特征提取骨干网络。 ActionFormer：用于音频活动检测的基线模型。 BART：用于字幕生成的预训练语言模型解码器。 Conformer：用于序列预测任务的编码器。 GPT-4o：用于辅助数据集标注的LLM。 📌 核心摘要 要解决的问题：现有音频理解研究大多局限于短片段和孤立事件，缺乏对真实世界长音频中具有层次化（活动-子活动-事件）和序列化结构的复杂人类活动的理解。 方法核心：提出MultiAct新数据集，包含带有多层级时间标注和双粒度文本描述的长音频；并设计一个统一的层级模型框架，联合处理层级分类、检测、序列预测和多分辨率字幕生成任务。 与已有方法相比新在哪里：主要新在任务定义和数据资源上。MultiAct是首个提供长时程、三层级语义标注及配对描述的音频数据集。模型框架旨在统一解决上述多个层级化任务，而非针对单一任务。 主要实验结果： 层级分类任务：在评估集上，活动分类Top-1准确率达83.3%，子活动分类最佳Top-1为51.3%。 检测任务：子活动检测的平均AP在IoU@0.5时为22.0%，事件检测为12.5%，揭示了边界定位的挑战。 序列预测任务：使用CTC的Conformer模型，在训练上下文长度为2时AER最低（验证集66.7%），随上下文变长误差上升。 字幕生成任务：层级模型在大多数指标上优于基于规则的基线，例如在评估集的高阶摘要任务中，ROUGE-L从20.7提升至28.3，CIDEr从2.2提升至11.1。 实际意义：为长音频的层级结构理解研究建立了基准，推动了从孤立事件识别到复杂活动理解的研究范式转变，其建模思路可应用于监控、智能家居等领域。 主要局限性：模型在处理长程依赖（如长序列预测）和精确边界定位（检测任务中高IoU性能下降）方面仍存在挑战；模型架构缺乏核心原创性；数据集规模（~9小时）和场景多样性（厨房）有待扩充。 🏗️ 模型架构 论文提出的统一层级框架（见图2）包含三个主要组件，协同工作以处理长音频的层级理解和生成任务。 ...

ICASSP 2026 - 音频事件检测 共 21 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Shared Representation Learning for Reference-Guided Targeted 8.5分 前25% 🥈 Temporally Heterogeneous Graph Contrastive Learning for Mult 8.5分 前25% 🥉 More Than a Shortcut: A Hyperbolic Approach to Early-Exit Ne 8.0分 前25% 4. HAVT-IVD: Heterogeneity-Aware Cross-Modal Network for Audio- 8.0分 前25% 5. DBFT-SD: Weakly Supervised Multimodal Detection of Sensitive 8.0分 前25% 6. Event Classification by Physics-Informed Inpainting for Dist 8.0分 前25% 7. USVexplorer: Robust Detection of Ultrasonic Vocalizations wi 8.0分 前25% 8. Improving Anomalous Sound Detection with Attribute-Aware Rep 8.0分 前10% 9. Toward Faithful Explanations in Acoustic Anomaly Detection 7.5分 前25% 10. Task-Oriented Sound Privacy Preservation for Sound Event Det 7.5分 前25% 11. A Task-Aware Dual-Level Self-Supervised Learning Method for 7.5分 前25% 12. Triad: Tri-Head with Auxiliary Duplicating Permutation Invar 7.5分 前25% 13. Hierarchical Activity Recognition and Captioning from Long-F 7.5分 前25% 14. Refgen: Reference-Guided Synthetic Data Generation for Anoma 7.5分 前25% 15. Tldiffgan: A Latent Diffusion-Gan Framework with Temporal In 7.5分 前25% 16. SONAR: Self-Distilled Continual Pre-Training for Domain Adap 7.0分 前25% 17. Improving Audio Event Recognition with Consistency Regulariz 7.0分 前25% 18. SELD-MOHA: A Fine-Tuning Method with the Mixture of Heteroge 7.0分 前25% 19. Influence-Aware Curation and Active Selection for Industrial 7.0分 前50% 20. Phase-Space Signal Processing of Acoustic Data for Advanced 7.0分 前50% 21. Fine-Tuning Large Audio-Language Models with Lora for Precis 6.5分 前50% 📋 论文详情 🥇 Shared Representation Learning for Reference-Guided Targeted Sound Detection 🔥 8.5/10 | 前25% | #音频事件检测 | #多任务学习 | #预训练 #音频检索 ...