音频分类

📄 ECHO: Frequency-Aware Hierarchical Encoding for Variable-Length Signals #音频大模型 #音频分类 #自监督学习 #工业应用 #开源工具 🔥 9.5/10 | 前10% | #音频分类 | #自监督学习 | #音频大模型 #工业应用 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Yucong Zhang（武汉大学计算机学院；苏州昆山杜克大学多模态智能系统苏州市重点实验室） 通讯作者：Juan Liu（武汉大学人工智能学院）， Ming Li（武汉大学人工智能学院；苏州昆山杜克大学） 作者列表：Yucong Zhang（武汉大学计算机学院；苏州昆山杜克大学多模态智能系统苏州市重点实验室）， Juan Liu†（武汉大学人工智能学院）， Ming Li†（武汉大学人工智能学院；苏州昆山杜克大学）。†表示共同通讯作者。 💡 毒舌点评 亮点： 该论文成功地将频率感知和滑动窗口两大思想结合，构建了一个能优雅处理现实世界工业信号（采样率可变、长度可变）的通用基础模型，并通过一个前所未有的全面基准（SIREN）证明了其优越性，做到了“设计解决实际问题”和“实验证明设计有效”的闭环。 短板： 论文的实验全部基于离线、干净的学术数据集，对于工业界最关心的实时流式推理性能、计算资源消耗以及在嘈杂、非理想工况下的鲁棒性缺乏深入探讨，这使得其“工业应用”的宣称在现阶段更偏向于技术展示而非经过实战检验的方案。 🔗 开源详情 代码：提供了完整的代码仓库链接：https://github.com/yucongzh/ECHO。 模型权重：论文未明确提及是否公开了预训练模型权重，但提供了代码仓库，权重很可能在其中或后续发布。 数据集：公开了SIREN评估基准工具包：https://github.com/yucongzh/SIREN，并说明包含了多个数据集，获取方式应在该仓库中说明。 Demo：论文中未提及在线演示。 复现材料：提供了详尽的训练细节（学习率、batch size、优化器、步数、硬件、调度策略等），足以支持复现。训练细节见论文第5.1节。 论文中引用的开源项目：论文引用了其对比的多个基础模型（BEATs, CED, EAT, Dasheng, FISHER）的开源实现或论文。此外，SIREN基准中使用的数据集（如DCASE, MAFAULDA, CWRU, IIEE, IICA）均为公开数据集。 📌 核心摘要 问题：现有的音频/信号基础模型大多基于视觉Transformer，依赖固定尺寸的频谱图输入和固定的预设采样率。处理可变长度信号需要截断/插值，破坏时序连续性；处理不同采样率信号需要重采样，导致信息损失。这限制了它们在通用机器信号监测（涵盖声学、振动等多模态、多采样率数据）中的应用。 方法核心：提出ECHO模型，其核心是“频率感知层级编码”。首先，将频谱图沿频率轴均匀分割为多个子带，并为每个子带计算基于其中心频率的相对位置编码，以适配任意采样率。其次，在每个子带上应用滑动窗口提取重叠的时间补丁，以处理任意长度的输入，无需填充或裁剪。最后，将每个子带的序列送入独立的ViT编码器，再将所有子带的分类令牌拼接成最终的层级化嵌入。 新意：与已有的频率分割模型（如FISHER）相比，ECHO创新性地引入了频率位置编码，使模型能显式地感知子带在全频谱中的相对位置，而非独立处理。与传统的固定补丁模型（如BEATs， EAT）相比，滑动补丁设计能更好地保留时序连续性，适应可变长度输入。ECHO旨在统一支持可变长度和可变采样率信号。 实验结果：在论文提出的统一评估基准SIREN上，ECHO（Small版）取得了77.65%的整体平均分，超过了最强基线FISHER（76.86%）和Dasheng（76.04%）。在故障分类任务平均准确率达到93.19%，位居第一；在DCASE异常检测任务平均得分62.11%，也达到最佳。相比FISHER，ECHO在所有DCASE年份和大部分故障分类数据集上均有提升。 模型 规模 参数量 SIREN总均分 DCASE任务均分 故障分类任务均分 ECHO Small 22M 77.65 62.11 93.19 FISHER Small 22M 76.86 61.00 92.73 Dasheng Base 86M 76.04 59.95 92.12 EAT Base 86M 74.23 60.84 87.62 BEATs Base 90M 71.86 61.86 81.86 实际意义：ECHO为工业设备的状态监测提供了一个强大的通用前端特征提取器。其处理可变采样率和长度的能力，使其能无缝集成来自不同传感器、不同工况的数据，无需预处理重采样或裁剪，简化了部署流程。开源代码和SIREN基准为社区提供了公平比较和推进该领域研究的平台。 主要局限：模型虽在学术数据集上表现优异，但缺乏在真实工业场景（高噪声、数据不平衡、极端故障模式）下的验证。论文未探讨模型的推理效率（如延迟、吞吐量），这对实时监测至关重要。此外，滑动窗口带来的计算量增加及其优化策略未做深入分析。 🏗️ 模型架构 ECHO的整体架构如图1所示，是一个端到端的处理流程，包含四个核心组件： ...

📄 Empowering Multimodal Respiratory Sound Classification with Counterfactual Adversarial Debiasing for Out-of-Distribution Robustness #音频分类 #生物声学 #对比学习 #数据增强 #多模态模型 ✅ 7.0/10 | 前25% | #音频分类 | #对比学习 | #生物声学 #数据增强 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Heejoon Koo（伦敦大学学院，RSC LAB） 通讯作者：June-Woo Kim（RSC LAB，光州科学技术院） 作者列表：Heejoon Koo（伦敦大学学院，RSC LAB）、Miika Toikkanen（RSC LAB）、Yoon Tae Kim（RSC LAB，韩国科学技术院）、Soo Yong Kim（RSC LAB）、June-Woo Kim†（RSC LAB，光州科学技术院） 💡 毒舌点评 本文的亮点在于构建了一个系统性较强的去偏框架，将因果推理中的反事实估计与公平学习领域的对抗去偏相结合，并针对医疗数据特点设计了具体的元数据增强策略，逻辑自洽。短板是创新性主要体现在技术组合与特定领域适配上，且实验部分的广度有限，仅在一个主任务（呼吸音分类）和两个数据集上验证，缺乏对更通用音频任务或更复杂偏见场景的探讨。 🔗 开源详情 详�� 代码：是，提供代码仓库链接：https://github.com/RSC-Toolkit/BTS-CARD。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：ICBHI和SPRSound均为公开数据集，论文中给出了具体引用和获取信息。 Demo：论文中未提及提供在线演示。 复现材料：论文中提供了详细的训练数据集描述、预处理步骤、训练超参数、损失函数配置以及评估协议，复现信息较为充分。 论文中引用的开源项目/模型：RUBi用于融合，Clinical TinyBERT用于元数据文本编码，Audio-CLAP/BTS作为基础模型，AdamW优化器。 📌 核心摘要 要解决的问题：多模态呼吸音分类模型易受患者元数据（如年龄、性别、采集设备）产生的虚假关联（伪相关）影响，导致在不同临床环境（分布外数据）下泛化性能显著下降。 方法核心：提出BTS-CARD框架，通过三重机制缓解偏见：1）基于因果图的反事实去偏，通过估计并减去自然直接效应（NDE）来抑制元数据对预测的直接虚假影响；2）对抗去偏，在NDE路径上引入梯度反转层，学习对位置和设备不敏感的特征表示；3）反事实元数据增强，在训练中用中性占位符替换敏感元数据，模拟干预以打破虚假依赖。 与已有方法相比新在哪里：首次将反事实推理与对抗去偏相结合用于多模态呼吸音分类。不同于简单地删除或掩码元数据，本文通过精心设计的反事实估计和对抗学习，旨在保留元数据中可能包含的有益间接信息，同时抑制其直接带来的偏见。 主要实验结果：在ICBHI（分布内）和SPRSound（分布外）数据集上，BTS-CARD在ICBHI Score（敏感性与特异性均值）指标上均优于强基线（如BTS）。具体而言，在分布外设置下，本文方法取得了61.96%的分数，显著高于BTS的53.42%。消融实验表明，三个组件对性能均有贡献，其中去除反事实元数据增强对分布外性能影响最大。参数分析显示，推理时去除直接效应（α=0）反而能获得最佳分布外性能。 实际意义：该方法提升了呼吸音分类模型在不同医院、不同设备间的泛化能力和鲁棒性，对于推动临床AI系统的实际部署具有积极意义。 主要局限性：研究的泛用性有待验证，仅在单一任务和特定数据集组合上进行评估。对抗去偏主要针对采集位置和设备，对年龄、性别等其他敏感属性的去偏效果在实验中未显示出优势，其普适性值得商榷。 🏗️ 模型架构 BTS-CARD框架建立在BTS（Bridging Text and Sound）多模态模型基础上，旨在对BTS预测进行反事实去偏。整体流程如下： ...

📄 Enhanced Generative Machine Listener #音频分类 #生成模型 #深度学习 #音频编码 ✅ 7.0/10 | 前25% | #音频分类 | #生成模型 | #深度学习 #音频编码 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表：Vishnu Raj（Dolby Laboratories）、Gouthaman KV（Dolby Laboratories）、Shiv Gehlot（Dolby Laboratories）、Lars Villemoes（Dolby Laboratories）、Arijit Biswas（Dolby Laboratories） 💡 毒舌点评 亮点：论文将主观听测分数建模问题，从传统的单点预测提升到对分数概率分布（Beta分布）的建模，这一理论视角的升级更为本质，能自然处理分数的边界和偏态分布。短板：实验虽全面，但核心创新是改进损失函数（Beta loss）和数据扩展，缺乏对模型架构本身（如Inception块）的深入剖析或创新，且置信区间的预测价值未被定量验证，略显“画饼”。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开模型权重。 数据集：论文中提到了使用的训练集和测试集来源（如ODAQ），但未说明是否公开或如何获取其扩展的完整训练数据集。 Demo：未提供在线演示。 复现材料：论文提供了较为详细的训练配置（GPU型号、batch size、优化器、学习率、训练步数、语谱图参数），但缺少网络具体架构配置、完整的预处理脚本和检查点信息。 论文中引用的开源项目：引用了多个公开的神经音频编解码器模型（如Encodec, Descript Audio Codec, MDCTNet），这些可能作为测试数据的一部分。也提到了PEAQ和ViSQOL的开源实现。 📌 核心摘要 问题：自动化的客观音频质量评估模型通常输出单一分数，无法捕捉主观评价中的内在不确定性和变异性，尤其是在边界或歧义情况下。 核心方法：提出GMLv2，一个基于Beta分布的生成式模型。它通过神经网络预测Beta分布的形状参数（α, β），从而联合估计期望的MUSHRA分数（分布均值）和不确定性（分布方差/形状）。 创新点：相较于使用高斯/逻辑斯蒂分布的GMLv1，Beta分布天然定义在[0,1]区间，完美匹配归一化的MUSHRA分数，无需后处理修正，且其灵活的形状能更好地拟合有偏或双峰的听众评分分布。 主要实验结果：在8个涵盖传统编解码器（AAC， Dolby AC-4等）和神经编解码器（Encodec， DAC等）的测试集上，GMLv2在皮尔逊相关性（Rp）、斯皮尔曼相关性（Rs）和离群点率（OR）上均显著优于PEAQ、ViSQOL-v3和重新训练后的GMLv1（见下表）。聚合Rp/Rs达到0.9526/0.9205，OR降至0.0964。 表1：主要实验结果对比 评测集 PEAQ (Rp/Rs) ViSQOL (Rp/Rs) GMLv1* (Rp/Rs/OR) GMLv2 (Rp/Rs/OR) USAC-1 0.47/0.40 0.81/0.84 0.91/0.90/0.045 0.92/0.90/0.045 USAC-2 0.42/0.20 0.77/0.78 0.89/0.84/0.067 0.93/0.89/0.067 USAC-3 0.56/0.62 0.82/0.90 0.92/0.92/0.046 0.94/0.93/0.046 Binaural 1 0.75/0.79 0.90/0.93 0.95/0.93/0.182 0.98/0.94/0.182 Binaural 2 0.42/0.56 0.96/0.85 0.98/0.91/0.012 0.99/0.91/0.012 NAC Mono 0.34/0.31 0.89/0.86 0.92/0.94/0.833 0.97/0.94/0.071 NAC Stereo 0.58/0.40 0.82/0.89 0.93/0.90/0.589 0.95/0.93/0.078 ODAQ 0.71/0.65 0.70/0.80 0.81/0.81/0.817 0.83/0.83/0.271 聚合 0.56/0.52 0.85/0.86 0.93/0.90/0.725 0.95/0.92/0.096 实际意义：为音频编码（特别是神经编解码器）的研发提供了一个更可靠、可解释的自动化质量评估工具，能够量化预测的不确定性，加速评估迭代。 主要局限性：(1) 论文中未提供模型权重和代码开源计划，复现依赖外部资源；(2) 虽然模型预测了分布参数，但文中明确指出“置信区间的定量评估留待未来工作”；(3) 模型架构主体沿用前作的Inception块，创新主要集中在损失函数和训练数据扩展。 🏗️ 模型架构 GMLv2是一个参考型深度学习模型，其输入为参考音频（x）和待测音频（˜x）的信号对，输出为预测的MUSHRA分数均值及其对应的Beta分布参数（α, β）。 ...

📄 Estimating Respiratory Effort from Nocturnal Breathing Sounds for Obstructive Sleep Apnoea Screening #音频分类 #CNN-LSTM #多任务学习 #医疗声学 #生物声学 ✅ 6.5/10 | 前25% | #音频分类 | #多任务学习 | #CNN-LSTM #医疗声学 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Xiaolei Xu（谢菲尔德大学计算机科学学院） 通讯作者：未说明 作者列表：Xiaolei Xu（谢菲尔德大学计算机科学学院）、Chaoyue Niu（谢菲尔德大学计算机科学学院）、Guy J. Brown（谢菲尔德大学计算机科学学院）、Hector Romero（Passion for Life Healthcare）、Ning Ma（谢菲尔德大学计算机科学学院） 💡 毒舌点评 这篇论文的亮点在于其开创性思路：首次尝试从夜间呼吸声这一单一模态中，直接估计出通常需要接触式传感器才能获取的“呼吸努力”生理信号，从而为无感的睡眠监测扫清了一个关键障碍。然而，其短板也相当明显：呼吸努力的估计精度（CCC 0.48）仅达到中等相关性，这直接导致了后续融合策略带来的性能提升幅度有限，甚至在某些关键阈值（如AHI≥30）上不如直接使用音频特征，让人对“估计信号”的实际增益打个问号。 🔗 开源详情 论文中未提及任何代码、模型权重、数据集的公开链接或在线演示。也未说明是否有公开计划。复现所需的训练细节（如优化器、学习率、超参数搜索范围）和检查点信息均未提供。论文中引用的开源项目主要为前序工作[9, 12]的数据集和基线方法。 📌 核心摘要 本文针对阻塞性睡眠呼吸暂停症（OSA）诊断依赖复杂多导睡眠图（PSG）且普及困难的问题，提出一种仅需智能手机音频即可进行OSA筛查的新方法。其核心是设计了一个两阶段框架：首先训练一个模型从夜间呼吸/打鼾声中估计腹部呼吸努力信号，然后冻结该模型，提取其潜在表征作为“呼吸努力嵌入”，与另一个音频编码器提取的声学嵌入在潜在空间进行融合，最终用于OSA事件检测和严重程度分类。与已有方法相比，其新意在于首次实现了从音频直接推断呼吸努力，摆脱了对额外传感器的依赖，维持了纯声学方法的可扩展性。实验在157晚、103名参与者的家庭录音数据集上进行，结果显示：呼吸努力估计器达到0.48的平均CCC；融合估计的呼吸努力后，在AHI阈值5（检测轻度OSA）时，敏感性达到0.88，优于音频基线（0.86）和使用真实努力信号的“Oracle”系统（0.81），AUC为0.86。该方法的实际意义在于为低成本、无感、长期的OSA家庭监测提供了可行的技术路径。其主要局限性包括：呼吸努力的估计精度受限于复杂家庭环境噪声，导致融合收益有限；缺乏充分的消融实验以证明性能提升完全来自呼吸努力表征而非模型容量增加。 🏗️ 模型架构 论文提出一个两步走的潜在空间融合框架，用于从夜间音频检测OSA。 第一步：音频到呼吸努力的估计器（图1蓝色部分） 输入：30秒的音频片段，表示为64维对数梅尔滤波器组特征（1500帧 x 64频段）。 组件： CNN特征提取器：使用比音频基线更小的池化核以保留时间分辨率，将输入从1500x64转换为187x128的特征图。 LSTM编码器：处理CNN输出的187帧时序特征，捕获呼吸动力学，产生隐藏状态序列。 解码器与插值：一个线性解码器将每个LSTM隐藏状态投影为一个值，生成187点的预测序列。由于参考呼吸努力信号（32Hz采样）在30秒内有960个点，预测序列通过插值上采样至960点，以对齐标签并进行损失计算。 输出：预测的归一化呼吸努力信号序列。 关键设计：采用“先预测低分辨率序列再插值”的策略，平衡了LSTM训练复杂性和最终信号保真度。优化目标使用一致性相关系数（CCC）损失，以同时优化相关性与偏差。 第二步：融合OSA检测（图1橙色部分） ...

📄 FOCA: Multimodal Malware Classification via Hyperbolic Cross-Attention #音频分类 #多模态模型 #恶意软件检测 #双曲神经网络 #跨模态融合 ✅ 7.5/10 | 前25% | #音频分类 | #多模态模型 | #恶意软件检测 #双曲神经网络 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Nitin Choudhury (印度信息技术学院德里分校， IIIT-Delhi)， Bikrant Bikram Pratap Maurya (印度信息技术学院德里分校， IIIT-Delhi) （论文指出两位作者贡献相等，共同作为第一作者） 通讯作者：Orchid Chetia Phukan (orchidp@iiitd.ac.in) （印度信息技术学院德里分校， IIIT-Delhi） 作者列表：Nitin Choudhury (IIIT-Delhi)， Bikrant Bikram Pratap Maurya (IIIT-Delhi)， Orchid Chetia Phukan (IIIT-Delhi)， Arun Balaji Buduru (IIIT-Delhi) 💡 毒舌点评 亮点：首次将双曲空间和双曲交叉注意力机制引入多模态恶意软件分类，为融合具有潜在层次关系的模态数据提供了新颖且理论优雅的解决方案，实验结果也确实证明了其有效性。短板：论文虽展示了性能提升，但对于“音频模态编码细粒度字节特征，视觉模态捕获高层空间结构”这一层次假设的实证分析不足，且双曲计算带来的额外开销与性能收益的权衡讨论缺失。 ...

📄 Hair Noise Analysis and Mitigation for Smart Glasses Audio Captures #语音增强 #信号处理 #麦克风阵列 #音频分类 #数据集 ✅ 7.5/10 | 前25% | #语音增强 | #信号处理 | #麦克风阵列 #音频分类 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Subrata Biswas（Worcester Polytechnic Institute, MA, USA 及 Meta Reality Labs, WA, USA） 通讯作者：未明确说明（根据邮箱排列，可能是Daniel Wong） 作者列表： Subrata Biswas（Worcester Polytechnic Institute 及 Meta Reality Labs） Daniel Wong（Meta Reality Labs） Bashima Islam（Worcester Polytechnic Institute） Sanjeel Parekh（Meta Reality Labs） Vladimir Tourbabin（Meta Reality Labs） 💡 毒舌点评 亮点：论文开创性地将“头发噪音”这个长期困扰智能眼镜用户却鲜少被学界系统研究的“房间里的大象”定义为明确的学术问题，其用户研究和数据集构建工作扎实且具有长远价值。短板：提出的NMF基准方法略显保守，虽然有效，但在深度学习大行其道的今天，缺乏与基于深度学习的降噪/分离方法（如论文引用但未深入对比的[6][7][8]）的直接较量，使得“基准”的标杆高度受限。 ...

📄 Hanui: Harnessing Distributional Discrepancies for Singing Voice Deepfake Detection #音频深度伪造检测 #生成模型 #自监督学习 #音频分类 #鲁棒性 🔥 8.0/10 | 前10% | #音频深度伪造检测 | #生成模型 | #自监督学习 #音频分类 学术质量 5.8/7 | 选题价值 1.5/2 | 复现加成 0.7 | 置信度 高 👥 作者与机构 第一作者：未说明（论文标题后并列列出三位作者，无明确标注） 通讯作者：未说明 作者列表：Seyun Um（延世大学电气电子工程系）、Doyeon Kim（延世大学电气电子工程系）、Hong-Goo Kang（延世大学电气电子工程系） 💡 毒舌点评 亮点：将自编码器在异常检测中的“分布差异”思想巧妙地迁移到深度伪造检测，通过一个简单而深刻的假设（真实声音比伪造声音更难被自编码器准确重建）驱动整个模型设计，思路清晰且有效，泛化性能突出。 短板：整个框架依赖一个精心设计且训练好的自编码器，其计算和训练开销可能高于一些单阶段的判别模型；此外，方法对“伪造声音分布更简单”这一假设的有效性，可能依赖于当前主流伪造技术的水平，面对未来更复杂、更接近真实分布的伪造方法，其优势是否会减弱尚待验证。 🔗 开源详情 代码：是，论文明确提供了GitHub代码仓库链接：https://github.com/sam-0927/Hanui 模型权重：论文中未提及是否公开预训练模型权重。 数据集：论文使用的SingFake和CtrSVDD数据集是公开的，但作者说明因版权限制无法直接分发其重新下载的数据，建议读者自行从YouTube和Bilibili下载原始歌曲。 Demo：未提及。 复现材料：论文提供了相当详细的训练细节，包括优化器设置、学习率、训练轮次、batch size、损失函数权重等，以及完整的模型架构描述，有助于复现。 论文中引用的开源项目：论文提到了多个作为基线的开源工作或模型，如LFCC+ResNet [3], AASIST [12], wav2vec2 [15], wav2vec2+AASIST [14]，以及用于音频压缩的Descript Audio Codec [27]。 📌 核心摘要 要解决什么问题：现有歌唱语音深度伪造检测（SVDD）方法在面对未见过的歌手、音乐风格和语言时，泛化能力不足，性能下降明显。 方法核心是什么：提出名为Hanui的新框架，其核心思想源自异常检测：利用自编码器（AE）重建输入信号，然后通过判别器提取特征图来衡量原始信号与重建信号之间的分布差异。核心假设是：真实歌声的分布更复杂，因此其原始-重建差异大于伪造歌声的差异。 与已有方法相比新在哪里：不同于以往直接学习分类特征的方法，Hanui显式地建模并利用了真实与伪造信号在“可重建性”上的分布差异。具体创新包括：1）提出基于分布差异的SVDD新范式；2）采用两阶段训练（先训练仅用真实数据的自编码器，再训练用真实+伪造数据的检测器）；3）设计了基于多频段判别器中间特征图的检测器融合策略。 主要实验结果如何：在SingFake和CtrSVDD数据集上，Hanui取得了最优的等错误率（EER）。例如，在最挑战的未见条件T04（未见歌手、语言、风格）上，Hanui的EER为21.36%，相比最强基线wav2vec2+AASIST（34.18%）绝对降低了12.82个百分点，相对降低约37.5%。消融实验证实了分布差异假设（图2）和中间层融合策略的有效性。 实际意义是什么：该方法显著提升了在真实、复杂场景下（歌手、语言、风格均未知）检测伪造歌声的鲁棒性，对于构建可靠的内容安全系统具有直接应用价值。 主要局限性是什么：1）模型训练分为两个阶段，且需要训练多个判别器和检测器模块，整体计算成本可能较高；2）对“伪造声音分布更简单”这一核心假设的验证，依赖于当前生成模型的特性，其长期有效性有待观察；3）论文中未提及模型权重是否开源，且因版权限制无法分发训练数据，这限制了完全的复现。 🏗️ 模型架构 Hanui的整体架构如图1所示，主要由两个阶段、两大模块构成：自编码器（含判别器）和深度伪造检测器。 ...

📄 HFSQVAE: Hierarchical Vector Quantization with Residuals for Frequency-Specific Embedding #向量量化 #音频生成 #音频分类 #图像重建 #信号处理 ✅ 7.0/10 | 前25% | #音频生成 | #向量量化 | #音频分类 #图像重建 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Min Woo Kim（首尔大学电气与计算机工程系，INMC实验室） 通讯作者：未说明 作者列表：Min Woo Kim（首尔大学电气与计算机工程系，INMC实验室）、Seonji Park（首尔大学电气与计算机工程系，INMC实验室）、Nam Ik Cho（首尔大学电气与计算机工程系，INMC实验室） 💡 毒舌点评 亮点：将“频谱偏差”从模型缺陷转化为可利用的先验知识，用“分而治之”的思路设计分层码本，并用乘积量化高效编码高频残差，逻辑清晰且工程实现合理。 短板：作为一篇发表在ICASSP 2026的论文，未提供任何代码或模型权重，对于一个方法论文来说，这严重削弱了其可复现性和社区影响力；此外，对比的基线方法（VQVAE, SQVAE等）已非当前SOTA，说服力有待加强。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用公开的ImageNet和UrbanSound8K数据集，但论文未说明具体获取或预处理方式。 Demo：未提及。 复现材料：未提供训练细节（如优化器、学习率、batch size）、配置文件、检查点或附录补充说明。 论文中引用的开源项目：论文引用了多个开源工作（如VQVAE、RQVAE），但未明确说明其实现是否基于这些项目。 总结：论文中未提及开源计划，复现难度较高。 📌 核心摘要 这篇论文旨在解决卷积神经网络在向量量化变分自编码器中固有的“频谱偏差”问题，即模型倾向于优先编码低频信息而忽略高频细节。 核心方法是提出HFSQVAE，一个包含两个层次化码本的架构：第一个码本（C_L）利用网络的天然频谱偏差来编码低频成分；第二个码本（C_H）则通过乘积量化技术，专注于编码输入图像减去第一个码本重建结果后得到的高频残差信息。 与已有方法相比，其新意在于：1) 将频率分离作为显式设计目标；2) 在图像空间而非潜在空间处理残差；3) 引入乘积量化以高效扩展高频码本容量；4) 提出交替训练策略以稳定优化。 实验结果表明，HFSQVAE在ImageNet（图像）和UrbanSound8K（音频频谱）数据集上，以更少的码本参数量，取得了优于VQVAE、SQVAE、CVQVAE、RQVAE等基线的重建精度。例如，在ImageNet上PSNR达到29.703（基线最优为27.719），LPIPS降至0.139（基线最优为0.221）。 实际意义在于为图像和音频的离散表示学习提供了一种更高效、更保真的编码方案，可能有助于下游的生成或分析任务。 主要局限性包括：未在更复杂的生成任务（如图像生成）中验证；未与最新的基于扩散模型的生成方法进行比较；且未开源任何实现细节。 ...

📄 Hierarchical Activity Recognition and Captioning from Long-Form Audio #音频事件检测 #音频分类 #多任务学习 #预训练 #统一音频模型 ✅ 7.5/10 | 前25% | #音频事件检测 | #多任务学习 | #音频分类 #预训练 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Peng Zhang（萨里大学视觉、语音与信号处理中心 CVSSP） 通讯作者：未说明 作者列表：Peng Zhang（萨里大学CVSSP）、Qingyu Luo（萨里大学CVSSP）、Philip J.B. Jackson（萨里大学CVSSP）、Wenwu Wang（萨里大学CVSSP） 💡 毒舌点评 这篇论文的亮点在于它像一个严谨的“包工头”，为“长音频层级理解”这个新工地（MultiAct数据集）和一套标准施工流程（统一层级模型）打了样，实验全面且开源承诺明确。短板则是所用的砖瓦（模型组件）多为现有库存，施工方法（框架创新）更偏向于系统集成而非原创性突破，面对复杂长程依赖时，模型表现仍有明显瓶颈（如序列预测的误差随上下文增长）。 🔗 开源详情 代码：提供代码仓库链接 github.com/PennyZhang9/MultiAct。 模型权重：论文中未明确说明是否公开预训练模型权重，但提供了开源代码仓库，权重可能包含在其中或后续发布。 数据集：MultiAct数据集公开，遵循CC BY许可（音频部分受EPIC-KITCHENS非商业许可约束）。 Demo：论文中未提及。 复现材料：提供了主要模型架构图和实验设置描述，但关键训练超参数在正文中未详细列出，复现细节需参考代码仓库。 论文中引用的开源项目： Auditory SlowFast (ASF)：音频特征提取骨干网络。 ActionFormer：用于音频活动检测的基线模型。 BART：用于字幕生成的预训练语言模型解码器。 Conformer：用于序列预测任务的编码器。 GPT-4o：用于辅助数据集标注的LLM。 📌 核心摘要 要解决的问题：现有音频理解研究大多局限于短片段和孤立事件，缺乏对真实世界长音频中具有层次化（活动-子活动-事件）和序列化结构的复杂人类活动的理解。 方法核心：提出MultiAct新数据集，包含带有多层级时间标注和双粒度文本描述的长音频；并设计一个统一的层级模型框架，联合处理层级分类、检测、序列预测和多分辨率字幕生成任务。 与已有方法相比新在哪里：主要新在任务定义和数据资源上。MultiAct是首个提供长时程、三层级语义标注及配对描述的音频数据集。模型框架旨在统一解决上述多个层级化任务，而非针对单一任务。 主要实验结果： 层级分类任务：在评估集上，活动分类Top-1准确率达83.3%，子活动分类最佳Top-1为51.3%。 检测任务：子活动检测的平均AP在IoU@0.5时为22.0%，事件检测为12.5%，揭示了边界定位的挑战。 序列预测任务：使用CTC的Conformer模型，在训练上下文长度为2时AER最低（验证集66.7%），随上下文变长误差上升。 字幕生成任务：层级模型在大多数指标上优于基于规则的基线，例如在评估集的高阶摘要任务中，ROUGE-L从20.7提升至28.3，CIDEr从2.2提升至11.1。 实际意义：为长音频的层级结构理解研究建立了基准，推动了从孤立事件识别到复杂活动理解的研究范式转变，其建模思路可应用于监控、智能家居等领域。 主要局限性：模型在处理长程依赖（如长序列预测）和精确边界定位（检测任务中高IoU性能下降）方面仍存在挑战；模型架构缺乏核心原创性；数据集规模（~9小时）和场景多样性（厨房）有待扩充。 🏗️ 模型架构 论文提出的统一层级框架（见图2）包含三个主要组件，协同工作以处理长音频的层级理解和生成任务。 ...

ICASSP 2026 - 音频分类 共 39 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 ECHO: Frequency-Aware Hierarchical Encoding for Variable-Len 9.5分 前10% 🥈 ACAVCaps: Enabling Large-Scale Training for Fine-Grained and 8.5分 前25% 🥉 Automated Dysphagia Screening Using Noninvasive Neck Acousti 8.0分 前25% 4. AnimalCLAP: Taxonomy-Aware Language-Audio Pretraining for Sp 8.0分 前25% 5. Non-Line-of-Sight Vehicle Detection via Audio-Visual Fusion 8.0分 前25% 6. A Metric Learning Approach to Heart Murmur Detection from Ph 7.7分 前25% 7. A Robust KNN Approach for Multi-Class Laryngeal Disease Dete 7.5分 前25% 8. UMV: A Mixture-Of-Experts Vision Transformer with Multi-Spec 7.5分 前25% 9. AudioFuse: Unified Spectral-Temporal Learning Via A Hybrid V 7.5分 前25% 10. Audio Classification Models are Vulnerable to Filter Perturb 7.5分 前25% 11. PC-MCL: Patient-Consistent Multi-Cycle Learning with Multi-L 7.5分 前10% 12. FOCA: Multimodal Malware Classification via Hyperbolic Cross 7.5分 前25% 13. WaveSpikeNet: A Wavelet-Spiking Fusion Architecture for Audi 7.5分 前25% 14. Adaptive Per-Channel Energy Normalization Front-End for Robu 7.5分 前25% 15. Adaptive Embedding Fusion with Contrastive Learning for Robu 7.5分 前25% 16. Incremental Learning for Audio Classification with Hebbian D 7.5分 前25% 17. Attentive Masked Self-Distillation for Respiratory Sound Cla 7.5分 前25% 18. One Model–Three Tasks: Discovering a Shared Winning Ticket f 7.5分 前25% 19. Timbre-Aware Audio Difference Captioning for Anomalous Machi 7.5分 前25% 20. Leveraging prediction entropy for Automatic prompt weighting 7.5分 前25% 21. Directly Trained Spiking Neural Networks with Adaptive Phase 7.0分 前25% 22. Noise-Robust Contrastive Learning with an MFCC-Conformer for 7.0分 前50% 23. Spiking Temporal-Enhanced Network for Zero-Shot Audio-Visual 7.0分 前50% 24. A Dynamic Gated Cross-Attention Framework for Audio-Text App 7.0分 前25% 25. Transfer Learning for Paediatric Sleep Apnoea Detection usin 7.0分 前25% 26. Empowering Multimodal Respiratory Sound Classification with 7.0分 前25% 27. PADAM: Perceptual Audio Defect Assessment Model 7.0分 前50% 28. Enhanced Generative Machine Listener 7.0分 前25% 29. Acoustic Feedback Cancellation in Hearing Aids Exploiting an 7.0分 前25% 30. AFT: An Exemplar-Free Class Incremental Learning Method for 7.0分 前25% 31. Transferable Audio Lottery Tickets: Gradient Accumulation fo 7.0分 前25% 32. A LLM-Driven Acoustic Semantic Enriched Framework for Underw 7.0分 前25% 33. S-SONDO: Self-Supervised Knowledge Distillation for General 7.0分 前25% 34. Acoustic Non-Stationarity Objective Assessment with Hard Lab 7.0分 前25% 35. Reading Between the Waves: Robust Topic Segmentation Using I 7.0分 前25% 36. Learnable Mel-Frontend for Robust Underwater Acoustic Target 6.5分 前50% 37. Estimating Respiratory Effort from Nocturnal Breathing Sound 6.5分 前25% 38. Thinking While Listening: Simple Test Time Scaling for Audio 6.5分 前50% 39. Snore Sound Classification Based on Physiological Features a 6.5分 前25% 📋 论文详情 🥇 ECHO: Frequency-Aware Hierarchical Encoding for Variable-Length Signals 🔥 9.5/10 | 前10% | #音频分类 | #自监督学习 | #音频大模型 #工业应用 ...