Mambaformer: State-Space Augmented Self-Attention with Downup Sampling for Monaural Speech Enhancement

📄 Mambaformer: State-Space Augmented Self-Attention with Downup Sampling for Monaural Speech Enhancement #语音增强 #状态空间模型 #Transformer #双路径模型 #时频分析 ✅ 7.0/10 | 前25% | #语音增强 | #状态空间模型 | #Transformer #双路径模型 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:未说明 通讯作者:未说明 作者列表:Shengkui Zhao, Haoxu Wang, Zexu Pan, Yiheng Jiang, Biao Tian, Bin Ma, Xiangang Li (阿里巴巴通义实验室,新加坡) 💡 毒舌点评 这篇论文在工程集成上确实下足了功夫,将Mamba、Conformer、ZipFormer等多种组件巧妙地缝合在一个双路径框架里,最终在标准测试集上刷新了指标。然而,其核心创新更偏向于“有效的组合技”而非“范式革新”,更像是对现有技术模块进行了一次成功的超参调优和工程排列组合,略显缺乏令人眼前一亮的原创思想火花。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:使用的是公开基准数据集(VoiceBank+DEMAND, DNS Challenge 2020),获取方式未在论文中说明,但可通过相关官网获取。 Demo:未提及在线演示。 复现材料:论文提供了详细的架构描述、训练配置(数据集、损失函数、优化器、学习率策略、超参数表)和硬件信息,复现信息较为充分。 论文中引用的开源项目:论文中引用了多个先前工作(如DPRNN, DPT-FSNet, CMGAN, MP-SENet, ZipEnhancer, SEMamba等)并进行了对比,这些是相关领域的重要开源工作,但MambaFormer本身未表明基于或依赖哪个具体开源仓库。 📌 核心摘要 这篇论文要解决的是单通道语音增强任务中,如何更有效地结合Transformer的全局建模能力和状态空间模型(SSM)的高效序列处理能力的问题。 方法核心是提出了MambaFormer模型,它在一个双路径(时间-频率)框架内,将Mamba模块嵌入到Transformer的自注意力机制中,并辅以Conformer卷积和对称的降采样/上采样结构。 与已有方法相比,新在三个方面:1)首次在SE任务中将Mamba与自注意力深度融合,而非简单堆叠;2)设计了双层自注意力结构并共享注意力权重以提升效率;3)采用了可学习的下采样/上采样模块来平衡计算效率与表征保真度。 主要实验结果:在VoiceBank+DEMAND测试集上,其MambaFormer (M)模型取得了3.69的PESQ得分;在DNS Challenge 2020测试集上取得了3.82的PESQ得分,均报告为新的最先进水平。关键对比数据见下表: ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 382 words

Non-Line-of-Sight Vehicle Detection via Audio-Visual Fusion

📄 Non-Line-of-Sight Vehicle Detection via Audio-Visual Fusion #音频分类 #多模态模型 #时频分析 #Conformer #声源定位 🔥 8.0/10 | 前25% | #音频分类 | #多模态模型 | #时频分析 #Conformer 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Huaxuan Wang(北京理工大学机械工程学院) 通讯作者:Huilong Yu(北京理工大学机械工程学院);Wei Zhou(Cardiff University, School of Computer Science and Informatics) 作者列表:Huaxuan Wang(北京理工大学机械工程学院),Huilong Yu(北京理工大学机械工程学院),Ruizeng Zhang(北京理工大学机械工程学院),Wei Zhou(Cardiff University, School of Computer Science and Informatics),Junqiang Xi(北京理工大学机械工程学院) 💡 毒舌点评 亮点:论文思路清晰,将“看不见的场景结构”(通过BEV图像表示)与“听得见的目标线索”(音频多域特征)显式融合,逻辑上自洽,实验也证明在特定场景下性能提升有效。短板:融合方式相对直接(拼接向量),且BEV生成依赖于已有地图和人工标注,限制了该框架在完全未知环境中的泛用性;验证仅限于公开数据集上的T型路口,现实复杂路况的鲁棒性存疑。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:使用了公开数据集OVAD和AOVD,但论文未提供额外数据或获取指南。 Demo:未提及。 复现材料:论文给出了一些训练超参数(学习率、batch size、epoch数、优化器),但未提供完整的配置文件、训练脚本或模型检查点。BEV生成的具体算法细节(如特征提取和LoS分析)描述较粗略。 论文中引用的开源项目:未明确提及依赖的具体开源工具/模型库(如PyTorch是框架,未特指某开源实现)。 📌 核心摘要 问题:自动驾驶车辆在交通盲区(如T型路口)无法直接感知突然出现的障碍物,现有感知手段(摄像头、雷达)受限于视距,而传统音频感知方法忽略了场景结构对声波传播的决定性影响。 方法核心:提出一个场景感知的音视频融合网络。核心是引入鸟瞰图(BEV)来显式表征场景空间结构,并从车载麦克风阵列音频中提取时频谱图和DOA能量谱图。网络采用三分支结构处理这些特征,其中音频分支创新性地结合了LSTM、CNN和Conformer模块,以建模音频信号的时序依赖与全局局部特征。 新颖性:相较于之前仅依赖音频或未考虑场景结构的方法,本工作的主要创新在于:a) 显式构建并利用BEV图像融入场景结构先验;b) 在音频特征处理中引入Conformer模块,增强了模型对复杂声学特征的建模能力。 实验结果:在OVAD和AOVD两个真实世界数据集上,该方法的整体准确率分别达到94.1%和97.0%(移除BEV分支),显著优于SVM(88.2%, 90.8%)和pCRNN(92.6%, 95.4%)等基线方法。消融实验验证了BEV分支和Conformer模块的有效性。 实际意义:为智能车辆在交叉路口等视距受限场景提供了新的、更可靠的早期碰撞预警方案,提升了自动驾驶的安全性。 主要局限性:系统性能高度依赖于先验的BEV地图生成(需要卫星图像和手动标注),限制了部署的灵活性;研究聚焦于T型路口这一特定场景,未在更复杂或未知环境中验证其泛化能力。 🏗️ 模型架构 论文提出的整体框架如 图1 (pdf-image-page2-idx0) 所示,是一个用于遮挡车辆分类的音视频融合网络。系统处理流程如下: ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 336 words

Poly-SVC: Polyphony-Aware Singing Voice Conversion with Harmonic Modeling

📄 Poly-SVC: Polyphony-Aware Singing Voice Conversion with Harmonic Modeling #歌唱语音转换 #流匹配 #和声建模 #零样本 #时频分析 ✅ 6.5/10 | 前50% | #歌唱语音转换 | #流匹配 | #和声建模 #零样本 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Chen Geng(北京建筑大学智能科学与技术学院;未说明具体实验室) 通讯作者:Ruohua Zhou(北京建筑大学智能科学与技术学院) 作者列表:Chen Geng(北京建筑大学智能科学与技术学院), Meng Chen(腾讯音乐娱乐Lyra Lab), Ruohua Zhou(北京建筑大学智能科学与技术学院), Ruolan Liu(未说明), Weifeng Zhao(腾讯音乐娱乐Lyra Lab) 💡 毒舌点评 亮点在于它跳出了SVC研究中“追求干净人声输入”的理想化假设,转而直接解决“脏”数据带来的音高提取难题,这种务实的问题导向值得肯定。但短板也明显:其核心“复音感知”能力主要归功于选用了CQT这一成熟工具,而非模型本身的革命性设计,且所有评估依赖主观听感,缺少客观的音高预测或和声保真度量化指标,使得“超越SOTA”的结论说服力打了折扣。 🔗 开源详情 代码:论文中未提及代码仓库链接。 模型权重:未提及是否公开模型权重。 数据集:作者模拟构建的“和声数据集”未说明是否公开及获取方式。 Demo:未提及提供在线演示。 复现材料:给出了部分超参数(如CQT设置、优化器),但缺失训练步数、batch size、硬件信息、数据预处理流程等关键细节。 论文中引用的开源项目:Whisper, CampPlus, OpenVoice, Firefly-GAN, SeedVC, UVR等。 📌 核心摘要 要解决什么问题:现有歌唱语音转换(SVC)系统严重依赖从干净人声中提取的F0(基频)来捕获旋律,但在真实场景中,人声分离工具(如Demucs)处理后的音频往往残留和声,这会干扰传统F0提取器,导致转换后歌声出现跑调或音质下降。 方法核心是什么:论文提出了Poly-SVC框架,其核心是三个组件:(1) 基于CQT的音高提取器:利用常数Q变换(CQT)的时频表示,同时保留主旋律和残留和声的多音高信息;(2) 随机采样器:在训练时利用少量MIDI标注数据作为监督,从CQT特征中筛选出与音高相关的成分,抑制音色等无关信息;(3) 基于条件流匹配(CFM)的扩散解码器:将内容、音高和音色特征融合,生成高质量、保留下和声结构的歌唱语音。 与已有方法相比新在哪里:主要新意在于:明确将“处理残留和声”作为系统设计目标,而非假定输入为干净人声;创新性地将CQT引入SVC的音高建模环节,以处理复音场景;并设计了一个简单的随机采样器来优化CQT特征的学习。 主要实验结果如何:论文构建了一个包含70小时的多语种和声歌唱数据集进行测试。与基线模型(so-vits-svc, DDSP-SVC, SeedVC)相比,Poly-SVC在和声条件下的MOS(自然度)和SIM-MOS(音色相似度)得分显著更高(MOS: 3.75 vs. 最高基线3.35; SIM-MOS: 3.42 vs. 最高基线3.40)。消融实验显示,移除随机采样器(RS)或音色移位器(TS)均会导致性能下降。 实际意义是什么:该工作提升了SVC系统在真实世界不完美输入条件下的鲁棒性和可用性,使其能更好地处理从完整混音歌曲中直接分离的人声,对于音乐制作、翻唱等应用有直接价值。 主要局限性是什么:(1) 所用的“和声数据”是通过人声分离工具模拟生成的,并非真实录制的“原始带和声人声”,可能无法完全代表所有现实情况;(2) 评估完全依赖主观听感测试,缺乏客观的音高准确性或谐波失真量化评估;(3) 随机采样器的具体设计和作用机制描述不够详尽;(4) 未公开代码和模型,复现性存疑。 🏗️ 模型架构 Poly-SVC是一个端到端的歌唱语音转换框架,其整体架构如图1所示,包含训练和推理两个阶段。其核心思想是特征解耦与融合:从源语音和参考语音中分别提取内容、音高和音色特征,然后将它们融合并馈送给扩散模型以生成目标音色的歌唱语音。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 316 words

Random Matrix-Driven Graph Representation Learning For Bioacoustic Recognition

📄 Random Matrix-Driven Graph Representation Learning For Bioacoustic Recognition #生物声学 #图表示学习 #时频分析 #鲁棒性 #数据集 ✅ 7.5/10 | 前25% | #生物声学 | #图表示学习 | #时频分析 #鲁棒性 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Biaohang Yuan(西藏大学, 拉萨) 通讯作者:Jiangzhao Wang(湖南大学, 长沙) 作者列表:Biaohang Yuan(西藏大学), Jiangzhao Wang(湖南大学), YuKai Hao(武汉理工大学), Ruzhen Chen(西藏大学), Yan Zhou(北京理工大学, 珠海) 💡 毒舌点评 这篇论文的亮点在于巧妙地将随机矩阵理论融入图神经网络的构建过程,为处理低资源生物声学信号中的时频特征关联提供了一个有数学理论支撑的新颖视角,特别是通过可学习缩放因子α和超图结构来动态建模复杂谐波关系,立意很高。然而,短板在于其核心方法的“新颖性”更多体现在框架的复杂拼接上,对于随机矩阵理论如何具体且关键地提升了模型性能(而非仅作为理论背书)的阐述略显薄弱,且实验部分对训练细节的吝啬披露,让其宣称的优越性能打了折扣,复现门槛极高。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:提到了Birdsdata和牛蛙叫声数据集名称��来源,但未提供公开下载链接或获取方式说明。 Demo:未提及。 复现材料:论文给出了算法伪代码(Algorithm 3.1)和部分超参数(如τ=0.3),但缺少大量关键训练细节(如网络具体层数、隐藏层维度、优化器参数、学习率等)。 论文中引用的开源项目:未明确提及依赖的开源项目。引用的基线方法(如MFTE, GraFPrint, BirdNET, METAAUDIO)本身是开源项目,但本文未说明是否复用了其代码。 📌 核心摘要 问题:生态声学监测依赖生物声学识别,但面临训练数据稀缺、类别不平衡以及复杂声景中信号易受干扰等挑战,导致现有模型性能受限。 方法核心:提出了随机矩阵驱动的图表示学习框架(RM-GRL)。该框架首先将三通道梅尔频谱图(Log-Mel, Delta, Delta-Delta)视为时频图,并利用随机矩阵理论指导图结构的构建,引入一个可学习的缩放因子α来动态调整跨通道权重。它结合了普通图和超图结构,其中超边连接同一谐波成分内的时频节点。 创新点:与传统方法相比,新在:a) 将随机矩阵理论与图表示学习结合,通过低秩投影和JL引理保证特征投影的距离保持性;b) 构建时频超图以显式建模谐波结构;c) 在图卷积网络中引入Lipschitz常数约束和对抗扰动以增强局部判别特征;d) 采用ADD损失函数优化嵌入空间。 实验结果:在Birdsdata和牛蛙叫声数据集上进行评估。实验设置了四组不平衡正负样本比例(1:1至1:4)。结果显示,该模型在精确率-召回率曲线(图3)上始终优于MFTE、GraFPrint、BirdNET和METAAUDIO四个基线。在ROC-AUC评估中,对21种生物声音均达到0.8以上(图4)。消融研究表明,随机矩阵驱动投影模块贡献最大(+2.3%),其次是超图构建(+1.5%)。在F1分数对比中,该方法在大多数物种上表现最佳(图5b)。 实际意义:该工作为低资源、高噪声环境下的生物声学识别提供了一种新的图神经网络建模范式,有助于提升生态监测的自动化水平。 主要局限性:论文未提供代码、模型权重和关键训练超参数(如学习率、批次大小、具体网络层数/维度),可复现性差;对随机矩阵理论在模型中发挥具体作用的理论分析相对表面,更多依赖引理陈述;实验仅在两个自述数据集上进行,缺乏更广泛的验证。 🏗️ 模型架构 RM-GRL框架的整体架构如图1所示,主要包含三个阶段:时频图构建、基于随机矩阵的动态图学习、以及图神经网络编码与分类。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 272 words

RMODGDF: A Robust STFT-Derived Feature for Musical Instrument Recognition

📄 RMODGDF: A Robust STFT-Derived Feature for Musical Instrument Recognition #音乐信息检索 #时频分析 #音频分类 #鲁棒性 #基准测试 ✅ 7.0/10 | 前50% | #音乐信息检索 | #时频分析 | #音频分类 #鲁棒性 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Hao ZHOU(南开大学软件学院) 通讯作者:Binhui WANG(南开大学创新与智能设计中心 I²DC, 南开大学软件学院)、Haining ZHANG(南开大学软件学院, 天津市软件体验与人机交互重点实验室) 作者列表:Hao ZHOU(南开大学软件学院;天津市软件体验与人机交互重点实验室)、Zhen LI(独立研究者)、Binhui WANG(南开大学软件学院;创新与智能设计中心 I²DC)、Haining ZHANG(南开大学软件学院;天津市软件体验与人机交互重点实验室) 💡 毒舌点评 论文核心亮点在于巧妙地将“对数变换提升梅尔频谱图性能”的思路迁移到相位特征上,提出了RMODGDF,并提供了严谨的统计检验来证明其有效性。然而,其短板在于创新幅度较小,本质上是已有MODGDF的一个简单数学变换(加log),且仅在单一CNN模型上验证,未能探索其与更先进的Transformer模型结合的可能性,也未开源代码,限制了社区的快速验证与应用。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及公开模型权重。使用的预训练模型(ConvNeXt-V2 Base)权重来自Facebook公开的Hugging Face库。 数据集:IRMAS和ChMusic是公开可获取的数据集(论文中提供了引用)。 Demo:未提供在线演示。 复现材料:论文详细给出了STFT参数、特征提取公式、模型架构选择、训练策略(优化器、学习率调度、早停)、数据集划分比例和数据增强方法,这些信息对于复现实验是充分的。但缺少具体的命令行参数、配置文件或检查点信息。 论文中引用的开源项目:主要依赖了公开的ConvNeXt-V2预训练模型(来自Facebook)。 📌 核心摘要 问题:当前主流音乐乐器识别方法严重依赖幅度谱特征(如Log-Mel频谱图),而丢弃了可能包含时域结构、瞬态和音色关键信息的相位信息。 方法核心:提出“反射修正群延迟函数(RMODGDF)”,通过对修正群延迟函数(MODGDF)施加对数变换(sign(τ) * log(1 + |τ|^α))来压缩动态范围、增强判别性特征,类比于从梅尔频谱图到对数梅尔频谱图的成功演进。 与已有方法相比的新颖性:与直接使用原始相位(Cos+Sin分量)或未做对数变换的MODGDF相比,RMODGDF是一种更结构化、更鲁棒的相位信息表示方法。它首次系统地将对数压缩这一关键操作应用于群延迟特征,旨在提升其在分类任务中的判别力。 主要实验结果:在IRMAS(西方乐器)和ChMusic(中国民族乐器)两个数据集上,使用ConvNeXt-V2 Base模型进行评估。RMODGDF在所有指标上均优于Log-Mel频谱图基线、原始相位组合及MODGDF。关键数据见下表: 特征表示 IRMAS AUROC (%) IRMAS 准确率 (%) ChMusic AUROC (%) ChMusic 准确率 (%) Log-Mel Spectrogram 98.717 ± 0.203 89.291 ± 0.937 99.520 ± 0.320 92.271 ± 1.199 MODGDF 98.674 ± 0.387 89.167 ± 1.083 99.498 ± 0.308 91.449 ± 2.840 RMODGDF (本文) 99.299 ± 0.157 91.496 ± 1.564 99.747 ± 0.184 93.023 ± 1.526 图1和图2(论文中标为Fig. 1与Fig. 2)展示了MODGDF与RMODGDF特征图的视觉对比。RMODGDF的对数变换增强了低能量区域的细节,同时保持了高能量区域的判别性,整体对比度更优。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 412 words

Snore Sound Classification Based on Physiological Features and Adaptive Loss Function

📄 Snore Sound Classification Based on Physiological Features and Adaptive Loss Function #音频分类 #时频分析 #信号处理 #生物声学 #鲁棒性 ✅ 6.5/10 | 前25% | #音频分类 | #时频分析 | #信号处理 #生物声学 学术质量 5.5/7 | 选题价值 1.2/2 | 复现加成 0.1 | 置信度 高 👥 作者与机构 第一作者:Hongxi Wu(中国科学院声学研究所、中国科学院大学) 通讯作者:Xueshuai Zhang(中国科学院声学研究所、中国科学院大学),Qingwei Zhao(中国科学院声学研究所、中国科学院大学) 作者列表:Hongxi Wu(中国科学院声学研究所、中国科学院大学)、Xueshuai Zhang(中国科学院声学研究所、中国科学院大学)、Shaoxing Zhang(北京大学第三医院)、Qingwei Zhao(中国科学院声学研究所、中国科学院大学)、Yonghong Yan(中国科学院声学研究所、中国科学院大学) 💡 毒舌点评 亮点:将鼾声病理生理机制(气道阻塞导致的高能爆发、不稳定频谱)巧妙地转化为具体的音频特征(STD、SIM)和损失函数权重设计,使模型具有明确的医学可解释性,而非黑箱。 短板:整体贡献更像一个精心设计的工程流水线,而非具有广泛影响力的模型创新。在未公开核心数据集和代码的情况下,其声称的性能增益难以被社区独立验证和直接应用。 🔗 开源详情 代码:论文中未提及代码链接或开源计划。 模型权重:未提及。 数据集:数据集来源于北京大学第三医院,但论文未提及是否公开或如何申请获取。 Demo:未提及。 复现材料:论文提供了详细的训练配置(优化器、学习率调度、batch size、epoch数)、特征提取参数(FFT点数、滤波器数、帧长帧移)以及关键超参数(高能量帧比例20%、损失函数中的k和α),复现所需的核心技术细节较为充分。 论文中引用的开源项目:未明确提及依赖的开源工具或模型。使用了华为M5平板进行数据采集,但这不是软件工具。 📌 核心摘要 问题:传统多导睡眠图(PSG)侵入性强、成本高,阻碍了阻塞性睡眠呼吸暂停(OSA)的广泛筛查。基于鼾声的非接触分析受噪声、数据不平衡和特征可解释性差的困扰。 方法核心:提出一个生理学启发的鼾声分类框架,包括:a) 高能量帧选择:选取能量最高的20%帧,以抑制边界噪声并聚焦于区分性最强的病理声学区域;b) 三个生理特征提取:从高能量帧中提取频带能量比(ER)、帧位置时间标准差(STD)和帧间频谱余弦相似度(SIM),分别对应频域能量分布、时间集中度和频谱稳定性;c) 自适应能量比损失函数:根据样本的ER值动态调整病理性鼾声类别的损失权重,以缓解类别不平衡并强调典型病理模式。 创新点:与传统数据驱动特征相比,新方法的核心在于特征设计的生理可解释性以及损失函数的自适应性,两者均根植于病理鼾声与简单鼾声的声学差异。 实验结果:在来自北京大学第三医院的115例患者数据集上进行验证。最佳配置(特征拼接 + 自适应损失,k=4, α=2)相比基线,AUC提升1.9%(0.819→0.838),准确率(ACC)提升2.3%(75.7%→78.0%),非加权平均召回率(UAR)提升3.3%(72.3%→75.6%),病理性鼾声的灵敏度(SEN)提升6.9%(58.5%→65.4%),同时特异性(SPE)保持可比水平。关键实验结果如下表所示: 表2:不同生理特征对鼾声分类性能的影响 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 324 words

Spectrogram Event Based Feature Representation for Generalizable Automatic Music Transcription

📄 Spectrogram Event Based Feature Representation for Generalizable Automatic Music Transcription #音乐信息检索 #时频分析 #跨乐器转录 #鲁棒性 ✅ 7.5/10 | 前25% | #音乐信息检索 | #时频分析 | #跨乐器转录 #鲁棒性 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Penghao He(复旦大学计算机科学与人工智能学院) 通讯作者:Fan Xia(浙江音乐学院音乐工程系), Wei Li(复旦大学计算机科学与人工智能学院,上海智能信息处理重点实验室) 作者列表:Penghao He(复旦大学计算机科学与人工智能学院), Ganghui Ru(复旦大学计算机科学与人工智能学院), Mingjin Che(中央民族大学音乐学院), Fan Xia(浙江音乐学院音乐工程系), Wei Li(复旦大学计算机科学与人工智能学院,上海智能信息处理重点实验室) 💡 毒舌点评 亮点:该工作没有陷入“堆砌更大模型”或“设计更复杂损失函数”的窠臼,而是另辟蹊径,从信号处理层面重新思考“哪些信息是跨乐器通用的”,并将其提炼为“谱图事件”,这种第一性原理的思考方式值得肯定。短板:所提的“事件级数据增强”和“事件感知”模块数学描述略显复杂,但实验中似乎只用在了钢琴任务上,其在真正的跨乐器训练(而非仅跨乐器评估)中是否依然有效且高效,缺乏直接证据。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及公开权重。 数据集:论文中使用了公开数据集MAESTRO、MAPS、MusicNetEM、GuitarSet及一个民间乐器数据集(链接为https://fd-lamt-dataset.github.io/fd-lamt-dataset),这些数据集均可获取。 Demo:未提及在线演示。 复现材料:提供了部分训练硬件(RTX 4090/2080Ti)和时长信息,以及一些核心超参数。但未提供完整的配置文件、损失函数细节或训练日志。 引用的开源项目:提到了依赖的开源工具,如mir eval(用于评估),以及基线模型HPPNet和Onsets and Frames。 总结:论文中未提及完整的开源计划。 📌 核心摘要 问题:当前基于深度学习的自动音乐转录(AMT)模型在训练数据分布之外(如不同钢琴音色、录音环境或未见过的乐器)表现严重下降,泛化能力不足。 方法核心:提出了一种基于谱图事件的特征表示方法(SEFR)。该方法首先定义了四个反映声音产生时谱图关键强度变化的“先验事件”(时域增强/减弱,频域局部峰值),并提取其分数。然后通过事件级数据增强、事件感知(选择最显著事件)、模糊表示(降低频率分辨率以鲁棒应对峰值偏移)和注意力融合,生成一个去除了乐器特异性纹理、专注于音高预测通用信息的特征图。 与已有方法相比新在哪里:不同于以往主要通过数据增强或设计特定于乐器的模型架构来提升泛化性,本文方法从特征表示源头入手,旨在提取跨乐器的、反映音高本质的谱图变化模式。该特征提取模块是即插即用的,可适配不同的下游转录网络。 主要实验结果: 钢琴转录泛化:在未使用MAPS数据集训练的情况下,SEFR在MAPS测试集上达到了Note F1 89.08%,Frame F1 87.41%,Note w/Offset F1 66.99%,优于包括HPPNet-sp在内的所有对比方法。结合数据增强和额外数据的SEFR版本在所有指标上取得SOTA(Note F1 90.54%, Frame F1 89.10%)。 跨乐器泛化:在GuitarSet(吉他)及三种民间乐器(dutar, satar, tanbur)的零样本评估中,SEFR在所有乐器的所有指标上均优于基线模型(Onsets & Frames),且性能提升显著。例如,在tanbur上,Note F1从55.4%提升至65.2%,Note w/Offset F1从38.4%提升至44.8%。 实际意义:为解决AMT模型在现实世界中因数据分布不同(如不同录音棚、不同演奏家的钢琴,或完全未见过的乐器)导致的性能衰减问题提供了有效的技术方案,有望推动AMT技术在低资源乐器和真实场景中的应用。 主要局限性:方法引入了多个模块(事件分数计算、感知、模糊表示),增加了特征提取阶段的复杂性和计算量。虽然论文声称方法模块化且可适配,但在跨乐器实验中仅与一个较简单的基线(O&F)对比,未验证其与当前最强钢琴转录模型(如SemiCRFV2)结合的效果。此外,损失函数等训练细节未在论文中充分说明。 🏗️ 模型架构 论文提出了名为Spectrogram Event Based Feature Representation (SEFR) 的特征提取模块,其整体结构如图1(a)所示。 ...

2026-04-29 · 更新于 2026-05-19 · 3 min · 430 words

Subgraph Localization in the Subbands for Partially Spoofed Speech Detection

📄 Subgraph Localization in the Subbands for Partially Spoofed Speech Detection #音频深度伪造检测 #图神经网络 #信号处理 #时频分析 🔥 8.0/10 | 前25% | #音频深度伪造检测 | #图神经网络 | #信号处理 #时频分析 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者:Ji Liu (天津大学 认知计算与应用天津市重点实验室) 通讯作者:Longbiao Wang (天津大学 认知计算与应用天津市重点实验室; 苏州智言信息科技有限公司) 作者列表:Ji Liu (天津大学 认知计算与应用天津市重点实验室), Chenghan Lin (未说明具体机构,同属天津大学), Longbiao Wang (天津大学 认知计算与应用天津市重点实验室; 苏州智言信息科技有限公司), Kong Aik Lee (香港理工大学) 💡 毒舌点评 亮点:论文抓住了“短伪造片段在长真实语音中易被平均掉”这一实际痛点,并巧妙地将“不同伪造痕迹在不同频带显著”这一先验知识融入模型设计(子带划分),方法动机充分且直观。短板:方法本质上是子带特征提取+子图网络的模块化组合,创新性更多体现在特定任务上的工程优化,而非全新的建模范式;此外,论文未提供任何开源信息,对于后续研究的复现构成了主要障碍。 🔗 开源详情 代码:论文中未提及代码仓库链接。 模型权重:未提及。 数据集:实验使用ADD 2023挑战赛Track 2数据集,该数据集为公开竞赛数据集,但论文未说明获取方式。 Demo:未提供在线演示。 复现材料:提供了部分训练细节(优化器、学习率、轮数、超参数等)和消融实验设置,但缺乏模型层维度、具体代码实现、检查点文件等。 引用的开源项目:依赖的开源项目包括Facebook的wav2vec2-xls-r-300m模型(用于W2V2+AASIST基线)。 开源计划:论文中未提及开源计划。 📌 核心摘要 本文针对部分伪造语音检测中,短伪造片段难以被现有基于固定聚合长度的方法准确定位的问题,提出了一种名为“子带子图定位”(SLS)的新方法。该方法包含两个核心模块:一是子带特征提取模块,利用CQT滤波器初始化线性层,从语音频谱的低、中、高频子带中提取高分辨率特征,以捕捉不同伪造算法在不同频带留下的独特痕迹;二是子图模块,对每个子带的特征序列构建图结构,并通过基于阈值的边连接来鼓励同一类别(真实或伪造)帧的特征在图中聚集,从而增强类内紧凑性,特别是改善类别边界附近的特征混淆。实验在ADD 2023挑战赛Track 2数据集上进行,结果表明,SLS方法在帧级和段级定位性能上均优于TDL等现有方法。例如,在加权BCE损失权重w-=3.9时,获得了90.31%的帧级精确率和95.69%的召回率,帧级F1分数比TDL高1.24个百分点,段级F1分数比WavLM-ResNet高2.14个百分点。该方法通过精细化建模子带信息和改善边界处特征表征,提升了伪造语音定位的准确性和鲁棒性。其主要局限性在于模型复杂度较高,且未公开实现代码与权重。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 297 words

Subspace Hybrid Adaptive Filtering for Phonocardiogram Signal Denoising

📄 Subspace Hybrid Adaptive Filtering for Phonocardiogram Signal Denoising #心音信号 #信号处理 #自适应滤波 #音频增强 #时频分析 ✅ 7.0/10 | 前50% | #音频增强 | #信号处理 | #心音信号 #自适应滤波 学术质量 6.0/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者:Wageesha N. Manamperi (University of Moratuwa, Sri Lanka, Department of Electronic & Telecommunication Engineering) 通讯作者:论文中未明确标注通讯作者 作者列表:Wageesha N. Manamperi (University of Moratuwa, Sri Lanka, Department of Electronic & Telecommunication Engineering; Audio & Acoustic Signal Processing Group, Australian National University, Australia), Thushara D. Abhayapala (Audio & Acoustic Signal Processing Group, Australian National University, Australia) 💡 毒舌点评 亮点在于将经典的NLMS、GMM维纳滤波与多通道PCA子空间方法进行“混搭”,形成一个两阶段流水线,逻辑清晰且有实验验证,为传统信号处理方法在心音降噪领域的应用提供了新思路。短板是其核心创新(两阶段串联)更偏向于工程组合而非理论突破,且代码与训练细节完全未公开,对于希望复现或深入理解参数影响的读者极不友好,削弱了论文的实际影响力。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 297 words

UMV: A Mixture-Of-Experts Vision Transformer with Multi-Spectrogram Fusion for Underwater Ship Noise Classification

📄 UMV: A Mixture-Of-Experts Vision Transformer with Multi-Spectrogram Fusion for Underwater Ship Noise Classification #音频分类 #时频分析 #混合专家模型 #Vision #鲁棒性 ✅ 7.5/10 | 前25% | #音频分类 | #混合专家模型 | #时频分析 #Vision 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:未说明(论文标题下列出 Haihan Zhang†,但正文未明确其排序,且有两个†符号) 通讯作者:Guowei Wu(根据脚注“Corresponding author: wgwdut@dlut.edu.cn”) 作者列表:Haihan Zhang†, Guowei Wu†(†School of Software, Dalian University of Technology) Haihan Zhang(大连理工大学软件学院) Guowei Wu(大连理工大学软件学院) 💡 毒舌点评 亮点:论文提出了一个直观且有效的“多频谱特征拼接 + 卷积投影融合”策略,确实提升了基线ViT的性能,证明了特征多样性对小数据任务的价值。短板:将MoE引入ViT带来了显著的参数量(约284M)和计算复杂度(约68.8G FLOPs)增长,对于一个仅有四分类、数据量有限的任务而言,模型效率令人质疑,且论文未探讨轻量化方案。 🔗 开源详情 代码:论文中未提及任何代码仓库链接。 模型权重:未提及。 数据集:使用了公开的DeepShip数据集,但论文中未说明具体获取方式(仅描述了数据集构成)。 Demo:未提供在线演示。 复现材料:给出了一些数据预处理参数(如窗口大小、帧移)和模型架构的宏观描述,但缺失大量关键的训练细节和超参数,不足以支撑完全复现。 引用的开源项目:论文中未提及依赖的特定开源工具或模型代码库。 总结:论文中未提及任何开源计划。 📌 核心摘要 这篇论文旨在解决水下船舶噪声分类中数据稀缺和噪声环境复杂两大挑战。作者提出了一种名为UMV(Underwater Mixture-of-Experts Vision Transformer)的新型架构。该方法的核心在于:1)通过一个卷积融合模块,将STFT功率谱图、梅尔谱图和梅尔频率倒谱系数(MFCC)三种互补的频谱特征进行融合,形成更丰富的输入表示;2)在Vision Transformer编码器的前馈网络中,集成了一个采用Top-k稀疏路由机制的混合专家模型,以提升模型的表达能力和鲁棒性。在DeepShip数据集上,UMV达到了99.14%的分类准确率,相比基线ViT提升了3.18%,并且在高斯、粉红、虾类和螺旋桨等噪声环境下仍能保持超过92%的准确率(在20dB SNR下),显著优于现有的基于CNN和Transformer的方法。该工作的实际意义在于为水下声学监测提供了一种高精度、高鲁棒性的分类模型。主要局限性包括:模型参数量和计算量较大,可能不适合实时或资源受限的部署;未与更多最新的、专门的水下声学Transformer模型进行直接对比;且未开源代码或模型。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 253 words