A Text-To-Text Alignment Algorithm for Better Evaluation of Modern Speech Recognition Systems

📄 A Text-To-Text Alignment Algorithm for Better Evaluation of Modern Speech Recognition Systems #语音识别 #模型评估 #多语言 #开源工具 ✅ 7.5/10 | 前25% | #模型评估 | #模型评估 | #语音识别 #多语言 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Lasse Borgholt (Corti, Aalborg University, Pioneer Centre for AI) 通讯作者:Lasse Borgholt (lb@corti.ai) 作者列表: Lasse Borgholt (Corti, Copenhagen; Aalborg University, Department of Electronic Systems; Pioneer Centre for Artificial Intelligence, Copenhagen) Jakob Havtorn (Corti, Copenhagen) Christian Igel (Pioneer Centre for Artificial Intelligence, Copenhagen; University of Copenhagen, Department of Computer Science) Lars Maaløe (Corti, Copenhagen; Technical University of Denmark, Department of Applied Mathematics and Computer Science) Zheng-Hua Tan (Aalborg University, Department of Electronic Systems; Pioneer Centre for Artificial Intelligence, Copenhagen) 💡 毒舌点评 这篇论文的亮点在于巧妙地将动态规划与波束搜索结合,直击传统Levenshtein对齐在语音识别评估中的两大痛点(一对一约束与歧义),设计了一个实用且有效的工具。短板是作为评估方法论文,其核心贡献略显“工具化”,理论深度和新颖性有局限,且提出的GLE评估指标需要更多独立验证才能确立其公信力。 ...

2026-04-29

A Unified SVD-Modal Solution for Sparse Sound Field Reconstruction with Hybrid Spherical-Linear Microphone Arrays

📄 A Unified SVD-Modal Solution for Sparse Sound Field Reconstruction with Hybrid Spherical-Linear Microphone Arrays #声源定位 #麦克风阵列 #信号处理 #鲁棒性 ✅ 6.5/10 | 前25% | #声源定位 | #麦克风阵列 | #信号处理 #鲁棒性 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Shunxi Xu (悉尼大学计算与音频研究实验室) 通讯作者:未说明(论文中未明确标注通讯作者) 作者列表: Shunxi Xu (悉尼大学计算与音频研究实验室,Computing and Audio Research Lab, The University of Sydney) Thushara Abhayapala (澳大利亚国立大学音频与声学信号处理组,Audio & Acoustic Signal Processing Group, The Australian National University) Craig T. Jin (悉尼大学计算与音频研究实验室) 💡 毒舌点评 这篇论文的亮点在于为混合球形-线形麦克风阵列提供了一个原理清晰、数学形式优美的统一处理框架(SVD模态),避免了拼接或两阶段方法的“临时性”,并且通过模态分析直观展示了混合阵列的优势。短板在于缺乏开源实现,且实验环境(模拟混响室、特定阵列构型)虽然合理,但离真实世界复杂场景的验证尚有距离,使得结论的泛化性有待更多实践检验。 ...

2026-04-29

A Unsupervised Domain Adaptation Framework For Semi-Supervised Melody Extraction Using Confidence Matrix Replace and Nearest Neighbour Supervision

📄 A Unsupervised Domain Adaptation Framework For Semi-Supervised Melody Extraction Using Confidence Matrix Replace and Nearest Neighbour Supervision #音乐信息检索 #领域适应 #对比学习 #半监督学习 #数据增强 🔥 8.0/10 | 前25% | #音乐信息检索 | #领域适应 | #对比学习 #半监督学习 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Shengqi Wang(东华大学计算机科学与技术学院) 通讯作者:Shuai Yu(大连理工大学信息与通信工程学院),Wei Li(复旦大学计算机科学与技术学院) 作者列表:Shengqi Wang(东华大学计算机科学与技术学院)、Shuai Yu(大连理工大学信息与通信工程学院)、Wei Li(复旦大学计算机科学与技术学院) 💡 毒舌点评 本文将“被动适应”重新定义为“主动修复”并设计了相应的CMR和NNS模块,技术故事讲得通顺且实验验证充分,在跨域旋律提取上取得了稳健提升,是个不错的应用导向型工作。但CMR模块中使用KL散度进行“最兼容”补丁选择的设计动机和计算开销分析稍显薄弱,部分核心机制(如patch-wise操作的具体实现)在文中描述不够细致,图表(图2)的可视化对比冲击力也有提升空间。 📌 核心摘要 问题:旋律提取任务面临标注数据稀缺和跨域偏移(如不同音乐风格)两大挑战。现有半监督域适应方法多采用“被动适应”范式,易受伪标签噪声和域差异限制。 方法核心:提出一种“主动修复”范式的无监督域适应框架,包含两个核心模块:置信度矩阵替换(CMR)和最近邻监督(NNS)。CMR通过分析模型预测的置信度,主动用高置信度区域(来自增强版本)替换低置信度区域,生成更强的训练样本。NNS利用最近邻对比学习,在语义特征空间对齐源域和目标域。 创新点:首次将“主动修复”思想引入该领域;CMR实现了像素级(patch-wise)的语义修复;NNS实现了样本级的特征空间对齐;两者结合共同提升了模型对无标签目标域数据的利用率。 实验结果:在六个跨流行(P)、古典(C)、爵士(J)风格的旋律提取任务上,所提方法(CMR-NNS)在整体准确率(OA)上均优于基线模型(MSNet, FTANet, LcMLP, MCSSME)。关键数据见下表。 表3:与基线方法的总体准确率(OA)对比 方法 P→C C→P J→C C→J J→P P→J MSNet 42.34 62.69 35.06 61.31 58.40 44.21 FTANet 42.78 63.84 37.37 62.81 53.63 44.64 LcMLP 40.38 63.15 32.41 62.64 47.07 44.01 MCSSME 43.51 65.28 37.96 63.26 59.72 45.21 Ours 44.75 69.13 43.40 67.86 63.99 48.50 实际意义:为音乐信息检索中跨风格的旋律提取提供了新的有效框架,有助于降低对目标域标注数据的依赖。 主要局限性:实验仅在特定三种音乐风格的交叉任务上验证,任务规模相对有限;未讨论计算复杂度;CMR的补丁大小、置信度计算等关键超参数的选择依据未充分阐述。 🏗️ 模型架构 本文提出的CMR-NNS框架是一个面向半监督域适应的端到端深度学习模型,旨在利用带标签的源域数据和无标签的目标域数据训练旋律提取模型。 ...

2026-04-29

ACAVCaps: Enabling Large-Scale Training for Fine-Grained and Diverse Audio Understanding

📄 ACAVCaps: Enabling Large-Scale Training for Fine-Grained and Diverse Audio Understanding #音频分类 #数据集 #预训练 #多任务学习 🔥 8.5/10 | 前25% | #音频分类 | #数据集 | #预训练 #多任务学习 学术质量 6.0/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Yadong Niu(MiLM Plus,小米公司) 通讯作者:未说明 作者列表:Yadong Niu(MiLM Plus,小米公司)、Tianzi Wang(香港中文大学, MiLM Plus,小米公司)、Heinrich Dinkel(MiLM Plus,小米公司)、Xingwei Sun(MiLM Plus,小米公司)、Jiahao Zhou(北京邮电大学, MiLM Plus,小米公司)、Gang Li(MiLM Plus,小米公司)、Jizhong Liu(MiLM Plus,小米公司)、Junbo Zhang(MiLM Plus,小米公司)、Jian Luan(MiLM Plus,小米公司) 💡 毒舌点评 亮点是将工业界强大的多模态模型工程能力发挥到极致,构建了一个“百科全书”式的音频描述数据集,从标注流程到数据多样性都展现了极高的工程水平。短板则在于,论文的核心“模型”本身(Dasheng + Qwen3)并无架构创新,更像是一个应用成熟的音频-语言模型架构来验证其数据集质量的“基准测试”。 📌 核心摘要 本文针对当前音频描述数据集在规模、描述粒度和多样性上的不足,提出了ACAVCaps,一个大规模、细粒度、多领域的音频描述数据集。其核心方法是采用多专家分析流水线:首先用CED-Base模型对音频进行内容分类,然后路由至语音、音乐、声音事件等专用分析模块,并提取通用声学属性;最后,利用一个基于思维链(CoT)推理的大语言模型(Deepseek-R1)综合所有分析结果与元数据,为每个音频生成多种风格一致但语言多样的详细描述。与现有数据集相比,ACAVCaps在规模(13k小时,4.7M样本)、唯一token数量(76.7k)和领域覆盖(扩展的多领域)上均达到新高。实验表明,在ACAVCaps上预训练的模型在MECAT-Caption基准测试(表2)上取得了60.9的整体DATE分数,显著优于其他数据集(最高仅37.4)。在下游语音识别、声音事件分类、音乐理解等任务(表3)上,该模型也展现出强大的泛化能力,例如在LibriSpeech测试集上的词错误率从基线的74.2%降至56.5%。这项工作为训练更通用的音频大模型提供了关键的数据基础,其意义在于证明了高质量、多角度、细粒度的描述数据对于学习可迁移音频表示至关重要。主要局限性在于,模型架构本身未创新,其性能提升主要归功于数据质量而非模型设计。 ...

2026-04-29

AccLID: Accent-aware Language Identification for Robust Multilingual Speech Recognition

📄 AccLID: Accent-aware Language Identification for Robust Multilingual Speech Recognition #语音识别 #多任务学习 #领域适应 #多语言 #鲁棒性 ✅ 7.0/10 | 前25% | #语音识别 | #多任务学习 | #领域适应 #多语言 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 -1 | 置信度 中 👥 作者与机构 第一作者:Rishabh Singh(CERN, Switzerland) 通讯作者:未说明 作者列表:Rishabh Singh(CERN, Switzerland) 💡 毒舌点评 亮点: 论文提出了一种模块化、模型无关的多模态排序框架,通过整合声学、时间、语言和音素证据显著提升了口音场景下的语言识别鲁棒性,实验设计全面,提供了多维度的量化证据(如口音分级、语言族分析)。 短板: 论文在方法论的深度和新颖性上略显不足,所提框架(假设生成、打分、融合)在思路上并非颠覆性创新;更关键的是,论文完全未提供任何代码、模型或训练细节,极大地限制了其可复现性和实用价值的即时兑现。 📌 核心摘要 解决的问题: 在多语言自动语音识别(ASR)系统中,口音显著降低前端语言识别(LID)的准确性(高达50%),导致识别延迟和转录质量下降。现有LID模型主要依赖声学特征,易受口音引发的语音偏移影响。 方法核心: 提出AccLID,一个多模态排序框架。它首先根据基线LID的置信熵自适应生成语言假设;然后,为每个候选语言运行ASR以获取文本转录和时间对齐的音素序列;接着,从中提取声学、语言、时间和音素四类特征;最后,通过十个排序器打分,并利用一个轻量级神经网络根据输入上下文(如置信度熵、口音程度)自适应地学习排序器的权重,进行加权融合得到最终语言预测。 与已有方法相比的新颖性: 核心创新在于将一个通用的多模态排序框架集成到任意基线LID系统之上,无需修改底层模型架构。它系统地整合了四种互补的证据源(声学、时间、语言、音素),并通过上下文自适应权重学习动态融合,专门针对口音鲁棒性进行设计。 主要实验结果: 在四个基准数据集(FLEURS, ML-SUPERB, LRE17, VoxLingua107)上,AccLID+Whisper的LID准确率(例如在FLEURS上为82.5%)比工业基线(如MMS-1B的66.8%)高出15-27个百分点。在口音鲁棒性分析中,面对强口音语音,AccLID+Whisper的准确率下降幅度(35.9%)远小于Whisper-large(49.5%)。消融实验证明各组件(语言、时间、音素特征,上下文适应)均带来性能提升。 实际意义: 该框架可直接集成到现有的ASR流水线中,无需重新训练核心模型,即可显著提升对带口音多语言语音的识别能力,具有即插即用的实用价值。它在准确性和延迟之间取得了新的帕累托最优前沿(82.5%准确率,38ms延迟)。 主要局限性: 框架的整体性能最终依赖于所选的基线LID和ASR模型的质量;多语言ASR处理步骤可能引入额外的计算开销,尽管论文声称效率高;论文未公开代码、模型及详细的训练配置,可复现性差。 🏗️ 模型架构 AccLID是一个模块化的后处理框架,而非一个端到端的新模型。其完整流程如下: ...

2026-04-29

ACIR-MACL: Effective Multimodal Sentiment Analysis via Attention-Based Causal Intervention Regularization and Multi-Aspect Contrastive Learning

📄 ACIR-MACL: Effective Multimodal Sentiment Analysis via Attention-Based Causal Intervention Regularization and Multi-Aspect Contrastive Learning #情感分析 #对比学习 #因果推理 #多模态模型 #跨模态 ✅ 7.0/10 | 前25% | #情感分析 | #对比学习 | #因果推理 #多模态模型 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Lei Liu (云南大学信息科学与工程学院) 通讯作者:You Zhang (云南大学信息科学与工程学院) 作者列表:Lei Liu (云南大学信息科学与工程学院), You Zhang* (云南大学信息科学与工程学院), Jin Wang (云南大学信息科学与工程学院), Dan Xu (云南大学信息科学与工程学院), Xuejie Zhang (云南大学信息科学与工程学院) 💡 毒舌点评 亮点:将因果推断中的“前门调整”思想创造性地应用于注意力机制,通过构造反事实路径进行正则化,为解决多模态中的虚假关联提供了新颖且理论依据较强的技术路径。短板:虽然提供了代码链接,但核心消融实验(Table 3)的具体数值在所提供的文本中缺失,严重削弱了其结论的可验证性和复现指导价值,对于一篇声称在顶级会议发表的工作而言,这是关键的细节疏漏。 📌 核心摘要 要解决什么问题:本论文旨在解决多模态情感分析(MSA)中两个核心挑战:一是非文本模态(视觉、声学)中存在的虚假相关性(spurious correlations),导致模型学习到错误的捷径;二是如何学习到跨模态对齐且具有类别判别性的统一表示,以弥合模态鸿沟。 方法核心是什么:提出ACIR-MACL框架,包含两个并行模块:(1)基于注意力的因果干预正则化(ACIR),其核心是受“前门调整”启发,通过构建一个去除混淆因子(confounder)的反事实注意力路径,并与原始事实路径进行一致性约束,从而净化视觉和声学特征在注意力融合过程中的影响。(2)多方面对比学习(MACL),它将对比学习目标系统性地拆分为跨模态对齐(SCL)、模态内类别可分性(IAMCL)和跨模态类别可分性(IEMCL)三个子目标分别优化。 与已有方法相比新在哪里:新在将因果干预的思路从特征层面提升到注意力机制的过程层面,并设计了双路径(事实/反事实)的正则化方案。同时,MACL明确区分并独立优化了“对齐”和“判别”这两个通常被混合处理的对比学习目标,提供了更精细的表示学习策略。 主要实验结果如何:在MOSI、MOSEI和CH-SIMS三个基准数据集上进行了广泛实验。如表1所示,在MOSI数据集上,本方法在二分类准确率(Acc-2)、F1值(F1)和五分类准确率(Acc-5)上取得最佳(87.20%, 87.08%, 53.79%)。在更大规模的MOSEI数据集上,在五分类和七分类准确率(Acc-5, Acc-7)以及相关性(Corr)上取得最佳。在中文数据集CH-SIMS上,在二分类、三分类和五分类准确率上取得最佳。消融实验(表3,但具体数值未提供)表明,移除ACIR或MACL模块均导致性能显著下降,验证了各模块的有效性。 实际意义是什么:该工作推动了因果推断和对比学习在多模态情感分析中的融合应用,为构建更鲁棒、更可解释的MSA模型提供了新思路。其方法框架具有通用性,可被借鉴到其他多模态学习任务中。 主要局限性是什么:论文未提供消融实验的完整数值表格,影响了对组件贡献的精确评估。ACIR模块依赖于可学习的“混淆因子字典”,其初始化(K-means)和更新机制对最终性能的影响有待更深入分析。此外,论文未探讨该方法在更极端的模态缺失或噪声场景下的鲁棒性。 🏗️ 模型架构 ACIR-MACL框架整体分为三个阶段:单模态特征编码、融合与表示学习(包含ACIR和MACL)、预测与损失计算。其详细架构如图1所示。 ...

2026-04-29

Acoustic and Facial Markers of Perceived Conversational Success in Spontaneous Speech

📄 Acoustic and Facial Markers of Perceived Conversational Success in Spontaneous Speech #语音情感识别 #多模态模型 #面部动作单元 #协同说话 #对话系统 ✅ 6.0/10 | 前50% | #语音情感识别 | #多模态模型 | #面部动作单元 #协同说话 学术质量 5.0/7 | 选题价值 1.0/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者:Thanushi Withanage(美国马里兰大学学院公园分校电气与计算机工程系) 通讯作者:Elizabeth Redcay(美国马里兰大学学院公园分校心理学系) 作者列表:Thanushi Withanage(美国马里兰大学学院公园分校电气与计算机工程系)、Elizabeth Redcay(美国马里兰大学学院公园分校心理学系) 💡 毒舌点评 亮点:论文的选题非常“接地气”且具有现实意义,专注于分析Zoom这种已成为主流的远程沟通场景中的自然对话,所使用的CANDOR语料规模庞大(1500+对话),使得统计结论具有较强的可信度。短板:研究停留在关联性分析层面,缺乏一个端到端的预测模型或机制性解释,结论显得“是什么”多于“为什么”,且对如何应用这些发现进行“针对性干预”只停留在呼吁层面,缺乏具体方案。 📌 核心摘要 本文旨在探究在非任务导向的自发Zoom视频对话中,哪些声学和面部特征能够预测感知的对话成功(PCS)。核心方法是利用CANDOR大规模语料库,提取轮次时长、停顿、音高(F0)、语音强度以及面部动作单元(FAU)等多种特征,并通过因子分析构建PCS分数。与以往多聚焦于任务导向或短对话的研究不同,本文创新性地验证了在长时间的自然虚拟对话中同样存在显著的协同现象(entrainment),并建立了特征与对话质量的关联。主要实验结果包括:高成功对话(HSC)相较于低成功对话(LSC),具有更多的轮次(U=545, z=-5.71, p=1.18e-8)、更长的轮次总时长、更短的停顿、更强的音高和强度邻近性(proximity entrainment),以及更显著的微笑相关FAU(如AU10, AU14)的同步性。研究的实际意义在于为优化远程沟通、设计社交技能训练工具提供了可量化的多模态标志物。主要局限性是研究属于相关性分析,未能验证因果,也未构建一个能够实时预测对话质量的计算模型。 🏗️ 模型架构 本文未提出一个传统意义上的“模型”架构,其核心是一个多模态对话特征分析与关联性研究的框架。数据流与处理流程如下: 数据输入与预处理:输入为CANDOR数据集中的双通道Zoom对话音频与视频。音频被下采样至16kHz并转为单声道,视频用于面部表情分析。 特征提取: 对话动态特征:基于Backbiter转录文本,计算轮次时长(最小、最大、均值、总和)和轮次计数。同时,根据转录时间戳计算轮间停顿(静音>0.6秒)的时长统计。 声学特征:使用PENN工具从每个说话人轮次中提取基频(F0),并使用Praat计算语音强度。对F0进行归一化以减少性别差异。 面部特征:使用OpenFace工具包处理每个说话人的视频,提取17种面部动作单元(FAU)的强度值。 协同特征计算: 声学邻近性(Proximity Entrainment):为每个对话计算“相邻轮次距离”(当前轮特征值与对方下一轮特征值的绝对差)和“非相邻轮次距离”(与随机对方轮次的绝对差),通过配对t检验判断相邻距离是否显著更小。 面部同步性(Synchrony):在5秒非重叠窗口内,计算同一FAU在两个说话人之间的皮尔逊相关系数,经Fisher Z变换后取对话平均值。 感知对话成功(PCS)构建:对21项调查问卷进行主成分分析(PCA),选取PCA1对应的11个积极情感与互动指标,标准化后平均得到PCS分数。根据分布,选取PCS≤0.6(LSC)和≥0.9(HSC)的极端子集进行对比。 关联性分析:使用Mann-Whitney U检验(针对非正态数据)或Welch’s t检验,比较LSC和HSC组在各项特征上的差异。 (图1:不同特征与PCS的关联箱线图。展示了在HSC(高成功)和LSC(低成功)对话中,轮次时长(a)、停顿时长(b)以及轮次计数(c)的分布差异。关键结论:HSC对话拥有更多轮次、更长的总轮次时长和更短的停顿。) ...

2026-04-29

Acoustic Feedback Cancellation in Hearing Aids Exploiting an Inertial Sensor

📄 Acoustic Feedback Cancellation in Hearing Aids Exploiting an Inertial Sensor #音频分类 #信号处理 #实时处理 #多模态模型 #辅助技术 ✅ 7.0/10 | 前25% | #音频分类 | #信号处理 | #实时处理 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Sina Miran(完成主要工作时隶属Starkey Hearing Technologies,现隶属于Apple Inc.) 通讯作者:Henning Schepker(Starkey Hearing Technologies, 邮箱:henning.schepker@starkey.de) 作者列表: Sina Miran(Starkey Hearing Technologies, Eden Prairie, MN, US; 现为 Apple Inc.) Henning Schepker(Starkey Hearing Technologies, Eden Prairie, MN, US) Ivo Merks(现为 Chromatic, 完成工作时隶属Starkey Hearing Technologies) Martin McKinney(Starkey Hearing Technologies, Eden Prairie, MN, US) 💡 毒舌点评 亮点:巧妙地将惯性传感器(IMU)这一“非听觉”模态引入声反馈消除,利用头部运动与声学路径变化的相关性来动态调整算法参数,在稳态性能上确实优于纯音频基线方法,思路新颖且实用。 短板:实验仅在5名受试者和有限的几种日常活动上进行,且最终的端到端AFC性能提升(如图3所示)并非全面碾压所有基线,尤其在外部物体导致路径变化但头部未动时存在检测延迟,其普鲁棒性和泛化能力仍需在更大规模、更复杂的现实场景中验证。 ...

2026-04-29

Acoustic Non-Stationarity Objective Assessment with Hard Label Criteria for Supervised Learning Models

📄 Acoustic Non-Stationarity Objective Assessment with Hard Label Criteria for Supervised Learning Models #音频分类 #时频分析 #信号处理 #实时处理 #模型评估 ✅ 7.0/10 | 前25% | #音频分类 | #时频分析 | #信号处理 #实时处理 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者:未说明(论文作者列表无排序信息) 通讯作者:未说明 作者列表:Guilherme Zucatelli, Ricardo Barioni, Gabriela Dantas(SiDi - Intelligence & Innovation Center, S˜ao Paulo, Brazil) 💡 毒舌点评 亮点在于巧妙地将复杂、难以实时化的非平稳性统计指标(INS)“蒸馏”成易于学习的二进制标签,并训练出专用轻量模型(NANSA),实现了速度上近4000倍的飞跃。短板则在于,这套方法的“地基”——HLC标签的生成——本身仍然依赖那个被诟病“计算不友好”的原始INS算法,颇有“用更累的方法证明自己可以轻松”的悖论感,且任务场景相对狭窄。 📌 核心摘要 要解决什么问题? 传统的声学非平稳性客观评估方法(如INS)计算复杂度高,需要生成合成参考信号并进行多尺度频谱比较,难以应用于实时处理或资源受限的设备。 方法核心是什么? 提出硬标签准则(HLC)算法。该算法将INS在不同观测尺度下的值划分为几个区域,通过多数投票为整个信号生成一个二值(平稳/非平稳)标签。利用此标签作为监督信号,训练了专用的声学非平稳性评估网络(NANSA及其轻量版NANSALW)。 与已有方法相比新在哪里? 首次提出一种客观的、自动化的准则(HLC)将多尺度的INS连续值转化为可用于监督学习的全局标签。基于此,设计了专门针对非平稳性评估的轻量级Transformer模型(NANSA),避免了通用大模型的冗余计算。 主要实验结果如何? 在AudioSet、DCASE和FSD50K三个数据集上,NANSA模型的分类准确率最高达到94.25%(比最强基线AST高1.8个百分点),EER(等错误率)最低降至2.68%(比最强基线降低49.1%)。最关键的是,NANSA推理速度比传统INS算法快约466倍,NANSALW快约3957倍。 关键实验数据表格: 模型 参数量 (M) MMACs AudioSet Acc (%) AudioSet EER (%) AudioSet F1 DCASE Acc (%) DCASE EER (%) DCASE F1 FSD50K Acc (%) FSD50K EER (%) FSD50K F1 PANNs 81.04 1736 90.82 9.25 0.925 98.27 6.37 0.578 92.52 7.21 0.931 AST 94.04 16785 92.37 7.92 0.938 98.20 5.48 0.594 93.86 6.26 0.943 PaSST 83.35 15021 92.02 8.24 0.936 98.35 5.26 0.612 94.18 5.80 0.948 NANSA 5.50 585 94.25 5.87 0.954 99.01 2.68 0.801 95.41 4.59 0.958 NANSALW 0.66 88 93.27 6.73 0.946 98.89 2.91 0.780 94.93 4.95 0.955 实际意义是什么? 为声学信号非平稳性评估提供了一种高效、可部署的替代方案,使其能够应用于实时语音处理、边缘计算设备等场景,支撑基于非平稳性的下游音频任务。 主要局限性是什么? 1) HLC标签生成过程本身仍然依赖计算密集的传统INS方法,只是将计算压力转移到了离线标签生成阶段。2) 方法丢失了INS原本提供的多尺度、连续的平稳性信息,仅输出一个二值标签。3) 论文未提供开源代码或详细复现指南。 🏗️ 模型架构 NANSA模型是一个用于二分类的端到端神经网络,整体架构如图2所示,包含两个核心模块: ...

2026-04-29

Acoustic Teleportation Via Disentangled Neural Audio Codec Representations

📄 Acoustic Teleportation Via Disentangled Neural Audio Codec Representations #神经音频编解码器 #语音增强 #音频场景理解 #信号处理 #解纠缠学习 ✅ 7.0/10 | 前25% | #语音增强 | #神经音频编解码器 | #音频场景理解 #信号处理 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Philipp Grundhuber(Fraunhofer Institute for Integrated Circuits (IIS), Erlangen, Germany) 通讯作者:未说明 作者列表:Philipp Grundhuber†(Fraunhofer Institute for Integrated Circuits (IIS)), Mhd Modar Halimeh†,§(† Fraunhofer Institute for Integrated Circuits (IIS);§ 现任职于Starkey Hearing Technologies), Emanuël A. P. Habets⋆(International Audio Laboratories Erlangen) 💡 毒舌点评 本文在“声学传送”这个颇具未来感的细分赛道上,用扎实的工程改进(EnCodec架构 + 多任务训练)把基线方法(Omran et al.)远远甩在了后面,消融实验和可视化分析做得相当全面。然而,一个明显的短板是它处理“传送”的极限能力不足——当两个房间的混响时间差别大于0.8秒时,输出质量就明显下降,这基本锁死了它在真实复杂声学环境中大规模应用的天花板。 ...

2026-04-29