DDSC: Dynamic Dual-Signal Curriculum for Data-Efficient Acoustic Scene Classification Under Domain Shift

📄 DDSC: Dynamic Dual-Signal Curriculum for Data-Efficient Acoustic Scene Classification Under Domain Shift #音频场景分类 #课程学习 #领域适应 #低资源 ✅ 7.0/10 | 前25% | #音频场景分类 | #课程学习 | #领域适应 #低资源 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Peihong Zhang(School of Advanced Technology, Xi’an Jiaotong-Liverpool University, Suzhou, China) 通讯作者:未说明(论文中未明确标注通讯作者) 作者列表:Peihong Zhang(School of Advanced Technology, Xi’an Jiaotong-Liverpool University, Suzhou, China)、Yuxuan Liu(同上)、Rui Sang(同上)、Zhixin Li(同上)、Yiqiang Cai(同上)、Yizhou Tan(同上)、Shengchen Li(同上) 💡 毒舌点评 亮点在于巧妙地将“领域不变性”和“学习进度”两个动态信号融合成自适应的课程权重,避免了传统课程学习静态排序的僵化,设计轻量且即插即用。短板则是其动态调整高度依赖已知的设备标签进行原型计算,一旦面对完全无标签或设备信息未知的真实场景,该方法的适用性将面临直接挑战。 ...

2026-04-29

Domain-Aware Scheduling for ASR Fine-Tuning

📄 Domain-Aware Scheduling for ASR Fine-Tuning #语音识别 #领域适应 #低资源 #数据选择 ✅ 6.5/10 | 前50% | #语音识别 | #领域适应 | #低资源 #数据选择 学术质量 6.2/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Nikolaos Lagos(Naver Labs Europe, France) 通讯作者:未说明 作者列表:Nikolaos Lagos(Naver Labs Europe, France), Ioan Calapodescu(Naver Labs Europe, France) 💡 毒舌点评 该论文提出了一个在低资源场景下微调ASR系统的实用策略(按域相似度排序数据并分阶段训练),实验结果一致且增益明确,对实际部署者有吸引力。但其核心贡献是对现有数据选择方法(Lagos et al., 2024)的一个后处理步骤,而非根本性架构或算法创新,且方法效果高度依赖于数据选择步骤的质量。 📌 核心摘要 要解决的问题:在真实场景中,用于微调ASR系统的目标域数据往往稀缺。常用的解决方案是从大型开源数据集中选择与目标域相似的域外数据。传统方法在使用这些选中的数据时采用随机顺序,导致训练效果不佳。 方法核心:提出“域感知调度”(DAS)。该方法首先利用一个仅1分钟的目标域种子数据,通过KNN搜索对选定的域外数据按与目标域的距离进行排序(从最远到最近)。然后,将训练过程分为多个阶段,按顺序使用距离递增的数据组进行训练,每个阶段都从上一阶段的最优检查点继续。 与已有方法相比新在哪里:与传统课程学习按“难度”排序不同,DAS按“域距离”排序。与之前直接使用排序数据的“仅选择”基线相比,DAS引入了基于距离的顺序调度机制。论文声称这是首个在ASR微调中明确利用域相似度进行调度的方法。 主要实验结果:在ESB基准的7个英语数据集上,使用100小时训练预算,DAS方法相对于随机选择和“仅选择”基线,平均WER分别降低了4.14个点(17.29%相对降低)和2.52个点(11.32%相对降低)。在不同训练预算(10/50/100小时)下,DAS均表现出稳定改进。具体结果见下表。 数据集 Random WER(↓) SO WER(↓) DAS WER(↓) DAS vs SO WERR(%) (↑) DAS vs Random WERR(%) (↑) LibriSpeech-clean 6.75±0.35 6.59±0.45 4.63±0.10 29.71 31.44 LibriSpeech-other 14.44±0.58 14.31±0.41 10.74±0.05 24.92 25.62 CommonVoice 37.31±0.43 35.55±1.47 32.77±0.44 7.81 12.17 Tedlium 14.49±2.07 11.74±0.62 9.34±0.9 20.44 35.53 Voxpopuli 19.32±0.23 17.37±0.86 15.62±0.24 10.08 19.18 AMI 39.33±0.96 34.60±1.73 32.14±0.6 7.1 18.28 Earnings22 38.84±0.72 36.76±1.91 32.65±1.3 11.2 15.95 Gigaspeech 21.13±0.22 21.81±0.67 20.59±0.74 5.58 2.82 平均值 23.95±0.77 22.34±1.10 19.81±0.55 11.32 17.29 实际意义:该方法为无法依赖大量领域内数据的从业者(如低资源或隐私受限场景)提供了一种提升ASR微调性能的实用方案,可以作为现有数据选择技术的补充。 主要局限性:方法的有效性高度依赖于数据选择步骤(KNN搜索)的质量,这在Gigaspeech数据集上表现明显(该数据集本身多样性高)。论文未探索其他调度顺序(如从近到远)或组内多样性的控制,属于初步研究。 🏗️ 模型架构 论文中并未提出一个全新的端到端神经网络模型,而是提出了一种 “训练调度”(Scheduling)策略,应用于现有ASR模型的微调过程中。其核心流程是一个两阶段框架: ...

2026-04-29

Efficient Depression Detection from Speech via Language-Independent Prompt-Driven Reprogramming

📄 Efficient Depression Detection from Speech via Language-Independent Prompt-Driven Reprogramming #语音生物标志物 #预训练 #迁移学习 #数据增强 #低资源 ✅ 7.5/10 | 前25% | #语音生物标志物 | #迁移学习 | #预训练 #数据增强 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者:Hyunseo Kim(Konkuk University, Artificial Intelligence & Computer Vision Lab.) 通讯作者:未说明 作者列表:Hyunseo Kim(Konkuk University, Artificial Intelligence & Computer Vision Lab.)、Longbin Jin(Konkuk University, Artificial Intelligence & Computer Vision Lab.)、Eun Yi Kim(Konkuk University, Artificial Intelligence & Computer Vision Lab.) 💡 毒舌点评 亮点:论文的亮点在于其“四两拨千斤”的设计哲学——通过仅训练极少的提示参数(769个)和利用三种巧妙的音频增强,就驱动庞大的预训练音频模型(如AST)在跨语言抑郁症检测任务上超越了全参数微调,体现了对参数效率和领域适应性的深刻理解。短板:所有验证仅在两个规模有限(DAIC-WoZ训练集仅107人)的公开基准上进行,缺乏在更大、更多样化的真实临床数据中的测试,这使得其宣称的“可扩展”和“临床部署”潜力在论文中缺乏足够证据支撑,更像一个在特定benchmark上表现良好的技术验证。 ...

2026-04-29

Entropy-Guided GRVQ for Ultra-Low Bitrate Neural Speech Codec

📄 Entropy-Guided GRVQ for Ultra-Low Bitrate Neural Speech Codec #语音合成 #信号处理 #低资源 #流式处理 ✅ 7.5/10 | 前25% | #语音合成 | #信号处理 | #低资源 #流式处理 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Yanzhou Ren(早稻田大学) 通讯作者:未说明 作者列表:Yanzhou Ren(早稻田大学)、Noboru Harada(NTT, Inc., Japan)、Daiki Takeuchi(NTT, Inc., Japan)、Siyu Chen(早稻田大学)、Wei Liu(早稻田大学)、Xiao Zhang(早稻田大学)、Liyuan Zhang(早稻田大学)、Takehiro Moriya(NTT, Inc., Japan)、Shoji Makino(早稻田大学) 💡 毒舌点评 这篇论文就像给一辆已经不错的汽车(Mimi)换了套更智能的轮胎(EG-GRVQ),开起来确实更稳更高效,但发动机和底盘没变。优点是思路自然、实验扎实,将信息论概念(熵/方差)与工程实践(分组量化)结合得很漂亮;缺点是技术突破感不强,更像一次精细的调优,而且没把“改装图纸”(代码)公开出来。 📌 核心摘要 要解决什么问题:在超低比特率条件下,神经语音编码器如何同时保证高保真的波形重建质量和足够高的语音可懂度(语义信息)。 方法核心是什么:提出熵引导的分组残差矢量量化(EG-GRVQ)。它在保留Mimi模型语义分支的同时,在声学分支中,利用编码器各通道输出的方差(作为信息量的代理)来指导如何将通道分成两个信息量均衡的组,而非传统的均匀分割。 与已有方法相比新在哪里:相较于Mimi原始的RVQ和HiFi-Codec的均匀分组GRVQ,EG-GRVQ的创新点在于“引导分组”的依据。它基于高斯分布假设,认为通道方差与其携带的微分熵正相关,因此通过方差排序和累加来确保分组间的信息负载均衡,旨在提升码本利用效率和减少信息冗余。 主要实验结果如何:在0.6875 kbps的超低比特率下,与多个基线相比,EG-GRVQ在客观指标和主观评价上均取得提升。关键数据如下: 客观评估: 方法 PESQ↑ STOI↑ ViSQOL↑ Mimi (official) 1.872 0.876 2.010 Mimi (retrain) 1.779 0.886 2.546 Mimi (GRVQ) 1.852 0.889 2.464 Proposal (EG-GRVQ) 1.881 0.890 2.496 (表1数据) 码本利用效率:EG-GRVQ在各层码本上保持了更高且更均衡的利用率,而传统RVQ在深层码本利用率急剧下降。 主观评估:MUSHRA测试中,EG-GRVQ比官方Mimi得分高21分,比Mimi (GRVQ)高11分,且提升具有统计显著性(图4,图5)。 实际意义是什么:该方法为低带宽实时语音通信(如VoIP、卫星通信)提供了一种提升音质的可行方案,能在固定比特率预算内更高效地利用量化资源,平衡语义与声学保真度。 主要局限性是什么:1) 分组策略在训练前固定为超参数,未探讨逐帧自适应的可能性(论文中提及但为简化未实施);2) 核心改进局限于声学分支的分组策略,未涉及编解码器整体架构或语义分支的优化;3) 未开源代码和模型,限制了直接复现和快速迭代。 🏗️ 模型架构 模型整体架构(如图1所示)沿用了Mimi的编解码器框架,采用因果、低延迟设计,适用于实时通信。 ...

2026-04-29

Exploring Fine-Tuning Of Large Audio Language Models For Spoken Language Understanding Under Limited Speech Data

📄 Exploring Fine-Tuning Of Large Audio Language Models For Spoken Language Understanding Under Limited Speech Data #语音理解 #迁移学习 #低资源 #多语言 🔥 8.0/10 | 前25% | #语音理解 | #迁移学习 | #低资源 #多语言 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者:Youngwon Choi (MAUM AI Inc., Republic of Korea) 通讯作者:Huu-Kim Nguyen (∗ 作者列表中标注星号,现单位为 Atmanity Inc., USA) 作者列表: Youngwon Choi (MAUM AI Inc., Republic of Korea) Jaeyoon Jung (MAUM AI Inc., Republic of Korea & Soongsil University, Republic of Korea) Hyeonyu Kim (MAUM AI Inc., Republic of Korea) Huu-Kim Nguyen (MAUM AI Inc., Republic of Korea → 现 Atmanity Inc., USA) Hwayeon Kim (MAUM AI Inc., Republic of Korea) 💡 毒舌点评 这篇论文像一份非常扎实的“工程实验报告”,系统地厘清了“当语音标注数据很少时,怎么微调音频大模型最划算”这个现实问题,结论(转录文本先行、加少量语音、课程学习)对实践者极具指导性。短板在于,它本质上是方法组合与验证,而非底层算法的原创突破,且所有实验仅基于Qwen2-Audio-7B一个模型,结论的普适性存疑。 ...

2026-04-29

Fast-ULCNet: A Fast and Ultra Low Complexity Network for Single-Channel Speech Enhancement

📄 Fast-ULCNet: A Fast and Ultra Low Complexity Network for Single-Channel Speech Enhancement #语音增强 #循环神经网络 #低资源 #实时处理 ✅ 7.5/10 | 前25% | #语音增强 | #循环神经网络 | #低资源 #实时处理 学术质量 7.5/7 | 选题价值 7.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Nicolás Arrieta Larraza (Bang & Olufsen, Allé 1 7600 Struer, Denmark) 通讯作者:未说明 作者列表:Nicolás Arrieta Larraza (Bang & Olufsen), Niels de Koeijer (Bang & Olufsen) 💡 毒舌点评 亮点: 论文敏锐地发现了FastGRNN在长序列推理时的“状态漂移”这一实用陷阱,并受传感器互补滤波启发提出了一个优雅、轻量且可训练的修复方案(Comfi-FastGRNN),体现了从工程实践中发现问题并解决问题的能力。短板: 创新主要是将一个已有的轻量RNN架构(FastGRNN)替换到另一个轻量模型(ULCNet)中,本质是模块替换,在短音频(10秒)标准评测集上并未带来性能提升甚至略有损失,其核心贡献更偏向于“工程优化”而非“算法突破”。 📌 核心摘要 问题:单通道语音增强算法需要在资源受限的嵌入式设备上运行,要求极低的计算复杂度和延迟。 方法核心:本文提出Fast-ULCNet,将现有低复杂度模型ULCNet中的GRU层替换为更轻量的FastGRNN层,以进一步降低计算开销和延迟。 新发现与创新:研究发现FastGRNN在推理长音频信号(>60秒)时性能会因内部状态漂移而下降。为此,提出了Comfi-FastGRNN,通过一个可训练的互补滤波器模块来抑制状态漂移。 主要实验结果:在DNS Challenge 2020数据集上,Fast-ULCNet在10秒测试集上与原始ULCNet性能相当;在90秒长测试集上,未经改进的FastGRNN性能显著下降,而Comfi-FastGRNN版本则恢复了稳定性,与ULCNet持平。模型参数量减少超过一半(从0.685M降至0.338M),在Raspberry Pi 3 B+上的平均实时因子(RTF)降低约34%(从0.976降至0.657)。 实际意义:该工作使得高性能语音增强模型更容易部署到智能耳机、助听器等低功耗实时设备上。 主要局限性:长序列评估仅通过拼接自身构造,可能不完全反映真实世界的持续流式处理场景;在短序列标准基准上,Fast-ULCNet的PESQ和SI-SDR指标略低于原始ULCNet。 🏗️ 模型架构 Fast-ULCNet的架构基于ULCNet,主要分为两个阶段: ...

2026-04-29

FinHuBERT: Hierarchical Feature Imitating Networks for Low-Resource Speech Recognition

📄 FinHuBERT: Hierarchical Feature Imitating Networks for Low-Resource Speech Recognition #语音识别 #自监督学习 #低资源 #语音大模型 #特征学习 ✅ 7.5/10 | 前25% | #语音识别 | #自监督学习 | #低资源 #语音大模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者:Kavan Fatehi(约克大学计算机系) 通讯作者:未说明 作者列表:Kavan Fatehi(约克大学计算机系)、Amir Shirian(EmergeSound.AI)、Erfan Loweimi(Cisco) 💡 毒舌点评 亮点在于提出了一种巧妙的“两阶段范式”:先在毫无意义的合成噪声上预训练三个特征模仿网络(声学、韵律、语言),再将它们“嫁接”到HuBERT上,从而为低资源识别提供了强大的结构化先验。短板则是这种在噪声上预训练的泛化能力理论解释偏弱,且所有实验均在英语数据集上进行,其多语言或跨域能力完全未验证。 📌 核心摘要 问题:自监督语音模型(如HuBERT)虽然强大,但仍需大量标注数据进行微调,这在低资源场景(如构音障碍语音识别)中难以满足。 方法核心:提出FinHuBERT,采用两阶段训练。第一阶段,独立训练三个特征模仿网络(FIN),分别用于模拟声学(MFCC)、韵律(音高/能量)和语言(音素后验概率)特征。关键创新在于这三个FIN完全在合成高斯噪声上进行预训练,无需任何语音数据。第二阶段,将预训练好的FIN集成到HuBERT的第4、8、12层,通过CCA对齐和自适应注意力加权,替换原始的随机初始化。 新意:与以往单特征模仿不同,本文提出分层、多层次的特征模仿,并首次将特征模仿网络与自监督Transformer模型深度结合。其“合成预训练”阶段将特征学习与语音建模解耦,是一种新颖的训练范式。 实验结果: 主实验:在构音障碍语音数据集UASpeech上,FinHuBERT-Large的词错误率(WER)为13.5%,显著优于HuBERT (14.9%)、WavLM (14.0%) 和 wav2vec 2.0 (14.3%)。 低资源实验:在LibriSpeech上,当仅有1小时标注数据时,FinHuBERT的相对WER比HuBERT改善了36%。 消融实验:移除任一FIN都会导致性能下降,其中移除声学FIN影响最大(WER上升2.36%);三个FIN共同作用优于简单特征拼接(13.46% vs. 14.52%)。 特征分析:FIN在合成数据上训练后,能很好地近似目标特征(MSE低,相关系数>0.92)。注意力权重分析显示模型学习到了语音学意义上的特征特化(如声学特征关注辅音,韵律特征关注短语边界)。 实际意义:为低资源和特殊人群(如构音障碍患者)的语音识别提供了一种有效方法,证明了通过结构化特征先验可以大幅减少对标注数据的依赖。 主要局限性:预训练阶段完全依赖合成噪声,其有效性背后的原因需要更深入的理论分析;方法在多语言、多任务上的泛化能力未探讨;未提供开源代码或模型。 🏗️ 模型架构 FinHuBERT采用两阶段架构,如图1所示。 ...

2026-04-29

FocalCodec-Stream: Streaming Low-Bitrate Speech Coding via Causal Distillation

📄 FocalCodec-Stream: Streaming Low-Bitrate Speech Coding via Causal Distillation #语音编码 #流式处理 #知识蒸馏 #语音大模型 #低资源 🔥 8.0/10 | 前25% | #语音编码 | #知识蒸馏 | #流式处理 #语音大模型 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Luca Della Libera(Concordia University, Mila-Quebec AI Institute) 通讯作者:未说明 作者列表:Luca Della Libera(Concordia University, Mila-Quebec AI Institute),Cem Subakan(Universit´e Laval, Concordia University, Mila-Quebec AI Institute),Mirco Ravanelli(Concordia University, Mila-Quebec AI Institute) 💡 毒舌点评 本文巧妙地将非流式的WavLM“蒸”成一个能实时处理的语音编码器,通过多阶段训练和一个轻巧的“精修工”模块,在80毫秒的低延迟下实现了比肩甚至超越同类流式编解码器的音质和下游性能,堪称工程实践的典范。不过,为了塞进WavLM这个大块头,模型参数量几乎翻倍(249M vs. 142M),其在资源受限设备上的部署可能是个挑战,且多语言泛化能力虽优于部分基线,但仍有明显下滑。 ...

2026-04-29

From Hallucination to Articulation: Language Model-Driven Losses for Ultra Low-Bitrate Neural Speech Coding

📄 From Hallucination to Articulation: Language Model-Driven Losses for Ultra Low-Bitrate Neural Speech Coding #语音合成 #知识蒸馏 #自监督学习 #低资源 ✅ 7.5/10 | 前25% | #语音合成 | #知识蒸馏 | #自监督学习 #低资源 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Jayeon Yi(伊利诺伊大学厄巴纳-香槟分校,西贝尔计算与数据科学学院) 通讯作者:Minje Kim(伊利诺伊大学厄巴纳-香槟分校,西贝尔计算与数据科学学院) 作者列表:Jayeon Yi(伊利诺伊大学厄巴纳-香槟分校,西贝尔计算与数据科学学院)、Minje Kim(伊利诺伊大学厄巴纳-香槟分校,西贝尔计算与数据科学学院) 💡 毒舌点评 亮点在于巧妙地利用了成熟的ASR模型(Whisper)和语音-文本对齐模型(TTR)内部蕴含的语言学知识,将其转化为端到端的训练损失,无需修改编解码器架构,这是一种高效且优雅的知识蒸馏范式。短板是评估体系几乎完全建立在单说话人数据集LJSpeech上,这大大削弱了其结论对于多说话人、多语言或复杂声学环境等更广泛场景的说服力。 📌 核心摘要 问题:在超低比特率(<0.4 kbps)的基于深度神经网络(DNN)的语音编解码器中,生成式解码器常因过度压缩的语义信息不足而产生“音素幻觉”,即合成出声学上干净但与原始语音语义不符的音素。 方法:提出两种语言模型驱动的损失函数(LM Loss)。第一种是ASR损失,利用预训练的Whisper模型,在无需地面真值文本的情况下,通过比较干净语音和解码语音触发的ASR内部语言模型的预测差异来指导编解码器训练。第二种是TTR损失,在需要时序文本时,利用冻结的WavLM和BERT模型,通过投影模块对齐解码语音的声学嵌入和文本的语义嵌入。 创新:与传统仅依赖自监督表示(如HuBERT)进行语义蒸馏的方法不同,本文方法直接利用专门为语音-文本关联任务预训练的模型知识,并以端到端损失形式作用于整个编解码器(包括解码器),且无需对编解码器架构进行任何修改或增加推理开销。 结果:在基于HuBERT和HiFi-GAN的参考编解码器上实验,187.5 bps下,ASR损失变体在语义7点MOS评分上达到6.55(基线SD为5.53),在Whisper WER上降至1.45%(基线SD为3.33%)。TTR损失变体也显著优于基线。所有LM损失变体在语义评估上显著优于语义蒸馏基线,在整体相似度上与之相当。具体数据见下表: 语义/声学 速率 (bps) LM 损失 WER(%)↓ (Whisper) WER(%)↓ (wav2vec2.0) PESQ↑ WARPQ↑ 187.5 ASR 1.45 4.56 1.35 0.289 TTR 2.34 7.13 1.39 0.293 SD (基线) 3.33 11.2 1.42 0.295 S2 (阶段2) 3.04 8.82 1.35 0.283 212.5 ASR 1.23 3.63 1.37 .289 TTR 1.53 5.25 1.44 .293 SD (基线) 2.11 7.04 1.46 .295 S2 (阶段2) 2.09 6.34 1.36 .289 未编码 ∞ - 0.95 1.74 4.64 1.00 ...

2026-04-29

H-nnPBFDAF: Hierarchical Neural Network Partitioned Block Frequency Domain Adaptive Filter with Novel Block Activation Probability

📄 H-nnPBFDAF: Hierarchical Neural Network Partitioned Block Frequency Domain Adaptive Filter with Novel Block Activation Probability #语音增强 #信号处理 #时频分析 #实时处理 #低资源 ✅ 7.5/10 | 前25% | #语音增强 | #信号处理 | #时频分析 #实时处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Jitao Ma(浙江大华技术股份有限公司)(论文标注为共同第一贡献) 通讯作者:Ruidong Fang(浙江大华技术股份有限公司) 作者列表:Jitao Ma(浙江大华技术股份有限公司),Jingbiao Huang(浙江大华技术股份有限公司),Ruidong Fang(浙江大华技术股份有限公司),Jucai Lin(浙江大华技术股份有限公司),Han Xue(浙江大华技术股份有限公司),Yapeng Mao(浙江大华技术股份有限公司),Jun Yin(浙江大华技术股份有限公司) 💡 毒舌点评 本文亮点在于提出了“块激活概率”这一巧妙机制,用一个紧凑的神经网络同时解决了传统自适应滤波器步长选择和滤波器长度固定两大痛点,且计算开销极低。然而,纯线性框架可能在处理设备扬声器严重非线性失真时存在天花板,而论文中的对比实验(如与Deep Adaptive AEC的比较)也显示在复杂场景下其性能仍不及更重的混合方法,且代码未开源限制了复现价值。 📌 核心摘要 问题:在低成本消费设备上部署声学回声消除(AEC)时,传统自适应滤波器(如PBFDAF)面临步长选择困难、滤波器长度需手动固定以适应不同回声路径、以及现有神经网络混合方法计算成本过高的挑战。 方法核心:提出神经网络分块频域自适应滤波器(nnPBFDAF)。核心是一个轻量神经网络,它同时估计频域步长向量(用于替代固定步长)和块激活概率向量(每个分块一个概率值)。块激活概率向量的和可用于间接控制有效滤波器长度,实现自动适应。进一步提出两阶段层次结构(H-nnPBFDAF),第一阶段估计的回声作为第二阶段的参考信号,以提升鲁棒性。 创新点:a) 将神经网络步长估计与PBFDAF深度融合;b) 引入块激活概率向量,首次解决了固定分块数PBFDAF无法自适应不同回声路径长度的难题;c) 设计两阶段级联架构(H-nnPBFDAF),以粗到精的方式提升回声估计精度。 实验结果:在三个测试集上进行评估。如表1所示,在模拟短回声路径(Subset 1)上,H-nnPBFDAF的PESQ为3.12,ERLE为34.57 dB,优于传统PBFDKF(PESQ 2.93, ERLE 25.77 dB)。在AEC Challenge盲测集(Subset 2)上,H-nnPBFDAF在双讲回声评价(DT-E)得分为3.40,略低于Deep Adaptive AEC(4.40),但计算复杂度仅为其约1/26。在真实消费设备数据(Subset 3)上,H-nnPBFDAF的ERLE为21.47 dB,显著优于NKF(7.29 dB)。消融实验(表2)证实,采用块激活概率的nnPBFDAF在不同回声路径长度下的平均PESQ(2.87)优于所有固定分块数模型。 实际意义:该方法在极低计算开销(仅占ARM Cortex-A35单核<9%资源)下实现了高性能AEC,并能自动适应回声路径变化,非常适合资源受限的消费类电子产品(如智能音箱、会议设备)部署,且模型已实际部署。 主要局限性:作为线性AEC框架,对高度非线性失真的回声消除能力可能有限;神经网络部分的具体结构和训练策略细节(如优化器、学习率)未完全公开;代码未开源。 🏗️ 模型架构 模型的核心是nnPBFDAF模块,其整体流程和内部结构如下图所示: ...

2026-04-29