Joint Deep Secondary Path Estimation and Adaptive Control for Active Noise Cancellation

📄 Joint Deep Secondary Path Estimation and Adaptive Control for Active Noise Cancellation #语音增强 #端到端 #实时处理 #深度学习 #信号处理 ✅ 7.5/10 | 前25% | #语音增强 | #端到端 | #实时处理 #深度学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者:Fareedha (National Institute of Technology, Warangal, Telangana, India) 通讯作者:未说明 作者列表:Fareedha (National Institute of Technology, Warangal, Telangana, India)、Vasundhara (National Institute of Technology, Warangal, Telangana, India)、Asutosh Kar (Birmingham City University, Birmingham, UK)、Mads Græsbøll Christensen (Aalborg University, Denmark) 💡 毒舌点评 论文将深度学习中的估计与控制模块“缝合”得相当流畅,消融实验做得很扎实,有力地证明了注意力机制和双向LSTM在其中的价值。然而,核心创新更多是工程层面的集成优化,而非方法论的革新;且实验场景(主要是飞机噪声)稍显单一,要宣称在“动态环境”下鲁棒,或许还应挑战更多极端的非平稳声学条件。 ...

2026-04-29

Joint Multichannel Acoustic Feedback Cancellation and Speaker Extraction via Kalman Filter and Deep Non-Linear Spatial Filter

📄 Joint Multichannel Acoustic Feedback Cancellation and Speaker Extraction via Kalman Filter and Deep Non-Linear Spatial Filter #语音增强 #语音分离 #信号处理 #麦克风阵列 #多通道 ✅ 7.0/10 | 前25% | #语音增强 | #信号处理 | #语音分离 #麦克风阵列 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Ze Li(南京大学现代声学研究所 & NJU-Horizon智能音频实验室,地平线机器人;南京大学) 通讯作者:未说明 作者列表:Ze Li(南京大学现代声学研究所 & NJU-Horizon智能音频实验室,地平线机器人;南京大学),Haocheng Guo(华为技术有限公司),Xiaoyang Ge(南京大学现代声学研究所 & NJU-Horizon智能音频实验室,地平线机器人),Kai Chen(南京大学现代声学研究所 & NJU-Horizon智能音频实验室,地平线机器人),Jing Lu(南京大学现代声学研究所 & NJU-Horizon智能音频实验室,地平线机器人) 💡 毒舌点评 亮点:该工作切中了公共广播和助听器系统中“反馈”与“干扰”两大痛点,提出的AFC-SPEX框架在系统设计上逻辑清晰,将经典卡尔曼滤波与深度空间滤波器巧妙结合,并通过教师强制策略有效解决了训练难题。短板:尽管仿真实验对比了众多基线,但结论的说服力止步于“在模拟环境中表现良好”;对于声学反馈这类严重依赖实际硬件与声场交互的问题,缺乏真实录音数据的验证是一个明显的遗憾,限制了其向实际产品转化的说服力。 📌 核心摘要 这篇论文旨在解决公共广播和助听器等系统中同时存在的声学反馈和干扰噪声问题。核心方法AFC-SPEX将分块频域卡尔曼滤波器(PBFDKF)作为自适应反馈消除模块,其输出的残差信号与原始麦克风信号一起输入到一个深度非线性空间滤波器(DNSF)中,后者通过LSTM网络学习时、频、空特征以估计复数理想比值掩膜,从而提取目标语音。与现有级联方案或单独使用深度网络的方法相比,该工作的主要创新在于联合优化与交互设计:DNSF不仅依赖原始信号,还利用AFC模块的输出作为辅助参考,以联合抑制反馈和干扰;同时,采用了针对闭环问题的教师强制训练策略。实验结果(在模拟的带反馈和干扰的房间声学环境中)表明,所提方法在SI-SDR、PESQ、STOI及最大稳定增益提升(ΔMSG)等多项指标上均优于直接级联、单独DNSF以及一种传统的多通道维纳滤波方法(Rank2-MWF)。例如,在同时存在反馈和干扰的场景(Simulation A)中,AFC-SPEX的SI-SDR达到4.38,优于AFC+DNSF的-1.78和Rank2-MWF的-26.00。该工作的实际意义在于为需要同时处理声学反馈和语音提取的音频系统提供了一种高性能的算法框架。其主要局限性是所有实验均基于仿真,未进行真实世界数据的验证。 ...

2026-04-29

LAFUFU: Latent Acoustic Features For Ultra-Fast Utterance Restoration

📄 LAFUFU: Latent Acoustic Features For Ultra-Fast Utterance Restoration #语音增强 #扩散模型 #实时处理 #潜在空间 🔥 8.0/10 | 前25% | #语音增强 | #扩散模型 | #实时处理 #潜在空间 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者:Łazarz Radosław Wosik(论文作者列表首位,但未明确标注为第一作者) 通讯作者:论文中未明确标注 作者列表:Łazarz Radosław Wosik (Samsung R&D Institute Poland), Mateusz Pudo (Samsung R&D Institute Poland), Urszula Krywalska (Samsung R&D Institute Poland), Adam Cie´slak (Samsung R&D Institute Poland), († AGH University of Krak´ow) — 论文开头列出作者姓名及主要所属机构为Samsung R&D Institute Poland,其中一位作者带有†标记,表示其同时隶属于AGH University of Krak´ow。 💡 毒舌点评 亮点在于它非常务实且有效:通过将扩散过程搬到一个更小、更高效的潜在空间里,直接戳破了生成式语音恢复“效果好但算力吃不消”的泡沫,实现了显著的加速(RTF降低约40%)而不牺牲质量。短板是其创新本质是“缝合”了图像领域的Latent Diffusion思想和语音领域的SGMSE+模型,属于应用创新而非理论突破,且双模型架构无形中增加了部署时的内存管理复杂度。 ...

2026-04-29

Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners

📄 Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners #模型评估 #语音增强 #数据增强 #预训练 #鲁棒性 ✅ 7.5/10 | 前25% | #模型评估 | #数据增强 | #语音增强 #预训练 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者:Boxuan Cao, Linkai Li (共同贡献,论文中标记为“*”) 通讯作者:Haoshuai Zhou, Shan Xiang Wang (论文中标记为“†”) 作者列表: Boxuan Cao (Orka Labs Inc., China) Linkai Li (Orka Labs Inc., China; Stanford University, Electrical Engineering, United States) Hanlin Yu (University of British Columbia, Electrical Engineering, Canada) Changgeng Mo (Orka Labs Inc., China) Haoshuai Zhou (Orka Labs Inc., China) Shan Xiang Wang (Orka Labs Inc., China; Stanford University, Electrical Engineering, United States) 💡 毒舌点评 论文巧妙地将“语音增强”这个预处理步骤变成了可懂度预测模型的一部分,通过“让模型比较增强前后差异”来模拟侵入式方法中“比较干净和嘈杂信号”的过程,这个思路既实用又有点小聪明。然而,论文对跨数据集泛化失败的根本原因(如听者特征差异、录音条件差异)只是简单描述,提出的“2-clips”增强策略虽然有效,但对其为何有效的机制解释略显单薄,更像是一个实用技巧的报告,而非深入的原理探究。 ...

2026-04-29

Lightweight and Perceptually-Guided Voice Conversion for Electro-Laryngeal Speech

📄 Lightweight and Perceptually-Guided Voice Conversion for Electro-Laryngeal Speech #语音转换 #语音增强 #自监督学习 #低资源 #领域适应 ✅ 7.5/10 | 前25% | #语音转换 | #自监督学习 | #语音增强 #低资源 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Benedikt Mayrhofer(格拉茨理工大学 信号处理与语音通信实验室;维也纳医科大学 综合人工智能医学中心) 通讯作者:未说明(论文提供了多位作者的邮箱,未明确指定通讯作者) 作者列表:Benedikt Mayrhofer(格拉茨理工大学 信号处理与语音通信实验室;维也纳医科大学 综合人工智能医学中心)、Franz Pernkopf(格拉茨理工大学 信号处理与语音通信实验室)、Philipp Aichinger(维也纳医科大学 耳鼻喉科,语音学与语言治疗科;维也纳医科大学 综合人工智能医学中心)、Martin Hagmüller(格拉茨理工大学 信号处理与语音通信实验室;维也纳医科大学 综合人工智能医学中心) 💡 毒舌点评 这篇论文的亮点在于精准的“临床需求驱动工程适配”,它没有空谈大模型,而是针对电子喉语音的具体缺陷(无F0、机械噪声),对现有流式架构StreamVC进行了务实而有效的“减法”改造(移除音高/能量模块)和“加法”增强(感知引导损失),实验设计严谨且消融分析充分。短板在于创新更多是“组合”与“调优”,缺乏一个能引发范式思考的核心算法突破,且模型在韵律生成和极端噪声下的可懂度方面仍有明显差距。 📌 核心摘要 这篇论文针对喉切除患者使用的电子喉(EL)语音存在音高单调、韵律缺失和机械噪声的问题,提出了一种轻量级且感知引导的语音转换(VC)方法。其核心方法是在现有的流式Voice Conversion架构StreamVC基础上进行针对性适配:1)移除了不适用于EL语音的音高(F0)和能量估计模块以简化模型;2)设计了一种利用Whisper编码器特征和DTW对EL-HE(健康语音)平行数据进行时间对齐的预处理流程;3)在训练中引入了包括WavLM感知损失、人类反馈(HF)损失、可懂度损失等多种感知引导损失函数。与已有方法相比,本文的新意在于为EL语音转换这一特殊场景提供了端到端的轻量级流式解决方案,并系统评估了不同感知损失组合的影响。实验结果表明,最佳模型配置(+WavLM+HF)将EL语音的字符错误率(CER)从88.2%大幅降低至41.9%,将自然度评分(nMOS)从1.1提升至3.3,显著缩小了与健康语音的差距。其实际意义在于为语音康复提供了一种低延迟、轻量化的潜在工具。主要局限性是韵律生成和极端条件下的可懂度仍是瓶颈。 🏗️ 模型架构 该模型架构(如图1所示)是对StreamVC的轻量级自适应改造,整体是一个全卷积、因果(支持流式处理)的编码器-解码器结构,用于执行从EL语音到HE语音的转换。 完整流程:输入EL语音波形,经过内容编码器提取语言内容特征(与说话人无关),同时通过说话人编码器提取目标HE说话人的声纹嵌入。内容特征与说话人嵌入通过FiLM条件层调制后,送入解码器重构出目标HE语音波形。整个模型在GAN框架下训练,包含一个判别器(遵循HiFi-GAN的MPD和MSD设计)。 主要组件: 内容编码器 (Content Encoder):由多个卷积块(Encoder-Block)堆叠而成,每个块包含两个Conv1D层。其核心任务是从EL语音中提取“内容单位”。与StreamVC不同,这里使用mHuBERT-147作为教师模型,通过k-means聚类生成离散单元,学生编码器通过预测这些单元来学习内容表示。这种自监督预训练有助于学习对噪声鲁棒的内容特征。 说话人编码器 (Speaker Encoder):结构与内容编码器类似,但末端连接了一个可学习池化层 (Learnable Pooling),将变长的语音特征序列聚合为一个固定维度的全局说话人嵌入向量。 解码器 (Decoder):由解码块(Decoder-Block)和残差单元(ResidualUnit)构成。其关键设计是采用了FiLM(Feature-wise Linear Modulation)条件层。说话人嵌入通过FiLM层对解码器中间层的特征进行逐特征的仿射变换(缩放和平移),从而将说话人特征“注入”到由内容编码器生成的内容特征中,指导解码器合成具有目标说话人音色的语音。 感知引导损失 (Guided Losses):虽然不是模型组件,但这是训练时的核心创新。它包括: 重建损失:Mel频谱重构损失。 对抗与特征匹配损失:来自GAN判别器的损失。 感知损失 (WavLM):在预训练的WavLM特征空间计算生成语音与真实HE语音的MSE,鼓励生成语义和声学上更真实的表示。 人类反馈损失 (HF):基于UTMOS分数(不包含PESQ)的负均值,直接优化模型输出的感知自然度。 可懂度损失 (BNF/WEO):分别在Conformer-CTC瓶颈特征和Whisper编码器特征空间计算MSE,引导模型生成更清晰、易于理解的语音。 F0轮廓损失:预测并约束生成语音的基频轨迹。 关键设计选择及动机:移除StreamVC中的F0和能量模块是本文最重要的架构调整。原因在于EL语音本身缺乏自然的F0变化,保留这些模块不仅无益,还会增加模型复杂度。替换为多语言mHuBERT-147教师模型是为了更好地适配德语(及奥地利德语)数据。这些改动使模型更轻量(总参数约30M,大小123MB),更专注于解决EL语音转换的核心问题。 ...

2026-04-29

Lightweight Phoneme-Conditioned Bandwidth Extension for Body-Conducted Speech

📄 Lightweight Phoneme-Conditioned Bandwidth Extension for Body-Conducted Speech #语音增强 #轻量化模型 #条件生成 #流式处理 ✅ 7.5/10 | 前25% | #语音增强 | #条件生成 | #轻量化模型 #流式处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Davide Albertini(STMicroelectronics) 通讯作者:未说明 作者列表:Davide Albertini(STMicroelectronics)、Alessandro Ilic Mezza(Politecnico di Milano) 💡 毒舌点评 这篇论文很聪明地找到了“信息瓶颈”所在——不是网络容量不够,而是缺乏对语音内容本身的先验引导,并用非常工程友好的方式(FiLM调制)将其注入。然而,论文的“轻量级”声明在实验验证上略显单薄,仅基于FP32参数量估算模型大小,未探讨量化、剪枝等进一步压缩的可能性,且S2P模块的额外计算开销和部署复杂性被淡化了。 📌 核心摘要 问题:身体传导(BC)传感器在嘈杂环境下采集的语音因低频噪声和高频衰减而变得模糊,严重影响可理解性。现有的深度学习带宽扩展(BWE)方法虽然有效,但模型体积和计算量对于可穿戴微控制器(通常<4MB RAM)来说过于庞大。 方法核心:提出PhonCon框架,利用一个冻结的语音到音素(S2P)分类器提供的音素先验信息,通过特征级线性调制(FiLM或其时变版本TFiLM)来调制一个紧凑的循环神经网络(LSTM或Mamba)的隐藏状态,从而指导BWE过程。该设计避免了增加输入维度或破坏流式处理。 创新点:与以往通过增加网络深度或容量,或使用PPGs作为辅助输入的方法不同,本文创新性地使用音素逻辑值通过FiLM/TFiLM直接调制中间层表示,实现了更高效的信息注入。特别是将Mamba这种高效的状态空间模型与TFiLM条件化结合,在效率与性能间取得了新平衡。 实验结果:在Vibravox数据集上,所有条件化模型(FiLM/TFiLM)在PESQ和STOI上均优于对应的非条件化基线。最佳模型TFiLM-Mamba在模型大小(2.99MB)和计算量(53.55 MFLOPS)远低于EBEN(7.42MB,1334.77 MFLOPS)和TRAMBA(19.7MB,3063.32 MFLOPS)的情况下,取得了具有竞争力的性能,并显著优于DDAE和TRAMBA基线。具体对比见下表。 模型 参数量 大小 (MB) MFLOPS DDAE [7] 468 K 1.87 29.25 EBEN (生成器) [3] 1.9 M 7.42 1334.77 TRAMBA [4] 5.2 M 19.7 3063.32 LSTM 382 K 1.52 46.22 FiLM-LSTM 538 K 2.15 64.91 TFiLM-LSTM 1.7 M 6.84 112.86 Mamba 146 K 0.58 17.69 FiLM-Mamba 292 K 1.17 35.19 TFiLM-Mamba 748 K 2.99 53.55 实际意义:为在资源严苛的可穿戴设备(如智能耳机、头盔)上实现实时、高质量的BC语音增强提供了可行的轻量级解决方案。 主要局限性:1) S2P模块的精度(PER ~33%)不高,虽然论文称其仍有效,但未深入分析不同错误率对最终BWE性能的影响边界。2) 仅在单一数据集(Vibravox,法语)上验证,缺乏跨语言或跨数据集的泛化性证明。3) 未探讨模型量化、剪枝等进一步的TinyML优化潜力。 🏗️ 模型架构 PhonCon是一个端到端的序列到序列模型,整体架构如图1所示,旨在将BC语音的log-mel谱图映射为接近AC语音的log-mel谱图。其核心包含三个串联组件: ...

2026-04-29

LipsAM: Lipschitz-Continuous Amplitude Modifier for Audio Signal Processing and its Application to Plug-And-Play Dereverberation

📄 LipsAM: Lipschitz-Continuous Amplitude Modifier for Audio Signal Processing and its Application to Plug-And-Play Dereverberation #语音增强 #即插即用学习 #Lipschitz连续性 #鲁棒性 #信号处理 ✅ 7.5/10 | 前25% | #语音增强 | #信号处理 | #即插即用学习 #Lipschitz连续性 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Kazuki Matsumoto(东京农工大学) 通讯作者:未明确说明(论文中列出三位作者,无明确通讯作者标注) 作者列表:Kazuki Matsumoto, Ren Uchida, Kohei Yatabe(均来自东京农工大学,Tokyo University of Agriculture and Technology) 💡 毒舌点评 这篇论文漂亮地解决了一个音频深度学习中“理论上不优雅但实践中常用”的架构痛点,为看似经验主义的“幅度修改”网络注入了严格的数学保证。不过,其应用场景(PnP去混响)相对狭窄,更像一个精致的“补丁”而非范式革新,且未开源代码,让读者“只能远观,无法亵玩”。 📌 核心摘要 问题:在音频信号处理中,深度神经网络(DNN)常采用在短时傅里叶变换(STFT)域修改频谱幅度、保留相位的架构(即振幅修改器,AM)。然而,这种架构即使其核心DNN是Lipschitz连续的,整个系统通常也不是Lipschitz连续的,这阻碍了利用Lipschitz连续性来保证系统鲁棒性和算法稳定性的理论分析。 方法核心:论文证明了使振幅修改器(AM)成为Lipschitz连续(称为LipsAM)的一个充分条件:核心DNN不仅要Lipschitz连续,其输出幅度还必须被输入幅度逐元素地限制(定理4)。据此,提出了两种LipsAM架构:LipsAM-SE(信号估计器,通过min操作限制输出)和LipsAM-RE(残差估计器,通过ReLU确保残差非负)。 新意:首次建立了针对音频AM架构的Lipschitz连续性理论条件,并提供了可直接应用的、简单的架构修改方案(在输出端添加限制层)。同时,推导了LipsAM-SE和LipsAM-RE的Lipschitz常数理论上界(分别为√(Lip(S)²+1) 和 Lip(R)+1)。 主要实验结果:在即插即用(PnP)语音去混响任务中,LipsAM显著提升了算法的稳定性。当参数λ设置不当时,传统AM(AM-SE, AM-RE)容易发散,而LipsAM能保持稳定。在10个测试信号上的定量评估(2000次迭代)显示,LipsAM-RE达到了最佳的SI-SNR(20.57 dB)。关键结果如下表所示: 去噪器 D SI-SNR (↑) [dB] PESQ (↑) STOI (↑) ViSQOL (↑) AM-SE N/A (发散) N/A N/A N/A LipsAM-SE 16.61 2.91 0.91 3.64 AM-SE (Ortho) 9.54 2.30 0.88 3.10 LipsAM-SE (Ortho) 14.44 2.68 0.93 3.75 AM-RE 17.98 3.21 0.97 4.21 LipsAM-RE 20.57 3.14 0.97 4.21 AM-RE (Ortho) N/A (发散) N/A N/A N/A LipsAM-RE (Ortho) 18.64 2.90 0.95 3.94 Soft Thresh. (τ=0.1) 17.34 2.95 0.96 3.89 实际意义:为音频DNN的设计和分析提供了一个新的理论视角和实用工具。LipsAM可以作为一种“即插即用”的稳定性增强模块,直接应用于基于STFT和振幅修改的现有音频处理流程中,提高迭代式优化算法(如PnP)的收敛鲁棒性。 主要局限性:研究局限于振幅修改型架构,未涵盖时频掩蔽等其他主流音频DNN架构。理论分析基于特定的Lipschitz条件假设,在更复杂的真实场景和网络结构中的泛化性有待验证。实验仅在语音去混响上展示,未在更广泛的音频任务(如增强、分离)中验证。 🏗️ 模型架构 论文主要提出两种Lipschitz连续的振幅修改器(LipsAM)架构,它们都建立在传统AM-SE和AM-RE架构之上。其核心思想是:在传统的振幅修改DNN(S或R)的输出端,增加一个强制性的“限制层”,确保最终输出的频谱幅度不超过输入频谱幅度(即满足Assumption 3的条件2),从而整体上满足Lipschitz连续性的要求。 ...

2026-04-29

Low-Bandwidth High-Fidelity Speech Transmission with Generative Latent Joint Source-Channel Coding

📄 Low-Bandwidth High-Fidelity Speech Transmission with Generative Latent Joint Source-Channel Coding #语音增强 #语义通信 #端到端 #生成对抗网络 #流式处理 ✅ 7.5/10 | 前25% | #语音增强 | #端到端 | #语义通信 #生成对抗网络 学术质量 6.5/7 | 选题价值 0.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者:Guangkuan Li(北京邮电大学) 通讯作者:Jincheng Dai(北京邮电大学) 作者列表:Guangkuan Li(北京邮电大学)、Shengshi Yao(北京邮电大学)、Sixian Wang(上海交通大学)、Zhenyu Liu(University of Surrey)、Kai Niu(北京邮电大学)、Jincheng Dai(北京邮电大学) 💡 毒舌点评 亮点:该工作聪明地将神经音频编解码器(RVQ-GAN)与联合源信道编码(JSCC)解耦后又紧密融合,利用生成模型在低带宽下提供先验信息,有效缓解了传统JSCC在极低带宽下的质量崩塌问题。短板:虽然声称“节省60%带宽”,但对比基线(Opus+LDPC, Encodec+LDPC)的配置细节(如Opus的码率、LDPC的开销)未在文中清晰界定,使得“节省”的绝对值在不同实际部署条件下可能有所变化。 📌 核心摘要 问题:现有的语音联合源信道编码(JSCC)方法在带宽极度受限时,感知质量会急剧下降,难以满足高保真传输需求。 核心方法:提出生成式潜在联合源信道编码(GL-JSCC)框架。该框架首先使用RVQ-GAN将语音压缩到一个与人感知对齐的潜在空间,然后在该潜在空间内使用流式Transformer执行JSCC,最后采用三阶段渐进式训练策略进行优化。 创新点:与传统在源空间或简单神经网络潜空间进行JSCC不同,本文在生成式潜在空间中进行JSCC,该空间具有更高的稀疏性和感知对齐性,且生成模型本身为低带宽下的重建提供了额外的先验知识。 主要实验结果:在AWGN和COST2100衰落信道下,GL-JSCC在低信噪比(SNR)和低带宽条件下均优于传统方法(Opus+LDPC, AMR-WB+LDPC)和神经网络基线(DeepSC-S, Encodec+LDPC)。例如,在SNR=2dB的AWGN信道下,GL-JSCC能达到与Opus+LDPC相同的感知质量(PESQ分数),但节省高达60%的带宽。主观MUSHRA测试也证实了其优越的听感。 实际意义:该框架为在带宽受限的弱网络(如工业物联网、偏远地区)中进行高质量语音传输提供了一种有效解决方案,推动了语义通信在音频领域的实用化。 主要局限性:性能上限受限于RVQ-GAN神经编解码器本身的重建质量(PESQ分数最高约4);实验主要基于英文语音数据集(LibriSpeech),在其他语言或声学环境下的泛化能力未验证。 🏗️ 模型架构 GL-JSCC的整体架构分为两个核心部分:生成式潜在编解码器(Latent Codec) 和 联合源信道编解码器(JSCC Codec),其流程如公式(1)所示:语音 x -> 潜在编码器 E -> 潜在表示 l -> JSCC编码器 J_e -> 发送符号 s -> 无线信道 -> 接收符号 ŝ -> JSCC解码器 J_d -> 潜在表示 l̂ -> 潜在解码器 D -> 重建语音 x̂。 ...

2026-04-29

Low-Frequency Harmonic Control for Speech Intelligibility in Open-Ear Headphones

📄 Low-Frequency Harmonic Control for Speech Intelligibility in Open-Ear Headphones #语音增强 #信号处理 #鲁棒性 #实时处理 ✅ 6.5/10 | 前50% | #语音增强 | #信号处理 | #鲁棒性 #实时处理 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Yuki Watanabe(NTT Inc., Tokyo, Japan)(基于作者列表顺序判断,论文未明确标注) 通讯作者:未说明 作者列表:Yuki Watanabe(NTT Inc., Tokyo, Japan)、Hironobu Chiba(NTT Inc., Tokyo, Japan)、Yutaka Kamamoto(NTT Inc., Tokyo, Japan)、Tatsuya Kako(NTT Inc., Tokyo, Japan) 💡 毒舌点评 亮点:巧妙地利用了语音基频与谐波之间的能量关系,通过“抑制基频、增强谐波”这种反直觉的方式,在特定硬件限制(小扬声器低频弱)和环境掩蔽(低频噪声强)下找到了一个提升可懂度的“巧劲儿”,想法很有针对性。 短板:实验部分过于“迷你”——仅用8位听众和6个语音样本就得出“显著提高”的结论,说服力不足,且完全没有与经典的语音增强算法(如谱减法、维纳滤波)进行对比,让人无法判断其在现有技术体系中的真实位置。 📌 核心摘要 解决的问题:开放式耳机因采用小型扬声器单元导致低频输出不足,在嘈杂环境中(尤其是存在大量低频成分的环境噪声时),语音的低频部分容易被掩蔽,导致可懂度下降。 方法核心:提出一种名为“低频谐波控制(LFHC)”的低复杂度后处理方法。核心是通过一个延迟为基频周期2.5倍(τ=τ₀/2.5)的FIR梳状滤波器来抑制语音的基频(F0),并同时增强其第二和第三谐波,然后将处理后的信号通过一个截止频率为5倍基频的低通滤波器,最后与原信号相加。 创新之处:与传统强调基频的音高增强不同,本方法反其道而行之,专注于将能量从易被掩蔽的基频重新分配到不易被掩蔽且耳机仍能有效重现的第二、三谐波频带。该方法计算复杂度低,适合在开放式耳机的DSP芯片上实时运行。 主要实验结果:在棕色噪声(69 dB SPL)环境下,使用类似MUSHRA的主观评估(但标准为可懂度)。当加权因子α=0.6时,处理后语音的可懂度得分(相对于未处理同音量语音)在6个测试语音样本中的3个上获得了显著提升,对另外3个无显著降低;当α=0.9时,过度处理导致2个样本的可懂度显著下降。散点图显示,处理前第二、三谐波能量相对基频较高的语音,处理收益较小(相关系数-0.93)。详细数据见下表: 处理条件 声压级 (dB SPL) 说明 OR (原始参考) 60 未经处理的原始语音 OR-3 57 未经处理,音量降低3 dB OR-6 54 未经处理,音量降低6 dB LFHC-3(0.6) 57 使用本文方法(α=0.6),音量与OR-3相同 LFHC-3(0.9) 57 使用本文方法(α=0.9),音量与OR-3相同 图5(论文中图片4)展示了不同条件下语音可懂度得分的均值及95%置信区间。与未处理的OR-3相比,LFHC-3(0.6)对多数样本有正向提升或无影响,而LFHC-3(0.9)则对部分样本产生负面影响。 ...

2026-04-29

Low-Latency Audio Front-End Region-of-Interest Beamforming for Smart Glasses

📄 Low-Latency Audio Front-End Region-of-Interest Beamforming for Smart Glasses #语音增强 #波束成形 #实时处理 #多通道 ✅ 7.0/10 | 前25% | #语音增强 | #波束成形 | #实时处理 #多通道 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Ariel Frank(Technion – Israel Institute of Technology, Andrew and Erna Viterbi Faculty of Electrical and Computer Engineering) 通讯作者:未说明 作者列表:Ariel Frank(Technion – Israel Institute of Technology, Andrew and Erna Viterbi Faculty of Electrical and Computer Engineering)、Israel Cohen(Technion – Israel Institute of Technology, Andrew and Erna Viterbi Faculty of Electrical and Computer Engineering) 💡 毒舌点评 亮点:论文最大的价值在于其“公正裁判”的角色——它没有盲目声称自己方法最优,而是通过建立一个统一的数学框架,用同一套指标(延迟、复杂度、性能)系统地量化比较了时域和STFT域两种主流实现路径,结论清晰且有实验数据强力支撑,为智能眼镜产品的技术选型提供了坚实的工程依据。 短板:研究范畴严格限定在传统信号处理波束成形的对比上,完全未与当前火热的基于深度学习的波束成形/语音增强方法进行对比(即使引用了相关工作),使得结论的时效性和全面性打了折扣;实验在高度可控的消声室完成,对于智能眼镜实际使用中复杂的混响、噪声、多人的环境泛化性未经验证。 ...

2026-04-29