语音增强

📄 BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Approach for Self-Supervised Audio Representations #自监督学习 #语音识别 #语音增强 #音频分类 6.9/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 0.4/1.5 ✅ 6.9/10 | 前50% | #语音识别 | #自监督学习 | #语音增强 #音频分类 | arxiv 👥 作者与机构 论文作者为Ludovic K. Tuncay, Etienne Labbé, Thomas Pellegrini。论文原文未提及作者所属的具体机构。 💡 毒舌点评 这篇工作是BEST-RQ的直接迭代，想法简单直接（两步走），效果有提升但谈不上惊艳。优点在于方法简洁，保持了BEST-RQ无需复杂目标建模的优点，并在推理效率上没有妥协。然而，论文的写作和实验报告存在明显短板：核心贡献（两步解耦）的机制分析非常薄弱，缺乏说服力；消融实验几乎为零，无法判断性能提升究竟源于“两步解耦”还是仅仅换了ViT；开源声明流于形式（只说可用，不给链接），这在顶会审稿中是重大减分项。整体来看，这是一篇合格的、incremental的工作，但距离一篇让人印象深刻的论文还有距离。 📌 核心摘要 本文提出了BEST-RQ-2，这是对BEST-RQ自监督音频表示学习方法的改进。核心思想是将预训练过程解耦为两步：首先，一个ViT编码器（上下文化器）仅处理输入频谱图中未被遮蔽的区域，生成上下文表征；然后，一个轻量级预测器利用这些上下文表征，去预测原始输入中被遮蔽区域对应的随机投影离散目标。预训练完成后，预测器被丢弃，仅保留编码器用于下游任务。这种“上下文化-然后-预测”的范式在X-ARES和XARES-LLM两个跨领域音频评估基准上，持续优于使用相同离散目标的单阶段预测基线。与原始BEST-RQ（使用Conformer编码器）相比，新方法在语音性能上略有损失，但在音乐和环境声性能上有所提升，整体平均性能持平。代码和模型检查点已公开（但未提供链接）。 🔗 开源详情 代码：论文声明“Code … are publicly available”，但未提供具体的GitHub或其他代码仓库URL链接。 模型权重：论文声明“model checkpoints are publicly available”，但未提供具体的模型权重下载地址（如HuggingFace Hub、ModelScope、Google Drive链接等）。 数据集：论文未提及是否开源了预训练所用的数据集，也未提供相关获取信息。评估基准X-ARES和XARES-LLM是公开的，但论文未说明是否提供了使用这些基准的评估脚本或数据划分。 Demo：论文未提及。 复现材料：论文未提及是否提供训练脚本、配置文件、超参数列表或环境依赖说明（如requirements.txt）等辅助复现的材料。 论文中引用的开源项目：论文正文未明确列出使用或引用的任何第三方开源工具、框架或代码库。 🏗️ 方法概述和架构 论文提出了一种两阶段预训练框架 BEST-RQ-2，其核心架构和流程如下（参考论文架构图）： ...

📄 Improving multichannel speech enhancement through accurate room-acoustic simulations #语音增强 #数据增强 #多通道 #语音识别 6.8/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | #语音增强 | #数据增强 | #多通道 #语音识别 | arxiv 👥 作者与机构 Georg Götz, Alessia Milo, Steinar Guðjónsson, Daniel Gert Nielsen, Jesper Pedersen, Finnur Pind Treble Technologies, Reykjavík, Iceland 邮箱: georg.goetz@treble.tech, am@treble.tech, sg@treble.tech, dgn@treble.tech, jp@treble.tech, fp@treble.tech ...

📄 OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL #自监督学习 #生成对抗网络 #语音增强 #语音分离 #语音转换 7.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1.2/1 | 影响 1.3/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.5/10 | 前50% | #语音识别 | #自监督学习 | #生成对抗网络 #语音增强 | arxiv 👥 作者与机构 作者：Karl El Hajal (Idiap Research Institute, Switzerland; EPFL, Switzerland), Mathew Magimai.-Doss (Idiap Research Institute, Switzerland) 机构：Idiap Research Institute（瑞士），洛桑联邦理工学院（EPFL，瑞士） ...

📄 VeRe-Flow: Guiding Flow Matching toward Clean Speech via Velocity Contrastive Regularization and Representation Alignment for Noise-Robust Bandwidth Expansion #语音增强 #流匹配 #自监督学习 #正则化微调 #生成模型 #鲁棒性 7.7/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | #语音增强 | #自监督学习 | #流匹配 #正则化微调 | arxiv 👥 作者与机构 作者：Sujin Koo, Sangyoon Kim, Ji Sub Um, Hoirin Kim。机构：MAGO（韩国）和KAIST（韩国）。 ...

📄 Advancing Speaker-Based Vocal Effort Classification with WavLM and Data Augmentation in Naturalistic Non-Calibrated Speech Recordings #语音增强 #自监督学习 #低资源 #数据增强 6.8/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 6.8/10 | 前50% | #语音增强 | #自监督学习 | #低资源 #数据增强 | arxiv 👥 作者与机构 论文作者来自University of Texas at Dallas (UTDallas)，由J.H.L. Hansen教授支持。 💡 毒舌点评 这篇论文的“首次”宣称需要打折扣。虽然WavLM用于语音努力分类确实是新尝试，但整体架构是标准的微调预训练模型加数据增强和损失函数改进，创新点更多是工程上的组合与验证，而非方法论上的根本突破。论文最大的问题在于实验规模过小：仅在单一、非校准的AVID数据集（约1万条样本）上进行验证，这使得“新SOTA”的宣称说服力有限，模型在更复杂、更真实场景下的泛化能力完全未知。作者提出的“高斯邻居软标签”听起来很新颖，但其核心思想（建模标签连续性）与已有的标签平滑、序数回归等方法思想相通，论文未能充分论证其相比这些成熟方法的显著优势。此外，论文开源信息为零，极大阻碍了科学验证和后续研究。整体而言，这是一篇扎实的“应用性”工作，但距离顶会所要求的“开创性”贡献还有明显差距。 📌 核心摘要 本文首次将WavLM自监督模型应用于自然的非校准语音录音的语音努力分类任务。通过系统性地研究和结合多种波形级数据增强策略（如RIR卷积、噪声添加、时间掩码、速度扰动、限带）以及混合级增强（MixUp， CutMix），并创新性地提出高斯邻居软标签以建模语音努力的连续性，有效缓解了标注数据稀缺和相邻类别混淆的问题。在AVID语料库的10折交叉验证中，最佳系统（WavLM-BASE + 渐进式解冻 + MixUp + 高斯邻居软标签）达到了78.22%的平均准确率，相较于之前的基线方法有所提升。 ...

📄 A Large-Scale Database and Predictive Model of Listener-Rated Ease of Speech Understanding in Commercial Hearing Aids #助听器 #语音增强 8.1/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 8.1/10 | 前25% | #语音质量评估 | #助听器 | #语音增强 | arxiv 👥 作者与机构 Andrew Sabin, Steve Taddei, Abram Bailey。作者来自独立听力实验室HearAdvisor（具体所属机构未在论文中明确说明）。 💡 毒舌点评 这篇论文解决了一个真实且重要的问题：为商业助听器的消费者提供基于真实听感的客观评价指标。其核心贡献在于构建了一个大规模的、基于真实用户在线主观评分的助听器语音理解易用性数据集，并训练了一个预测模型，该模型在特定条件下达到了人类评分的可靠性上限。然而，这份“顶会级别”的工作存在几个显著的“硬伤”：首先，模型和数据集均未开源，这使得其“大规模数据集”的价值大打折扣，也严重阻碍了学术界的复现与比较；其次，实验仅基于单一的N3听力损失类型，模型对其他听力损失用户的泛化能力完全未知，这是一个重大的局限性，而非简单的“待验证”；最后，在线收集数据的环境控制不足（播放设备、校准粗糙），虽然作者期望其能平均化，但这引入了不可忽视的系统性偏差风险。总体而言，这是一篇扎实的工程导向工作，为特定应用提供了有价值的解决方案，但在方法的普适性、科学严谨性以及开放性上，距离顶级学术会议的标准还有距离。 📌 核心摘要 本文介绍了HearAdvisor平台为商业助听器构建的大规模听者主观评分数据集及对应的预测模型。数据集包含通过在线盲听测试收集的151,608条原始评分（经筛选后为104,298条），涵盖了83款商业助听器产品在72个现实声学场景下的录音。为预测这些“语音理解易用性”评分，作者提出一种方法：将助听器处理后的音频与纯净参考语音分别输入冻结的Whisper-Small编码器，取其内部表征的差值，再通过一个轻量级MLP头映射为预测分数。在留出设备上，该模型在响亮场景（\(r=0.89\)）和安静场景（\(r=0.79\)）的预测相关性均显著优于基线HASPIv2（\(r=0.75\)和\(r=0.58\)），且在响亮场景下达到了听者评分的分半信度上限。模型对增益和信噪比的受控变化也表现出合理的敏感性。该工作为评估真实商业助听器的语音理解体验提供了一种基于用户感知的新方法。 🔗 开源详情 代码：论文中未提供代码链接或代码仓库。 模型权重：论文中未提及模型权重链接。 数据集：论文中未提供独立的、可下载的数据集存储库链接。数据集的收集和托管于HearAdvisor.com 平台（论文第2.2节：“the Blind Listening Challenge… embedded on each product and comparison page.”）。论文未提供用于离线访问或原始数据下载的公开数据集URL。 Demo：论文中未提及独立的开源演示链接。相关数据和指标的展示与使用通过其官方网站 HearAdvisor.com 进行（论文摘要及第1节提及）。 复现材料：论文详细描述了模型架构（第3.1节，Whisper-small编码器 + MLP头）、训练配置（第3.2节，AdamW优化器，学习率等）和实验设置（第4节），但未提供用于直接复现的预训练权重、配置文件或详细代码。 论文中引用的开源项目： Whisper (OpenAI)：论文使用的ASR基础模型。论文中引用了其原文（Radford et al., 2023），其官方代码仓库为：https://github.com/openai/whisper。 ARTE (Ambisonic Recordings of Typical Environments) 数据库：论文中用于创建声学场景的公开录音数据库。论文引用了其原始论文（Weisser et al., 2019），该数据库可通过其官方项目页面获取：https://www.indiana.edu/~artelab/。 🏗️ 方法概述和架构 本文提出的方法是一个端到端的、基于预训练语音表征的监督学习框架，旨在从助听器输出的声学信号中预测听者对“语音理解易用性”的主观评分。其核心流程和组件如下： ...

📄 Error-Aware TF-IDF Retrieval-Augmented Generation for ASR Error Correction #语音识别 #低资源 #语音增强 6.1/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 6.1/10 | 前50% | #语音识别 | #低资源 | #语音增强 | arxiv 👥 作者与机构 Mohammad Aref Jafari-Raddani。作者隶属于伊朗库姆的库姆科技大学计算机工程系，以及伊朗伊斯法罕的Asa Electronic Akhtaran公司。通讯邮箱为 raddaniaref@gmail.com。 💡 毒舌点评 这篇论文的工作像是在给一个经典的检索增强生成（RAG）流水线做一次非常针对性的“微调”，而非提出新的架构。其核心贡献——修改TF-IDF以赋予错误词项更高权重——虽然在工程上直接且有效，但在方法论上缺乏足够的新颖性和理论深度，更像是一种启发式的技巧。论文在实验验证上显得非常单薄：仅在一个数据集（FLEURS波斯语子集）上评估，模型组合固定（Whisper + Gemini），完全缺乏与其他SOTA纠错方法的对比，也缺少关键的消融研究来证明每个组件（如对称归一化、权重公式）的独立贡献。将错误感知命中率（EA-HR）作为主要贡献之一提出，但其评估范围局限于Top-3检索结果，说服力有限。论文在“未来工作”中提到的计划（如扩展知识库、领域迁移）恰恰点明了当前工作的天花板。整体感觉是一篇扎实但缺乏野心和深度的系统微调报告。 📌 核心摘要 本文针对低资源语言（以波斯语为例）的端到端ASR系统频繁产生的音似和循环幻觉问题，提出了一种高效的检索增强生成（RAG）纠错框架。该框架包含两个主要组件：1）一个对称应用的文本归一化模块，用于处理格式差异和循环幻觉；2）一种新颖的错误感知TF-IDF检索算法，通过构建基于历史错误概率的稀疏对角惩罚矩阵，动态提升高频错误词项的检索权重。在FLEURS波斯语子集上的实验表明，该方法将错误感知命中率从53.7%显著提升至90.9%，并将端到端词错误率从基线23.06%降低至18.83%，且在推理阶段几乎不引入额外延迟。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：论文中未提及模型权重链接（论文使用了 Whisper large-v3-turbo 和 Google Gemini 2.0 Flash-Lite 模型，但未提供其权重的具体下载地址） 数据集：论文中未提及数据集链接（论文明确使用了 Google FLEURS 数据集的波斯语子集，但未给出具体下载地址） Demo：论文中未提及 复现材料：论文中未提及 论文中引用的开源项目：未提及 🏗️ 方法概述和架构 本文提出的框架整体架构如图1所示，旨在通过轻量级修改增强标准的ASR-RAG流水线。核心流程分为离线知识库构建和在线推理两个阶段，两者共享对称的预处理模块。 ...

📄 Joint Residual Reweighting for Classifier Free Guidance in Flow-Matching Zero-Shot TTS #语音合成 #语音增强 #生成对抗网络 #自监督学习 #生成模型 #多模态模型 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前50% | #语音合成 | #生成对抗网络 | #语音增强 #自监督学习 | arxiv 👥 作者与机构 作者：Runwu Shi, Yujin Wang, Hongjin Song, Chunxiang Jin 机构：Institute of Science Tokyo, Wuhan University, Beijing Institute of Technology, Ant Group ...

📄 One Model, Many Latencies: Universal Speech Enhancement for Diverse Real-Time Applications #实时处理 #多语言 #语音增强 7.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.2/10 | 前50% | #语音增强 | #实时处理 | #多语言 | arxiv 👥 作者与机构 作者：Szu-Wei Fu, Rong Chao, Xuesong Yang, Sung-Feng Huang, Ante Jukić, Yu Tsao, Yu-Chiang Frank Wang 机构：1. 台湾大学电机工程系；2. 中央研究院资讯科技创新研究中心。机构信息在论文作者名字的上标中标明。 💡 毒舌点评 这篇论文试图解决一个很实际的问题：用一个模型应对不同延迟要求的实时语音增强。想法很酷，但实现细节经不起推敲。并行卷积层（类似MoE）和早退机制的组合听起来很灵活，但所谓的“通用性”是建立在一个巨大的前提之下的——你得在部署时针对每个硬件和延迟预算重新测试并剪枝模型，这在实际应用中可能并不“通用”。所谓的“两阶段训练”本质上是个后处理的补丁，用来弥补早退机制带来的性能损失。实验数据虽多，但大部分是URGENT Challenge这个特定竞赛的数据集和设定，模型在VoiceBank-DEMAND上跑出的数字（PESQ 2.76）看着不错，但别忘了它可是用了3倍于DeepFilterNet3的参数量（2.9M vs 2.14M）才达到的，性价比存疑。最让人不安的是关于实时性的讨论：作者在论文里都承认12层模型在A100上RTF>1，不满足实时要求，却依然把它纳入“30种配置”中来宣传，这有点自欺欺人。总的来说，这是一篇工程整合度高于学术创新性的论文。 ...

📄 SE-AGCNet: An End-to-End Framework for Joint Speech Enhancement and Loudness Control in Meeting Scenarios #语音增强 #数据增强 #语音质量评估 #语音识别 7.4/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ✅ 7.4/10 | 前50% | #语音增强 | #数据增强 | #语音质量评估 #语音识别 | arxiv 👥 作者与机构 作者：Jinming Zhang, Xionghu Rao, Wei Zhong, Eng Siong Chng 机构：1 浙江大学，中国；2 南洋理工大学，新加坡；3 湖南大学，中国 通讯作者：pmhuan1212@gmail.com, aseschng@ntu.edu.sg ...