语音增强

📄 SpatialNet-Echo: Real-Time Acoustic Echo Cancellation via Integrated Narrow-Band and Cross-Band Processing #语音增强 #声学回声消除 #端到端 #流式处理 #Mamba ✅ 7.5/10 | 前25% | #语音增强 | #自回归模型 | #声学回声消除 #端到端 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Ziyin Chen（浙江大学，杭州，中国） 通讯作者：Xiaofei Li（西湖大学 & 西湖高等研究院，杭州，中国） 作者列表：Ziyin Chen（浙江大学），Xiaofei Li（西湖大学 & 西湖高等研究院） 💡 毒舌点评 论文巧妙地将Mamba架构引入AEC的窄带处理，解决了传统RNN和Transformer的长序列建模效率问题，是一个有价值的工程实践。但其高达28.31G的MACs和1.71M参数的“标准版”模型，离真正的“实时”轻量化部署似乎还有距离，论文中“轻量级变体”的性能也仅比对比方法略好，且未公开代码，让“可部署性”的宣称打了折扣。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开模型权重。 数据集：使用了公开数据集（DNS5录音，ICASSP 2023 AEC Challenge盲测集和部分训练数据），但如何获取完整的训练混合脚本未说明。 Demo：未提及在线演示。 复现材料：论文提供了关键的训练细节（数据构成、损失函数、优化器、超参数值、模型结构图），但缺乏硬件配置、完整训练步骤、预处理脚本和检查点等信息。 论文中引用的开源项目：引用了Adam优化器、Mamba模型、oSpatialNet、ULCNetAENR等，但未明确说明这些作为依赖项的开源实现是否被直接使用。 开源计划：论文中未提及开源计划。 📌 核心摘要 这篇论文旨在解决实时通信中声学回声消除（AEC）的难题，特别是传统窄带处理方法的局限性和信号的非线性失真。论文提出了SpatialNet-Echo，这是首个集成窄带时间建模与跨带谱一致性的端到端实时AEC模型。其核心方法是结合时间-频率卷积块（TFCB）捕捉联合谱时特征、挤压-激励（SE）块进行动态通道加权，以及基于Mamba的窄带处理器进行高效的长上下文建模。同时，采用了一个结合SI-SNR、幅度谱和实/虚部损失的相位感知混合损失函数。 ...

📄 Speaking Clearly: A Simplified Whisper-Based Codec for Low-Bitrate Speech Coding #语音编码 #语音增强 #预训练 #Whisper模型 ✅ 7.5/10 | 前25% | #语音编码 | #预训练 | #语音增强 #Whisper模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xin Zhang（武汉理工大学计算机与人工智能学院） 通讯作者：Lin Li（武汉理工大学计算机与人工智能学院） 作者列表：Xin Zhang（武汉理工大学计算机与人工智能学院）、Lin Li（武汉理工大学计算机与人工智能学院）、Xiangni Lu（武汉理工大学计算机与人工智能学院）、Jianquan Liu（NEC Corporation）、Kong Aik Lee（香港理工大学电机及电子工程学系） 💡 毒舌点评 亮点是思路清奇，反其道而行之，没有在声学编解码器上叠加语义监督，而是把一个现成的ASR模型（Whisper）“改造”成编解码器，通过简单的架构简化（去掉GELU和位置编码）就解锁了其声学建模能力，实验结果也相当能打。短板在于，这种“简化”本质上是针对特定任务（编解码）的工程化调整，其理论解释（位置编码影响注意模式、GELU抑制频谱细节）略显粗浅，且论文声称的“State-of-the-art”结论仅在英语数据集（LibriSpeech）上得到验证，对于多语言、噪声环境等更复杂场景的泛化能力未做探讨。 🔗 开源详情 代码：是，提供GitHub仓库链接：https://github.com/ZhangXinWhut/SimWhisper-Codec。 模型权重：论文中未明确提及是否公开简化后的Whisper编码器或完整编解码器的预训练权重。 数据集：使用的是公开的LibriSpeech和LJSpeech数据集，但未提供处理后的数据或特定数据集的链接。 Demo：论文中未提及在线演示。 复现材料：论文详细说明了模型架构、训练数据、损失函数、训练策略（优化器、学习率、步数）和关键超参数（模型大小、FSQ配置）。这些信息对于复现是充足的，但未提供具体的配置文件或检查点下载链接。 论文中引用的开源项目：提到了依赖或对比的开源项目，包括：HiFiGAN、Vocos、FSQ（来自“Low frame-rate speech codec”），以及基线模型EnCodec, DAC-RVQ3, SpeechTokenizer, Mimi-RVQ8, BigCodec, XCodec2.0, XY-Tokenizer等。 📌 核心摘要 问题：当前语音编解码器面临语义内容保留和声学保真度之间的固有冲突，尤其在低比特率下更为突出。主流方法通过复杂的外部语义监督（如HuBERT蒸馏、多任务学习）来缓解此冲突。 ...

📄 Spike-Driven Low-Power Speech Bandwidth Extension #语音增强 #脉冲神经网络 #低功耗 #流式处理 🔥 8.0/10 | 前25% | #语音增强 | #脉冲神经网络 | #低功耗 #流式处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Donghyun Kim (Department of Electronic Engineering, Hanyang University, Seoul, Republic of Korea) 通讯作者：Joon-Hyuk Chang† (Department of Electronic Engineering, Hanyang University, Seoul, Republic of Korea) 作者列表：Donghyun Kim (Hanyang University), Sangho Han (Hanyang University), Joon-Hyuk Chang (Hanyang University) 💡 毒舌点评 亮点：模型在效率上实现了质变，参数量仅为最强对比模型(AP-BWE)的约1/20，能耗降低了约93%，将语音带宽扩展任务拉入了“毫焦耳”时代。短板：在生成质量的“天花板”上并未超越现有最佳ANN模型，甚至在最重要的PESQ和ESTOI指标上落后约0.5分，表明SNN在捕获复杂生成任务的感知细节上可能仍有瓶颈。 ...

📄 Stereophonic Acoustic Echo Cancellation Using an Improved Affine Projection Algorithm with Adaptive Multiple Sub-Filters #语音增强 #自适应滤波 #实时处理 #声学回声消除 ✅ 6.0/10 | 前50% | #语音增强 | #自适应滤波 | #实时处理 #声学回声消除 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Gagandeep Singh (印度Dr B R Ambedkar国立技术学院电子与通信工程系) 通讯作者：未说明 作者列表：Gagandeep Singh (印度Dr B R Ambedkar国立技术学院电子与通信工程系)、Asutosh Kar (英国伯明翰城市大学建筑、建成环境、计算与工程学院)、Rohit Singh (印度Dr B R Ambedkar国立技术学院电子与通信工程系)、Vasundhara (印度国立技术学院瓦朗加尔分校电子与通信工程系)、Jesper R. Jensen (丹麦奥尔堡大学音频分析实验室)、M.G. Christensen (丹麦奥尔堡大学音频分析实验室) 💡 毒舌点评 本文系统性地将多子滤波器（MSF）结构、基于递推均方偏差的可变步长机制以及能量方差跟踪重置策略相结合，为解决立体声回声消除中信号高相关性与非圆性难题提供了一个工程上完整且有效的方案，在特定条件下提升了收敛速度和追踪能力。但其创新点更像是“乐高积木”式的组合，缺乏底层理论突破，且完全忽略了双讲（double-talk）和非线性失真这两个实际场景中的核心挑战，限制了其在复杂真实环境中的适用性。 ...

📄 The 3rd Clarity Prediction Challenge: A Machine Learning Challenge for Hearing aid Speech Intelligibility Prediction #语音增强 #预训练 #基准测试 #模型评估 #数据集 ✅ 7.5/10 | 前25% | #语音增强 | #预训练 | #基准测试 #模型评估 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jon Barker (谢菲尔夫大学计算机系) 通讯作者：未说明 作者列表：Jon Barker (谢菲尔夫大学计算机系), Michael A. Akeroyd (诺丁汉大学医学院), Trevor J. Cox (索尔福德大学声学研究中心), John F. Culling (卡迪夫大学心理学系), Jennifer Firth (诺丁汉大学医学院), Simone Graetzer (索尔福德大学声学研究中心), Graham Naylor (诺丁汉大学医学院) 💡 毒舌点评 亮点：该论文最大的贡献是构建并开源了一个目前规模最大、最具生态效度的助听器语音可懂度预测数据集与基准，其精心设计的“三轮渐进式挑战”和“评估集完全未见”模式，为评估模型的真实泛化能力设立了黄金标准。短板：作为一篇挑战赛总结报告，它更侧重于结果汇编与现象分析（如听众变异），而对顶尖系统的具体技术路径、失败案例的深层原因挖掘深度有限，更像是一份详尽的“官方赛事白皮书”，而非一篇聚焦于某个算法突破的学术论文。 ...

📄 Towards Lightweight Adaptation of Speech Enhancement Models in Real-World Environments #语音增强 #低辐射 #自监督学习 #鲁棒性 #低资源 🔥 8.5/10 | 前25% | #语音增强 | #低秩适配 | #低辐射 #自监督学习 学术质量 8.5/7 | 选题价值 2.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Longbiao Cheng（未明确标注，按惯例判断） 通讯作者：未说明 作者列表：Longbiao Cheng（Institute of Neuroinformatics, University of Zurich and ETH Zurich）， Shih-Chii Liu（Institute of Neuroinformatics, University of Zurich and ETH Zurich） 💡 毒舌点评 亮点：这篇论文非常“务实”，精准地抓住了语音增强模型在边缘设备部署后“水土不服”的痛点，并用一套精心设计的轻量化自适应框架（更新不到1%参数）优雅地解决了“动态场景连续变化”这一更贴近现实的难题，实验结果在稳定性和效率上明显优于强基线RemixIT。 短板：作为一篇顶级会议（ICASSP）的论文，评估指标几乎完全依赖客观的PESQ/STOI/SI-SDR，竟然没有提供任何主观听力测试（如MOS评分），这对于评价语音感知质量是不够全面的；此外，代码和模型的完全不开放，使得论文的实用价值大打折扣，很难被社区快速验证和采纳。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开的预训练或适配后模型权重。 数据集：使用了公开数据集（DNS Challenge, WSJ0, WHAM!），但未提供本文构建的111个场景的具体划分列表或生成脚本。 Demo：未提及。 复现材料：论文详细给出了基础模型的网络结构、训练超参数、LoRA的具体秩和缩放因子、适配过程的设置（batch size，优化器，学习率，步数）等关键信息，为复现提供了较好的文字基础，但缺少配置文件或脚本。 论文中引用的开源项目：主要引用了DNS Challenge工具包、RemixIT框架等。 总体：论文中未提及明确的开源计划。 📌 核心摘要 本文针对语音增强（SE）模型在部署后遇到的声学环境失配问题，特别是动态场景变化下的连续适应需求，提出了一种轻量级自监督适配框架。该框架的核心是冻结预训练的SE骨干网络，仅通过插入和更新低秩适配器（LoRA）参数来适应新场景，避免了对完整模型进行微调所带来的高计算成本和灾难性遗忘风险。适配过程采用自监督学习，利用原始骨干模型生成伪目标，并通过重混噪声构建训练信号。与现有更新全部参数的RemixIT方法相比，本方法在参数效率（更新<1%参数）和适应稳定性（收敛曲线更平滑）上具有显著优势。实验在包含111个环境（37种噪声×3个SNR范围，包括极具挑战性的[-8,0] dB）的连续场景评估中进行，结果表明：该框架平均实现1.51 dB的SI-SDR提升，且仅需每个场景20步更新。与RemixIT相比，在连续场景设置下，本方法能获得竞争或更优的感知质量（如GRU模型在[5,10] dB SNR下PESQ达1.72 vs. 1.51）。该研究证明了轻量级自适应框架对于在真实、动态声学环境中部署鲁棒SE模型的实用价值。其主要局限性在于缺乏主观听力评估，且未开源代码。 ...

📄 Towards Real-Time Generative Speech Restoration with Flow-Matching #语音增强 #流匹配 #实时处理 #模型比较 ✅ 6.0/10 | 前50% | #语音增强 | #流匹配 | #实时处理 #模型比较 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Tsun-An Hsieh（University of Illinois Urbana-Champaign） 通讯作者：未说明 作者列表：Tsun-An Hsieh（University of Illinois Urbana-Champaign）， Sebastian Braun（Microsoft Research） 💡 毒舌点评 这篇论文首次将流匹配应用于实时语音恢复并实现了20ms的极低算法延迟，工程目标明确；然而，其核心结论“流匹配在实时约束下性能未超越GAN”多少有些令人失望，削弱了创新价值，且训练细节的缺失让“探索”的结论难以被他人验证。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：训练数据基于公开的DNS Challenge数据生成，但具体的增强脚本未公开。测试集为DNS Challenge 2022和SIG Challenge 2024的盲测集，可从挑战赛官方获取。 Demo：论文脚注1提到音频示例可通过其Demo页面获取。 复现材料：提供了模型架构描述、训练数据生成思路的概述，但缺失关键训练超参数（优化器、学习率、batch size、训练步数等）和代码，复现细节严重不足。 论文中引用的开源项目：引用了DNS Challenge [27] 的数据处理方式，以及HiFi-GAN [33] 的多分辨率判别器设计。其他引用主要是方法论文献。 📌 核心摘要 要解决什么问题：现有生成式语音增强/恢复模型（如基于扩散的）通常需要大量推理步骤，导致高延迟，无法满足实时通信应用（<100ms延迟）的需求。 方法核心是什么：采用基于条件流匹配（Conditional Flow-Matching, FM）的生成框架，并设计了仅使用因果卷积且在时间维度不下采样的网络架构（Causal NCSN++），将算法延迟降至20ms。同时，探索了更轻量的ConvGLU-UNet架构。 与已有方法相比新在哪里：首次针对实时语音恢复场景设计了低延迟的因果FM模型。与之前依赖时间下采样的因果扩散模型相比，大幅降低了延迟。研究并量化了模型复杂度（从53M到6M参数）与采样步数（NFE）对实时恢复性能的影响。 主要实验结果如何：在DNS和SIG2024测试集上，因果NCSN++在NFE=5时达到最佳感知质量（DistillMOS），而非因果版本在NFE=10时最优。关键发现是：轻量模型（如ConvGLU-UNet-base）对长采样轨迹敏感，步骤增多性能反而下降。在相同架构下，FM训练的ConvGLU-UNet在BGMOS（噪声抑制）和WER（字错率）上弱于用对抗损失训练的GAN版本。具体图表结果见下文实验结果部分。 实际意义是什么：为将高效的生成模型（如FM）应用于实时语音处理提供了初步的架构设计和性能基准，明确了在低延迟约束下FM模型的优势与局限。 主要局限性：在严格的实时约束和相同模型复杂度下，FM并未展现出优于成熟对抗训练方法的性能。论文的训练超参数、优化器等关键复现信息缺失，结论的普适性有待验证。 🏗️ 模型架构 论文提出了两种主要用于实时语音恢复的因果FM架构，均在压缩复数STFT域工作。 ...

📄 Training-Free Inference-Time Scaling for Audio Source Separation #语音增强 #音乐源分离 #预训练 #数据增强 ✅ 7.5/10 | 前25% | #语音增强 | #预训练 | #音乐源分离 #数据增强 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yongyi Zang (Independent Researcher) 通讯作者：未说明（论文中未明确指定） 作者列表：Yongyi Zang (Independent Researcher), Jingyi Li (University of Illinois Urbana-Champaign), Qiuqiang Kong (The Chinese University of Hong Kong) 💡 毒舌点评 这篇论文巧妙地将“推理时缩放”概念跨界移植到音频分离，通过简单的混合比例搜索让旧模型焕发新生，堪称“炼丹界的低成本改装大师”。其理论证明了性能下限，实验也显示在多个任务上“免费”提升了效果。不过，其效果高度依赖于搜索阶段使用的“裁判”（度量指标）是否靠谱，若指标选择不当或不可用，方法就可能失灵，这无异于把宝都押在了“裁判的公正性”上。 🔗 开源详情 代码：论文提供了代码仓库链接：https://github.com/yongyizang/TrainingFreeMultiStepASR，并声明将在Apache 2.0许可证下开源。 模型权重：未提及公开本文方法产生的特定权重（因为该方法不训练新模型）。使用的是现有预训练模型（BSRNN, DTTNet）的权重，其获取方式在论文引用的原始工作中提供。 数据集：未提及。实验使用的数据集（VCTK-DEMAND， DNS Challenge v3， MUSDB18-HQ）均为领域内标准公开数据集，获取方式见各自原始论文。 Demo：未提及。 复现材料：论文给出了关键的超参数（K=10， T=20）、评估指标、搜索策略细节，为复现提供了必要信息。未提供训练配置（因Training-Free）。 论文中引用的开源项目：提到了依赖的预训练模型（BSRNN， DTTNet）及其来源，以及用于快速PESQ估计的工具（torch-pesq）。 📌 核心摘要 问题：传统的音频源分离模型通常采用单步推理，无法像扩散模型那样通过迭代精炼来提升性能，而专门训练多步模型又成本高昂。 方法核心：提出一种无需训练的推理时间缩放方法。该方法将预训练的单步分离模型转换为多步系统：在每一步，将原始混合信号与上一步的估计输出以不同比例混合，生成多个候选输入，通过模型前向传播后，选择使某个质量指标（如PESQ， UTMOS）最大化的比例作为最优混合，并得到当前步的最佳估计，以此迭代精炼。 新意：首次将“推理时间缩放”范式引入音频源分离；通过理论分析（性能下界、误差界）证明了方法的有效性和稳定性；揭示了该方法与去噪扩散桥模型的内在联系，为方法的成功提供了理论解释。 实验结果：在语音增强（VCTK-DEMAND， DNS Challenge V3）和音乐源分离（MUSDB18-HQ）任务上，该方法在大多数指标上持续优于单步基线。关键数据示例如下： 表1：语音增强性能对比（VCTK-DEMAND - 侵入式指标） ...

📄 Two-Stage Language Model Framework for Acoustic Echo Cancellation #语音增强 #语音大模型 #生成模型 #鲁棒性 ✅ 7.5/10 | 前25% | #语音增强 | #语音大模型 | #生成模型 #鲁棒性 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Kai Xie（西北工业大学，中国）（根据论文署名顺序推断） 通讯作者：未说明（论文中未明确指出） 作者列表：Kai Xie¹（西北工业大学，中国）， Haoyang Li²（南洋理工大学，新加坡）， Nana Hou³（独立研究者）， Hexin Liu²（南洋理工大学，新加坡）， Jie Chen¹（西北工业大学，中国）。上标数字对应论文脚注中的机构编号。 💡 毒舌点评 本文最大的亮点是将“语义”作为解决回声消除中“语音可懂度”问题的关键桥梁，设计了一个从语义到声学的两阶段生成框架，思路新颖且实验效果显著。但稍显遗憾的是，两个语言模型阶段独立训练，可能浪费了联合优化语义与声学表示的机会；此外，作为一个2026年的生成式工作，未开源模型与代码，对于追求快速复现的读者不太友好。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及是否公开模型权重。 数据集：使用公开的AEC-Challenge数据集（链接：https://github.com/microsoft/AEC-Challenge），但论文未说明具体的预处理或划分方式。 Demo：未提及在线演示。 复现材料：提供了部分训练超参数（学习率、模型层数、隐藏维度、聚类数K），但缺失batch size、训练步数细节、完整优化器参数、硬件环境等关键信息。 论文中引用的开源项目/模型： WavLM（语义提取器）：论文提及使用WavLM Large，并提供了GitHub链接 (https://github.com/microsoft/unilm/tree/master/wavlm)。 神经语音编解码器：基于论文[20]，但未给出其具体开源仓库链接。 总结：论文中未提及完整的开源计划。 📌 核心摘要 这篇论文针对传统声学回声消除（AEC）方法主要操作于特征域、忽略语义信息从而限制语音可懂度与感知质量的问题，首次提出了一种基于语言模型的两阶段生成式AEC框架。其核心方法是：第一阶段（语义建模），通过语义融合模块（融合麦克风与远端参考信号的连续语义特征）和通道级门控机制，利用自回归语义语言模型预测近端语音的离散语义token；第二阶段（声学建模），以预测的语义token链和原始声学token链为条件，利用声学语言模型生成近端语音的离散声学token，最终通过神经语音编解码器重建波形。与已有AEC方法相比，其新在首次将语义理解与生成式语言模型相结合，并采用分治策略（先语义后声学）。主要实验结果显示，在AEC-Challenge数据集上，所提方法在回声抑制（EMOS）、失真控制（DMOS）和回波损耗增强（ERLE）等指标上，尤其在低信回比（SER）和噪声环境下，显著优于DTLN AEC和MTFAA-NET等强基线（例如，在SER=-10dB的双讲场景中，EMOS达到4.48，比MTFAA-NET高0.30）。该工作的实际意义在于为高实时性、高可懂度的未来语音通信系统提供了新的技术路径。主要局限性在于两阶段独立训练可能无法实现全局最优，且论文未报告模型大小与推理延迟，其实用性需进一步验证。 ...

📄 UJCodec: An End-to-end Unet-Style Codec for Joint Speech Compression and Enhancement #语音增强 #端到端 #低资源 #实时处理 #语音大模型 ✅ 7.5/10 | 前25% | #语音增强 | #端到端 | #低资源 #实时处理 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Pincheng Lu（北京理工大学） 通讯作者：未说明 作者列表：Pincheng Lu（北京理工大学）、Peng Zhou（北京理工大学）、Xiaojiao Chen（北京理工大学）、Jing Wang（北京理工大学）、Zhong-Qiu Wang（南方科技大学） 💡 毒舌点评 这篇论文的亮点在于其“问题导向”的设计非常清晰：用UNet的跳跃连接对抗传统编解码器的信息丢失（这是字词遗漏的元凶之一），再用精心设计的三阶段训练“教会”模型先学压缩、再学抗噪、最后适应，思路流畅且有效。然而，短板也很明显：论文声称解决了“字词遗漏”问题，但模拟潜在帧损坏的策略相对简单（随机替换帧），可能无法覆盖所有真实的、复杂的编码器错误模式；此外，实验部分缺乏与更多最新、更强基线（如近期基于扩散或流匹配的增强模型）的正面比较，说服力稍弱。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及是否公开预训练模型。 数据集：论文使用了多个公开数据集（LibriTTS, VCTK, AISHELL-3, VoiceBank+DEMAND, DNS-Challenge），但未说明是否会发布处理好的实验数据集。 Demo：论文提供了在线演示页面链接：https://ukitenzai.github.io/UJCodec.demopage。 复现材料：论文给出了一些训练细节，如各阶段迭代数、批次大小、损坏模拟参数，但缺失关键信息如完整的学习率调度、优化器、模型具体超参数（层数、维度等）。 论文中引用的开源项目：依赖的开源工作/模型包括：SoundStream, DAC, L3AC, FSQ, MP-SENet, GTCRN, Whisper-tiny（用于WER计算）。 📌 核心摘要 问题：现有端到端神经语音编解码器通常在干净语音上训练，导致其在噪声环境下性能下降，且解码语音常出现严重的“字词遗漏”失真，极大影响可懂度。 方法核心：提出UJCodec，一种采用UNet风格架构（包含跳跃连接）的端到端联合语音压缩与增强模型。核心是一个三阶段训练策略：(1) 在干净语音上训练基础编解码器；(2) 仅对编码器进行对齐微调，使其从噪声语音生成接近干净语音的离散表示；(3) 固定编码器，微调解码器以适应新的表示分布。此外，在训练后期引入“潜在帧损坏模拟”，增强解码器对编码器错误的鲁棒性。 创新：(1) 将UNet架构引入语音编解码器，利用跳跃连接保留关键细节；(2) 设计了分阶段、逐步增强鲁棒性的训练策略，而非直接在噪声数据上端到端训练；(3) 明确针对字词遗漏问题，提出训练时的潜在帧损坏模拟方法。 主要实验结果：在750bps至6kbps的比特率范围内，UJCodec在VoiceBank+DEMAND和DNS-Challenge数据集上的PESQ（感知语音质量评估）和WER（字错误率）均优于所比较的端到端和级联基线。例如，在750bps、噪声条件下，UJCodec的PESQ为1.793，WER为13.89%，优于SDCodec（1.626， 14.77%）和NRVRVQ（1.697， 14.68%）。主观MUSHRA和MOS评分也一致显示UJCodec优势，尤其在低比特率下。 实际意义：为低比特率、高噪声的实时语音通信场景（如工业、物联网、边缘设备）提供了一种高效且可懂度高的编解码方案，其模型效率（RTF<1）满足实时处理要求。 主要局限性：(1) 与SOTA基线的对比范围有限；(2) 潜在帧损坏模拟策略相对简单；(3) 训练细节（如完整学习率策略）公开不全，限制了完全复现。 🏗️ 模型架构 ...