Icassp-2026

📄 FOCA: Multimodal Malware Classification via Hyperbolic Cross-Attention #音频分类 #多模态模型 #恶意软件检测 #双曲神经网络 #跨模态融合 ✅ 7.5/10 | 前25% | #音频分类 | #多模态模型 | #恶意软件检测 #双曲神经网络 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Nitin Choudhury (印度信息技术学院德里分校， IIIT-Delhi)， Bikrant Bikram Pratap Maurya (印度信息技术学院德里分校， IIIT-Delhi) （论文指出两位作者贡献相等，共同作为第一作者） 通讯作者：Orchid Chetia Phukan (orchidp@iiitd.ac.in) （印度信息技术学院德里分校， IIIT-Delhi） 作者列表：Nitin Choudhury (IIIT-Delhi)， Bikrant Bikram Pratap Maurya (IIIT-Delhi)， Orchid Chetia Phukan (IIIT-Delhi)， Arun Balaji Buduru (IIIT-Delhi) 💡 毒舌点评 亮点：首次将双曲空间和双曲交叉注意力机制引入多模态恶意软件分类，为融合具有潜在层次关系的模态数据提供了新颖且理论优雅的解决方案，实验结果也确实证明了其有效性。短板：论文虽展示了性能提升，但对于“音频模态编码细粒度字节特征，视觉模态捕获高层空间结构”这一层次假设的实证分析不足，且双曲计算带来的额外开销与性能收益的权衡讨论缺失。 ...

📄 FocalCodec-Stream: Streaming Low-Bitrate Speech Coding via Causal Distillation #语音编码 #流式处理 #知识蒸馏 #语音大模型 #低资源 🔥 8.0/10 | 前25% | #语音编码 | #知识蒸馏 | #流式处理 #语音大模型 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Luca Della Libera（Concordia University, Mila-Quebec AI Institute） 通讯作者：未说明 作者列表：Luca Della Libera（Concordia University, Mila-Quebec AI Institute），Cem Subakan（Universit´e Laval, Concordia University, Mila-Quebec AI Institute），Mirco Ravanelli（Concordia University, Mila-Quebec AI Institute） 💡 毒舌点评 本文巧妙地将非流式的WavLM“蒸”成一个能实时处理的语音编码器，通过多阶段训练和一个轻巧的“精修工”模块，在80毫秒的低延迟下实现了比肩甚至超越同类流式编解码器的音质和下游性能，堪称工程实践的典范。不过，为了塞进WavLM这个大块头，模型参数量几乎翻倍（249M vs. 142M），其在资源受限设备上的部署可能是个挑战，且多语言泛化能力虽优于部分基线，但仍有明显下滑。 ...

📄 FODGE : High-Fidelity Dance Generation via Full-Body Optimization #音频生成 #扩散模型 #全身优化 ✅ 6.5/10 | 前50% | #音频生成 | #扩散模型 | #全身优化 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Xiaoying Huang（中国传媒大学信息与通信工程学院） 通讯作者：Long Ye（中国传媒大学数据科学与媒体智能学院， 媒体融合与传播国家重点实验室） 作者列表：Xiaoying Huang（中国传媒大学信息与通信工程学院）、Sanyi Zhang（中国传媒大学数据科学与媒体智能学院， 媒体音视频教育部重点实验室）、Qin Zhang（媒体音视频教育部重点实验室）、Xiaoxuan Guo（中国传媒大学信息与通信工程学院）、Long Ye（中国传媒大学数据科学与媒体智能学院， 媒体融合与传播国家重点实验室） 💡 毒舌点评 论文的亮点在于清晰地指出了现有方法将“滑步”一律视为错误的问题，并通过设计优雅的FRB模块来区分和保留艺术性滑步，同时将约束从脚部拓展至全身，实验效果显著。短板在于其核心生成架构（两阶段Transformer扩散网络）几乎是LODGE的复用，创新更多体现在“约束”和“后处理”上，属于针对特定问题的工程优化而非范式突破，且完全未开源。 🔗 开源详情 代码：论文中未提及代码链接。项目主页（https://yccccm.github.io/FODGE-page/）在论文撰写时尚未确认是否包含代码仓库。 模型权重：未提及公开权重。 数据集：使用的是公开的FineDance数据集，但论文未说明获取方式（通常可从原数据集作者处获取）。 Demo：未提及在线演示。 复现材料：论文提供了一些训练细节（如优化器、学习率、GPU型号、训练时长），但未提供完整的配置文件、检查点或附录说明。 论文中引用的开源项目：引用了Librosa用于音频特征提取，SMPL用于人体模型表示。 📌 核心摘要 要解决什么问题：现有音乐驱动的舞蹈生成方法在追求物理真实性时（如消除滑步），会错误地抑制舞蹈中固有的艺术性滑步（如太空步），同时忽视了手臂穿透等局部不自然问题，损害了生成舞蹈的艺术表现力。 方法核心是什么：提出FODGE框架，包含两部分：(1) Full-body Refinement Block (FRB)：在扩散模型训练时引入，通过学习脚部滑动与手臂运动的相关性作为优化线索，联合约束四肢动作，以消除手臂穿透等伪影并保留艺术滑步。(2) Full-body Optimization Post-processing module (FOP)：一个免训练的后处理模块，在推理后对整个序列进行校正，包括修正段落衔接不连续、基于物理先验调整全局根轨迹以缓解滑步，以及约束头部旋转至生理合理范围。 ...

📄 FoleyBench: A Benchmark for Video-to-Audio Models #音频生成 #基准测试 #音视频 #多模态模型 ✅ 7.5/10 | 前25% | #音频生成 | #基准测试 | #音视频 #多模态模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Satvik Dixit（Carnegie Mellon University） 通讯作者：未说明 作者列表：Satvik Dixit (Carnegie Mellon University), Koichi Saito (Sony AI), Zhi Zhong (Sony AI), Yuki Mitsufuji (Sony AI, Sony Group Corporation), Chris Donahue (Carnegie Mellon University) 💡 毒舌点评 论文精准地指出了现有V2A评估基准（如VGGSound）在Foley场景下的核心缺陷（74%样本音画对应差），并针对性地提出了首个专用基准，分析深入且实用。然而，其数据集构建管道严重依赖商业模型（Gemini 2.5 Pro）进行质量过滤，这不仅增加了复现成本，也使得“可扩展自动化”的宣称打了一定折扣。 🔗 开源详情 代码：论文中未提及公开的代码仓库链接（如用于数据集构建的管道代码）。 模型权重：未提及。本文是基准论文，不提出自有模型。 数据集：论文提供了数据集样本网站（https://gclef-cmu.org/foleybench），并描述了数据来源和构建方法，但未明确说明完整数据集是否公开下载及具体获取方式。 Demo：未提及。 复现材料：论文详细描述了数据集构建的多阶段管道、使用的工具（YAMNet， Gemini 2.5 Pro）和过滤参数，为复现其数据集创建过程提供了清晰指南。评测指标使用了公开的AV-benchmark工具包。 论文中引用的开源项目：YAMNet， AV-benchmark toolkit， PANNs， LAION-CLAP， ImageBind等。 📌 核心摘要 要解决什么问题：现有的视频到音频（V2A）生成模型评估基准（如VGGSound）与Foley（音效）等实际下游应用严重脱节。分析发现，VGGSound中74%的视频音画对应关系差，且内容被语音和音乐主导，无法有效评估专为视觉事件生成同步音效的模型。 方法核心是什么：提出FoleyBench，首个大规模、专门针对Foley场景的V2A评估基准。它包含5000个经过自动筛选的高质量（视频、真实音频、文本描述）三元组。其核心是一个自动化的多阶段数据集构建管道：收集网络视频 -> 场景检测与裁剪 -> 通过YAMNet过滤语音/音乐 -> 使用Gemini 2.5 Pro筛选确保音画因果关系。 与已有方法相比新在哪里：（1）定义并专注于Foley场景（非语音、非音乐、音源可见且同步），填补了专用基准的空白；（2）设计了包含AudioSet和UCS标签、声源复杂度、声音包络类型等丰富元数据的标注体系，支持细粒度分析；（3）提供了包含650个30秒长视频的子集FoleyBench-Long，以评估长音频生成能力。 主要实验结果如何： 基准对比：与VGGSound相比，FoleyBench的Foley类别覆盖更广（Shannon熵5.35 vs 4.73），且评估结果相关性在音频保真度指标上较弱，说明其能提供不同的评估视角。 模型评估：在对11个SotA V2A模型的评估中，MMAudio在多数指标上表现最佳，Seeing & Hearing在语义对齐(IB)上最优，V-AURA在时序同步(DS)上次优。主要发现包括：模型在生成离散事件音时，同步变好但质量变差；在处理背景音和多源声音时性能显著下降；文本条件能提供关键的语义先验。 长视频评估：在FoleyBench-Long上，所有模型性能普遍下降，MMAudio仍保持同步优势，但音频质量大幅下滑；而专为长视频设计的LOVA在音频质量上表现相对较好。 关键数据表格： 方法 VGGSound IB↑ FoleyBench IB↑ FoleyBench DS↓ FoleyBench FAD↓ FoleyBench IS↑ V-AURA 0.276 0.237 0.716 27.2 6.44 Seeing&Hearing 0.339 0.371 1.08 25.0 4.80 MMAudio^T 0.332 0.306 0.447 8.76 11.2 实际意义是什么：为V2A研究社区，特别是Foley合成方向，提供了一个更可靠、更贴近应用的评估标准，有助于更准确地衡量模型进展，并指明未来改进方向（如提升离散事件音保真度、处理多源/背景音、长时生成）。 主要局限性是什么：（1）数据集构建核心环节依赖商业黑箱模型（Gemini），可复现性和透明度受限；（2）虽然分析了失败模式，但并未提出解决这些核心挑战（如多源声音混合、长时一致性）的新模型或算法。 🏗️ 模型架构 本文并未提出一个新的V2A生成模型，而是提出了一个用于评估现有模型的基准测试框架。因此，其核心“架构”是数据集构建管道与评估体系。 ...

📄 Forward Convolutive Prediction for Frame Online Monaural Speech Dereverberation based on Kronecker Product Decomposition #语音增强 #信号处理 #Kronecker分解 #在线处理 ✅ 7.5/10 | 前50% | #语音增强 | #信号处理 | #Kronecker分解 #在线处理 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 -1.0 | 置信度 中 👥 作者与机构 第一作者：Yujie Zhu（武汉大学电子信息学院） 通讯作者：未说明 作者列表：Yujie Zhu（武汉大学电子信息学院），Jilu Jin（西北工业大学CIAIC），Xueqin Luo（西北工业大学CIAIC），Wenxing Yang（上海理工大学东方泛血管器械创新学院），Zhong-Qiu Wang（南方科技大学计算机科学与工程系），Gongping Huang（武汉大学电子信息学院），Jingdong Chen（西北工业大学CIAIC），Jacob Benesty（加拿大魁北克大学INRS-EMT） 💡 毒舌点评 亮点：本文成功地将计算复杂的长线性预测滤波器，通过Kronecker积（KP）分解为两个短滤波器的乘积，并提供了有效的自适应更新算法，在保持或略微提升性能（在P值较大时）的同时，显著降低了计算量，为实时单通道去混响提供了更可行的工程方案。短板：论文的核心贡献是将现有的KP分解框架“嫁接”到FCP方法上，属于一个系统集成的创新，而非底层理论的突破。此外，第一阶段的DNN（GTCRN）是现成的架构，并未提出新的网络设计。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开的VCTK数据集，但未提及本工作特有的数据或预处理脚本。 Demo：未提及。 复现材料：论文提供了关键算法伪代码（Algorithm 1）和部分超参数设置（如K， K1， K2， α1， α2），为复现提供了基础。但缺失了DNN训练细节（损失函数、具体架构参数、训练时长等），使得完整复现非常困难。 论文中引用的开源项目：提到了GTCRN模型，但未提供其具体实现链接或出处引用。 📌 核心摘要 这篇论文针对单通道语音去混响中计算复杂度高的问题，提出了基于Kronecker积（KP）分解的前向卷积预测（FCP）方法。其核心思想是将原本很长的线性预测滤波器，建模为两个长度短得多的滤波器的KP，从而大幅减少参数量和计算负担。与传统的FCP方法相比，新方法在滤波器更新阶段引入了KP分解框架，并通过基于递归最小二乘（RLS）的自适应算法迭代更新这两个短滤波器。实验在模拟的混响环境（VCTK数据集）中进行，结果表明，当KP分解的阶数P选择合适（如P=4或5）时，KP-FCP方法在PESQ和FWSNR等指标上能够达到甚至超过传统FCP的性能，同时计算复杂度显著降低。例如，在T60=400ms条件下，KP-FCP（P=5）的PESQ为1.837，优于FCP（online）的1.709。该研究为资源受限场景下的实时单通道语音去混响提供了一种高效的解决方案。主要局限性在于，第一阶段的神经网络部分采用了现有架构，且KP分解阶数P的选择需要权衡性能与效率。 ...

📄 Frame-Stacked Local Transformers for Efficient Multi-Codebook Speech Generation #语音合成 #语音大模型 #自回归模型 #局部Transformer ✅ 7.5/10 | 前25% | #语音合成 | #自回归模型 | #语音大模型 #局部Transformer 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Roy Fejgin（NVIDIA） 通讯作者：Roy Fejgin (rfejgin@nvidia.com), Paarth Neekhara (pneekhara@nvidia.com) 作者列表：Roy Fejgin（NVIDIA）、Paarth Neekhara（NVIDIA）、Xuesong Yang（NVIDIA）、Edresson Casanova（NVIDIA）、Ryan Langman（NVIDIA）、Jaehyeon Kim（NVIDIA）、Subhankar Ghosh（NVIDIA）、Shehzeen Hussain（NVIDIA）、Jason Li（NVIDIA） 💡 毒舌点评 亮点在于其工程化的系统思维和扎实的消融实验，将“局部Transformer”这个相对概念性的模块，通过与“帧堆叠”的结合，转化为了可量化的速度提升（高达5.5x）和可操作的设计指南，非常实用。短板是MaskGIT变体在高堆叠因子（4x）下的表现（如MOS和SSIM的下降）显得有些“拖后腿”，暗示了迭代式非自回归方法在建模更复杂依赖时仍面临训练和调参的挑战，且论文未能与当前最前沿的TTS系统（如VALL-E 2等）进行直接的质量对比。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：使用了Koel-TTS的数据（18k小时），但论文未说明具体名称和获取方式，也未提及是否开源。 Demo：提供了在线演示页面：https://frame-stacking-lt.github.io 复现材料：提供了模型架构描述、关键超参数（层数、维度、帧率、码本数）、采样设置（CFG, top-k, 温度, MaskGIT步数）和评估细节，但未提供完整的训练配置（如学习率调度、batch size）、检查点或附录。 论文中引用的开源项目：引用了NanoCodec [11]（未提及是否开源）、Parakeet-TDT-1.1b [17]（开源ASR模型）、TitaNet-Large [18]（开源说话人嵌入模型）、UTMOSv2 [20]（未提及开源）。 📌 核心摘要 本文旨在解决基于大语言模型的语音合成系统中，多码本声学码预测所面临的依赖性建模与解码效率的矛盾。方法核心是引入一个轻量的“局部Transformer”来替代传统的并行预测头，该LT以迭代方式（自回归或MaskGIT）对单帧内的多个码本进行依赖性建模；同时，利用LT分担计算负载，让主Transformer预测多帧（帧堆叠），从而提升整体吞吐率。与已有方法相比，新在系统性地评估了两种LT架构（AR与MaskGIT）与不同帧堆叠因子的组合，并在控制模型总参数量的前提下进行了公平比较。主要实验结果显示：1）所有LT模型在Fréchet Distance（FD）指标上均优于并行预测基线；2）使用AR LT且堆叠因子为2时，在SSIM（0.757 vs 0.695）和MOS（3.70 vs 3.46）上与基线持平或更优，同时速度快2.1倍；3）堆叠因子为4时，AR LT仍能保持较好的MOS（3.71），而MaskGIT的MOS显著下降（3.41）。实际意义在于为工业部署提供了明确的指南：质量优先选AR LT（无堆叠），速度与质量平衡选2x堆叠AR LT，极致速度可选4x堆叠LT。主要局限性是MaskGIT方法在高堆叠因子下性能不稳定，且研究未涉及与最新SOTA TTS模型的横向对比。 ...

📄 Frequency-Independent Ambisonics Upscaling Using Deep Learning #空间音频 #深度学习 #音频信号处理 ✅ 6.5/10 | 前50% | #空间音频 | #深度学习 | #音频信号处理 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Egke Chatzimoustafa（RWTH Aachen University, Institute of Communication Systems (IKS)） 通讯作者：未说明 作者列表：Egke Chatzimoustafa（RWTH Aachen University, Institute of Communication Systems (IKS)）、Peter Jax（RWTH Aachen University, Institute of Communication Systems (IKS)） 💡 毒舌点评 亮点：该工作最大的亮点在于其巧妙的理论切入点——利用球谐函数在Ambisonics变换中与频率无关的特性，将复杂的全带提升任务分解为多个子带独立处理任务，这在概念上非常优雅且具有计算效率优势。 短板：最大的短板在于评估的“不彻底性”——论文将“物理准确性”（空间相似度）作为核心评价标准并取得了优势，却完全回避了空间音频领域至关重要的“感知准确性”（主观听测）评估，使得其声称的“对需要可靠空间表征的应用有益”的结论缺乏最终用户视角的支撑。 🔗 开源详情 代码：论文中未提及代码链接或开源计划。 模型权重：未提及。 数据集：训练数据为程序生成，方法已描述，但未提供生成脚本或数据。验证集使用公开数据集（EBU-SQAM），测试集使用公开数据集（HiFi-TTS, 乐器声音数据集），但论文未提供其处理后的版本或使用方式。 Demo：未提及。 复现材料：提供了模型架构描述、关键超参数（隐藏层大小、学习率、训练轮数）和数据生成公式。但缺失代码、具体优化器配置、批次大小、训练硬件、调度器细节等关键复现信息。 引用的开源项目：引用了DirAC方法的开源代码[15]作为基线对比。引用了前期工作[21]，但未说明其开源情况。 📌 核心摘要 要解决什么问题：高阶Ambisonics (HOA) 格式能提供更精准的空间声场还原，但其阶数受限于录音和回放硬件。本文旨在通过算法将低阶Ambisonics信号“提升”到高阶，以克服硬件限制。 方法核心是什么：提出了一种基于深度学习的序列式框架。核心创新在于利用Ambisonics信号基于球谐函数（SH）变换而具有频率独立性的特点，将时域HOA信号经短时傅里叶变换转换到时频域后，让模型独立地在每个频率子带内进行阶数提升。每个子带的提升由一个独立的双向GRU模型完成，序列式地从一阶逐步提升至目标高阶。 与已有方法相比新在哪里：相较于传统的参数化方法DirAC（依赖方向估计和启发式设计），本文方法直接从数据学习映射，避免了显式的参数估计。相较于作者前期工作的全带时域GRU模型，新方法通过子带独立处理，大幅降低了模型复杂度和参数量，并利用了问题的物理特性（SH的频率独立性）进行架构设计。 主要实验结果如何： 在合成测试数据（2-5个声源）上，所提模型在所有阶数和场景下，其空间相似性（η）的中位数和方差均优于DirAC和全带模型。例如，针对5个声源、提升到6阶时，所提模型中位η=87.5%，方差≤0.011；DirAC中位η=85.5%，方差≈0.029；全带模型中位η≈61%。 论文指出，所提模型相比DirAC实现了约63%的空间相似性方差减少，表明其估计更稳定、可靠。 论文展示了一个5声源案例（图3），所提模型的SRP图在声源定位上更清晰，伪影更少，对应其更高的空间相似度。 论文未提供真实世界测量数据上的具体数值，但声称“两种方法在真实测量数据上的平均表现相似”。 实际意义是什么：该方法为使用少量麦克风录音获得更精确空间表征的Ambisonics信号提供了一条可能的途径，尤其适用于需要高物理精度空间音频还原的VR/AR或专业音频制作场景。 主要局限性是什么：模型完全在合成数据上训练，其在复杂真实声场（如存在混响、噪声、扩散场）中的泛化能力未知；缺乏主观听感评估，无法证明其客观指标的优势能否转化为更好的人耳感知体验；对完全扩散声场的处理能力未讨论。 🏗️ 模型架构 论文提出的Ambisonics阶数提升系统采用序列化框架，整体流程如下： ...

📄 From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-Modal Understanding in Multimodal LLMS #音频场景理解 #跨模态 #多任务学习 #音频大模型 ✅ 7.5/10 | 前25% | #音频场景理解 | #多任务学习 | #跨模态 #音频大模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yuhang Jia（南开大学计算机学院TMCC） 通讯作者：Shiwan Zhao（南开大学计算机学院TMCC，Email: zhaosw@gmail.com） 作者列表：Yuhang Jia（南开大学计算机学院TMCC）、Xu Zhang（南开大学计算机学院TMCC）、Yujie Guo（南开大学计算机学院TMCC）、Yang Chen（南开大学计算机学院TMCC）、Shiwan Zhao（南开大学计算机学院TMCC） 💡 毒舌点评 这篇论文用一个直觉上更“温和”、更符合预训练目标的共性描述任务，漂亮地“击败”了看似更具挑战性但可能“用力过猛”的差异描述任务，证明在多模态大模型微调中，“顺毛捋”有时比“找不同”更有效且稳健。不过，其共性描述的生成规则（尤其是替换操作）依赖于简单的字面重叠，可能在面对更复杂、语义更抽象的音频对时显得脆弱，这限制了该方法向更通用方向发展的潜力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权���：未提及是否公开微调后的模型权重。 数据集：论文中提及构建了148，500对训练数据，但未提供数据集下载链接或公开计划。 Demo：未提及。 复现材料：论文给出了训练的关键超参数（LoRA参数、优化器设置、批次大小等），但未提供完整的训练配置文件、数据样本或更详细的生成脚本。 论文中引用的开源项目： Qwen2-Audio：作为基座模型（https://huggingface.co/Qwen/Qwen2-Audio-7B）。 Audit：用于数据构造的参考框架。 ms-swift：用于实现LoRA微调的工具库。 论文中未提及完整的开源计划。 📌 核心摘要 这篇论文旨在解决多模态大语言模型（MLLM）在采用音频差异描述（ADC）任务进行微调时，因输出与预训练目标不匹配而导致的语义差距和灾难性遗忘问题。为此，作者提出了一种新的训练范式——音频共性描述（ACC），该任务引导模型学习并描述成对音频之间的共享语义，而非差异。与基于音频混合的数据构建方法（源自音频编辑任务）相结合，ACC提供了一个与标准音频描述（AC）更一致的训练目标。主要实验结果表明，在Qwen2-Audio模型上，ACC在AudioCaps和Clotho基准测试上的多个指标（如CIDEr-D， SPIDEr）均显著优于仅用AC或ADC微调的方法。同时，ACC在下游语音和音乐任务（如人声分类、情感识别、乐器分类）上表现出更强的通用能力保留，避免了ADC导致的性能下降。该工作的核心意义在于，提出了一个更鲁棒的音频文本跨模态对齐训练策略，平衡了任务专用性能与模型通用性。其主要局限性在于，用于构建共性描述的规则（如替换操作中提取最长连续重叠短语）可能过于简单，无法处理所有复杂的语义对齐情况，且实验评估主要集中在描述任务，对更细粒度的跨模态推理能力验证不足。 ...

📄 From Diet to Free Lunch: Estimating Auxiliary Signal Properties Using Dynamic Pruning Masks in Speech Enhancement Networks #语音增强 #语音活动检测 #多任务学习 #动态网络 #边缘AI ✅ 7.5/10 | 前25% | #语音增强 | #多任务学习 | #语音活动检测 #动态网络 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Riccardo Miccini (GN Hearing) 通讯作者：未说明 作者列表：Riccardo Miccini (GN Hearing)， Clément Laroche (GN Hearing)， Tobias Piechowiak (GN Hearing)， Xenofon Fafoutis (Technical University of Denmark)， Luca Pezzarossa (Technical University of Denmark) 💡 毒舌点评 这篇论文巧妙地将动态剪枝机制从“计算节食”的工具，升华为一个能同时“感知”语音活动、噪声类型、音高乃至说话人身份的“免费午餐”特征提取器，思路令人耳目一新。然而，其依赖线性模型和时序平滑的固有局限，使得它在处理瞬息万变的语音信号（如快速变化的SNR或F0）时显得力不从心，最终在SV任务上的平庸表现也暗示了其特征表示的瓶颈。 ...

📄 From Hallucination to Articulation: Language Model-Driven Losses for Ultra Low-Bitrate Neural Speech Coding #语音合成 #知识蒸馏 #自监督学习 #低资源 ✅ 7.5/10 | 前25% | #语音合成 | #知识蒸馏 | #自监督学习 #低资源 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jayeon Yi（伊利诺伊大学厄巴纳-香槟分校，西贝尔计算与数据科学学院） 通讯作者：Minje Kim（伊利诺伊大学厄巴纳-香槟分校，西贝尔计算与数据科学学院） 作者列表：Jayeon Yi（伊利诺伊大学厄巴纳-香槟分校，西贝尔计算与数据科学学院）、Minje Kim（伊利诺伊大学厄巴纳-香槟分校，西贝尔计算与数据科学学院） 💡 毒舌点评 亮点在于巧妙地利用了成熟的ASR模型（Whisper）和语音-文本对齐模型（TTR）内部蕴含的语言学知识，将其转化为端到端的训练损失，无需修改编解码器架构，这是一种高效且优雅的知识蒸馏范式。短板是评估体系几乎完全建立在单说话人数据集LJSpeech上，这大大削弱了其结论对于多说话人、多语言或复杂声学环境等更广泛场景的说服力。 🔗 开源详情 代码：论文明确提供代码链接（https://minjekim.com/research-projects/lm-loss#icassp2026）。 模型权重：论文明确提到提供“检查点”。 数据集：使用LJSpeech和LibriSpeech-960h。论文中未说明这些数据集的获取方式，但它们是公开数据集。 Demo：论文明确提供在线演示样本链接。 复现材料：论文提供了代码、检查点和演示，训练细节（三阶段、超参数）在论文中有描述，但未提供详细的配置文件或训练脚本。 论文中引用的开源项目：Whisper, BERT, WavLM, HuBERT, HiFi-GAN, webMUSHRA, Montreal Forced Aligner, YAAPT, wav2vec 2.0。 📌 核心摘要 问题：在超低比特率（<0.4 kbps）的基于深度神经网络（DNN）的语音编解码器中，生成式解码器常因过度压缩的语义信息不足而产生“音素幻觉”，即合成出声学上干净但与原始语音语义不符的音素。 方法：提出两种语言模型驱动的损失函数（LM Loss）。第一种是ASR损失，利用预训练的Whisper模型，在无需地面真值文本的情况下，通过比较干净语音和解码语音触发的ASR内部语言模型的预测差异来指导编解码器训练。第二种是TTR损失，在需要时序文本时，利用冻结的WavLM和BERT模型，通过投影模块对齐解码语音的声学嵌入和文本的语义嵌入。 创新：与传统仅依赖自监督表示（如HuBERT）进行语义蒸馏的方法不同，本文方法直接利用专门为语音-文本关联任务预训练的模型知识，并以端到端损失形式作用于整个编解码器（包括解码器），且无需对编解码器架构进行任何修改或增加推理开销。 结果：在基于HuBERT和HiFi-GAN的参考编解码器上实验，187.5 bps下，ASR损失变体在语义7点MOS评分上达到6.55（基线SD为5.53），在Whisper WER上降至1.45%（基线SD为3.33%）。TTR损失变体也显著优于基线。所有LM损失变体在语义评估上显著优于语义蒸馏基线，在整体相似度上与之相当。具体数据见下表： 语义/声学 速率 (bps) LM 损失 WER(%)↓ (Whisper) WER(%)↓ (wav2vec2.0) PESQ↑ WARPQ↑ 187.5 ASR 1.45 4.56 1.35 0.289 TTR 2.34 7.13 1.39 0.293 SD (基线) 3.33 11.2 1.42 0.295 S2 (阶段2) 3.04 8.82 1.35 0.283 212.5 ASR 1.23 3.63 1.37 .289 TTR 1.53 5.25 1.44 .293 SD (基线) 2.11 7.04 1.46 .295 S2 (阶段2) 2.09 6.34 1.36 .289 未编码 ∞ - 0.95 1.74 4.64 1.00 ...