音频压缩

📄 Task-Aware Answer Preservation under Audio Compression for Large Audio Language Models #音频大模型 #长音频处理 #音频压缩 #音频问答 #模型评估 #部署优化 ✅ 6.5/10 | 前25% | #音频问答 | #音频压缩 | #音频大模型 #长音频处理 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Amir Ivry（Technion–Israel Institute of Technology，电气与计算机工程系） 通讯作者：Amir Ivry（aivry@ieee.org） 作者列表：Amir Ivry（Technion–Israel Institute of Technology，电气与计算机工程系） 💡 毒舌点评 这篇论文为“如何在压缩音频时保住回答正确率”这个实际问题，搭建了一套非常严谨的理论评估框架（家庭级超额风险），比简单地看平均准确率高级得多。它还煞费苦心地设计了实验来验证理论预测，比如平均指标如何“隐藏”最差情况。然而，理论很丰满，实践却骨感：论文自己用作案例的“学习型选择器”不仅在V1里训练得“早退”了，而且在V2实验中，那个理论上能省预算的“查询条件压缩”，增益忽正忽负，甚至在特定数据集（MMSU）上还帮了倒忙，让人怀疑这个“任务感知”到底有多少实战价值。最终，它更像是一份严谨的“评估方法论文”而非一个“压缩算法突破”。 📌 核心摘要 要解决什么问题：大型音频语言模型在部署时，常需压缩输入音频以降低内存和延迟。但这可能导致对某些特定类型问题的回答准确性急剧下降，而这种损害会被整体平均准确率所掩盖，存在部署风险。 方法核心是什么：提出一个任务感知的答案保留框架。该框架将压缩器的评估从“整体误差”转向“最坏查询家族的超额误差”。它形式化了家庭级超额风险（Δ_𝒬）和答案保留前沿（b_𝒬⋆），并推导出一个实用的签核协议，该协议考虑了查询家族划分、统计置信区间和解耦审计（§4, 5）。 与已有方法相比新在哪里：据作者称，这是首个将部署时的压缩预算决策与特定查询家族的答案保留明确联系起来的框架。它超越了基于平均性能或感知保真度的传统评估，引入了家庭级风险保证和查询条件压缩的理论优势分析（定理3.4），并提供了可操作的签核流程（算法1）。 主要实验结果如何：在五个音频问答基准和两个Qwen骨干模型上评估。关键发现包括： (a) 家庭级损害隐藏：数据集平均误差（Δ_avg）总是低估了最坏家族的误差（Δ_fam），差距在AudioMCQ-StrongAC上高达6.79个百分点（在关键词划分下，见表1和图1、图3）。 (b) 划分决定结论：查询家族划分的粒度（关键词、原生、语义）显著影响测得的家庭级风险差距和批准的压缩预算（表13）。 (c) 查询条件压缩是情景依赖的：理论上可节省预算（定理3.4），但在实践中仅在AudioMCQ-StrongAC数据集上表现出稳定正增益（表3和表20、21），在MMSU的某些任务（如对话轮次计数、语调感知）上甚至有害（表28、图13，§I.11）。 (d) 查询条件压缩器在使用查询：解耦审计（§5.1）表明，在AudioMCQ-StrongAC上，查询条件选择器的查询使用对下游答案保留前沿有显著影响（表4）。 实际意义是什么：为音频大模型的部署提供了一套更可靠的压缩接口签核流程。它强调了报告家庭级性能、审慎选择查询划分的重要性，并指出了查询条件压缩策略的适用边界和局限性。 主要局限性是什么：(a) 实验依赖特定类型的“硬分块保留”压缩器和启发式查询家族划分（§H.2，§G.6）。(b) 作为案例的学习型选择器在V1中训练不完整（早停，§H.3），其查询条件压缩优势在实践中不稳定（§I.7）。(c) 理论假设查询在编码时可用，且与音频独立，这不适用于离线归档压缩（§Limitations）。(d) 论文未完全解耦信息丢失与下游模型能力不足的影响（仅部分估计了模型类差距，§J.5）。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提供（论文引用了 Qwen2-Audio-7B-Instruct [3] 和 Qwen2.5-Omni-7B [25]，但未提供具体下载链接）。 数据集： DCASE 2026 dev: https://dcase-repo.github.io/dcase2026/challenge/task_audio_dependent_question_answering/dev/ AudioMCQ-StrongAC: https://huggingface.co/datasets/voidful/AudioMCQ (论文中引用了 [9]，并指出评测集为 “StrongAC” 子集) MMSU: https://huggingface.co/datasets/moonwu/MMSU (论文引用 [24]) MMAR: https://huggingface.co/datasets/juliusfrost/MMAR (论文引用 [15]) BigBench Audio: https://huggingface.co/datasets/juliusfrost/bigbench-audio (论文引用 [20, 21]) Demo：论文中未提及。 复现材料：论文提供了非常详尽的附录，构成了主要的复现材料： 附录 D：扩展的问题设置和操作预算细节。 附录 E：主文所述理论的完整证明和辅助推导。 附录 F：实际估计器、不确定性聚合和坐标轴约定。 附录 G：数据集和查询家族详情。 附录 H：实验协议，包括模型、选择器架构、训练配方、评估协议和推断时压缩器配置。 算法 1：面向实践者的候选压缩器签核协议。 附录 I：包含所有次要图表、表格、消融研究和家族级分析。 附录 J：记录了不完整或可疑结果及注意事项。 论文中引用的开源项目： Qwen2-Audio: https://arxiv.org/abs/2407.10759 (论文引用 [3]) Qwen2.5-Omni: https://arxiv.org/abs/2503.20215 (论文引用 [25]) SoundStream: https://arxiv.org/abs/2107.00637 (论文引用 [28]) EnCodec: https://arxiv.org/abs/2210.13438 (论文引用 [5]) AudioLM: https://arxiv.org/abs/2208.09392 (论文引用 [2]) Gumbel-softmax: https://arxiv.org/abs/1611.01144 (论文引用 [10]) AdamW 优化器: 未提供具体链接，但为标准优化器（论文提及）。 e5-large-v2 嵌入模型：用于语义分区，但未提供具体链接（论文在 J.6 部分提及）。 Bootstrap 重采样方法：论文引用了 [12, 6, 19, 8] 等标准统计文献。 🏗️ 方法概述和架构 该论文提出的是一个评估框架和签核协议，而非一个端到端的压缩模型。其核心是定义一套方法论，用于判断一个给定的音频压缩器在特定部署配置下是否可被接受。 ...

ICASSP 2026 - 音频压缩 共 2 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Salad-VAE: Semantic Audio Compression with Language-Audio Di 7.5分 前25% 🥈 Respire-Mamba C-UNet: Consistency-Trained Autoencoder for Hi 7.0分 前25% 📋 论文详情 🥇 Salad-VAE: Semantic Audio Compression with Language-Audio Distillation ✅ 7.5/10 | 前25% | #音频压缩 | #变分自编码器 | #对比学习 #知识蒸馏 👥 作者与机构 第一作者：Sebastian Braun (Microsoft Research, Redmond, WA, USA) 通讯作者：未说明 作者列表：Sebastian Braun (Microsoft Research, Redmond, WA, USA), Hannes Gamper (Microsoft Research, Redmond, WA, USA), Dimitra Emmanouilidou (Microsoft Research, Redmond, WA, USA) 💡 毒舌点评 ...

📄 Respire-Mamba C-UNet: Consistency-Trained Autoencoder for High-Fidelity Respiratory Sound Compression #音频压缩 #一致性训练 #状态空间模型 #远程医疗 ✅ 7.0/10 | 前25% | #音频压缩 | #一致性训练 | #状态空间模型 #远程医疗 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Rishabh（德里大学计算机科学系） 通讯作者：未说明 作者列表：Rishabh（德里大学计算机科学系）、Yogendra Meena（德里理工大学应用数学系）、Dhirendra Kumar（贾瓦哈拉尔·尼赫鲁大学计算机与系统科学学院）、Kuldeep Singh（德里大学计算机科学系）、Nidhi（J.C. Bose科学技术大学 YMCA） 💡 毒舌点评 论文成功地将多个前沿技术（SincConv、U-Net金字塔、Mamba、一致性模型）缝合在一起，在呼吸音压缩任务上取得了令人印象深刻的保真度（CC=1.0000），这是其显著亮点。然而，其核心短板在于压缩比（CR=3.91）相对温和，且论文主要贡献更偏向于“工程整合”而非“理论突破”，此外，关键的消融实验（如表1）中“去掉方差缩放/频率门控”性能反而略好于完整模型，这略显反常，论文未给出充分解释。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用公开的SPRSound系列数据集，但论文未说明具体获取方式。 Demo：未提供在线演示。 复现材料：论文给出了模型架构的文字描述和部分关键参数（如SincConv参数、幂律参数），但缺乏训练细节（优化器、学习率、batch size等），不足以支持完整复现。 论文中引用的开源项目：引用了Mamba-SSM（[15]）作为实现依赖。 📌 核心摘要 要解决的问题：慢性呼吸疾病诊断中，数字听诊器录音的高效压缩与高保真重建，以支持可扩展的远程医疗。 方法核心：提出Respire-Mamba C-UNet，一个统一的自编码器框架。它结合生理感知的SincConv前端进行特征提取，金字塔UNet进行多尺度编码，以及一个由时间Mamba瓶颈增强的一致性训练UNet进行单步解码重建。 与已有方法相比新在哪里：不同于先前工作孤立处理前端、编码、解码，或追求极端压缩比，本文首次将SincConv的生理感知前端、金字塔多尺度表示、Mamba的高效长程建模与一致性训练的单步重建能力整合，共同优化以获得临床级保真度。 主要实验结果：在SPRSound 2024基准测试上，模型实现了PRD=0.85%， CC=1.0000， CR=3.91，显著优于现有自编码器和压缩感知基线。消融研究证实了各组件的互补增益。关键对比如下表所示： 方法 PRD (%) CC CR 压缩感知 [10] 50.1 0.8630 3.5 VAE+Transformer [11] 20.5 0.9800 256 卷积自编码器 [9] 22.3 0.9720 222.1 生成式VAE [9] 7.60 0.9757 42.67 压缩感知 [9] 5.30 0.9311 4 本文方法 0.85 1.0000 3.91 实际意义：为医疗远程听诊提供了一种高质量、低延迟（单次前向传播）的音频压缩解决方案，有助于推动远程呼吸诊断的普及。 主要局限性：压缩比相对较低，未在更广泛的音频或疾病类型数据集上验证；消融实验中个别结果的解读需要更多分析；未提供代码与模型以支持复现。 🏗️ 模型架构 整体架构是一个端到端的自编码器，包含前端、编码器、瓶颈和解码器。 ...

📄 Salad-VAE: Semantic Audio Compression with Language-Audio Distillation #音频压缩 #对比学习 #知识蒸馏 #变分自编码器 #零样本 ✅ 7.5/10 | 前25% | #音频压缩 | #变分自编码器 | #对比学习 #知识蒸馏 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Sebastian Braun (Microsoft Research, Redmond, WA, USA) 通讯作者：未说明 作者列表：Sebastian Braun (Microsoft Research, Redmond, WA, USA), Hannes Gamper (Microsoft Research, Redmond, WA, USA), Dimitra Emmanouilidou (Microsoft Research, Redmond, WA, USA) 💡 毒舌点评 亮点在于通过极低的潜在帧率（7.8 Hz）和精简的架构，在压缩效率上取得了显著进步，并创新性地集成了零样本分类和描述生成能力，超越了传统VAE的范畴。短板是其在核心的音频重构质量指标（如DistillMOS, FAD）上仍落后于StableAudio等更复杂的基线，表明其“语义增强”和“高保真重构”的双重目标尚未完美统一，且通用性验证局限于所选数据集。 ...