模型压缩

📄 On Low-Bit Quantization Errors in Speaker Verification: Diagnostic and Mitigation #说话人验证 #模型压缩 6.6/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.6/10 | 前50% | #说话人验证 | #模型压缩 | arxiv 👥 作者与机构 Hugo Leguillier, Driss Matrouf, Guillaume Lechien, Mickael Rouvier LIA, UPR 4128, France; Aday, France; Avignon University 💡 毒舌点评 这篇论文像一篇详实的“尸检报告”，把低比特量化在说话人验证里的“死法”分析得明明白白，从哪一层开始烂的（中间阶段）、到哪个精度突然暴毙（2比特）、死因是什么（近阈值的决策翻转），最后还提供了一套“分级抢救”方案（多精度级联）。诊断部分做得相当细致，甚至可以说是优雅。但问题是，尸检对象就俩（ResNet-36/200），解剖工具也只用了一个（KMQAT），这结论能推广到其他“患者”（模型架构）身上吗？提出的抢救方案听起来不错，可实际ICU（嵌入式设备）里能不能跑得动、耗材（内存）够不够、要不要反复调参（校准），文中却含糊其辞。总之，这是一篇优秀的诊断学论文，但开出的药方缺乏在复杂临床环境（真实部署）下的充分验证。 📌 核心摘要 本文针对说话人验证模型在低比特量化时的性能下降问题，提出了一种联合层分析和分数分析的诊断框架。研究发现：1) 2比特量化是性能显著恶化的关键拐点；2) 量化敏感性在网络中部分布不均匀，中间到后期的网络阶段（尤其是Stage 2和3）对性能恢复最关键；3) 量化引起的分数漂移在2比特时急剧增加，且有害的决策错误（决策翻转）高度集中在FP32决策阈值附近。基于这些发现，作者设计并验证了一种校准的多精度级联推理策略：大部分样本在2比特下即可可靠决策，仅对分数接近阈值的模糊样本提升至更高精度（3比特或4比特），从而在保持接近FP32性能的同时，显著降低了平均推理计算成本。 ...

📄 TLDR: Compressing Audio Tokens for Efficient Autoregressive Text-to-Speech #语音合成 #自回归模型 #参数高效微调 #模型压缩 8.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.2/10 | 前25% | #语音合成 | #参数高效微调 | #自回归模型 #模型压缩 | arxiv 👥 作者与机构 Yejin Lee, Junwon Moon, Hyoeun Kim, Hyunjin Choi：成均馆大学（Sungkyunkwan University） Heeseung Kim：首尔市立大学（University of Seoul） Kyuhong Shim：成均馆大学（Sungkyunkwan University） 💡 毒舌点评 这篇论文的立意很好，直击了当前AR-TTS模型“又慢又占内存”的痛点。方法设计上，“换汤不换药”（用patch替代token）的思路虽然不算石破天惊，但胜在实用，能直接嫁接到现有模型上，工程价值明显。然而，几个“但是”不得不提：1) 实验上有点“温室里的花朵”，只在CosyVoice3这一个“温室”里做实验，数据也是相对纯净的LibriTTS，面对更多样、更嘈杂的现实数据时，性能如何是个问号；2) “固定patch大小”像是给模型戴上了镣铐，语音的疏密变化明显，自适应patch才是更优雅的解法；3) 主观评测就找了25个英语母语者，这个样本量在顶会论文里略显寒酸，说服力打了折扣。总的来说，这是一篇扎实的工程优化论文，但离“令人眼前一亮”的理论突破或全面系统的实验验证还有距离。 ...

📄 dots.tts Technical Report #语音合成 #流匹配 #自回归模型 #多语言 #低资源 #数据增强 #模型压缩 9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 9/10 | 前25% | #语音合成 | #数据增强 | #流匹配 #自回归模型 | arxiv 👥 作者与机构 作者：Shi Lian, Changtao Li, Bohan Li, Hankun Wang, Da Zheng, Junfeng Tian, Yufeng Ma, Colin Zhang, Kai Yu。 机构：dots团队，小红书公司（Xiaohongshu Inc.），上海交通大学X-LANCE实验室。 ...

📄 Spiking and Event-driven Neuromorphic Mamba Models for Efficient Speech Recognition #语音识别 #模型压缩 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 7.5/10 | 前50% | #语音识别 | #模型压缩 | arxiv 👥 作者与机构 Tauseef Ahmed (单位1, 2, 3)，Tao Sun (单位1)，Jeronimo Castrillon (单位3, 4)，Kanishkan Vadivel (单位2)，Guangzhi Tang (单位1)。论文中未具体说明单位1、2、3、4对应的具体机构名称。 基金支持：NGF.1609.243.044 (AiNed XS Europe), 01IS18026A-D (ScaDS.AI), 101226463 (MSCA Doctoral Network REACT)。 ...

📄 Data-Efficient On-Policy Distillation for Automatic Speech Recognition #语音识别 #知识蒸馏 #低资源 #模型压缩 📝 5.1/10 | 前50% | #语音识别 | #知识蒸馏 | #低资源 #模型压缩 | arxiv 学术质量 3.1/7 | 影响力 1.5/2 | 可复现性 0.5/2 | 置信度 中 👥 作者与机构 作者：Yu Lin, Yiming Wang, Runyuan Cai, Xiaodong Zeng 机构：AutoArk-AI 💡 毒舌点评 这篇论文像一个精心调校的“数据榨汁机”：用一个强大的教师模型（Qwen-ASR）和一套还算巧妙的蒸馏流水线（TD+OPD），硬生生地从100k小时的数据里榨出了能超越Qwen3-ASR-0.6B（声称用20M小时训练）的性能。这确实很酷，证明了在模型规模受限时，“名师出高徒”这条路走得通。但作者似乎对“榨汁机”本身的创新点有些语焉不详——核心的OPD方法基本是从文本领域搬过来的，而真正起效的“教师数据适应”（TD）阶段为何有效，只给了个VUSS指标当“黑盒诊断”，缺乏深入的机理分析。实验结果虽亮眼，但对比的公平性存疑（Qwen3-ASR-0.6B的训练配方未知），且缺乏多次实验的稳定性报告和更多鲁棒性测试。总的来说，这是一份扎实的“应用报告”和“有效性验证”，但在“机制揭秘”和“方法创新”上还有明显的提升空间。 📌 核心摘要 本文研究了如何在100k小时音频数据预算下，提升一个0.6B参数的ASR模型（Ark-ASR）的性能。核心方法是结合“教师数据适应”（TD）和“在策略蒸馏”（OPD）。TD阶段使用教师生成的2k小时伪标签数据对Ark-Base模型进行初步适应；随后，OPD阶段在原始100k小时数据上，利用冻结的Qwen-ASR教师模型对学生生成的转录序列提供密集反馈，通过匹配师生模型在联合Top-kk支持集上的分布来优化学生模型。主要结果是，Ark-Base+TD+OPD模型在五个中英文ASR基准测试中的四个上，超越了同规模（0.6B）的Qwen3-ASR-0.6B基线模型，且所用的监督音频数据量仅为后者声称的1/200。论文还提出“有效联合支持集大小”（VUSS）作为诊断工具，表明TD阶段提升了师生模型局部支持集的重叠度，使后续的OPD更有效。论文结论指出，SFT结合OPD是提升小型ASR模型数据效率的实用路径。 🔗 开源详情 代码：论文中未提及代码开源计划。 模型权重：论文中未提及。 数据集：论文使用了以下公开数据集，但未提供具体下载链接：AISHELL-1（开源中文语音语料库）、WenetSpeech（大规模多领域中文语料库，含Test_Net和Test_Meeting）、LibriSpeech（标准英文语音识别语料库，含test-clean和test-other）。 Demo：论文中未提及。 复现材料：论文未提供训练配置、检查点或完整复现信息。 引用的开源项目：论文引用了Whisper、Conformer、Deep Speech、Distil-Whisper等项目，但未提供其代码仓库链接。 补充链接（自动提取）： 代码仓库：https://github.com/zai-org/GLM-ASR HuggingFace：https://huggingface.co/docs/transformers/model_doc/glmasr 🏗️ 方法概述和架构 Ark-ASR的架构是一个音频条件的因果语言模型，由音频分支和解码器两部分构成。音频分支的设计遵循GLM-ASR编码器：首先使用一个Whisper风格的音频编码器将语音特征（如Log-Mel滤波器组）转换为帧级声学隐状态；接着，通过层归一化和时间合并操作对这些状态进行规整；最后，一个多层感知机（MLP）适配器将声学状态投影到语言模型的隐藏维度。解码器部分是一个Qwen2因果语言模型。在推理和训练时，适配后的音频嵌入会替换ASR提示中占位符位置的嵌入，形成混合的音频-文本嵌入序列，该序列由因果解码器和语言模型头处理，自回归地生成转录令牌。 训练流程（Ark-ASR OPD）如下：对于一个音频批次，1) 学生生成：学生模型在自身音频条件下生成转录，不记录梯度。生成的令牌序列经过清理（去除ASR停止令牌和屏蔽的非ASR令牌范围）后解码为文本。2) 教师评分：冻结的Qwen-ASR教师模型在教师强制模式下，接收相同的音频和学生生成的文本前缀，输出转录位置上的令牌级逻辑值。3) 学生再评分与对齐：学生模型在相同的生成转录下再次前向传播（此次带梯度），使其逻辑值在学生实际访问的状态上与教师反馈对齐。损失函数是联合Top-kk KL损失（公式1）： ...

📄 HoliTok:A Coutinuous Holistic Tokenization with Robust Dual Capabilities of Speech Generation and Understanding #语音合成 #语音识别 #自监督学习 #知识蒸馏 #多任务学习 #模型压缩 🔥 8.6/10 | 前25% | #语音合成 | #自监督学习 | #语音识别 #知识蒸馏 | arxiv 学术质量 5.7/7 | 影响力 1.8/2 | 可复现性 1.1/2 | 置信度 高 👥 作者与机构 作者: Bohan Li, Shi Lian, Hankun Wang, Yiwei Guo, Yu Xi, Zhihan Li, Da Zheng, Colin Zhang, Kai Yu. 机构: 1. 上海交通大学 X-LANCE 实验室；2. 小红书 Hi-lab。 ...

📄 TARQ: Tail-Aware Reconstruction Quantization for Rare-Word Robust Automatic Speech Recognition #鲁棒性 #模型压缩 🔥 10/10 | 前10% | #语音识别 | #模型压缩 | #鲁棒性 | arxiv 学术质量 7/7 | 影响力 2/2 | 可复现性 2/2 | 置信度 高 👥 作者与机构 Xinyu Wang, Ziyu Zhao, Ke Bai, Silin Meng, Dongming Shen, Xiao-Wen Chang, Yixuan He McGill University, Boson AI, Arizona State University 💡 毒舌点评 这篇工作堪称“精准手术”。它像一位经验丰富的外科医生，敏锐地指出了当前ASR量化手术中一个被忽视却致命的“并发症”——频率继承导致的罕见词“营养不良”。TARQ方案设计得相当优雅，用迹均衡化这把“微创手术刀”，在不增加额外标签和复杂度的前提下，重新分配了校准过程的“营养”，效果显著。实验设计全面得令人发指，八个骨干网络、六个数据集、六种校准语料的组合拳，几乎堵死了所有质疑的路径。唯一能稍微挑刺的是，这种“一刀切”的二分法在面对更精细的敏感度谱时可能显得粗糙，但作者也坦诚地指出了这一点。总体而言，这是一篇问题抓得准、方法想得巧、实验做得足的扎实工作，对ASR模型的实际部署有切实的推动作用。 📌 核心摘要 本文针对自动语音识别（ASR）模型在低比特权重（如W4）后训练量化（PTQ）中，罕见词（如人名、数字、专业术语）识别性能显著下降的问题，进行了深入的诊断分析并提出了一个解决方案。作者指出，标准PTQ方法（如GPTQ、AWQ）在校准时最小化的每token重建损失，隐式地按词频对位置加权，导致罕见词获得的优化质量严重不足，而这一问题在传统的整体词错误率（WER）指标中被掩盖。 为此，本文提出了TARQ，一个无标签、无验证解码、无额外训练的PTQ框架。其核心包含两个闭式组件： rareBAL：一种逐线性层的度量调整规则。它通过迹均衡化，将校准Hessian矩阵（\(H_\ell\)）在常见词位置和尾部（罕见）词位置之间的质量重新分配为50/50，从而迫使量化过程同等关注两类词汇。 度量一致的残差校正：一个在顺序量化过程中考虑误差传播的校正步骤，确保在rareBAL定义的新度量目标下，求解过程保持一致性，避免因顺序量化导致的度量偏离。 在W4G128量化设置下，TARQ在八个ASR骨干网络（Whisper全系列、Qwen3-ASR、Voxtral）、六个标准数据集和多种校准语料上进行了评估。结果表明，TARQ能显著降低罕见词错误率（rare-WER），同时保持甚至略微改善整体WER。该方法还展现出卓越的跨语料库稳定性，并能有效迁移至实体丰富的基准测试（ProfASR, ContextASR-Speech-En），无需实体监督。 🔗 开源详情 代码：论文在附录J中声明“将发布TARQ源代码……在Apache-2.0许可证下”，包括校准管线、rareBAL Hessian重加权、闭式残差校正及评估脚本，并附有复现所有表格的README文件。但未提供具体的GitHub或其他代码仓库链接。 ...

📄 Toward Native Multimodal Modeling: A Roadmap #多模态模型 #模型压缩 #高效推理 #强化学习 #自回归模型 🔥 10/10 | 前25% | #多模态模型 | #模型压缩 | #高效推理 #强化学习 | arxiv 学术质量 7/7 | 影响力 2/2 | 可复现性 2/2 | 置信度 高 👥 作者与机构 Siyu An (Equal Contribution, Corresponding Author) [1], Junru Lu (Equal Contribution) [1], Junnan Dong (Equal Contribution, Corresponding Author) [1], Qiufeng Wang [1], Yinghui Li [1], Weizhi Fei [2], Zichao Yu [3], Zheng Yuan [1], Biao Liu [1], Haopeng Wang [1], Renzhao Liang [1], Yixuan Yang [4], Yunhang Shen [1], Bo Ke [1], Keyu Chen [1], Linhao Luo [5], Difan Zou [3], Xiao Huang [6], Di Yin [1], Ruizhi Qiao [1], Xing Sun [1] 机构： [1] 腾讯优图实验室 [2] 清华大学 [3] 香港大学 [4] 华威大学 [5] 莫纳什大学 [6] 香港理工大学 ...

📄 WaveNeXt 2: ConvNeXt-Based Fast Neural Vocoders With Residual Denoising and Sub-Modeling for GAN and Diffusion Models #语音合成 #生成对抗网络 #模型压缩 🔥 9.4/10 | 前25% | #语音合成 | #生成对抗网络 | #模型压缩 | arxiv 学术质量 6.2/7 | 影响力 1.7/2 | 可复现性 1.5/2 | 置信度 高 👥 作者与机构 未提及具体作者姓名。论文页脚显示该工作部分由JSPS KAKENHI Grants (JP21H05054, JP23K21681, JP24K0296, JP25H01139) 和 JST NEXUS (JPMJNX25C1) 支持，表明研究可能在日本进行。 💡 毒舌点评 这篇论文的核心动机清晰：打破GAN和扩散模型在声码器领域的架构壁垒。其提出的统一ConvNeXt框架在理论上是优雅的，实验也展现了令人印象深刻的推理速度提升，尤其是在CPU上。然而，这种“统一”更像是一种架构复用，而非算法层面的深度融合。将GAN和扩散模型的训练策略强行嫁接到同一个生成器骨架上，虽然高效，但并未提出解决二者根本矛盾的新理论。例如，扩散模型的采样效率问题仅通过子模型和BDDM的噪声调度缓解，并未在生成器架构层面有实质性创新。此外，论文声称解决了“多说话人性能有限”的问题，但实验仅在单一英文数据集LibriTTS-R上进行，说服力有限。作者坦诚了模型尺寸随子模型数量线性增长的问题，但这在资源敏感的场景下是显著的缺点。总体而言，这是一篇扎实的工程优化论文，将现有技术（ConvNeXt、子模型训练、BDDM）巧妙组合，取得了显著的性能提升，但理论创新性稍显不足。 📌 核心摘要 本文提出了WaveNeXt 2，一个基于ConvNeXt架构的统一神经声码器框架，可兼容GAN和扩散模型两种范式。其核心创新在于引入了残差去噪和子模型结构，使每个子模型能在推理过程中逐步优化波形。实验在LibriTTS-R多说话人数据集上进行，结果表明：(1) GAN-WaveNeXt 2在保持与HiFi-GAN、WaveFit相当合成质量的同时，实现了显著更快的推理速度（相比WaveFit，GPU RTF降低70%，CPU降低90%）。(2) Diff-WaveNeXt 2在采用子模型训练后，相比4步FastDiff，具有竞争力的质量和更快的推理速度（CPU RTF降低80%），且训练时间极短（仅32小时），适合资源受限的应用。 🔗 开源详情 代码：论文自身未提供代码仓库链接。但引用了以下第三方开源实现： ParallelWaveGAN (用于实现HiFi-GAN V1): https://github.com/kan-bayashi/ParallelWaveGAN wavefit-pytorch (WaveFit实现): https://github.com/yukara-ikemiya/wavefit-pytorch FastDiff: https://github.com/Rongjiehuang/FastDiff Vocos (ConvNeXt生成器基础): https://github.com/gemelo-ai/vocos 模型权重：未提及任何模型权重的下载链接。 数据集：使用LibriTTS-R数据集。论文未直接提供链接，但该数据集可通过Hugging Face等平台获取，例如：https://huggingface.co/datasets/hf-internal-testing/libritts_r。论文使用的子集为train-clean-100、train-clean-360（训练）和test-clean-100（评估）。 Demo：提供了项目主页和语音样本演示页面：https://37integer.github.io/WAVENEXT-2。 复现材料：未提及具体的训练配置文件、模型检查点或详细的附录文档链接。 🏗️ 方法概述和架构 WaveNeXt 2框架的核心是一个可复用的WaveNeXt-based生成器，其设计目标是通过统一的残差去噪和子模型结构，适配GAN与扩散两种训练范式。 ...

📄 Perforated Neural Networks for Keyword Spotting #关键词检测 #神经网络架构 #模型压缩 #边缘计算 📝 5/10 | 前60% | #关键词检测 | #神经网络架构 | #模型压缩 #边缘计算 | arxiv 学术质量 4/8 | 影响力 0.5/1 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Vishy Gopal（Purdue University） 通讯作者：未说明 作者列表：Vishy Gopal（Purdue University），Aris Ilias Goutis（Renesas Electronics），Ralph Crewe（Perforated AI），Erin Yanacek（Perforated AI），Rorry Brenner（Perforated AI） 💡 毒舌点评 亮点：将一种生物启发的训练框架（PB）应用于一个边界清晰、指标明确的边缘实用任务（KWS），并通过大规模超参数搜索在“精度-参数量”的帕累托图上展示了极具视觉说服力的优势。论文的工程价值和潜在应用吸引力显而易见。短板：这是一篇典型的“黑客松获奖报告”式论文，而非严谨的学术研究。其最核心的缺陷是实验对比的严重不足和科学严谨性的缺失：仅与一个陈旧的平台默认基线进行比较，完全回避与当前领域SOTA（如MobileNet、EfficientNet-Lite、高效剪枝/量化模型）的直接对决；核心声称（“普遍优势”）仅凭一次搜索的散点图支撑，没有任何统计显著性分析或消融实验来验证性能提升的确切来源。因此，其学术贡献大打折扣。 📌 核心摘要 要解决的问题：在边缘设备（如MCU、SoC）上部署关键词检测（KWS）模型时，面临着低内存、低算力和高精度不可兼得的矛盾。传统的模型压缩技术（如剪枝、量化）通常以牺牲精度来换取模型尺寸的减小。 方法核心：将穿孔反向传播（Perforated Backpropagation, PB）框架应用于Edge Impulse平台的KWS流程。PB在网络标准训练收敛后，为神经元添加“树突节点”。这些节点通过修改的级联相关规则（Equations 3 & 4）学习，其权重更新不通过主网络的反向传播梯度（Equation 2中对应项置零），从而在计算图中独立于主网络。 与已有方法相比新在哪里：PB被定位为一个“即插即用”的插件，而非全新的网络架构。它区别于传统压缩技术（如剪枝、量化），声称可以同时提高精度或减少参数。此前PB已在化学、金融、NLP、图像识别等领域有过验证，但本文是其首次在音频/边缘推理领域的系统性应用。 主要实验结果：在Edge Impulse KWS任务上进行了800次超参数搜索。结果显示，穿孔模型在帕累托前沿上全面超越传统模型。关键数据（来自Table 1）：最优树突模型（最小超过基线精度）参数量1,556，测试精度0.933（错误率0.067）；基线模型参数量3,859，测试精度0.921（错误率0.079）。与基线相比，最优模型在错误率降低16%的同时，参数量减少了60%。 实际意义：为边缘AI工程师提供了一种新的模型增强工具，通过增加少量计算复杂度（添加和训练树突节点）来换取在严格约束下的性能提升。 主要局限性：实验对比基线薄弱（仅为Edge Impulse平台默认模型），缺乏与当前轻量级SOTA模型（如MobileNet系列、EfficientNet-Lite、高效剪枝/量化模型）的对比；缺乏消融实验以验证树突节点机制本身相对于简单增加参数的有效性；实验结论基于一次超参搜索结果，缺乏统计显著性检验（如多次运行的均值、方差）；论文未提供数据集规模、具体损失函数、优化器、完整超参数配置及训练硬件等关键实现细节，严重妨碍可复现性。 🔗 开源详情 代码：https://github.com/perforated-ai/dendritic-impulse-block 模型权重：论文中未提供独立的模型权重下载链接。最佳模型的参数量和测试精度在文中给出（1,556参数，0.933准确率）。相关权重文件应包含在上述代码仓库中。 数据集：论文中未提供具体的数据集名称或独立的下载链接。实验使用了Edge Impulse平台标准关键词识别教程流水线中的数据。数据集原始来源及许可信息需参考Edge Impulse平台（未在论文中给出具体链接）。 Demo：论文中未提及。 复现材料：论文中未提供详细的训练配置文件或复现文档。但提供了Weights & Biases的超参扫描报告链接：https://wandb.ai/vishy-gopal/dendritic-kws/reports/KWS-sweep-report–Vmlldzo4OTcwMzU，其中包含了所有800次试验的详细配置和结果。 论文中引用的开源项目： Perforated AI GitHub 仓库：提供论文中所有模型代码。链接：https://github.com/perforated-ai/dendritic-impulse-block Edge Impulse：关键词识别实验的平台，但论文中未给出其具体项目链接。 Weights & Biases：用于进行大规模超参数扫描的工具。链接：https://wandb.ai/vishy-gopal/dendritic-kws/reports/KWS-sweep-report–Vmlldzo4OTcwMzU 🏗️ 方法概述和架构 整体流程概述：本文提出的方法是一个分阶段的训练框架，旨在将“树突计算”模块嵌入到现有的神经网络中。其核心流程为：首先，使用标准反向传播将一个基础的卷积神经网络（由Edge Impulse平台提供）训练至收敛；然后，交替进行“神经元阶段”和“树突阶段”的迭代优化，逐步添加并冻结“树突节点”，最终得到一个包含树突节点的增强模型用于部署。 ...