知识蒸馏

📄 AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers #音视频 #知识蒸馏 #强化学习 #数据集 #多模态模型 🔥 评分：8.0/10 | arxiv 👥 作者与机构 第一作者：Edson Araujo（德国图宾根大学，图宾根AI中心） 通讯作者：根据论文格式和机构排序，推测为 Hilde Kuehne（德国图宾根大学，图宾根AI中心）或 James R. Glass（MIT-IBM Watson AI Lab） 其他作者： Saurabhchand Bhati（MIT-IBM Watson AI Lab） M. Jehanzeb Mirza（IBM Research， USA； MIT-IBM Watson AI Lab） Brian Kingsbury（IBM Research， USA； MIT-IBM Watson AI Lab） Samuel Thomas（IBM Research， USA； MIT-IBM Watson AI Lab） Rogerio Feris（MIT-IBM Watson AI Lab） James R. Glass（MIT CSAIL； MIT-IBM Watson AI Lab） Hilde Kuehne（德国图宾根大学，图宾根AI中心； MIT-IBM Watson AI Lab） 💡 毒舌点评 亮点：这篇论文最聪明的地方在于“借力打力”——自己没有强大的多模态推理模型？没关系，找两个顶尖的单模态“专家”（视觉和音频模型）分别写解题思路，再让一个“文书专家”（纯文本LLM）把它们整合成一份完美的跨模态推理报告，然后用这份报告去“教”学生模型。这招“分而治之，再合而为一”在数据稀缺的领域堪称优雅。 槽点：整个流程的“天花板”被那两个单模态教师牢牢卡住了，如果教师自己就是“睁眼瞎”（幻觉），那合并出来的推理链就是“一本正经地胡说八道”。论文也承认了，大部分幻觉源自教师。此外，SFT数据基本来自AVQA一个数据集，多样性上可能有点“偏科”。 ...

📄 HARNESS: Lightweight Distilled Arabic Speech Foundation Models #语音识别 #知识蒸馏 #自监督学习 #多语言 #基准测试 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Vrunda N. Sukhadia（Amazon India；推断其完成该工作时隶属于 Qatar Computing Research Institute, HBKU, Qatar） 其他作者：Shammur Absar Chowdhury（Qatar Computing Research Institute, HBKU, Qatar） 注：论文未明确标注通讯作者，未使用通信作者标记（如 * 或 †）。脚注表明“This work was carried out at QCRI”。 💡 毒舌点评 亮点：在阿拉伯语这个“方言万花筒”上从头炼出了能打的轻量级 SSL 模型，28M 参数的 HArnESS-ST 居然能在方言识别上把 300M 参数的 XLS-R 按在地上摩擦，部署党的福音。槽点：都写到 2026 年了（arXiv 日期疑似穿越），下游任务居然还停留在 frozen encoder 阶段，连端到端微调都不敢跑，是怕小模型露馅还是舍不得 H100 的算力？至于 PCA 压缩监督信号，本质上就是给老师的高维 embedding 做个降维再聚类，包装得像是发现了新大陆。 ...

📄 Audio-Cogito: Towards Deep Audio Reasoning in Large Audio Language Models #音频大模型 #多模态模型 #自监督学习 #知识蒸馏 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Longhao Li (西北工业大学，计算机科学学院，音频、语音与语言处理组 (ASLP@NPU)) 通讯作者：Lei Xie (西北工业大学，计算机科学学院，ASLP@NPU)，Yongxiang Li (西北工业大学，计算机科学学院，ASLP@NPU) （根据论文中提供的联系邮箱推断） 其他作者： Hongjie Chen (中国电信人工智能研究院 (TeleAI)) Zehan Li (西北工业大学，计算机科学学院，ASLP@NPU) Qihan Hu (西北工业大学，计算机科学学院，ASLP@NPU) Jian Kang (西北工业大学，计算机科学学院，ASLP@NPU) Jie Li (中国电信人工智能研究院 (TeleAI)) 💡 毒舌点评 亮点：这篇论文最亮眼的是其“全开源”的承诺和“自蒸馏”策略，构建了一个从数据到模型的完整音频推理解决方案，直接挑战了依赖闭源API（如Gemini）的“捷径”做法，为社区提供了宝贵的可复现基准。槽点：然而，讽刺的是，其评估体系的核心——MMAR基准测试的“评分细则（rubric）”——仍然依赖闭源的Gemini 2.5 Pro生成，这使得其“超越闭源模型”的结论在评估公正性上存在一丝“用对手的尺子量自己”的微妙尴尬。 🔗 开源详情 代码：论文中提到代码将开源，并提供了匿名GitHub链接：https://anonymous.4open.science/r/Audio-Cogito-0E6E。使用了ms-swift训练框架。 模型权重：论文中提到Audio-Cogito基于Qwen3-Omni-Thinking，但未明确说明是否会单独发布微调后的模型权重。通常此类工作会随论文发布。 数据集：明确承诺开源。包含54.5万个高质样本，覆盖多音频域。获取地址同上述GitHub链接。 预训练权重：基于开源的Qwen3-Omni-Thinking模型。 在线Demo：论文中未提及。 引用的开源项目：主要依赖ms-swift框架，以及基座模型Qwen3-Omni-Thinking。数据来源均为公开数据集（AudioSet, Clotho等）。 📌 核心摘要 这篇论文旨在解决大型音频语言模型（LALMs）在复杂音频推理任务上能力不足且依赖昂贵闭源数据的问题。作者提出了一个名为Audio-Cogito的全开源解决方案，其核心是Cogito-Pipe——一个四阶段自动化数据构建流水线，用于生成高质量、多样化的音频推理链（CoT）数据。该流水线通过整合多源音频元数据、利用模型自身进行自蒸馏生成推理轨迹，并辅以质量验证，最终构建了一个包含54.5万个样本的大规模开源数据集。基于此数据集，作者采用自蒸馏策略对基座模型（Qwen3-Omni-Thinking）进行微调。实验表明，Audio-Cogito在专门评估推理过程的MMAR基准测试上，取得了开源模型中的最佳性能，平均准确率达71.70%，甚至在部分指标上超越了Gemini 2.0 Flash等闭源系统，同时其推理链的质量（Rubrics Score 62.22%， CRS 0.87）也得到显著提升。该工作为推动音频模态的深度、可解释推理提供了重要的开源资源和方法论参考。 ...

📄 On the Distillation Loss Functions of Speech VAE for Unified Reconstruction, Understanding, and Generation #知识蒸馏 #自监督学习 #统一音频模型 #音频理解 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Changhao Cheng (上海交通大学，人工智能学院) 通讯作者：Yanmin Qian (上海交通大学，人工智能学院；听觉认知与计算声学实验室，教育部人工智能重点实验室) (推断，基于其资深作者身份及实验室负责人角色) 其他作者： Wei Wang (上海交通大学，人工智能学院) Wangyou Zhang (上海交通大学，计算机科学学院，听觉认知与计算声学实验室，教育部人工智能重点实验室) Dongya Jia (上海交通大学，人工智能学院) Jian Wu (字节跳动 Seed) Zhuo Chen (上海交通大学，人工智能学院) 💡 毒舌点评 亮点在于它像一个严谨的“调音师”，系统性地探索了语音VAE蒸馏损失的“调音旋钮”（时间轴、维度轴、联合边际），并找到了让重建、理解、生成这三个“声部”和谐共奏的新配方（JMAS-VAE）。槽点则是这“新配方”的调制过程有点复杂，引入的自适应权重和边际参数增加了训���和调参的“玄学”成分，且实验结论高度依赖于所选的教师模型（WavLM），换一个“老师”可能结论又得重写。 🔗 开源详情 代码：论文明确提及代码已开源，GitHub地址为：https://github.com/changhao-cheng/JMAS-VAE。使用框架为 stable-audio-tools。 模型权重：论文中未明确说明是否公开模型权重，但根据开源代码的惯例，很可能会在GitHub或HuggingFace上提供。论文提到“release models and code”。 数据集：训练和评估所用数据集（Libriheavy, LibriSpeech, LibriTTS）均为公开学术数据集。 预训练权重：使用了公开的预训练模型：WavLM Large (用于提取教师特征)、DAC编码器和BigVGAN解码器 (作为VAE骨干)。 在线Demo：论文中未提及在线演示。 依赖的开源项目： stable-audio-tools (Stability AI) WavLM (Microsoft) F5-TTS (用于生成任务评估) Vocos (用于重建任务评估的声码器) Libriheavy, LibriSpeech, LibriTTS 数据集。 📌 核心摘要 本文针对现有语音变分自编码器（VAE）在统一语音重建、理解和生成任务上表现不平衡的问题（尤其是理解能力差），系统性地研究了蒸馏损失函数的设计空间。作者探索了三种将自监督学习（SSL）模型知识蒸馏到VAE潜在空间的方式：时间轴对齐（TAS）、维度轴对齐（DAS）和联合边际对齐（JMAS）。关键创新在于提出了JMAS损失，它不仅进行逐帧对齐，还通过边际余弦相似度和边际距离序列相似度损失来约束特征分布的结构一致性。此外，论文引入了基于梯度范数的自适应加权策略来动态平衡各项损失。大量实验表明，采用自适应加权的JMAS-VAE在重建、理解和生成三项任务的综合得分上取得了最优平衡，显著优于传统VAE和仅进行时间轴对齐的语义VAE。研究揭示了不同对齐方式对语义和声学信息保留的偏向性，为设计统一的语音表示提供了重要见解。 ...

📄 Why Your Tokenizer Fails in Information Fusion: A Timing-Aware Pre-Quantization Fusion for Video-Enhanced Audio Tokenization #多模态 #音频理解 #知识蒸馏 #音频大模型 🔥 评分：9.0/10 | arxiv 👥 作者与机构 第一作者：Xiangyu Zhang（新南威尔士大学电气工程与电信学院；杜比实验室，悉尼） 通讯作者：Julien Epps（新南威尔士大学电气工程与电信学院）（推断，作为最后作者及机构负责人） 其他作者： Benjamin John Southwell（杜比实验室，悉尼） Siqi Pan（杜比实验室，悉尼） Xinlei Niu（杜比实验室，悉尼） Beena Ahmed（新南威尔士大学电气工程与电信学院） 💡 毒舌点评 亮点：论文像一位严谨的侦探，系统性地“破案”了多模态融合在离散音频分词器中导致重建质量下降的元凶——融合位置和优化目标冲突，并给出了“预量化融合”和“知识蒸馏”这两把关键“凶器”。槽点：实验部分虽然扎实，但读起来像在啃一本厚重的实验手册，部分描述（如梯度分析）略显冗长，且主要聚焦于视频-音频融合，对其他模态组合的泛化性探讨不足，有点“偏科”。 🔗 开源详情 代码：论文在标题下方提供了 GitHub Issue 链接（https://github.com/...，具体地址需从原PDF获取），并声明了 CC BY 4.0 许可。这强烈暗示代码将开源或部分开源，但论文中未提供完整的仓库地址或stars数量。 模型权重：论文中未提及是否公开预训练的模型权重。 数据集：实验主要使用公开的 AudioSet 和 AVQA 数据集。 预训练权重：视觉编码器使用了预训练的 Perception Encoder。下游评估使用了 Llama 3.1 8B 的预训练权重。 在线 Demo：论文中未提及。 引用的开源项目：论文依赖或提及了多个开源项目/模型，包括 SEANet（音频编码器-解码器）、Perception Encoder（视觉特征提取）、Llama 3.1（语言模型评估基线）、CLIP（对比学习方法参考）等。 📌 核心摘要 这篇论文深入探讨了在端到端音频语言模型中，将视觉信息融入音频分词器时普遍存在的“理解提升但重建质量下降”的核心矛盾。作者通过系统性实验，揭示了三个关键发现：融合位置（在量化前还是量化后）至关重要；在离散分词器中，知识蒸馏比对比学习更有效；基于时间轴的动态融合优于静态特征融合。基于此，论文提出了时间感知预量化融合（TAPF） 方法，这是首个能在集成视觉信息的同时，保持高保真音频重建质量的方案。实验表明，TAPF不仅维持了重建保真度，还在下游音频理解任务（如AVQA）上显著优于单模态音频分词器和现有多种多模态融合基线，特别是在低比特率（高压缩）场景下，展现了8倍的token效率提升。 ...