知识蒸馏

📄 CARD: Cross-component Audio Representation Distillation for Encoder-Free Audio Captioning #音频字幕生成 #知识蒸馏 #LoRA #音频理解 #参数高效微调 6.3/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.3/10 | 前50% | #音频字幕生成 | #知识蒸馏 | #LoRA #音频理解 | arxiv 👥 作者与机构 第一作者：Ganesh Pavan Kartikeya Bharadwaj Kolluri（University of Kent, UK） 通讯作者：未明确标注 作者列表：Ganesh Pavan Kartikeya Bharadwaj Kolluri（University of Kent）、Yuchen Zhang（University of Kent; Queen Mary University of London）、Michael Kampouridis（University of Kent）、Ravi Shekhar（University of Kent; Queen Mary University of London） 💡 毒舌点评 这篇论文提出了一个有趣且直觉合理的洞察：在蒸馏编码器知识到无编码器模型时，将低层感知表征给投影器、高层语义表征给语言模型，这种"按需分配"的策略确实有效。然而，尽管消融实验干净地证明了蒸馏位置的重要性，模型在AudioCaps上与保留编码器的基线仍有11个CIDEr-D点的巨大鸿沟，无编码器方法的实用化依然道阻且长，且全文未提及代码和模型的开源承诺，让"摆脱编码器"这个卖点在复现面前变得脆弱。 ...

📄 REDDIT: Correcting Model-Generated Timestamp Drift in ASR without Forgetting via Replay-Based Distribution Editing #语音识别 #知识蒸馏 #参数高效微调 7.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.8/10 | 前25% | #语音识别 | #知识蒸馏 | #参数高效微调 | arxiv 👥 作者与机构 第一作者：Cheng-Kang Chou（未说明）/ Ming-To Chuang（未说明）(注: 标注为共同第一作者) 通讯作者：未说明 作者列表： Cheng-Kang Chou（未说明） Ming-To Chuang（未说明） Ke-Han Lu（未说明） Chan-Jan Hsu (机构未说明) Hung-yi Lee (National Taiwan University) 机构信息：除Hung-yi Lee外，其他作者在论文中未提及所属的具体大学、实验室或公司名称。 💡 毒舌点评 这篇论文敏锐地捕捉到了一个被主流ASR评测忽视的关键问题——模型生成的时间戳在长段非语音区域会发生灾难性漂移，实验设计极具诊断价值。但坦率地说，其标注数据构造方式过于理想化（VAD拼接），且仅在Whisper架构的最后一层做极少量参数编辑，这种强假设在实际复杂声学场景（如多人抢话、背景噪音、音乐）下的泛化能力令人存疑。 ...

📄 Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization #语音编码 #自监督学习 #知识蒸馏 #无监督学习 #语音大模型 7.9/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 1.4/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.9/10 | 前25% | #语音编码 | #自监督学习 | #知识蒸馏 #无监督学习 | arxiv 👥 作者与机构 第一作者：Ryota Komatsu（Institute of Science Tokyo） 通讯作者：Ryota Komatsu（Institute of Science Tokyo） 作者列表：Ryota Komatsu（Institute of Science Tokyo）、Kota Kawakita（Institute of Science Tokyo）、Takuma Okamoto（National Institute of Information and Communications Technology）、Takahiro Shinozaki（Institute of Science Tokyo） 💡 毒舌点评 该工作敏锐地捕捉到 SD-HuBERT 的说话人主导缺陷和类别崩塌问题，用分块回归和性别定向扰动实现了干净的解耦，语音 LM 的语义提升和合成编码效率都相当扎实。但分块大小等关键参数高度依赖启发式调节，多阶段蒸馏流水线略显臃肿，且 sWUGGY 的劣势暴露了音节粒度在精细音系判别上的先天不足，整体方案离“即插即用”仍有距离。 ...

📄 Alethia: a Foundational Encoder for Voice Deepfakes #语音伪造检测 #预训练 #自监督学习 #流匹配 #知识蒸馏 #生成模型 7.6/10 | 创新 1.3/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 ✅ 7.6/10 | 前25% | #语音伪造检测 | #自监督学习 | #预训练 #流匹配 | arxiv 👥 作者与机构 第一作者：Yi Zhu（Reality Defender） 通讯作者：Yi Zhu（Reality Defender，邮箱 yi.zhu@inrs.ca） 作者列表：Yi Zhu（Reality Defender）、Brahmi Dwivedi（Reality Defender）、Jayaram Raghuram（Reality Defender）、Surya Koppisetti（Reality Defender） 💡 毒舌点评 本文在预训练配方上做出了巧妙且富有洞察的设计，通过互信息分析精准判了离散量化目标的“死刑”，并以连续嵌入预测结合流匹配生成式预训练，在56个数据集上打造了目前最抗打的语音伪造检测基础模型。但声称“首个基础编码器”略有水分，且完全没有开源任何代码、权重或数据集，这种“只发论文不交枪”的做法在安全领域尤为令人遗憾，对学术界的实质性推进构成阻碍。 ...

📄 Efficient, Property-Aligned Fan-Out Retrieval via RL-Compiled Diffusion #音乐检索 #音乐推荐 #知识蒸馏 4.7/10 | 创新 1.1/2 | 严谨 0.7/1.5 | 实验 0.8/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.7/1.5 📝 4.7/10 | 后50% | #音乐检索 | #强化学习 | #音乐推荐 #知识蒸馏 | arxiv 👥 作者与机构 第一作者：Pengcheng Jiang（Google Research，伊利诺伊大学厄巴纳-香槟分校） 通讯作者：未说明 作者列表：Pengcheng Jiang（Google Research、伊利诺伊大学厄巴纳-香槟分校）、Judith Yue Li（Google Research）、Moonkyung Ryu（Google Research）、R. Lily Hu（Google Research）、Kun Su（Google Research）、Zhong Yi Wan（Google Research）、Liam Hebert（Google Research）、Hao Peng（Google Research）、Jiawei Han（伊利诺伊大学厄巴纳-香槟分校）、Dima Kuzmin（Google Research）、Craig Boutilier（Google Research） 💡 毒舌点评 这篇论文将一个朴素的工程思路——“用RL生成一次数据，然后蒸馏到小模型”——包装成了一个看似精巧的框架，用于解决集合级检索中非分解属性优化的难题。这个“编译”概念确实有启发性，但论文的全部说服力都建立在Google内部的专有数据和闭源代码之上，对于社区而言，这更像一份Google的内部技术报告。音乐检索实验只在一个无法获取的工业数据集上完成，加上LLM-as-a-Judge评估的潜在偏差和全流程对昂贵基础设施的依赖，使其宣称的通用性和影响力大打折扣，外人看来不过是一座空中楼阁。 ...

📄 LightAVSeg: Lightweight Audio-Visual Segmentation #模型压缩 #高效推理 #多模态模型 #知识蒸馏 6.3/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.3/10 | 前50% | #模型压缩 | #模型压缩 | #高效推理 #多模态模型 | arxiv 👥 作者与机构 第一作者：Qing Zhong (华中农业大学信息学院) 通讯作者：Guodong Ding (新加坡国立大学计算学院) 作者列表：Qing Zhong (华中农业大学信息学院), Guodong Ding (新加坡国立大学计算学院), Lingqiao Liu (阿德莱德大学计算机科学学院), Zaiwen Feng (华中农业大学信息学院), Lin Yuanbo Wu (华威大学工学院 / 浙江越秀外国语学院), Angela Yao (新加坡国立大学计算学院) 💡 毒舌点评 这篇论文抓住了一个真实痛点：AVS模型在移动端的部署瓶颈。解耦”语义过滤“和”空间定位“的思路清晰，但本质上是将多模态融合中”音频提供全局语义“这一已知洞察工程化为通道调制，范式贡献有限。移动端8倍加速的数据亮眼，但164ms的延迟对于”实时交互“仍显尴尬，且与Mamba等同期线性复杂度工作的对比缺失，让优越性存疑。代码和模型不开源，在这个领域几乎是原罪，让所有工程化承诺都悬于空中。 ...

📄 REST: Diffusion-based Real-time End-to-end Streaming Talking Head Generation via ID-Context Caching and Asynchronous Streaming Distillation #音视频生成 #扩散模型 #知识蒸馏 7.3/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.7/1 | 影响 1.1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.3/10 | 前50% | #音视频生成 | #扩散模型 | #知识蒸馏 | arxiv 👥 作者与机构 第一作者：Haotian Wang（中国科学技术大学） 共同第一作者：Yuzhe Weng（中国科学技术大学） 通讯作者：Jun Du（中国科学技术大学） 作者列表：Haotian Wang (中国科学技术大学), Yuzhe Weng (中国科学技术大学), Jun Du (中国科学技术大学), Haoran Xu (iFLYTEK), Xiaoyan Wu (iFLYTEK), Shan He (iFLYTEK), Bing Yin (iFLYTEK), Cong Liu (iFLYTEK), Qingfeng Liu (中国科学技术大学/iFLYTEK，机构标注为双隶属） 💡 毒舌点评 这篇论文是diffusion-based talking head领域一次扎实的系统工程突破，首次在单卡上实现了端到端扩散模型的实时流式生成。ID-Context Cache将KV缓存思想优雅地适配到扩散Transformer的半自回归场景中，而异步流式蒸馏（ASD）策略通过信息论对比和运动平滑约束，有效缓解了流式生成固有的误差累积问题，实验效果确实亮眼。然而，冷静审视后不难发现，其对语音/音频领域本身的贡献相当有限——SpeechAE基本承袭READ架构，核心驱动力来自Whisper特征，并未在声学建模或音频表征层面提出新见解。净输入/输出的思维来看，论文解决的核心问题（实时性、流式）和采用的关键技术（Cache、蒸馏、高压缩VAE）均是视频生成和多模态社区的经典思想，其对语音/音频研究者的方法论启发远小于对视觉生成社区的工程示范。此外，完全不开源、不提供模型权重或在线demo，在当前顶会语境下显得诚意不足，39页附录中的细节虽多，但仍不足以弥补复现门槛极高的缺陷。 ...

📄 The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning #知识蒸馏 #流式处理 #大语言模型 7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 0.1/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 ✅ 7/10 | 前50% | #知识蒸馏 | #知识蒸馏 | #流式处理 #大语言模型 | arxiv 👥 作者与机构 第一作者：Donghang Wu（Nanyang Technological University, College of Computing and Data Science） 通讯作者：Chen Chen（Nanyang Technological University, College of Computing and Data Science） 作者列表：Donghang Wu（Nanyang Technological University）、Tianyu Zhang（Mila, Quebec Artificial Intelligence Institute, Université de Montréal）、Yuxin Li（Nanyang Technological University）、Hexin Liu（Nanyang Technological University）、Chen Chen（Nanyang Technological University）、Eng Siong Chng（Nanyang Technological University）、Yoshua Bengio（Mila, Quebec Artificial Intelligence Institute, Université de Montréal） 💡 毒舌点评 本文巧妙地将连续空间中的“隐式推理”概念迁移到全双工语音对话模型，用 ELBO 和全局专家蒸馏优雅地解决了“边听边想”的标注难题，在推理类任务上的涨点证明了隐式计算的潜力。但硬伤同样刺眼：一是所有 SFT 和评估均在自建合成数据上闭环完成，严重缺乏公开基准（如 Fisher、DailyTalk）上的通用语音交互结果，模型的真实场景泛化性完全未知；二是在同等数据条件下与显式 CoT 方法的直接对比缺失，其宣称的“优于显式 CoT”更像是修辞而非经过实验证实的结论。此外，声称“零额外推理延迟”，却在全文中看不到任何具体的延迟或计算量分析，这一核心优势远未得到量化。泛化能力、可解释性、以及宣称优势的可信度，构成了这篇论文的三大阿喀琉斯之踵。 ...

📄 A Multi-Branch Hierarchy-Aware Framework for Heterogeneous Audio Classification #音频分类 #知识蒸馏 4.9/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0/0.5 | 工程 1/1.5 📝 4.9/10 | 后50% | #音频分类 | #模型集成 | #知识蒸馏 | arxiv 👥 作者与机构 第一作者：Beile Ning（未说明） 通讯作者：未说明 作者列表：Beile Ning（未说明）、Jiayi Yu（未说明）、Zitong Wang（未说明）、Yufei Hu（未说明）、Wenjun Xu（未说明）、Yuanhang Qian（未说明）、Zhongxin Bai（未说明）、Gongping Huang（未说明） 💡 毒舌点评 这是一份典型的竞赛技术报告，通过堆砌多分支手工特征、层级分类头和KNN检索后处理，在特定数据集上把CLAP基线提升了约2.4个百分点。然而，全文未提供任何代码、模型或可复现材料，且缺乏与任何外部公开SOTA模型的直接比较，因此其声称的提升幅度犹如在真空中举重——无人知晓这个81.25%的Hier. F1在领域内究竟是何水平。方法本质上是已有技术的工程拼装，创新性稀薄，影响力囿于单一的竞赛场景。 📌 核心摘要 该论文针对DCASE 2026 Task 1的异构音频分类任务，提出了一种多分支层级感知框架。该方法在CLAP音频-文本表示的基础上，通过三个策略提升分类性能与层级一致性：(1) 构建扩展训练集BSD-Grand，合并清洗后的BSD35k子集以增强数据多样性；(2) 引入log-Mel、MFCC和log-STFT三个特征特异性声学分支，通过门控残差融合弥补CLAP对精细声学细节的建模不足；(3) 设计层级感知分类头（Flat、GC、LCL）以利用Broad Sound Taxonomy的层级结构，并采用基于KNN的嵌入检索与知识蒸馏来精细化预测。最终，最佳单模型（log-STFT + KNN后处理）达到80.84%的层级F1分数，最佳集成系统（System 3，5折交叉验证）进一步达到81.25%，相对于78.45%的CLAP基线提升显著。主要实验结果如下： ...

📄 SwiftAudio: Data-Efficient Caption-Only Distillation for One-Step Text-to-Audio Diffusion-based Generation #知识蒸馏 #扩散模型 #生成模型 10/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 10/10 | 前50% | #知识蒸馏 | #知识蒸馏 | #扩散模型 #生成模型 | arxiv 👥 作者与机构 论文作者为Binh Mai, Tran Quoc Bao Le, Hung Dinh, Cong Tran，均隶属于越南邮电技术学院 (Posts and Telecommunications Institute of Technology, Hanoi, Vietnam)。通讯作者为Cong Tran (congtt@ptit.edu.vn)。 ...