参数高效微调

📄 Multilingual Long-Form Speech Instruction Following: KIT's Submission to IWSLT 2026 #语音识别 #语音合成 #语音翻译 #多模态模型 #数据增强 #参数高效微调 #模型集成 10/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 10/10 | 前10% | #语音识别 | #数据增强 | #语音合成 #语音翻译 | arxiv 👥 作者与机构 Enes Yavuz Ugan, Maike Züfle, Yuka Ko, Supriti Sinhamahapatra, Fabian Retkowski, Seymanur Akti, Jan Niehues, Alexander Waibel 1 Karlsruhe Institute of Technology (KIT) 2 Carnegie Mellon University ...

📄 Video2LoRA: Parametric Video Internalization for Vision-Language Models #参数高效微调 7.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7.5/10 | 前50% | #参数高效微调 | #参数高效微调 | arxiv 👥 作者与机构 作者：Manan Suri (†Equal contribution.), Sarvesh Baskar (†Equal contribution.), Dinesh Manocha (†) 机构：†University of Maryland, College Park 💡 毒舌点评 这篇工作在“参数化上下文内化”这个思路上做了有趣的跨模态扩展，从文本延伸到了视频，想法本身有一定新意。作者通过一个超网络预测LoRA权重，规避了视觉Token的重复计算，效率提升的实验数据看起来很亮眼。然而，这篇论文的“硬伤”在于其评估的深度和广度都严重不足。首先，所有实验仅在两个SmolVLM2模型（500M和2.2B）上进行，这代表的是非常弱的开源模型基线，无法证明方法在当今主流或更强大的VLM上的有效性。其次，零样本QA任务上的性能不稳定，尤其是在PLM-SGQA上2.2B模型的灾难性失败（LLM Judge分数暴跌-0.198），这被轻描淡写地归咎于“风格不匹配”，但实际上可能揭示了该方法在处理特定类型推理任务时的根本缺陷。此外，与更强大的token压缩、长上下文或流式处理方法（如各种视觉token压缩方案、StreamingLLM等）的对比完全缺失，这使得其宣称的“正交性”和“效率优势”缺乏坚实的证据支撑。论文的实验设计更像一个技术可行性的验证（PoC），离支撑一个“通用且稳健的视频理解新范式”的结论相去甚远。开源了代码和权重是加分项，但无法弥补方法泛化性和评估深度上的重大不足。 📌 核心摘要 Video2LoRA旨在解决视觉语言模型处理视频时重复编码带来的巨大计算开销问题。其核心是训练一个Perceiver超网络，该超网络读取一个冻结VLM编码视频时产生的逐层隐藏状态，并在一次前向传播中生成一个特定于该视频的LoRA适配器。在查询阶段，冻结的VLM加载此适配器，无需在上下文中提供任何视觉Token即可回答问题。论文声称该方法在多个视频描述基准上与基于视觉Token的推理在统计上无差异，并展示了高达1500倍的输入Token减少和显著的推理时间加速。此外，独立生成的视频片段适配器可在秩空间组合，为长视频处理提供了可能。 🔗 开源详情 代码仓库：github.com/MananSuri27/vid2lora （已验证存在） ...

语音/音乐/音频论文速递 2026-06-04 共分析 22 篇论文 ⚡ 今日概览 📥 抓取 22 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 3篇 ███ #音频分类 2篇 ██ #音频生成 2篇 ██ #语音增强 2篇 ██ #多模态模型 1篇 █ #语音编码 1篇 █ #空间音频 1篇 █ #音乐生成 1篇 █ 📊 论文评分排行榜（22 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Multilingual Long-Form Speech Instruction Following: KI 10.0分 前10% #语音识别 🥈 Drift-Augmented Scoring: Text-Derived Noise Robustness 10.0分 前25% #音频分类 🥉 DetectZoo: A Unified Toolkit for AI-Generated Content D 9.3分 前25% #多模态模型 4. CleanCodec: Efficient and Robust Speech Tokenization vi 8.8分 前25% #语音编码 5. Read What You Hear: Reference-Free Hypotheses Evaluatio 8.6分 前25% #语音识别 6. UAT: Unified Audio-Text Diffusion for Audio Generation, 8.5分 前25% #音频生成 7. Flow-HOA: Generative Joint Optimization for Ambisonics 7.9分 前25% #空间音频 8. Test-Time Compute Scaling for ASR with Depth-Conditione 7.8分 前25% #语音识别 9. Channel-Oriented Design for EEG-to-Music Reconstruction 7.7分 前25% #音乐生成 10. Entity Binding Failures in Speech LLM Reasoning: Diagno 7.5分 前25% #语音问答 11. Video2LoRA: Parametric Video Internalization for Vision 7.5分 前50% #参数高效微调 12. Feasibility of Time-Domain DNN-Based Speech Enhancement 7.2分 前50% #语音增强 13. Differentiable Articulatory Copy-Synthesis of Biphonic 7.1分 前50% #音频生成 14. The Differentiable Auditory Loop (DAL): An ML Framework 7.1分 前50% #语音增强 15. Masked Wavelet Scattering Transform Neural Field for So 6.7分 前50% #音频质量评估 16. SHB-AE: Spherical harmonic beamforming based Ambisonics 6.7分 前50% #音频编码 17. SURF: Separation via Unsupervised Remixing Flow 6.4分 前25% #无监督学习 18. Gauss Circle Lattices with Geometric Convolutions for S 6.0分 前50% - 19. Plan First, Judge Later, Run Better: A DMAIC-Inspired A 5.8分 前50% #工业应用 20. Representation Matters in Randomized Smoothing for Audi 5.7分 前50% #音频分类 21. Neural Radiated-Noise Fields for Unmanned Underwater Ve 5.1分 前50% - 22. A Second-Order Cepstral Signature of Contact-Vibration 4.8分 后50% #信号处理基础 📋 论文列表 🥇 Multilingual Long-Form Speech Instruction Following: KIT's Submission to IWSLT 2026 10.0/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 Logit Distillation on Manifolds: Mapping by Learning #知识蒸馏 #参数高效微调 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.3/1.5 ✅ 6.5/10 | 前50% | #语音识别 | #知识蒸馏 | #参数高效微调 | arxiv 👥 作者与机构 Yiru Yang (University of Zurich), Junling Wang (ETH Zurich), Nishant Kumar Singh (University of Zurich), Luohong Wu (University of Zurich), Haoran Yan (Deutsche Bank Securities) ...

📄 MoDAl: Self-Supervised Neural Modality Discovery via Decorrelation for Speech Neuroprosthesis #自监督学习 #对比学习 #多模态模型 #参数高效微调 6.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.6/10 | 前25% | #自监督学习 | #自监督学习 | #对比学习 #多模态模型 | arxiv 👥 作者与机构 作者：Yuanhao Chen, Peter Chin 机构：Dartmouth College, Hanover, NH, USA 💡 毒舌点评 一篇动机良好、理论包装扎实的工作，但将一个在单个数据集、单个参与者上的工程优化，拔高到了“模态发现”的哲学高度。最大的卖点——Area 44信号的“起死回生”——其普适性存疑，且缺乏与最先进级联系统的公平比较。理论命题（Proposition 3.1 & 3.2）虽优雅，但与现实训练条件（τ为有限值）脱节，更像一个解释现象的后验故事而非设计指南。代码未开源是硬伤，严重阻碍了验证与复现。 ...

📄 SegTune: Structured and Fine-Grained Control for Song Generation #音乐生成 #生成模型 #多模态模型 #数据增强 #参数高效微调 8.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.5/10 | 前25% | #音乐生成 | #数据增强 | #生成模型 #多模态模型 | arxiv 👥 作者与机构 Yuejiao Wang, Zihao Ji, Pengfei Cai, Xu Li, Haorui Zheng, Zewen Song, Zhongliang Liu, Chen Zhang, Pengfei Wan。机构为Kling Team, Kuaishou Technology；University of Science and Technology of China；Peking University。论文在Kuaishou Technology的Kling Team实习期间完成。 ...

语音/音乐/音频论文速递 2026-06-03 共分析 40 篇论文 ⚡ 今日概览 📥 抓取 40 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 7篇 ███████ #语音识别 7篇 ███████ #音乐生成 3篇 ███ #音频生成 2篇 ██ #语音增强 2篇 ██ #多模态模型 2篇 ██ #语音情感识别 2篇 ██ #语音翻译 2篇 ██ 📊 论文评分排行榜（40 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 AnyAudio-Judge: A Dynamic Rubric-Based Benchmark and Ev 10.0分 前10% #语音合成 🥈 Cosmos 3: Omnimodal World Models for Physical AI 10.0分 前10% #音频生成 🥉 WavTTS: Towards High-Quality Zero-Shot TTS via Direct R 9.2分 前25% #语音合成 4. CoughSense: Five-Class Respiratory Disease Classificati 9.1分 前25% #数据增强 5. SoulX-Transcriber: A Robust End-to-End Framework for Mu 8.8分 前50% #语音识别 6. SVHalluc: Benchmarking Speech-Vision Hallucination in A 8.7分 前25% #语音识别 7. Benchmarking Speech-to-Speech Translation Models 8.7分 前25% #语音合成 8. The DeepSpeak-Agentic Dataset 8.7分 前50% #语音合成 9. EntangleCodec: A Unified Discrete Audio Tokenizer via S 8.6分 前10% #语音合成 10. SketchSong: Hierarchical Song Generation with Sketch Pl 8.6分 前25% #音乐生成 11. SegTune: Structured and Fine-Grained Control for Song G 8.5分 前25% #音乐生成 12. Exploiting Noise Inseparability for Weakly-Supervised D 8.5分 前50% #语音增强 13. A Comparison of Generative and Discriminative Methods f 8.3分 前25% #语音增强 14. FSA-GRPO: Teaching Auditory LLMs to Use Few-shot Demons 8.1分 前50% #语音识别 15. Tonal parsimony in chord-sequence analysis: combining m 8.1分 前25% #音乐信息检索 16. Efficient ASR Training with Conversations that Never Ha 8.0分 前50% #语音识别 17. LiveBand: Live Accompaniment Generation in the Audio Do 8.0分 前25% #音乐生成 18. Sandboxed Coding Agents are Competitive Omni-modal Task 7.9分 前25% #强化学习 19. OmniHalluc-L: Counterfactual Benchmarking and Modality- 7.8分 前25% #多模态模型 20. BaltiVoice: A Speech Corpus and Fine-tuned Whisper ASR 7.8分 前25% #语音识别 21. Speech Emotion Recognition using Attention-based LSTM-N 7.5分 前50% #语音情感识别 22. SpeakerCard-1M: An Evidence-Grounded Speaker Card Corpu 7.4分 前25% #说话人验证 23. C2GA: A Class-Controllable Generative Augmentation Fram 7.3分 前50% #音频分类 24. AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IW 7.3分 前50% #语音翻译 25. Before Fusion, Ask What to Keep: Contextual Calibration 7.2分 前50% #语音情感识别 26. Diffusion-Based Heart Sound Generation: Evaluation with 7.1分 前50% #语音合成 27. SiamCTC: Learning Speech Representations through Monoto 7.0分 前50% #语音识别 28. Foley-Omni: A Unified Multimodal Generation Model from 7.0分 前25% #音频生成 29. Inference-Time Scaling for Joint Audio-Video Generation 6.9分 前50% #语音合成 30. Breaking the Pair: Evaluating Dyadic Interaction via Sp 6.9分 前50% - 31. Localizing broadband noise sources using the Loève spec 6.9分 前50% #声源定位 32. A Pocket Offline Model for Simultaneous Speech Translat 6.8分 前50% #语音翻译 33. Stable Hybrid Cross-Attention Fusion for Audio-Visual E 6.7分 后50% #自监督学习 34. A Training-Efficient Transformer-Based Anti-Spoofing Ne 6.7分 后50% #Transformer 35. MoDAl: Self-Supervised Neural Modality Discovery via De 6.6分 前25% #自监督学习 36. Audio Spotforming via Post-Filtering Using Cross-Array 6.6分 前50% #维纳滤波 37. Logit Distillation on Manifolds: Mapping by Learning 6.5分 前50% #语音识别 38. Domain-Agnostic Incremental Learning for Sound Classifi 6.1分 前50% - 39. Wavelet as Tokenizer: Preliminary Results on a Shared W 5.4分 后50% #多模态模型 40. In-the-Loop Training of Deep Feedback Cancellation for 5.3分 前50% #自适应滤波 📋 论文列表 🥇 AnyAudio-Judge: A Dynamic Rubric-Based Benchmark and Evaluator for Audio Instruction Following 10.0/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.4/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ...

📄 Parameter-efficient Dual-encoder Architecture with Differentiable Choquet Integral Fusion for Underwater Acoustic Classification #参数高效微调 #模型融合 #音频分类 6.4/10 | 创新 2/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0/1.5 ✅ 6.4/10 | 前25% | #音频分类 | #参数高效微调 | #模型融合 | arxiv 👥 作者与机构 Amirmohammad Mohammadi: 德克萨斯A&M大学，电气与计算机工程系博士生。 Joshua Peeples: 德克萨斯A&M大学，电气与计算机工程系助理教授。 Alexandra Van Dine: 麻省理工学院林肯实验室，先进水下系统与技术组助理组长。 💡 毒舌点评 这篇论文瞄准了一个实际且重要的领域（水下声学分类），并试图用一个听起来很“高级”的数学工具（Choquet积分）来解决多模态融合问题。然而，其核心贡献——那个所谓的“可微分Choquet积分融合层”——更像是一场精心包装的数学体操，而非一个稳健的工程解决方案。作者声称其能“动态路由”到“被最少腐蚀”的表示，但在实验中，当模型容量足够时（完全微调），这个复杂机制的“动态性”却消失了（权重恒为0.5），这恰恰暴露了其理论动机与工程实践之间的脱节。论文在解释“为什么这样工作”时用力过猛，但在证明“它确实这样工作”以及“它比简单方法好多少”上却显乏力。实验设计上，与简单基线（如Concatenation Fusion）的缺失对比是硬伤，让人怀疑其复杂性的必要性。此外，将水下声学分类——一个明确的音频信号处理任务——包装成与“Foundation Model”相关的工作，多少有些蹭热点之嫌，其核心创新与通用基础模型的发展关联甚微。 📌 核心摘要 本文针对水下声学分类中单一表示（波形或频谱图）信息不全的问题，提出了一种参数高效的双编码器架构。该架构使用冻结的预训练模型（AVES处理波形，AST处理频谱图）作为骨干，并集成参数高效微调（PEFT）模块（如LoRA、HPT）进行领域适配。核心创新在于引入了一个基于Choquet积分的可微分决策级融合机制。该机制通过一个基于sigmoid的“软排序门控”实现，能够根据两个编码器对各类别的置信度差异，动态调整融合时对波形或频谱图特征的依赖（通过可学习的模糊测度权重）。在DeepShip和ShipsEar数据集上的实验表明，该双编码器PEFT框架在仅训练少量参数（约10万）的情况下，分类准确率优于单编码器基线，并且通过分析学习到的模糊测度和梯度显著性图，提供了一定的决策可解释性，展示了模型在不同类别上对输入表示的动态依赖。 ...

📄 SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors #参数高效微调 #低资源 #多语言 #多模态模型 7.2/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.2/10 | 前25% | #语音识别 | #参数高效微调 | #低资源 #多语言 | arxiv 👥 作者与机构 作者: Yekaterina Yegorova, Argyrios Gerogiannis, Haolong Zheng, Julia Hockenmaier, Chang D. Yoo, Mark A. Hasegawa-Johnson 机构: 1University of Illinois Urbana-Champaign, 2Korea Advanced Institute of Science and Technology （注：原文作者列表为“Argyrios Gerogiannis”，已有分析中为“Gerogiannis”，已修正。） ...

📄 Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning #参数高效微调 #语音合成 #语音识别 9.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 9.6/10 | 前25% | #语音合成 | #参数高效微调 | #语音识别 | arxiv 👥 作者与机构 Sukru Samet Dindar, Riki Shimizu, Xilin Jiang, Nima Mesgarani。单位：Columbia University。未在论文中注明具体会议或期刊，仅为arXiv预印本。 💡 毒舌点评 论文提出的框架在理念上清晰且有实际意义，试图解决语音助手缺乏情感适应性的痛点。其模块化接口的设计思路值得肯定，为整合多模态情感信号提供了灵活方案。然而，论文的“主要贡献”中，声称构建了“首个”用于情感条件语音对话的合成数据集，这一说法可能需要更严谨的文献调研来支撑，因为近期类似工作（如BLSP-Emo的配套数据构建）已在该方向上有所探索。此外，所有实验均基于合成数据构建、合成数据训练、合成语音评估的闭环，虽然论文提供了真实语音的评估，但核心结论的普适性仍需在更复杂、更真实的交互场景中得到验证。方法部分对连续VA控制信号的“连续性”优势有所强调，但消融实验仅展示了对锚点加噪的鲁棒性，未能充分展示在连续空间内插值或外推时的生成行为变化，对于“连续”这一核心主张的验证略显不足。 📌 核心摘要 本文提出了Sympatheia，一个情感自适应语音对话框架，旨在解决日常对话中情感线索微弱或模糊的挑战。该框架结合了从用户语音中隐式推断情感，以及通过连续效价-唤醒度（VA）控制信号进行显式情感调节的能力。VA信号可来自外部多模态感知模块（如面部表情、生物信号、文本描述）或用户界面。为训练模型，作者构建并开源了Sympatheia-18k数据集，包含约18,000个情感条件合成语音对话对，分为情感子集（约12k样本）和中性子集（500个中性查询各对应12种情感响应）。模型基于GLM-4-Voice-9B，通过LoRA进行微调。实验表明，Sympatheia在情感适配度、情感MOS及韵律控制等方面优于多个强语音对话基线。论文还证明了其模块化接口能有效集成多种外部情感感知模块的输出，提升在用户语音情感模糊时的响应对齐度。 🔗 开源详情 代码：https://github.com/susameddin/sympatheia （Apache 2.0） 模型权重：https://huggingface.co/susameddin/Sympatheia （Apache 2.0，与GLM-4-Voice基础模型许可绑定） 数据集：Sympatheia-18k， https://huggingface.co/datasets/susameddin/Sympatheia-18k （CC BY 4.0） Demo：https://susameddin.github.io/sympatheia/ 复现材料：论文提供了极其详细的复现信息，包括： 训练配置：LoRA参数（rank 32, \(\alpha\)=32, dropout 0.1），优化器（AdamW, \(\beta_1\)=0.9, \(\beta_2\)=0.999），学习率（\(10^{-4}\)），批大小（16），训练轮次（5 epochs），检查点选择（基于验证损失和人工检查，步数2800）。 数据集创建细节：提供了用于生成查询和响应的完整提示模板（表5，表6，表7），以及情感风格控制策略。 VA锚点坐标：表4列出了12个情感锚点的具体VA坐标。 评估协议：提供了LLM评判官的提示模板（表8，表9）和人类评估的详细方案。 计算资源：描述了训练和评估所用的GPU类型及时间估计。 论文中引用的开源项目： 基础模型：GLM-4-Voice-9B, Qwen3-32B-Instruct, Qwen3-TTS, Qwen3-Omni, Qwen2.5-Omni, Kimi-Audio 评估基线与数据集：VoiceBench CommonEval, AffectNet+, SEED-VII, YAAD, ISEAR 工具模型：HSEmotion, Emotion English DistilRoBERTa-base, all-MiniLM-L6-v2, UTMOS, BERTScore, ROUGE-L, LoRA (PEFT), DeepSpeed ZeRO 许可证与使用条款：论文明确列出了所有外部资产（表20）的许可证或访问条款，并声明仅用于研究目的。 🏗️ 方法概述和架构 Sympatheia框架是一个端到端的语音到语音对话系统，其核心目标是生成语义合适且情感对齐的语音响应。系统由两大部分组成：(1) Sympatheia核心语音对话模型；(2) 可插拔的上游情感感知模块。二者通过一个简洁的连续效价-唤醒度（VA）接口解耦。 ...