参数高效微调

语音/音乐/音频论文速递 2026-07-14 共分析 53 篇论文 ⚡ 今日概览 📥 抓取 53 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 5篇 █████ #音乐生成 5篇 █████ #音频理解 5篇 █████ #音频生成 4篇 ████ #多模态模型 3篇 ███ #语音伪造检测 3篇 ███ #语音分离 3篇 ███ #语音质量评估 3篇 ███ 📊 论文评分排行榜（53 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 Simple Features and Honest Calibration for Ambivalence 9.0分 前10% 系统技术报告 #模型集成 🥈 PC-Mix: Partial-Component Audio Spoofing Detection unde 8.9分 前25% 数据集与基准 #音频伪造检测 🥉 BeatEdit: Symbolic Music Generation as Explicit Editing 8.9分 前25% 方法研究 #音乐生成 4. CHARM: Charge Calibration and Acoustic Rescue for LLM-b 8.8分 前25% 方法研究 #提示学习 5. FdAudio: MeanFlow-Anchored Fréchet-Distance Post-Traini 8.6分 前25% 方法研究 #音频生成 6. Evaluating SSL and ViViT Architectures for Cross-Corpus 8.3分 前25% 系统技术报告 #语音质量评估 7. ECHOv2: Two-Level Band-Splitting Representation Learnin 8.2分 前25% 方法研究 #音频事件检测 8. GigaAM Multilingual: Foundation Model for Underrepresen 8.1分 前25% 系统技术报告 #语音识别 9. Evidence Subspace Projection: Measuring How Much Eviden 8.1分 前25% 方法研究 #语音伪造检测 10. VoxENES 2026: Benchmarking Generalization of Speech Spo 8.1分 前25% 数据集与基准 #语音伪造检测 11. WaveNet-Style Guitar Amplifier Model Pruning for Real-T 8.0分 前25% 系统技术报告 #音频生成 12. TabPFN beyond Tabular Data: Calibration and Accuracy on 7.9分 前25% 应用研究 #音频分类 13. ARIMA: Reconstruction-Grounded Predictive Representatio 7.7分 前25% 方法研究 #自监督学习 14. Qwen-Audio-VAE Technical Report 7.7分 前25% 系统技术报告 #音频编码 15. Local Multimodal Music Alignment from Global Supervisio 7.6分 前25% 方法研究 #对比学习 16. MeloBottleneck: Self-Supervised Melody Skeleton Extract 7.5分 前25% 方法研究 #音乐理解 17. Dance to Music Generation leveraging Pre-training with 7.5分 前25% 方法研究 #音乐生成 18. GigaChat Audio: Time-aware Large Audio Language Model 7.4分 前50% 系统技术报告 #音频理解 19. Difference-Driven Gating: Adaptive Feature Fusion for U 7.4分 前50% 方法研究 #语音分离 20. BackgroundMellow: A Multi-Modal Cohesive Framework for 7.4分 前50% 系统技术报告 #音频生成 21. Qwen-Music Technical Report 7.4分 前50% 系统技术报告 #音乐生成 22. CoFi-Lite: Pushing the Limits of Ultra-Lightweight Spee 7.3分 前50% 方法研究 #语音增强 23. MusicMark: A Robust Generative Watermarking Framework f 7.3分 前50% 方法研究 #音频水印 24. Unified Gradient Projection: Language-Balanced Continua 7.2分 前50% 方法研究 #语音识别 25. Data Augmentation for L2 English Speaking Assessment us 7.0分 前50% 方法研究 #语音质量评估 26. A Production-Oriented Framework for Evaluation of SFX G 6.9分 前50% 系统技术报告 #音频生成 27. Learn2Chat: Rethinking Dyadic Talking Heads via Interac 6.8分 前50% 方法研究 #音视频生成 28. Tight-Frame Reconstruction for Acoustic Intensity Estim 6.8分 前50% 理论研究 #声源定位 29. The SonicAGI System for the REAL-TSE Challenge 6.8分 前50% 系统技术报告 #语音分离 30. Anysynth:Zero-Shot Instrument Cloning via In-Context Le 6.8分 前50% 方法研究 #音乐生成 31. Where Speech Enhancement Hurts Recognition: An Inferenc 6.7分 前50% 方法研究 #语音识别 32. Teaching Speech Enhancement Models to Sing: Domain Adap 6.7分 前50% 方法研究 #音乐源分离 33. What You Train Is What You Get: Gender Bias, Training C 6.6分 前50% 应用研究 #语音伪造检测 34. Listen to the Features: Voice Anonymization Driven by C 6.5分 前50% 方法研究 #语音克隆 35. Efficiently Adapting Spoken Language Models for the Sin 6.5分 前50% 系统技术报告 #语音交互 36. Which Languages Transfer Best to Warlpiri? A Similarity 6.5分 前50% 应用研究 #语音识别 37. Encoder-Side Neuron Identification and Amplification fo 6.4分 前50% 方法研究 #音频理解 38. Breaking the Quality–Intelligibility Trade-off in Stre 6.3分 前50% 方法研究 #语音分离 39. An Objective Intelligibility Metric Evaluation on Spani 6.2分 前50% 数据集与基准 #语音质量评估 40. Hearing Like Humans? Sound Symbolism and Perceptual Ali 6.1分 前50% 方法研究 #多模态模型 41. Anamnesis: An Open-Source Platform for Large-Scale Back 6.1分 前50% 系统技术报告 #提示学习 42. LOGOS: A Living Logic for AI Agent Teams That Evolve Wi 6.1分 前50% 系统技术报告 #多模态模型 43. Verifier-Guided Twelve-Tone Composition: A Generate-Ver 6.0分 前50% 系统技术报告 #音乐生成 44. MRUF: Multi-granularity Routing with Uncertainty-Aware 5.9分 前50% 方法研究 #多模态模型 45. Omni-Decision: A Progressive Evidence-State Agent Syste 5.9分 前50% 系统技术报告 #音频理解 46. Graph Representation of RaagBase: A Unique Dataset for 5.7分 前50% 数据集与基准 #音乐理解 47. Synchronized Three-Dimensional Vocal-Tract Motion for S 5.7分 前50% 系统技术报告 #语音合成 48. LightMem-Ego: Your AI Memory for Everyday Life 5.6分 前50% 系统技术报告 #流式处理 49. Casting Everything to Online API Services? A Survey of 5.4分 后50% 综述 #语音识别 50. A Closed-Form Noise-Sensitivity Asymmetry for Causal Br 5.3分 后50% 理论研究 #音频理解 51. Semantic Sampling via Learnable Observation Front Ends 5.1分 后50% 方法研究 #音频理解 52. Transcript-Free Lightweight Detection of Alzheimer’s Di 4.9分 后50% 方法研究 #语音属性识别 53. Perceived Annoyance in Multi-source Electric Vehicle AV 3.5分 后50% 应用研究 #音频质量评估 📋 论文列表 🥇 Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video 9.0/10 | 创新 1.2/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 Dual-BEATs: Unlocking Zero-Shot Stereo Audio Perception in Audio Large Language Models via Dithering 标签：#Transformer #多模态模型 #空间音频 #音频大模型 #参数高效微调 7.1/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #多模态模型 | #Transformer | #空间音频 #音频大模型 | arxiv 👥 作者与机构 第一作者：Shuo-Chun Lin（中央研究院信息科学研究所，台湾） 通讯作者：Hen-Hsen Huang（中央研究院信息科学研究所，台湾） 作者列表：Shuo-Chun Lin（中央研究院信息科学研究所，台湾）、Hen-Hsen Huang（中央研究院信息科学研究所，台湾） 💡 毒舌点评 论文提出“抖动噪声作为随机共振桥”来绕过大语言模型标准化层对立体声音频几何信息的压缩，想法新颖，实验在合成数据上的结果也确实令人印象深刻。然而，整个工作建立在极其简化的声像定位场景（单音源、无HRTF、仅振幅差异）之上，其声称的“零样本泛化”也仅限于振幅的不同值，距离解决真实世界的空间音频理解问题还有相当距离，更像是一篇方法验证的原理证明。 ...

📄 Optimal Transport-based Semantic Alignment for LLM-based Audio-Visual Speech Recognition 标签：#音视频语音识别 #对比学习 #语音识别 #参数高效微调 #音频理解 6.9/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.9/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频语音识别 | #对比学习 | #语音识别 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Xugang Lu（日本产业技术综合研究所，AIST） 通讯作者：未说明 作者列表：Xugang Lu（AIST）、Peng Shen（AIST）、Yu Tsao（AIST）、Hisashi Kawai（AIST） 💡 毒舌点评 本文将最优传输（OT）引入LLM-AVSR进行语义对齐，思路有一定新意，并在LRS3-TED上取得了SOTA成绩，证明了其有效性。然而，该方法将成熟的OT数学工具迁移到特定任务中，创新程度属于中上。其最大硬伤在于多个核心超参数（如虚拟桶相似度边距、OT正则化系数、对齐损失权重、温度）的选择完全依赖经验网格搜索，缺乏系统的敏感性分析或理论指导，暴露了方法对调参的敏感性和工程上的粗糙，也使得论文的“可复现性”和“技术严谨性”大打折扣。 📌 核心摘要 本文解决基于大语言模型（LLM）的音视频语音识别（LLM-AVSR）中，音频、视觉模态与LLM语言嵌入空间存在表示差异，导致跨模态融合效果受限的问题。论文提出了一种基于最优传输（OT）的语义对齐框架，在多模态融合前，通过OT将音频和视觉编码器的输出与LLM的文本嵌入进行对齐。与直接融合投影特征的方法相比，其创新在于使用OT耦合矩阵作为软伪标签来监督对比学习，显式地桥接模态差距。主要实验结果表明，在LRS3-TED基准上，该方法在多种信噪比（SNR）下均优于LLaMA-AVSR、MMS-LLaMA等基线，取得了SOTA性能。实际意义在于为提升LLM-AVSR的鲁棒性提供了一个有效的特征对齐框架。主要局限性在于所涉及的多个超参数的选择完全依赖经验，缺乏系统的消融和理论分析，且实验仅在单一数据集上进行。 ...

语音/音乐/音频论文速递 2026-07-13 共分析 14 篇论文 ⚡ 今日概览 📥 抓取 14 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 2篇 ██ #语音合成 2篇 ██ #音乐生成 2篇 ██ #音视频理解 2篇 ██ #音频理解 1篇 █ #多模态模型 1篇 █ #音视频语音识别 1篇 █ #语音分离 1篇 █ 📊 论文评分排行榜（14 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 Tokenizer Transplantation: Mitigating Autoregressive Co 8.8分 前25% 方法研究 #语音识别 🥈 Phone Segmentation and Recognition through Phonological 7.7分 前25% 方法研究 #语音识别 🥉 FreyaTTS Technical Report 7.7分 前25% 系统技术报告 #语音合成 4. ReGen: Hierarchical Multi-Prompt Representation Generat 7.5分 前25% 方法研究 #语音合成 5. Clean2FX: Label-conditioned modeling for clean-to-effec 7.3分 前50% 系统技术报告 #音频理解 6. Event-Based Token Sequences for Audio-Conditioned Music 7.2分 前50% 方法研究 #音乐生成 7. Dual-BEATs: Unlocking Zero-Shot Stereo Audio Perception 7.1分 前50% 方法研究 #多模态模型 8. Optimal Transport-based Semantic Alignment for LLM-base 6.9分 前50% 方法研究 #音视频语音识别 9. Technical Report for MERL’s Real-TSE Challenge Submissi 6.6分 前50% 系统技术报告 #语音分离 10. SVF-CR: Synchronized Visual-Facial Cross-Refinement for 6.4分 前50% 方法研究 #音视频理解 11. Beyond Time Shifts: Adapting Omni-LLM as a Reference-Fr 6.0分 前50% 方法研究 #音视频理解 12. Wan-Dancer: A Hierarchical Framework for Minute-scale C 5.6分 前50% 方法研究 #音乐生成 13. Tonnetz-Driven Graph Wedgelet for Harmonic Complexity R 5.3分 后50% 方法研究 #音乐理解 14. Immersive Social Interaction with VR and LLM-Assisted H 4.7分 后50% 系统技术报告 #语音交互 📋 论文列表 🥇 Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR 8.8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 ...

📄 A Quantized Native Runtime for On-Device Semantic Audio Generation 标签：#音乐生成 #参数高效微调 7.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.5/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #音乐生成 | #参数高效微调 | arxiv 👥 作者与机构 第一作者：Matteo Spanio（机构未明确说明） 通讯作者：未说明 作者列表：Matteo Spanio（机构未明确说明）、Antonio Rodà（机构未明确说明） 资助信息：European Union - NextGenerationEU，PNRR资助 💡 毒舌点评 这篇论文的核心价值在于其务实的工程洞察：将Stable Audio 3从Python/PyTorch依赖中完全剥离，用约7.7k行纯C/CUDA代码实现一个无任何第三方依赖的可独立运行推理引擎。它精心设计的"替换而非增加"量化策略和以fp16自身种子变异性为基线的质量评估框架，比许多声称"无损压缩"的论文更严谨。然而，论文在技术细节披露上显得"吝啬"——CUDA内核实现、文本编码器的具体C实现、权重格式转换流程等关键技术完全黑箱化，严重削弱了可复现性和学术参考价值。激活引导的评估虽然设计了严格的多预言机协议，但缺乏人类听感验证，且仅在少数味觉属性上存在狭窄的有效控制窗口，使得该项贡献的实际应用价值有限。 📌 核心摘要 要解决什么问题：当前先进的文本生成音乐模型（如Stable Audio 3）严重依赖Python和PyTorch等深度学习框架，导致冷启动慢（11–22秒）、内存占用大（2.3–5.9GB VRAM）、部署复杂，难以在边缘设备（如Raspberry Pi 5， 8GB内存）或资源受限的GPU上作为常驻本地服务运行。论文关注的核心系统问题是：部署成本中，多少属于模型本身，多少属于框架开销？ ...

📄 COALA: Robust Contextualized Speech-augmented Language Modeling for ASR via Contrastive Regularizer and Biasing Score Estimation 标签：#语音识别 #对比学习 #参数高效微调 #鲁棒性 #音频理解 8.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 🔥 8.2/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #语音识别 | #对比学习 | #参数高效微调 #鲁棒性 | arxiv 👥 作者与机构 第一作者：Jhih-Rong Guo（台湾师范大学） 通讯作者：未说明（论文中所有作者邮箱均列出，未明确标注通讯作者） 作者列表：Jhih-Rong Guo（台湾师范大学）、Bi-Cheng Yan（台湾师范大学）、Tien-Hong Lo（台湾师范大学）、Berlin Chen（台湾师范大学） 💡 毒舌点评 论文的核心卖点在于识别了SLM在多实体上下文偏置场景下的“训练崩溃”问题，并通过将优化目标解耦为点式二分类（DPD-Loss）提供了一个逻辑自洽的解决方案，在可控的实验设置下效果显著。然而，其光芒被几个关键短板所掩盖：所有验证均在“干净”的朗读语音（LibriSpeech）上进行，对真实嘈杂、口语化环境下的鲁棒性存疑；偏置列表的构建方式过于理想化（仅含罕见词），与工业场景中可能包含大量无关文本或实体变体的复杂列表相去甚远；部分关键超参数（如LoRA秩、投影器维度）和训练细节缺失，损害了可复现性。这项工作更像是一篇在干净沙盒中完成的、概念验证式的“方法研究”，其宣称的“鲁棒性”和实际应用潜力需要更严苛、更多样化的实验来检验。 ...

📄 COALA: Robust Contextualized Speech-augmented Language Modeling for ASR via Contrastive Regularizer and Biasing Score Estimation 标签：#语音识别 #对比学习 #参数高效微调 #语音大模型 7.5/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7.5/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #语音识别 | #对比学习 | #参数高效微调 #语音大模型 | arxiv 👥 作者与机构 第一作者：Jhih-Rong Guo（国立台湾师范大学） 通讯作者：未说明 作者列表：Jhih-Rong Guo（国立台湾师范大学）、Bi-Cheng Yan（国立台湾师范大学）、Tien-Hong Lo（国立台湾师范大学）、Berlin Chen（国立台湾师范大学） 💡 毒舌点评 论文针对语音增强语言模型（SLM）在多实体上下文偏置场景下的梯度冲突问题，提出了MPD-Loss和DPD-Loss两种损失函数，将偏置评分重构为点对点二分类问题，在大规模偏置列表下实现了高召回率和低B-WER。然而，“零偏置"场景下的基础ASR性能（B-WER 23.39/39.49）远逊于所有对比基线（如RNN-T+IB的12.96/28.09），论文仅承认差距而未深入分析原因；所有实验仅在相对规整的LibriSpeech上进行，缺乏噪声、口音等真实场景验证；未经BTI过滤直接输入偏置列表（N=500/1000）时B-WER（20.38/35.01）劣于无偏置条件，暗示方法高度依赖阈值筛选机制，评分器本身的区分能力不足以直接支撑上下文偏置。 ...

📄 Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech 标签：#语音识别 #语音大模型 #说话人日志 #多语言 #参数高效微调 5.7/10 | 创新 1/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 📝 5.7/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音识别 | #语音大模型 | #说话人日志 #多语言 | arxiv 👥 作者与机构 第一作者：Hao Wu（上海期智研究院） 共同第一作者：RongQi Han（上海期智研究院） 通讯作者：Hao Wu（上海期智研究院） 作者列表：Hao Wu（上海期智研究院）、RongQi Han（上海期智研究院）、Zhen Wang（上海期智研究院）、Wei Liang（幂镜智能（北京）技术有限公司）、Wei Xu（上海期智研究院） 💡 毒舌点评 本文是典型的“挑战赛获胜方案技术报告”，展示了将成熟工具箱（3D-Speaker, FunASR, Wespeaker）与当前流行技术（LoRA, GRPO, 合成数据增强）进行工程集成的能力，并在MLC-SLM任务中取得了不错的成绩。然而，论文的“创新”本质上是现有技术的排列组合，缺乏方法论层面的深刻洞察。通篇更像是对一个成功工程项目的复盘记录，而非推动领域认知的研究工作。其价值在于提供了一份可操作的“配方”，但贡献的广度和深度有限，难以在顶级会议论文中脱颖而出。 ...

📄 Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech 标签：#语音识别 #说话人日志 #多语言 #参数高效微调 #强化学习 #语音大模型 #低资源 7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音识别 | #语音大模型 | #说话人日志 #多语言 | arxiv 👥 作者与机构 第一作者：Hao Wu（上海期智研究院）、RongQi Han（上海期智研究院）（论文注明二者贡献均等） 通讯作者：Hao Wu（论文中邮箱 wuhao@sqz.ac.cn 对应） 作者列表：Hao Wu（上海期智研究院）、RongQi Han（上海期智研究院）、Zhen Wang（上海期智研究院）、Wei Liang（Megatronix (Beijing) Technology Co., Ltd）、Wei Xu（上海期智研究院） 💡 毒舌点评 亮点在于对Qwen3-ASR-1.7B进行了系统、多阶段的适应（SFT+LoRA+GRPO），特别是利用TTS合成数据增强来提升低资源语言识别，工程实现完整，实验覆盖全面。短板在于创新性以工程组合为主，缺乏对单一组件（如GRPO用于ASR）的深入机理分析，且核心系统完全未开源，限制了其作为领域基准的贡献。 ...

📄 When Synthetic Speech Is All You Have: Better Call GRPO 标签：#语音识别 #强化学习 #语音合成 #参数高效微调 #低资源 7.7/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.7/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #语音识别 | #强化学习 | #语音合成 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Shashi Kumar（Idiap Research Institute, EPFL） 通讯作者：未说明 作者列表：Shashi Kumar（Idiap Research Institute, EPFL），Yanis Labrak（Idiap Research Institute），Hasindri Watawana（Idiap Research Institute, EPFL），Sergio Burdisso（Idiap Research Institute），Esaú Villatoro-Tello（Idiap Research Institute），Kadri Hacioğlu（Uniphore），Petr Motlicek（Idiap Research Institute, BUT Brno），Andreas Stolcke（Uniphore） 💡 毒舌点评 论文将NLP领域的GRPO引入纯合成语音的ASR适应，选题精准且实验设计系统，为隐私困境提供了清晰的工程解决方案。然而，研究深度受限于单一银行领域数据集和单一模型架构，结论的泛化性未经验证。机制分析虽有新意，但关于“行为修正而非表征重写”的论述略显表面，未触及更根本的理论解释。 ...