提示学习

📄 FoeGlass: Simple In-Context Learning Is Enough for Red Teaming Audio Deepfake Detectors #语音伪造检测 #大语言模型 #语音合成 #提示学习 #模型评估 6.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | #语音伪造检测 | #大语言模型 | #语音合成 #提示学习 | arxiv 👥 作者与机构 第一作者：Sepehr Dehdashtian（Michigan State University） 通讯作者：Sepehr Dehdashtian（Michigan State University） 作者列表：Sepehr Dehdashtian（Michigan State University）、Jacob H. Seidman（Reality Defender）、Vishnu Naresh Boddeti（Michigan State University）、Gaurav Bharaj（Reality Defender） 💡 毒舌点评 本文首次将LLM的上下文学习用于音频深度伪造检测器的黑盒自动化红队，多样性反馈机制设计巧妙，显著提升了攻击多样性与成功率。然而，方法对超参数敏感且未在真实商业检测器上验证，开源代码缺失严重削弱了其实用说服力与可复现性。 ...

📄 Zero-Shot Rankability: Revealing Latent Ordinal Structure in Multimodal Large Language Models via Language #音视频理解 #提示学习 #多模态模型 #大语言模型 6.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.8/10 | 前50% | #音视频理解 | #提示学习 | #多模态模型 #大语言模型 | arxiv 👥 作者与机构 第一作者：Nam Hyeon-Woo（POSTECH，电气工程系） 通讯作者：Tae-Hyun Oh（KAIST，计算机学院） 作者列表：Nam Hyeon-Woo（POSTECH，电气工程系）、Moon Ye-Bin（POSTECH，电气工程系）、Sohwi Lim（KAIST，计算机工程学院）、Kwon Byung-Ki（POSTECH，人工智能研究生院）、Tae-Hyun Oh（KAIST，计算机学院） 💡 毒舌点评 亮点在于将“排序性”概念系统性地扩展到多模态大模型（MLLM）空间，并通过条件嵌入与模态间隙两个可验证的机制清晰解释了VLM与MLLM之间显著的零样本性能差距。短板亦很刺眼：所有核心属性（年龄、人群计数）均为视觉任务，音频部分仅作为“泛化验证”匆匆带过，对语音/音频领域的直接贡献极为薄弱，One-sentence 的“zero-shot rankability”对于泛化性缺乏深入讨论；此外，所有结果基于固定prompt搜索且未给出统计显著性检验，结论的泛化稳健性存疑。方法本质上是对已知技巧（反义词差向量、logit lens）的包装，洞见深度有限。 ...

📄 ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization in Audio-Language Models #音频分类 #提示学习 #参数高效微调 7.1/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.1/10 | 前50% | #音频分类 | #提示学习 | #参数高效微调 | arxiv 👥 作者与机构 作者：Asif Hanif, Mohammad Yaqub 机构：Mohamed Bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE 💡 毒舌点评 这篇论文解决的是一个实际且重要的问题：提示学习在提升基类性能的同时，损害了音频语言模型对新类的零样本泛化能力。作者观察到的现象（如图1和表1所示）具有说服力，提出的ZEBRA方法作为一种“即插即用”的框架，思路直观且有效。其核心在于“锚定”预训练表示空间并抑制过拟合，这是合理的。 ...

语音/音乐/音频论文速递 2026-07-01 共分析 35 篇论文 ⚡ 今日概览 📥 抓取 35 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 8篇 ████████ #语音合成 7篇 ███████ #自监督学习 2篇 ██ #音频分类 2篇 ██ #生成模型 2篇 ██ #语音情感识别 2篇 ██ #数据集 1篇 █ #知识蒸馏 1篇 █ 📊 论文评分排行榜（35 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Dilemmadata: On the Interoperability of Heterogeneous R 10.0分 前50% #数据集 🥈 SwiftAudio: Data-Efficient Caption-Only Distillation fo 10.0分 前50% #知识蒸馏 🥉 Attacking UTMOS: Probing the Robustness of a Speech Qua 8.6分 前25% #语音质量评估 4. Enhancing BEST-RQ Pseudo-Label Quality through Online R 8.6分 前50% #语音识别 5. Linguistic Bias Mitigation for Spoofing Detection via G 8.6分 前25% #自监督学习 6. Building an ASR Solution for Training and Assessing Chi 8.5分 前50% #语音识别 7. Beyond Cross-Reconstruction: Probing-Based Disentanglem 8.1分 前50% #语音编码 8. MuseBench: Benchmarking Intent-Level Audiovisual Arts U 7.9分 前50% #语音合成 9. Detecting Audio Deepfakes on the Edge:Lightweight SSL-B 7.7分 前25% - 10. Beyond Binary Instrument QA: Probing Instrument Groundi 7.6分 前25% #音频分类 11. SyncCache: Exploiting Asymmetric Dynamics for Fast Audi 7.5分 前25% #语音合成 12. Probing-Guided Layer Selection from Self-Supervised Spe 7.5分 前25% #集成学习 13. A First Exploration of Neuromorphic OT-CFM for Multi-Sp 7.5分 前25% #生成模型 14. LuxEmo: Expressive Text-to-Speech Corpus for Luxembourg 7.5分 前25% #语音合成 15. A Fair and Transparent Framework for Speech-Based Depre 7.4分 前50% #语音情感识别 16. ALM2Vec: Learning Audio Embeddings for Universal Audio 7.4分 前50% #音频检索 17. ASR-Agnostic Multimodal Spectrotemporal Modeling for Ea 7.4分 前50% #多模态模型 18. UniSAE: Unified Speech Attribute Editing on Speaker, Em 7.3分 前50% #语音合成 19. Tone-Conditioned Curriculum Learning for Low-Resource B 7.3分 前50% #语音识别 20. What Counts as an Error? Dual-Reference Benchmarking fo 7.3分 前50% #语音识别 21. Is Natural Always Appropriate? Investigating Naturalnes 7.2分 前25% #语音合成 22. FlexiSLM: A Dynamic and Controllable Frame Rate Spoken 7.2分 前25% #语音合成 23. ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning fo 7.1分 前50% #音频分类 24. Preserving Speech-to-Text LLM Capabilities in Speech-to 7.0分 前50% #语音识别 25. Listening Between the Lines: Joint Learning of ASR Embe 7.0分 前50% #数据增强 26. BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Appro 6.9分 前50% #语音识别 27. Improving multichannel speech enhancement through accur 6.8分 前50% #语音增强 28. Amplifying Membership Signal Through Chained Regenerati 6.6分 前50% #生成模型 29. AVTok: 1D Unified Tokenization for Holistic Audio-Video 6.5分 前25% #语音合成 30. LOPA: Enhancing Spoken Language Assessment via Latent O 6.2分 前50% #低资源 31. Adapting Foundation ASR Models to Dysarthric Speech: A 6.2分 前50% #语音识别 32. How Bilingual Are SSL Speech Models? Cross-Lingual Prob 5.8分 前50% #自监督学习 33. Gated Multi-Graph Fusion via Graph Attention Networks f 5.2分 后50% #语音情感识别 34. Building a Multimodal Dataset of Academic Paper for Key 5.2分 后50% #语音识别 35. Reference-Based Prosody and Rhythm Evaluation for Spoke 4.7分 后50% #语音对话系统 📋 论文列表 🥇 Dilemmadata: On the Interoperability of Heterogeneous Roman Numeral Datasets 10.0/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models #音频分类 #提示学习 #多模态模型 8.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.3/10 | 前50% | #音频分类 | #参数高效微调 | #提示学习 #多模态模型 | arxiv 👥 作者与机构 Hyebin Cho, Jaehyuk Jang, Changick Kim, Joon Son Chung Korea Advanced Institute of Science and Technology, South Korea ...

📄 Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition #语音识别 #提示学习 #低资源 #参数高效微调 6.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.8/10 | 前50% | #语音识别 | #提示学习 | #低资源 #参数高效微调 | arxiv 👥 作者与机构 作者列表（按论文顺序）： Chengxi Deng, Xurong Xie, Shujie Hu, Mengzhe Geng, Tianzi Wang, Youjun Chen, Huimeng Wang, Haoning Xu, Jiajun Deng, Xunying Liu 机构： ...

📄 Ontology Memory-Augmented ASR Correction for Long Text-Speech Interleaved Conversations #提示学习 #大语言模型 9.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 9.6/10 | 前25% | #语音识别 | #提示学习 | #大语言模型 | arxiv 👥 作者与机构 作者：Xinxin Li, Huiyao Chen, Meishan Zhang, Yunxin Li, Zulong Chen, Zhibo Ren, Xiaoqing Dong, Baotian Hu, Min Zhang 机构： 哈尔滨工业大学（深圳）计算与智能研究所 深圳环岛研究院 💡 毒舌点评 这篇论文的出发点不错，将“本体”和“记忆”这两个概念塞进ASR后纠正任务里，试图解决长上下文对话中信息稀疏和噪声干扰的问题。想法算是有点新意，但读下来总觉得哪里差点意思。方法上，所谓的“本体工作记忆”本质上是个动态更新的实体/术语库加检索，没什么理论深度。最让人困惑的是，论文声称提出一个“框架”，但很多关键组件（如本体提取器 E_ϕ、检索器 Retrieve_η）的实现细节完全黑箱，就用个“实现无关”一笔带过，这到底是框架还是个实验性pipeline？实验部分倒是铺得挺开，用了不少模型，但Baseline的选择有点迷惑。那个用Gemma-4-26B做的“Full-History”baseline，直接把所有历史文本塞给模型，这不就等于验证了“塞太长上下文对LLM也没用”这个大家都知道的结论吗？这对验证你本体记忆的有效性有什么帮助？最实在的贡献可能还是那个RAMC-Corr数据集，流程说得很细，是个不错的评测基准。总而言之，想法可取，工程实现有待商榷，论证不够严密，像一篇做了很多实验但没想透彻的早期工作。 ...

语音/音乐/音频论文速递 2026-06-12 共分析 27 篇论文 ⚡ 今日概览 📥 抓取 27 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 6篇 ██████ #语音识别 4篇 ████ #音频分类 2篇 ██ #语音翻译 2篇 ██ #语音增强 2篇 ██ #音频生成 1篇 █ #多模态模型 1篇 █ #说话人识别 1篇 █ 📊 论文评分排行榜（27 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Self-Guidance: Enhancing Neural Codecs via Decoder Mani 9.7分 前25% #语音合成 🥈 Ontology Memory-Augmented ASR Correction for Long Text- 9.6分 前25% #语音识别 🥉 Emo-LiPO: Listwise Preference Optimization for Fine-Gra 9.3分 前50% #语音合成 4. AudioX-Turbo: A Unified Framework for Efficient Anythin 9.0分 前10% #音频生成 5. M*: A Modular, Extensible, Serving System for Multimoda 8.9分 前25% #多模态模型 6. Decoding Insect Song: A Multitask Semisupervised Orthop 8.7分 前50% #音频分类 7. Missing-Token Prompted Reliability-Aware Fusion for Rob 8.6分 前25% #说话人识别 8. Leveraging Audio-LLMs to Filter Speech-to-Speech Traini 8.4分 前25% #语音翻译 9. Endpoint Anticipation for Low-Latency Spoken Dialogue 8.2分 前25% #多任务学习 10. A Dual-Mode Faust-to-CLAP Compilation System 8.1分 前50% - 11. PRISM: Prosody-Integrated Multi-Agent Reasoning Framewo 8.1分 前25% #语音合成 12. Positional Encoding in the Context of Memristor-Based A 8.0分 前50% #语音识别 13. From Tokens to Faces: Investigating Discrete Speech Rep 7.9分 前25% #语音合成 14. Low-Latency Real-Time Audio Game Commentary System via 7.9分 前25% #语音合成 15. MiniMax Sparse Attention 7.7分 前25% #高效推理 16. BASENet: Band-Adapted Speech Enhancement Network with C 7.5分 前50% #语音增强 17. Dolph2Vec: Self-Supervised Representations of Dolphin V 7.2分 前50% #音频分类 18. Balancing ASR and diarization in end-to-end LLMs for mu 7.1分 前50% #语音识别 19. NaturalFlow: Reducing Disruptive Pauses for Natural Spe 7.0分 前50% #语音翻译 20. Adaptive Turn-Taking for Real-time Multi-Party Voice Ag 6.7分 后50% #数据增强 21. Predicting Cognitive Load from Speech and Interaction D 6.7分 前50% #语音情感识别 22. PiDA: Phonetically-Informed Data Augmentation for Robus 6.5分 前50% - 23. Generating Training Targets for Real-World Speech Enhan 6.4分 前50% #语音增强 24. Towards Personalized Federated Learning for Dysarthric 6.2分 前50% #语音识别 25. The Moving Drone: Negotiating Agency Between the Voice 6.0分 前50% - 26. Generative Modeling of Bach-Style Symbolic Music: A Com 5.7分 前50% #音乐生成 27. Vocal Identity Under Siege by AI Voice Cloning Technolo 3.2分 前50% #语音合成 📋 论文列表 🥇 Self-Guidance: Enhancing Neural Codecs via Decoder Manifold Alignment 9.7/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.4/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ...

📄 Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition #语音情感识别 #提示学习 #多模态模型 #参数高效微调 #迁移学习 7.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.8/10 | 前50% | #语音情感识别 | #提示学习 | #多模态模型 #参数高效微调 | arxiv 👥 作者与机构 Iosif Tsangko (1, 2), Andreas Triantafyllopoulos (1, 2), Björn W. Schuller (1, 2, 3, 4) （注：机构详情未在论文正文中明确列出，脚注显示了项目资助信息） ...

📄 MixFake: Benchmarking and Enhancing Audio Deepfake Detection in Diverse Real-world Mixed Audio #音频深度伪造检测 #自监督学习 #提示学习 #数据集 🔥 10/10 | 前10% | #音频深度伪造检测 | #多流提示调优 | #自监督学习 #提示学习 | arxiv 学术质量 6.9/7 | 影响力 2/2 | 可复现性 2/2 | 置信度 high 👥 作者与机构 Qingcao Li: 浙江大学，未明确标注单位，但为共同第一作者 Yipeng Lin: 未明确标注单位 Weichen Lian: 未明确标注单位 Zhongjie Ba: 未明确标注单位 Peng Cheng: 浙江大学（通讯作者），中国科学院信息工程研究所 Zhichao Lian: 未明确标注单位 💡 毒舌点评 本文档定位清晰，旨在填补音频深度伪造检测在真实混合声源场景下的评估空白，工作扎实。MixFake数据集的构建方法（解耦式混合）和任务定义（前景/背景检测）是主要贡献。然而，所谓的“Multi-stream Prompt Tuning”方法虽能提升性能，但创新性有限，更像是一种工程化的特征增强技巧。将希尔伯特-黄变换（HHT）和Teager-Kaiser能量算子（TKEO）这些经典信号处理工具作为“提示”注入SSL模型，思路有趣，但论文对“为什么这些特定先验在此有效”的机制解释流于表面，缺乏更深层的分析。消融实验表IV和表V内容完全重复，这是一个明显的排版或逻辑错误，削弱了论证的严谨性。总体而言，这是一篇合格的应用型论文，数据集有价值，方法有效，但距离顶会要求的理论或方法上的重大突破尚有距离。 📌 核心摘要 研究背景与问题： 音频深度伪造检测在复杂、混合声源的真实场景中面临挑战。现有基于自监督学习（SSL）的模型因其“语义中心”特性，在处理缺乏语言信息的背景音乐或环境声时性能严重下降。标准数据集（如ASVspoof）多为干净语音，无法模拟这一现实挑战。 核心方法与数据集： 本文首先提出了MixFake，一个大规模基准数据集，用于系统评估混合声源（语音前景+音乐/环境声背景）和不同信噪比（SNR）下的伪造检测。为解决“语义中心”局限，提出了多流提示调优（Multi-stream Prompt Tuning）框架。该框架在冻结的SSL骨干网络（XLS-R）每一层注入三种可学习提示流：基础流（Base Stream）提供基础可学习参考；频率流（Frequency Stream）通过希尔伯特-黄变换（HHT）提取多尺度瞬时频率特征，注入相位和频率异常信息；纹理流（Texture Stream）利用Teager-Kaiser能量算子（TKEO）和特征通量（Feature Flux）提取能量波动特征，并通过门控机制融合。这些信号级先验与SSL语义特征结合，增强了模型对非语义成分伪造伪影的捕捉能力。 主要结果： 在MixFake数据集上，所提方法在前景语音检测任务中达到0.95% EER，在更困难的背景音频检测任务中达到12.40% EER，相比基线方法（如XLSR-AASIST）有显著提升（背景检测绝对改进达7.72%）。在跨数据集（In-the-wild）评估中，也表现出更好的泛化性（6.24% EER）。 结论与意义： MixFake数据集为混合音频伪造检测提供了首个系统化评估基准。所提出的多流框架通过融合经典信号处理先验，有效弥补了SSL模型在处理非语义音频成分上的不足，为复杂场景下的深度伪造检测提供了新思路。 ...