提示学习

📄 Harness TTS: Towards Context-Aware Expressive Speech Synthesis with Harness Layer 标签：#语音合成 #提示学习 #大语言模型 #语音交互 #高效推理 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 6.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #语音合成 | #提示学习 | #大语言模型 #语音交互 | arxiv 👥 作者与机构 第一作者：Shengfan Shen（所属机构：MiLM Plus, Xiaomi Inc., China 和 HNU – Hunan University，邮箱shenshengfan@hnu.edu.cn） 通讯作者：Shuai Wang（南京大学，邮箱shuaiwang@nju.edu.cn） 作者列表：Shengfan Shen（MiLM Plus, Xiaomi Inc. 和 HNU – Hunan University）、Di Wu（MiLM Plus, Xiaomi Inc.）、Xingchen Song（MiLM Plus, Xiaomi Inc.）、Dinghao Zhou（MiLM Plus, Xiaomi Inc.）、Pengyu Cheng（MiLM Plus, Xiaomi Inc.）、Sixiang Lyu（MiLM Plus, Xiaomi Inc.）、Jian Luan（MiLM Plus, Xiaomi Inc.）、Shuai Wang（南京大学）。其他作者（Di Wu 至 Jian Luan）所属机构均标注为 MiLM Plus, Xiaomi Inc., China。此外，作者列表前注明了 WeNet Open Source Community。 💡 毒舌点评 这篇论文将TTS的风格控制问题成功地简化为一个工程上可解的封闭集路由问题，并在工业界常用的TTS引擎上验证了其可行性和初步效果，工程实用价值突出。然而，其核心创新在于系统集成与问题重构，而非底层算法或模型上的突破；评估体系完全依赖教师模型生成的“真值”，且不开源任何核心组件，使得其学术贡献的可信度与可复现性大打折扣，更像是一个内部技术方案的初步报告。 ...

📄 When to Use Extra Context: Evidence-Grounded Terminology Adaptation for Simultaneous Speech Translation 标签：#语音翻译 #提示学习 #流式处理 #音频理解 #Transformer 6.7/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.7/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音翻译 | #提示学习 | #流式处理 #音频理解 | arxiv 👥 作者与机构 第一作者：Zeyu Yang（香港中文大学（深圳）） 通讯作者：Zeyu Yang（香港中文大学（深圳）） 作者列表：Zeyu Yang（香港中文大学（深圳））、Satoshi Nakamura（香港中文大学（深圳）） 💡 毒舌点评 论文的亮点在于洞察精准——将上下文收益归结于术语恢复而非通用语义增强，并且将其实现为轻量的推理时框架。shuffled-memory控制实验设计严谨，有效地验证了性能提升源于与正确证据的对齐，而非通用偏向。短板也很明显：核心组件“术语提取器”是一个闭源的大语言模型API（Qwen3-30B-Instruct），其准确性、偏差和可复现性是硬伤。验证数据集规模有限且场景高度特化（ACL技术会议），在更通用或低资源场景下的价值存疑。方法高度依赖文档级上下文质量，这限制了其适用范围。 ...

📄 Anamnesis: An Open-Source Platform for Large-Scale Backstory-Conditioned Survey Simulation 标签：#提示学习 #开源工具 #音频理解 #Transformer #模型评估 6.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 6.1/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #提示学习 | #Transformer | #开源工具 #音频理解 | arxiv 👥 作者与机构 第一作者：Song-Ze Yu（加州大学伯克利分校） 通讯作者：未说明 作者列表：Song-Ze Yu（加州大学伯克利分校）、Joseph Suh（加州大学伯克利分校）、Serina Chang（加州大学伯克利分校）、David M. Chan（加州大学伯克利分校） 💡 毒舌点评 论文成功将前沿的“叙事背景条件化”方法包装成对非技术用户友好的开源平台，工程完成度高，实用价值明确。然而，其核心科学贡献更接近于一个优秀的系统集成和工程实现，而非方法论本身的原创性突破。评估深度不足，停留在复制已有案例研究的层面，且作为平台报告，对新引入的概率匹配算法、多模态支持等关键特性缺乏深入的消融分析和量化比较，削弱了其方法论贡献的说服力。 ...

📄 CHARM: Charge Calibration and Acoustic Rescue for LLM-based Multimodal Sarcasm Detection 标签：#Transformer #提示学习 #多模态模型 #大语言模型 #零样本 8.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.8/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #提示学习 | #Transformer | #多模态模型 #大语言模型 | arxiv 👥 作者与机构 第一作者：Qiyang Sun (Imperial College London, GLAM) 通讯作者：Yi Chang (Imperial College London, GLAM), Zixing Zhang (Hunan University, Shenzhen Research Institute) 作者列表： Qiyang Sun (Imperial College London, GLAM) Yi Chang (Imperial College London, GLAM) Yupei Li (Imperial College London, GLAM) Xi Shao (Nanjing University of Posts and Telecommunications) Zixing Zhang (Hunan University, Shenzhen Research Institute) Björn W. Schuller (Imperial College London, GLAM; TUM University Hospital; relAI; MDSI; MCML) 💡 毒舌点评 论文针对LLM在零样本讽刺检测中固有的“阳性偏见”这一关键痛点，提出了“双向电荷校准”的巧妙方法，并通过“声学后融合”来弥补纯文本的不足，问题抓得准，实验设计扎实且结果显著。然而，其声称的“训练无关”框架在第二阶段（ALFR）实际上严重依赖一个在目标数据集上训练的浅层分类器，且整个推理流程（多提示、多采样、多轮LLM调用）成本高昂，与“训练无关”的轻量化初衷存在张力。 ...

📄 ProPS: Prompted Profile Synthesis for Natural Language-Conditioned Speaker Embedding Distributions #语音合成 #说话人验证 #生成模型 #提示学习 7.6/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0.8/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 7.6/10 | 前25% | #语音合成 | #生成模型 | #说话人验证 #提示学习 | arxiv 👥 作者与机构 第一作者：Thomas Thebaud（Johns Hopkins University） 通讯作者：未说明 作者列表：Thomas Thebaud、Junhyeok Lee、Laureano Moro-Velazquez、Jesus Villalba Lopez、Najim Dehak，均隶属于 Johns Hopkins University 💡 毒舌点评 亮点是用自然语言直接描述说话人特征并生成完整的x-vector分布，而非单一向量，为可控语音合成提供了更灵活的接口。短板同样明显：最关键的对比方法PromptSpeaker被优雅地留在Related Work中谈论区别，却从未出现在任何一张实验表格里，这种避实就虚的做法几乎让整个比较性论述沦为纸上谈兵；韵律属性的控制名存实亡——pitch和pace的生成准确率断崖式下跌，而tone的准确率仅靠“比真实数据还高”这点可怜的优势撑门面，这几乎让“全面描述一个说话人”的愿景成为一个残酷的玩笑。整体上，这是一个架构设计有趣、但实验验证远未闭环的中间件原型。 ...

📄 FoeGlass: Simple In-Context Learning Is Enough for Red Teaming Audio Deepfake Detectors #语音伪造检测 #大语言模型 #语音合成 #提示学习 #模型评估 6.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | #语音伪造检测 | #大语言模型 | #语音合成 #提示学习 | arxiv 👥 作者与机构 第一作者：Sepehr Dehdashtian（Michigan State University） 通讯作者：Sepehr Dehdashtian（Michigan State University） 作者列表：Sepehr Dehdashtian（Michigan State University）、Jacob H. Seidman（Reality Defender）、Vishnu Naresh Boddeti（Michigan State University）、Gaurav Bharaj（Reality Defender） 💡 毒舌点评 本文首次将LLM的上下文学习用于音频深度伪造检测器的黑盒自动化红队，多样性反馈机制设计巧妙，显著提升了攻击多样性与成功率。然而，方法对超参数敏感且未在真实商业检测器上验证，开源代码缺失严重削弱了其实用说服力与可复现性。 ...

📄 Zero-Shot Rankability: Revealing Latent Ordinal Structure in Multimodal Large Language Models via Language #音视频理解 #提示学习 #多模态模型 #大语言模型 6.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.8/10 | 前50% | #音视频理解 | #提示学习 | #多模态模型 #大语言模型 | arxiv 👥 作者与机构 第一作者：Nam Hyeon-Woo（POSTECH，电气工程系） 通讯作者：Tae-Hyun Oh（KAIST，计算机学院） 作者列表：Nam Hyeon-Woo（POSTECH，电气工程系）、Moon Ye-Bin（POSTECH，电气工程系）、Sohwi Lim（KAIST，计算机工程学院）、Kwon Byung-Ki（POSTECH，人工智能研究生院）、Tae-Hyun Oh（KAIST，计算机学院） 💡 毒舌点评 亮点在于将“排序性”概念系统性地扩展到多模态大模型（MLLM）空间，并通过条件嵌入与模态间隙两个可验证的机制清晰解释了VLM与MLLM之间显著的零样本性能差距。短板亦很刺眼：所有核心属性（年龄、人群计数）均为视觉任务，音频部分仅作为“泛化验证”匆匆带过，对语音/音频领域的直接贡献极为薄弱，One-sentence 的“zero-shot rankability”对于泛化性缺乏深入讨论；此外，所有结果基于固定prompt搜索且未给出统计显著性检验，结论的泛化稳健性存疑。方法本质上是对已知技巧（反义词差向量、logit lens）的包装，洞见深度有限。 ...

📄 ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization in Audio-Language Models #音频分类 #提示学习 #参数高效微调 7.1/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.1/10 | 前50% | #音频分类 | #提示学习 | #参数高效微调 | arxiv 👥 作者与机构 作者：Asif Hanif, Mohammad Yaqub 机构：Mohamed Bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE 💡 毒舌点评 这篇论文解决的是一个实际且重要的问题：提示学习在提升基类性能的同时，损害了音频语言模型对新类的零样本泛化能力。作者观察到的现象（如图1和表1所示）具有说服力，提出的ZEBRA方法作为一种“即插即用”的框架，思路直观且有效。其核心在于“锚定”预训练表示空间并抑制过拟合，这是合理的。 ...

语音/音乐/音频论文速递 2026-07-01 共分析 35 篇论文 ⚡ 今日概览 📥 抓取 35 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 8篇 ████████ #语音合成 7篇 ███████ #自监督学习 2篇 ██ #音频分类 2篇 ██ #生成模型 2篇 ██ #语音情感识别 2篇 ██ #数据集 1篇 █ #知识蒸馏 1篇 █ 📊 论文评分排行榜（35 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Dilemmadata: On the Interoperability of Heterogeneous R 10.0分 前50% #数据集 🥈 SwiftAudio: Data-Efficient Caption-Only Distillation fo 10.0分 前50% #知识蒸馏 🥉 Attacking UTMOS: Probing the Robustness of a Speech Qua 8.6分 前25% #语音质量评估 4. Enhancing BEST-RQ Pseudo-Label Quality through Online R 8.6分 前50% #语音识别 5. Linguistic Bias Mitigation for Spoofing Detection via G 8.6分 前25% #自监督学习 6. Building an ASR Solution for Training and Assessing Chi 8.5分 前50% #语音识别 7. Beyond Cross-Reconstruction: Probing-Based Disentanglem 8.1分 前50% #语音编码 8. MuseBench: Benchmarking Intent-Level Audiovisual Arts U 7.9分 前50% #语音合成 9. Detecting Audio Deepfakes on the Edge:Lightweight SSL-B 7.7分 前25% - 10. Beyond Binary Instrument QA: Probing Instrument Groundi 7.6分 前25% #音频分类 11. SyncCache: Exploiting Asymmetric Dynamics for Fast Audi 7.5分 前25% #语音合成 12. Probing-Guided Layer Selection from Self-Supervised Spe 7.5分 前25% #集成学习 13. A First Exploration of Neuromorphic OT-CFM for Multi-Sp 7.5分 前25% #生成模型 14. LuxEmo: Expressive Text-to-Speech Corpus for Luxembourg 7.5分 前25% #语音合成 15. A Fair and Transparent Framework for Speech-Based Depre 7.4分 前50% #语音情感识别 16. ALM2Vec: Learning Audio Embeddings for Universal Audio 7.4分 前50% #音频检索 17. ASR-Agnostic Multimodal Spectrotemporal Modeling for Ea 7.4分 前50% #多模态模型 18. UniSAE: Unified Speech Attribute Editing on Speaker, Em 7.3分 前50% #语音合成 19. Tone-Conditioned Curriculum Learning for Low-Resource B 7.3分 前50% #语音识别 20. What Counts as an Error? Dual-Reference Benchmarking fo 7.3分 前50% #语音识别 21. Is Natural Always Appropriate? Investigating Naturalnes 7.2分 前25% #语音合成 22. FlexiSLM: A Dynamic and Controllable Frame Rate Spoken 7.2分 前25% #语音合成 23. ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning fo 7.1分 前50% #音频分类 24. Preserving Speech-to-Text LLM Capabilities in Speech-to 7.0分 前50% #语音识别 25. Listening Between the Lines: Joint Learning of ASR Embe 7.0分 前50% #数据增强 26. BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Appro 6.9分 前50% #语音识别 27. Improving multichannel speech enhancement through accur 6.8分 前50% #语音增强 28. Amplifying Membership Signal Through Chained Regenerati 6.6分 前50% #生成模型 29. AVTok: 1D Unified Tokenization for Holistic Audio-Video 6.5分 前25% #语音合成 30. LOPA: Enhancing Spoken Language Assessment via Latent O 6.2分 前50% #低资源 31. Adapting Foundation ASR Models to Dysarthric Speech: A 6.2分 前50% #语音识别 32. How Bilingual Are SSL Speech Models? Cross-Lingual Prob 5.8分 前50% #自监督学习 33. Gated Multi-Graph Fusion via Graph Attention Networks f 5.2分 后50% #语音情感识别 34. Building a Multimodal Dataset of Academic Paper for Key 5.2分 后50% #语音识别 35. Reference-Based Prosody and Rhythm Evaluation for Spoke 4.7分 后50% #语音对话系统 📋 论文列表 🥇 Dilemmadata: On the Interoperability of Heterogeneous Roman Numeral Datasets 10.0/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models #音频分类 #提示学习 #多模态模型 8.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.3/10 | 前50% | #音频分类 | #参数高效微调 | #提示学习 #多模态模型 | arxiv 👥 作者与机构 Hyebin Cho, Jaehyuk Jang, Changick Kim, Joon Son Chung Korea Advanced Institute of Science and Technology, South Korea ...