对比学习

📄 FORTE: FOL-guided Optimal Refinement for Text-audio rEtrieval #参数高效微调 #对比学习 8.1/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.1/10 | 前25% | #参数高效微调 | #参数高效微调 | #对比学习 | arxiv 👥 作者与机构 作者：Arghya Pal, Sailaja Rajanala 机构：Monash University 💡 毒舌点评 这篇工作试图用一阶逻辑（FOL）给跨模态检索注入“形式化理性”，想法很有野心，像是要给充满直觉的深度学习模型戴上一副逻辑眼镜。其核心流程（FOL精炼 -> 投影对齐 -> 谓词重排）设计得相当工整，消融实验也做得扎实，证明了每一环都不是摆设。但问题在于，这副“眼镜”太重且太挑剔：FOL解析器的性能直接决定了上限，对音频本体的覆盖（642个谓词）依然有限，遇到“electrical interference”这种词就趴窝了。更关键的是，论文在展示结果时，对绝对数值的解读有些过于乐观，比如在Clotho上R@1从16.75%提到20.4%是显著进步，但离真正“解决”细粒度检索还很远。总的来说，这是一个有价值的、工程上颇为完整的尝试，展示了符号推理的潜力，但距离成为通用、鲁棒的解决方案还有明显差距。 📌 核心摘要 本文提出了FORTE（FOL-guided Optimal Refinement for Text-audio rEtrieval），一个用于改进文本到音频检索的三阶段统一框架。其核心思想是将自然语言查询转化为形式化的一阶逻辑表示，并通过结构化搜索进行精炼，以引入更具区分性的声学属性，同时保持核心语义不变。精炼后的查询通过一个轻量级投影模块与音频嵌入进行参数高效对齐，最后在推理时应用一个基于谓词重叠的重排序步骤，以进一步提升语义一致性。在AudioCaps和Clotho数据集上的实验表明，FORTE在多个骨干网络（CLAP, LAION-CLAP, Pengi）上均能带来一致的性能提升，尤其在细粒度检索场景下。 ...

📄 Learning Emotion-discriminative Representations for Zero-Shot Cross-lingual Speech Emotion Recognition #对比学习 8.1/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.1/10 | 前25% | #语音情感识别 | #对比学习 | arxiv 👥 作者与机构 作者：Jinyi Mi, Ding Ma, Tomoki Toda 机构：日本名古屋大学信息学研究生院、信息技术中心 💡 毒舌点评 论文工作扎实，像一位勤恳的工程师，把两个已知的技术（监督对比学习、对抗训练）缝合得不错，在一个定义明确的任务上取得了显著的、可复现的提升。然而，其“创新”更像是一种有效的工程整合，而非开辟新范式。作者们很聪明地避开了与顶级SOTA在资源充足场景下的硬碰硬，选择了“零样本”这个对实际应用很有吸引力但相对小众的赛道。最大风险在于其核心假设——情感概念跨语言高度一致——虽然被实验部分验证，但缺乏更深入的理论或跨文化心理学探讨，这可能会被严谨的审稿人挑战。总的来说，这是一篇很好的“系统性”工作，但离“突破性”还有距离。 📌 核心摘要 本文针对零样本跨语言语音情感识别（SER）任务，提出了一种结合监督对比学习和说话人对抗学习的情感判别性表示学习框架。该方法旨在仅使用源语言和部分辅助语言（非目标语言）的标注数据，学习跨语言对齐且说话人不变的情感表示，从而在无目标语言标注数据的场景下提升泛化性能。基于预训练的wav2vec 2.0特征提取器，模型通过联合优化情感分类损失、带有语言感知权重的监督对比损失以及说话人对抗损失进行训练。在九种不同的零样本跨语言设置（涉及英语、普通话、德语、法语、乌尔都语）上的实验表明，所提方法在平均UAR和F1指标上显著优于所有基线方法（相对提升9.05%和9.38%），并接近使用目标语言数据训练的性能上界。消融研究证实了监督对比学习和说话人对抗学习各自的有效性。t-SNE可视化进一步展示了该方法能够学习到情感类别聚类更清晰、跨语言对齐更好的表示空间。 🔗 开源详情 代码：论文中未提及官方代码仓库或开源链接。 模型权重：未提供训练后的模型权重下载链接。论文中使用的预训练wav2vec 2.0模型为公开模型，例如： 英语：facebook/wav2vec2-base-960h 普通话：TencentGameMate/chinese-wav2vec2-base 德语：facebook/wav2vec2-base-de-voxpopuli-v2 法语：facebook/wav2vec2-base-fr-voxpopuli 数据集：论文详细描述了实验使用的5个数据集（MELD, ESD, EMO-DB, CaFE, URDU），但未提供直接下载链接。数据集的详情和获取方式需参考论文中引用的原始文献或项目页面。 复现材料：论文详细描述了实验设置（超参数、采样策略等），但未提供训练脚本、配置文件、数据预处理代码或模型检查点。 论文中引用的开源项目/工具： wav2vec 2.0：核心特征提取器。项目：wav2vec 2.0。 WavLM：在引言中作为其他SSL模型提及。论文：WavLM。 LoRA (Low-Rank Adaptation)：用于微调的方法之一。论文：LoRA。 Parameter-Efficient Fine-Tuning：论文提及了Bottleneck Adaptor和Weight Gating作为其他微调方法，但未提供具体链接。 t-SNE：用于可视化分析。论文：Visualizing Data using t-SNE。 数据集项目：论文引用了各数据集的原论文，链接如下： MELD: https://github.com/declare-lab/MELD ESD: https://github.com/ESD-Benchmark/ESD EMO-DB: https://www.tu-chemnitz.de/ikt/prod/forschung/rohde/projects/emodb/ CaFE: https://github.com/MilaNLProc/cafe URDU: https://github.com/numbersdontlie/USSentimentBank 🏗️ 方法概述和架构 本文提出了一种用于零样本跨语言SER的情感判别性表示学习框架，其核心目标是学习同时具有情感区分性、语言不变性和说话人不变性的语音表示。该框架建立在预训练的SSL模型wav2vec 2.0之上，整体架构（如图1所示）包含以下核心组件和数据流： ...

语音/音乐/音频论文速递 2026-06-05 共分析 47 篇论文 ⚡ 今日概览 📥 抓取 47 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 11篇 ███████████ #语音合成 6篇 ██████ #语音情感识别 3篇 ███ #大语言模型 2篇 ██ #语音增强 2篇 ██ #说话人识别 2篇 ██ #流式处理 1篇 █ #音频编码 1篇 █ 📊 论文评分排行榜（47 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Audio Interaction Model 9.8分 前50% #流式处理 🥈 USAD 2.0: Scaling Representation Distillation for Unive 9.0分 前25% #音频编码 🥉 M2S-AVSR: Modality-aware Multi-view Self-supervised Rep 9.0分 前25% #语音识别 4. Vortex: Efficient and Programmable Sparse Attention Ser 8.9分 前25% #大语言模型 5. UniVoice: A Unified Model for Speech and Singing Voice 8.7分 前25% #语音合成 6. Ouvia: A User-centered Framework for Measuring Usabilit 8.6分 前25% #语音翻译 7. Age-Aware Adapter Tuning for Children's Speech Reco 8.4分 前25% #语音识别 8. MCBench: A Multicontext Safety Assessment Benchmark for 8.4分 后50% #语音识别 9. SuperMemory-VQA: An Egocentric Visual Question-Answerin 8.4分 前25% #基准测试 10. GLASS: GRPO-Trained LoRA for Acoustic Style Steering in 8.2分 前25% #语音合成 11. A Model of Multi-turn Human Persuadability Using Probab 8.2分 前50% - 12. Learning Emotion-discriminative Representations for Zer 8.1分 前25% #语音情感识别 13. FORTE: FOL-guided Optimal Refinement for Text-audio rEt 8.1分 前25% #参数高效微调 14. FiLM-Based Speaker Conditioning of a SpeechLLM for Path 8.0分 前50% #语音识别 15. Task-Vector Arithmetic for Emotional Expressivity Contr 7.9分 前25% #语音合成 16. An Ultra-Low-Bitrate Neural Speech Codec with Plain-to- 7.7分 前25% #语音合成 17. Exploring LLMs for South Asian Music Understanding and 7.7分 前50% #音乐生成 18. SB-RF: Schrödinger Bridge Rectified Flow for One-Step R 7.6分 前25% #语音增强 19. nnAudio 2: Overcoming Dynamic Compilation Barriers and 7.5分 前50% #开源工具 20. Beyond Waveform Robustness: Robust Feature-Vocoder Adve 7.5分 前25% #语音识别 21. FoeGlass: Simple In-Context Learning Is Enough for Red 7.5分 前25% #音频生成 22. ProSarc: Prosody-Aware Sarcasm Recognition Framework vi 7.5分 前25% #语音情感识别 23. Probing Spatial Structure in Pretrained Audio Represent 7.4分 前25% - 24. Forgive or forget: Understanding the context of hate in 7.4分 前50% #音频检索 25. SpeechJBB: Probing Safety Alignment and Comprehension i 7.3分 前25% #语音识别 26. VoCodec: A Low-bitrate Streamable Neural Speech Codec w 7.2分 前50% #语音编码 27. F3-Tokenizer: Taming Audio Autoencoder Latents for Unde 7.2分 前25% #语音合成 28. Beyond WER: A Paired Acoustic Stress Test for Ambient C 7.1分 前50% #语音识别 29. InfoShield: Privacy-Preserving Speech Representations f 7.1分 前50% - 30. Multi-task Learning is Not Enough: Representational Ent 6.9分 前50% #语音识别 31. Sound Effects Dataset Unification With the Universal Ca 6.9分 前50% #音频分类 32. To Be Multimodal or Not to Be: Query-Adaptive Audio-Vis 6.8分 前50% #说话人识别 33. SHALA-LLM: Smartly Handling Ambiguous Labels in Alignin 6.8分 前50% #语音情感识别 34. SagnacAssisted Enhanced OTDR for Distributed Acoustic S 6.6分 前50% #信号处理基础 35. Domain-Aware Mispronunciation Detection and Diagnosis U 6.6分 前50% #图神经网络 36. CoSTA: Cognitive-State-Conditioned TTS Data Augmentatio 6.5分 前50% #语音合成 37. Beyond Text Following: Repairable Arbitration Reversals 6.4分 前50% #音频问答 38. Enhancing Audio Captioning with Auxiliary AudioSet Sema 6.3分 前50% - 39. Do speech foundation models perceive speaker similarity 6.3分 前50% #说话人识别 40. Efficient Punctuation Restoration via Weighted Lookahea 6.3分 前50% #大语言模型 41. Automatic Labelling of Speech Translation Errors 6.1分 前50% #语音识别 42. Towards Truly Multilingual ASR: Generalizing Code-Switc 5.9分 前50% #语音识别 43. An ERP Study on Recursive Locative Processing in Mandar 5.9分 前50% - 44. Multilingual Detection of Alzheimer's Disease from 5.7分 后50% #迁移学习 45. DBHN-Net: Dual-Branch Hybrid Neural Network For Low-Com 5.4分 前25% #语音增强 46. Beyond Generative Decoding: Discriminative Hidden-State 5.3分 前50% #多模态模型 47. Revisiting Lexicon Evaluation in Unsupervised Word Disc 1.0分 前25% #语音识别 📋 论文列表 🥇 Audio Interaction Model 9.8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1.0/1 | 影响 1.5/1.5 | 开源 1.1/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 Channel-Oriented Design for EEG-to-Music Reconstruction #音乐信息检索 #音频生成 #自监督学习 #对比学习 #数据增强 7.7/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.7/10 | 前25% | #音乐生成 | #自监督学习 | #音乐信息检索 #音频生成 | arxiv 👥 作者与机构 Jiaxin Qing (UC Berkeley)， Junwei Lu (Harvard University)， Lexin Li (UC Berkeley) 💡 毒舌点评 这篇论文在脑机接口的细分赛道——EEG-to-Music重建上，精准地抓住了“通道信息早期混合”这个痛点，并提出了一个逻辑自洽、组件清晰的解决方案。理论分析虽简化，但为设计选择提供了合理的数学依据，比单纯喊口号强。实验部分，与当前SOTA基础模型的对比很到位，证明了专用设计优于通用预训练模型在特定任务上的表现。可解释性分析更是点睛之笔，将EEG的通道注意力与听觉处理脑区关联，提升了工作的可信度和价值。不过，其“对齐+固定生成器”的管道设计虽能隔离贡献，但也限制了对生成阶段优化潜力的探索。在通用性方面，模型对电极配置的固定依赖是一个明显的实用化短板。总的来说，这是一篇扎实、聚焦、有洞察力的工作，配得上顶会水准。 📌 核心摘要 本文研究了从EEG信号重建音乐这一具有挑战性的任务。作者指出，现有方法中过早地混合通道信息会破坏EEG中微弱但有区分度的信号。为此，提出了一个“通道导向”的设计框架，其核心包含三个组件：通道级标记化（将每个电极视为独立标记以保留空间局部证据）、通道级多视图自蒸馏（强制模型在不同时间裁剪和随机通道子集之间保持一致性，以学习鲁棒且分布式的表示）和通道级数据增强（通过结构化的通道丢弃提高对噪声和缺失电极的不变性）。这些组件被集成到一个编码-对齐-解码的管道中。从理论上，论文分析了通道级遮蔽相比块级遮蔽在何种条件下能降低跨类重叠。在实验上，通过与多种基线方法（包括专门的EEG2Mel和通用的EEG基础模型LaBraM、EEGPT、CBraMod）进行系统对比，在语义重建（CLAP score 0.683）和嵌入级对齐（50-way 识别准确率0.487）指标上取得了最佳性能。消融研究验证了每个组件的贡献，可解释性分析揭示了与听觉处理相关的通道注意力模式。 ...

📄 CleanCodec: Efficient and Robust Speech Tokenization via Perceptually Guided Encoding #语音编码 #语音合成 #语音识别 #对比学习 8.8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 8.8/10 | 前25% | #语音编码 | #自监督学习 | #语音合成 #语音识别 | arxiv 👥 作者与机构 Eugene Kwek (Pennsylvania State University), Feng Liu (Drexel University), Rui Zhang (Pennsylvania State University), Wenpeng Yin (Pennsylvania State University)。 ...

语音/音乐/音频论文速递 2026-06-04 共分析 22 篇论文 ⚡ 今日概览 📥 抓取 22 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 3篇 ███ #音频分类 2篇 ██ #音频生成 2篇 ██ #语音增强 2篇 ██ #多模态模型 1篇 █ #语音编码 1篇 █ #空间音频 1篇 █ #音乐生成 1篇 █ 📊 论文评分排行榜（22 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Multilingual Long-Form Speech Instruction Following: KI 10.0分 前10% #语音识别 🥈 Drift-Augmented Scoring: Text-Derived Noise Robustness 10.0分 前25% #音频分类 🥉 DetectZoo: A Unified Toolkit for AI-Generated Content D 9.3分 前25% #多模态模型 4. CleanCodec: Efficient and Robust Speech Tokenization vi 8.8分 前25% #语音编码 5. Read What You Hear: Reference-Free Hypotheses Evaluatio 8.6分 前25% #语音识别 6. UAT: Unified Audio-Text Diffusion for Audio Generation, 8.5分 前25% #音频生成 7. Flow-HOA: Generative Joint Optimization for Ambisonics 7.9分 前25% #空间音频 8. Test-Time Compute Scaling for ASR with Depth-Conditione 7.8分 前25% #语音识别 9. Channel-Oriented Design for EEG-to-Music Reconstruction 7.7分 前25% #音乐生成 10. Entity Binding Failures in Speech LLM Reasoning: Diagno 7.5分 前25% #语音问答 11. Video2LoRA: Parametric Video Internalization for Vision 7.5分 前50% #参数高效微调 12. Feasibility of Time-Domain DNN-Based Speech Enhancement 7.2分 前50% #语音增强 13. Differentiable Articulatory Copy-Synthesis of Biphonic 7.1分 前50% #音频生成 14. The Differentiable Auditory Loop (DAL): An ML Framework 7.1分 前50% #语音增强 15. Masked Wavelet Scattering Transform Neural Field for So 6.7分 前50% #音频质量评估 16. SHB-AE: Spherical harmonic beamforming based Ambisonics 6.7分 前50% #音频编码 17. SURF: Separation via Unsupervised Remixing Flow 6.4分 前25% #无监督学习 18. Gauss Circle Lattices with Geometric Convolutions for S 6.0分 前50% - 19. Plan First, Judge Later, Run Better: A DMAIC-Inspired A 5.8分 前50% #工业应用 20. Representation Matters in Randomized Smoothing for Audi 5.7分 前50% #音频分类 21. Neural Radiated-Noise Fields for Unmanned Underwater Ve 5.1分 前50% - 22. A Second-Order Cepstral Signature of Contact-Vibration 4.8分 后50% #信号处理基础 📋 论文列表 🥇 Multilingual Long-Form Speech Instruction Following: KIT's Submission to IWSLT 2026 10.0/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 MoDAl: Self-Supervised Neural Modality Discovery via Decorrelation for Speech Neuroprosthesis #自监督学习 #对比学习 #多模态模型 #参数高效微调 6.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.6/10 | 前25% | #自监督学习 | #自监督学习 | #对比学习 #多模态模型 | arxiv 👥 作者与机构 作者：Yuanhao Chen, Peter Chin 机构：Dartmouth College, Hanover, NH, USA 💡 毒舌点评 一篇动机良好、理论包装扎实的工作，但将一个在单个数据集、单个参与者上的工程优化，拔高到了“模态发现”的哲学高度。最大的卖点——Area 44信号的“起死回生”——其普适性存疑，且缺乏与最先进级联系统的公平比较。理论命题（Proposition 3.1 & 3.2）虽优雅，但与现实训练条件（τ为有限值）脱节，更像一个解释现象的后验故事而非设计指南。代码未开源是硬伤，严重阻碍了验证与复现。 ...

语音/音乐/音频论文速递 2026-06-03 共分析 40 篇论文 ⚡ 今日概览 📥 抓取 40 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 7篇 ███████ #语音识别 7篇 ███████ #音乐生成 3篇 ███ #音频生成 2篇 ██ #语音增强 2篇 ██ #多模态模型 2篇 ██ #语音情感识别 2篇 ██ #语音翻译 2篇 ██ 📊 论文评分排行榜（40 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 AnyAudio-Judge: A Dynamic Rubric-Based Benchmark and Ev 10.0分 前10% #语音合成 🥈 Cosmos 3: Omnimodal World Models for Physical AI 10.0分 前10% #音频生成 🥉 WavTTS: Towards High-Quality Zero-Shot TTS via Direct R 9.2分 前25% #语音合成 4. CoughSense: Five-Class Respiratory Disease Classificati 9.1分 前25% #数据增强 5. SoulX-Transcriber: A Robust End-to-End Framework for Mu 8.8分 前50% #语音识别 6. SVHalluc: Benchmarking Speech-Vision Hallucination in A 8.7分 前25% #语音识别 7. Benchmarking Speech-to-Speech Translation Models 8.7分 前25% #语音合成 8. The DeepSpeak-Agentic Dataset 8.7分 前50% #语音合成 9. EntangleCodec: A Unified Discrete Audio Tokenizer via S 8.6分 前10% #语音合成 10. SketchSong: Hierarchical Song Generation with Sketch Pl 8.6分 前25% #音乐生成 11. SegTune: Structured and Fine-Grained Control for Song G 8.5分 前25% #音乐生成 12. Exploiting Noise Inseparability for Weakly-Supervised D 8.5分 前50% #语音增强 13. A Comparison of Generative and Discriminative Methods f 8.3分 前25% #语音增强 14. FSA-GRPO: Teaching Auditory LLMs to Use Few-shot Demons 8.1分 前50% #语音识别 15. Tonal parsimony in chord-sequence analysis: combining m 8.1分 前25% #音乐信息检索 16. Efficient ASR Training with Conversations that Never Ha 8.0分 前50% #语音识别 17. LiveBand: Live Accompaniment Generation in the Audio Do 8.0分 前25% #音乐生成 18. Sandboxed Coding Agents are Competitive Omni-modal Task 7.9分 前25% #强化学习 19. OmniHalluc-L: Counterfactual Benchmarking and Modality- 7.8分 前25% #多模态模型 20. BaltiVoice: A Speech Corpus and Fine-tuned Whisper ASR 7.8分 前25% #语音识别 21. Speech Emotion Recognition using Attention-based LSTM-N 7.5分 前50% #语音情感识别 22. SpeakerCard-1M: An Evidence-Grounded Speaker Card Corpu 7.4分 前25% #说话人验证 23. C2GA: A Class-Controllable Generative Augmentation Fram 7.3分 前50% #音频分类 24. AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IW 7.3分 前50% #语音翻译 25. Before Fusion, Ask What to Keep: Contextual Calibration 7.2分 前50% #语音情感识别 26. Diffusion-Based Heart Sound Generation: Evaluation with 7.1分 前50% #语音合成 27. SiamCTC: Learning Speech Representations through Monoto 7.0分 前50% #语音识别 28. Foley-Omni: A Unified Multimodal Generation Model from 7.0分 前25% #音频生成 29. Inference-Time Scaling for Joint Audio-Video Generation 6.9分 前50% #语音合成 30. Breaking the Pair: Evaluating Dyadic Interaction via Sp 6.9分 前50% - 31. Localizing broadband noise sources using the Loève spec 6.9分 前50% #声源定位 32. A Pocket Offline Model for Simultaneous Speech Translat 6.8分 前50% #语音翻译 33. Stable Hybrid Cross-Attention Fusion for Audio-Visual E 6.7分 后50% #自监督学习 34. A Training-Efficient Transformer-Based Anti-Spoofing Ne 6.7分 后50% #Transformer 35. MoDAl: Self-Supervised Neural Modality Discovery via De 6.6分 前25% #自监督学习 36. Audio Spotforming via Post-Filtering Using Cross-Array 6.6分 前50% #维纳滤波 37. Logit Distillation on Manifolds: Mapping by Learning 6.5分 前50% #语音识别 38. Domain-Agnostic Incremental Learning for Sound Classifi 6.1分 前50% - 39. Wavelet as Tokenizer: Preliminary Results on a Shared W 5.4分 后50% #多模态模型 40. In-the-Loop Training of Deep Feedback Cancellation for 5.3分 前50% #自适应滤波 📋 论文列表 🥇 AnyAudio-Judge: A Dynamic Rubric-Based Benchmark and Evaluator for Audio Instruction Following 10.0/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.4/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ...

📄 Dynamic Interaction-Aware and Causality-Disentangled Framework for Multimodal Sentiment Analysis #多模态模型 #对比学习 7.8/10 | 创新 2/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.6/1.5 ✅ 7.8/10 | 前25% | #多模态模型 | #对比学习 | arxiv 👥 作者与机构 Guangyuan Dong (NUS), Ziwei Hong (UPenn), Shenghao Liu (CUC), Chenyu Wu (Duke), Yuanyuan Fang (BU), Zihao Li (Liverpool), Xudong Zhang (PKU), Bingchen Liu (SDU), Yuchen Zhang (SeeWay.ai), Haitao Ding (JLU), Zhenzhou Zhou (NEU), Ziyu Song (JLU) ...

语音/音乐/音频论文速递 2026-06-02 共分析 35 篇论文 ⚡ 今日概览 📥 抓取 35 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 9篇 █████████ #语音合成 5篇 █████ #自监督学习 2篇 ██ #多模态模型 2篇 ██ #音频分类 2篇 ██ #计算机视觉 1篇 █ #音乐推荐 1篇 █ #语音编辑 1篇 █ 📊 论文评分排行榜（35 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Project SPARROW and the Future of Conservation Technolo 10.0分 前50% #计算机视觉 🥈 Multimodal Music Recommendation System using LLMs 10.0分 前50% #音乐推荐 🥉 Sympatheia: Emotionally Adaptive Voice Assistant with C 9.6分 前25% #语音合成 4. MOSS-Audio Technical Report 9.2分 前25% #语音识别 5. UniVocal: Unified Speech-Singing Code-Switching Synthes 8.9分 前25% #语音合成 6. PolySpeech-100: A Large-Scale Benchmark for Speech Unde 8.8分 前50% #语音识别 7. SpeechEditBench: A Bilingual Multi-Attribute Benchmark 8.7分 前25% #语音编辑 8. Context-aware child-directed speech detection from long 8.5分 前25% #自监督学习 9. RRP-Voice: A Longitudinal Dataset and Benchmark for Rec 8.3分 前50% #数据集 10. MURMUR: An Efficient Inference System for Long-Form ASR 8.3分 前50% #语音识别 11. Local Diagnostics of Continuous Normalizing Flow for Ou 8.1分 前50% #语音合成 12. WAXAL-NET: Finetuned Edge ASR Across 19 African Languag 8.0分 前25% #语音识别 13. Dynamic Interaction-Aware and Causality-Disentangled Fr 7.8分 前25% #多模态模型 14. Temporally-Aligned Evaluation for Audio-Driven Talking 7.6分 前25% #语音合成 15. HAIM: Human-AI Music Datasets for AI Music Production T 7.5分 前50% - 16. Spiking and Event-driven Neuromorphic Mamba Models for 7.5分 前50% #语音识别 17. JenBridge: Adaptive Long-Form Video Soundtracking acros 7.3分 前25% #音乐生成 18. MelT: GEMM-Native NDFT for Efficient Single-Stage Audio 7.3分 前50% #信号处理基础 19. Description and Discussion on DCASE 2026 Challenge Task 7.2分 前50% #无监督学习 20. SALSA: Speech Aware LLM Adaptation via Learned Steering 7.2分 前25% #语音识别 21. Advancing Electrolaryngeal Speech Enhancement Through S 7.1分 前50% #语音增强 22. DUET: Unified Dual-Space Emotion Control for Diffusion 7.1分 前25% #语音合成 23. When Tabular Foundation Models Transfer Across Modaliti 7.1分 前50% #音频分类 24. Echo: A Joint-Embedding Predictive Architecture for Spe 7.0分 前50% #语音识别 25. AnyMo: Scaling Any-Modality Conditional Motion Generati 7.0分 前50% #多模态模型 26. Kinship Verification Using Voice 6.9分 前50% #声纹识别 27. Quality Audio Prototyping: a prototype system for unifi 6.9分 前50% #音频检索 28. A Lightweight Slot-Attention Framework for Multi-Instru 6.7分 前50% #音乐信息检索 29. A 1000-hour EEG-EMG-audio dataset of Japanese speech pr 6.5分 前50% - 30. DAStatFormer: A Hybrid Multibranch Transformer with Sta 6.4分 前50% #音频事件检测 31. Parameter-efficient Dual-encoder Architecture with Diff 6.4分 前25% #音频分类 32. Beyond the Mouth: Upper-Face Affective Cues in Audiovis 5.5分 前50% #语音识别 33. SN-WER: Script-Normalized WER for Multi-Script Indic AS 5.3分 前50% #语音识别 34. Privacy-preserving Prosody Representation Learning 4.9分 前50% #自监督学习 35. AI Slop or AI-enhancement? Student perceptions of AI-ge 3.7分 后50% - 📋 论文列表 🥇 Project SPARROW and the Future of Conservation Technology 10.0/10 | 创新 2.0/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1.0/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 Towards Streaming Synchronized Spatial Audio Generation via Autoregressive Diffusion Transformer #自回归模型 #扩散模型 #多模态模型 #对比学习 ✅ 6.5/10 | 前50% | #自回归模型 | #对比学习 | #扩散模型 #多模态模型 | arxiv 学术质量 6.5/7 | 影响力 7.0/2 | 可复现性 0.2/2 | 置信度 高 👥 作者与机构 作者：Ke Lei, Yu Zhang, Changhao Pan, Xueyi Pu, Wenxiang Guo, Ruiqi Li, Zhou Zhao。论文中未明确提及作者所属机构。（审校注：根据其arXiv提交历史及相关信息，通常隶属于阿里巴巴集团，但本文原文未明确声明） 💡 毒舌点评 概念包装大于实质新颖：将“分块生成”（Patch-wise generation）包装为“流式自回归扩散Transformer”，听起来高大上，但其核心思想——用一个较小的局部扩散模型（LocDiT）在自回归生成的语义条件下进行块内去噪——在语音和音频生成领域已有先例。创新更多体现在具体架构的组合，而非范式突破。 “流式”宣传需打折：论文反复强调0.21s的首块延迟，但报告了总推理时间为9.13s（生成10秒音频）。这意味着在生成完第一个chunk（约0.5秒音频）后，用户需等待约8.9秒才能获得完整音频。这种“流式”对实时交互的支持非常有限，更像是一种延迟优化的序列生成，而非真正的低延迟流式传输。 实验对比存在“田忌赛马”：将SwanSphere（1.09B参数）与多个级联管线（如MMAudio+AS）和一个参数更小的专用模型（ViSAGe, 0.36B）对比，并声称全面超越，说服力有限。更公平的对比应与最新、参数量相当的端到端空间音频模型进行。 ODPO的必要性存疑：消融实验显示ODPO将FD从133.91降至120.28。虽然有效，但奖励函数设计（空间误差、语义相似度、保真度）高度依赖外部预训练模型（ImageBind, Audiobox Aesthetics），这引入了额外的复杂性和偏差。论文并未探讨这些奖励模型本身的局限性如何影响最终生成质量。 数据集构建与评估的“自产自销”：SwanSphere数据集由论文作者自己构建，测试集也从中划分。虽然附录提供了细节，但使用自己构建、自己评估的数据集来证明方法优越性，存在固有的乐观偏差。跨数据集泛化能力（如YT360-Test）虽然有所展示，但仍是同一评估体系下的结果。 “通用”方法的狭窄适用性：尽管声称适用于VR/AR等沉浸式场景，但模型输入严格限定于全景视频+文本，输出为FOA。这与当前市场上更通用的双耳渲染或基于对象的音频格式存在差距。技术路线过于专精，可能限制其实际应用广度。 📌 核心摘要 本文提出SwanSphere，一个统一的流式框架，用于从全景视频和文本提示生成高保真第一阶环绕声（FOA）空间音频。该框架旨在解决现有技术在生成质量与推理延迟之间的权衡，以及从多模态输入中捕捉精确空间信息的困难。其核心贡献包括：1) 提出因果自回归扩散Transformer架构，通过将语义规划（自回归语言模型）与局部声学渲染（局部扩散Transformer）解耦，实现流式高质量生成；2) 设计空间视频-音频对比学习（SVAC）策略，通过四类物理感知的正负样本对齐视频与音频编码器的空间语义表征；3) 引入多目标在线直接偏好优化（ODPO），从空间、语义和保真度三个维度对齐生成结果与人类偏好；4) 开发基于多模态大语言模型（MLLM）的自动化空间字幕标注管道，以缓解空间音频数据稀缺问题。实验表明，SwanSphere在视频到空间音频和文本到空间音频任务上，在语义保真度、空间精度和主观评估方面均优于现有基线模型，同时实现了更低的首块生成延迟。 ...

语音/音乐/音频论文速递 2026-06-01 共分析 23 篇论文 ⚡ 今日概览 📥 抓取 23 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 6篇 ██████ #音乐生成 3篇 ███ #语音翻译 2篇 ██ #语音识别 2篇 ██ #自监督学习 1篇 █ #口音识别 1篇 █ #生成对抗网络 1篇 █ #音频事件检测 1篇 █ 📊 论文评分排行榜（23 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Chatterbox-Flash: Prior-Calibrated Block Diffusion for 10.0分 前25% #语音合成 🥈 UniAudio-Token: Empowering Semantic Speech Tokenizers w 10.0分 前25% #语音合成 🥉 Escaping the Linearity Trap: Manifold Detours for Black 9.7分 前25% #自监督学习 4. ImmersiveTTS: Environment-Aware Text-to-Speech with Mul 9.3分 前25% #语音合成 5. SwanVoice: Expressive Long-Form Zero-Shot Speech Synthe 8.9分 前50% #语音合成 6. AnchorSteer: Self-Discovered Concept Injection for Stru 8.6分 前50% #音乐生成 7. MindVoice: Reconstructing Intelligible Speech from Non- 8.5分 前25% #语音合成 8. Extracting accent features in spoken Brazilian Portugue 8.3分 前50% #口音识别 9. UNISON: A Unified Sound Generation and Editing Framewor 8.2分 前25% #语音合成 10. FiPA-SR – FiLM-Conditioned Perceptually Informed Audio 8.1分 前25% #生成对抗网络 11. DOA: Training-Free Decoder-Only Attention Policy for Lo 7.8分 前25% #语音翻译 12. GaMi: Geometry-Agnostic Material Identification via Cro 7.8分 前50% - 13. Improving acoustic drone detection generalization throu 7.7分 前50% #音频事件检测 14. Audio Pirates: Black-box Audio Watermark Removal via Di 7.4分 前25% #扩散模型 15. Latent Space Disentanglement via Activation Steering fo 7.3分 后50% #音乐生成 16. Scaling Conversational Hungarian ASR: The BEA-Dialogue+ 7.2分 前50% #语音识别 17. On the Use of Dereverberation for Acoustic Feedback Can 6.7分 前50% #语音增强 18. Towards Streaming Synchronized Spatial Audio Generation 6.5分 前50% #自回归模型 19. 3DAE: Binaural Quality Assessment for Audio Novel View 6.5分 前50% #音频质量评估 20. OpenSTBench: Beyond Semantic Evaluation for Speech Tran 6.0分 前50% #语音翻译 21. Sound effects in media:A comparative analysis of record 5.7分 前50% #音频生成 22. Mental Damage: Caption Poisoning Attacks on Retrieval-A 5.6分 前50% #音乐生成 23. A Unified and Reproducible Experimentation Framework fo 5.5分 前50% #语音识别 📋 论文列表 🥇 Chatterbox-Flash: Prior-Calibrated Block Diffusion for Streaming Zero-Shot TTS 🔥 10.0/10 | 前25% | #零样本语音合成 | #Transformer | #块扩散解码 #流式处理 | arxiv ...

📄 COMET: Concept Space Dissection of the Modality Gap in Audio-Text Multimodal Contrastive Embeddings #多模态模型 #对比学习 ✅ 6.5/10 | 前50% | #音频检索 | #对比学习 | #多模态模型 | arxiv 学术质量 5/7 | 影响力 1/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 论文标题：COMET: Concept Space Dissection of the Modality Gap in Audio-Text Multimodal Contrastive Embeddings 作者：Yonggang Zhu, Liting Gao, Aidong Men, Wenwu Wang 机构： 北京邮电大学 人工智能学院 英国萨里大学 视觉、语音与信号处理中心 (CVSSP) 通讯作者：Wenwu Wang 资助信息：China Scholarship Council (202506470003) 💡 毒舌点评 这篇论文试图为CLAP模型中已知的模态间隙问题提供一个新的“概念分解”视角，并由此提出一个无训练的嵌入压缩方法PLSHead。优点在于它整合分析了嵌入空间结构、相似性计算机制和现有投影解码方法，理论推导有一定新意。然而，作为一篇顶会投稿，其“创新性”需要打折扣：1）核心工具PLS-SVD是成熟的统计方法，其在CLAP上的应用属于工程组合；2）提出的PLSHead方法本质是启发式的截断，关键参数K的选择缺乏理论指导；3）实验部分大量篇幅复现和比较已有的投影解码（PD）方法，并宣称其PLSHead可“替代”PD，但实际上在零样本字幕任务中并未显著超越使用完整记忆库的PD。此外，论文声称“首次提出统一的概念分解框架”，但相关工作列举了多种多模态嵌入分解方法（如SpLiCE, CCA+匹配），对“首次”的claim需更严谨。总体而言，工作扎实但突破性有限，更像是一篇细致的分析性文章。 ...

语音/音乐/音频论文速递 2026-05-29 共分析 20 篇论文 ⚡ 今日概览 📥 抓取 20 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 5篇 █████ #语音识别 5篇 █████ #音频生成 2篇 ██ #基准测试 1篇 █ #多模态模型 1篇 █ #音频分类 1篇 █ #音频深度伪造检测 1篇 █ #语音情感识别 1篇 █ 📊 论文评分排行榜（20 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 DirectorBench: Diagnosing Long-Form Video Generation wi 9.8分 前25% #基准测试 🥈 Benchmarking Single-Factor Physical Video-to-Audio Gene 9.0分 前25% #音频生成 🥉 Audio Jailbreaks in Large Audio-Language Models: Taxono 8.9分 前25% #多模态模型 4. HoliTok:A Coutinuous Holistic Tokenization with Robust 8.6分 前25% #语音合成 5. Dial HEALTHDIAL for Advice: A Multilingual and Multi-Pa 8.6分 前25% #语音合成 6. Mitigating Stethoscope-Induced Shortcuts in Respiratory 8.5分 前25% #音频分类 7. Audio Deepfake Detection with Half-Truth Localisation U 8.4分 前50% #音频深度伪造检测 8. ChildVox: A Speech, Audio, and Large Audio-Language Mod 8.0分 前25% #语音识别 9. State-Anchored Complete-View Distillation for Robust Co 8.0分 前50% #语音情感识别 10. VideoFDB: Evaluating Full-Duplex Vision-Speech Capabili 7.9分 前25% #语音合成 11. Native Audio-Visual Alignment for Generation 7.8分 前50% #音频生成 12. OmniInteract: Benchmarking Real-World Streaming Interac 7.8分 前50% #语音识别 13. MusTBENCH: Benchmarking and Advancing Temporal Groundin 7.5分 前50% #音乐生成 14. Archon: A Unified Multimodal Model for Holistic Digital 7.5分 前50% #语音合成 15. MELD: Mel-Spectrogram-Based Speech Language Modeling wi 7.3分 前50% #语音合成 16. The WER Trap: Shattering the Illusion of Unified Tokens 7.0分 前50% #语音识别 17. Decoding Strategies for Diffusion-Based ASR: A Systemat 6.8分 前50% #语音识别 18. COMET: Concept Space Dissection of the Modality Gap in 6.5分 前50% #音频检索 19. AgentHijack: Benchmarking Computer Use Agent Robustness 5.6分 前50% - 20. Data-Efficient On-Policy Distillation for Automatic Spe 5.1分 前50% #语音识别 📋 论文列表 🥇 DirectorBench: Diagnosing Long-Form Video Generation with Personalized Multi-Agent Evaluation 🔥 9.8/10 | 前25% | #音视频 | #多智能体评估 | #视频生成 #多模态生成评估 | arxiv ...

📄 Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini #多模态模型 #对比学习 #语音识别 ✅ 7.9/10 | 前25% | #语音识别 | #对比学习 | #多模态模型 | arxiv 学术质量 5.9/7 | 影响力 1.5/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Samari, Kevin Poulet, Daniel Cer, Kaifeng Chen, Paul Suganathan, Hui Hui, Jovan Andonov, Philippe Schlattner, Jay Han, Iftekhar Naim, Wing Lowe, Vladimir Pchelin, Albert Yang, Yi-Ting Chen, Zhongli Ding, Grace Zhang, Georg Heigold, Yichang Chen, Antoine Reveillon, Brendan Mccloskey, Wenlei Zhou, Dahun Kim, Rui Meng, Emma Wang, Jack Zheng, Halley Fede, Zhen Yang, Keegan Mosley, Brian Potetz, Sahil Dua, Henrique Schechter Vera, Shen Gao, Hesen Zhang, Andreas Hess, Hengxuan Ying, Alberto Montes, Karan Gill, Min Choi, Sebastian Russo, Anja Hauth, Jinhyuk Lee, Michael Boratko, Megan Barnes, Vikram Rao, Claudiu Musat, Cyril Allauzen, Ehsan Variani, Shankar Kumar, Tom Bagby, Junyi Jiao, Yang Gu, Tengxin Li, Ayush Agrawal, Roberto Santana, Dev Nath, Stephen Karukas, Shuoxuan Han, Lucia Loher, Alice Twu, Nidhi Vyas, Siddharth Bhai, Frank Palma Gomez, Wangyuan Zhang, Chaoren Liu, Jizheng Yang, Steve Qiu, Shijie Zhang, Sujay Kulkarni, Sascha Rothe, Sean Nakamoto, Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini（共81位作者）。 ...

📄 OmniRetriever: Any-to-Any Audio-Video-Text Retrieval via Fusion-as-Teacher Distillation #音频检索 #对比学习 #知识蒸馏 #参数高效微调 🔥 9.2/10 | 前25% | #音频检索 | #对比学习 | #知识蒸馏 #参数高效微调 | arxiv 学术质量 6.1/7 | 影响力 1.5/2 | 可复现性 1.6/2 | 置信度 高 👥 作者与机构 作者: Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen 机构: Memories.ai Research 💡 毒舌点评 优点：论文精准地指出了一个实际存在但被忽视的问题——统一AVT编码器的联合嵌入\(z_{TVA}\)在训练中未被监督。提出的“融合即教师蒸馏”方法简洁、直观且有效，尤其是\(\mathcal{L}_D\)损失贡献巨大。构建的OmniRetriever-Bench基准填补了评估多模态查询方向的关键空白，对社区有明确贡献。实验设计周密，包括了跨骨干验证、损失权重敏感性分析等，增强了结论的说服力。 缺点：论文在视频-文本任务上并未达到顶尖水平，其主要优势局限于音频相关的检索方向。方法的核心创新在于损失函数的设计，架构上是基于现有骨干（WAVE-7B）的适配器微调，新颖性更多体现在训练范式而非网络结构。提出的新基准测试（OmniRetriever-Bench）仅提供标识符和字幕，未公开媒体文件，限制了其广泛使用和独立验证。部分技术细节，如模态轮换硬负例的具体实现逻辑，描述可进一步清晰化。此外，虽然方法通用，但对语音/音乐领域的直接贡献（如理解语音内容、音乐情感）有限，其影响力更偏向于通用的多模态表示学习。 📌 核心摘要 本文针对现有统一音频-视频-文本（AVT）编码器训练中联合嵌入\(z_{TVA}\)未被监督的关键缺陷，提出了“融合即教师蒸馏”（Fusion-as-Teacher Distillation）训练范式。该方法利用模型自身前向传播产生的、经停止梯度处理的联合嵌入\(z_{TVA}\)作为教师信号，通过InfoNCE损失（) \mathcal{L}_D \(）指导单模态嵌入（\(z_T, z_V, z_A\)）的学习。同时，引入Tuple-InfoNCE损失（) \mathcal{L}_T \(）配合模态轮换的硬负例，直接监督联合嵌入\(z_{TVA}\)，防止其退化。该方法在开源WAVE-7B骨干上实例化为OmniRetriever-7B模型。在六个零样本检索基准测试中，OmniRetriever-7B在Clotho和SoundDescs音频-文本检索任务上显著超越闭源Gemini Embedding 2（R@1提升13.3-18.0），并接近专门音频-文本检索模型（CLAP家族）水平。论文同时发布了首个覆盖全部12个音频-视频-文本检索方向的评估基准OmniRetriever-Bench，并在该基准上取得了SOTA结果。 🔗 开源详情 代码：论文摘要和结论声明将发布代码，但未提供具体链接。 模型权重：论文摘要和结论声明将发布模型权重，但未提供具体链接（如HuggingFace, ModelScope）。 数据集： 训练数据集：论文提及训练数据由以下公开数据集采样构成，且不重新分发训练子集： InternVid (链接) InternVid-FLT (链接) Panda-70M (项目页面) PVD (链接) 另有一小部分内部收集数据。 评估基准：论文发布OmniRetriever-Bench，包含3,782个经人工校对的三元组。发布时将提供评估流程、字幕文本、源视频标识符和片段区间，但不重新分发底层媒体文件。 复现材料：论文在附录中提供了极其详尽的复现信息，包括但不限于： 附录A & B：骨干架构、LoRA配置、所有训练超参数。 附录C：端到端推理延迟。 附录D：损失权重敏感性分析。 附录E：训练语料描述与统计。 附录F & H：OmniRetriever-Bench构建方法、许可证与统计。 附录G：后处理压缩分析。 附录I：外部基准完整结果。 附录J：OmniRetriever-Bench方向消融分析。 附录L：Omni-Embed-Nemotron-3B跨骨干验证。 附录M：字幕改写鲁棒性分析。 附录N：\(\mathcal{L}_T\)种子稳定性分析。 论文中引用的关键开源项目：CLIP, ImageBind, LanguageBind, WAVE, Omni-Embed-Nemotron, SigLIP/SigLIP-2, Whisper, BEATs, CLAP (多种), InternVideo2, LoRA, DeepSpeed。 🏗️ 方法概述和架构 OmniRetriever的核心是一个统一的AVT嵌入器\(f_\theta\)，它能够分别处理文本（T）、视频（V）、音频（A）单模态输入，生成对应嵌入\(z_T, z_V, z_A\)，并能同时处理三元组输入，生成联合嵌入\(z_{TVA}\)。其训练目标由三个损失函数构成： ...

📄 Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts #语音合成 #多任务学习 #自回归模型 #生成模型 #对比学习 #多模态模型 #数据增强 🔥 8/10 | 前25% | #语音合成 | #多任务学习 | #自回归模型 #生成模型 | arxiv 学术质量 6/7 | 影响力 1.5/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 第一作者：Yuyue Wang（中国人民大学） 通讯作者：Xihua Wang（中国人民大学） 机构：中国人民大学 💡 毒舌点评 一篇动机明确、架构清晰的工作，定义了‘自由文本到统一音频生成’这一有潜力的任务，并提出了一个不错的解决方案。然而，如同许多初次尝试定义新任务的工作，其‘统一’的光环在实验部分略显褪色。基线选择过于保守，仅与较早的VoiceLDM和流水线方法对比，对近期涌现的AudioBox、Fugatto等强力竞争对手视而不见，这让其‘优越性’的宣称打了折扣。实验部分更像是精心设计的‘能力展示’而非公平‘竞技场’，尤其是主观评估样本量仅50个，说服力有限。论文的‘未来工作’比‘当前工作’更有吸引力。整体是一篇扎实但不够大胆的论文，创新有余，验证不足。 📌 核心摘要 本文针对“自由文本提示生成统一音频”这一新任务，提出了PlanAudio框架。该任务旨在直接从自然语言提示合成包含语音、音效及其复合交互的统一音频流。PlanAudio是一个基于自回归LLM的统一模型，其核心创新是引入“语义潜在思维链”机制，在连续语义空间进行隐式规划，以桥接高语义理解与低层声学生成。模型采用单一Transformer骨干，直接处理文本，无需外部文本编码器或重写模块。作者还构建了专用的复合音频评估基准PlanAudio-Bench。实验表明，PlanAudio在复合场景下优于基线方法，并在单独音效和语音任务上保持竞争力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重的公开链接。 数据集：论文中提及基于以下公开数据集构建训练数据，并合成了新的基准数据集。具体获取方式如下： AudioSet: 论文用于合成复合音频数据，未提供数据集本身的直接链接。 AudioCaps: 论文用于声音生成评估，未提供链接。 WavCaps: 论文用于声音生成，未提供链接。 LibriTTS: 论文用于语音生成评估，未提供链接。 PlanAudio-Bench：论文中提出的新基准测试集，论文中未提及公开获取链接。 Demo：论文中未提及。 复现材料：论文中未提及训练配置、检查点等复现材料的公开链接。 论文中引用的开源项目： Qwen2.5-1.5B: 作为模型初始化的基础LLM。 链接: https://huggingface.co/Qwen/Qwen2.5-1.5B AudioCraft tokenizer: 用于将音频离散化为分层标记。 链接: https://github.com/facebookresearch/audiocraft AF3Encoder (Audio Flamingo 3 Encoder): 用于提取语义表示。 论文中未提供具体链接。 Whisper: 用于生成转录。 论文中未提供具体链接。 Gemini-2.5 Pro: 用于数据标注和文本改写。 论文中未将其列为开源项目。 🏗️ 方法概述和架构 PlanAudio是一个端到端的自回归LLM框架，旨在直接从自由形式文本提示生成包含语音和音效的统一音频波形。其核心架构（如图2所示）基于单一Transformer骨干（初始化自Qwen2.5-1.5B），将文本、潜在规划特征和离散音频token组织成一个统一序列进行处理。 ...

语音/音乐/音频论文速递 2026-05-28 共分析 30 篇论文 ⚡ 今日概览 📥 抓取 30 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 8篇 ████████ #语音合成 4篇 ████ #音频问答 2篇 ██ #语音情感识别 2篇 ██ #语音翻译 2篇 ██ #多模态模型 2篇 ██ #语音生成 1篇 █ #音频检索 1篇 █ 📊 论文评分排行榜（30 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 When Helpful Context Leaks: Privacy Risks in Domain-Ada 10.0分 前50% #语音识别 🥈 TARQ: Tail-Aware Reconstruction Quantization for Rare-W 10.0分 前10% #语音识别 🥉 Comprehensive Benchmarking of Long-Form Speech Generati 9.9分 前25% #语音合成 4. MTAVG-Bench 2.0: Diagnosing Failure Modes of Cinematic 9.9分 前25% #语音生成 5. OmniRetriever: Any-to-Any Audio-Video-Text Retrieval vi 9.2分 前25% #音频检索 6. Audio-Mind: An Auditable Agentic Framework for Audio Un 8.7分 前50% #音频问答 7. From Talking to Singing: A New Challenge for Audio-Visu 8.7分 前50% #语音伪造检测 8. SMILE-Next: Teaching Large Language Models to Detect, C 8.7分 前25% #语音情感识别 9. Dasheng AudioGen: A Unified Model for Generating Cohere 8.6分 前25% #音频生成 10. Why We Need Speech to Evaluate Speech Translation 8.3分 前50% #语音翻译 11. Bandwidth-Efficient and Privacy-Preserving Edge-Cloud M 8.1分 前25% #语音翻译 12. EigeNet: Geometry-Informed Multi-Modal Learning for Few 8.0分 前50% #多模态模型 13. Unified Synthesis of Compositional Speech and Sound fro 8.0分 前25% #语音合成 14. Gemini Embedding 2: A Native Multimodal Embedding Model 7.9分 前25% #语音识别 15. HOME-KGQA: A Benchmark Dataset for Multimodal Knowledge 7.5分 后50% - 16. Building Community-Centred NLP Resources for Puno Quech 7.2分 前50% #语音识别 17. Utilizing Missed Detections in Directional Sensitivity- 7.1分 前50% #语音识别 18. Diffusion Large Language Models for Visual Speech Recog 7.0分 前25% #语音识别 19. LoSATok: Low-dimensional Semantic-Acoustic Tokenizer fo 7.0分 前50% #语音合成 20. Affective Music Recommendation: A Rollout-Based World M 7.0分 前50% #音乐推荐 21. VoiceGiraffe: A Benchmark for Extreme Long-Context Audi 7.0分 前25% #音频问答 22. AgenticVBench: Can AI Agents Complete Real-World Post-P 7.0分 前50% #基准测试 23. Do Audio LLMs Listen or Read? Analyzing and Mitigating 6.8分 前50% #语音情感识别 24. A Conflict-Aware Penalty and Statistical Loss Framework 6.8分 前50% #多模态模型 25. I Hear, Therefore I Trust: A Socio-Technical Investigat 6.5分 前50% #语音合成 26. DEMON: Diffusion Engine for Musical Orchestrated Noise 6.0分 前50% #音乐生成 27. Breaking the Script Barrier: Enabling Automatic Alignme 6.0分 前50% #语音识别 28. Robust Quantum-MUSIC for DoA Estimation Using Rydberg A 5.7分 前50% - 29. Benchmarking AI for low-resource contexts: Thinking bey 5.1分 后50% #语音识别 30. Cross-modal characterization of infant cry: validation 5.0分 前50% #信号处理基础 📋 论文列表 🥇 When Helpful Context Leaks: Privacy Risks in Domain-Adapted ASR 🔥 10.0/10 | 前50% | #语音识别 | #迁移学习 | #隐私安全 #领域自适应 | arxiv ...

📄 Hidden in Plain Tokens: Simply Robust, Gradient-Free Watermark for Synthetic Audio #语音合成 #语音转换 #生成对抗网络 #对比学习 #扩散模型 #多任务学习 🔥 10/10 | 前25% | #语音合成 | #生成对抗网络 | #语音转换 #对比学习 | arxiv 学术质量 6.5/7 | 影响力 2/2 | 可复现性 1.5/2 | 置信度 高 👥 作者与机构 Georgios Milis, Yubin Qin, Yihan Wu, Heng Huang。论文未明确提及作者所属机构。 💡 毒舌点评 本文提出了一种思路精巧且理论扎实的音频水印方法，其核心贡献在于发现了重标记化错误的结构性并利用图社区检测来缓解，实现了“无梯度训练”下的显著性能提升，这在当前需要白盒微调的解决方案中是一股清流。然而，审稿人认为其评估存在明显偏科和不足：1）对音频质量影响的评估深度不足，仅报告了FAD和预测MOS，缺乏如PESQ、STOI或主观听测（如ABX测试）等更全面的音频质量客观指标和人类评估，尤其是在声称“对生成质量影响微小”时，说服力有限。2）对“语义相邻”的假设和聚类结果缺乏深入分析，论文观察到错误具有结构性，但未提供任何可视化或量化证据（如混淆矩阵热图、聚类可视化）来向读者直观展示这种“语义相邻”到底是什么样子，以及Leiden算法究竟聚出了什么样的集群。3）局限性讨论可以更深入，例如，方法依赖于对特定编解码器进行离线聚类，当编解码器版本更新或部署环境变化时，聚类可能失效，如何维护？此外，将令牌聚类为簇，本质上是降低了水印的“分辨率”和熵，这可能在更长的上下文或更复杂的模型中带来新的、未被探讨的统计特性（如检测p值的分布变化）。4）实验比较的选择性，主要对比了Base和WMAR，但缺少与同属“训练无关”范畴的、其他可能的令牌聚类或特征空间对齐方法的比较，削弱了结论的普适性。 📌 核心摘要 本文针对自回归音频生成模型中令牌级水印因重标记化错误而失效的问题，提出了一种新颖的、梯度无关的解决方案。核心思想是：观察到重标记化错误并非随机，而是将令牌混淆为少量“语义邻居”，这种结构性冗余可以通过图社区检测算法（Leiden）发现并利用。方法将音频编解码器的令牌词表建模为图，边权为混淆概率，然后运行社区检测算法得到“令牌簇”。水印机制（基于KGW）在簇级别而非原始令牌级别上实施，从而对重标记化噪声变得鲁棒。理论分析量化了令牌匹配率\(r\)和簇匹配率\(r_{cl}\)对水印检测统计量\(\mathbb{E}[z|H_1]\)的指数级影响。在Moshi（Mimi编解码器）和MusicGen（EnCodec）上的全面实验表明，该方法在检测性能上比基线（包括微调编解码器的WMAR方法）提高了数个数量级，对常见的音频处理攻击（如滤波、压缩、时移）保持强鲁棒性，且对音频质量（FAD、预测MOS）影响较小。此外，该方法在CosyVoice3和Spark-TTS等基于流匹配的文本转语音模型上也验证了有效性。 🔗 开源详情 代码：提供项目主页链接：https://g-milis.github.io/projects/nograd-audio-wm.html，用于发布音频样本和代码。 模型权重：论文中未提及。 数据集：实验使用了开源数据集LibriSpeech、MusicCaps、Free Music Archive和LibriTTS，但未在论文中提供具体下载链接。 Demo：论文中未提及。 复现材料：论文在附录E (Experimental Details) 中提供了详细的复现信息，包括： 构建词汇缩减所用音频数据集（Mimi/TTS用LibriSpeech开发集，EnCodec用MusicCaps）。 聚类超参数网格搜索过程（分辨率\(\rho\)和噪声阈值\(m\)）。 最终选定的超参数（表8）。 水印参数（\(\gamma, \delta, h\), 生成长度）。 各种鲁棒性攻击的具体设置（滤波器截止频率、噪声标准差、MP3比特率、时移比例、裁剪比例等）。 论文中引用的第三方开源项目（论文正文仅提及名称，未提供具体链接）：Mimi, MusicGen, EnCodec, Leiden, Louvain, Whisper, WMAR, CosyVoice3, Spark-TTS, FaCodec, SpeechTokenizer, DAC, LibriSpeech, MusicCaps, Free Music Archive, LibriTTS。 🏗️ 方法概述和架构 本文方法的核心架构是一个两阶段的离线准备与在线水印方案，其设计动机是解决令牌级水印在连续模态（如音频）中因重标记化（retokenization）不一致导致的鲁棒性崩溃问题，且完全不依赖于梯度信息或对编解码器进行微调。 ...

📄 MERIT: Learning Disentangled Music Representations for Audio Similarity #音频检索 #对比学习 #数据增强 #自监督学习 🔥 9/10 | 前25% | #音频检索 | #对比学习 | #数据增强 #自监督学习 | arxiv 学术质量 5.7/7 | 影响力 1.5/2 | 可复现性 1.8/2 | 置信度 高 👥 作者与机构 Abhinaba Roy, Junyi Liang, Dorien Herremans. 新加坡科技设计大学 (Singapore University of Technology and Design)， 香港中文大学（深圳） (The Chinese University of Hong Kong, Shenzhen)。 💡 毒舌点评 这篇论文提出了一个解决音乐表示学习中因子纠缠问题的清晰框架。其核心思想（利用生成模型构建因子控制数据）新颖且技术上是可行的，实验结果也令人信服，特别是零样本探测部分。然而，它并非没有明显的弱点。论文对自身核心创新点（生成数据管道）的质量控制和潜在偏差分析不足，这本应是审稿人最关注的一点。对“音色”这一关键概念的定义过于粗糙，用乐器类别标签来近似，这严重限制了其声称的“解耦”在更细粒度上的意义。此外，相关工作部分未能充分定位其与更广泛解耦表示学习领域的联系，使其贡献显得有些孤立。整体而言，这是一篇扎实但有明确短板的工作，距离顶会完美论文尚有差距。 📌 核心摘要 MERIT 是一个用于学习音乐表示的解耦框架，旨在将旋律、节奏和音色这三个核心维度分离为独立的、可查询的相似性空间。它在冻结的预训练 MERT 模型之上，训练三个独立的轻量级投影头。关键挑战在于获取单因子变化的训练数据，论文通过一种新颖的数据构造策略解决了这一问题：利用 JASCO 条件生成模型构造旋律和节奏的正样本，利用源分离数据构造音色的正样本。在内部因子控制测试集上，每个投影头在其目标因子上达到接近 100% 的三元组准确率，并对其他因子表现出低敏感性。在三个独立的真实世界数据集（MUSDB18-HQ， Ballroom， Covers80）的零样本探测中，相应的专用投影头表现最佳或接近最佳，证明了因子特异性在合成分布之外也能有效泛化。 ...