Transformer

📄 Flow Matching-Based Speech Source Separation with Best-of-N Biometric Sampling #语音分离 #流匹配 #Transformer #说话人验证 #长音频处理 #语音增强 4.9/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.7/1.5 | 清晰 0.6/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1/1.5 📝 4.9/10 | 后50% | #语音分离 | #流匹配 | #Transformer #说话人验证 | arxiv 👥 作者与机构 第一作者：Anastasia Zorkina（ITMO University） 通讯作者：未说明 作者列表：Anastasia Zorkina、Alexandr Anikin、Nikita Khmelev、Anastasiya Korenevskaya、Sergey Novoselov、Vladimir Volokhov、Maxim Korenevsky、Yuriy Matveev（机构均未明确列出，但NVIDIA NeMo工具包的使用暗示部分作者可能与NVIDIA有关联） 💡 毒舌点评 这篇论文的精髓在于“搭积木”：取NeMo的生成式语音增强模型做骨架，用Wav2Vec说话人编码器当万能胶，糊上Best-of-N采样的膏药，最后塞进一个分块-对齐的框架里，拼出个能跑长音频的分离流水线。下游任务（ASR和SV）指标确实亮眼，证明这积木搭得挺实用。然而，作为一篇机器学习论文，它在方法层面的贡献约等于零——流匹配框架没动，生成模型架构是现成的，Best-of-N更是LLM圈玩剩下的。实验部分拿非最优分块模式下的SepReformer当垫脚石，对比的公平性存疑，而且代码和数据权重一丁点都没放出来。在NeurIPS/ICML这个级别，工程拼装手艺再好，也抵不过方法论创新的贫瘠和实验严谨性的缺失。 ...

语音/音乐/音频论文速递 2026-07-08 共分析 26 篇论文 ⚡ 今日概览 📥 抓取 26 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音属性识别 3篇 ███ #音频分类 3篇 ███ #语音合成 3篇 ███ #语音识别 3篇 ███ #声源定位 2篇 ██ #音乐生成 2篇 ██ #语音交互 1篇 █ #音频事件检测 1篇 █ 📊 论文评分排行榜（26 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Hierarchical Acoustic-Semantic Modeling: Modality Separ 9.2分 前10% #语音交互 🥈 Propose and Attend: Training-free MLLM Grounding Confid 8.2分 前25% #音频事件检测 🥉 Music I Care About: Automated Multimodal Benchmarking o 7.8分 前25% #音乐理解 4. Escaping the Procrustean Bed: Groupwise Orthogonal Conn 7.8分 前25% #语音属性识别 5. TriA Pipeline: A Large-Scale Automatic Audio Annotation 7.4分 前50% #音频分类 6. InsideSSL: Understanding Self-Supervised Speech Represe 7.4分 前50% #语音属性识别 7. Precise Video-to-Audio Generation with Cross-Modal Alig 7.4分 前50% #音视频生成 8. WordVoice: Explicit and Decoupled Multi-Dimensional Wor 7.2分 前50% #语音合成 9. ForestIR: Physics-Informed Forest Sound Simulation for 7.2分 前50% #声源定位 10. Uncovering Latent Depression Severity for Binary Depres 7.0分 前50% #音视频理解 11. Determinantal point process sampling for bioacoustic ac 6.9分 前50% #音频分类 12. From Sinhala to Dhivehi: Cross-Lingual Transfer Learnin 6.6分 前50% #语音识别 13. Goodbye Equal Error Rate, Hello Local Information Discl 6.5分 前50% #语音转换 14. BlueMagpie-TTS: A Token-Efficient Tokenizer, Language M 6.5分 前50% #语音合成 15. Fréchet Distance Loss on Speech Representations for Tex 6.5分 前50% #语音合成 16. NAVER LABS System Re-implementation for the IWSLT 2026 6.4分 前50% #语音翻译 17. Few-Shot Class-Incremental Audio Classification Using P 6.3分 前50% #音频分类 18. Gemma 4 Technical Report 6.2分 前50% #语音识别 19. Revisiting the Relation Between Language Model Perplexi 6.0分 前50% #语音识别 20. Multimodal Video-to-Music Recommendation via Semantic R 5.4分 后50% #音乐检索 21. Designing Maintainable Hybrid Generative Systems: A Qua 5.3分 后50% #音乐生成 22. Learning-based Physics-Constrained Neural Kernel for So 5.2分 后50% #声源定位 23. Distributed Multichannel Wiener Filtering for Topology- 5.1分 后50% #语音增强 24. Flow Matching-Based Speech Source Separation with Best- 4.9分 后50% #语音分离 25. Umm… With Transformers? Insights from Filled Pause Us 4.8分 后50% #语音属性识别 26. From Textural Counterpoint to Feature Encoding: A Multi 2.1分 后50% #音乐生成 📋 论文列表 🥇 Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs 9.2/10 | 创新 1.8/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 ...

📄 BAT: Better Audio Transformer Guided by Convex Gated Probing #音频分类 #音频事件检测 #语音识别 #自监督学习 #Transformer 8.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.6/10 | 前25% | #音频分类 | #自监督学习 | #音频事件检测 #语音识别 | arxiv 👥 作者与机构 第一作者：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel，现就职于 Earth Species Project）（并列一作） 通讯作者：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel） 作者列表：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel，现就职于 Earth Species Project）、Christoph Scholz（University of Kassel，Fraunhofer IEE）、Paul Devos（Ghent University） 发表于 ICML 2026，首尔，韩国 💡 毒舌点评 论文以鲜明的"探测优先于微调"的评估哲学切入，提出的 CGP 和 BAT 形成了一套从评估到模型设计的闭环，实验维度相当完整且可复现性意识强。不过，其 AS-2M 的最终微调性能未能超越已报告 SOTA（Reported SSLAM 50.2 vs BAT 48.85），且性能提升的来源存在一定"调参红利"嫌疑，部分结论的泛化性仍待更严格的跨框架验证。 ...

📄 PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs #空间音频 #Transformer #大语言模型 #参数高效微调 #多通道 8.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.7/10 | 前25% | #空间音频 | #Transformer | #大语言模型 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Artem Dementyev (Google DeepMind, Cambridge, USA) 通讯作者：Artem Dementyev (Google DeepMind, Cambridge, USA) 作者列表：Artem Dementyev (Google DeepMind, Cambridge, USA)、Wazeer Zulfikar (Media Lab, MIT, Cambridge, USA)、Sinan Hersek (Google AR, Seattle, WA)、Pascal Getreuer (Google DeepMind, Cambridge, USA)、Anurag Kumar (Google DeepMind, Cambridge, USA)、Vivek Kumar (Google DeepMind, Cambridge, USA) 💡 毒舌点评 在LLM普遍缺乏空间听觉的当下，提出几何无关的空间音频编码器并与Gemma集成，切入点精准，但实验验证过分依赖合成数据，如同在声学真空里练出绝世武功，一到真实环境的混响、遮挡和噪声面前就难免露怯。定向转录准确率仅44%-52%，离实用还很遥远，更像是给LLM装上了一副度数不太准的眼镜。 ...

📄 Pianist Transformer: Towards Expressive Piano Performance Rendering via Scalable Self-Supervised Pre-Training #音乐生成 #预训练 #自监督学习 #Transformer #SFT 8.1/10 | 创新 1.1/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8.1/10 | 前25% | #音乐生成 | #预训练 | #自监督学习 #Transformer | arxiv 👥 作者与机构 第一作者：Hong-Jie You（南京大学 计算机软件新技术国家重点实验室、人工智能学院） 通讯作者：Yu-Feng Li（南京大学 计算机软件新技术国家重点实验室、人工智能学院） 作者列表：Hong-Jie You（南京大学）、Jie-Jing Shao（南京大学 人工智能学院）、Xiao-Wen Yang（南京大学 人工智能学院）、Lin-Han Jia（南京大学 人工智能学院）、Lan-Zhe Guo（南京大学 智能科学与技术学院）、Yu-Feng Li（南京大学 人工智能学院） 💡 毒舌点评 本文将一个在NLP/CV中已被验证的预训练范式成功迁移到钢琴演奏渲染这一小众领域，并用漂亮的客观/主观双料SOTA数据说明了其有效性，故事逻辑完整。但“范式转变”的帽子扣得略大，本质上仍是“Masked Token Prediction + SFT”的标准配方，且10B-token预训练带来的性能增益在消融中仅依赖“有/无预训练”的二值比较，缺乏更细致的scaling law分析，使得“10B”这个数字更像一个资源配置的结果而非深刻的科学洞察。局限性讨论过于温和，对为何在踏板维度上未能全面领先SOTA避而不谈。 ...

📄 Rethinking Attention in Spiking Transformers: Overcoming Density Bias with Set Similarity #音频分类 #Transformer 3.6/10 | 创新 0.8/2 | 严谨 0.6/1.5 | 实验 0.5/1.5 | 清晰 0.6/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 📝 3.6/10 | 后50% | #音频分类 | #Transformer | arxiv 👥 作者与机构 第一作者：JinGyo Lim（首尔科学技术大学人工智能应用系） 通讯作者：Seong-Eun Kim（首尔科学技术大学人工智能应用系） 作者列表：JinGyo Lim、Seung Gyu Jeong、Seong-Eun Kim（均来自首尔科学技术大学人工智能应用系） 💡 毒舌点评 这篇论文的Dice系数归一化思路简洁有效，用一个集合相似度指标解决了SNN-Transformer中长期被忽视的脉冲密度偏差问题——这是论文的唯一亮点。但令人失望的是，研究者在证明这一想法的有效性上投入不足，实验设计存在多处理论与实证断裂：能量估算基于十年前的45nm工艺，对现代神经形态硬件毫无参考价值；与音频SOTA（DTF-AT 0.187 mAP）的差距（-2.6个点）在不同汇报范式和训练设置下无法公平比较，却仍然声称“narrowing the gap”；CIFAR-100上的微弱提升（+0.59pp/+0.26pp）仅有两个模型实验，既无统计检验也无ImageNet验证，远不足以声称“broader applicability”。在缺乏代码、模型和硬件验证的现状下，这是一篇有闪光想法但工程和科学严谨性均未达标的半成品。 📌 核心摘要 该论文针对脉冲Transformer中普遍存在的“密度偏差”问题——即现有脉冲注意力机制（点积或哈达玛积）的得分与脉冲发放率高度相关，导致高发放率神经元即使不含语义信息也能支配注意力。作者提出Spike Dice Attention (SDA)，将集合相似度指标（Dice系数）引入脉冲注意力，通过对脉冲计数的显式归一化消除密度偏差。论文进一步设计了音频专用的频率-时间解耦架构（SADA），并提出了线性化版本Lin-SDA以适配神经形态硬件。 ...

📄 Scaling Transformers for End-to-End Discrete Audio Tokenization #音频编码 #语音合成 #语音识别 #Transformer #自回归模型 #多任务学习 #流式处理 7.1/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.9/1.5 ✅ 7.1/10 | 前50% | #音频编码 | #Transformer | #语音合成 #语音识别 | arxiv 👥 作者与机构 第一作者：Yitian Gong（复旦大学、上海创新研究院、MOSI Intelligence） 通讯作者：Xipeng Qiu（复旦大学、上海创新研究院、MOSI Intelligence） 作者列表：Yitian Gong、Kuangwei Chen、Zhaoye Fei、Xiaogui Yang、Ke Chen、Yang Wang、Kexin Huang、Mingshu Chen、Ruixiao Li、Qinyuan Cheng、Shimin Li、Xipeng Qiu 💡 毒舌点评 TAC 把 ConvNet、预训练编码器、语义蒸馏这些被社区用了好几年的“拐杖”全扔掉，用一套纯因果 Transformer 从零开始联合优化所有模块，重建质量和下游任务效果确实能打。但“统一可扩展接口”的口号，在代码、模型、数据全部闭源面前，听起来更像是为自家闭源生态写的一份白皮书。另外，靠着碾压同行的内部数据量去比公开数据训出来的模型，然后说架构更好——这种“降维打击”，审稿人心里是不会给足创新分和公平性分的。 ...

📄 Enhancing Acoustic-to-Articulatory Inversion with Multi-Target Pretraining for Low-Resource Settings #语音交互 #预训练 #多任务学习 #低资源 #迁移学习 #Transformer 7/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7/10 | 前50% | #语音交互 | #预训练 | #多任务学习 #低资源 | arxiv 👥 作者与机构 第一作者：Jesuraj Bandekar（印度科学学院电气工程系） 通讯作者：Prasanta Kumar Ghosh（印度科学学院电气工程系） 作者列表：Jesuraj Bandekar、Prasanta Kumar Ghosh（均来自印度科学学院电气工程系） 资助信息：本研究由印度科技部（Department of Science and Technology, DST）资助。 💡 毒舌点评 本文用一套组合式多任务预训练给低资源 AAI 打了针强心剂，用廉价的 MFCC 就敢叫板重量级 SSL 特征，工程实用性看似不错。但方法只是将已知预训练目标拼盘，却未深究多目标间的互补与冗余；消融止于最终性能的罗列，没有一丝表征层面的分析。仅抱紧 TERA 和单一数据集，就敢声称“高效替代”，说服力在审稿人看来仍需更多证据。 ...

语音/音乐/音频论文速递 2026-07-03 共分析 31 篇论文 ⚡ 今日概览 📥 抓取 31 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频分类 4篇 ████ #声源定位 4篇 ████ #语音识别 4篇 ████ #语音交互 3篇 ███ #语音合成 3篇 ███ #音视频理解 2篇 ██ #语音增强 2篇 ██ #音乐理解 1篇 █ 📊 论文评分排行榜（31 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Unlocking Speech-Text Compositional Powers: Instruction 8.5分 前25% #语音交互 🥈 Decomposer: Learning to Decompile Symbolic Music to Pro 8.4分 前25% #音乐理解 🥉 A global predicted-fMRI drive signal from TRIBE does no 7.7分 前25% #音视频理解 4. Cross Domain Few-Shot Class-Incremental Audio Classific 7.4分 前50% #音频分类 5. Self-Supervised Test-Time Tuning for Packet Loss Concea 7.4分 前50% #音频修复 6. Reasoning LLM Improves Speaker Recognition in Long-form 7.2分 前50% #音视频理解 7. SelectTSL: Prompt-Guided Selective Target Sound Localiz 7.1分 前50% #声源定位 8. Enhancing Acoustic-to-Articulatory Inversion with Multi 7.0分 前50% #语音交互 9. TurnNat: Automatic Evaluation of Turn-Taking Naturalnes 7.0分 前50% #语音交互 10. Audio-Based Understanding of Audiobook Narration Appeal 6.9分 前50% #语音属性识别 11. H-SAGE: Holistic Speaker-Aware Guided Experts for MoE-b 6.9分 前50% #语音识别 12. An Efficient vLLM-Based Inference Pipeline for Unified 6.8分 前50% #语音合成 13. Few-Shot Open-Set Audio Classification Using Attention 6.8分 前50% #音频分类 14. Beyond Words: Towards Effective Modeling of Non-Verbal 6.4分 前50% #语音识别 15. LMPAN: A Lightweight Multi-Path Alignment Network for J 6.2分 前50% #语音增强 16. NAVER LABS Europe Submission to the Instruction-followi 6.2分 前50% #语音翻译 17. Pmeta-TLA: Backdoor Attacks for Speech Classification M 6.0分 前50% #语音唤醒 18. Neural Audio Codec with Adjustable Token Temporal Resol 5.8分 前50% - 19. SPARCLE: SPeaker-aware Aligned Representations via Cont 5.8分 前50% #语音合成 20. Speaker head orientation estimation with a single micro 5.8分 前50% #声源定位 21. Towards a Phonology-Informed Evaluation of Multilingual 5.7分 前50% #语音质量评估 22. Rethinking Speech-LLM Integration for ASR: Effective Jo 5.6分 前50% #语音识别 23. RT-Tango: Real-Time Distributed Binaural Speech Enhance 5.5分 前50% #语音增强 24. Quantifying the Uncertainty of Blindly Estimated Room E 5.2分 后50% #音频检索 25. CNN Models for Microphone Array Covariance Matrix Upsam 5.0分 后50% #声源定位 26. A Multi-Branch Hierarchy-Aware Framework for Heterogene 4.9分 后50% #音频分类 27. From Monolingual to Multilingual: Evaluating Mamba for 4.8分 后50% #语音识别 28. DRL-CLBA: A Clean Label Backdoor Attack for Speech Clas 4.7分 后50% #音频分类 29. Spatial Speech Perception Systems: A Survey of Sound So 4.1分 后50% #声源定位 30. UT-AISTimprt submission for ICME 2026 Grand Challenge o 4.1分 后50% #音乐生成 31. Using embeddings to predict spoken word duration and pi 4.0分 后50% #语音合成 📋 论文列表 🥇 Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning 8.5/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.1/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ...

📄 CodecSep: Prompt-Driven Universal Sound Separation on Neural Audio Codec Latents #Transformer #多任务学习 #多模态模型 7.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ✅ 7.7/10 | 前25% | 音频分离 | #Transformer | #多任务学习 #多模态模型 | arxiv 👥 作者与机构 作者：Adhiraj Banerjee, Vipul Arora 机构：印度理工学院坎普尔分校电气工程系 💡 毒舌点评 论文提出了一个想法清��的模型：利用已经训练好的音频压缩模型（DAC）的紧凑表示和一个强大的文本-音频对齐模型（CLAP）的文本特征，通过一个轻量级的Transformer掩码器实现高效的文本引导音频分离。这个思路在计算效率上确实取得了显著优势，尤其是在边缘部署场景下，GMACs大幅降低。然而，“首个”的宣称需要谨慎对待，因为 CodecFormer 等工作已经探索了NAC在分离中的应用，本文的核心是加入了文本引导。实验评估全面，覆盖了多个数据集和不同的提示粒度。主要问题在于：1) 代码和模型权重未开源，严重削弱了可复现性和社区验证的基础；2) 论文第3.3节关于“为什么NAC潜在空间更好”的讨论篇幅过长，部分内容（如与RVQ层级结构的关联）更像是推测而非由严格实验证明的因果结论；3) 核心结论“掩码优于生成”虽然得到表格3的支持，但对照组（CodecFormer）是固定类别分离模型，与文本引导设置不完全对等，使得比较的公平性稍打折扣。总体而言，这是一篇扎实的增量工作，解决了具体且重要的部署效率问题，但缺乏代码开源和更底层的理论分析。 📌 核心摘要 CodecSep是首个将神经音频编解码器（NAC）与文本引导相结合，用于通用音频源分离的模型。它通过将预训练的DAC作为编解码骨干，冻结其参数，并利用CLAP生成的文本嵌入，通过FiLM条件调制一个Transformer掩码器。掩码器在DAC编码的紧凑潜在空间上操作，预测源掩码，从而实现高效的分离。该方法在分离保真度（SI-SDR）上超越了AudioSep，同时保持了有竞争力的感知质量（ViSQOL），并将代码流部署下的计算成本降低了约54倍。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。 数据集： dnr-v2 (Divide and Remaster v2.0)：论文中提及该数据集的引用，但未提供具体下载链接。 AudioCaps：论文中提及该数据集的引用，但未提供具体下载链接。 ESC-50：论文中提及该数据集的引用，但未提供具体下载链接。 Clotho-v2：论文中提及该数据集的引用，但未提供具体下载链接。 AudioSet-eval：论文中提及该数据集的引用，但未提供具体下载链接。 VGGSound：论文中提及该数据集的引用，但未提供具体下载链接。 LibriSpeech, FMA (Free Music Archive), FSD50K：论文中提及作为dnr-v2的组成部分，但未提供具体下载链接。 Demo：论文中未提及。 复现材料：论文中未提及单独的复现材料包（如预训练检查点、完整训练配置文件等）。论文在第4.3节“训练”中详细描述了训练配置（如优化器、学习率、硬件环境等），但未提供可直接使用的材料链接。 论文中引用的开源项目： CLAP (Contrastive Language-Audio Pretraining)：论文中引用，但未提供具体代码仓库链接。 DAC (Descript Audio Codec)：论文中引用，但未提供具体代码仓库链接。 CodecFormer：论文中引用，但未提供具体代码仓库链接。 SDCodec：论文中引用，但未提供具体代码仓库链接。 AudioSep：论文中引用，但未提供具体代码仓库链接。 Torchprofile：用于计算MACs的工具，论文中提供了其GitHub链接：https://github.com/zhijian-liu/torchprofile。 TDANet：论文中引用，但未提供具体代码仓库链接。 DPTNet, SepFormer, Wave-UNet, Demucs, MM-DenseLSTM, DCCRN, Spleeter：论文中引用，但均未提供具体代码仓库链接。 🏗️ 方法概述和架构 CodecSep采用编码器-掩码器-解码器的架构，在DAC的潜在空间中进行操作。 ...