自监督学习

ICML 2026 语音/音频论文详细分析 共分析 137 篇 ICML 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文： 音视频理解（18篇） 音视频生成（10篇） 音频分类（9篇） 音频理解（8篇） 音乐生成（8篇） 语音合成（8篇） 音视频问答（8篇） 语音识别（5篇） 语音伪造检测（4篇） 语音交互（4篇） 语音增强（4篇） 语音编码（4篇） 多模态模型（3篇） 音频伪造检测（3篇） 音频分离（2篇） 空间音频（2篇） 音频编码（2篇） 音频修复（2篇） 语音属性识别（2篇） 音频生成（2篇） ⚡ 会议概览 📥 ICML 2026 接收 6341 篇论文 → 🔍 关键词 + LLM 筛选 137 篇音频/语音/音乐相关 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 18篇 ██████████████████ #音视频生成 10篇 ██████████ #音频分类 9篇 █████████ #音频理解 8篇 ████████ #音乐生成 8篇 ████████ #语音合成 8篇 ████████ #音视频问答 8篇 ████████ #语音识别 5篇 █████ #语音伪造检测 4篇 ████ #语音交互 4篇 ████ #语音增强 4篇 ████ #语音编码 4篇 ████ #多模态模型 3篇 ███ #音频伪造检测 3篇 ███ #音频分离 2篇 ██ 📊 论文评分排行榜（137 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with T 9.4分 前10% #音视频理解 🥈 Joint Enhancement and Classification using Coupled Diff 9.3分 前10% #语音识别 🥉 Learning Tight Rejection Boundaries without Negatives f 9.3分 前10% #语音伪造检测 4. AVTrack: Audio-Visual Tracking in Human-centric Complex 9.3分 前10% #音视频理解 5. A Semantically Consistent Dataset for Data-Efficient Qu 9.2分 前10% #音频分离 6. SAM Audio: Segment Anything in Audio 9.2分 前10% #音频分离 7. MECAT: A Multi-Experts Constructed Benchmark for Fine-G 9.1分 前10% #音频理解 8. $\tau$-Voice: Benchmarking Full-Duplex Voice Agents on 9.1分 前10% #语音交互 9. PhaseCoder: Microphone Geometry-Agnostic Spatial Audio 8.7分 前25% #空间音频 10. BAT: Better Audio Transformer Guided by Convex Gated Pr 8.6分 前25% #音频分类 11. SPEAR: A Unified SSL Framework for Learning Speech and 8.4分 前25% #音频理解 12. Dual-View Predictive Diffusion: Lightweight Speech Enha 8.4分 前25% #语音增强 13. Unlocking Cross-Modal Biosignal Synthesis: A Temporally 8.3分 前25% - 14. CoLA: Cross-Modal Low-rank Adaptation for Multimodal Do 8.3分 前25% #音视频理解 15. Speech-Audio Compositional Attacks on Multimodal LLMs a 8.3分 前25% #音频理解 16. MoST: Mixing Speech and Text with Modality-Aware Mixtur 8.2分 前25% - 17. IVQ: Structured and Lightweight Vector Quantization via 8.2分 前25% #音频编码 18. Spherical Procrustes Alignment for Reliable Medical Aud 8.2分 前25% #音频分类 19. Attend to Anything: Foundation Model for Unified Human 8.2分 前25% #音视频理解 20. VocSim A Training-free Benchmark for Zero-shot Content 8.2分 前25% #音频检索 21. JAEGER: Joint 3D Audio-Visual Grounding and Reasoning i 8.1分 前25% #声源定位 22. LALM-as-a-Judge: Benchmarking Large Audio-Language Mode 8.1分 前25% #语音交互 23. Pianist Transformer: Towards Expressive Piano Performan 8.1分 前25% #音乐生成 24. Simultaneous Speech-to-Speech Translation Without Align 8.0分 前25% #语音翻译 25. PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前25% #音乐生成 26. Optimality of FSQ Tokens for Continuous Diffusion for C 8.0分 前25% #语音合成 27. SonicMaster: Towards Controllable All-in-One Music Rest 8.0分 前25% #音频修复 28. Do Audio LLMs Listen or Read? Analyzing and Mitigating 8.0分 前25% #语音属性识别 29. Multiple Choice Learning of Low-Rank Adapters for Langu 8.0分 前25% #多模态模型 30. Bridging the Stability-Expressivity Gap: Synthetic Data 8.0分 前25% #语音合成 31. FutureOmni: Evaluating Future Forecasting from Omni-Mod 8.0分 前25% #音视频问答 32. Acoustic Interference: A New Paradigm Weaponizing Acous 8.0分 前25% #音频理解 33. ReGen: Hierarchical Multi-Prompt Representation Generat 8.0分 前25% #语音编码 34. DiscoForcing: A Unified Framework for Real-Time Audio-D 8.0分 前25% #音乐生成 35. DreamID-Omni: Unified Framework for Controllable Human- 8.0分 前25% #音视频生成 36. AgentSteerTTS: A Multi-Agent Closed-Loop Framework for 7.9分 前25% #语音合成 37. STAR-VAE: Structured Topology-Aware Regularization for 7.9分 前25% #音频生成 38. HyperPotter: Spell the Charm of High-Order Interactions 7.9分 前25% #音频伪造检测 39. T2AV-Compass: Towards Unified Evaluation for Text-to-Au 7.9分 前25% #音视频生成 40. Decoupling The “What” and “Where” With Polar Coordinate 7.8分 前25% #音乐生成 41. V-LynX: Token Interface Alignment for Video+X LLMs 7.8分 前25% #音视频问答 42. Ariadne’s Thread of LipSync: Unraveling Forgeries via I 7.8分 前25% #音视频理解 43. SONAR: Spectral‑Contrastive Audio Residuals for General 7.8分 前25% #语音伪造检测 44. TMD-Bench: A Multi-Level Evaluation Paradigm for Music– 7.7分 前25% #音视频生成 45. AudioMosaic: Contrastive Masked Audio Representation Le 7.7分 前25% #音频分类 46. BFCL Audio: An Audio Function Calling Evaluation for La 7.7分 前25% #语音交互 47. SALSA-V: Shortcut-Augmented Long-form Synchronized Audi 7.6分 前25% #音视频生成 48. BEAT: Tokenizing and Generating Symbolic Music by Unifo 7.6分 前25% #音乐生成 49. From Inpainting to Editing: Unlocking Robust Mask-Free 7.6分 前25% #扩散模型 50. Hearing Without Noticing? Attention-Aware Stealthy Blac 7.6分 前25% #语音识别 51. AVGen-Bench: A Task-Driven Benchmark for Multi-Granular 7.6分 前25% #音视频生成 52. Alethia: a Foundational Encoder for Voice Deepfakes 7.6分 前25% #语音伪造检测 53. AG-REPA: Causal Layer Selection for Representation Alig 7.6分 前25% #语音合成 54. AVI-Bench: Toward Human-like Audio-Visual Intelligence 7.6分 前25% #音视频理解 55. Two-dimensional quantization for geometry-aware audio c 7.6分 前25% #语音编码 56. Abstraction Induces the Brain Alignment of Language and 7.5分 前25% #语音编码 57. Self-Guidance: Enhancing Neural Codecs via Decoder Mani 7.5分 前25% #语音编码 58. OmniVideo-R1: Reinforcing Audio-visual Reasoning with Q 7.5分 前25% #音视频问答 59. Listening Through the Noise: Cauchy-Driven Diffusion Br 7.4分 前50% #音频修复 60. MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 7.4分 前50% - 61. Omni-Perception Policy Optimization for Multimodal Emot 7.4分 前50% #音视频理解 62. video-SALMONN S: Memory-Enhanced Streaming Audio-Visual 7.3分 前50% #音视频问答 63. Group Cognition Learning: Making Everything Better Thro 7.3分 前50% #音视频理解 64. REST: Diffusion-based Real-time End-to-end Streaming Ta 7.3分 前50% #音视频生成 65. PhoStream: Benchmarking Real-World Streaming for Omnimo 7.3分 前50% #音视频问答 66. ProactiveLLM: Learning Active Interaction for Streaming 7.2分 前50% #语音识别 67. Stream RAG: Instant and Accurate Spoken Dialogue System 7.2分 前50% #流式处理 68. Probing Cross-modal Information Hubs in Audio-Visual LL 7.2分 前50% #音视频理解 69. Efficient Multi-modal Dataset Distillation via Analytic 7.2分 前50% #对比学习 70. Self-Supervised Flow Matching for Scalable Multi-Modal 7.2分 前50% #音视频生成 71. CoCoEmo: Composable and Controllable Human-Like Emotion 7.1分 前50% #语音合成 72. Scaling Transformers for End-to-End Discrete Audio Toke 7.1分 前50% #音频编码 73. Query-Based Asymmetric Modeling with Decoupled Input–Ou 7.1分 前50% #语音增强 74. OmniSIFT: Modality-Asymmetric Token Compression for Eff 7.1分 前50% #音视频问答 75. Sparse Autoencoders for Interpretable Emotion Control i 7.0分 前50% #语音合成 76. The Silent Thought: Modeling Internal Cognition in Full 7.0分 前50% #知识蒸馏 77. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 7.0分 前50% #音频水印 78. Efficient Distributed MLLM Training with Cornstarch 7.0分 前50% #音视频理解 79. Reasoning LLM Improves Speaker Recognition in Long-form 7.0分 前50% - 80. Real-World Unsupervised Models Generalize to Predict Br 6.9分 前50% #模型评估 81. From Talking to Singing: A New Challenge for Audio-Visu 6.9分 前50% #音视频理解 82. OmniShow: Unifying Multimodal Conditions for Human-Obje 6.9分 前50% #音视频生成 83. E-VAds: An E-commerce Short Videos Understanding Benchm 6.9分 前50% #音视频问答 84. STARCaster: Spatio-Temporal AutoRegressive Video Diffus 6.8分 前50% #音视频生成 85. Zero-Shot Rankability: Revealing Latent Ordinal Structu 6.8分 前50% #音视频理解 86. An Exterior Method for Nonnegative Matrix Factorization 6.8分 前50% #音频分类 87. FoeGlass: Simple In-Context Learning Is Enough for Red 6.8分 前50% #语音伪造检测 88. Native Active Perception as Reasoning for Omni-Modal Un 6.8分 前50% #音视频理解 89. Unlocking Speech–Text Compositional Powers: Instruction 6.7分 前50% #语音交互 90. UltraLIF: Fully Differentiable Spiking Neural Networks 6.7分 前50% #音频分类 91. Towards Streaming Synchronized Spatial Audio Generation 6.6分 前50% #音视频生成 92. TextME: Bridging Unseen Modalities Through Text Descrip 6.6分 前50% - 93. Evaluating and Rewarding LALMs for Expressive Role-Play 6.6分 前50% #语音合成 94. PADS-TAL: Padding-Annealed Diffusion Sampling in Text-A 6.6分 前50% #音乐生成 95. ADEPT: RL-Aligned Agentic Decoding of Emotion via Evide 6.5分 前50% #语音情感识别 96. Universal Algorithm-Implicit Learning 6.5分 前50% #音频分类 97. SARSteer: Safeguarding Large Audio Language Models via 6.5分 前50% - 98. MetaPerch: Learning from metadata for bioacoustics foun 6.5分 前50% #音频分类 99. Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Mus 6.5分 前50% #音乐生成 100. CMI-RewardBench: Evaluating Music Reward Models with Co 6.4分 前50% #音乐生成 101. Multimodal Fact-Level Attribution for Verifiable Reason 6.4分 前50% #音频理解 102. MedMosaic: A Challenging Large Scale Benchmark of Diver 6.4分 前50% #音频理解 103. INFER: Learning Implicit Neural Frequency Response Fiel 6.4分 前50% #空间音频 104. Characterizing the Predictive Impact of Modalities with 6.4分 前50% - 105. PCRNet: Phase-aware Complex Refinement Network for EEG- 6.4分 前50% #实时处理 106. OmniFit: Bridging Modalities via Layer-Adaptive Token C 6.3分 前50% #音视频理解 107. EchoingPixels: Aliasing-Resistant Joint Token Reduction 6.3分 前50% #音视频理解 108. Quaternion Self-Attention with Shared Scores 6.3分 前50% #语音增强 109. LightAVSeg: Lightweight Audio-Visual Segmentation 6.3分 前50% #模型压缩 110. SURF: Separation via Unsupervised Remixing Flow 6.2分 前50% #语音分离 111. Neural-Inspired Modeling of Auditory Selection and Comp 6.2分 前50% #音视频语音分离 112. AuTAgent: A Reinforcement Learning Framework for Tool-A 6.2分 前50% #音频理解 113. Multimodal Latent Language Modeling with Next-Token Dif 6.1分 前50% #语音合成 114. FakeWorld 1.0: An Omni-modal Benchmark for Fake Media a 6.1分 前50% #可解释性 115. ConsMSA: Semantic Distribution Consistency Learning for 6.1分 前50% #多模态模型 116. MusicDET: Zero-Shot AI-Generated Music Detection 6.1分 前50% #音频伪造检测 117. Convex Low-resource Accent-Robust Language Detection in 6.0分 前50% #语音识别 118. NeuroCLUS: A Foundation Model with Functional Clusterin 6.0分 前50% #语音识别 119. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 5.9分 前50% #模型剪枝 120. Scaling Behavior in Model Fine-tuning for Audio DeepFak 5.9分 前50% #音频伪造检测 121. Bioacoustic Geolocation: Species Sounds as Geographic S 5.8分 前50% #音频理解 122. AudioChat: Unified Audio Storytelling, Editing, and Und 5.8分 前50% #音频生成 123. Omni-Diffusion: Unified Multimodal Understanding and Ge 5.8分 前50% - 124. Robust Signal Enhancement via Fractional Detail Views a 5.7分 前50% #语音增强 125. Multimodal Fusion via Self-Consistent Task-Gradient Fie 5.5分 前50% #鲁棒性 126. NAACA: Training-Free NeuroAuditory Attentive Cognitive 5.5分 前50% #音频事件检测 127. Language Model Augmented Semi-Supervised Statistical In 5.4分 后50% #语音属性识别 128. MER-DG: Modality-Entropy Regularization for Multimodal 5.4分 后50% #音视频理解 129. Towards Understanding Modality Interaction in Multimoda 5.3分 后50% #音视频理解 130. Stable Spectral Copula Alignment for Robust Multimodal 5.2分 后50% #鲁棒性 131. Multimodal Meta-Verifier with Explicit Structured Recal 5.2分 后50% #多模态模型 132. WaveSSM: Multiscale State-Space Models for Non-stationa 4.8分 后50% #音频分类 133. Efficient, Property-Aligned Fan-Out Retrieval via RL-Co 4.7分 后50% #音乐检索 134. VIBE: Disentangling Social Dynamics via Kinematics-Info 4.6分 后50% - 135. UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuni 4.4分 后50% #音视频问答 136. Rethinking Attention in Spiking Transformers: Overcomin 3.6分 后50% #音频分类 137. PRIM：Cooperative Dynamic Token Compression for Efficien 3.6分 后50% #音视频理解 📋 论文列表 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions 🔥 9.4/10 | 前10% | #音视频理解 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 影响 0.9/1.5 | 开源 1.5/1.5 ...

📄 DONDO: Open w2v-BERT Speech-Recognition Base Models for African Languages 标签：#语音识别 #预训练 #自监督学习 #低资源 #音频理解 8.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 🔥 8.1/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #语音识别 | #预训练 | #自监督学习 #低资源 | arxiv 👥 作者与机构 第一作者：Paul Azunre (Khaya AI) 通讯作者：未说明 作者列表：Paul Azunre (Khaya AI) 项目名称：Democratizing Oral Neural Dialect Ontology (DONDO) 💡 毒舌点评 亮点在于一个工程完整度极高的低资源ASR开源项目，覆盖27种非洲语言并给出了可复现的训练配方，对社区有直接价值。短板是实验设计相对保守，缺乏与Whisper、MMS等同类多语言模型的直接对比和深入的消融分析，使得其“base model”的定位说服力略有不足。 ...

📄 OPOD: On-Policy Omni Distillation 标签：#多模态模型 #知识蒸馏 #后训练 #强化学习 #自监督学习 7.1/10 | 创新 1.8/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #多模态模型 | #知识蒸馏 | #后训练 #强化学习 | arxiv 👥 作者与机构 第一作者：Tong Zhao（工作于腾讯实习期间完成） 通讯作者：Zhicheng Dou 作者列表：Tong Zhao（腾讯）、Yuyang Hu（腾讯）、Reed Li（腾讯）、Yu Lu（腾讯）、Haibo Shi（腾讯）、Yutao Zhu（腾讯）、Zhicheng Dou（腾讯）。所有作者机构均标注为腾讯，但未说明具体实验室或部门。 💡 毒舌点评 论文将“多教师路由”与“精细过程奖励”结合，提出了一个逻辑自洽的框架来解决全模态模型融合中的能力冲突问题，在多个骨干网络上均取得了显著提升，实验设计和消融分析扎实。然而，其核心贡献——三个专项教师模型及其训练流程——完全未开源，训练数据、代码、模型权重均未公开，关键训练细节（如优化器、学习率、完整超参数）也缺失，这使得这项工作的“可复现性”和“实际影响力”大打折扣，更像是一份缺乏透明度的技术报告，而非一项可复现的学术研究。 📌 核心摘要 要解决什么问题：在训练能够处理文本、图像和音频的全模态大模型时，简单地将多模态数据混合进行强化学习（如GRPO）训练，会导致不同模态能力相互冲突，难以达到各模态专项教师模型的性能水平。 方法核心是什么：提出“On-Policy Omni Distillation (OPOD)”框架，通过一个基于输入模态标签的路由机制，将学生模型的生成轨迹分发到对应模态（文本/图像/音频）的专项教师模型进行评估。教师的评估信号被转化为三个互补的损失组件：单边token级指导、模态自适应权重控制以及教师验证的推理过程奖励，共同更新学生模型。 与已有方法相比新在哪里：相较于标准的On-Policy Distillation (OPD)和ExOPD，OPOD通过路由解决了教师冲突；通过单边引导（仅保留教师比学生自信的token指导）避免了学生超越教师后被拉回；通过模态自适应控制（为每种模态维护独立的约束预算和权重）避免了不同模态训练速度不一致导致的性能此消彼长；并通过教师作为验证器，设计了“答案置信度”和“推理增益”两个过程奖励，提供了超越最终答案正确性的密集监督信号。 主要实验结果如何：在Qwen3-Omni-30B-A3B、Qwen2.5-Omni-7B和3B三个骨干上进行了评估。在30B模型上，OPOD的12个基准测试平均得分为70.8，比最强的基线（ExOPD，68.6）高2.2分，在所有12个基准上均优于基础模型和混合数据GRPO，且在11个基准上排名第一或第二（包含单独教师对比）。跨尺度实验显示，OPOD在3B和7B骨干上也分别以46.2和51.7的平均分领先，优势明显。 实际意义是什么：提供了一种有效的方法，将多个在不同模态上表现优异的专家模型的能力，整合到一个统一的、可部署的模型中，避免了推理时的集成开销。 主要局限性是什么：论文未开源任何代码、模型或数据，使得完整复现极为困难。实验主要在特定系列模型（Qwen-Omni）上进行，对其他架构的泛化性有待验证。方法对教师模型的质量有强依赖。评估基准主要集中在知识问答和推理任务上，对开放生成任务的效果未知。验证奖励的计算增加了训练时的计算开销。 论文观察到，不同模态的专项教师具有互补优势，但直接混合数据训练会导致冲突。 ...

📄 Audio-Zero: Label-Free Self-Evolution for Fine-Grained Audio Reasoning 标签：#音频理解 #自监督学习 #多模态模型 #Transformer #模型评估 6.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频理解 | #自监督学习 | #多模态模型 #Transformer | arxiv 👥 作者与机构 第一作者：Siqian Tong（机构1：清华大学；机构2：鹏城实验室） 通讯作者：Xuan Li（机构1：清华大学；机构2：鹏城实验室）、Chaozhuo Li（机构3：中国人民大学） 作者列表：Siqian Tong（清华大学，鹏城实验室）、Xuan Li（清华大学，鹏城实验室）、Chaozhuo Li（中国人民大学）、Baolong Bi（鹏城实验室，北京大学）、Yiwei Wang（机构5）、Yujun Cai（机构6）、Shenghua Liu（鹏城实验室，北京大学）、Chengpeng Hao（清华大学，鹏城实验室）。 💡 毒舌点评 论文巧妙地将音频推理任务转化为一个“谁是卧底”式的自玩游戏，通过可验证的内部奖励信号驱动模型自进化，在无标签数据稀缺的音频领域提出了一条新颖的路径。然而，这项工作本质上是方法验证（Proof of Concept），而非一个可立即部署的工程方案。训练仅在2000对数据上进行，核心代码、模型和数据构建流程均未开源，使得其宣称的“可扩展性”和“实用性”大打折扣。实验结论强于证据，对奖励函数设计的脆弱性、游戏策略的潜在捷径以及评估基准的局限性缺乏深入探讨。 ...

📄 Layer-Wise Decision Fusion for Fake Audio Detection Using XLS-R 标签：#模型集成 #自监督学习 #音频理解 #Transformer #模型评估 7.5/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音频理解 | #模型集成 | #自监督学习 #Transformer | arxiv 👥 作者与机构 第一作者：Yixuan Xiao（斯图加特大学自然语言处理研究所） 通讯作者：Yixuan Xiao（斯图加特大学自然语言处理研究所） 作者列表：Yixuan Xiao（斯图加特大学自然语言处理研究所）、Ngoc Thang Vu（斯图加特大学自然语言处理研究所） 💡 毒舌点评 论文提出的“层决策融合”框架设计清晰，充分利用了大型语音模型（XLS-R）的多层异质性以避免特征坍塌，并附带了有价值的可解释性分析（层重要性、静音影响、离散token）。然而，其核心技术主张的严谨性受到以下因素制约：1) 与基线NN-ASP的性能差异被简单归因于输入长度，缺乏控制变量的严格验证；2) 最优跨域性能（6.90% EER）高度依赖于在ASVspoof19上发现的“去除静音”这一特定数据预处理捷径，其在更广泛真实场景下的鲁棒性存疑；3) 关键技术细节（如投影维度、损失函数公式）缺失，影响了可复现性。 ...

📄 Content is What Remains: Invariant Speech Tokenization from Parallel Utterances 标签：#语音编码 #自监督学习 #对比学习 #语音合成 #音频理解 9.2/10 | 创新 1.5/2 | 严谨 1.5/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 🔥 9.2/10 | 前10% | 文档类型：方法研究 | 评分置信度：高 | #语音编码 | #自监督学习 | #对比学习 #语音合成 | arxiv 👥 作者与机构 第一作者：Laurin Wagner（nyra labs, Austria） 通讯作者：未说明 作者列表：Laurin Wagner（nyra labs, Austria）、Bernhard Thallinger（nyra labs, Austria）、Miroslav Stankovic（nyra labs, Austria）、Mario Zusag（nyra labs, Austria） 💡 毒舌点评 PINT的核心洞察——“并行语音中唯一共享的只有内容”——直击要害，并通过精心设计的损失函数将其转化为惊人的token一致性（说话人探针准确率降至1.2%），这一结果极具说服力。然而，该方法的“不变性”是通过对英语并行数据的强化监督和极端噪声增强（噪声数据作为并行数据）实现的，其成功严重依赖于高质量、多样化的并行英语语音资源以及合成数据生成的质量。在缺乏此类资源的语言中，或对于那些内容与发音变异（如情感、口音）本身高度相关的复杂任务中，这种“干净”但“过度不变”的token是否仍然最优，尚存疑问。 ...

📄 Component-Level Ensemble Fusion for Speech and Environmental Sound Deepfake Detection 标签：#语音伪造检测 #模型集成 #音频伪造检测 #自监督学习 #音频理解 6.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.4/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音伪造检测 | #模型集成 | #音频伪造检测 #自监督学习 | arxiv 👥 作者与机构 第一作者：André Runewicz（Fraunhofer SIT） 通讯作者：未说明 作者列表：André Runewicz（Fraunhofer SIT）、Karla Schäfer（Fraunhofer SIT）、Martin Steinebach（Fraunhofer SIT） 💡 毒舌点评 一篇典型的面向特定挑战赛的系统技术报告，工程整合能力值得肯定，但学术创新性不足，且完全不开源的做法严重削弱了其作为学术论文的价值。它更像是一个参赛团队的技术总结，而非一篇能推动领域进展的研究。 ...

📄 Do Speech Tokens Leak Voiceprints? Speaker Inversion Attacks Against End-to-End Speech Language Models 标签：#说话人验证 #自监督学习 #知识蒸馏 #音频理解 #Transformer 7.7/10 | 创新 1.8/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #说话人验证 | #自监督学习 | #知识蒸馏 #音频理解 | arxiv 👥 作者与机构 第一作者：Ye Lu（论文未标注所属机构，但从上下文推断为论文通讯单位） 通讯作者：Ye Lu 作者列表：Ye Lu, Yihan Yan, Zhaoyang Zhang, Zhitao Ou, Runze Liu, Li Liu, Shen Wang 💡 毒舌点评 本文首次系统地将端到端语音大模型暴露的“语音令牌”确立为一个严肃的隐私攻击面，并提出了一个定义清晰、具有现实意义的“说话人反转攻击”框架。SpInv方法设计统一，能适配多种主流前端接口，实验覆盖广泛，成功揭示了新兴语音交互接口中不容忽视的隐私漏洞。然而，其核心威胁模型的有效性高度依赖于攻击者能精确复现或获取目标说话人编码器（如ECAPA-TDNN）的公开版本，这在实际复杂部署中可能是一个关键瓶颈。此外，论文对攻击效果的实际危害程度（CosSim 0.70意味着什么）缺乏深入讨论，与传统隐私攻击手段也缺乏直接对比，这使得其结论的冲击力在某种程度上被削弱。尽管如此，该工作及时地为开发隐私保护型分词器敲响了警钟，具有重要的警示价值。 ...

📄 Is One Score Enough? Assessing Singing Quality of Songs with Temporal Score Curves 标签：#音乐理解 #Transformer #自监督学习 #音频理解 #模型评估 7.6/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.3/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音乐理解 | #Transformer | #自监督学习 #音频理解 | arxiv 👥 作者与机构 第一作者：Yishan Lv（西安交通大学，香港中文大学（深圳）） 通讯作者：未说明 作者列表：Yishan Lv（西安交通大学，香港中文大学（深圳））、Jing Luo（西安交通大学）、Xinyu Yang（西安交通大学）、Zhizheng Wu（香港中文大学（深圳）） 💡 毒舌点评 论文提出了一个有价值的问题（完整歌曲SQA），并设计了一个清晰的两阶段框架。其创新主要在于问题定义和聚合机制的设计。然而，整个系统的基石——用于生成段落伪标签的教师模型T是一个未开源的黑盒，而其核心评估数据集（Internal Dataset）也是私有的。这使得论文的核心贡献如同建立在流沙之上，其优异的实验结果无法被社区独立验证，系统的可靠性高度存疑。 ...

📄 NABEATs: Noise-Aware Audio Representation Learning 标签：#音频理解 #自监督学习 #知识蒸馏 #Transformer #模型评估 6.7/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 ✅ 6.7/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频理解 | #自监督学习 | #知识蒸馏 #Transformer | arxiv 👥 作者与机构 第一作者：Takuya Fujimura 通讯作者：未说明 作者列表：Takuya Fujimura (Mitsubishi Electric Research Laboratories (MERL), Cambridge, USA)、Yoshiki Masuyama (Nagoya University, Nagoya, Japan)、Gordon Wichern (Mitsubishi Electric Research Laboratories (MERL), Cambridge, USA)、Christoph Boeddeker (Mitsubishi Electric Research Laboratories (MERL), Cambridge, USA)、Julius Richter (Mitsubishi Electric Research Laboratories (MERL), Cambridge, USA)、Jonathan Le Roux (Mitsubishi Electric Research Laboratories (MERL), Cambridge, USA) 💡 毒舌点评 论文为通用音频SSL在噪声环境下的应用提出了一个理论上优雅且实用的解决方案。然而，其核心论点——条件噪声参考的优越性——并未被实验以足够强的方式证实。一个参数量匹配的、仅进行去噪而无参考信号的基线（DBEATs）已经带来了巨大的性能提升，这使得NABEATs的额外优势（尤其是在分布内噪声下）显得边际。评估设置的“已知噪声环境”假设过于理想化，掩盖了模型在“未知噪声环境”这一更现实场景下的真实泛化能力。此外，完全未讨论新增模块带来的计算开销，这对工程落地至关重要。 ...