ICML 2026 语音/音频论文详细分析

ICML 2026 语音/音频论文详细分析 共分析 137 篇 ICML 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文: 音视频理解(18篇) 音视频生成(10篇) 音频分类(9篇) 音频理解(8篇) 音乐生成(8篇) 语音合成(8篇) 音视频问答(8篇) 语音识别(5篇) 语音伪造检测(4篇) 语音交互(4篇) 语音增强(4篇) 语音编码(4篇) 多模态模型(3篇) 音频伪造检测(3篇) 音频分离(2篇) 空间音频(2篇) 音频编码(2篇) 音频修复(2篇) 语音属性识别(2篇) 音频生成(2篇) ⚡ 会议概览 📥 ICML 2026 接收 6341 篇论文 → 🔍 关键词 + LLM 筛选 137 篇音频/语音/音乐相关 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 18篇 ██████████████████ #音视频生成 10篇 ██████████ #音频分类 9篇 █████████ #音频理解 8篇 ████████ #音乐生成 8篇 ████████ #语音合成 8篇 ████████ #音视频问答 8篇 ████████ #语音识别 5篇 █████ #语音伪造检测 4篇 ████ #语音交互 4篇 ████ #语音增强 4篇 ████ #语音编码 4篇 ████ #多模态模型 3篇 ███ #音频伪造检测 3篇 ███ #音频分离 2篇 ██ 📊 论文评分排行榜(137 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with T 9.4分 前10% #音视频理解 🥈 Joint Enhancement and Classification using Coupled Diff 9.3分 前10% #语音识别 🥉 Learning Tight Rejection Boundaries without Negatives f 9.3分 前10% #语音伪造检测 4. AVTrack: Audio-Visual Tracking in Human-centric Complex 9.3分 前10% #音视频理解 5. A Semantically Consistent Dataset for Data-Efficient Qu 9.2分 前10% #音频分离 6. SAM Audio: Segment Anything in Audio 9.2分 前10% #音频分离 7. MECAT: A Multi-Experts Constructed Benchmark for Fine-G 9.1分 前10% #音频理解 8. $\tau$-Voice: Benchmarking Full-Duplex Voice Agents on 9.1分 前10% #语音交互 9. PhaseCoder: Microphone Geometry-Agnostic Spatial Audio 8.7分 前25% #空间音频 10. BAT: Better Audio Transformer Guided by Convex Gated Pr 8.6分 前25% #音频分类 11. SPEAR: A Unified SSL Framework for Learning Speech and 8.4分 前25% #音频理解 12. Dual-View Predictive Diffusion: Lightweight Speech Enha 8.4分 前25% #语音增强 13. Unlocking Cross-Modal Biosignal Synthesis: A Temporally 8.3分 前25% - 14. CoLA: Cross-Modal Low-rank Adaptation for Multimodal Do 8.3分 前25% #音视频理解 15. Speech-Audio Compositional Attacks on Multimodal LLMs a 8.3分 前25% #音频理解 16. MoST: Mixing Speech and Text with Modality-Aware Mixtur 8.2分 前25% - 17. IVQ: Structured and Lightweight Vector Quantization via 8.2分 前25% #音频编码 18. Spherical Procrustes Alignment for Reliable Medical Aud 8.2分 前25% #音频分类 19. Attend to Anything: Foundation Model for Unified Human 8.2分 前25% #音视频理解 20. VocSim A Training-free Benchmark for Zero-shot Content 8.2分 前25% #音频检索 21. JAEGER: Joint 3D Audio-Visual Grounding and Reasoning i 8.1分 前25% #声源定位 22. LALM-as-a-Judge: Benchmarking Large Audio-Language Mode 8.1分 前25% #语音交互 23. Pianist Transformer: Towards Expressive Piano Performan 8.1分 前25% #音乐生成 24. Simultaneous Speech-to-Speech Translation Without Align 8.0分 前25% #语音翻译 25. PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前25% #音乐生成 26. Optimality of FSQ Tokens for Continuous Diffusion for C 8.0分 前25% #语音合成 27. SonicMaster: Towards Controllable All-in-One Music Rest 8.0分 前25% #音频修复 28. Do Audio LLMs Listen or Read? Analyzing and Mitigating 8.0分 前25% #语音属性识别 29. Multiple Choice Learning of Low-Rank Adapters for Langu 8.0分 前25% #多模态模型 30. Bridging the Stability-Expressivity Gap: Synthetic Data 8.0分 前25% #语音合成 31. FutureOmni: Evaluating Future Forecasting from Omni-Mod 8.0分 前25% #音视频问答 32. Acoustic Interference: A New Paradigm Weaponizing Acous 8.0分 前25% #音频理解 33. ReGen: Hierarchical Multi-Prompt Representation Generat 8.0分 前25% #语音编码 34. DiscoForcing: A Unified Framework for Real-Time Audio-D 8.0分 前25% #音乐生成 35. DreamID-Omni: Unified Framework for Controllable Human- 8.0分 前25% #音视频生成 36. AgentSteerTTS: A Multi-Agent Closed-Loop Framework for 7.9分 前25% #语音合成 37. STAR-VAE: Structured Topology-Aware Regularization for 7.9分 前25% #音频生成 38. HyperPotter: Spell the Charm of High-Order Interactions 7.9分 前25% #音频伪造检测 39. T2AV-Compass: Towards Unified Evaluation for Text-to-Au 7.9分 前25% #音视频生成 40. Decoupling The “What” and “Where” With Polar Coordinate 7.8分 前25% #音乐生成 41. V-LynX: Token Interface Alignment for Video+X LLMs 7.8分 前25% #音视频问答 42. Ariadne’s Thread of LipSync: Unraveling Forgeries via I 7.8分 前25% #音视频理解 43. SONAR: Spectral‑Contrastive Audio Residuals for General 7.8分 前25% #语音伪造检测 44. TMD-Bench: A Multi-Level Evaluation Paradigm for Music– 7.7分 前25% #音视频生成 45. AudioMosaic: Contrastive Masked Audio Representation Le 7.7分 前25% #音频分类 46. BFCL Audio: An Audio Function Calling Evaluation for La 7.7分 前25% #语音交互 47. SALSA-V: Shortcut-Augmented Long-form Synchronized Audi 7.6分 前25% #音视频生成 48. BEAT: Tokenizing and Generating Symbolic Music by Unifo 7.6分 前25% #音乐生成 49. From Inpainting to Editing: Unlocking Robust Mask-Free 7.6分 前25% #扩散模型 50. Hearing Without Noticing? Attention-Aware Stealthy Blac 7.6分 前25% #语音识别 51. AVGen-Bench: A Task-Driven Benchmark for Multi-Granular 7.6分 前25% #音视频生成 52. Alethia: a Foundational Encoder for Voice Deepfakes 7.6分 前25% #语音伪造检测 53. AG-REPA: Causal Layer Selection for Representation Alig 7.6分 前25% #语音合成 54. AVI-Bench: Toward Human-like Audio-Visual Intelligence 7.6分 前25% #音视频理解 55. Two-dimensional quantization for geometry-aware audio c 7.6分 前25% #语音编码 56. Abstraction Induces the Brain Alignment of Language and 7.5分 前25% #语音编码 57. Self-Guidance: Enhancing Neural Codecs via Decoder Mani 7.5分 前25% #语音编码 58. OmniVideo-R1: Reinforcing Audio-visual Reasoning with Q 7.5分 前25% #音视频问答 59. Listening Through the Noise: Cauchy-Driven Diffusion Br 7.4分 前50% #音频修复 60. MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 7.4分 前50% - 61. Omni-Perception Policy Optimization for Multimodal Emot 7.4分 前50% #音视频理解 62. video-SALMONN S: Memory-Enhanced Streaming Audio-Visual 7.3分 前50% #音视频问答 63. Group Cognition Learning: Making Everything Better Thro 7.3分 前50% #音视频理解 64. REST: Diffusion-based Real-time End-to-end Streaming Ta 7.3分 前50% #音视频生成 65. PhoStream: Benchmarking Real-World Streaming for Omnimo 7.3分 前50% #音视频问答 66. ProactiveLLM: Learning Active Interaction for Streaming 7.2分 前50% #语音识别 67. Stream RAG: Instant and Accurate Spoken Dialogue System 7.2分 前50% #流式处理 68. Probing Cross-modal Information Hubs in Audio-Visual LL 7.2分 前50% #音视频理解 69. Efficient Multi-modal Dataset Distillation via Analytic 7.2分 前50% #对比学习 70. Self-Supervised Flow Matching for Scalable Multi-Modal 7.2分 前50% #音视频生成 71. CoCoEmo: Composable and Controllable Human-Like Emotion 7.1分 前50% #语音合成 72. Scaling Transformers for End-to-End Discrete Audio Toke 7.1分 前50% #音频编码 73. Query-Based Asymmetric Modeling with Decoupled Input–Ou 7.1分 前50% #语音增强 74. OmniSIFT: Modality-Asymmetric Token Compression for Eff 7.1分 前50% #音视频问答 75. Sparse Autoencoders for Interpretable Emotion Control i 7.0分 前50% #语音合成 76. The Silent Thought: Modeling Internal Cognition in Full 7.0分 前50% #知识蒸馏 77. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 7.0分 前50% #音频水印 78. Efficient Distributed MLLM Training with Cornstarch 7.0分 前50% #音视频理解 79. Reasoning LLM Improves Speaker Recognition in Long-form 7.0分 前50% - 80. Real-World Unsupervised Models Generalize to Predict Br 6.9分 前50% #模型评估 81. From Talking to Singing: A New Challenge for Audio-Visu 6.9分 前50% #音视频理解 82. OmniShow: Unifying Multimodal Conditions for Human-Obje 6.9分 前50% #音视频生成 83. E-VAds: An E-commerce Short Videos Understanding Benchm 6.9分 前50% #音视频问答 84. STARCaster: Spatio-Temporal AutoRegressive Video Diffus 6.8分 前50% #音视频生成 85. Zero-Shot Rankability: Revealing Latent Ordinal Structu 6.8分 前50% #音视频理解 86. An Exterior Method for Nonnegative Matrix Factorization 6.8分 前50% #音频分类 87. FoeGlass: Simple In-Context Learning Is Enough for Red 6.8分 前50% #语音伪造检测 88. Native Active Perception as Reasoning for Omni-Modal Un 6.8分 前50% #音视频理解 89. Unlocking Speech–Text Compositional Powers: Instruction 6.7分 前50% #语音交互 90. UltraLIF: Fully Differentiable Spiking Neural Networks 6.7分 前50% #音频分类 91. Towards Streaming Synchronized Spatial Audio Generation 6.6分 前50% #音视频生成 92. TextME: Bridging Unseen Modalities Through Text Descrip 6.6分 前50% - 93. Evaluating and Rewarding LALMs for Expressive Role-Play 6.6分 前50% #语音合成 94. PADS-TAL: Padding-Annealed Diffusion Sampling in Text-A 6.6分 前50% #音乐生成 95. ADEPT: RL-Aligned Agentic Decoding of Emotion via Evide 6.5分 前50% #语音情感识别 96. Universal Algorithm-Implicit Learning 6.5分 前50% #音频分类 97. SARSteer: Safeguarding Large Audio Language Models via 6.5分 前50% - 98. MetaPerch: Learning from metadata for bioacoustics foun 6.5分 前50% #音频分类 99. Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Mus 6.5分 前50% #音乐生成 100. CMI-RewardBench: Evaluating Music Reward Models with Co 6.4分 前50% #音乐生成 101. Multimodal Fact-Level Attribution for Verifiable Reason 6.4分 前50% #音频理解 102. MedMosaic: A Challenging Large Scale Benchmark of Diver 6.4分 前50% #音频理解 103. INFER: Learning Implicit Neural Frequency Response Fiel 6.4分 前50% #空间音频 104. Characterizing the Predictive Impact of Modalities with 6.4分 前50% - 105. PCRNet: Phase-aware Complex Refinement Network for EEG- 6.4分 前50% #实时处理 106. OmniFit: Bridging Modalities via Layer-Adaptive Token C 6.3分 前50% #音视频理解 107. EchoingPixels: Aliasing-Resistant Joint Token Reduction 6.3分 前50% #音视频理解 108. Quaternion Self-Attention with Shared Scores 6.3分 前50% #语音增强 109. LightAVSeg: Lightweight Audio-Visual Segmentation 6.3分 前50% #模型压缩 110. SURF: Separation via Unsupervised Remixing Flow 6.2分 前50% #语音分离 111. Neural-Inspired Modeling of Auditory Selection and Comp 6.2分 前50% #音视频语音分离 112. AuTAgent: A Reinforcement Learning Framework for Tool-A 6.2分 前50% #音频理解 113. Multimodal Latent Language Modeling with Next-Token Dif 6.1分 前50% #语音合成 114. FakeWorld 1.0: An Omni-modal Benchmark for Fake Media a 6.1分 前50% #可解释性 115. ConsMSA: Semantic Distribution Consistency Learning for 6.1分 前50% #多模态模型 116. MusicDET: Zero-Shot AI-Generated Music Detection 6.1分 前50% #音频伪造检测 117. Convex Low-resource Accent-Robust Language Detection in 6.0分 前50% #语音识别 118. NeuroCLUS: A Foundation Model with Functional Clusterin 6.0分 前50% #语音识别 119. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 5.9分 前50% #模型剪枝 120. Scaling Behavior in Model Fine-tuning for Audio DeepFak 5.9分 前50% #音频伪造检测 121. Bioacoustic Geolocation: Species Sounds as Geographic S 5.8分 前50% #音频理解 122. AudioChat: Unified Audio Storytelling, Editing, and Und 5.8分 前50% #音频生成 123. Omni-Diffusion: Unified Multimodal Understanding and Ge 5.8分 前50% - 124. Robust Signal Enhancement via Fractional Detail Views a 5.7分 前50% #语音增强 125. Multimodal Fusion via Self-Consistent Task-Gradient Fie 5.5分 前50% #鲁棒性 126. NAACA: Training-Free NeuroAuditory Attentive Cognitive 5.5分 前50% #音频事件检测 127. Language Model Augmented Semi-Supervised Statistical In 5.4分 后50% #语音属性识别 128. MER-DG: Modality-Entropy Regularization for Multimodal 5.4分 后50% #音视频理解 129. Towards Understanding Modality Interaction in Multimoda 5.3分 后50% #音视频理解 130. Stable Spectral Copula Alignment for Robust Multimodal 5.2分 后50% #鲁棒性 131. Multimodal Meta-Verifier with Explicit Structured Recal 5.2分 后50% #多模态模型 132. WaveSSM: Multiscale State-Space Models for Non-stationa 4.8分 后50% #音频分类 133. Efficient, Property-Aligned Fan-Out Retrieval via RL-Co 4.7分 后50% #音乐检索 134. VIBE: Disentangling Social Dynamics via Kinematics-Info 4.6分 后50% - 135. UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuni 4.4分 后50% #音视频问答 136. Rethinking Attention in Spiking Transformers: Overcomin 3.6分 后50% #音频分类 137. PRIM:Cooperative Dynamic Token Compression for Efficien 3.6分 后50% #音视频理解 📋 论文列表 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions 🔥 9.4/10 | 前10% | #音视频理解 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 影响 0.9/1.5 | 开源 1.5/1.5 ...

2026-07-04 · 更新于 2026-08-14 · 108 min · 22980 words

CardioState-JEPA: Delay-Aware Cross-Modal Learning of a Shared Cardiac Representation

📄 CardioState-JEPA: Delay-Aware Cross-Modal Learning of a Shared Cardiac Representation 标签:#音频分类 #自监督学习 #多模态模型 #Transformer #医疗音频 7.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.2/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #音频分类 | #自监督学习 | #多模态模型 #Transformer | arxiv 👥 作者与机构 第一作者:Hamza Shafiq(机构未明确;文中“Affiliation: Jun Hu”标注异常) 通讯作者:Aaqib Saeed(Eindhoven University of Technology, Netherlands;a.saeed@tue.nl) 作者列表:Hamza Shafiq(机构未明确)、Hung Manh Pham(Singapore Management University, Singapore)、Bin Zhu(Singapore Management University, Singapore)、Pan Zhou(Singapore Management University, Singapore)、Aaqib Saeed(Eindhoven University of Technology, Netherlands) 💡 毒舌点评 本文把 ECG、PPG、PCG 之间的生理学延迟建模为可学习的一等公民部件,延迟感知 latent prediction 加上两阶段课程在多个下游任务中确实带来显著提升,尤其对过去较弱的心音 PCG 任务贡献清楚。跨模态对齐不是简单拼接,而是通过可微高斯核和生理 anchor 监督把延迟估计嵌入训练目标,这比 naive timestamp alignment 有实质进步。但论文在无代码、无权重、部分关键训练细节未交代的前提下,仍把“统一心脏基础模型”的叙述推得较满,复现性和工业可信度明显打折;PCG 基线选择和统计显著性也仍有可诟病之处。 ...

2026-08-14 · 更新于 2026-08-14 · 6 min · 1255 words

Motor, Cognitive, or Corpus? What Survives Cross-Lingual Transfer in Speech-Based Parkinsons Disease Detection

📄 Motor, Cognitive, or Corpus? What Survives Cross-Lingual Transfer in Speech-Based Parkinsons Disease Detection 标签:#语音属性识别 #自监督学习 #迁移学习 #多语言 #医疗音频 6.1/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.1/10 | 前50% | 文档类型:应用研究 | 评分置信度:中 | #语音属性识别 | #自监督学习 | #迁移学习 #多语言 | arxiv 👥 作者与机构 第一作者:Serli Kopar(Hertie Institute for AI in Brain Health, University of Tübingen;Tübingen AI Center, University of Tübingen) 通讯作者:未说明 作者列表:Serli Kopar(Hertie Institute for AI in Brain Health, University of Tübingen;Tübingen AI Center, University of Tübingen)、Sam Gijsen(Hertie Institute for AI in Brain Health, University of Tübingen;Tübingen AI Center, University of Tübingen;Charité–Universitätsmedizin, Department of Psychiatry and Psychotherapy, Berlin)、Abner Hernandez(Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg)、Paula Andrea Perez-Toro(Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg)、Kerstin Ritter(Hertie Institute for AI in Brain Health, University of Tübingen;Tübingen AI Center, University of Tübingen;Charité–Universitätsmedizin, Department of Psychiatry and Psychotherapy, Berlin) 💡 毒舌点评 这篇论文做了一件很多临床语音研究回避的事:把语料内看起来不错的 PD 检测放到跨语种、跨录音条件和跨病种下检验,结论像一盆冷水——模型主要学到的是“患者 vs 健康”,而不是“是否 PD”。亮点是问题定义直接、五场景分层递进清晰,并首次在德语痴呆队列上系统检验 PD 特异性,直接戳破仅与健康对照比较的假象。短板则是跨病理特异性证据只来自 9/540 个勉强达标组合,存在明显表现依赖选择风险;代码与完整超参均未公开,负面结论的可复现性打了一定折扣。作为诊断性评估研究,它不提供新模型,但提供了临床部署前必须面对的一组压力测试。 ...

2026-08-14 · 更新于 2026-08-14 · 4 min · 788 words

Rethinking Language Model-Based Generative Speech Enhancement in the Latent Space of a Neural Audio Codec

📄 Rethinking Language Model-Based Generative Speech Enhancement in the Latent Space of a Neural Audio Codec 标签:#语音增强 #语音大模型 #扩散模型 #流匹配 #自监督学习 7.1/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音增强 | #语音大模型 | #扩散模型 #流匹配 | arxiv 👥 作者与机构 论文文本未提供作者与机构信息;需从 arXiv 页面另行确认。 💡 毒舌点评 这篇论文最有价值的地方是把六种 LM-based 语音增强范式放进同一个框架里做了一次难得的公平比较,并用侵入式指标补足了该方向常被忽略的评估盲区。但它更像一份高质量的系统化 benchmark,而非方法创新;缺少与外部 URgent 挑战系统的直接对比,也让“CNAR 最优”的结论略显内部化。 ...

2026-08-13 · 更新于 2026-08-14 · 5 min · 858 words

Robust Multi-Tier Infant-Centered Audio Understanding with Whisper via Structured Speaker Conditioning

📄 Robust Multi-Tier Infant-Centered Audio Understanding with Whisper via Structured Speaker Conditioning 标签:#音频事件检测 #参数高效微调 #说话人日志 #自监督学习 #Transformer 6.0/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 6.0/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #音频事件检测 | #LoRA | #参数高效微调 #说话人日志 | arxiv 👥 作者与机构 Xulin Fan:University of Illinois Urbana-Champaign, USA Jialu Li:University of Arizona, USA Mohammad Nur Hossain Khan:Worcester Polytechnic Institute, USA Kexin Hu:University of Illinois Urbana-Champaign, USA Bashima Islam:Worcester Polytechnic Institute, USA Mark Hasegawa-Johnson:University of Illinois Urbana-Champaign, USA Nancy L. McElwain:University of Illinois Urbana-Champaign, USA 通讯作者:论文未明确标注通讯作者;作者邮箱在论文中列出,但未说明通讯作者身份。 ...

2026-08-13 · 更新于 2026-08-14 · 4 min · 766 words

Beyond Dry References: Learning Relative Audio Effects Representations via Contrastive Distance Learning

📄 Beyond Dry References: Learning Relative Audio Effects Representations via Contrastive Distance Learning 标签:#音乐理解 #对比学习 #自监督学习 7.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | 文档类型:方法研究 | 评分置信度:中 | #音乐理解 | #对比学习 | #自监督学习 | arxiv 👥 作者与机构 第一作者:Xinlu Liu(未说明) 通讯作者:未说明 作者列表:Xinlu Liu(未说明)、Huibin Lin(未说明)、Weixing Wei(未说明)、Zhenhai Yan(未说明) 💡 毒舌点评 RelFx 把“绝对效果状态”换成“相对效果距离”,方向确实聪明——至少在真实录音没有干声参考这件事上,它终于不再假装世上存在干净的 dry track。反称融合让同一个 embedding 既能表达加效果也能表达去效果,比 Fx-Encoder++ 那种单向往死里编码的范式更接近工程师的直觉,MUSDB18 平均 Ld 降 13.3% 是可以写进论文的硬数字。但别高兴太早:式(1)里 x’=x 的 special case 与后文“同段落相邻非重叠片段”的训练配对互相打架,读者得在符号泥潭里爬三个来回才搞懂;全部验证依赖 Ld 这种重建式指标,没有一个主观听感实验,真实效果链和未见链序全推给“未来工作”;模型权重、训练数据全都不公开,demo 页面倒是挺漂亮。一句话:思路是真好,验证是真糙——差一步从“好工作”变成“可信的好工作”。 ...

2026-08-12 · 更新于 2026-08-14 · 4 min · 710 words

DINO-A: Adapting Self-Distillation Vision Transformers to General Audio Representation Learning

📄 DINO-A: Adapting Self-Distillation Vision Transformers to General Audio Representation Learning 标签:#音频分类 #自监督学习 #Transformer #知识蒸馏 #预训练 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.2/10 | 前50% | 文档类型:方法研究 | 评分置信度:高 | #音频分类 | #自监督学习 | #Transformer #知识蒸馏 | arxiv 👥 作者与机构 第一作者:Tomasz Radzikowski(Warsaw University of Technology) 通讯作者:未披露 作者列表:Tomasz Radzikowski、Mateusz Modrzejewski、Przemysław Rokita(均为 Warsaw University of Technology) 论文状态:Preprint,已接收于 ICAISC 2026,最终版将发表于 Springer LNAI。 💡 毒舌点评 把 DINO 以最小改动搬到通用音频,并用与 BYOL-A v2 完全对齐的 FSD50K 预训练和 EVAR 线性探针评测做了一次干净的算法级对照,这是论文最有价值的贡献。但整套方法没有任何针对音频的新机制,最佳变体平均落后 BYOL-A v2 达 11.96 个百分点;作者把差距归因于 65,536 维投影在 FSD50K 尺度下数据效率不足和多裁剪的局部-全局语义不匹配,却既没有对投影维度、多裁剪开关做消融,也没有在 AudioSet 上验证尺度假设,因此“机制解释”更像事后假设而非实证结论。 ...

2026-08-12 · 更新于 2026-08-14 · 4 min · 787 words

MAJEPPA: Morphing and Assessing in a Unified Piano Performance Space

📄 MAJEPPA: Morphing and Assessing in a Unified Piano Performance Space 标签:#音乐理解 #自监督学习 #音乐生成 #数据集 #基准测试 7.5/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7.5/10 | 前25% | 文档类型:方法研究 | 评分置信度:中 | #音乐理解 | #自监督学习 | #音乐生成 #数据集 | arxiv 👥 作者与机构 第一作者:Jinwen Zhou(Queen Mary University of London) 通讯作者:未说明 作者列表:Jinwen Zhou(Queen Mary University of London)、Huan Zhang(未说明)、Weixi Zhai(未说明)、Jinhua Liang(未说明)、Aidan O. T. Hogg(未说明)、Simon Dixon(未说明) 💡 毒舌点评 MAJEPPA 最持久、也最可能被后续工作引用的贡献,是那个横跨六水平、六场景的 3,979 段数据集和 EVPMR 基准;相比之下,“冻结 Aria-medium 加 LoRA,再叠三个对比损失”的方法组合更接近工程集成而非范式突破。问题在于论文把“既能生成又能理解”作为核心卖点,却明文承认没有做生成能力评测,转录质量也未核查,理解侧证据完整而生成侧几乎为空。UMP 因 token 方案限制只与 Aria 可比,Chopin PairAcc 标准差高达 9.4 且无显著性检验,这些都会让“全面优于基线”的表述显得过于激进。 ...

2026-08-12 · 更新于 2026-08-14 · 4 min · 732 words

Seeds Before Objectives: Rethinking Evaluation for Low-Resource Garhwali ASR

📄 Seeds Before Objectives: Rethinking Evaluation for Low-Resource Garhwali ASR 标签:#语音识别 #自监督学习 #低资源 #基准测试 7.9/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.9/10 | 前25% | 文档类型:数据集与基准 | 评分置信度:高 | #语音识别 | #自监督学习 | #低资源 #基准测试 | arxiv 👥 作者与机构 第一作者:Karamvir Singh Batra(Thapar Institute of Engineering and Technology, Patiala, Punjab, India) 通讯作者:Jasmeet Singh(Thapar Institute of Engineering and Technology, Patiala, Punjab, India);Sahil Sharma(Ulster University, Belfast, United Kingdom) 作者列表: Karamvir Singh Batra(Thapar Institute of Engineering and Technology, Patiala, Punjab, India) Prathamjyot Singh(Thapar Institute of Engineering and Technology, Patiala, Punjab, India) Ashima Sood(Ulster University, Londonderry, United Kingdom) Jasmeet Singh(Thapar Institute of Engineering and Technology, Patiala, Punjab, India) Sahil Sharma(Ulster University, Belfast, United Kingdom) 💡 毒舌点评 用五种子×配对检验把“看起来能涨点”的 Focal CTC、matra 加权和 Hindi 迁移逐一打回原形,是低资源方言 ASR 里少见的高标准负结果研究,尤其“预训练设计比参数规模重要”的结论有实操价值。但核心负面结论建立在单一方言、8.8 小时音频和 5 个种子上,作者自己的功效分析也承认只能大致钉死“标准 CTC vs Focal”的方向,无法排除其他微小真实差异;再加上未提供模型权重、仓库实际内容有待查验,这套 benchmark 的复用门槛比论文读起来更高。 ...

2026-08-12 · 更新于 2026-08-14 · 6 min · 1258 words

Whisper-Aware LLM: Self-Supervised Uncertainty Learning for Robust Whispered Speech Recognition

📄 Whisper-Aware LLM: Self-Supervised Uncertainty Learning for Robust Whispered Speech Recognition 标签:#语音识别 #语音大模型 #自监督学习 #多模态模型 #参数高效微调 6.1/10 | 创新 1.4/2 | 严谨 0.9/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 ✅ 6.1/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音识别 | #语音大模型 | #自监督学习 #多模态模型 | arxiv 👥 作者与机构 第一作者:Gaopeng Xu(阿里巴巴,Qwen 业务部) 通讯作者:未说明 作者列表:Gaopeng Xu(阿里巴巴,Qwen 业务部)、Zhenyu Wang(阿里巴巴,Qwen 业务部)、Zheng Xue(阿里巴巴,Qwen 业务部)、Yinfeng Xia(阿里巴巴,Qwen 业务部)、Haitao Yao(阿里巴巴,Qwen 业务部) 💡 毒舌点评 用 F0 缺失作为耳语识别不确定性的物理信号,并把“不确定时宁可不转录”的可靠性问题引入 Audio-LLM 解码,这个切入点是有价值的。但论文的核心卖点是“模型学会了感知不确定性”,却没有任何直接证据证明 UPM 输出的置信度真的对应信号质量;幻觉评测集自建且几乎未描述,英文基准又存在数据集标识不清的问题。整体像一篇有潜力的技术报告初稿,距离顶会级别的论证密度和证据链完整性还有明显差距。 ...

2026-08-12 · 更新于 2026-08-14 · 3 min · 632 words