ICML 2026 语音/音频论文详细分析

ICML 2026 语音/音频论文详细分析 共分析 137 篇 ICML 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文: 音视频理解(18篇) 音视频生成(10篇) 音频分类(9篇) 音频理解(8篇) 音乐生成(8篇) 语音合成(8篇) 音视频问答(8篇) 语音识别(5篇) 语音伪造检测(4篇) 语音交互(4篇) 语音增强(4篇) 语音编码(4篇) 多模态模型(3篇) 音频伪造检测(3篇) 音频分离(2篇) 空间音频(2篇) 音频编码(2篇) 音频修复(2篇) 语音属性识别(2篇) 音频生成(2篇) ⚡ 会议概览 📥 ICML 2026 接收 6341 篇论文 → 🔍 关键词 + LLM 筛选 137 篇音频/语音/音乐相关 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 18篇 ██████████████████ #音视频生成 10篇 ██████████ #音频分类 9篇 █████████ #音频理解 8篇 ████████ #音乐生成 8篇 ████████ #语音合成 8篇 ████████ #音视频问答 8篇 ████████ #语音识别 5篇 █████ #语音伪造检测 4篇 ████ #语音交互 4篇 ████ #语音增强 4篇 ████ #语音编码 4篇 ████ #多模态模型 3篇 ███ #音频伪造检测 3篇 ███ #音频分离 2篇 ██ 📊 论文评分排行榜(137 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with T 9.4分 前10% #音视频理解 🥈 Joint Enhancement and Classification using Coupled Diff 9.3分 前10% #语音识别 🥉 Learning Tight Rejection Boundaries without Negatives f 9.3分 前10% #语音伪造检测 4. AVTrack: Audio-Visual Tracking in Human-centric Complex 9.3分 前10% #音视频理解 5. A Semantically Consistent Dataset for Data-Efficient Qu 9.2分 前10% #音频分离 6. SAM Audio: Segment Anything in Audio 9.2分 前10% #音频分离 7. MECAT: A Multi-Experts Constructed Benchmark for Fine-G 9.1分 前10% #音频理解 8. $\tau$-Voice: Benchmarking Full-Duplex Voice Agents on 9.1分 前10% #语音交互 9. PhaseCoder: Microphone Geometry-Agnostic Spatial Audio 8.7分 前25% #空间音频 10. BAT: Better Audio Transformer Guided by Convex Gated Pr 8.6分 前25% #音频分类 11. SPEAR: A Unified SSL Framework for Learning Speech and 8.4分 前25% #音频理解 12. Dual-View Predictive Diffusion: Lightweight Speech Enha 8.4分 前25% #语音增强 13. Unlocking Cross-Modal Biosignal Synthesis: A Temporally 8.3分 前25% - 14. CoLA: Cross-Modal Low-rank Adaptation for Multimodal Do 8.3分 前25% #音视频理解 15. Speech-Audio Compositional Attacks on Multimodal LLMs a 8.3分 前25% #音频理解 16. MoST: Mixing Speech and Text with Modality-Aware Mixtur 8.2分 前25% - 17. IVQ: Structured and Lightweight Vector Quantization via 8.2分 前25% #音频编码 18. Spherical Procrustes Alignment for Reliable Medical Aud 8.2分 前25% #音频分类 19. Attend to Anything: Foundation Model for Unified Human 8.2分 前25% #音视频理解 20. VocSim A Training-free Benchmark for Zero-shot Content 8.2分 前25% #音频检索 21. JAEGER: Joint 3D Audio-Visual Grounding and Reasoning i 8.1分 前25% #声源定位 22. LALM-as-a-Judge: Benchmarking Large Audio-Language Mode 8.1分 前25% #语音交互 23. Pianist Transformer: Towards Expressive Piano Performan 8.1分 前25% #音乐生成 24. Simultaneous Speech-to-Speech Translation Without Align 8.0分 前25% #语音翻译 25. PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前25% #音乐生成 26. Optimality of FSQ Tokens for Continuous Diffusion for C 8.0分 前25% #语音合成 27. SonicMaster: Towards Controllable All-in-One Music Rest 8.0分 前25% #音频修复 28. Do Audio LLMs Listen or Read? Analyzing and Mitigating 8.0分 前25% #语音属性识别 29. Multiple Choice Learning of Low-Rank Adapters for Langu 8.0分 前25% #多模态模型 30. Bridging the Stability-Expressivity Gap: Synthetic Data 8.0分 前25% #语音合成 31. FutureOmni: Evaluating Future Forecasting from Omni-Mod 8.0分 前25% #音视频问答 32. Acoustic Interference: A New Paradigm Weaponizing Acous 8.0分 前25% #音频理解 33. ReGen: Hierarchical Multi-Prompt Representation Generat 8.0分 前25% #语音编码 34. DiscoForcing: A Unified Framework for Real-Time Audio-D 8.0分 前25% #音乐生成 35. DreamID-Omni: Unified Framework for Controllable Human- 8.0分 前25% #音视频生成 36. AgentSteerTTS: A Multi-Agent Closed-Loop Framework for 7.9分 前25% #语音合成 37. STAR-VAE: Structured Topology-Aware Regularization for 7.9分 前25% #音频生成 38. HyperPotter: Spell the Charm of High-Order Interactions 7.9分 前25% #音频伪造检测 39. T2AV-Compass: Towards Unified Evaluation for Text-to-Au 7.9分 前25% #音视频生成 40. Decoupling The “What” and “Where” With Polar Coordinate 7.8分 前25% #音乐生成 41. V-LynX: Token Interface Alignment for Video+X LLMs 7.8分 前25% #音视频问答 42. Ariadne’s Thread of LipSync: Unraveling Forgeries via I 7.8分 前25% #音视频理解 43. SONAR: Spectral‑Contrastive Audio Residuals for General 7.8分 前25% #语音伪造检测 44. TMD-Bench: A Multi-Level Evaluation Paradigm for Music– 7.7分 前25% #音视频生成 45. AudioMosaic: Contrastive Masked Audio Representation Le 7.7分 前25% #音频分类 46. BFCL Audio: An Audio Function Calling Evaluation for La 7.7分 前25% #语音交互 47. SALSA-V: Shortcut-Augmented Long-form Synchronized Audi 7.6分 前25% #音视频生成 48. BEAT: Tokenizing and Generating Symbolic Music by Unifo 7.6分 前25% #音乐生成 49. From Inpainting to Editing: Unlocking Robust Mask-Free 7.6分 前25% #扩散模型 50. Hearing Without Noticing? Attention-Aware Stealthy Blac 7.6分 前25% #语音识别 51. AVGen-Bench: A Task-Driven Benchmark for Multi-Granular 7.6分 前25% #音视频生成 52. Alethia: a Foundational Encoder for Voice Deepfakes 7.6分 前25% #语音伪造检测 53. AG-REPA: Causal Layer Selection for Representation Alig 7.6分 前25% #语音合成 54. AVI-Bench: Toward Human-like Audio-Visual Intelligence 7.6分 前25% #音视频理解 55. Two-dimensional quantization for geometry-aware audio c 7.6分 前25% #语音编码 56. Abstraction Induces the Brain Alignment of Language and 7.5分 前25% #语音编码 57. Self-Guidance: Enhancing Neural Codecs via Decoder Mani 7.5分 前25% #语音编码 58. OmniVideo-R1: Reinforcing Audio-visual Reasoning with Q 7.5分 前25% #音视频问答 59. Listening Through the Noise: Cauchy-Driven Diffusion Br 7.4分 前50% #音频修复 60. MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 7.4分 前50% - 61. Omni-Perception Policy Optimization for Multimodal Emot 7.4分 前50% #音视频理解 62. video-SALMONN S: Memory-Enhanced Streaming Audio-Visual 7.3分 前50% #音视频问答 63. Group Cognition Learning: Making Everything Better Thro 7.3分 前50% #音视频理解 64. REST: Diffusion-based Real-time End-to-end Streaming Ta 7.3分 前50% #音视频生成 65. PhoStream: Benchmarking Real-World Streaming for Omnimo 7.3分 前50% #音视频问答 66. ProactiveLLM: Learning Active Interaction for Streaming 7.2分 前50% #语音识别 67. Stream RAG: Instant and Accurate Spoken Dialogue System 7.2分 前50% #流式处理 68. Probing Cross-modal Information Hubs in Audio-Visual LL 7.2分 前50% #音视频理解 69. Efficient Multi-modal Dataset Distillation via Analytic 7.2分 前50% #对比学习 70. Self-Supervised Flow Matching for Scalable Multi-Modal 7.2分 前50% #音视频生成 71. CoCoEmo: Composable and Controllable Human-Like Emotion 7.1分 前50% #语音合成 72. Scaling Transformers for End-to-End Discrete Audio Toke 7.1分 前50% #音频编码 73. Query-Based Asymmetric Modeling with Decoupled Input–Ou 7.1分 前50% #语音增强 74. OmniSIFT: Modality-Asymmetric Token Compression for Eff 7.1分 前50% #音视频问答 75. Sparse Autoencoders for Interpretable Emotion Control i 7.0分 前50% #语音合成 76. The Silent Thought: Modeling Internal Cognition in Full 7.0分 前50% #知识蒸馏 77. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 7.0分 前50% #音频水印 78. Efficient Distributed MLLM Training with Cornstarch 7.0分 前50% #音视频理解 79. Reasoning LLM Improves Speaker Recognition in Long-form 7.0分 前50% - 80. Real-World Unsupervised Models Generalize to Predict Br 6.9分 前50% #模型评估 81. From Talking to Singing: A New Challenge for Audio-Visu 6.9分 前50% #音视频理解 82. OmniShow: Unifying Multimodal Conditions for Human-Obje 6.9分 前50% #音视频生成 83. E-VAds: An E-commerce Short Videos Understanding Benchm 6.9分 前50% #音视频问答 84. STARCaster: Spatio-Temporal AutoRegressive Video Diffus 6.8分 前50% #音视频生成 85. Zero-Shot Rankability: Revealing Latent Ordinal Structu 6.8分 前50% #音视频理解 86. An Exterior Method for Nonnegative Matrix Factorization 6.8分 前50% #音频分类 87. FoeGlass: Simple In-Context Learning Is Enough for Red 6.8分 前50% #语音伪造检测 88. Native Active Perception as Reasoning for Omni-Modal Un 6.8分 前50% #音视频理解 89. Unlocking Speech–Text Compositional Powers: Instruction 6.7分 前50% #语音交互 90. UltraLIF: Fully Differentiable Spiking Neural Networks 6.7分 前50% #音频分类 91. Towards Streaming Synchronized Spatial Audio Generation 6.6分 前50% #音视频生成 92. TextME: Bridging Unseen Modalities Through Text Descrip 6.6分 前50% - 93. Evaluating and Rewarding LALMs for Expressive Role-Play 6.6分 前50% #语音合成 94. PADS-TAL: Padding-Annealed Diffusion Sampling in Text-A 6.6分 前50% #音乐生成 95. ADEPT: RL-Aligned Agentic Decoding of Emotion via Evide 6.5分 前50% #语音情感识别 96. Universal Algorithm-Implicit Learning 6.5分 前50% #音频分类 97. SARSteer: Safeguarding Large Audio Language Models via 6.5分 前50% - 98. MetaPerch: Learning from metadata for bioacoustics foun 6.5分 前50% #音频分类 99. Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Mus 6.5分 前50% #音乐生成 100. CMI-RewardBench: Evaluating Music Reward Models with Co 6.4分 前50% #音乐生成 101. Multimodal Fact-Level Attribution for Verifiable Reason 6.4分 前50% #音频理解 102. MedMosaic: A Challenging Large Scale Benchmark of Diver 6.4分 前50% #音频理解 103. INFER: Learning Implicit Neural Frequency Response Fiel 6.4分 前50% #空间音频 104. Characterizing the Predictive Impact of Modalities with 6.4分 前50% - 105. PCRNet: Phase-aware Complex Refinement Network for EEG- 6.4分 前50% #实时处理 106. OmniFit: Bridging Modalities via Layer-Adaptive Token C 6.3分 前50% #音视频理解 107. EchoingPixels: Aliasing-Resistant Joint Token Reduction 6.3分 前50% #音视频理解 108. Quaternion Self-Attention with Shared Scores 6.3分 前50% #语音增强 109. LightAVSeg: Lightweight Audio-Visual Segmentation 6.3分 前50% #模型压缩 110. SURF: Separation via Unsupervised Remixing Flow 6.2分 前50% #语音分离 111. Neural-Inspired Modeling of Auditory Selection and Comp 6.2分 前50% #音视频语音分离 112. AuTAgent: A Reinforcement Learning Framework for Tool-A 6.2分 前50% #音频理解 113. Multimodal Latent Language Modeling with Next-Token Dif 6.1分 前50% #语音合成 114. FakeWorld 1.0: An Omni-modal Benchmark for Fake Media a 6.1分 前50% #可解释性 115. ConsMSA: Semantic Distribution Consistency Learning for 6.1分 前50% #多模态模型 116. MusicDET: Zero-Shot AI-Generated Music Detection 6.1分 前50% #音频伪造检测 117. Convex Low-resource Accent-Robust Language Detection in 6.0分 前50% #语音识别 118. NeuroCLUS: A Foundation Model with Functional Clusterin 6.0分 前50% #语音识别 119. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 5.9分 前50% #模型剪枝 120. Scaling Behavior in Model Fine-tuning for Audio DeepFak 5.9分 前50% #音频伪造检测 121. Bioacoustic Geolocation: Species Sounds as Geographic S 5.8分 前50% #音频理解 122. AudioChat: Unified Audio Storytelling, Editing, and Und 5.8分 前50% #音频生成 123. Omni-Diffusion: Unified Multimodal Understanding and Ge 5.8分 前50% - 124. Robust Signal Enhancement via Fractional Detail Views a 5.7分 前50% #语音增强 125. Multimodal Fusion via Self-Consistent Task-Gradient Fie 5.5分 前50% #鲁棒性 126. NAACA: Training-Free NeuroAuditory Attentive Cognitive 5.5分 前50% #音频事件检测 127. Language Model Augmented Semi-Supervised Statistical In 5.4分 后50% #语音属性识别 128. MER-DG: Modality-Entropy Regularization for Multimodal 5.4分 后50% #音视频理解 129. Towards Understanding Modality Interaction in Multimoda 5.3分 后50% #音视频理解 130. Stable Spectral Copula Alignment for Robust Multimodal 5.2分 后50% #鲁棒性 131. Multimodal Meta-Verifier with Explicit Structured Recal 5.2分 后50% #多模态模型 132. WaveSSM: Multiscale State-Space Models for Non-stationa 4.8分 后50% #音频分类 133. Efficient, Property-Aligned Fan-Out Retrieval via RL-Co 4.7分 后50% #音乐检索 134. VIBE: Disentangling Social Dynamics via Kinematics-Info 4.6分 后50% - 135. UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuni 4.4分 后50% #音视频问答 136. Rethinking Attention in Spiking Transformers: Overcomin 3.6分 后50% #音频分类 137. PRIM:Cooperative Dynamic Token Compression for Efficien 3.6分 后50% #音视频理解 📋 论文列表 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions 🔥 9.4/10 | 前10% | #音视频理解 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 影响 0.9/1.5 | 开源 1.5/1.5 ...

2026-07-04 · 更新于 2026-08-14 · 108 min · 22980 words

Alignment Drift in Single-Model Speculative Decoding for ASR: Mechanism, Correction, and Cost

📄 Alignment Drift in Single-Model Speculative Decoding for ASR: Mechanism, Correction, and Cost 标签:#语音识别 #自回归模型 #高效推理 #多语言 7.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ✅ 7.3/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音识别 | #自回归模型 | #高效推理 #多语言 | arxiv 👥 作者与机构 第一作者:Xinyu Wang(机构未说明;论文给出邮箱 xinyu@boson.ai) 通讯作者:未说明 作者列表:Xinyu Wang、Huapeng Zhou、Ziyu Zhao、Silin Meng、Ke Bai、Dongming Shen、Xiao-Wen Chang、Alex Smola(机构均未明确标注) 💡 毒舌点评 这篇文章的真正贡献不是“投机解码能加速 ASR”,而是把 ASR 单模型投机解码的失败定位到了浅层草稿在无 target 干预期间丢失音频位置。它用 restart/continuation 分解、固定宽度窗口干预、验证注意力读出和 AnchorDraft 训练目标形成了一套机制证据链。短板是证据链部分依赖离线强制对齐 oracle,运行时修正在 clean 上净收益不显著,训练修正数据量小,且没有可访问代码、权重或 demo;因此方法价值大于直接可复现价值。 ...

2026-08-14 · 更新于 2026-08-14 · 6 min · 1103 words

Comparative Analysis of Multilingual Pre-trained Models for Nepali Automatic Speech Recognition

📄 Comparative Analysis of Multilingual Pre-trained Models for Nepali Automatic Speech Recognition 标签:#语音识别 #迁移学习 #多语言 #低资源 #基准测试 7.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | 文档类型:数据集与基准 | 评分置信度:中 | #语音识别 | #迁移学习 | #多语言 #低资源 | arxiv 👥 作者与机构 第一作者:Suman Paudel(Tribhuvan University, School of Mathematical Sciences) 通讯作者:未说明 作者列表:Suman Paudel(Tribhuvan University, School of Mathematical Sciences)、Sarbin Sayami(Tribhuvan University, Central Department of Computer Science and Information Technology) 💡 毒舌点评 这项工作把“fine-tune 六个现成多语言预训练模型”做成了尼泊尔 ASR 目前最需要的受控基准,proximity-vs-scale 和 29× RTF 差异是有信息量的部署结论。但研究更像一次严谨的模型体检:没有多 seed 或统计显著性检验,Common Voice 上所有模型集体崩坏却未做系统声学/文本噪声归因,“MMS-1B 域外退化最小”这一卖点也部分被其较差的内域基线稀释。结论主要建立在一个朗读语料协议和单一训练配置上,还不足以形成尼泊尔低资源 ASR 的完整可靠性判断。 ...

2026-08-14 · 更新于 2026-08-14 · 5 min · 911 words

DonorRank: Donor Language Selection for Low-Resource Cross-Lingual Speech Recognition

📄 DonorRank: Donor Language Selection for Low-Resource Cross-Lingual Speech Recognition 标签:#语音识别 #迁移学习 #多语言 #低资源 #零样本 6.6/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.6/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音识别 | #迁移学习 | #多语言 #低资源 | arxiv 👥 作者与机构 第一作者:Akriti Dhasmana(University of Notre Dame, Computer Science and Engineering, Notre Dame, IN, USA) 通讯作者:未说明 作者列表:Akriti Dhasmana、Aarohi Srivastava、David Chiang(均来自 University of Notre Dame, Computer Science and Engineering) 💡 毒舌点评 工作把文本领域 LangRank 思路搬进低资源口语 ASR 的捐赠语言选择,并在 VAANI-D 上取得高 NDCG、识别出非显然转移 hub。短板同样明显:没有和语音领域已有的数据驱动捐赠者选择方法比较;WAXAL 上 top-1 整体不如遗传近邻,却未报告均值或统计检验;无代码、无模型、无数据发布,第三方难以严格验证或复用其结论。 ...

2026-08-13 · 更新于 2026-08-14 · 3 min · 542 words

Easper: An Accessible ASR Pipeline for Language Documentation

📄 Easper: An Accessible ASR Pipeline for Language Documentation 标签:#语音识别 #迁移学习 #低资源 #多语言 #开源工具 7.0/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 0.7/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:中 | #语音识别 | #迁移学习 | #低资源 #多语言 | arxiv 👥 作者与机构 第一作者:Aso Mahmudi(The University of Melbourne,论文标注单位包括 School of Computing and Information Systems 与 School of Languages and Linguistics,但未明确个人对应关系) 通讯作者:未说明 作者列表:Aso Mahmudi、Ting Dang、Ekaterina Vylomova、Nick Thieberger,均隶属 The University of Melbourne 机构说明:论文地址栏统一列出 1 School of Computing and Information Systems, The University of Melbourne, Australia;2 School of Languages and Linguistics, The University of Melbourne, Australia。论文未逐作者标注其所属院系。 💡 毒舌点评 这篇论文的工程闭环做得不错:从 ELAN 到云端微调、再到说话人日志与回写 ELAN,确实给没有 ML 背景的语言学家提供了一个可操作的桌面工作流。但作为顶会投稿,它更像是系统 demo 加一次小规模探索性实验:三个语种中 Nguna 仅约 1 小时、7 个会话,结论却试图上升为“语言丰富度优先于声学洁净度”的普适数据选择指南。全文没有给出任何具体 CER 数值表,没有未微调 Whisper 基线,没有 Elpis 对比,也没有多次运行的方差或显著性检验;读者只能从学习曲线里“看趋势”。工具可用性方面也缺少用户研究、成本估算或大规模档案压力测试。优点是问题定义真实,ToTy 指标直接回应 TyTo 对低频词和时长的偏差,数据选择方式贴合会话级田野转写实际;但证据链目前只能支撑“趋势观察”,还撑不起“实证指南”。 ...

2026-08-13 · 更新于 2026-08-14 · 4 min · 653 words

On-Policy Self-Distillation for Multi-Dialect ASR: Mastering Dialects, Retaining Mandarin

📄 On-Policy Self-Distillation for Multi-Dialect ASR: Mastering Dialects, Retaining Mandarin 标签:#语音识别 #知识蒸馏 #多语言 #持续学习 #领域适应 7.0/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7.0/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音识别 | #知识蒸馏 | #多语言 #持续学习 | arxiv 👥 作者与机构 第一作者:Shuiyuan Wang(Audio, Speech and Language Processing Group (ASLP@NPU), School of Computer Science, Northwestern Polytechnical University, Xi’an, China) 通讯作者:Lei Xie(Audio, Speech and Language Processing Group (ASLP@NPU), School of Computer Science, Northwestern Polytechnical University, Xi’an, China) 作者列表:Shuiyuan Wang(ASLP@NPU,西北工业大学计算机学院)、Bingshen Mu(ASLP@NPU,西北工业大学计算机学院)、Pengshen Zhang(WeNet Community)、Chengyou Wang(ASLP@NPU,西北工业大学计算机学院)、Yujie Liao(ASLP@NPU,西北工业大学计算机学院)、Chengdong Liang(WeNet Community)、Binbin Zhang(WeNet Community)、Qiangze Feng(NEXDATA TECHNOLOGY INC.)、Lei Xie(ASLP@NPU,西北工业大学计算机学院) 💡 毒舌点评 本文抓住了多方言 ASR 中“学会方言、保住普通话”这一真实痛点,并用同一套 refinement 数据下的 Continued SFT vs. OPSD 对照实验给出了相当有说服力的证据:普通话平均 CER 从 4.43% 降到 3.27%,说明最后阶段的目标函数选择确实关键。短板也很明显:OPSD 本身并非新方法,增量主要来自将其搬进 ASR 场景和阶段化工程组合;且论文并未与专门的方言 ASR 系统或 adapter/MoE 方案直接比较,公共方言集合上的提升幅度也偏小,距离突破性贡献仍有距离。CPT 消融虽然证明了先做继续预训练的必要性,但这一结论本身并不意外——把普通话混合数据先跑一圈能缓和后续方言 SFT 的覆盖损伤,属于常规持续学习直觉的验证。 ...

2026-08-13 · 更新于 2026-08-14 · 2 min · 255 words

The SLT 2026 SmartGlasses Challenge: Benchmarking Egocentric Multi-Talker Speech Recognition and Understanding with Audio-Language Models

📄 The SLT 2026 SmartGlasses Challenge: Benchmarking Egocentric Multi-Talker Speech Recognition and Understanding with Audio-Language Models 标签:#语音识别 #语音大模型 #音频理解 #数据集 #基准测试 7.5/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.5/10 | 前25% | 文档类型:数据集与基准 | 评分置信度:中 | #语音识别 | #语音大模型 | #音频理解 #数据集 | arxiv 👥 作者与机构 第一作者:Dehui Gao、Zhixian Zhao、Zhennan Lin(均为西北工业大学,ASLP@NPU 实验室;论文标注三人共同贡献) 通讯作者:Lei Xie(西北工业大学,ASLP@NPU) 作者列表: Dehui Gao(西北工业大学,ASLP@NPU) Zhixian Zhao(西北工业大学,ASLP@NPU) Zhennan Lin(西北工业大学,ASLP@NPU) Yujie Liao(西北工业大学,ASLP@NPU) Yuhang Dai(西北工业大学,ASLP@NPU) Yike Zhu(西北工业大学,ASLP@NPU) Longshuai Xiao(华为) Hui Bu(AIShell) Xin Xu(AIShell) Xie Chen(上海交通大学) Shuai Wang(南京大学) Liumeng Xue(南京大学) Zhonghua Fu(西北工业大学,ASLP@NPU) Jun Du(中国科学技术大学) Eng-Siong Chng(南洋理工大学) Jun Zhou(Rokid) Lei Xie(西北工业大学,ASLP@NPU) 💡 毒舌点评 这项工作最有价值的不是又刷了一个多说话人 ASR 榜单,而是用统一的 TSA-ASR 与 SLU 评测框架暴露出“转写好不等于理解好”的问题,尤其是 acoustic 类问题显著更弱。但作为 benchmark 论文,数据规模偏小、单语种且挑战参与者有限,系统分析也更像赛后总结而非严格受控实验,导致洞见有力但可泛化性仍需冷静看待。 ...

2026-08-13 · 更新于 2026-08-14 · 4 min · 720 words

ASR-Roundtrip Evaluation Can Mask Context- and Convention-Dependent Reading Errors in Chinese News TTS

📄 ASR-Roundtrip Evaluation Can Mask Context- and Convention-Dependent Reading Errors in Chinese News TTS 标签:#语音合成 #模型评估 #基准测试 #语音识别 6.5/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.5/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音合成 | #模型评估 | #基准测试 #语音识别 | arxiv 👥 作者与机构 第一作者:Shijun Luo(NetEase Cloud Music) 通讯作者:未说明 作者列表:Shijun Luo(NetEase Cloud Music)、Lizhi Wan(NetEase Cloud Music) 💡 毒舌点评 这篇文章用110例高风险审计和跨系统交叉验证,将ASR回环评估“读错但转写对”的假阴性问题从概念担忧落成了可量化的证据链。数据详实、协议清晰。但审计池全是新闻领域定向筛出来的高风险样本,发生率无法外推,CosyVoice仅做Raw条件也限制了“第二发生率”的解读。镜子确实照见了盲区,但只照见了一个角落。 ...

2026-08-12 · 更新于 2026-08-14 · 2 min · 221 words

Edge Phoneme Recognition for Children's Speech through Age-Aware Training

📄 Edge Phoneme Recognition for Children’s Speech through Age-Aware Training 标签:#语音识别 #多任务学习 #低资源 #高效推理 #教育 6.3/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 ✅ 6.3/10 | 前50% | 文档类型:模型报告 | 评分置信度:中 | #语音识别 | #多任务学习 | #低资源 #高效推理 | arxiv 👥 作者与机构 第一作者:Matthew Arboleda(Occidental College) 通讯作者:未说明 作者列表: Matthew Arboleda(Occidental College) Ryan Arboleda(Occidental College) Sophie Haak(Occidental College) Sam Hjelmeset(Occidental College) Andrew Franck(Occidental College) Bingrui Yang(Occidental College) Jose Bustamante Ortiz(Occidental College) Yuanrong Shen(Occidental College) Joel Walsh(Occidental College) 💡 毒舌点评 用小模型加年龄辅助头在儿童音素识别上取得了可观的 CER 收益,并且落地成手机端离线 App,是一个有实际价值的工程洞察;但论文实验深度明显不足,既没有给出盲测集上的精确 CER,也没有边缘设备的时延、内存和功耗实测,“年龄不变表征"的解释基本还是猜想。并且年龄头带来的收益只在 WavLM Base+ 上验证过,8–11 岁年龄段上 age-aware 模型反而明显差于 Large RNN-T,说明所谓的"年龄不变"可能只是在不同年龄段之间做了取舍。若能补上 WavLM Large 上的年龄头消融和真实手机端指标,会比现在更有说服力。 ...

2026-08-12 · 更新于 2026-08-14 · 3 min · 610 words

myMediWhisper: Construction of Burmese Medical Speech Corpus and Whisper Fine-Tuning for Clinical Dialogue ASR

📄 myMediWhisper: Construction of Burmese Medical Speech Corpus and Whisper Fine-Tuning for Clinical Dialogue ASR 标签:#语音识别 #参数高效微调 #低资源 #鲁棒性 6.7/10 | 创新 1/2 | 严谨 0.9/1.5 | 实验 1/1.5 | 清晰 0.6/1 | 影响 0.7/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.7/10 | 前50% | 文档类型:数据集与基准 | 评分置信度:中 | #语音识别 | #LoRA | #参数高效微调 #低资源 | arxiv 👥 作者与机构 论文标注 *Corresponding authors,但未在文本中列出具体姓名。 论文标注 †These authors contributed equally,但未在文本中列出具体姓名。 论文标注 ‡Work done during internship at LU. Lab., Myanmar,对应作者 Thet Htet San。 作者列表: Ye Kyaw Thu(National Electronics and Computer Technology Center (NECTEC), Thailand;Language Understanding Laboratory, Myanmar) Ye Bhone Lin(Language Understanding Laboratory, Myanmar;King Mongkut’s University of Technology Thonburi, Thailand) Thura Aung(Language Understanding Laboratory, Myanmar;King Mongkut’s Institute of Technology Ladkrabang, Thailand) Htet Arkar(King Mongkut’s Institute of Technology Ladkrabang, Thailand) Myat Oo Swe(King Mongkut’s Institute of Technology Ladkrabang, Thailand) Thet Htet San(King Mongkut’s Institute of Technology Ladkrabang, Thailand;标注 Work done during internship at LU. Lab., Myanmar) Min Thiha Tun(Language Understanding Laboratory, Myanmar) Thazin Myint Oo(Language Understanding Laboratory, Myanmar) Thepchai Supnithi(National Electronics and Computer Technology Center (NECTEC), Thailand) 💡 毒舌点评 论文的价值在语料和基准本身:公开缅甸语医疗语音数据、给出 FFT 与 rsLoRA-PEFT 的系统对比,这对低资源医疗 ASR 是实打实的推进。但内部数字多处对不上:正文说原始语料 28 小时 6 分 36 秒,表 1 却是 55.82 小时;增强因子写 0.5×3×2,又说扩到 198.63 小时、约 3.75 倍,按因子算应约 211.8 小时;正文称 PEFT 模型 RTF 普遍比 FFT 高,但 Medium 无增强时 PEFT RTF 0.408 明显低于 FFT 的 0.691,正文偏又引用这对数字作为 PEFT 延迟更高的证据。更麻烦的是,论文引用 myMediCon 的 19.0% WER 作为领域最佳基线,却没做任何对比说明;按各自报告口径,本文 23.44% 并不比 myMediCon 的 RNN 基线低。这些硬伤让一个本可干净利落的数据集贡献显得仓促。建议作者发布勘误表,明确 28h/52.95h/55.82h/198.63h 之间的口径关系,并给出模型权重和代码仓库。 ...

2026-08-12 · 更新于 2026-08-14 · 5 min · 1056 words