论文速递

📄 UniVoice: A Unified Model for Speech and Singing Voice Generation #语音合成 8.7/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8.7/10 | 前25% | #语音合成 | #语音合成 | arxiv 👥 作者与机构 Junjie Zheng1， Huixin Xue2， Shihong Ren2， Chaofan Ding1， Hao Liu2， Zihao Chen1 1 Giant Network 2 Shanghai Conservatory of Music 💡 毒舌点评 这篇论文瞄准了语音与歌声统一生成中的一个真实痛点——条件冲突，这个动机很好。其提出的因子化条件和学习null token的思路也足够巧妙，理论上很自洽，像一个优雅的“软件工程”解决方案。但是，作为顶会论文，理论深度略显不足，更像是为现有架构做的一个精妙适配，而非从第一性原理出发的突破。实验部分虽然全面，但评估细节（如测试集、人类评估协议）的透明度可以更高。总体而言，这是一篇扎实的“系统设计”论文，创新点清晰，工程价值明显，但理论贡献和颠覆性不足。 ...

📄 USAD 2.0: Scaling Representation Distillation for Universal Audio Understanding #音频编码 #知识蒸馏 #自监督学习 #迁移学习 #多任务学习 9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 9/10 | 前25% | #音频编码 | #知识蒸馏 | #自监督学习 #迁移学习 | arxiv 👥 作者与机构 作者：Heng-Jui Chang, Liu Bhati, Saurabhchand Athi, Mrudula Ratnarajah, Anton Chhetri, Amit Glass, James Glass 机构：MIT CSAIL, USA；Amazon, USA ...

📄 VoCodec: A Low-bitrate Streamable Neural Speech Codec with Voicing-driven Quantization #语音编码 #流式处理 7.2/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.2/10 | 前50% | #语音编码 | #流式处理 | arxiv 👥 作者与机构 第一作者：Xiao-Hang Jiang (江晓航)。 机构：中国科学技术大学，清华大学。 💡 毒舌点评 这篇工作的核心想法——给浊音多分点比特，清音少分点——本身是合理的，甚至可以说是回归了经典语音处理的一个常识。但问题在于，为了证明这个“显而易见”的道理，论文的实验和论证显得有些“小题大做”。作者用了一套看似复杂的神经网络框架，但核心的决策模块（浊音检测器）却异常简单粗暴（能量阈值），这就像用高射炮打蚊子，而高射炮的瞄准镜还是个固定的。此外，论文在多个关键细节上语焉不详（GAN训练、LSTM状态、IVQ的具体贡献），使得这项工作的可复现性和分析深度打了折扣。它更像是一次对StreamCodec的成功“调参”和“魔改”，而非一次深刻的技术突破。所谓27%的比特率节省，在特定条件下成立，但推广性存疑。 📌 核心摘要 VoCodec是一个面向低比特率场景的可流式神经语音编解码器。其核心创新在于提出“发声驱动量化”策略：通过一个基于基频能量的简单阈值检测器判断每帧是浊音还是清音，然后对感知更重要的浊音帧使用精细的残差标量-向量量化（RSVQ），而对清音帧使用粗糙的单标量量化（SQ）。论文在LibriTTS（16kHz）和VCTK（48kHz）数据集上进行了实验，表明VoCodec在1.1 kbps（16kHz）下的感知质量（MUSHRA）优于同为流式的StreamCodec，并接近计算量大得多的BigCodec。进一步的ABX测试显示，VoCodec以1.1 kbps的码率达到了与SQCodec等模型在1.5 kbps下相当的感知质量，实现了约27%的比特率节省。消融实验（VoCodec-r）通过反转量化策略，验证了为浊音帧分配更多比特的有效性。然而，该方法在理论分析深度、关键实现细节的披露、以及在复杂声学环境下的泛化能力验证方面存在不足。 🔗 开源详情 代码：论文中未提及代码开源链接。 模型权重：论文中未提及模型权重开源链接。 数据集：论文中使用了 LibriTTS 和 VCTK 数据集。获取链接如下： LibriTTS: 通常通过 LibriSpeech 官方工具或 HuggingFace 获得（论文未提供直接链接）。 VCTK: https://datashare.ed.ac.uk/handle/10283/3443。 Demo：论文中提供了语音样本演示页面：https://pb20000090.github.io/VoCodec/。 复现材料：论文未提供训练代码、检查点、具体训练脚本或配置文件的下载链接。 论文中引用的开源项目： StreamCodec：作为VoCodec的基础架构，论文未提供其代码仓库的具体链接。 HiFi-GAN：被用作解码器的vocoder，其官方代码仓库为 https://github.com/jik876/hifi-gan。 SoundStream 和 Encodec：作为相关工作被引用，提供了官方实现链接。 SQCodec：论文指出其官方发布仅提供了16 kHz下1.5 kbps的实现，未提供完整开源仓库。 🏗️ 方法概述和架构 VoCodec采用全因果的编码器-解码器架构，适用于流式传输。其整体流程如图1所示，包含四个核心组件：编码器、发声检测器、发声驱动量化器和解码器。 ...

📄 Vortex: Efficient and Programmable Sparse Attention Serving for AI Agents #大语言模型 8.9/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.9/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.9/10 | 前25% | #大语言模型 | #大语言模型 | arxiv 👥 作者与机构 Zhuoming Chen, Xinrui Zhong, Qilong Feng, Ranajoy Sadhukhan, Yang Zhou, Michael Qizhe Shieh, Zhihao Jia, Beidi Chen Carnegie Mellon University, Rice University, Singapore National University ...

语音/音乐/音频论文速递 2026-06-05 共分析 47 篇论文 ⚡ 今日概览 📥 抓取 47 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 11篇 ███████████ #语音合成 6篇 ██████ #语音情感识别 3篇 ███ #大语言模型 2篇 ██ #语音增强 2篇 ██ #说话人识别 2篇 ██ #流式处理 1篇 █ #音频编码 1篇 █ 📊 论文评分排行榜（47 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Audio Interaction Model 9.8分 前50% #流式处理 🥈 USAD 2.0: Scaling Representation Distillation for Unive 9.0分 前25% #音频编码 🥉 M2S-AVSR: Modality-aware Multi-view Self-supervised Rep 9.0分 前25% #语音识别 4. Vortex: Efficient and Programmable Sparse Attention Ser 8.9分 前25% #大语言模型 5. UniVoice: A Unified Model for Speech and Singing Voice 8.7分 前25% #语音合成 6. Ouvia: A User-centered Framework for Measuring Usabilit 8.6分 前25% #语音翻译 7. Age-Aware Adapter Tuning for Children's Speech Reco 8.4分 前25% #语音识别 8. MCBench: A Multicontext Safety Assessment Benchmark for 8.4分 后50% #语音识别 9. SuperMemory-VQA: An Egocentric Visual Question-Answerin 8.4分 前25% #基准测试 10. GLASS: GRPO-Trained LoRA for Acoustic Style Steering in 8.2分 前25% #语音合成 11. A Model of Multi-turn Human Persuadability Using Probab 8.2分 前50% - 12. Learning Emotion-discriminative Representations for Zer 8.1分 前25% #语音情感识别 13. FORTE: FOL-guided Optimal Refinement for Text-audio rEt 8.1分 前25% #参数高效微调 14. FiLM-Based Speaker Conditioning of a SpeechLLM for Path 8.0分 前50% #语音识别 15. Task-Vector Arithmetic for Emotional Expressivity Contr 7.9分 前25% #语音合成 16. An Ultra-Low-Bitrate Neural Speech Codec with Plain-to- 7.7分 前25% #语音合成 17. Exploring LLMs for South Asian Music Understanding and 7.7分 前50% #音乐生成 18. SB-RF: Schrödinger Bridge Rectified Flow for One-Step R 7.6分 前25% #语音增强 19. nnAudio 2: Overcoming Dynamic Compilation Barriers and 7.5分 前50% #开源工具 20. Beyond Waveform Robustness: Robust Feature-Vocoder Adve 7.5分 前25% #语音识别 21. FoeGlass: Simple In-Context Learning Is Enough for Red 7.5分 前25% #音频生成 22. ProSarc: Prosody-Aware Sarcasm Recognition Framework vi 7.5分 前25% #语音情感识别 23. Probing Spatial Structure in Pretrained Audio Represent 7.4分 前25% - 24. Forgive or forget: Understanding the context of hate in 7.4分 前50% #音频检索 25. SpeechJBB: Probing Safety Alignment and Comprehension i 7.3分 前25% #语音识别 26. VoCodec: A Low-bitrate Streamable Neural Speech Codec w 7.2分 前50% #语音编码 27. F3-Tokenizer: Taming Audio Autoencoder Latents for Unde 7.2分 前25% #语音合成 28. Beyond WER: A Paired Acoustic Stress Test for Ambient C 7.1分 前50% #语音识别 29. InfoShield: Privacy-Preserving Speech Representations f 7.1分 前50% - 30. Multi-task Learning is Not Enough: Representational Ent 6.9分 前50% #语音识别 31. Sound Effects Dataset Unification With the Universal Ca 6.9分 前50% #音频分类 32. To Be Multimodal or Not to Be: Query-Adaptive Audio-Vis 6.8分 前50% #说话人识别 33. SHALA-LLM: Smartly Handling Ambiguous Labels in Alignin 6.8分 前50% #语音情感识别 34. SagnacAssisted Enhanced OTDR for Distributed Acoustic S 6.6分 前50% #信号处理基础 35. Domain-Aware Mispronunciation Detection and Diagnosis U 6.6分 前50% #图神经网络 36. CoSTA: Cognitive-State-Conditioned TTS Data Augmentatio 6.5分 前50% #语音合成 37. Beyond Text Following: Repairable Arbitration Reversals 6.4分 前50% #音频问答 38. Enhancing Audio Captioning with Auxiliary AudioSet Sema 6.3分 前50% - 39. Do speech foundation models perceive speaker similarity 6.3分 前50% #说话人识别 40. Efficient Punctuation Restoration via Weighted Lookahea 6.3分 前50% #大语言模型 41. Automatic Labelling of Speech Translation Errors 6.1分 前50% #语音识别 42. Towards Truly Multilingual ASR: Generalizing Code-Switc 5.9分 前50% #语音识别 43. An ERP Study on Recursive Locative Processing in Mandar 5.9分 前50% - 44. Multilingual Detection of Alzheimer's Disease from 5.7分 后50% #迁移学习 45. DBHN-Net: Dual-Branch Hybrid Neural Network For Low-Com 5.4分 前25% #语音增强 46. Beyond Generative Decoding: Discriminative Hidden-State 5.3分 前50% #多模态模型 47. Revisiting Lexicon Evaluation in Unsupervised Word Disc 1.0分 前25% #语音识别 📋 论文列表 🥇 Audio Interaction Model 9.8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1.0/1 | 影响 1.5/1.5 | 开源 1.1/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 A Second-Order Cepstral Signature of Contact-Vibration Sounds Reproduced by Laptop Loudspeakers: A Synthetic Case Study #倒谱分析 #信号处理基础 4.8/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 0.5/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.3/1.5 📝 4.8/10 | 后50% | #信号处理基础 | #倒谱分析 | arxiv 👥 作者与机构 Jim Salsman, TalkNicer, Inc. 💡 毒舌点评 一篇非常初步的、探索性的合成案例研究。其核心思想（用“二阶倒谱”描述接触振动声）是新颖的，但实现方式极其简化，验证严重不足。论文花费大量篇幅构建并描述了一个六阶段的合成信号链，但这本质上是一个“自证预言”的玩具模型——你精心设计了每一步，然后去验证你预先设定的结论。整个分析缺乏任何真实世界的验证，使得所有结论都停留在“如果我的模型正确，那么……”的层面。作者诚实地列出了局限性，但这也正说明了本文目前只能算一个技术备忘录，远未达到发表级别。创新性虽有，但被其薄弱的实验基础和几乎为零的工程实用性所抵消。 📌 核心摘要 本文提出使用二阶倒谱（即对一阶倒谱再次进行倒谱分析）作为一种探索性描述符，来刻画通过笔记本电脑扬声器播放的手机振动接触声音的感知独特性。作者构建了一个包含六个阶段的合成信号链模型（机械产生、表面/空气传播、麦克风采集、编码/解码、笔记本播放、再录制/后处理），并在此合成数据上进行分析。结果显示，一阶倒谱的周期性在整个信号链中得以保留，而更清晰的二阶倒谱双峰性结构在机械源阶段（阶段1）和笔记本扬声器播放阶段（阶段5）最为明显。作者将此结果解释为支持一个假设：笔记本电脑的播放可能重新强调了潜在于接触振动中的、在中间录制和编码形式中表达不够清晰的周期性结构。 🔗 开源详情 代码：未提供。论文声明使用ChatGPT 5.5协助生成代码，但未公开。 模型权重：未提及。 数据集：合成数据。论文中称“合成数据……可按需提供”，但未提供下载链接或访问方式。 Demo：未提及。 复现材料：未提及。 论文中引用的开源项目：未提及。 🏗️ 方法概述和架构 本文的核心方法是构建一个六阶段的合成信号链，并对每个阶段的输出信号进行一阶和二阶倒谱分析。 ...

📄 Channel-Oriented Design for EEG-to-Music Reconstruction #音乐信息检索 #音频生成 #自监督学习 #对比学习 #数据增强 7.7/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.7/10 | 前25% | #音乐生成 | #自监督学习 | #音乐信息检索 #音频生成 | arxiv 👥 作者与机构 Jiaxin Qing (UC Berkeley)， Junwei Lu (Harvard University)， Lexin Li (UC Berkeley) 💡 毒舌点评 这篇论文在脑机接口的细分赛道——EEG-to-Music重建上，精准地抓住了“通道信息早期混合”这个痛点，并提出了一个逻辑自洽、组件清晰的解决方案。理论分析虽简化，但为设计选择提供了合理的数学依据，比单纯喊口号强。实验部分，与当前SOTA基础模型的对比很到位，证明了专用设计优于通用预训练模型在特定任务上的表现。可解释性分析更是点睛之笔，将EEG的通道注意力与听觉处理脑区关联，提升了工作的可信度和价值。不过，其“对齐+固定生成器”的管道设计虽能隔离贡献，但也限制了对生成阶段优化潜力的探索。在通用性方面，模型对电极配置的固定依赖是一个明显的实用化短板。总的来说，这是一篇扎实、聚焦、有洞察力的工作，配得上顶会水准。 📌 核心摘要 本文研究了从EEG信号重建音乐这一具有挑战性的任务。作者指出，现有方法中过早地混合通道信息会破坏EEG中微弱但有区分度的信号。为此，提出了一个“通道导向”的设计框架，其核心包含三个组件：通道级标记化（将每个电极视为独立标记以保留空间局部证据）、通道级多视图自蒸馏（强制模型在不同时间裁剪和随机通道子集之间保持一致性，以学习鲁棒且分布式的表示）和通道级数据增强（通过结构化的通道丢弃提高对噪声和缺失电极的不变性）。这些组件被集成到一个编码-对齐-解码的管道中。从理论上，论文分析了通道级遮蔽相比块级遮蔽在何种条件下能降低跨类重叠。在实验上，通过与多种基线方法（包括专门的EEG2Mel和通用的EEG基础模型LaBraM、EEGPT、CBraMod）进行系统对比，在语义重建（CLAP score 0.683）和嵌入级对齐（50-way 识别准确率0.487）指标上取得了最佳性能。消融研究验证了每个组件的贡献，可解释性分析揭示了与听觉处理相关的通道注意力模式。 ...

📄 CleanCodec: Efficient and Robust Speech Tokenization via Perceptually Guided Encoding #语音编码 #语音合成 #语音识别 #对比学习 8.8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 8.8/10 | 前25% | #语音编码 | #自监督学习 | #语音合成 #语音识别 | arxiv 👥 作者与机构 Eugene Kwek (Pennsylvania State University), Feng Liu (Drexel University), Rui Zhang (Pennsylvania State University), Wenpeng Yin (Pennsylvania State University)。 ...

📄 DetectZoo: A Unified Toolkit for AI-Generated Content Detection Across Text, Audio, and Image Modalities #多模态模型 #自监督学习 #数据集 #基准测试 9.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 9.3/10 | 前25% | #多模态模型 | #自监督学习 | #数据集 #基准测试 | arxiv 👥 作者与机构 Sajad Ebrahimi, Nima Jamali, Bardia Shirsalimian, Kelly McConvey, Wentao Zhang, Jalehsadat Mahdavimoghaddam, Maksym Taranukhin, Maura Grossman, Vered Shwartz, Yuntian Deng, Ebrahim Bagheri University of Toronto, University of Waterloo, Toronto Metropolitan University, University of British Columbia, Vector Institute ...

📄 Differentiable Articulatory Copy-Synthesis of Biphonic Singing #音频生成 7.1/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.4/1.5 ✅ 7.1/10 | 前50% | #音频生成 | #音频生成 | arxiv 👥 作者与机构 论文未明确列出作者所属机构。论文脚注显示工作得到了西班牙经济与竞争力部（Ministry of Economy and Competitiveness of Spain）及Santander基金会的支持。 💡 毒舌点评 这篇论文很扎实，但也有明显的“精致的小作坊”气质。它精准地解决了一个非常小众但极具声学美感的“图瓦喉音”合成问题，这种专注值得称赞。然而，其方法的核心假设——舌下第二声源——就像在物理学大厦里塞进一个“薛定谔的声源”，虽然消融实验证明其有效，但其生理合理性始终是个“房间里的大象”，作者在讨论中试图轻描淡写地将其称为“声学抽象”，这多少有点回避核心争议。实验规模（20个样本）对于“验证”一个模型来说过于袖珍，更像是一个概念验证（PoC）的展示，离稳健的泛化性证明还有距离。最令人扼腕的是其离线优化成本（处理5秒音频要30分钟），这使得整个“可微分建模”的炫酷光环瞬间被现实应用的门槛拉回地面。总的来说，这是一篇技术实现精巧、写作规范的领域应用论文，但离改变游戏规则的突破性工作还有一步之遥——这一步就是规模和效率。 📌 核心摘要 本文提出了一种可微分的关节复制合成方法，用于图瓦双声部歌唱中的“Sygyt”技巧。核心模型是一个扩展的Kelly-Lochbaum波导模型，集成了三项关键创新：1）一个舌下第二声源，用于建模双声源现象；2）基于三次B样条的声道参数化，以实现平滑且物理合理的声道形状控制；3）空间可变的可学习阻尼，用于精细调控共振峰带宽。该模型通过端到端梯度下降优化，以最小化合成音频与目标音频的差异。实验在两个独立的Sygyt数据集（20个片段，5位歌手，10个音高）上进行，与传统的关节链基线模型和无物理约束的DDSP基线模型进行比较。结果表明，所提的B样条模型在对数谱距离（LSD）上相对关节链基线降低了30-38%，改进主要集中于1-3kHz的泛音区域。倒谱包络分析显示，模型能更准确地再现Sygyt产生的共振峰合并结构。消融实验表明，舌下第二声源是性能提升的主要贡献者。模型学习到的声道轮廓与已知的Sygyt发声机制一致，具有声学可解释性。 🔗 开源详情 代码：论文中未提及明确的官方代码仓库链接（如GitHub）。论文指出模型使用JAX实现，并基于了开源项目VocalTrax，但未提供其改进版本的具体代码地址。 模型权重：论文中未提及任何预训练模型权重的下载链接（如HuggingFace、ModelScope）。 数据集：论文中未提供其使用的两个独立数据集（HFA Overtone Singing Preview dataset [9] 和 Bergevin et al. [2]）的具体公开获取链接或开源协议。数据集描述为“独立录制的工作室录音”。 Demo：论文中未提及在线演示链接。 复现材料：论文在脚注中提供了补充材料网站：https://mateocamara.com/khoomei-supp-materials 。音频示例和更多补充材料应在此获取。 论文中引用的开源项目： VocalTrax：论文指出其可微分波导模型扩展自该项目，并引用了其JAX实现。相关论文链接：https://arxiv.org/abs/2002.00180 。 Pink Trombone：论文中提到了作为交互式Kelly-Lochbaum风格波导模型的实时合成器。相关GitHub仓库：https://github.com/timurmusic/Pink-Trombone 。 🏗️ 方法概述和架构 本文提出的复制合成方法旨在从录音中逆向优化声道参数和声源参数，以重建“Sygyt”歌唱效果。系统整体分为预处理（固定参数提取）和可微分优化（参数学习）两个阶段。 ...