ICML 2026 语音/音频论文详细分析

ICML 2026 语音/音频论文详细分析 共分析 137 篇 ICML 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文: 音视频理解(18篇) 音视频生成(10篇) 音频分类(9篇) 音频理解(8篇) 音乐生成(8篇) 语音合成(8篇) 音视频问答(8篇) 语音识别(5篇) 语音伪造检测(4篇) 语音交互(4篇) 语音增强(4篇) 语音编码(4篇) 多模态模型(3篇) 音频伪造检测(3篇) 音频分离(2篇) 空间音频(2篇) 音频编码(2篇) 音频修复(2篇) 语音属性识别(2篇) 音频生成(2篇) ⚡ 会议概览 📥 ICML 2026 接收 6341 篇论文 → 🔍 关键词 + LLM 筛选 137 篇音频/语音/音乐相关 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 18篇 ██████████████████ #音视频生成 10篇 ██████████ #音频分类 9篇 █████████ #音频理解 8篇 ████████ #音乐生成 8篇 ████████ #语音合成 8篇 ████████ #音视频问答 8篇 ████████ #语音识别 5篇 █████ #语音伪造检测 4篇 ████ #语音交互 4篇 ████ #语音增强 4篇 ████ #语音编码 4篇 ████ #多模态模型 3篇 ███ #音频伪造检测 3篇 ███ #音频分离 2篇 ██ 📊 论文评分排行榜(137 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with T 9.4分 前10% #音视频理解 🥈 Joint Enhancement and Classification using Coupled Diff 9.3分 前10% #语音识别 🥉 Learning Tight Rejection Boundaries without Negatives f 9.3分 前10% #语音伪造检测 4. AVTrack: Audio-Visual Tracking in Human-centric Complex 9.3分 前10% #音视频理解 5. A Semantically Consistent Dataset for Data-Efficient Qu 9.2分 前10% #音频分离 6. SAM Audio: Segment Anything in Audio 9.2分 前10% #音频分离 7. MECAT: A Multi-Experts Constructed Benchmark for Fine-G 9.1分 前10% #音频理解 8. $\tau$-Voice: Benchmarking Full-Duplex Voice Agents on 9.1分 前10% #语音交互 9. PhaseCoder: Microphone Geometry-Agnostic Spatial Audio 8.7分 前25% #空间音频 10. BAT: Better Audio Transformer Guided by Convex Gated Pr 8.6分 前25% #音频分类 11. SPEAR: A Unified SSL Framework for Learning Speech and 8.4分 前25% #音频理解 12. Dual-View Predictive Diffusion: Lightweight Speech Enha 8.4分 前25% #语音增强 13. Unlocking Cross-Modal Biosignal Synthesis: A Temporally 8.3分 前25% - 14. CoLA: Cross-Modal Low-rank Adaptation for Multimodal Do 8.3分 前25% #音视频理解 15. Speech-Audio Compositional Attacks on Multimodal LLMs a 8.3分 前25% #音频理解 16. MoST: Mixing Speech and Text with Modality-Aware Mixtur 8.2分 前25% - 17. IVQ: Structured and Lightweight Vector Quantization via 8.2分 前25% #音频编码 18. Spherical Procrustes Alignment for Reliable Medical Aud 8.2分 前25% #音频分类 19. Attend to Anything: Foundation Model for Unified Human 8.2分 前25% #音视频理解 20. VocSim A Training-free Benchmark for Zero-shot Content 8.2分 前25% #音频检索 21. JAEGER: Joint 3D Audio-Visual Grounding and Reasoning i 8.1分 前25% #声源定位 22. LALM-as-a-Judge: Benchmarking Large Audio-Language Mode 8.1分 前25% #语音交互 23. Pianist Transformer: Towards Expressive Piano Performan 8.1分 前25% #音乐生成 24. Simultaneous Speech-to-Speech Translation Without Align 8.0分 前25% #语音翻译 25. PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前25% #音乐生成 26. Optimality of FSQ Tokens for Continuous Diffusion for C 8.0分 前25% #语音合成 27. SonicMaster: Towards Controllable All-in-One Music Rest 8.0分 前25% #音频修复 28. Do Audio LLMs Listen or Read? Analyzing and Mitigating 8.0分 前25% #语音属性识别 29. Multiple Choice Learning of Low-Rank Adapters for Langu 8.0分 前25% #多模态模型 30. Bridging the Stability-Expressivity Gap: Synthetic Data 8.0分 前25% #语音合成 31. FutureOmni: Evaluating Future Forecasting from Omni-Mod 8.0分 前25% #音视频问答 32. Acoustic Interference: A New Paradigm Weaponizing Acous 8.0分 前25% #音频理解 33. ReGen: Hierarchical Multi-Prompt Representation Generat 8.0分 前25% #语音编码 34. DiscoForcing: A Unified Framework for Real-Time Audio-D 8.0分 前25% #音乐生成 35. DreamID-Omni: Unified Framework for Controllable Human- 8.0分 前25% #音视频生成 36. AgentSteerTTS: A Multi-Agent Closed-Loop Framework for 7.9分 前25% #语音合成 37. STAR-VAE: Structured Topology-Aware Regularization for 7.9分 前25% #音频生成 38. HyperPotter: Spell the Charm of High-Order Interactions 7.9分 前25% #音频伪造检测 39. T2AV-Compass: Towards Unified Evaluation for Text-to-Au 7.9分 前25% #音视频生成 40. Decoupling The “What” and “Where” With Polar Coordinate 7.8分 前25% #音乐生成 41. V-LynX: Token Interface Alignment for Video+X LLMs 7.8分 前25% #音视频问答 42. Ariadne’s Thread of LipSync: Unraveling Forgeries via I 7.8分 前25% #音视频理解 43. SONAR: Spectral‑Contrastive Audio Residuals for General 7.8分 前25% #语音伪造检测 44. TMD-Bench: A Multi-Level Evaluation Paradigm for Music– 7.7分 前25% #音视频生成 45. AudioMosaic: Contrastive Masked Audio Representation Le 7.7分 前25% #音频分类 46. BFCL Audio: An Audio Function Calling Evaluation for La 7.7分 前25% #语音交互 47. SALSA-V: Shortcut-Augmented Long-form Synchronized Audi 7.6分 前25% #音视频生成 48. BEAT: Tokenizing and Generating Symbolic Music by Unifo 7.6分 前25% #音乐生成 49. From Inpainting to Editing: Unlocking Robust Mask-Free 7.6分 前25% #扩散模型 50. Hearing Without Noticing? Attention-Aware Stealthy Blac 7.6分 前25% #语音识别 51. AVGen-Bench: A Task-Driven Benchmark for Multi-Granular 7.6分 前25% #音视频生成 52. Alethia: a Foundational Encoder for Voice Deepfakes 7.6分 前25% #语音伪造检测 53. AG-REPA: Causal Layer Selection for Representation Alig 7.6分 前25% #语音合成 54. AVI-Bench: Toward Human-like Audio-Visual Intelligence 7.6分 前25% #音视频理解 55. Two-dimensional quantization for geometry-aware audio c 7.6分 前25% #语音编码 56. Abstraction Induces the Brain Alignment of Language and 7.5分 前25% #语音编码 57. Self-Guidance: Enhancing Neural Codecs via Decoder Mani 7.5分 前25% #语音编码 58. OmniVideo-R1: Reinforcing Audio-visual Reasoning with Q 7.5分 前25% #音视频问答 59. Listening Through the Noise: Cauchy-Driven Diffusion Br 7.4分 前50% #音频修复 60. MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 7.4分 前50% - 61. Omni-Perception Policy Optimization for Multimodal Emot 7.4分 前50% #音视频理解 62. video-SALMONN S: Memory-Enhanced Streaming Audio-Visual 7.3分 前50% #音视频问答 63. Group Cognition Learning: Making Everything Better Thro 7.3分 前50% #音视频理解 64. REST: Diffusion-based Real-time End-to-end Streaming Ta 7.3分 前50% #音视频生成 65. PhoStream: Benchmarking Real-World Streaming for Omnimo 7.3分 前50% #音视频问答 66. ProactiveLLM: Learning Active Interaction for Streaming 7.2分 前50% #语音识别 67. Stream RAG: Instant and Accurate Spoken Dialogue System 7.2分 前50% #流式处理 68. Probing Cross-modal Information Hubs in Audio-Visual LL 7.2分 前50% #音视频理解 69. Efficient Multi-modal Dataset Distillation via Analytic 7.2分 前50% #对比学习 70. Self-Supervised Flow Matching for Scalable Multi-Modal 7.2分 前50% #音视频生成 71. CoCoEmo: Composable and Controllable Human-Like Emotion 7.1分 前50% #语音合成 72. Scaling Transformers for End-to-End Discrete Audio Toke 7.1分 前50% #音频编码 73. Query-Based Asymmetric Modeling with Decoupled Input–Ou 7.1分 前50% #语音增强 74. OmniSIFT: Modality-Asymmetric Token Compression for Eff 7.1分 前50% #音视频问答 75. Sparse Autoencoders for Interpretable Emotion Control i 7.0分 前50% #语音合成 76. The Silent Thought: Modeling Internal Cognition in Full 7.0分 前50% #知识蒸馏 77. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 7.0分 前50% #音频水印 78. Efficient Distributed MLLM Training with Cornstarch 7.0分 前50% #音视频理解 79. Reasoning LLM Improves Speaker Recognition in Long-form 7.0分 前50% - 80. Real-World Unsupervised Models Generalize to Predict Br 6.9分 前50% #模型评估 81. From Talking to Singing: A New Challenge for Audio-Visu 6.9分 前50% #音视频理解 82. OmniShow: Unifying Multimodal Conditions for Human-Obje 6.9分 前50% #音视频生成 83. E-VAds: An E-commerce Short Videos Understanding Benchm 6.9分 前50% #音视频问答 84. STARCaster: Spatio-Temporal AutoRegressive Video Diffus 6.8分 前50% #音视频生成 85. Zero-Shot Rankability: Revealing Latent Ordinal Structu 6.8分 前50% #音视频理解 86. An Exterior Method for Nonnegative Matrix Factorization 6.8分 前50% #音频分类 87. FoeGlass: Simple In-Context Learning Is Enough for Red 6.8分 前50% #语音伪造检测 88. Native Active Perception as Reasoning for Omni-Modal Un 6.8分 前50% #音视频理解 89. Unlocking Speech–Text Compositional Powers: Instruction 6.7分 前50% #语音交互 90. UltraLIF: Fully Differentiable Spiking Neural Networks 6.7分 前50% #音频分类 91. Towards Streaming Synchronized Spatial Audio Generation 6.6分 前50% #音视频生成 92. TextME: Bridging Unseen Modalities Through Text Descrip 6.6分 前50% - 93. Evaluating and Rewarding LALMs for Expressive Role-Play 6.6分 前50% #语音合成 94. PADS-TAL: Padding-Annealed Diffusion Sampling in Text-A 6.6分 前50% #音乐生成 95. ADEPT: RL-Aligned Agentic Decoding of Emotion via Evide 6.5分 前50% #语音情感识别 96. Universal Algorithm-Implicit Learning 6.5分 前50% #音频分类 97. SARSteer: Safeguarding Large Audio Language Models via 6.5分 前50% - 98. MetaPerch: Learning from metadata for bioacoustics foun 6.5分 前50% #音频分类 99. Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Mus 6.5分 前50% #音乐生成 100. CMI-RewardBench: Evaluating Music Reward Models with Co 6.4分 前50% #音乐生成 101. Multimodal Fact-Level Attribution for Verifiable Reason 6.4分 前50% #音频理解 102. MedMosaic: A Challenging Large Scale Benchmark of Diver 6.4分 前50% #音频理解 103. INFER: Learning Implicit Neural Frequency Response Fiel 6.4分 前50% #空间音频 104. Characterizing the Predictive Impact of Modalities with 6.4分 前50% - 105. PCRNet: Phase-aware Complex Refinement Network for EEG- 6.4分 前50% #实时处理 106. OmniFit: Bridging Modalities via Layer-Adaptive Token C 6.3分 前50% #音视频理解 107. EchoingPixels: Aliasing-Resistant Joint Token Reduction 6.3分 前50% #音视频理解 108. Quaternion Self-Attention with Shared Scores 6.3分 前50% #语音增强 109. LightAVSeg: Lightweight Audio-Visual Segmentation 6.3分 前50% #模型压缩 110. SURF: Separation via Unsupervised Remixing Flow 6.2分 前50% #语音分离 111. Neural-Inspired Modeling of Auditory Selection and Comp 6.2分 前50% #音视频语音分离 112. AuTAgent: A Reinforcement Learning Framework for Tool-A 6.2分 前50% #音频理解 113. Multimodal Latent Language Modeling with Next-Token Dif 6.1分 前50% #语音合成 114. FakeWorld 1.0: An Omni-modal Benchmark for Fake Media a 6.1分 前50% #可解释性 115. ConsMSA: Semantic Distribution Consistency Learning for 6.1分 前50% #多模态模型 116. MusicDET: Zero-Shot AI-Generated Music Detection 6.1分 前50% #音频伪造检测 117. Convex Low-resource Accent-Robust Language Detection in 6.0分 前50% #语音识别 118. NeuroCLUS: A Foundation Model with Functional Clusterin 6.0分 前50% #语音识别 119. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 5.9分 前50% #模型剪枝 120. Scaling Behavior in Model Fine-tuning for Audio DeepFak 5.9分 前50% #音频伪造检测 121. Bioacoustic Geolocation: Species Sounds as Geographic S 5.8分 前50% #音频理解 122. AudioChat: Unified Audio Storytelling, Editing, and Und 5.8分 前50% #音频生成 123. Omni-Diffusion: Unified Multimodal Understanding and Ge 5.8分 前50% - 124. Robust Signal Enhancement via Fractional Detail Views a 5.7分 前50% #语音增强 125. Multimodal Fusion via Self-Consistent Task-Gradient Fie 5.5分 前50% #鲁棒性 126. NAACA: Training-Free NeuroAuditory Attentive Cognitive 5.5分 前50% #音频事件检测 127. Language Model Augmented Semi-Supervised Statistical In 5.4分 后50% #语音属性识别 128. MER-DG: Modality-Entropy Regularization for Multimodal 5.4分 后50% #音视频理解 129. Towards Understanding Modality Interaction in Multimoda 5.3分 后50% #音视频理解 130. Stable Spectral Copula Alignment for Robust Multimodal 5.2分 后50% #鲁棒性 131. Multimodal Meta-Verifier with Explicit Structured Recal 5.2分 后50% #多模态模型 132. WaveSSM: Multiscale State-Space Models for Non-stationa 4.8分 后50% #音频分类 133. Efficient, Property-Aligned Fan-Out Retrieval via RL-Co 4.7分 后50% #音乐检索 134. VIBE: Disentangling Social Dynamics via Kinematics-Info 4.6分 后50% - 135. UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuni 4.4分 后50% #音视频问答 136. Rethinking Attention in Spiking Transformers: Overcomin 3.6分 后50% #音频分类 137. PRIM:Cooperative Dynamic Token Compression for Efficien 3.6分 后50% #音视频理解 📋 论文列表 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions 🔥 9.4/10 | 前10% | #音视频理解 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 影响 0.9/1.5 | 开源 1.5/1.5 ...

2026-07-04 · 更新于 2026-07-24 · 108 min · 22980 words

Faster IndexTTS-2: Accelerating and Streaming Autoregressive Zero-Shot Text-to-Speech Synthesis on GPUs

📄 Faster IndexTTS-2: Accelerating and Streaming Autoregressive Zero-Shot Text-to-Speech Synthesis on GPUs 标签:#语音合成 #高效推理 #流式处理 #模型压缩 #音频理解 7.6/10 | 创新 1.3/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0.2/1.5 | 复现 0/0.5 | 工程 1.5/1.5 ✅ 7.6/10 | 前25% | 文档类型:系统技术报告 | 评分置信度:高 | #语音合成 | #模型压缩 | #高效推理 #流式处理 | arxiv 👥 作者与机构 第一作者:Muyang Du(未说明) 通讯作者:未说明 作者列表:Muyang Du(未说明)、Shuang Yu(未说明)、Junjie Lai(未说明) 💡 毒舌点评 这篇工程报告的亮点在于将为大语言模型设计的推理框架(TensorRT-LLM)系统性地适配到语音生成GPT模型,并提供了一套完整的、面向生产的加速方案,工程细节扎实。但最大短板在于,其核心贡献是“对已有优秀模型的推理优化”,创新性主要体现在系统集成和工程改造,而非算法或模型架构的突破。此外,完全未开源任何代码或模型权重,作为一篇声称提供“可复用方法论”的论文,其对社区的诚意和可复现性打了折扣。 ...

2026-07-24 · 更新于 2026-07-24 · 3 min · 526 words

StellarTTS: Sparse Temporal Embedding for Low-Latency and Robust Speech Synthesis

📄 StellarTTS: Sparse Temporal Embedding for Low-Latency and Robust Speech Synthesis 标签:#语音合成 #Transformer #零样本 #高效推理 #音频理解 7.0/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0.2/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #语音合成 | #Transformer | #零样本 #高效推理 | arxiv 👥 作者与机构 第一作者:Kaicheng Luo 通讯作者:Yanmin Qian 作者列表:Kaicheng Luo、Xuefei Gong、Yutao Sun、Jinling He、Yujie Hou、Xiaoyang Xing、Huiyan Li、Bing Han、Yanmin Qian 机构:上海交通大学;小米公司(Xiaomi) 💡 毒舌点评 论文提出的“稀疏时间嵌入”在解决掩码生成模型鲁棒性与韵律自然度的矛盾上,确实是一个巧妙且有效的设计。面向移动端优化的工程目标也十分清晰。然而,为了换取单阶段解码的极致低延迟而引入的语义感知编解码器,其导致说话人相似度(SIM-o)显著下降的代价,在文中被轻描淡写地以一句“trade-off”带过,缺乏深入的机制分析和优化探讨。更致命的是,作为一项明确标榜“移动优化”和工程价值的工作,却未开源任何代码或模型,这使得其宣称的“可部署性”和对社区的“影响力”沦为纸上谈兵,可复现性几乎为零,严重违背了顶会对透明性和可验证性的基本要求。 ...

2026-07-23 · 更新于 2026-07-24 · 3 min · 544 words

A Situational Speech Synthesizer for Yoruba: System Design, Phonological Rule Architecture, and Orthographic Extensions for Contour

📄 A Situational Speech Synthesizer for Yoruba: System Design, Phonological Rule Architecture, and Orthographic Extensions for Contour 标签:#语音合成 #低资源 #开源工具 #音频理解 #Transformer 6.7/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.7/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #语音合成 | #低资源 | #开源工具 #音频理解 | arxiv 👥 作者与机构 第一作者:Kọ́lá Túbọ̀sún(YorubaName.com) 通讯作者:未说明 作者列表:Kọ́lá Túbọ̀sún(YorubaName.com)、Adédayọ̀ Olúòkun(YorubaName.com)、Hafiz Adéwuyì(YorubaName.com)、Dadépọ̀ Adérẹ̀mí(YorubaName.com) 💡 毒舌点评 这篇论文为低资源的约鲁巴语构建了首个公开部署的TTS系统,其扎实的工程整合和详细的音系规则文档是难得的亮点。然而,作为一篇系统技术报告,其核心方法(规则基双音素拼接)与当前主流的神经网络TTS范式相比缺乏竞争力,且未能进行任何系统间对比实验,使得其声称的“基准”价值大打折扣。论文对克拉符/扬抑符正字法扩展的贡献具有实用价值,但其作为一篇技术报告,工程实现细节(如具体代码、处理库、音频拼接参数)的缺失严重影响了其可复现性和对后续工程工作的参考深度。 ...

2026-07-22 · 更新于 2026-07-24 · 2 min · 283 words

Content is What Remains: Invariant Speech Tokenization from Parallel Utterances

📄 Content is What Remains: Invariant Speech Tokenization from Parallel Utterances 标签:#语音编码 #自监督学习 #对比学习 #语音合成 #音频理解 9.2/10 | 创新 1.5/2 | 严谨 1.5/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 🔥 9.2/10 | 前10% | 文档类型:方法研究 | 评分置信度:高 | #语音编码 | #自监督学习 | #对比学习 #语音合成 | arxiv 👥 作者与机构 第一作者:Laurin Wagner(nyra labs, Austria) 通讯作者:未说明 作者列表:Laurin Wagner(nyra labs, Austria)、Bernhard Thallinger(nyra labs, Austria)、Miroslav Stankovic(nyra labs, Austria)、Mario Zusag(nyra labs, Austria) 💡 毒舌点评 PINT的核心洞察——“并行语音中唯一共享的只有内容”——直击要害,并通过精心设计的损失函数将其转化为惊人的token一致性(说话人探针准确率降至1.2%),这一结果极具说服力。然而,该方法的“不变性”是通过对英语并行数据的强化监督和极端噪声增强(噪声数据作为并行数据)实现的,其成功严重依赖于高质量、多样化的并行英语语音资源以及合成数据生成的质量。在缺乏此类资源的语言中,或对于那些内容与发音变异(如情感、口音)本身高度相关的复杂任务中,这种“干净”但“过度不变”的token是否仍然最优,尚存疑问。 ...

2026-07-22 · 更新于 2026-07-24 · 4 min · 808 words

CS-ETS: Chaos-Inspired Samba-Based EMG-To-Speech Synthesis with Nonlinear Chaotic Losses

📄 CS-ETS: Chaos-Inspired Samba-Based EMG-To-Speech Synthesis with Nonlinear Chaotic Losses 标签:#语音合成 #语音编码 #生成模型 #多任务学习 #音频理解 5.3/10 | 创新 1.3/2 | 严谨 0.9/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 📝 5.3/10 | 后50% | 文档类型:方法研究 | 评分置信度:高 | #语音合成 | #生成模型 | #语音编码 #多任务学习 | arxiv 👥 作者与机构 第一作者:未说明 通讯作者:未说明 作者列表:Sajid Fardin Dipto(未说明)、Tarikul Islam Tamiti(未说明)、David Vergano(未说明)、Luke Baja-Ricketts(未说明)、Anomadarshi Barua(未说明) 💡 毒舌点评 本文大胆地将混沌理论(Lyapunov指数和DFA)引入EMG-to-Speech训练目标,并首次将Samba架构应用于该任务,展示了工程整合能力。然而,论文的核心理论声称——EMG信号具有确定性混沌特性,因此需要匹配混沌统计量来监督语音合成——在文中更多是启发式论证而非严格验证。混沌损失应用于梅尔频谱图而非原始EMG信号,论文未解释为何频谱图的混沌统计量匹配能改善语音合成质量。PVA评估方法仅用于CS-ETS而未应用于基线重训练,使得LSD、STOI等帧级指标的跨模型对比存在不对等性。此外,实验仅在单人单数据集上进行,NISQA-MOS和PESQ几乎无提升(3.31 vs 3.30、1.19 vs 1.20),主观测试仅10人且缺乏统计细节,削弱了结论的说服力。 ...

2026-07-22 · 更新于 2026-07-24 · 3 min · 626 words

Staged Depth-Pruning Distillation of a Flow-Matching Text-to-Speech Teacher: A Compact Hindi Speech Synthesizer

📄 Staged Depth-Pruning Distillation of a Flow-Matching Text-to-Speech Teacher: A Compact Hindi Speech Synthesizer 标签:#语音合成 #知识蒸馏 #模型压缩 #低资源 #音频理解 7.9/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.9/10 | 前25% | 文档类型:系统技术报告 | 评分置信度:高 | #语音合成 | #知识蒸馏 | #模型压缩 #低资源 | arxiv 👥 作者与机构 第一作者:Sivateja Trikutam 通讯作者:未说明 作者列表:Sivateja Trikutam (sivatejaat@gmail.com) 机构:未说明 💡 毒舌点评 这是一份典型的工程驱动的系统技术报告:其价值不在于提出革命性的新算法,而在于将“深度剪枝+渐进蒸馏”这套组合拳在有限数据和资源约束下打得干净利落,并详细分享了从理论验证到部署踩坑的完整流水线,对于资源受限的工业场景有直接参考意义。然而,论文的致命短板在于实验评估:完全依赖教师生成的合成数据训练,评估更是完全采用自动指标(WER/UTMOS),缺乏TTS领域的黄金标准——人类主观评测(MOS),这让其“高质量”的声明显得底气不足。此外,与单一基线的对比、以及蒸馏过程本身缺乏关键消融,都削弱了其学术贡献的严谨性。 ...

2026-07-22 · 更新于 2026-07-24 · 3 min · 563 words

Harness TTS: Towards Context-Aware Expressive Speech Synthesis with Harness Layer

📄 Harness TTS: Towards Context-Aware Expressive Speech Synthesis with Harness Layer 标签:#语音合成 #提示学习 #大语言模型 #语音交互 #高效推理 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 6.2/10 | 前50% | 文档类型:方法研究 | 评分置信度:高 | #语音合成 | #提示学习 | #大语言模型 #语音交互 | arxiv 👥 作者与机构 第一作者:Shengfan Shen(所属机构:MiLM Plus, Xiaomi Inc., China 和 HNU – Hunan University,邮箱shenshengfan@hnu.edu.cn) 通讯作者:Shuai Wang(南京大学,邮箱shuaiwang@nju.edu.cn) 作者列表:Shengfan Shen(MiLM Plus, Xiaomi Inc. 和 HNU – Hunan University)、Di Wu(MiLM Plus, Xiaomi Inc.)、Xingchen Song(MiLM Plus, Xiaomi Inc.)、Dinghao Zhou(MiLM Plus, Xiaomi Inc.)、Pengyu Cheng(MiLM Plus, Xiaomi Inc.)、Sixiang Lyu(MiLM Plus, Xiaomi Inc.)、Jian Luan(MiLM Plus, Xiaomi Inc.)、Shuai Wang(南京大学)。其他作者(Di Wu 至 Jian Luan)所属机构均标注为 MiLM Plus, Xiaomi Inc., China。此外,作者列表前注明了 WeNet Open Source Community。 💡 毒舌点评 这篇论文将TTS的风格控制问题成功地简化为一个工程上可解的封闭集路由问题,并在工业界常用的TTS引擎上验证了其可行性和初步效果,工程实用价值突出。然而,其核心创新在于系统集成与问题重构,而非底层算法或模型上的突破;评估体系完全依赖教师模型生成的“真值”,且不开源任何核心组件,使得其学术贡献的可信度与可复现性大打折扣,更像是一个内部技术方案的初步报告。 ...

2026-07-21 · 更新于 2026-07-24 · 3 min · 562 words

Re-Sonance: A Dysarthric Asynchronous Real-Time Speech Conversion System Based on a Three-Stage Cascaded ASR-LLM-TTS Architecture

📄 Re-Sonance: A Dysarthric Asynchronous Real-Time Speech Conversion System Based on a Three-Stage Cascaded ASR-LLM-TTS Architecture 标签:#语音转换 #大语言模型 #语音识别 #语音合成 #实时处理 6.9/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.1/0.5 | 工程 1.3/1.5 ✅ 6.9/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #语音转换 | #大语言模型 | #语音识别 #语音合成 | arxiv 👥 作者与机构 第一作者:Yuxuan Wu(东南大学数字医学工程国家重点实验室,生物科学与医学工程学院) 通讯作者:Zhaojie Luo(东南大学数字医学工程国家重点实验室,生物科学与医学工程学院) 作者列表:Yuxuan Wu(东南大学数字医学工程国家重点实验室,生物科学与医学工程学院)、Yifan Xu(东南大学数字医学工程国家重点实验室,生物科学与医学工程学院)、Junkun Wang(东南大学数字医学工程国家重点实验室,生物科学与医学工程学院)、Jiayong Jiang(东南大学数字医学工程国家重点实验室,生物科学与医学工程学院)、Xin Zhao(东南大学数字医学工程国家重点实验室,生物科学与医学工程学院)、Zhaojie Luo(东南大学数字医学工程国家重点实验室,生物科学与医学工程学院) 💡 毒舌点评 本文的亮点在于将大语言模型(LLM)作为“语义纠偏器”集成到构音障碍辅助语音系统(AAC)中,并设计了异步流水线以追求实时性,这一应用场景和系统设计思路具有明确价值。然而,论文的核心缺陷在于其“创新性”高度依赖于对外部现成模型的集成,而非提出新的方法或对现有模型进行任何针对病理语音的适配。实验设计存在根本性漏洞,最关键的LLM模块的作用未能通过控制实验(如消融)进行验证,使得核心声明“LLM纠正了ASR错误”缺乏直接证据。此外,系统对重度构音障碍患者完全无效,暴露了级联架构的天然上限。加上未提供代码、模型权重或详细的工程实现,使其更像一个概念验证的演示报告,而非可复现、可深入研究的贡献。 ...

2026-07-21 · 更新于 2026-07-24 · 3 min · 462 words

SSTMark: Robust Training-Free Semantic-Level Speech Watermarking

📄 SSTMark: Robust Training-Free Semantic-Level Speech Watermarking 标签:#音频水印 #端到端 #语音合成 #语音识别 #音频理解 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.4/1.5 ✅ 6.5/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #音频水印 | #端到端 | #语音合成 #语音识别 | arxiv 👥 作者与机构 第一作者:Kuan-Lin Chu (CITI, Academia Sinica, Taiwan, ROC) 通讯作者:未说明 作者列表:Kuan-Lin Chu (CITI, Academia Sinica, Taiwan, ROC), Jun-Cheng Chen (CITI, Academia Sinica, Taiwan, ROC), Chun-Shien Lu (IIS, Academia Sinica, Taiwan, ROC) 💡 毒舌点评 亮点在于将水印载体从脆弱的信号层提升到相对稳定的语义层,概念新颖且有洞察力,在AudioMarkBench的多种攻击下展现出极具说服力的平均鲁棒性优势,特别是在面对神经编解码器压缩时表现突出。短板同样明显:该方法严重依赖外部ASR和TTS模型,引入了额外的复杂性、延迟和潜在的单点故障;且基础检测率(No-atk TPR)低于一些信号级方法,表明其在“无攻击”场景下并非最优;此外,对语义攻击(如转述)的脆弱性未被评估,且未讨论多比特水印嵌入能力,限制了其作为通用溯源工具的潜力。 ...

2026-07-21 · 更新于 2026-07-24 · 8 min · 1502 words