ICML 2026 语音/音频论文详细分析

ICML 2026 语音/音频论文详细分析 共分析 137 篇 ICML 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文: 音视频理解(18篇) 音视频生成(10篇) 音频分类(9篇) 音频理解(8篇) 音乐生成(8篇) 语音合成(8篇) 音视频问答(8篇) 语音识别(5篇) 语音伪造检测(4篇) 语音交互(4篇) 语音增强(4篇) 语音编码(4篇) 多模态模型(3篇) 音频伪造检测(3篇) 音频分离(2篇) 空间音频(2篇) 音频编码(2篇) 音频修复(2篇) 语音属性识别(2篇) 音频生成(2篇) ⚡ 会议概览 📥 ICML 2026 接收 6341 篇论文 → 🔍 关键词 + LLM 筛选 137 篇音频/语音/音乐相关 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 18篇 ██████████████████ #音视频生成 10篇 ██████████ #音频分类 9篇 █████████ #音频理解 8篇 ████████ #音乐生成 8篇 ████████ #语音合成 8篇 ████████ #音视频问答 8篇 ████████ #语音识别 5篇 █████ #语音伪造检测 4篇 ████ #语音交互 4篇 ████ #语音增强 4篇 ████ #语音编码 4篇 ████ #多模态模型 3篇 ███ #音频伪造检测 3篇 ███ #音频分离 2篇 ██ 📊 论文评分排行榜(137 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with T 9.4分 前10% #音视频理解 🥈 Joint Enhancement and Classification using Coupled Diff 9.3分 前10% #语音识别 🥉 Learning Tight Rejection Boundaries without Negatives f 9.3分 前10% #语音伪造检测 4. AVTrack: Audio-Visual Tracking in Human-centric Complex 9.3分 前10% #音视频理解 5. A Semantically Consistent Dataset for Data-Efficient Qu 9.2分 前10% #音频分离 6. SAM Audio: Segment Anything in Audio 9.2分 前10% #音频分离 7. MECAT: A Multi-Experts Constructed Benchmark for Fine-G 9.1分 前10% #音频理解 8. $\tau$-Voice: Benchmarking Full-Duplex Voice Agents on 9.1分 前10% #语音交互 9. PhaseCoder: Microphone Geometry-Agnostic Spatial Audio 8.7分 前25% #空间音频 10. BAT: Better Audio Transformer Guided by Convex Gated Pr 8.6分 前25% #音频分类 11. SPEAR: A Unified SSL Framework for Learning Speech and 8.4分 前25% #音频理解 12. Dual-View Predictive Diffusion: Lightweight Speech Enha 8.4分 前25% #语音增强 13. Unlocking Cross-Modal Biosignal Synthesis: A Temporally 8.3分 前25% - 14. CoLA: Cross-Modal Low-rank Adaptation for Multimodal Do 8.3分 前25% #音视频理解 15. Speech-Audio Compositional Attacks on Multimodal LLMs a 8.3分 前25% #音频理解 16. MoST: Mixing Speech and Text with Modality-Aware Mixtur 8.2分 前25% - 17. IVQ: Structured and Lightweight Vector Quantization via 8.2分 前25% #音频编码 18. Spherical Procrustes Alignment for Reliable Medical Aud 8.2分 前25% #音频分类 19. Attend to Anything: Foundation Model for Unified Human 8.2分 前25% #音视频理解 20. VocSim A Training-free Benchmark for Zero-shot Content 8.2分 前25% #音频检索 21. JAEGER: Joint 3D Audio-Visual Grounding and Reasoning i 8.1分 前25% #声源定位 22. LALM-as-a-Judge: Benchmarking Large Audio-Language Mode 8.1分 前25% #语音交互 23. Pianist Transformer: Towards Expressive Piano Performan 8.1分 前25% #音乐生成 24. Simultaneous Speech-to-Speech Translation Without Align 8.0分 前25% #语音翻译 25. PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前25% #音乐生成 26. Optimality of FSQ Tokens for Continuous Diffusion for C 8.0分 前25% #语音合成 27. SonicMaster: Towards Controllable All-in-One Music Rest 8.0分 前25% #音频修复 28. Do Audio LLMs Listen or Read? Analyzing and Mitigating 8.0分 前25% #语音属性识别 29. Multiple Choice Learning of Low-Rank Adapters for Langu 8.0分 前25% #多模态模型 30. Bridging the Stability-Expressivity Gap: Synthetic Data 8.0分 前25% #语音合成 31. FutureOmni: Evaluating Future Forecasting from Omni-Mod 8.0分 前25% #音视频问答 32. Acoustic Interference: A New Paradigm Weaponizing Acous 8.0分 前25% #音频理解 33. ReGen: Hierarchical Multi-Prompt Representation Generat 8.0分 前25% #语音编码 34. DiscoForcing: A Unified Framework for Real-Time Audio-D 8.0分 前25% #音乐生成 35. DreamID-Omni: Unified Framework for Controllable Human- 8.0分 前25% #音视频生成 36. AgentSteerTTS: A Multi-Agent Closed-Loop Framework for 7.9分 前25% #语音合成 37. STAR-VAE: Structured Topology-Aware Regularization for 7.9分 前25% #音频生成 38. HyperPotter: Spell the Charm of High-Order Interactions 7.9分 前25% #音频伪造检测 39. T2AV-Compass: Towards Unified Evaluation for Text-to-Au 7.9分 前25% #音视频生成 40. Decoupling The “What” and “Where” With Polar Coordinate 7.8分 前25% #音乐生成 41. V-LynX: Token Interface Alignment for Video+X LLMs 7.8分 前25% #音视频问答 42. Ariadne’s Thread of LipSync: Unraveling Forgeries via I 7.8分 前25% #音视频理解 43. SONAR: Spectral‑Contrastive Audio Residuals for General 7.8分 前25% #语音伪造检测 44. TMD-Bench: A Multi-Level Evaluation Paradigm for Music– 7.7分 前25% #音视频生成 45. AudioMosaic: Contrastive Masked Audio Representation Le 7.7分 前25% #音频分类 46. BFCL Audio: An Audio Function Calling Evaluation for La 7.7分 前25% #语音交互 47. SALSA-V: Shortcut-Augmented Long-form Synchronized Audi 7.6分 前25% #音视频生成 48. BEAT: Tokenizing and Generating Symbolic Music by Unifo 7.6分 前25% #音乐生成 49. From Inpainting to Editing: Unlocking Robust Mask-Free 7.6分 前25% #扩散模型 50. Hearing Without Noticing? Attention-Aware Stealthy Blac 7.6分 前25% #语音识别 51. AVGen-Bench: A Task-Driven Benchmark for Multi-Granular 7.6分 前25% #音视频生成 52. Alethia: a Foundational Encoder for Voice Deepfakes 7.6分 前25% #语音伪造检测 53. AG-REPA: Causal Layer Selection for Representation Alig 7.6分 前25% #语音合成 54. AVI-Bench: Toward Human-like Audio-Visual Intelligence 7.6分 前25% #音视频理解 55. Two-dimensional quantization for geometry-aware audio c 7.6分 前25% #语音编码 56. Abstraction Induces the Brain Alignment of Language and 7.5分 前25% #语音编码 57. Self-Guidance: Enhancing Neural Codecs via Decoder Mani 7.5分 前25% #语音编码 58. OmniVideo-R1: Reinforcing Audio-visual Reasoning with Q 7.5分 前25% #音视频问答 59. Listening Through the Noise: Cauchy-Driven Diffusion Br 7.4分 前50% #音频修复 60. MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 7.4分 前50% - 61. Omni-Perception Policy Optimization for Multimodal Emot 7.4分 前50% #音视频理解 62. video-SALMONN S: Memory-Enhanced Streaming Audio-Visual 7.3分 前50% #音视频问答 63. Group Cognition Learning: Making Everything Better Thro 7.3分 前50% #音视频理解 64. REST: Diffusion-based Real-time End-to-end Streaming Ta 7.3分 前50% #音视频生成 65. PhoStream: Benchmarking Real-World Streaming for Omnimo 7.3分 前50% #音视频问答 66. ProactiveLLM: Learning Active Interaction for Streaming 7.2分 前50% #语音识别 67. Stream RAG: Instant and Accurate Spoken Dialogue System 7.2分 前50% #流式处理 68. Probing Cross-modal Information Hubs in Audio-Visual LL 7.2分 前50% #音视频理解 69. Efficient Multi-modal Dataset Distillation via Analytic 7.2分 前50% #对比学习 70. Self-Supervised Flow Matching for Scalable Multi-Modal 7.2分 前50% #音视频生成 71. CoCoEmo: Composable and Controllable Human-Like Emotion 7.1分 前50% #语音合成 72. Scaling Transformers for End-to-End Discrete Audio Toke 7.1分 前50% #音频编码 73. Query-Based Asymmetric Modeling with Decoupled Input–Ou 7.1分 前50% #语音增强 74. OmniSIFT: Modality-Asymmetric Token Compression for Eff 7.1分 前50% #音视频问答 75. Sparse Autoencoders for Interpretable Emotion Control i 7.0分 前50% #语音合成 76. The Silent Thought: Modeling Internal Cognition in Full 7.0分 前50% #知识蒸馏 77. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 7.0分 前50% #音频水印 78. Efficient Distributed MLLM Training with Cornstarch 7.0分 前50% #音视频理解 79. Reasoning LLM Improves Speaker Recognition in Long-form 7.0分 前50% - 80. Real-World Unsupervised Models Generalize to Predict Br 6.9分 前50% #模型评估 81. From Talking to Singing: A New Challenge for Audio-Visu 6.9分 前50% #音视频理解 82. OmniShow: Unifying Multimodal Conditions for Human-Obje 6.9分 前50% #音视频生成 83. E-VAds: An E-commerce Short Videos Understanding Benchm 6.9分 前50% #音视频问答 84. STARCaster: Spatio-Temporal AutoRegressive Video Diffus 6.8分 前50% #音视频生成 85. Zero-Shot Rankability: Revealing Latent Ordinal Structu 6.8分 前50% #音视频理解 86. An Exterior Method for Nonnegative Matrix Factorization 6.8分 前50% #音频分类 87. FoeGlass: Simple In-Context Learning Is Enough for Red 6.8分 前50% #语音伪造检测 88. Native Active Perception as Reasoning for Omni-Modal Un 6.8分 前50% #音视频理解 89. Unlocking Speech–Text Compositional Powers: Instruction 6.7分 前50% #语音交互 90. UltraLIF: Fully Differentiable Spiking Neural Networks 6.7分 前50% #音频分类 91. Towards Streaming Synchronized Spatial Audio Generation 6.6分 前50% #音视频生成 92. TextME: Bridging Unseen Modalities Through Text Descrip 6.6分 前50% - 93. Evaluating and Rewarding LALMs for Expressive Role-Play 6.6分 前50% #语音合成 94. PADS-TAL: Padding-Annealed Diffusion Sampling in Text-A 6.6分 前50% #音乐生成 95. ADEPT: RL-Aligned Agentic Decoding of Emotion via Evide 6.5分 前50% #语音情感识别 96. Universal Algorithm-Implicit Learning 6.5分 前50% #音频分类 97. SARSteer: Safeguarding Large Audio Language Models via 6.5分 前50% - 98. MetaPerch: Learning from metadata for bioacoustics foun 6.5分 前50% #音频分类 99. Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Mus 6.5分 前50% #音乐生成 100. CMI-RewardBench: Evaluating Music Reward Models with Co 6.4分 前50% #音乐生成 101. Multimodal Fact-Level Attribution for Verifiable Reason 6.4分 前50% #音频理解 102. MedMosaic: A Challenging Large Scale Benchmark of Diver 6.4分 前50% #音频理解 103. INFER: Learning Implicit Neural Frequency Response Fiel 6.4分 前50% #空间音频 104. Characterizing the Predictive Impact of Modalities with 6.4分 前50% - 105. PCRNet: Phase-aware Complex Refinement Network for EEG- 6.4分 前50% #实时处理 106. OmniFit: Bridging Modalities via Layer-Adaptive Token C 6.3分 前50% #音视频理解 107. EchoingPixels: Aliasing-Resistant Joint Token Reduction 6.3分 前50% #音视频理解 108. Quaternion Self-Attention with Shared Scores 6.3分 前50% #语音增强 109. LightAVSeg: Lightweight Audio-Visual Segmentation 6.3分 前50% #模型压缩 110. SURF: Separation via Unsupervised Remixing Flow 6.2分 前50% #语音分离 111. Neural-Inspired Modeling of Auditory Selection and Comp 6.2分 前50% #音视频语音分离 112. AuTAgent: A Reinforcement Learning Framework for Tool-A 6.2分 前50% #音频理解 113. Multimodal Latent Language Modeling with Next-Token Dif 6.1分 前50% #语音合成 114. FakeWorld 1.0: An Omni-modal Benchmark for Fake Media a 6.1分 前50% #可解释性 115. ConsMSA: Semantic Distribution Consistency Learning for 6.1分 前50% #多模态模型 116. MusicDET: Zero-Shot AI-Generated Music Detection 6.1分 前50% #音频伪造检测 117. Convex Low-resource Accent-Robust Language Detection in 6.0分 前50% #语音识别 118. NeuroCLUS: A Foundation Model with Functional Clusterin 6.0分 前50% #语音识别 119. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 5.9分 前50% #模型剪枝 120. Scaling Behavior in Model Fine-tuning for Audio DeepFak 5.9分 前50% #音频伪造检测 121. Bioacoustic Geolocation: Species Sounds as Geographic S 5.8分 前50% #音频理解 122. AudioChat: Unified Audio Storytelling, Editing, and Und 5.8分 前50% #音频生成 123. Omni-Diffusion: Unified Multimodal Understanding and Ge 5.8分 前50% - 124. Robust Signal Enhancement via Fractional Detail Views a 5.7分 前50% #语音增强 125. Multimodal Fusion via Self-Consistent Task-Gradient Fie 5.5分 前50% #鲁棒性 126. NAACA: Training-Free NeuroAuditory Attentive Cognitive 5.5分 前50% #音频事件检测 127. Language Model Augmented Semi-Supervised Statistical In 5.4分 后50% #语音属性识别 128. MER-DG: Modality-Entropy Regularization for Multimodal 5.4分 后50% #音视频理解 129. Towards Understanding Modality Interaction in Multimoda 5.3分 后50% #音视频理解 130. Stable Spectral Copula Alignment for Robust Multimodal 5.2分 后50% #鲁棒性 131. Multimodal Meta-Verifier with Explicit Structured Recal 5.2分 后50% #多模态模型 132. WaveSSM: Multiscale State-Space Models for Non-stationa 4.8分 后50% #音频分类 133. Efficient, Property-Aligned Fan-Out Retrieval via RL-Co 4.7分 后50% #音乐检索 134. VIBE: Disentangling Social Dynamics via Kinematics-Info 4.6分 后50% - 135. UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuni 4.4分 后50% #音视频问答 136. Rethinking Attention in Spiking Transformers: Overcomin 3.6分 后50% #音频分类 137. PRIM:Cooperative Dynamic Token Compression for Efficien 3.6分 后50% #音视频理解 📋 论文列表 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions 🔥 9.4/10 | 前10% | #音视频理解 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 影响 0.9/1.5 | 开源 1.5/1.5 ...

2026-07-04 · 更新于 2026-08-14 · 108 min · 22980 words

FastThaiG2P: Lightning-fast Thai Grapheme-to-phoneme Conversion for Voice Agent Pipelines

📄 FastThaiG2P: Lightning-fast Thai Grapheme-to-phoneme Conversion for Voice Agent Pipelines 标签:#语音合成 #大语言模型 #多语言 #开源工具 7.0/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.6/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:中 | #语音合成 | #大语言模型 | #多语言 #开源工具 | arxiv 👥 作者与机构 唯一作者:Charin Polpanumas(AWS) 通讯作者:论文未单独标注通讯作者;仅提供邮箱 charipol@amazon.com,通常可视为唯一作者通讯 作者列表:Charin Polpanumas(AWS) 💡 毒舌点评 这个工作把泰语 G2P 的工程链路做得相当务实:15 类归一化、词典耦合分词、正则缓存直接把延迟打到 0.15 ms,CPU TTS 演示也给到 RTF 0.25、内存约 330 MB。但它更像一份发布说明而非研究论文:全文没有任何 G2P 准确率,也没有 MOS/CER/WER,只在 500 条 Wiktionary 条目的 prompt 验证上给出 78.8% exact match 和 1.8% 致命错误率;读者无法判断 “intelligible” 和 “phonologically valid” 到底有多可信。LLM 生成的约 49,000 条词典条目只靠 38 个码点白名单过滤,未做抽检,生产风险被明显低估。 ...

2026-08-14 · 更新于 2026-08-14 · 4 min · 669 words

Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder

📄 Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder 标签:#语音合成 #自回归模型 #语音克隆 #多语言 #零样本 7.7/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | 文档类型:系统技术报告 | 评分置信度:高 | #语音合成 | #自回归模型 | #语音克隆 #多语言 | arxiv 👥 作者与机构 第一作者:Huaxuan Wang(NetEase Youdao, Beijing, China) 通讯作者:未说明 作者列表:Huaxuan Wang(NetEase Youdao, Beijing, China)、Huimin Wang(NetEase Youdao, Beijing, China)、Ruiyu Zhang(NetEase Youdao, Beijing, China)、Yingjie Li(NetEase Youdao, Beijing, China)、Yitao Duan(NetEase Youdao, Beijing, China) 💡 毒舌点评 这是一份工业级多语言 zero-shot TTS 系统报告,联合训练的 SSL speaker encoder 让参考音频不再依赖转录,跨语言 WER 和主观排名确实能打;但创新更偏工程集成而非方法突破,且全文没有单组件消融、延迟/吞吐和显著性检验,审稿人难以判断各项设计到底贡献了多少。 ...

2026-08-13 · 更新于 2026-08-14 · 4 min · 763 words

CookVoice: Unified Framework for Style Controllable Multi-Modal Human Voice Generation

📄 CookVoice: Unified Framework for Style Controllable Multi-Modal Human Voice Generation 标签:#语音合成 #流匹配 #歌唱生成 #多模态模型 #语音克隆 6.0/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.6/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 6.0/10 | 前50% | 文档类型:模型报告 | 评分置信度:中 | #语音合成 | #流匹配 | #歌唱生成 #多模态模型 | arxiv 👥 作者与机构 第一作者:Haowei Lou(UNSW Sydney) 通讯作者:未说明 作者列表:Haowei Lou(UNSW Sydney)、Hye-Young Paik(UNSW Sydney)、Dai Jia(Dolby Laboratories)、Kai Li(Dolby Laboratories)、Lina Yao(UNSW Sydney) 💡 毒舌点评 亮点是统一的 content/prosody/style 分解与 frame-level alignment 确实在风格相似度和 F0 控制指标上明显超过 Vevo2、IndexTTS 等强基线,且 43.51M 参数、RTF 0.04 的效率表现干净。短板在于论文声称支持十余种任务,但真正有数据支撑的主要只是 TTS/TTSV;TTS MOS 又低于 IndexTTS、F5-TTS 等基线,所谓 comparable quality 更像是有保留的自我评价,而开源与关键训练细节的缺失进一步削弱可信度。 ...

2026-08-13 · 更新于 2026-08-14 · 6 min · 1178 words

Luna-TTS Family Technical Report

📄 Luna-TTS Family Technical Report 标签:#语音合成 #扩散模型 #预训练 #流式处理 #强化学习 6.9/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 ✅ 6.9/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #语音合成 | #扩散模型 | #预训练 #流式处理 | arxiv 👥 作者与机构 第一作者:论文标注 Feng Yin、Shuai Shi、Junjie Zheng、Kechenying Zhou 为共同第一作者 通讯作者:Yanmin Qian 作者列表:Feng Yin(VUI Labs Research)、Shuai Shi(VUI Labs Research)、Junjie Zheng(VUI Labs Research)、Kechenying Zhou(VUI Labs Research)、Yiqiu Wang(VUI Labs Research)、Chenyang He(VUI Labs Research)、Qiuhua Jiang(VUI Labs Research)、Mengxiao Bi(VUI Labs Research)、Yanmin Qian(VUI Labs Research);其余贡献者 Mingxin Chen、Xun Gong、Tianteng Gu、Bing Han、Peng Jiang、Chenda Li、Haiyang Sun、Han Wang、Wei Wang、Yi Wang、Leying Zhang、Wangyou Zhang、Chushu Zhou(均标注 VUI Labs Research,论文按姓氏字母顺序列出,未给出更细部门信息) 💡 毒舌点评 这个报告最亮眼的地方是把 masked discrete diffusion 从学术方案推到了 1M 小时、四语言的 TTS 生产系统,并给出 41.6ms 首块延迟和极低 RTF 的清晰部署画像。但它更像一份产品技术报告:没有开源权重/代码,也没有 RL、annealing、duration predictor、block adaptation 等关键阶段的可控消融,读者很难判断 SOTA 数字究竟来自架构,还是来自数据与后训练的堆叠。 ...

2026-08-13 · 更新于 2026-08-14 · 6 min · 1220 words

Phoenix TTS: High-Fidelity Synthesis and Voice Conversion via Flow-Matching-Driven Speech Tokenization

📄 Phoenix TTS: High-Fidelity Synthesis and Voice Conversion via Flow-Matching-Driven Speech Tokenization 标签:#语音合成 #流匹配 #语音转换 #自回归模型 #零样本 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:中 | #语音合成 | #流匹配 | #语音转换 #自回归模型 | arxiv 👥 作者与机构 团队:L-Lab Phoenix-Audio Team 机构:Didichuxing Co. Ltd 核心贡献者:Peijie Chen、Zhuanling Zha、Zhipeng Nie、Weijie Wu、Yiming Liu、Daiyu Huang、Junbo Li、Jun Fang、Naiqiang Tan、Hua Chai(均 Didichuxing Co. Ltd) 顾问:Qingyang Hong(厦门大学) 通讯作者:未说明 💡 毒舌点评 本文用 flow matching 梯度反传把语义 tokenizer 和声学解码器焊在一起,确实把 WER 压到 GT 以下、SIM 在多基准上登顶,联合训练的证据链清楚。但全篇没有任何开源迹象,mask 策略与损失权重等关键实现细节一笔带过,且“超过 GT”这类表述应更谨慎解读。推理延迟、吞吐、训练成本对比等系统级指标全缺,工业部署价值难以独立判断。 ...

2026-08-13 · 更新于 2026-08-14 · 6 min · 1095 words

ASR-Roundtrip Evaluation Can Mask Context- and Convention-Dependent Reading Errors in Chinese News TTS

📄 ASR-Roundtrip Evaluation Can Mask Context- and Convention-Dependent Reading Errors in Chinese News TTS 标签:#语音合成 #模型评估 #基准测试 #语音识别 6.5/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.5/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音合成 | #模型评估 | #基准测试 #语音识别 | arxiv 👥 作者与机构 第一作者:Shijun Luo(NetEase Cloud Music) 通讯作者:未说明 作者列表:Shijun Luo(NetEase Cloud Music)、Lizhi Wan(NetEase Cloud Music) 💡 毒舌点评 这篇文章用110例高风险审计和跨系统交叉验证,将ASR回环评估“读错但转写对”的假阴性问题从概念担忧落成了可量化的证据链。数据详实、协议清晰。但审计池全是新闻领域定向筛出来的高风险样本,发生率无法外推,CosyVoice仅做Raw条件也限制了“第二发生率”的解读。镜子确实照见了盲区,但只照见了一个角落。 ...

2026-08-12 · 更新于 2026-08-14 · 2 min · 221 words

Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions

📄 Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions 标签:#语音质量评估 #语音大模型 #语音合成 7.1/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | 文档类型:数据集与基准 | 评分置信度:高 | #语音质量评估 | #语音大模型 | #语音合成 | arxiv 👥 作者与机构 第一作者:Oluwanifemi Bamgbose(ServiceNow) 通讯作者:Oluwanifemi Bamgbose(ServiceNow) 作者列表:Oluwanifemi Bamgbose(ServiceNow)、Simon Rosen(未说明)、Jash Shah(未说明)、Lindsay Devon Brin(ServiceNow)、Hoang H Nguyen(ServiceNow)、Anke Koelzer(ServiceNow)、Rachel Hansen(ServiceNow)、Tara Bogavelli(ServiceNow)、Fanny Riols(ServiceNow) 💡 毒舌点评 把“自然度”拆成 10 个有语言学依据的维度并用专家逐样本标注,确实比“一个 MOS 分数打天下”更接近可诊断的 TTS 评估,这是本文最值得肯定的地方。但拆完之后每个维度只剩 46–128 个样本,语调(α=0.469)和表现力(α=0.460)的一致性低于 0.5,仍然被用来得出“模型在该维度上盲”的强结论;C2a 用一个整体分数分别去撞 10 个维度标签,不做多重检验校正,显著结果有多少是撞出来的无法判断。更尴尬的是,论文声称公开释放数据集和代码,正文里却连一个仓库链接都找不到;模型名也有前后不一致(Qwen3-Omni-30B-A3B vs Qwen3-Omni-30B-A3B-Instruct,Step-Audio-R2-Mini vs Step-Audio-2-mini)。审稿人看到这些不会轻易放过。 ...

2026-08-12 · 更新于 2026-08-14 · 4 min · 747 words

Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence

📄 Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence 标签:#音视频生成 #多模态模型 #语音合成 #扩散模型 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #音视频生成 | #多模态模型 | #语音合成 #扩散模型 | arxiv 👥 作者与机构 第一作者:Haoyu Zhang(The Chinese University of Hong Kong, Shenzhen;脚注说明工作完成于 LIGHTSPEED 实习期间) 通讯作者:Tianshu Yu(The Chinese University of Hong Kong, Shenzhen)、Yiwen Guo(Independent Researcher) 作者列表:Haoyu Zhang(The Chinese University of Hong Kong, Shenzhen)、Zhipeng Li(LIGHTSPEED)、Xiaoying Tang(The Chinese University of Hong Kong, Shenzhen)、Tianshu Yu(The Chinese University of Hong Kong, Shenzhen)、Yiwen Guo(Independent Researcher) 💡 毒舌点评 VTP+多码本语音单元+Prefix Streaming 的组合在系统层面确实打通了“对话→语音→视频”的完整链路,工程完整度明显高于同类工作,这是值得肯定的。但审稿人最想追问的是:所有关键视频条件都是自动标注或教师模型生成的,VTP first-frame grounding 只有 43%,你如何保证这个“视觉规划”不是模型自圆其说的幻觉?E2E RTF 1.293、首个视频块 3.14 秒后才出,恐怕只能叫“增量生成”而非“实时交互”,这个表达上的克制是聪明的,但离真正的交互体验还很远。 ...

2026-08-12 · 更新于 2026-08-14 · 5 min · 865 words

VoxSumm: A Multilingual Corpus of Long-Form Spoken News for Joint Summarization and Translation

📄 VoxSumm: A Multilingual Corpus of Long-Form Spoken News for Joint Summarization and Translation 标签:#语音翻译 #大语言模型 #低资源 #语音合成 6.9/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.9/10 | 前50% | 文档类型:数据集与基准 | 评分置信度:高 | #语音翻译 | #大语言模型 | #低资源 #语音合成 | arxiv 👥 作者与机构 第一作者:Yejin Jeon(Mila - Quebec AI Institute、McGill University);Marie Maltais(Mila - Quebec AI Institute、McGill University,标注 equal contribution) 通讯作者:未说明 作者列表:Yejin Jeon(Mila - Quebec AI Institute、McGill University)、Marie Maltais(Mila - Quebec AI Institute、McGill University)、Virginia Ceccatelli(Mila - Quebec AI Institute、McGill University)、Min Ma(Google DeepMind)、David Ifeoluwa Adelani(Mila - Quebec AI Institute、McGill University、Canada CIFAR AI Chair) 💡 毒舌点评 亮点是给出了第一个大规模多语言长语音“联合摘要+翻译”基准 VoxSumm,703小时/24语言/10045对的规模填补了任务定义和数据空白,并做了较系统的模型与提示设置比较。短板是全部音频由 TTS 合成而非真实语音,且数据对齐依赖 CrossSum 自动语义相似度匹配,论文只承诺 release 却未给出任何可获取链接,可复现性大打折扣。 ...

2026-08-12 · 更新于 2026-08-14 · 3 min · 586 words