ICML 2026 语音/音频论文详细分析

ICML 2026 语音/音频论文详细分析 共分析 137 篇 ICML 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文: 音视频理解(18篇) 音视频生成(10篇) 音频分类(9篇) 音频理解(8篇) 音乐生成(8篇) 语音合成(8篇) 音视频问答(8篇) 语音识别(5篇) 语音伪造检测(4篇) 语音交互(4篇) 语音增强(4篇) 语音编码(4篇) 多模态模型(3篇) 音频伪造检测(3篇) 音频分离(2篇) 空间音频(2篇) 音频编码(2篇) 音频修复(2篇) 语音属性识别(2篇) 音频生成(2篇) ⚡ 会议概览 📥 ICML 2026 接收 6341 篇论文 → 🔍 关键词 + LLM 筛选 137 篇音频/语音/音乐相关 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 18篇 ██████████████████ #音视频生成 10篇 ██████████ #音频分类 9篇 █████████ #音频理解 8篇 ████████ #音乐生成 8篇 ████████ #语音合成 8篇 ████████ #音视频问答 8篇 ████████ #语音识别 5篇 █████ #语音伪造检测 4篇 ████ #语音交互 4篇 ████ #语音增强 4篇 ████ #语音编码 4篇 ████ #多模态模型 3篇 ███ #音频伪造检测 3篇 ███ #音频分离 2篇 ██ 📊 论文评分排行榜(137 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with T 9.4分 前10% #音视频理解 🥈 Joint Enhancement and Classification using Coupled Diff 9.3分 前10% #语音识别 🥉 Learning Tight Rejection Boundaries without Negatives f 9.3分 前10% #语音伪造检测 4. AVTrack: Audio-Visual Tracking in Human-centric Complex 9.3分 前10% #音视频理解 5. A Semantically Consistent Dataset for Data-Efficient Qu 9.2分 前10% #音频分离 6. SAM Audio: Segment Anything in Audio 9.2分 前10% #音频分离 7. MECAT: A Multi-Experts Constructed Benchmark for Fine-G 9.1分 前10% #音频理解 8. $\tau$-Voice: Benchmarking Full-Duplex Voice Agents on 9.1分 前10% #语音交互 9. PhaseCoder: Microphone Geometry-Agnostic Spatial Audio 8.7分 前25% #空间音频 10. BAT: Better Audio Transformer Guided by Convex Gated Pr 8.6分 前25% #音频分类 11. SPEAR: A Unified SSL Framework for Learning Speech and 8.4分 前25% #音频理解 12. Dual-View Predictive Diffusion: Lightweight Speech Enha 8.4分 前25% #语音增强 13. Unlocking Cross-Modal Biosignal Synthesis: A Temporally 8.3分 前25% - 14. CoLA: Cross-Modal Low-rank Adaptation for Multimodal Do 8.3分 前25% #音视频理解 15. Speech-Audio Compositional Attacks on Multimodal LLMs a 8.3分 前25% #音频理解 16. MoST: Mixing Speech and Text with Modality-Aware Mixtur 8.2分 前25% - 17. IVQ: Structured and Lightweight Vector Quantization via 8.2分 前25% #音频编码 18. Spherical Procrustes Alignment for Reliable Medical Aud 8.2分 前25% #音频分类 19. Attend to Anything: Foundation Model for Unified Human 8.2分 前25% #音视频理解 20. VocSim A Training-free Benchmark for Zero-shot Content 8.2分 前25% #音频检索 21. JAEGER: Joint 3D Audio-Visual Grounding and Reasoning i 8.1分 前25% #声源定位 22. LALM-as-a-Judge: Benchmarking Large Audio-Language Mode 8.1分 前25% #语音交互 23. Pianist Transformer: Towards Expressive Piano Performan 8.1分 前25% #音乐生成 24. Simultaneous Speech-to-Speech Translation Without Align 8.0分 前25% #语音翻译 25. PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前25% #音乐生成 26. Optimality of FSQ Tokens for Continuous Diffusion for C 8.0分 前25% #语音合成 27. SonicMaster: Towards Controllable All-in-One Music Rest 8.0分 前25% #音频修复 28. Do Audio LLMs Listen or Read? Analyzing and Mitigating 8.0分 前25% #语音属性识别 29. Multiple Choice Learning of Low-Rank Adapters for Langu 8.0分 前25% #多模态模型 30. Bridging the Stability-Expressivity Gap: Synthetic Data 8.0分 前25% #语音合成 31. FutureOmni: Evaluating Future Forecasting from Omni-Mod 8.0分 前25% #音视频问答 32. Acoustic Interference: A New Paradigm Weaponizing Acous 8.0分 前25% #音频理解 33. ReGen: Hierarchical Multi-Prompt Representation Generat 8.0分 前25% #语音编码 34. DiscoForcing: A Unified Framework for Real-Time Audio-D 8.0分 前25% #音乐生成 35. DreamID-Omni: Unified Framework for Controllable Human- 8.0分 前25% #音视频生成 36. AgentSteerTTS: A Multi-Agent Closed-Loop Framework for 7.9分 前25% #语音合成 37. STAR-VAE: Structured Topology-Aware Regularization for 7.9分 前25% #音频生成 38. HyperPotter: Spell the Charm of High-Order Interactions 7.9分 前25% #音频伪造检测 39. T2AV-Compass: Towards Unified Evaluation for Text-to-Au 7.9分 前25% #音视频生成 40. Decoupling The “What” and “Where” With Polar Coordinate 7.8分 前25% #音乐生成 41. V-LynX: Token Interface Alignment for Video+X LLMs 7.8分 前25% #音视频问答 42. Ariadne’s Thread of LipSync: Unraveling Forgeries via I 7.8分 前25% #音视频理解 43. SONAR: Spectral‑Contrastive Audio Residuals for General 7.8分 前25% #语音伪造检测 44. TMD-Bench: A Multi-Level Evaluation Paradigm for Music– 7.7分 前25% #音视频生成 45. AudioMosaic: Contrastive Masked Audio Representation Le 7.7分 前25% #音频分类 46. BFCL Audio: An Audio Function Calling Evaluation for La 7.7分 前25% #语音交互 47. SALSA-V: Shortcut-Augmented Long-form Synchronized Audi 7.6分 前25% #音视频生成 48. BEAT: Tokenizing and Generating Symbolic Music by Unifo 7.6分 前25% #音乐生成 49. From Inpainting to Editing: Unlocking Robust Mask-Free 7.6分 前25% #扩散模型 50. Hearing Without Noticing? Attention-Aware Stealthy Blac 7.6分 前25% #语音识别 51. AVGen-Bench: A Task-Driven Benchmark for Multi-Granular 7.6分 前25% #音视频生成 52. Alethia: a Foundational Encoder for Voice Deepfakes 7.6分 前25% #语音伪造检测 53. AG-REPA: Causal Layer Selection for Representation Alig 7.6分 前25% #语音合成 54. AVI-Bench: Toward Human-like Audio-Visual Intelligence 7.6分 前25% #音视频理解 55. Two-dimensional quantization for geometry-aware audio c 7.6分 前25% #语音编码 56. Abstraction Induces the Brain Alignment of Language and 7.5分 前25% #语音编码 57. Self-Guidance: Enhancing Neural Codecs via Decoder Mani 7.5分 前25% #语音编码 58. OmniVideo-R1: Reinforcing Audio-visual Reasoning with Q 7.5分 前25% #音视频问答 59. Listening Through the Noise: Cauchy-Driven Diffusion Br 7.4分 前50% #音频修复 60. MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 7.4分 前50% - 61. Omni-Perception Policy Optimization for Multimodal Emot 7.4分 前50% #音视频理解 62. video-SALMONN S: Memory-Enhanced Streaming Audio-Visual 7.3分 前50% #音视频问答 63. Group Cognition Learning: Making Everything Better Thro 7.3分 前50% #音视频理解 64. REST: Diffusion-based Real-time End-to-end Streaming Ta 7.3分 前50% #音视频生成 65. PhoStream: Benchmarking Real-World Streaming for Omnimo 7.3分 前50% #音视频问答 66. ProactiveLLM: Learning Active Interaction for Streaming 7.2分 前50% #语音识别 67. Stream RAG: Instant and Accurate Spoken Dialogue System 7.2分 前50% #流式处理 68. Probing Cross-modal Information Hubs in Audio-Visual LL 7.2分 前50% #音视频理解 69. Efficient Multi-modal Dataset Distillation via Analytic 7.2分 前50% #对比学习 70. Self-Supervised Flow Matching for Scalable Multi-Modal 7.2分 前50% #音视频生成 71. CoCoEmo: Composable and Controllable Human-Like Emotion 7.1分 前50% #语音合成 72. Scaling Transformers for End-to-End Discrete Audio Toke 7.1分 前50% #音频编码 73. Query-Based Asymmetric Modeling with Decoupled Input–Ou 7.1分 前50% #语音增强 74. OmniSIFT: Modality-Asymmetric Token Compression for Eff 7.1分 前50% #音视频问答 75. Sparse Autoencoders for Interpretable Emotion Control i 7.0分 前50% #语音合成 76. The Silent Thought: Modeling Internal Cognition in Full 7.0分 前50% #知识蒸馏 77. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 7.0分 前50% #音频水印 78. Efficient Distributed MLLM Training with Cornstarch 7.0分 前50% #音视频理解 79. Reasoning LLM Improves Speaker Recognition in Long-form 7.0分 前50% - 80. Real-World Unsupervised Models Generalize to Predict Br 6.9分 前50% #模型评估 81. From Talking to Singing: A New Challenge for Audio-Visu 6.9分 前50% #音视频理解 82. OmniShow: Unifying Multimodal Conditions for Human-Obje 6.9分 前50% #音视频生成 83. E-VAds: An E-commerce Short Videos Understanding Benchm 6.9分 前50% #音视频问答 84. STARCaster: Spatio-Temporal AutoRegressive Video Diffus 6.8分 前50% #音视频生成 85. Zero-Shot Rankability: Revealing Latent Ordinal Structu 6.8分 前50% #音视频理解 86. An Exterior Method for Nonnegative Matrix Factorization 6.8分 前50% #音频分类 87. FoeGlass: Simple In-Context Learning Is Enough for Red 6.8分 前50% #语音伪造检测 88. Native Active Perception as Reasoning for Omni-Modal Un 6.8分 前50% #音视频理解 89. Unlocking Speech–Text Compositional Powers: Instruction 6.7分 前50% #语音交互 90. UltraLIF: Fully Differentiable Spiking Neural Networks 6.7分 前50% #音频分类 91. Towards Streaming Synchronized Spatial Audio Generation 6.6分 前50% #音视频生成 92. TextME: Bridging Unseen Modalities Through Text Descrip 6.6分 前50% - 93. Evaluating and Rewarding LALMs for Expressive Role-Play 6.6分 前50% #语音合成 94. PADS-TAL: Padding-Annealed Diffusion Sampling in Text-A 6.6分 前50% #音乐生成 95. ADEPT: RL-Aligned Agentic Decoding of Emotion via Evide 6.5分 前50% #语音情感识别 96. Universal Algorithm-Implicit Learning 6.5分 前50% #音频分类 97. SARSteer: Safeguarding Large Audio Language Models via 6.5分 前50% - 98. MetaPerch: Learning from metadata for bioacoustics foun 6.5分 前50% #音频分类 99. Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Mus 6.5分 前50% #音乐生成 100. CMI-RewardBench: Evaluating Music Reward Models with Co 6.4分 前50% #音乐生成 101. Multimodal Fact-Level Attribution for Verifiable Reason 6.4分 前50% #音频理解 102. MedMosaic: A Challenging Large Scale Benchmark of Diver 6.4分 前50% #音频理解 103. INFER: Learning Implicit Neural Frequency Response Fiel 6.4分 前50% #空间音频 104. Characterizing the Predictive Impact of Modalities with 6.4分 前50% - 105. PCRNet: Phase-aware Complex Refinement Network for EEG- 6.4分 前50% #实时处理 106. OmniFit: Bridging Modalities via Layer-Adaptive Token C 6.3分 前50% #音视频理解 107. EchoingPixels: Aliasing-Resistant Joint Token Reduction 6.3分 前50% #音视频理解 108. Quaternion Self-Attention with Shared Scores 6.3分 前50% #语音增强 109. LightAVSeg: Lightweight Audio-Visual Segmentation 6.3分 前50% #模型压缩 110. SURF: Separation via Unsupervised Remixing Flow 6.2分 前50% #语音分离 111. Neural-Inspired Modeling of Auditory Selection and Comp 6.2分 前50% #音视频语音分离 112. AuTAgent: A Reinforcement Learning Framework for Tool-A 6.2分 前50% #音频理解 113. Multimodal Latent Language Modeling with Next-Token Dif 6.1分 前50% #语音合成 114. FakeWorld 1.0: An Omni-modal Benchmark for Fake Media a 6.1分 前50% #可解释性 115. ConsMSA: Semantic Distribution Consistency Learning for 6.1分 前50% #多模态模型 116. MusicDET: Zero-Shot AI-Generated Music Detection 6.1分 前50% #音频伪造检测 117. Convex Low-resource Accent-Robust Language Detection in 6.0分 前50% #语音识别 118. NeuroCLUS: A Foundation Model with Functional Clusterin 6.0分 前50% #语音识别 119. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 5.9分 前50% #模型剪枝 120. Scaling Behavior in Model Fine-tuning for Audio DeepFak 5.9分 前50% #音频伪造检测 121. Bioacoustic Geolocation: Species Sounds as Geographic S 5.8分 前50% #音频理解 122. AudioChat: Unified Audio Storytelling, Editing, and Und 5.8分 前50% #音频生成 123. Omni-Diffusion: Unified Multimodal Understanding and Ge 5.8分 前50% - 124. Robust Signal Enhancement via Fractional Detail Views a 5.7分 前50% #语音增强 125. Multimodal Fusion via Self-Consistent Task-Gradient Fie 5.5分 前50% #鲁棒性 126. NAACA: Training-Free NeuroAuditory Attentive Cognitive 5.5分 前50% #音频事件检测 127. Language Model Augmented Semi-Supervised Statistical In 5.4分 后50% #语音属性识别 128. MER-DG: Modality-Entropy Regularization for Multimodal 5.4分 后50% #音视频理解 129. Towards Understanding Modality Interaction in Multimoda 5.3分 后50% #音视频理解 130. Stable Spectral Copula Alignment for Robust Multimodal 5.2分 后50% #鲁棒性 131. Multimodal Meta-Verifier with Explicit Structured Recal 5.2分 后50% #多模态模型 132. WaveSSM: Multiscale State-Space Models for Non-stationa 4.8分 后50% #音频分类 133. Efficient, Property-Aligned Fan-Out Retrieval via RL-Co 4.7分 后50% #音乐检索 134. VIBE: Disentangling Social Dynamics via Kinematics-Info 4.6分 后50% - 135. UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuni 4.4分 后50% #音视频问答 136. Rethinking Attention in Spiking Transformers: Overcomin 3.6分 后50% #音频分类 137. PRIM:Cooperative Dynamic Token Compression for Efficien 3.6分 后50% #音视频理解 📋 论文列表 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions 🔥 9.4/10 | 前10% | #音视频理解 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 影响 0.9/1.5 | 开源 1.5/1.5 ...

2026-07-04 · 更新于 2026-08-14 · 108 min · 22980 words

Luna-TTS Family Technical Report

📄 Luna-TTS Family Technical Report 标签:#语音合成 #扩散模型 #预训练 #流式处理 #强化学习 6.9/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 ✅ 6.9/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #语音合成 | #扩散模型 | #预训练 #流式处理 | arxiv 👥 作者与机构 第一作者:论文标注 Feng Yin、Shuai Shi、Junjie Zheng、Kechenying Zhou 为共同第一作者 通讯作者:Yanmin Qian 作者列表:Feng Yin(VUI Labs Research)、Shuai Shi(VUI Labs Research)、Junjie Zheng(VUI Labs Research)、Kechenying Zhou(VUI Labs Research)、Yiqiu Wang(VUI Labs Research)、Chenyang He(VUI Labs Research)、Qiuhua Jiang(VUI Labs Research)、Mengxiao Bi(VUI Labs Research)、Yanmin Qian(VUI Labs Research);其余贡献者 Mingxin Chen、Xun Gong、Tianteng Gu、Bing Han、Peng Jiang、Chenda Li、Haiyang Sun、Han Wang、Wei Wang、Yi Wang、Leying Zhang、Wangyou Zhang、Chushu Zhou(均标注 VUI Labs Research,论文按姓氏字母顺序列出,未给出更细部门信息) 💡 毒舌点评 这个报告最亮眼的地方是把 masked discrete diffusion 从学术方案推到了 1M 小时、四语言的 TTS 生产系统,并给出 41.6ms 首块延迟和极低 RTF 的清晰部署画像。但它更像一份产品技术报告:没有开源权重/代码,也没有 RL、annealing、duration predictor、block adaptation 等关键阶段的可控消融,读者很难判断 SOTA 数字究竟来自架构,还是来自数据与后训练的堆叠。 ...

2026-08-13 · 更新于 2026-08-14 · 6 min · 1220 words

RT-SEMamba: Real-Time Speech Enhancement Mamba via Progressive Knowledge Distillation

📄 RT-SEMamba: Real-Time Speech Enhancement Mamba via Progressive Knowledge Distillation 标签:#语音增强 #知识蒸馏 #流式处理 #实时处理 #模型压缩 6.6/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.6/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音增强 | #知识蒸馏 | #流式处理 #实时处理 | arxiv 👥 作者与机构 论文未提供作者-机构的逐人数字映射;脚注机构列表为:Academia Sinica, Taiwan;National Taiwan University, Taiwan;Kore University of Enna, Italy;University of Palermo, Italy;NVIDIA。 ...

2026-08-13 · 更新于 2026-08-14 · 5 min · 1037 words

Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming

📄 Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming 标签:#音视频生成 #后训练 #扩散模型 #流式处理 #音频理解 7.4/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.4/1.5 ✅ 7.4/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #音视频生成 | #后训练 | #扩散模型 #流式处理 | arxiv 👥 作者与机构 共同第一作者:Menglin Han(Vorch Team;同济大学)、Yang Ding(Vorch Team),均标注 * 通讯作者:Zhangkai Ni(同济大学)、Lin Ma(机构未说明)、Yaohui Wang(Vorch Team),均标注 † 作者列表:Menglin Han(Vorch Team;同济大学)、Yang Ding(Vorch Team)、Yulei Lu(Vorch Team)、Haoran Yu(Vorch Team;哈尔滨工业大学(深圳))、Xin Ma(Vorch Team)、Junyi Chen(Vorch Team;上海交通大学)、Zhangkai Ni(同济大学)、Lin Ma(机构未说明)、Yaohui Wang(Vorch Team) 💡 毒舌点评 亮点是把双向 LTX2.3 的短片段生成能力拆成“因果块 + 稳定前缀窗口 + 显式 LLM 语音规划”,在两分钟 T2AV 上做到 27.12 FPS 并维持较低 WER,工程完成度很高。短板是训练语料和分布蒸馏教师都来自同一双向 LTX2.3,存在明显自举闭环;对比的流式基线只能跑到 30 秒,且论文没有提供代码、权重或数据,验证可信度被削弱 ...

2026-08-07 · 更新于 2026-08-14 · 3 min · 538 words

Homebot: A Personal AI Agent for Conversational Home Assistance and Automation

📄 Homebot: A Personal AI Agent for Conversational Home Assistance and Automation 标签:#语音交互 #大语言模型 #语音唤醒 #说话人验证 #流式处理 3.8/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 0/1.5 | 清晰 0.8/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.8/1.5 📝 3.8/10 | 后50% | 文档类型:系统技术报告 | 评分置信度:中 | #语音交互 | #大语言模型 | #语音唤醒 #说话人验证 | arxiv 👥 作者与机构 第一作者:Shengyuan Ye(机构未说明) 通讯作者:Shengyuan Ye(邮箱 brandonye@foxmail.com,机构未说明) 作者列表:Shengyuan Ye、Yixin Zhang、Han Liang、Liekang Zeng、Jiangsu Du、Mu Yuan(所有作者机构均未说明) 项目网站:https://ysyisyourbrother.github.io/homebot 💡 毒舌点评 语音对话状态协议(end/follow_up/continuous)设计清晰,有效解耦了语义判断与通道状态转换,是工程上一个聪明的小创新。然而,全文竟然没有提供一丁点定量实验结果——延迟、成功率、冒烟测试、用户反馈统统缺席。这让整个系统看起来更像一份产品需求文档,离说服读者这是“实用的本地家庭助手”还差十万八千里。 ...

2026-08-04 · 更新于 2026-08-14 · 1 min · 170 words

LeapTalk: Breaking the Latency-Quality Trade-off in Talking Head Generation

📄 LeapTalk: Breaking the Latency-Quality Trade-off in Talking Head Generation 标签:#音视频生成 #知识蒸馏 #流式处理 #实时处理 #音频理解 6.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.8/10 | 前50% | 文档类型:方法研究 | 评分置信度:高 | #音视频生成 | #知识蒸馏 | #流式处理 #实时处理 | arxiv 👥 作者与机构 第一作者:Rongxiang Zhang(机构标注为1,2,具体单位未说明) 通讯作者:Songhua Liu(机构标注为1,具体单位未说明,标注为corresponding author) 作者列表:Rongxiang Zhang(1,2)、Songhua Liu(1) 💡 毒舌点评 用布朗桥替代噪声起始,身份漂移的缓解效果在实验中一目了然,SNR对齐的时间变换也把流匹配教师和桥式学生的跨范式蒸馏推到了新高度。但“开源”只有一个空壳项目主页,代码和模型权重一概欠奉,让“200FPS实时生成”的豪言成了薛定谔的承诺——无法复现验证的工程奇迹,在顶会审稿人眼里终究是空中楼阁。此外,对极端姿态、严重遮挡和超长时(>10分钟)场景的稳定性仍是一笔带过,工业落地前的最后一道坎还远未迈过。 📌 核心摘要 本文针对音频驱动说话人头生成中长期存在的延迟与质量权衡问题,提出了一种名为LeapTalk的框架。其核心思路是摒弃传统的“噪声→数据”扩散范式,转而将生成过程重新定义为一个以参考图像为起始锚点的布朗桥数据到数据传输过程(Bridge Forcing),从根本上抑制流式自回归生成中的身份漂移和误差累积。为实现单步实时推理,论文设计了一套异构分布匹配蒸馏(DMD)方案:通过一个基于信噪比对齐的闭式时间变换函数\(\Phi(\tau)=1/(1+\sqrt{(1-\tau)/\tau})\),将流匹配教师的多步知识稳定转移至布朗桥单步学生模型,并引入音频驱动的分类器自由引导(Audio-Driven CFG)以在极端步数压缩下维持唇动细节和运动多样性。主要实验表明,在HDTF和CelebV-HQ上,LeapTalk仅用1步推理(NFE=1)就取得了21/197的FID/FVD(HDTF),唇音同步指标Sync-C达到8.38,同时Lite版本达到200FPS(H200,512×512),Pro版本55FPS,性能显著优于多步扩散基线和现有自回归方法,并在DINOv2身份一致性时序曲线上保持平坦,证实了长期生成的稳定性。实际意义在于为实时、无限长度的数字人驱动提供了兼顾效率与稳定性的新范式。主要局限是开源不完整(缺少代码与模型权重),且对极端参考姿态、大面积遮挡或超长时生成的鲁棒性尚未充分量化。 ...

2026-08-04 · 更新于 2026-08-14 · 2 min · 419 words

WeSep: A Modular and Cue-Composable Framework for Target Speaker Extraction

📄 WeSep: A Modular and Cue-Composable Framework for Target Speaker Extraction 标签:#语音分离 #多模态模型 #流式处理 #音频理解 #Transformer 7.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.4/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:中 | #语音分离 | #多模态模型 | #流式处理 #音频理解 | arxiv 👥 作者与机构 第一作者:Ke Zhang(SAI, The Chinese University of Hong Kong, Shenzhen) 通讯作者:Shuai Wang(Nanjing University)、Haizhou Li(The Chinese University of Hong Kong, Shenzhen) 作者列表:Ke Zhang(SAI, The Chinese University of Hong Kong, Shenzhen)、Xiaoyang Yu(Nanjing University)、Haoyu Li(Shenzhen Loop Area Institute)、Shuai Wang(Nanjing University)、Shuhan Zhang(Shenzhen Loop Area Institute)、Haizhou Li(The Chinese University of Hong Kong, Shenzhen) 💡 毒舌点评 亮点在于将目标说话人提取统一为异质提示条件学习,用标准化接口把提示前端和分离器解耦,多模态组合和缺失提示训练提供了可验证的工程基底。短板也很明显:没跟现有多模态TSE系统做端到端公平对比,关键超参数大面积缺失,全在受控合成集上自娱自乐,离“动态真实场景”的承诺还差一口气。更关键的是,论文声称提供统一实验基底,但连和ClearerVoice这类现成平台的横向对比都没有,让人怀疑这基底到底比直接用多个单模型拼接强在哪。 ...

2026-07-31 · 更新于 2026-08-14 · 2 min · 396 words

faster-enhancer.c: A Dependency-Free int8 Runtime for Streaming Speech Enhancement on Commodity CPUs

📄 faster-enhancer.c: A Dependency-Free int8 Runtime for Streaming Speech Enhancement on Commodity CPUs 标签:#语音增强 #高效推理 #模型压缩 #流式处理 #实时处理 8.7/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.7/10 | 前25% | 文档类型:系统技术报告 | 评分置信度:高 | #语音增强 | #模型压缩 | #高效推理 #流式处理 | arxiv 👥 作者与机构 第一作者:Gyeongmin Kim(未说明) 通讯作者:未说明 作者列表:Gyeongmin Kim(未说明) 💡 毒舌点评 这篇工作以极为务实的工程视角,将 FastEnhancer-Medium 变成一个“拎包入住”的 CPU 流式增强库,无需校准集、无需重训练、无需外部依赖,在苹果 M2 上实现 3.3 倍加速的确令人印象深刻。但全文几乎只聚焦单一模型和固定采样率,缺乏对通用性的讨论,且 x86 平台的实测数据全部缺失,让“跨架构”声称打了折扣。更关键的是,其对“调度行为”导致安卓设备长时间运行尾延迟失控的分析,暴露出该方法对运行环境的深度依赖,而非仅仅技术本身。 ...

2026-07-29 · 更新于 2026-08-14 · 4 min · 844 words

Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot

📄 Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot 标签:#语音交互 #大语言模型 #语音活动检测 #流式处理 #实时处理 6.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 ✅ 6.1/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #语音交互 | #大语言模型 | #语音活动检测 #流式处理 | arxiv 👥 作者与机构 第一作者:Yuki Okafuji(CyberAgent, Tokyo; The University of Osaka) 通讯作者:未说明 作者列表:Yuki Okafuji(CyberAgent, Tokyo; The University of Osaka)、Koji Inoue(Graduate School of Informatics, Kyoto University; The University of Osaka)、Yoshiki Ohira(CyberAgent, Tokyo; The University of Osaka) 💡 毒舌点评 论文将意图就绪检测与语音活动投影结合,构建了一个在真实商场环境中可工作的两级语音交互流水线,时序实验清晰、对比条件明确,在降低主响应间隔上取得了显著数字。然而,主观问卷因样本过小(每条件仅30份)未能检测到差异,本质上是将统计不显著定性为“暂无差异”而非积极验证用户体验改善;同时未公布任何代码、模型或数据,复现门槛极高,极大削弱了一个系统报告的外部价值。 ...

2026-07-28 · 更新于 2026-08-14 · 2 min · 408 words

CODA: Cascaded Online Discontinuity-Aware Alignment for Real-Time Image-Based Score Following

📄 CODA: Cascaded Online Discontinuity-Aware Alignment for Real-Time Image-Based Score Following 标签:#音频理解 #Transformer #实时处理 #流式处理 #基准测试 8.1/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 🔥 8.1/10 | 前25% | 文档类型:方法研究 | 评分置信度:高 | #音频理解 | #Transformer | #实时处理 #流式处理 | arxiv 👥 作者与机构 第一作者:Yining Yang(未说明) 通讯作者:未说明 作者列表:Yining Yang(未说明)、Ruogu Chen(未说明)、Jie Han(University of Alberta) 💡 毒舌点评 本文以优雅的级联选择和静默驱动的跳转恢复,巧妙地将乐谱跟随从“目标检测”重构为“候选选择”,在合成数据上取得了显著提升。然而,其过度依赖合成音频训练,在真实钢琴录音上性能骤降(≤0.10s误差下从0.914降至0.743),且依赖精确的乐谱布局先验,泛化至手写谱或不规则现代乐谱的能力存疑。总体看,洞察清晰,工程扎实,但“通用”乐谱跟随的愿景尚显遥远。 ...

2026-07-27 · 更新于 2026-08-14 · 3 min · 544 words