端到端

📄 Unfolded Recursive Expectation-Maximization Neural Network For Speaker Tracking 标签：#声源定位 #端到端 #音频理解 #Transformer #模型评估 5.4/10 | 创新 1.2/2 | 严谨 0.8/1.5 | 实验 0.7/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 📝 5.4/10 | 后50% | 文档类型：方法研究 | 评分置信度：中 | #声源定位 | #端到端 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Rina Veler（Bar-Ilan University, Faculty of Engineering） 通讯作者：未说明 作者列表：Rina Veler（Bar-Ilan University, Faculty of Engineering）、Sharon Gannot（Bar-Ilan University, Faculty of Engineering） 💡 毒舌点评 这篇文章用“算法展开”的瓶子装了“递归EM跟踪”的酒，核心卖点是用FiLM和位置编码让网络自己学递归步长，动机清晰、路径合理。然而实验部分薄弱得令人不安——基线只有固定步长的CREM，没有与任何粒子滤波、卡尔曼滤波或纯DNN跟踪方法对比，这让“性能优异”的结论仅限于自家澡盆里游泳。混响下0.55米的RMSE意味着跟踪点经常在说话人半米外徘徊，这与宣称的“鲁棒跟踪”有不小差距。整体来看，概念有趣但说服力不足。 ...

📄 Efficient Chain-of-Modality Reasoning via Progressive Compression for Spoken Language Models 标签：#语音交互 #课程学习 #语音大模型 #端到端 #高效推理 7.6/10 | 创新 1.8/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #语音交互 | #课程学习 | #语音大模型 #端到端 | arxiv 👥 作者与机构 第一作者：Pengchao Feng（上海交通大学，上海创新研究院，中国上海） 通讯作者：未说明 作者列表：Pengchao Feng（上海交通大学，上海创新研究院，中国上海）、Chao-Hong Tan（通义实验室，阿里巴巴集团，中国上海）、Qian Chen（通义实验室，阿里巴巴集团，中国杭州）、Wen Wang（通义实验室，阿里巴巴集团，美国森尼维尔）、Xiangang Li（通义实验室，阿里巴巴集团，中国杭州）、Xie Chen（上海交通大学，上海创新研究院，中国上海） 💡 毒舌点评 亮点在于首次系统性地将高效推理（压缩思维链）的概念引入语音语言模型，并提出了一个完整的、基于课程学习的端到端训练框架。实验在多个口语数学问答基准上验证了其精度-效率优势。短板显著：工程细节和可复现性支持严重不足，未提供代码、模型或可下载的数据集；评估高度受限于英语数学问答任务，泛化性未得验证；对压缩策略依赖外部工具（LLMLingua-2）且未讨论其在SLM语境下的适配性或潜在瓶颈。 ...

📄 End-to-End Markov State Sequence Learning for Auditory Attention Decoding 标签：#语音交互 #端到端 #音频理解 #Transformer #模型评估 8.3/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 🔥 8.3/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #语音交互 | #端到端 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Yushan Yashengjiang（中国科学技术大学，语音及语言信息处理国家工程研究中心，NERC-SLIP） 通讯作者：Jie Zhang（中国科学技术大学，语音及语言信息处理国家工程研究中心，NERC-SLIP） 作者列表： Yushan Yashengjiang（中国科学技术大学，NERC-SLIP） Jie Zhang（中国科学技术大学，NERC-SLIP） Miao Sun（广州海事大学，信息与通信工程学院） Huadong Liang（iFLYTEK Company, Ltd.，人工智能研究院） Xin Li（iFLYTEK Company, Ltd.，人工智能研究院；中国科学技术大学，信息科学技术学院） Zhen-Hua Ling（中国科学技术大学，NERC-SLIP） 💡 毒舌点评 本文将序列判别训练（CRF）引入听觉注意力解码（AAD）以改善独立窗口训练与推理不匹配的问题，视角新颖且有效。实验在动态切换和静态数据集上均显示了稳定提升，消融分析清晰地归因于“序列感知发射学习”。然而，最佳因果解码延迟（23.3秒）对实时应用而言仍过高，且泛化性（如跨被试、跨设备）未被探讨，这限制了其临床转化潜力。同时，对静态数据集性能提升的机制解释可以更深入。 ...

📄 What the Waveform Knows: Transparent-first Speech and Audio Intelligence with Caption Studio 标签：#会议转录 #端到端 #语音识别 #说话人日志 #音频理解 4.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.1/1.5 📝 4.8/10 | 后50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音识别 | #端到端 | #会议转录 #说话人日志 | arxiv 👥 作者与机构 第一作者：Cheng Siong Chin 通讯作者：Cheng Siong Chin 作者列表：Cheng Siong Chin（纽卡斯尔大学新加坡分校，科学、农业与工程学院）、Jianhua Zhang（青岛理工大学，信息与控制工程学院）、Mohan Venkateshkumar（Amrita Vishwa Vidyapeetham，Amrita工程技术学院，电气与电子工程系） 💡 毒舌点评 论文提出了一个具有实用价值的“透明第一”设计框架，并在工程上集成了一个完整的语音音频分析原型。然而，作为一篇顶会水平的研究论文，它最致命的缺陷在于几乎没有提供任何支撑其系统能力声明的实验验证。它更像一份详尽的产品设计文档或系统说明书，而非一篇经过严格实验检验的研究工作。审稿人无法评估其转录质量、日志准确性或任何声称功能的实际效果，这极大地削弱了其作为学术论文的可信度和影响力。 ...

📄 FlashRT: Agent Harness for Guiding Agents to Deploy Real-Time Multimodal Applications 标签：#端到端 #音视频生成 #音视频交互 #高效推理 #音频理解 7.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.5/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频生成 | #端到端 | #音视频交互 #高效推理 | arxiv 👥 作者与机构 第一作者：Krish Agarwal（Carnegie Mellon University, Infini-AI-Lab） 通讯作者：Beidi Chen（Carnegie Mellon University, Infini-AI-Lab） 作者列表：Krish Agarwal（Carnegie Mellon University, Infini-AI-Lab）、Zhuoming Chen（Carnegie Mellon University, Infini-AI-Lab）、Yanyuan Qin（AMD）、Zhenyu Gu（AMD）、Atri Rudra（University at Buffalo）、Beidi Chen（Carnegie Mellon University, Infini-AI-Lab） 💡 毒舌点评 这篇论文的亮点在于其巧妙的系统设计，将AI代理作为编排者，解决多模态应用部署的NP难题，方法新颖且实验结果令人印象深刻（如~70x延迟降低）。但短板同样明显：其性能高度依赖昂贵的顶级推理模型（Claude Opus 4.8），且对模型内部优化（如算子融合、内核优化）基本无能为力，本质上是“用一个黑盒AI代理去编排其他黑盒模型的部署”，工程鲁棒性和可预测性存疑。对于语音/音频领域的读者，此工作的核心贡献（自动化部署框架）是系统层面的，不直接解决算法或建模问题，实用价值有限。 ...

📄 SSTMark: Robust Training-Free Semantic-Level Speech Watermarking 标签：#音频水印 #端到端 #语音合成 #语音识别 #音频理解 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.4/1.5 ✅ 6.5/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音频水印 | #端到端 | #语音合成 #语音识别 | arxiv 👥 作者与机构 第一作者：Kuan-Lin Chu (CITI, Academia Sinica, Taiwan, ROC) 通讯作者：未说明 作者列表：Kuan-Lin Chu (CITI, Academia Sinica, Taiwan, ROC), Jun-Cheng Chen (CITI, Academia Sinica, Taiwan, ROC), Chun-Shien Lu (IIS, Academia Sinica, Taiwan, ROC) 💡 毒舌点评 亮点在于将水印载体从脆弱的信号层提升到相对稳定的语义层，概念新颖且有洞察力，在AudioMarkBench的多种攻击下展现出极具说服力的平均鲁棒性优势，特别是在面对神经编解码器压缩时表现突出。短板同样明显：该方法严重依赖外部ASR和TTS模型，引入了额外的复杂性、延迟和潜在的单点故障；且基础检测率（No-atk TPR）低于一些信号级方法，表明其在“无攻击”场景下并非最优；此外，对语义攻击（如转述）的脆弱性未被评估，且未讨论多比特水印嵌入能力，限制了其作为通用溯源工具的潜力。 ...

📄 The tttAI System for the TSA-ASR Task of the SmartGlasses Challenge 2026 标签：#说话人日志 #端到端 #语音识别 #领域适应 #音频理解 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #说话人日志 | #端到端 | #语音识别 #领域适应 | arxiv 👥 作者与机构 第一作者：Xuanji He 通讯作者：Xuanji He（论文未明确标注通讯作者，根据署名顺序推断） 作者列表：Xuanji He, Gaoyang Dong, Xiaoxiao Li, Minchuan Chen, Fengjie Zhu（五位作者署名后均标注“1”，表明来自同一机构，但论文未提供具体机构名称） 💡 毒舌点评 论文的最大亮点在于其精心设计的“失效感知主导说话人回退策略”，将重叠语音处理这一经典难题与工程上的鲁棒性考量巧妙结合，在比赛中取得了优异成绩。然而，其最大的“原罪”在于彻底的“黑盒”性质：在强调开源和可复现性的顶会审稿标准下，一个完全闭源、不提供任何代码、模型、复现配置乃至详细训练日志的系统报告，其科学贡献和对社区的实质推动作用大打折扣，甚至令人怀疑其结果的可验证性。 ...

📄 AnovaX: A Local, Multi-Agent Voice Assistant with LLM Planning, Typed Executors, and Adaptive Recovery 标签：#语音交互 #端到端 #音频理解 #Transformer #模型评估 4.8/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.2/1.5 | 清晰 0.8/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 📝 4.8/10 | 后50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音交互 | #端到端 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Raunak B Sinha（BITS Pilani, India） 通讯作者：未说明 作者列表：Raunak B Sinha（BITS Pilani, India） 💡 毒舌点评 论文精心构建了一个“本地、可审计”的语音助手工程案例，其模块化设计（如类型化执行器与自适应恢复循环）展现了清晰的系统思维。然而，全文的核心问题在于：这更像一份详尽的“技术备忘录”或“项目文档”，而非一篇经过严格学术检验的研究论文。缺乏任何定量评估、与现有系统的性能对比，以及开源代码，使得其所有设计选择和宣称的“实用”优势都停留在“作者自述”层面，无法被社区验证、复现或比较。对于语音/音频领域的研究者而言，其贡献更是隔靴搔痒。 ...

📄 HeadRoom: Lightweight, Edge-deployable Pipeline for Adaptive Notification Routing 标签：#多模态模型 #音频事件检测 #语音活动检测 #端到端 #音频理解 7.2/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.2/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音频事件检测 | #多模态模型 | #语音活动检测 #端到端 | arxiv 👥 作者与机构 第一作者：Dinithi Dissanayake (Augmented Human Lab, National University of Singapore) 通讯作者：未说明（所有作者邮箱均为@ahlab.org） 作者列表：Dinithi Dissanayake (Augmented Human Lab, National University of Singapore), Prasanth Sasikumar (Augmented Human Lab, National University of Singapore), Suranga Nanayakkara (Augmented Human Lab, National University of Singapore) 💡 毒舌点评 论文提出了一个颇具启发性的想法——用预测误差作为感官通道负载的代理，并构建了一个极轻量的pipeline，其工程实现（特别是边缘部署）是扎实的亮点。然而，整个论证的弱点在于用户研究：实验设计受限于简单的探针检测任务，且缺乏与现有通知路由基线的直接对比，使得核心声明“自适应路由优于随机路由”的证据基础在关键的低需求场景中不够坚实，结论说服力因此打了折扣。 ...

语音/音乐/音频论文速递 2026-07-11 共分析 1 篇论文 ⚡ 今日概览 📥 抓取 1 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频事件检测 1篇 █ 📊 论文评分排行榜（1 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 HeadRoom: Lightweight, Edge-deployable Pipeline for Ada 7.2分 前50% 系统技术报告 #音频事件检测 📋 论文列表 🥇 HeadRoom: Lightweight, Edge-deployable Pipeline for Adaptive Notification Routing 7.2/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ...

📄 Structural Bottlenecks on Frequency Representation in End-to-End Audio Models 标签：#音频编码 #理论分析 #可解释性 #端到端 7.4/10 | 创新 1.2/2 | 严谨 1.4/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.4/10 | 前50% | 文档类型：理论研究 | 评分置信度：高 | #音频编码 | #CNN | #理论分析 #可解释性 | arxiv 👥 作者与机构 第一作者：Nicole Cosme-Clifford（耶鲁大学） 通讯作者：论文中未提及 作者列表：Nicole Cosme-Clifford（耶鲁大学） 💡 毒舌点评 这篇论文在理论层面构建了一个清晰且可验证的框架来分析端到端音频编码器的频率表示瓶颈，其分析与实验设计的严谨性（如r≈0.99的预测与观察相关性）令人印象深刻，这是其核心亮点。然而，其主要短板在于实验验证过于依赖合成信号，对真实复杂音频信号（如音乐、语音）的泛化性验证不足，使得其结论的实际影响力打了折扣，更像是一篇精致的机制分析论文而非一项可直接推动领域SOTA的工程突破。 📌 核心摘要 本论文旨在探究端到端音频模型（如EnCodec, DAC, Stable Audio）的卷积编码器是否真正保留了对音高、音色等基础物理声学特征的可访问性。作者认为，当前的高性能编码器可能无法直接表示时频局部化的信号基元（如窄带振荡）。论文理论分析并实验验证了两个结构性瓶颈：（1）下采样导致的“可注入性失败”，即不同频率成分混叠成等价类；（2）滤波器分辨率不足导致的“可分离性失败”，即存活成分无法被独立操控。实验表明，643种信号配置下预测的混叠率与实际观察到的混叠率相关性达r≈0.99。学习到的滤波器带宽比理论分辨率极限高9-35倍。作者提出了“Gabor潜在重构”（GLRF）这一轻量级后处理方法，通过将编码器隐层用Gabor滤波器组重新表示，可将滤波器带宽降至理论极限的1.5-3倍，并在插值和目标成分替换任务中显著改善了对频率成分的控制（如在DAC上目标替换成功率从30%提升至100%）。这表明编码器线性地保留了频率成分信息，但未对其结构化对齐，GLRF可以将其显式化。主要局限在于实验多基于合成信号，对复杂真实音频的泛化性有待验证，且干预方法无法修复可注入性失败。 ...

📄 Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs #语音交互 #语音大模型 #多模态模型 #端到端 #流式处理 9.2/10 | 创新 1.8/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 🔥 9.2/10 | 前10% | #语音交互 | #语音大模型 | #多模态模型 #端到端 | arxiv 👥 作者与机构 第一作者：Zhenyu Liu（哈尔滨工业大学（深圳）计算机科学与技术学院；语言智能与机器中心，深圳河套研究院） 通讯作者：Baotian Hu（哈尔滨工业大学（深圳）计算机科学与技术学院；语言智能与机器中心，深圳河套研究院） 其他作者：Yunxin Li, Xuanyu Zhang（哈尔滨工业大学（深圳），语言智能与机器中心），Qixun Teng, Shenyuan Jiang（哈尔滨工业大学（深圳）），Haolan Chen, Minjun Zhao, Fanbo Meng, Yu Xu, Yancheng He（机构未详细说明），Haizhou Li（香港中文大学（深圳）人工智能学院），Min Zhang（哈尔滨工业大学（深圳），语言智能与机器中心） 💡 毒舌点评 本文以梯度冲突分析精准诊断了全双工SLM“既要又要”的模态干扰病根，层级参数分离的策略对症下药，逻辑清晰且实验扎实，为领域提供了高价值基线。遗憾的是，方法对合成数据的依赖构成显著硬伤，侧语难题被轻描淡写地归咎于数据而回避了架构本身的判别上限，这使得框架在真实世界的鲁棒性仍是一个巨大的问号。 ...

📄 Speaker head orientation estimation with a single microphone array using phase spectrogram features #声源定位 #端到端 #多通道 #鲁棒性 #数据集 5.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 📝 5.8/10 | 前50% | #声源定位 | #端到端 | #多通道 #鲁棒性 | arxiv 👥 作者与机构 第一作者：Balint Turi（坦佩雷大学，未在论文中明确标注） 通讯作者：未明确说明 作者列表：Balint Turi、Archontis Politis、Parthasaarathy Sudarsanam、Tuomas Virtanen（均来自坦佩雷大学，音频信号处理领域） 💡 毒舌点评 这项工作用高维STFT相位替代传统手工特征来估计说话人头朝向，配合仿真预训练与真实微调的范式，在多种噪声条件下确实稳定地甩开了之前的基线。然而，全文除了给出一个粗略的模型架构和部分超参数外，没有提供任何代码、权重或可直接使用的数据集；最关键的网络组件消融实验完全缺失，所谓“SOTA”的可复现性和可靠性因此大打折扣。此外，对推理延迟、模型大小、阵列拓扑变化等工程关键问题只字未提，使一项号称面向实际部署的工作显得有些不够落地。 📌 核心摘要 问题：使用单个小型麦克风阵列（如6通道、半径4.5cm的环形阵）估计说话人在混响室内的水平朝向（0°–360°），要求泛化到未知说话人、未知房间和多种噪声环境。 方法核心：以各通道STFT相位（经sin/cos编码消除±π不连续性）堆叠为高维多通道特征，送入由2D CNN（空间下采样）、双向GRU（时序建模）和多头自注意力（全局上下文）组成的端到端网络，最终在单位圆上回归 [cosθ, sinθ] 并用 atan2 恢复连续角度。 新颖性：首次将高维STFT相位作为头朝向估计的唯一输入特征，证明其在表达声源方向性方面优于人工特征（ILD/ITD等）和原始波形；并采用“大规模仿真预训练+少量真实数据微调”的跨域策略，解决了高维特征在真实标注稀缺场景下的学习问题。 实验结果：在仿真混响干净条件下MAE=19.9°，0–10 dB强噪声下MAE=29.5°，远优于基于原始波形的44.8°/75.1°和基于ITD/ILD的52.7°/82.8°。在真实数据（8方向分类）上，预训练+微调达到73.2%准确率，超过DoV基线（65.4%）。用户+房间个性化微调后MAE可降至11.3°。混响对STFT相位方法反而有利，误差分布更均匀。 实际意义：为资源受限的智能音箱、会议系统、驾驶员监控等场景提供了一种硬件要求低、对噪声和混响鲁棒的纯音频头朝向感知方案，支持用户级个性化适配。 主要局限：（1）零样本跨说话人/跨房间的泛化能力仍显不足，个性化微调提升巨大从反面说明了这一点；（2）无任何开源资源（代码/模型/数据），可复现性极差；（3）缺少对网络各组件（CNN、GRU、Attention）的消融实验以及对不同阵列拓扑、麦克风失效、动态朝向等工程边界条件的分析；（4）未评估推理延迟与计算开销。 🔗 开源详情 代码：未提供任何代码链接，文中无相关声明。 模型权重：未提供。 数据集：使用了剑桥VCTK语料库、WHAM噪声数据集和文献[3]中的公开8方位真实录音数据集。论文仅给出了引用，未提供数据集的直接下载、预处理脚本或生成的仿真数据集。 Demo：未提及。 复现材料：未提供详细训练配置文件、模型定义或实验记录。 论文中引用的开源项目：Pyroomacoustics（https://github.com/LCAV/pyroomacoustics） 🏗️ 方法概述和架构 系统流程由语音活动检测（VAD）、特征提取和深度神经网络回归三部分组成。输入为单说话人的一段多通道语音（最多3秒），首先通过文献[7]中的VAD模块去除首尾静音段，仅保留活动语音帧。 ...

📄 DNSMOS-C: Improving End-to-end Speech Quality Models via Contrastive Learning #对比学习 #端到端 9.3/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 9.3/10 | 前50% | #语音质量评估 | #对比学习 | #端到端 | arxiv 👥 作者与机构 作者：Xinyu Liang, Fredrik Cumlin, Victor Ungureanu, Chandan K. A. Reddy, Christian Schüldt, Saikat Chatterjee 机构：1 KTH Royal Institute of Technology, Stockholm, Sweden; 2 Google LLC ...

📄 End-to-End Voice Intent Recognition for Spontaneous Human-Drone Interaction with Naive Users #端到端 #自监督学习 #知识蒸馏 #低资源 7/10 | 创新 1.8/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7/10 | 前50% | #端到端 | #自监督学习 | #知识蒸馏 #低资源 | arxiv 👥 作者与机构 Allan Henry1,2,3, Solange Rossato1, Christian Graff2, Sylvain Huet3, Jose-Ernesto Gomez-Balderas3。 1LIG, Univ. Grenoble Alpes, Grenoble, France；2LPNC, Univ. Grenoble Alpes, Grenoble, France；3GIPSA-lab, Univ. Grenoble Alpes, Grenoble, France。 通讯邮箱：firstname.lastname@univ-grenoble-alpes.fr。 ...

📄 WavTTS: Towards High-Quality Zero-Shot TTS via Direct Raw Waveform Modeling #语音合成 #端到端 #扩散模型 #流匹配 #语音生成 #多模态模型 9.2/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 🔥 9.2/10 | 前25% | #语音合成 | #端到端 | #扩散模型 #流匹配 | arxiv 👥 作者与机构 作者: Wenxi Chen, Dongya Jia, Yushen Chen, Zhikang Niu, Yuzhe Liang, Xiquan Li, Ruiqi Yan, Ziyang Ma, Guanrou Yang, Sanyuan Chen, Yue Wang, Zhuo Chen, Kai Yu, Xie Chen. 机构: 1) 上海交通大学, 2) 上海创新研究院, 3) 字节跳动 Seed. ...

📄 DuplexSLA: A Full-Duplex Spoken Language Model with Synchronized Speech, Language, and Action #语音对话系统 #多模态模型 #大语言模型 #端到端 #基准测试 ✅ 7.8/10 | 前25% | #语音对话系统 | #多模态模型 | #大语言模型 #端到端 | arxiv 学术质量 5.2/7 | 影响力 1.6/2 | 可复现性 1.0/2 | 置信度 高 👥 作者与机构 第一作者：Haoyang Zhang (StepFun, Peking University, Nanyang Technological University) 通讯作者：Fei Tian (StepFun) 作者列表：Haoyang Zhang*（StepFun，北京大学，南洋理工大学），Jun Chen*（StepFun），Donghang Wu（南洋理工大学），Yuxin Li（StepFun，南洋理工大学），Yuxin Zhang（StepFun，上海交通大学），Xiangyu Tony Zhang（StepFun，新南威尔士大学），Che Liu（StepFun，帝国理工学院），Qingjian Lin（StepFun），Yizhou Peng（南洋理工大学），Hexin Liu（南洋理工大学），Eng Siong Chng（南洋理工大学），Chao Yan（StepFun），Boyong Wu（StepFun），Yechang Huang（StepFun），Xuerui Yang（StepFun），Fei Tian†（StepFun）（*表示同等贡献，†表示通讯作者） 💡 毒舌点评 亮点：论文的“双流三通道”架构设计优雅，通过引入速率受限的文本动作通道，将规划、工具调用与语音生成解耦到独立的时钟同步通道，直观地解决了全双工对话中“边说边做”的核心矛盾。同时，构建了专用的DuplexSLA-Bench基准，弥补了现有评测体系对联合评估轮次控制和在线工具调用能力的空白。短板：尽管系统设计完整，但关键的训练细节（如损失权重、硬件、解码策略）和部分超参数（如优化器、学习率）缺失，使得一个77B参数大模型的复现门槛极高。此外，所有评估均在自建的合成基准上进行，缺乏在真实世界或通用对话基准上的验证，结论的泛化性存疑。 ...

📄 FormalASR: End-to-End Spoken Chinese to Formal Text #语音识别 #端到端 #模型量化 #数据集 🔥 8.2/10 | 前25% | #语音识别 | #端到端 | #模型量化 #数据集 | arxiv 学术质量 5.1/7 | 影响力 1.4/2 | 可复现性 1.7/2 | 置信度 高 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表：Wanyi Ning, Yinshang Guo, Haitao Qian, Jiyuan Cheng, Weiyuan Feng, Yufei Zhang (论文未提供具体所属机构信息) 💡 毒舌点评 本文精准地瞄准了语音识别领域一个真实且被广泛忽视的痛点——口语化输出与下游正式文本需求之间的鸿沟，并提供了一个简洁有效的端到端解决方案。其最大亮点在于通过构建高质量的数据集（WenetSpeech-Formal与Speechio-Formal）和扎实的微调实验，有力地证明了在紧凑模型（0.6B和1.7B参数）中同时学习声学识别与语言风格转换的可行性。据作者称，这是首个将紧凑音频语言模型端到端微调用于中文口语转正式文本的工作。然而，其核心方法在技术上主要是对现有强大基座模型（Qwen3-ASR）的一次针对性的监督微调（SFT），而非架构层面的创新，这使得工作的原创深度稍显不足。虽然其发布的数据集和模型具有明确的实用价值，但作为一篇顶会论文，其在方法论上的突破性有限。 📌 核心摘要 问题：当前主流的自动语音识别（ASR）系统（如Whisper, Qwen3-ASR）主要输出忠实于口语的逐字稿（verbatim transcription），包含填充词、重复、不规范句式等，不适合会议纪要、文档编辑等需要正式书面文本的下游应用。传统的两阶段方案（ASR+LLM改写）增加了延迟、内存成本和部署难度，且难以应用于设备端。 方法核心：提出FormalASR，一个端到端框架，通过监督微调（SFT）将预训练的音频语言模型（Qwen3-ASR）直接适配于将语音转换为正式文本的任务。其关键在于构建了大规模的“口语-正式文本”配对数据集（WenetSpeech-Formal和Speechio-Formal），用于训练模型一次性完成识别与风格转换。 创新之处：与两阶段流水线或大型多模态模型（如GPT-4o-audio）不同，FormalASR采用单个紧凑模型（0.6B和1.7B参数）完成任务，适合设备端部署。据称这是首个将紧凑音频语言模型端到端微调用于中文口语转正式文本的工作。 实验结果：在构建的两个数据集上，FormalASR相比原始逐字稿基线取得了显著的性能提升。关键数据如下表所示。 模型 数据集 CER ↓ ROUGE-L ↑ BERTScore ↑ Qwen3-ASR-0.6B (基线) WenetSpeech-Formal (域内) 0.2581 0.8463 0.9198 FormalASR-0.6B (本文) WenetSpeech-Formal (域内) 0.1770 (-31.4%相对) 0.8769 0.9359 Qwen3-ASR-1.7B (基线) Speechio-Formal (跨域) 0.2393 0.8510 0.9108 FormalASR-1.7B (本文) Speechio-Formal (跨域) 0.1499 (-37.4%相对) 0.9029 0.9533 实际意义：为需要正式文本输出的语音交互场景（如文档编辑、会议记录）提供了一个低延迟、低内存、隐私安全的轻量级端侧解决方案。GGUF量化实验表明模型可以压缩到约1GB且性能损失可控，具备实际部署潜力。 主要局限：该方法高度依赖由第三方LLM（DeepSeek-V3.2）生成的“正式文本”参考，其质量上限和风格定义可能受限。此外，论文缺少与“ASR+LLM”两阶段流水线这一标准做法的直接性能与延迟对比。 🔗 开源详情 代码：https://github.com/TaurenMountain/FormalASR 模型权重： FormalASR-0.6B: https://huggingface.co/TaurenMountain/FormalASR-0.6B FormalASR-1.7B: https://huggingface.co/TaurenMountain/FormalASR-1.7B 数据集： WenetSpeech-Formal: https://huggingface.co/datasets/TaurenMountain/WenetSpeech-Formal Speechio-Formal: https://huggingface.co/datasets/TaurenMountain/Speechio-Formal Demo：论文中未提及 复现材料：论文中提供了具体的训练配置，可作为复现材料。训练基于Qwen3-ASR官方检查点初始化，使用全参数监督微调(SFT)，在WenetSpeech-Formal训练集上训练2个epoch。训练环境为2张NVIDIA A800-SXM4-80GB GPU，采用BF16精度并启用梯度检查点。优化器为AdamW，使用余弦学习率调度，峰值学习率为2e-5，前5%的训练步骤进行线性预热。设备批大小为4，梯度累积2步，有效全局批大小为16。 论文中引用的开源项目： Whisper: https://github.com/openai/whisper Qwen3-ASR: https://github.com/QwenLM/Qwen3-ASR SenseVoice: https://github.com/FunAudioLLM/SenseVoice DeepSeek-V3.2: https://github.com/deepseek-ai/DeepSeek-V3 llama.cpp: https://github.com/ggerganov/llama.cpp bitsandbytes: https://github.com/TimDettmers/bitsandbytes 🏗️ 方法概述和架构 整体流程概述：FormalASR是一个端到端的单模型系统。给定输入音频波形，模型直接生成对应的正式书面文本序列，无需任何中间的逐字稿输出或后处理模块。其核心思想是将声学识别和语言风格转换耦合为一个统一的条件生成过程。 ...

📄 Synchronization and Turn-Taking in Full-Duplex Speech Dialogue Models #语音对话系统 #模型评估 #端到端 #语音大模型 #模拟对话 #认知启发式分析 ✅ 7.6/10 | 前25% | #语音对话系统 | #模型评估 | #端到端 #语音大模型 | arxiv 学术质量 5.3/7 | 影响力 1.5/2 | 可复现性 0.8/2 | 置信度 高 👥 作者与机构 第一作者：Pablo Riera (ASAPP Inc., USA；Departamento de Computación, FCEyN, Universidad de Buenos Aires, Argentina) (注：原文中机构顺序需校正) 通讯作者：未说明 作者列表：Pablo Riera (ASAPP Inc., USA；Departamento de Computación, FCEyN, Universidad de Buenos Aires, Argentina)†， Pablo Brusco (ASAPP Inc., USA)， Cristina Kuo (ASAPP Inc., USA)， Marcelo Sancinetti (ASAPP Inc., USA)， S. R. K. Branavan (ASAPP Inc., USA) (†表示该工作在ASAPP进行) 📌 核心摘要 问题：全双工语音对话模型（SDMs）能够同时听与说，但如何量化理解其交互过程中内部表示如何协调（如同步）并支持轮替时机预测，是当前评估中的空白。论文旨在借鉴人类对话中观察到的神经耦合现象，对此进行计算建模与分析。 方法：提出了一个基于模拟和探针的分析框架。通过连接两个Moshi模型实例构建模拟对话，在受控条件下（不同信道噪声、解码偏差、模型版本）生成大量对话数据。分析分两部分：a) 使用线性中心化核对齐（CKA） 量化两个模型内部表示在不同时间延迟下的同步性；b) 训练因果LSTM探针，从“生产者”（说话人）和“感知者”（听者）两个视角，预测即将到来的语音片段结束（EOI）和轮替决策（Hold vs. Non-Hold）。 创新：将认知科学中的神经耦合与同步概念系统性地应用于评估全双工语音对话模型的内部动态；提出了一个超越传统表面行为评估，深入模型表示层面的交互分析框架。 主要结果： 同步性：在无噪声条件下，内部表示在0延迟附近呈现强同步（CKA峰值平均约0.5，特定对话可达0.8）。噪声增大、人为调整解码偏差或使用未经微调的模型对，都会降低同步性。即使在高延迟下，无噪声对话也存在一定基础水平的表示对齐（CKA约0.25），而高噪声下则很低（<0.1）。 轮替预测：探针在生产者和感知者视角下，均能以显著高于随机水平的AUC-ROC预测EOI和Hold/Non-Hold。无噪声条件优于有噪声条件。性能随预测延迟增加而下降，但在所测试的长延迟范围内未降至随机水平，表明内部表示包含了提前的轮替预期信息。 实际意义：为诊断和评估端到端语音对话系统的交互协调性提供了新的量化工具和视角，有助于理解模型如何支持自然的对话节奏。 主要局限性：实验场景局限于基于相同提示、短时长、角色固定的模拟医疗预约对话，数据多样性不足；所有分析仅针对Moshi模型，结论的跨模型普适性未知；探针在大延迟下仍高于随机的表现，可能源于模拟对话中固有的时间规律性，而非纯粹的内部表示信息，需在更多样化场景下验证。 🔗 开源详情 代码：论文中未提供本文所用的分析代码、探针训练代码或模拟对话生成脚本的链接。 模型权重：论文中提到了使用官方的Moshi模型检查点（Moshika 和 Moshiko），并提供了其开源链接：https://huggingface.co/kyutai/moshi。论文未提供其微调版本的具体权重或微调代码。 数据集：论文中未提供生成的模拟对话数据的下载链接。数据集由2880段对话（约80小时音频）组成，在论文所述条件下生成。 Demo：论文中未提及。 复现材料：论文未提供具体的训练脚本、配置文件或完整的复现指南。仅提供了关键的实验设置和超参数（如对话长度100秒，每条件20个种子，数据分割32/8，Adam优化器学习率1e-3，批量大小16，训练200 epochs）。 论文中引用的开源项目： Moshi：一个用于实时双向对话的预训练语音-文本基础模型。项目主页和模型权重可通过以下链接访问：https://github.com/kyutai/moshi (GitHub) 和 https://huggingface.co/kyutai/moshi (HuggingFace)。 dGSLM (Generative Spoken Dialogue Language Modeling)：论文中提及的一项可以从原始音频中学习轮次转换等行为的开创性工作。论文中未提供该项目的代码或数据集链接。 Full-Duplex-Bench：一个评估基准。论文中未提供该项目的代码或数据集链接。 Talking Turns：另一个评估基准。论文中未提供该项目的代码或数据集链接。 🏗️ 方法概述和架构 整体流程概述：本文提出了一个用于分析全双工语音对话模型内部动态的框架，主要包含三个阶段：1）在受控条件下生成模拟对话并收集内部表示；2）计算两个对话模型内部表示间的同步性；3）训练探针预测轮替事件。这是一个非端到端的分析评估框架，旨在“解剖”现有模型的行为，而非提出新模型。 ...

📄 FormalASR: End-to-End Spoken Chinese to Formal Text #语音识别 #端到端 #语音大模型 #模型量化 #数据集 ✅ 6/10 | 前35% | #语音识别 | #端到端 | #语音大模型 #模型量化 | arxiv 学术质量 4.3/8 | 影响力 0.8/1 | 可复现性 0.9/1 | 置信度 高 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表：Wanyi Ning、Yinshang Guo、Haitao Qian、Jiyuan Cheng、Weiyuan Feng、Yufei Zhang（所有作者机构均未在论文中说明） 💡 毒舌点评 精准定义了“语音转写结果不符合书写规范”这一真实工业痛点，并通过构建大规模数据集和端到端微调给出了一个直接解决方案。然而，论文的核心贡献在学术创新性上略显薄弱：它本质上是利用一个强大的LLM（DeepSeek-V3.2）生成伪标签，然后对现有的音频-语言模型（Qwen3-ASR）进行监督微调。这一范式在NLP和Speech领域已属常规操作，其新意更多体现在问题形式化和数据集构建上，而非算法或理论突破。论文在论证其“端侧优势”时，缺少与“ASR+LLM”流水线在关键指标（如延迟、内存）上的直接对比，使得其核心主张的说服力打了折扣。 📌 核心摘要 要解决什么问题：传统ASR系统输出包含口头禅、错误启动等不规范元素的逐字稿（verbatim transcript），不适合文档生成等下游任务。常用的两阶段ASR+LLM流水线方案部署复杂、延迟高，难以用于端侧设备。 方法核心：提出FormalASR，一个端到端模型，直接将中文口语语音映射为正式书面文本。为此，构建了两个大规模数据集（WenetSpeech-Formal， Speechio-Formal），通过LLM（DeepSeek-V3.2）改写原始逐字稿并经过质量过滤生成“口语-正式文本”对。基于Qwen3-ASR模型（0.6B和1.7B）在上述数据集上进行全参数监督微调（SFT）。 与已有方法相比新在哪里：首次尝试将紧凑的音频-语言模型端到端地微调用于中文的口语到正式文本转写，避免了推理时需要额外LLM的开销（如Table 1所示）。明确对比了传统ASR、ASR+LLM流水线和大型多模态模型（如GPT-4o），并构建了专用评测基准。 主要实验结果：FormalASR在WenetSpeech-Formal和Speechio-Formal测试集上，相比逐字稿基线（Qwen3-ASR），字符错误率（CER）最高降低了37.4%，同时ROUGE-L和BERTScore得到提升。量化实验显示，GGUF 8-bit量化几乎无损，4-bit量化在大幅压缩模型尺寸时性能下降可控。主要结果如下表所示： 模型 数据集 CER ↓ ROUGE-L ↑ BERTScore ↑ Qwen3-ASR-0.6B WenetSpeech-Formal 0.2581 0.8463 0.9198 FormalASR-0.6B (Ours) WenetSpeech-Formal 0.1770 0.8769 0.9359 Qwen3-ASR-1.7B WenetSpeech-Formal 0.2460 0.8571 0.9268 FormalASR-1.7B (Ours) WenetSpeech-Formal 0.1606 0.8896 0.9439 Whisper large-v3 WenetSpeech-Formal 0.3631 0.7393 0.8538 Qwen3-ASR-0.6B Speechio-Formal 0.2252 0.8701 0.9343 FormalASR-0.6B (Ours) Speechio-Formal 0.1603 0.8948 0.9481 Qwen3-ASR-1.7B Speechio-Formal 0.2393 0.8510 0.9108 FormalASR-1.7B (Ours) Speechio-Formal 0.1499 0.9029 0.9533 图2说明：此图展示了FormalASR-1.7B与基线Qwen3-ASR-1.7B在推理效率上的对比。左图显示，在WenetSpeech-Formal上，FormalASR的平均输出token数从18.5减少到14.3（减少22.8%），在Speechio-Formal上从18.5减少到15.8（减少14.3%）。右图显示，解码延迟随逐字稿句子长度（token数）增加而显著降低，在40-49 token的长句区间，延迟降低约388毫秒。 5. 实际意义：为端侧设备（如手机、嵌入式设备）提供了一种轻量、低延迟的语音转正式文本解决方案，省去了云端依赖和第二模型。GGUF量化后的模型（如1.7B模型的Q4_K版本仅1.08GB）进一步增强了端侧部署可行性。 6. 主要局限性：1）方法本质上是利用LLM生成的数据对现有模型进行领域微调，创新性有限；2）“正式文本”的定义和监督信号完全依赖DeepSeek-V3.2的生成结果，存在偏见或误差传播风险，论文未对生成标签质量进行人工验证；3）实验未与最强的“ASR+LLM”流水线方案（如Qwen3-ASR接一个通用LLM）进行直接的延迟、内存和最终文本质量对比；4）主要评估指标CER、ROUGE-L衡量的是与LLM生成参考文本的匹配度，未评估生成文本本身的语法自然度、连贯性或用户偏好。 ...