端到端

📄 Exploring SSL Discrete Tokens for Multilingual Automatic Speech Recognition #语音识别 #自监督学习 #多语言 #端到端 ✅ 7.5/10 | 前25% | #语音识别 | #自监督学习 | #多语言 #端到端 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Mingyu Cui（香港中文大学；腾讯实习生） 通讯作者：未明确标注（根据常见习惯，推测为Xunying Liu或论文中列出的通讯作者标识，但本文未明确标注“Corresponding Author”） 作者列表：Mingyu Cui（香港中文大学，腾讯实习生）、Mengzhe Geng（加拿大国家研究委员会）、Yiwen Shao（腾讯）、Jiawen Kang（香港中文大学）、Lingwei Meng（香港中文大学）、Dingdong Wang（香港中文大学）、Chenxing Li（腾讯）、Meng Yu（腾讯）、Xunying Liu（香港中文大学） 💡 毒舌点评 亮点在于，论文用令人信服的实验证明了离散token在训练效率上的碾压优势（加速6.67倍且损失有限性能），并将研究从英语拓展到了7种非英语语言，填补了领域空白。但短板在于，其核心“创新”——用离散token做ASR——在语音社区已非新鲜事，且与最新基线（如Whisper）的对比略显保守，多语言潜力部分的消融实验（表2）也未能给出更优的配置方案，使得贡献停留在“有效验证”而非“范式突破”。 📌 核心摘要 要解决什么问题：现有研究将自监督学习（SSL）离散token应用于自动语音识别（ASR）时，主要局限于英语任务，且忽略了跨语句上下文信息的建模。本文旨在系统性地探索离散token在多语言ASR中的有效性，并利用其建模跨语句语音上下文。 方法核心：提出使用三种SSL/编解码模型（XLSR-53, WavLM-Large, EnCodec）生成离散token，替代传统FBank特征，输入到Zipformer-Transducer (Z-T) 端到端ASR系统中。进一步，在Z-T编码器中通过拼接或池化投影的方式，融入前序、当前及未来语句的编码器嵌入作为上下文特征。 与已有方法相比新在哪里：据作者所知，这是首次系统研究将离散token用于多语言且包含跨语句上下文建模的ASR任务。对比了SSL离散token、SSL连续特征和传统FBank特征，并分析了不同token生成源、上下文融合方式及多语言训练策略的影响。 主要实验结果：在Multilingual Librispeech (MLS) 语料库的7种语言上，基于XLSR-53的离散token Z-T系统平均WER相比FBank基线在开发集和测试集上分别降低0.45%和1.86%绝对值。离散token系统比连续SSL特征系统训练时间减少超过80%，采用上下文池化投影的离散token系统能以6.67倍的平均加速比，保留连续特征上下文系统70% 的WER改进。关键数据见下表： ...

📄 HAVT-IVD: Heterogeneity-Aware Cross-Modal Network for Audio-Visual Surveillance: Idling Vehicles Detection with Multichannel Audio and Multiscale Visual Cues #音频事件检测 #多模态模型 #端到端 #麦克风阵列 🔥 8.0/10 | 前25% | #音频事件检测 | #多模态模型 | #端到端 #麦克风阵列 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xiwen Li（Scientific Computing and Imaging Institute, University of Utah） 通讯作者：Tolga Tasdizen（Scientific Computing and Imaging Institute, University of Utah; Department of Electrical and Computer Engineering, University of Utah） 作者列表：Xiwen Li（Scientific Computing and Imaging Institute, University of Utah）、Xiaoya Tang（Scientific Computing and Imaging Institute, University of Utah）、Tolga Tasdizen（Scientific Computing and Imaging Institute, University of Utah; Department of Electrical and Computer Engineering, University of Utah） 💡 毒舌点评 这篇论文的亮点在于其问题导向的系统设计，针对异质性模态融合、多尺度检测和训练不稳定这三个具体痛点，分别用Transformer、特征金字塔和解耦头给出了清晰的解决方案，实验增益显著。然而，其短板在于创新点的“组合”色彩较重，每个组件（如Transformer用于融合、FPN、解耦头）在其他视觉任务中已有广泛应用，论文的核心贡献更多是巧妙地将这些成熟模块应用于特定任务，而非提出根本性的新机制。 ...

📄 HCGAN: Harmonic-Coupled Generative Adversarial Network for Speech Super-Resolution in Low-Bandwidth Scenarios #语音增强 #生成模型 #端到端 #低资源 🔥 8.0/10 | 前50% | #语音增强 | #生成模型 | #端到端 #低资源 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xin Wang（河海大学信息科学与工程学院） 通讯作者：Yibin Tang（河海大学信息科学与工程学院） 作者列表：Xin Wang（河海大学信息科学与工程学院）、Yuan Gao（河海大学信息科学与工程学院）、Xiaotong Wang（河海大学信息科学与工程学院）、Yibin Tang（河海大学信息科学与工程学院）、Aimin Jiang（河海大学信息科学与工程学院）、Ying Chen（常州大学微电子与控制工程学院） 💡 毒舌点评 亮点：该工作的双分支设计思路清晰，将语音的谱特征与谐波结构显式解耦并分别建模，对于解决4kHz这类谐波严重丢失的极窄带问题确有针对性，消融实验也证明了谐波分支的贡献。短板：作为2026年发表在ICASSP的工作，其网络架构（U-Net + GAN + Mamba）的集成缺乏更深入的原理性创新，更像是一个工程上的有效组合；且Mamba模块在消融实验中对核心指标PESQ的提升并不显著，其必要性有待更强论证。 📌 核心摘要 问题：在低带宽场景（如采样率4kHz）下进行语音超分辨率时，输入信号的谐波信息严重丢失，现有方法难以恢复出自然清晰的高质量语音。 方法核心：提出谐波耦合生成对抗网络（HCGAN）。生成器采用双分支架构：谱分支通过U-Net和Mamba模块处理频谱图；谐波分支通过时谐模块从低频谐波矩阵估计高频谐波矩阵。两分支输出融合后生成最终频谱。 创新点：1）显式引入并建模语音的谐波结构，通过矩阵形式实现谐波从低频到高频的迁移；2）设计双分支架构，分别学习谱平滑性和谐波连续性，并进行特征融合；3）在U-Net瓶颈处集成轻量Mamba模块以降低计算复杂度。 主要结果：在8kHz->16kHz任务上，HCGAN的PESQ达到3.64，超越所有对比方法（最高为TUNet的3.50）。在更困难的4kHz->16kHz任务上，其PESQ为2.50，也优于AFiLM、NVSR等传统方法。消融实验证实了多尺度特征损失、Mamba模块和谐波提取（HE）模块的有效性。 表1：16 kHz高分辨率语音从8 kHz语音恢复对比 方法 LSD PESQ SNR (dB) Params (M) AFiLM [20] 0.74 3.02 20.0 134.7 NVSR [21] 0.78 3.09 17.4 99.0 TFiLM [12] 0.78 2.51 19.8 68.2 AERO [17] 0.77 3.01 22.5 36.3 Tramba [16] 0.82 3.23 23.2 5.2 TUNet [13] 1.36 3.50 17.4 2.9 HCGAN 0.78 3.64 19.8 4.7 表2：16 kHz高分辨率语音从4 kHz语音恢复对比 方法 LSD PESQ SNR (dB) Params (M) AFiLM [20] 1.00 1.88 15.4 134.7 NVSR [21] 0.95 2.03 11.7 99.0 TFiLM [12] 1.17 2.08 15.0 68.2 TFNet [11] 1.27 1.73 17.5 55.8 HCGAN 0.96 2.50 14.3 4.7 实际意义：HCGAN以仅4.7M的参数量，在关键的感知质量指标PESQ上表现优异，尤其适用于卫星通信、物联网等对模型大小敏感且带宽极度受限的语音通信增强场景。 局限性：当输入语音基频较高（>300Hz）时，低频谐波矩阵包含的信息不足，导致谐波分支的性能提升有限。此外，实验部分未提供语音增强后的MOS评分或主观听感测试，客观指标与主观感受的关联性有待进一步验证。 🏗️ 模型架构 HCGAN是一个在GAN框架下的双分支生成器模型，其整体架构如图1所示。其核心思想是分别建模语音的频谱特征和谐波结构，然后进行融合。 ...

📄 HVAC-EAR: Eavesdropping Human Speech Using HVAC Systems #音频安全 #时频分析 #端到端 #工业应用 #鲁棒性 🔥 8.5/10 | 前25% | #音频安全 | #时频分析 | #端到端 #工业应用 学术质量 6.2/7 | 选题价值 1.8/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Tarikul Islam Tamiti（George Mason University, 网络安全工程系） 通讯作者：未说明 作者列表：Tarikul Islam Tamiti（George Mason University, 网络安全工程系）、Biraj Joshi（George Mason University, 网络安全工程系）、Rida Hasan（George Mason University, 网络安全工程系）、Anomadarshi Barua（George Mason University, 网络安全工程系） 💡 毒舌点评 亮点：这是一篇视角独特的安全研究论文，揭示了HVAC系统这一庞大基础设施中潜在的、令人意想不到的语音窃听渠道，并给出了从低质量信号中恢复可理解语音的完整技术方案，具有很强的现实警示意义。短板：其威胁模型的通用性值得商榷，评估仅限于特定距离（0.5m训练，1.2m测试）、单一语言（英语）和受控环境，实际复杂场景（如多重噪声、多说话人）下的鲁棒性尚未验证，可能简化了现实世界的攻击难度。 📌 核心摘要 本文旨在揭示并解决利用暖通空调（HVAC）系统中的差压传感器（DPS）进行语音窃听的新型隐私威胁。核心方法是提出了HVAC-EAR，一个基于复数域U-Net的语音重建模型，它能将低采样率（0.5-2 kHz）、高噪声的DPS压力数据，重构为采样率高达8 kHz的可理解语音。与之前仅能进行关键词检测或依赖特定振动传感器的工作相比，HVAC-EAR的新颖之处在于：（1）设计了复杂统一注意力模块（CUAB），能够捕捉时频谱图上的全局音素依赖关系；（2）采用复数多分辨率短时傅里叶变换（STFT）损失，联合重建幅度和相位，有效抑制了HVAC系统的瞬态噪声。主要实验结果表明，在真实HVAC设施中，HVAC-EAR在0.5m距离下训练的模型，能在1.2m距离内重构出具有显著可懂度的语音（以STOI、PESQ、NISQA-MOS等指标衡量），性能优于NU-Wave、AERO等基线模型。例如，在0.5 kHz → 8 kHz上采样任务中，其SI-SDR为8.88 dB，显著高于原始压力数据的4.24 dB。这项工作的实际意义是首次实证了HVAC DPS可能被用作窃听工具，对医院、洁净室等敏感环境的语音隐私构成了新威胁。主要局限性是其评估距离有限（超过1.2m性能急剧下降），且仅在英语数据集上进行验证。 ...

📄 HyFlowSE: Hybrid End-To-End Flow-Matching Speech Enhancement via Generative-Discriminative Learning #语音增强 #流匹配 #端到端 #轻量化模型 🔥 8.0/10 | 前25% | #语音增强 | #流匹配 | #端到端 #轻量化模型 学术质量 6.2/7 | 选题价值 1.6/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Yang Zhang（杭州电子科技大学 通信工程学院） 通讯作者：Wenbin Jiang（杭州电子科技大学 通信工程学院，邮箱：wbjiang@hdu.edu.cn） 作者列表：Yang Zhang（杭州电子科技大学 通信工程学院），Wenbin Jiang（杭州电子科技大学 通信工程学院），Zhen Wang（杭州电子科技大学 通信工程学院），KaiYing Wu（杭州电子科技大学 通信工程学院），Wen Zhang（杭州电子科技大学 通信工程学院），Fei Wen（上海交通大学 信息科学与电子工程学院） 💡 毒舌点评 亮点在于巧妙地利用可微分ODE这一技术“胶水”，将本应用于生成建模的流匹配与用于精细监督的判别损失无缝融合，以端到端方式显著提升了轻量级模型的性能，方案优雅且有效。短板在于其创新主要停留在训练策略的集成上，网络架构本身（NCSN++）并无新意，且论文缺乏对判别损失如何具体指导向量场学习这一内在机制的更深入剖析。 📌 核心摘要 解决的问题：纯生成式的流匹配语音增强模型在追求轻量化（参数少）和高效率（低NFE）时，性能会显著下降，而现有的级联或两阶段解决方案会引入额外的推理步骤，增加计算开销，违背了流匹配高效推理的初衷。 方法核心：提出HyFlowSE框架，其核心是将标准的条件流匹配（CFM）生成损失与一个由L1损失、多分辨率STFT谱收敛损失和对数STFT幅度损失组成的判别性损失相结合。通过利用可微分的神经常微分方程（Neural ODE）求解器，这两个损失可以在一次前向传播中计算，并实现端到端联合优化。 与已有方法的新颖之处：与需要级联多个流模型（如CasFlowSE）或依赖预训练判别模型的方法不同，HyFlowSE在单一模型和单次推理流程中集成了生成与判别目标，不增加推理时的NFE，实现了效率与性能的兼得。 主要实验结果：在VoiceBank+DEMAND数据集上，仅5.2M参数的HyFlowSE(T)模型在PESQ（3.21）上超过了65.6M参数的FlowSE（3.12）。在更具挑战性的WSJ0+CHiME3低信噪比（L）场景下，HyFlowSE(T)（5.2M）的PESQ达到3.09，大幅超越27.8M参数的FlowSE(M)（2.64）和CasFlowSE（2.64）。在混响条件下（WSJ0+Reverb），其PESQ（2.95）也优于FlowSE(M)（2.45）和CasFlowSE（2.80）。 实际意义：为在资源受限设备上部署高性能语音增强系统提供了新路径。它表明通过精心的训练目标设计，可以用更小的模型达到甚至超越大模型的性能，对降低算法落地成本和功耗有直接价值。 主要局限性：网络骨干（NCSN++）并非新颖设计，创新性集中在训练目标上。论文未详细分析混合损失中各项权重的敏感性及其背后的机理。实验未与更多非流匹配的轻量级判别模型（如DCCRN等）进行对比，难以全面评估其在轻量化模型谱系中的绝对位置。 🏗️ 模型架构 HyFlowSE是一个端到端的语音增强框架，其整体架构如图1所示。 ...

📄 Improving Contextual Asr Via Multi-Grained Fusion With Large Language Models #语音识别 #多粒度融合 #大语言模型 #端到端 #多语言 🔥 8.5/10 | 前25% | #语音识别 | #多粒度融合 | #大语言模型 #端到端 学术质量 8.0/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Shilin Zhou（苏州大学计算机科学与技术学院） 通讯作者：Zhenghua Li*（苏州大学计算机科学与技术学院） 作者列表：Shilin Zhou（苏州大学计算机科学与技术学院）、Zhenghua Li*（苏州大学计算机科学与技术学院）。论文中未提及其他作者。 💡 毒舌点评 该论文系统性地将上下文ASR中“逐token生成”和“整短语复制”这两种主流但互斥的策略融合进一个统一框架，并利用LLM提供强大的语义先验，在关键词识别上取得了显著提升（最高9.8%的召回率提升），证明了多粒度协同的有效性。然而，其效率提升（RTF）的评估相对初步，且在英文数据集上的绝对优势并不突出，框架的实时性与LLM引入的额外计算开销之间的平衡在工业级大规模部署中仍是潜在挑战。 📌 核心摘要 解决的问题：现有上下文语音识别方法通常在token级（细粒度控制，但易破坏关键词完整性）和phrase级（保持短语完整，但易损害非关键词识别）之间二选一，未能有效结合两者的互补优势。 方法核心：提出一个多粒度融合框架。该框架以CopyNE为基础，引入大型语言模型（LLM），并行运行两个分支：(1) Token级分支：基于ASR模型与LLM输出token概率的动态不确定性融合。(2) Phrase级分支：联合使用LLM的语义隐藏状态与ASR的声学状态，通过注意力机制选择关键词短语。最后，通过联合融合机制将两个分支的输出统一到一个概率空间进行解码。 创新点：首次在统一框架内系统地融合token级和phrase级方法；创新性地将LLM作为语义先验源，用于指导两个粒度的融合过程（token级提供概率，phrase级提供状态）；提出了基于ASR不确定性的自适应融合策略。 主要实验结果：在中文数据集（Aishell, DC, ICI）上，相比强基线CopyNE，该方法在关键词相关的偏置CER（B-CER）上最多降低1.2%绝对值，关键词召回率（R）最多提升9.8%。在英文数据集（Slidespeech）上，达到了与MaLa-ASR等方法可比的SOTA水平（B-WER最低为5.36%）。消融实验证明，去掉phrase级模块主要损害关键词指标，去掉token级模块主要损害非关键词文本识别性能，二者互补。 中文关键结果表 (表1) Model Using Textual Keywords Aishell CER↓ Aishell B-CER↓ Aishell U-CER↓ Aishell R↑ DC B-CER↓ DC R↑ ICI B-CER↓ ICI R↑ Whisper ✗ 5.2 10.4 4.7 80.6 22.9 71.1 30.7 40.8 CopyNE ✓ 4.6 3.4 4.7 94.4 14.9 82.0 16.8 70.0 Ours ✓ 3.7 2.2 3.8 96.4 11.4 86.6 10.9 79.8 Ours w/o P ✓ 4.3 7.0 4.0 86.9 17.9 77.3 20.1 61.8 Ours w/o T ✓ 4.5 2.7 4.7 95.5 13.2 84.3 14.7 73.1 英文关键结果表 (表2) Model Using Textual Keywords WER↓ B-WER↓ U-WER↓ R↑ Whisper ✗ 9.28 8.12 9.37 92.20 CopyNE ✓ 9.27 6.88 9.45 93.42 MaLa-ASR ✓ 9.14 5.47 9.42 94.87 Ours ✓ 9.14 5.36 9.42 95.18 实际意义：为构建更鲁棒、全面的上下文感知语音识别系统提供了有效框架，能更好地服务于包含大量专有名词或领域术语的应用场景（如通讯录拨号、医疗记录转写）。 ...

📄 Joint Autoregressive Modeling of Multi-Talker Overlapped Speech Recognition and Translation #语音识别 #语音翻译 #自回归模型 #多任务学习 #端到端 ✅ 7.0/10 | 前25% | #语音识别 #语音翻译 | #自回归模型 #多任务学习 | #语音识别 #语音翻译 学术质量 0.7/7 | 选题价值 0.75/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者：Tomohiro Tanaka（NTT, Inc., Human Informatics Laboratories） 通讯作者：未说明 作者列表：Tomohiro Tanaka（NTT, Inc., Human Informatics Laboratories）、Ryo Masumura（NTT, Inc., Human Informatics Laboratories）、Naoki Makishima（NTT, Inc., Human Informatics Laboratories）、Mana Ihori（NTT, Inc., Human Informatics Laboratories）、Naotaka Kawata（NTT, Inc., Human Informatics Laboratories）、Shota Orihashi（NTT, Inc., Human Informatics Laboratories）、Satoshi Suzuki（NTT, Inc., Human Informatics Laboratories）、Taiga Yamane（NTT, Inc., Human Informatics Laboratories） 💡 毒舌点评 这篇论文的核心贡献是清晰且务实的：将多说话人重叠语音的识别（ASR）和翻译（ST）从两个独立的模型合并为一个联合自回归模型，从而解决了输出时说话人数量不匹配和未对齐的痛点。其序列化输出训练（SOT）的扩展应用自然流畅，实验数据也支撑了方法的有效性。然而，论文最大的短板在于实验部分严重依赖通过混合单人语音合成的“多说话人”数据，这与真实世界中包含回声、不同混响、说话人重叠程度变化的会议或对话场景存在显著差距，削弱了其结论在实际应用中的说服力。 ...

📄 Joint Deep Secondary Path Estimation and Adaptive Control for Active Noise Cancellation #语音增强 #端到端 #实时处理 #深度学习 #信号处理 ✅ 7.5/10 | 前25% | #语音增强 | #端到端 | #实时处理 #深度学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Fareedha (National Institute of Technology, Warangal, Telangana, India) 通讯作者：未说明 作者列表：Fareedha (National Institute of Technology, Warangal, Telangana, India)、Vasundhara (National Institute of Technology, Warangal, Telangana, India)、Asutosh Kar (Birmingham City University, Birmingham, UK)、Mads Græsbøll Christensen (Aalborg University, Denmark) 💡 毒舌点评 论文将深度学习中的估计与控制模块“缝合”得相当流畅，消融实验做得很扎实，有力地证明了注意力机制和双向LSTM在其中的价值。然而，核心创新更多是工程层面的集成优化，而非方法论的革新；且实验场景（主要是飞机噪声）稍显单一，要宣称在“动态环境”下鲁棒，或许还应挑战更多极端的非平稳声学条件。 ...

📄 Joint Estimation of Piano Dynamics and Metrical Structure with a Multi-Task Multi-Scale Network #音乐理解 #多任务学习 #时频分析 #端到端 ✅ 7.5/10 | 前25% | #音乐理解 | #多任务学习 | #时频分析 #端到端 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zhanhong He（The University of Western Australia, Perth, Australia） 通讯作者：未说明（根据署名顺序，可能是Defeng (David) Huang或Roberto Togneri，但论文未明确指出） 作者列表：Zhanhong He（The University of Western Australia）、Hanyu Meng（The University of New South Wales）、Defeng (David) Huang（The University of Western Australia）、Roberto Togneri（The University of Western Australia） 💡 毒舌点评 亮点：将Bark尺度特征与多任务学习框架巧妙结合，把模型参数量从千万级压缩到50万，在保持竞争力的同时大幅提升了实用性，这种“螺蛳壳里做道场”的工程优化思维值得肯定。 短板：研究完全局限于肖邦玛祖卡这一特定音乐风格和单一数据集（MazurkaBL），其结论能否泛化到其他乐器、风格乃至更复杂的管弦乐场景，存疑。 ...

📄 K-Function: Joint Pronunciation Transcription and Feedback for Evaluating Kids Language Function #语音识别 #大语言模型 #领域适应 #端到端 ✅ 7.5/10 | 前25% | #语音识别 | #大语言模型 | #领域适应 #端到端 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Shuhe Li（浙江大学） 通讯作者：Jiachen Lian（UC Berkeley） 作者列表：Shuhe Li（浙江大学），Chenxu Guo（浙江大学），Jiachen Lian（UC Berkeley），Cheol Jun Cho（UC Berkeley），Wenshuo Zhao（浙江大学），Xiner Xu（浙江大学），Ruiyu Jin（浙江大学），Xiaoyu Shi（Duke University），Xuanru Zhou（浙江大学），Dingkun Zhou（华南理工大学），Sam Wang（UC Berkeley），Grace Wang（UC Berkeley），Jingze Yang（浙江大学），Jingyi Xu（浙江大学），Ruohan Bao（浙江大学），Xingrui Chen（TVT），Elise Brenner（UCSF），Brandon In（UCSF），Francesca Pei（UCSF），Maria Luisa Gorno-Tempini（UCSF），Gopala Anumanchipalli（UC Berkeley） 💡 毒舌点评 这篇论文为解决儿童语音识别这一“脏活累活”提供了扎实的技术方案，其K-WFST解码器巧妙融合了语音学先验，解释性强且有效，是传统WFST在特定场景下的成功应用。但其宣称的“联合框架”在实现上略显松散，LLM评分部分更像是一个独立的、调用上游转写结果的下游应用，与核心识别模块的“联合”深度不足，更像是一个串行流水线而非一个紧密耦合的整体系统。 ...