语音表示学习

📄 Arbitrarily Settable Frame Rate Neural Speech Codec with Content Adaptive Variable Length Segmentation #音频生成 #神经语音编解码 #可变帧率 #语音表示学习 ✅ 7.0/10 | 前25% | #音频生成 | #神经语音编解码 | #可变帧率 #语音表示学习 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yukun Qian (哈尔滨工业大学深圳) 通讯作者：Mingjiang Wang (哈尔滨工业大学深圳，mjwang@hit.edu.cn) 作者列表：Yukun Qian (哈尔滨工业大学深圳)、Wenjie Zhang (哈尔滨工业大学深圳)、Xuyi Zhuang (哈尔滨工业大学深圳)、Shiyun Xu (哈尔滨工业大学深圳)、Lianyu Zhou (哈尔滨工业大学深圳)、Mingjiang Wang (哈尔滨工业大学深圳，通讯作者) 💡 毒舌点评 亮点在于它巧妙地用Viterbi算法将“帧率”这个连续可调参数转化为了一个全局优化问题，这在工程上非常优雅，且实验表明在低帧率场景下确实比固定帧率的SOTA更抗造。短板则是这篇论文的“任意帧率”听起来很酷，但Viterbi算法的动态规划在超长音频或实时流式场景下的计算开销和时延问题被轻描淡写了，这可能限制其在某些实际部署中的应用。 📌 核心摘要 要解决什么问题：当前主流的基于残差向量量化（RVQ）的神经语音编解码器采用固定帧率，导致在处理静音或简单音频段时效率低下，造成序列冗余，无法根据内容重要性动态分配码率。 方法核心是什么：提出了内容自适应变长分段（CAVLS）框架。该框架首先用帧评分编码器为每个潜在表示帧打分，然后根据目标帧率，利用Viterbi动态规划算法将相似的相邻帧合并为可变长度的段，实现可变帧率（VFR）。段表示经过RVQ量化后，由带有FiLM调制的上下文段解码器利用局部上下文信息重建原始帧序列。 与已有方法相比新在哪里：与固定帧率（CFR）的DAC、VRVQ等模型相比，CAVLS首次在基于RVQ的语音编解码器中实现了真正意义上由内容驱动的可变帧率，允许用户指定任意目标帧率，而非仅改变码本数量（VRVQ）或多尺度网络（TFC）。 主要实验结果如何：在匹配比特率（图2a）和匹配帧率（图2b）的对比中，CAVLS在高帧率/高码率时与基线（DAC, VRVQ）持平，但在低帧率/低码率时显著优于基线。例如，在1 kbps码率下，CAVLS的UTMOS分数仅比高码率时下降0.2，而VRVQ已跌破3分。消融实验（表1）显示移除段编码器对性能影响最大。 实际意义是什么：为神经语音编解码提供了更高的灵活性和效率，尤其适用于带宽受限的场景（如12.5 Hz的超低帧率传输）。其变帧率表示也可能为下游的语音语言模型提供更紧凑、信息密度更高的离散单元。 主要局限性是什么：论文中未讨论Viterbi算法在极长音频序列上的计算复杂度和实时流式应用的可行性；STE在训练中的稳定性影响未深入分析；生成的可变帧率表示是否完全兼容现有依赖固定帧率的下游任务（如某些语音合成模型）也未探讨。 🏗️ 模型架构 CAVLS建立在标准的RVQ-GAN编解码框架之上，核心创新在于编码和解码阶段引入了动态分段机制。 ...

📄 Cross-Architecture Knowledge Distillation of WavLM for Lightweight Speaker Verification #说话人验证 #知识蒸馏 #自监督学习 #模型压缩 #语音表示学习 🔥 8.0/10 | 前25% | #说话人验证 | #知识蒸馏 | #自监督学习 #模型压缩 学术质量 6.5/7 | 选题价值 7.0/2 | 复现加成 8.0 | 置信度 高 👥 作者与机构 第一作者：Jungwoo Heo (University of Seoul, Republic of Korea) 通讯作者：Ha-Jin Yu (University of Seoul, Republic of Korea) 作者列表：Jungwoo Heo (University of Seoul, Republic of Korea)、Hyun-seo Shin (University of Seoul, Republic of Korea)、Chan-yeong Lim (University of Seoul, Republic of Korea)、Kyowon Koo (University of Seoul, Republic of Korea)、Seung-bin Kim (University of Seoul, Republic of Korea)、Jisoo Son (University of Seoul, Republic of Korea)、Kyung Wha Kim (Supreme Prosecutors’ Office Republic of Korea)、Ha-Jin Yu (University of Seoul, Republic of Korea) 💡 毒舌点评 这篇论文精准地切中了当前自监督语音模型“大而不能用”的痛点，其提出的任务引导学习（TGL）和代理对齐蒸馏（PAD）组合拳，确实为异构架构间的知识传递提供了系统化的解决方案，在VoxCeleb和VoxSRC等标准基准上取得了令人印象深刻的性能提升。然而，实验部分主要围绕其自身方法的变体展开，与当前最前沿的、同样专注于轻量化或高效说话人验证的最新方法（如2025年的SEED, LAP等）的横向对比深度稍显不足，使得其“最佳”地位的论证链条不够完整。 ...

ICASSP 2026 - 语音表示学习 共 1 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Phonological Tokenizer: Prosody-Aware Phonetic Token Via Mul 8.0分 前25% 📋 论文详情 🥇 Phonological Tokenizer: Prosody-Aware Phonetic Token Via Multi-Objective Fine-Tuning with Differentiable K-Means 🔥 8.0/10 | 前25% | #语音表示学习 | #离散token | #多任务学习 #自监督学习 👥 作者与机构 第一作者：Kentaro Onda（东京大学， 索尼集团） 通讯作者：未说明 作者列表：Kentaro Onda（东京大学， 索尼集团）、Hayato Futami（索尼集团）、Yosuke Kashiwagi（索尼集团）、Emiru Tsunoo（索尼集团）、Shinji Watanabe（卡内基梅隆大学） 💡 毒舌点评 这篇论文的亮点在于其巧妙地利用多目标优化和可微分k-means，在理论上“纯净”的语音学token和“丰富”的声学token之间找到了一个实用且性能优异的平衡点，尤其在情感识别和语音转换等韵律敏感任务上取得了显著提升。然而，其短板在于对“不同iable k-means”这一核心工具的离散化本质在端到端训练中可能带来的优化挑战（如梯度估计方差）探讨不足，且虽然声码器使用了预训练说话人编码器进行条件化以“剥离”说话人信息，但这种剥离是否彻底以及对下游任务的潜在影响分析不够深入。 📌 核心摘要 要解决的问题：现有的离散语音token（声学token和语音学token）要么保留过多冗余声学信息（如说话人身份），要么过度抽象丢失关键的韵律信息，都不适合作为语音语言模型（speechLMs）的理想输入。 方法核心：提出“音韵Tokenizer”，通过多目标微调预训练的语音学token。核心是使用可微分k-means，联合优化ASR损失（鼓励语言信息）和语音重建损失（鼓励声学细节），并在重建时通过外部说话人编码器提供说话人嵌入以辅助信息解耦。 与已有方法相比新在哪里：相较于多码本的混合token（如SpeechTokenizer），本方法实现单码本高效率；相较于仅用ASR优化的语音学token，本方法引入了重建目标以保留韵律；相较于声学token，本方法能有效去除说话人信息。其创新在于利用可微分k-means的灵活性，在单一框架内实现了token属性的精细平衡。 主要实验结果： 在判别任务上，其情感识别（ER）准确率（51.7%）远超所有基线；语音识别（WER 4.6/8.5）接近最强语音学基线；说话人识别（SID）准确率（29.5%）与语音学基线相当，表明成功保留了韵律、语言信息并抑制了说话人信息。 在生成任务上，在域外（TIMIT）语音转换中，其源语音F0相关性（0.456）和自然度（UTMOS 3.88）均优于基线，且保持了较低的目标说话人相似度（SpkSim 0.762），体现了内容/韵律保持与说话人解耦的平衡。 在speechLM任务中，其生成语音的自然度（UTMOS 3.86）和生成困惑度（GenPPL 5.60）均为最佳。 模型 ASR WER (↓) ER Acc. (↑) SID Acc. (↑) TIMIT VC F0 corr. (↑) TIMIT VC UTMOS (↑) SpeechLM GenPPL (↓) SpeechLM UTMOS (↑) Discrete WavLM (phonetic) 4.3/ 7.1 41.7 27.7 0.371 3.63 5.81 3.60 SpeechTokenizer (hybrid) 9.3/23.5 39.2 29.1 0.383 3.53 5.73 3.64 WavTokenizer (acoustic) 96.7/96.8 24.2 82.7 0.356 2.02 6.34 2.57 Proposed (α=0.1) 4.6/ 8.5 51.7 29.5 0.456 3.88 5.60 3.86 实际意义：为构建更接近人类语音处理机制（兼顾内容与韵律、抽象不必要细节）的speechLM提供了高效的离散表示基础，且单码本设计简化了下游模型架构。 主要局限性：论文未与最新的、强大的声学token（如基于RVQ的codec）在重建保真度上进行全面对比（仅与WavTokenizer对比），其“保留韵律”和“去除说话人”的边界和泛化能力在更多样化数据上仍需验证；训练过程涉及多个复杂模块（SSL， ASR， Vocoder）的联合优化，工程实现和调参可能具有一定挑战。

📄 Phonological Tokenizer: Prosody-Aware Phonetic Token Via Multi-Objective Fine-Tuning with Differentiable K-Means #语音表示学习 #离散token #多任务学习 #自监督学习 #语音合成 🔥 8.0/10 | 前25% | #语音表示学习 | #离散token | #多任务学习 #自监督学习 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kentaro Onda（东京大学， 索尼集团） 通讯作者：未说明 作者列表：Kentaro Onda（东京大学， 索尼集团）、Hayato Futami（索尼集团）、Yosuke Kashiwagi（索尼集团）、Emiru Tsunoo（索尼集团）、Shinji Watanabe（卡内基梅隆大学） 💡 毒舌点评 这篇论文的亮点在于其巧妙地利用多目标优化和可微分k-means，在理论上“纯净”的语音学token和“丰富”的声学token之间找到了一个实用且性能优异的平衡点，尤其在情感识别和语音转换等韵律敏感任务上取得了显著提升。然而，其短板在于对“不同iable k-means”这一核心工具的离散化本质在端到端训练中可能带来的优化挑战（如梯度估计方差）探讨不足，且虽然声码器使用了预训练说话人编码器进行条件化以“剥离”说话人信息，但这种剥离是否彻底以及对下游任务的潜在影响分析不够深入。 📌 核心摘要 要解决的问题：现有的离散语音token（声学token和语音学token）要么保留过多冗余声学信息（如说话人身份），要么过度抽象丢失关键的韵律信息，都不适合作为语音语言模型（speechLMs）的理想输入。 方法核心：提出“音韵Tokenizer”，通过多目标微调预训练的语音学token。核心是使用可微分k-means，联合优化ASR损失（鼓励语言信息）和语音重建损失（鼓励声学细节），并在重建时通过外部说话人编码器提供说话人嵌入以辅助信息解耦。 与已有方法相比新在哪里：相较于多码本的混合token（如SpeechTokenizer），本方法实现单码本高效率；相较于仅用ASR优化的语音学token，本方法引入了重建目标以保留韵律；相较于声学token，本方法能有效去除说话人信息。其创新在于利用可微分k-means的灵活性，在单一框架内实现了token属性的精细平衡。 主要实验结果： 在判别任务上，其情感识别（ER）准确率（51.7%）远超所有基线；语音识别（WER 4.6/8.5）接近最强语音学基线；说话人识别（SID）准确率（29.5%）与语音学基线相当，表明成功保留了韵律、语言信息并抑制了说话人信息。 在生成任务上，在域外（TIMIT）语音转换中，其源语音F0相关性（0.456）和自然度（UTMOS 3.88）均优于基线，且保持了较低的目标说话人相似度（SpkSim 0.762），体现了内容/韵律保持与说话人解耦的平衡。 在speechLM任务中，其生成语音的自然度（UTMOS 3.86）和生成困惑度（GenPPL 5.60）均为最佳。 模型 ASR WER (↓) ER Acc. (↑) SID Acc. (↑) TIMIT VC F0 corr. (↑) TIMIT VC UTMOS (↑) SpeechLM GenPPL (↓) SpeechLM UTMOS (↑) Discrete WavLM (phonetic) 4.3/ 7.1 41.7 27.7 0.371 3.63 5.81 3.60 SpeechTokenizer (hybrid) 9.3/23.5 39.2 29.1 0.383 3.53 5.73 3.64 WavTokenizer (acoustic) 96.7/96.8 24.2 82.7 0.356 2.02 6.34 2.57 Proposed (α=0.1) 4.6/ 8.5 51.7 29.5 0.456 3.88 5.60 3.86 实际意义：为构建更接近人类语音处理机制（兼顾内容与韵律、抽象不必要细节）的speechLM提供了高效的离散表示基础，且单码本设计简化了下游模型架构。 主要局限性：论文未与最新的、强大的声学token（如基于RVQ的codec）在重建保真度上进行全面对比（仅与WavTokenizer对比），其“保留韵律”和“去除说话人”的边界和泛化能力在更多样化数据上仍需验证；训练过程涉及多个复杂模块（SSL， ASR， Vocoder）的联合优化，工程实现和调参可能具有一定挑战。 🏗️ 模型架构 Phonological Tokenizer的整体架构如图1所示，其核心目标是微调预训练的语音学token。 ...

📄 The Role of Prosodic and Lexical Cues in Turn-Taking with Self-Supervised Speech Representations #语音对话系统 #自监督学习 #语音活动检测 #语音表示学习 ✅ 7.5/10 | 前25% | #语音对话系统 | #自监督学习 | #语音活动检测 #语音表示学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Sam O’Connor Russell（都柏林三一学院工程学院） 通讯作者：未说明 作者列表：Sam O’Connor Russell（都柏林三一学院工程学院）、Delphine Charuau（都柏林三一学院工程学院）、Naomi Harte（都柏林三一学院工程学院） 💡 毒舌点评 本文巧妙地将神经科学中的“声音相关噪声”范式移植到语音轮次预测的可解释性分析中，像做手术一样干净地分离了韵律和词汇线索，方法论上值得称赞。然而，结论“仅韵律就够了”可能过于乐观，毕竟实验中的“韵律匹配噪声”在真实世界的噪声环境下难以复现，且模型在复杂对话场景中是否仍能如此可靠地依赖单一线索存疑。 📌 核心摘要 要解决的问题：基于自监督语音表示（S3R）的轮次预测模型性能优异，但其决策依赖于语音中的哪些线索（韵律 vs. 词汇）尚不清楚，这限制了模型的可解释性、隐私保护和轻量化潜力。 方法核心：引入一种基于WORLD vocoder的控制方法，能够干净地生成仅保留韵律（去除词汇可懂度）或仅保留词汇（平滑韵律）的语音，用于系统性地探究S3R模型（主要是VAP模型）的线索依赖关系。 与已有方法相比新在哪里：不同于以往通过简单滤波或添加背景噪声（会同时破坏多种线索）的研究，该方法能独立、可控地操纵语音的韵律和词汇成分，提供了更干净的实验条件。研究范围从单一S3R（CPC）扩展到了wav2vec2.0，增强了结论的普适性。 主要实验结果： 在纯净语音上训练的VAP模型，在测试时面对仅保留韵律的噪声语音（WER>100%），仍能保持较高的轮次预测准确率（S/H-Pred平衡准确率≈70%，见表2），接近纯净语音性能的91%（图4）。 相反，去除韵律（平滑音高和强度）后，性能虽下降但仍显著高于随机水平（表2）。 当一种线索被破坏时，模型无需重新训练即可利用另一种线索，证明两种线索在S3R编码中相互独立（图2）。这一结论在wav2vec2.0前端上同样成立。 实际意义：该发现为设计轻量化、仅依赖韵律的轮次预测模型提供了理论支持，此类模型具有计算高效和保护语音隐私（去除可识别词汇内容）的双重优势。 主要局限性：研究仅在英语对话语料库（CANDOR）上进行，跨语言泛化性未验证。所使用的“韵律匹配噪声”是一种受控实验条件，与真实世界的噪声干扰存在差异。 🏗️ 模型架构 论文主要分析的对象是语音活动投影（Voice Activity Projection， VAP）模型，一个基于S3R的轮次预测模型。其架构如下： ...