Towards Streaming Target Speaker Extraction via Chunk-wise Interleaved Splicing of Autoregressive Language Model
📄 Towards Streaming Target Speaker Extraction via Chunk-wise Interleaved Splicing of Autoregressive Language Model #语音分离 #自回归模型 #流式处理 #大语言模型 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Shuhai Peng（推断为小米或合作机构） 通讯作者：Zhiyong Wu（推断为小米或合作机构） 其他作者：Hui Lu, Jinjiang Liu, Liyang Chen, Guiping Zhong, Jiakui Li, Huimeng Wang, Haiyun Li, Liang Cao, Shiyin Kang 机构信息：论文未明确标注所有作者的所属机构。根据作者列表和常见合作模式，作者可能来自小米公司（Xiaomi）、香港中文大学（The Chinese University of Hong Kong） 或其他合作研究机构。具体实验室/课题组信息未在提供的文本中说明。 💡 毒舌点评 亮点：精准地抓住了生成式TSE模型流式化时“一跑就崩”的痛点，用“交织拼接”这招巧妙地给模型戴上了“因果紧箍咒”，硬是把一个“离线学霸”改造成了“实时能手”，稳定性拉满。槽点：方法创新更像是针对现有大模型（LauraGPT）的“工程适配”和“流程优化”，理论深度稍显不足；而且说好的开源代码“将在GitHub上”，目前还是一张空头支票。 🔗 开源详情 代码：论文在结论部分声明“我们的代码将在GitHub上开源”，但当前arXiv版本未提供具体URL。状态为承诺开源，暂未发布。 模型权重：未提及是否公开预训练模型权重。 数据集：实验基于公开的LibriSpeech和Libri2Mix数据集生成。 预训练权重：使用了预训练的funcodec作为声学编解码器，以及LauraGPT作为生成主干。 在线Demo：未提及。 依赖的开源项目：明确提到了LauraGPT、funcodec、WavLM、WeSpeaker、Whisper（用于计算WER）等。 📌 核心摘要 这篇论文旨在解决生成式目标说话人提取（TSE）模型在流式实时应用中因依赖全局上下文而导致性能严重下降的核心问题。作者首次提出了一个基于自回归语言模型（LauraGPT）的流式TSE框架。其核心创新是“分块交织拼接范式”，通过将混合音频块与对应的目标语音离散编码块交错排列作为模型输入，严格保证了推理的因果性，防止了未来信息泄露。同时，设计了“历史上下文优化机制”，在声码器解码阶段引入前一音频块的隐藏状态，以缓解块间的相位不连续问题。实验表明，该方法在低延迟（如560ms）下实现了100%的推理成功率，语音质量和可懂度优于基线生成模型，并能匹配甚至超越离线判别式模型的性能，且在消费级GPU上达到了0.248的实时率（RTF）。该工作证明了自回归生成模型适用于低延迟流式应用的可行性。 🏗️ 模型架构 模型整体采用基于LauraGPT的粗到细（coarse-to-fine）分层架构，处理流程如下： 输入：一段包含目标说话人和干扰的混合语音（被切分为连续的音频块 C_mix），以及一段目标说话人的参考语音 E_ref。 共享特征提取：混合语音块和参考语音分别通过两个权重共享、严格因果的Conformer编码器，提取帧级别的连续嵌入表示 E_mix 和 E_ref。这确保了特征提取只依赖当前和历史信息。 语义提取语言模型（SELM）： 输入构造：将静态的参考语音嵌入 E_ref 与一个特殊分隔符 v_sep 作为前缀，后面交织拼接历史所有的混合语音块和它们对应的目标语音离散语义令牌（C_mix(1), v_task, u(1), ..., C_mix(t), v_task, u(t)）。 功能：这是一个自回归Transformer模型，负责预测当前音频块对应的粗粒度语义离散令牌序列 u(t)。其自注意力机制被限制在交织的序列上，保证了因果性。 声学细化语言模型（ARLM）： 输入构造：同样以参考语音为静态前缀，后面交织拼接历史所有的混合语音块和它们对应的、由SELM预测出的语义令牌序列（C_mix(1), U_SELM(1), ..., C_mix(t), U_SELM(t)）。 功能：另一个自回归Transformer模型，负责在SELM输出的粗粒度语义令牌基础上，生成细粒度的声学隐藏状态 h(t)，以恢复高频细节和提升音质。 声码器解码与历史上下文优化： 输入构造：解码器的输入不仅是当前块的声学隐藏状态 h(t)，还拼接了上一时刻优化后的隐藏状态 h(t-1)，即 Concat(h(t-1), h(t))。 功能：一个预训练的神经声码器（funcodec的解码器部分），将细粒度的声学隐藏状态重建为最终的语音波形。引入 h(t-1) 的目的是平滑块间过渡，保持相位和语义连贯性。 输出：当前时间块的目标语音波形。 关键设计理由： ...