HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models
📄 HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models #语音合成 #语音识别 #自监督学习 #高效推理 6.5/10 ✅ 6.5/10 | 前50% | #语音合成 | #自监督学习 | #语音识别 #高效推理 | arxiv 👥 作者与机构 论文作者包括：Artem Ploujnikov (Concordia University, Canada), Francesco Verdini (Sapienza University of Rome, Italy), Samir Sadok (Inria, Université Grenoble Alpes CNRS, LJK, France), Mirco Ravanelli (Mila, Quebec AI Institute, Canada; Concordia University, Canada)。机构包括Mila、Concordia大学、Sapienza大学和Inria。 💡 毒舌点评 关于“首个”的声明过于绝对：作者声称是首个在单一Transformer架构中统一离散和连续细化的方法。然而，离散-连续混合建模在强化学习、机器人学、文本扩散等领域已有探索（论文在Related Work中提及）。本文的贡献在于将其应用于统一的语音处理架构，而非“首创”了混合范式本身。论文应更精确地界定其贡献范围。 连续残差预测的“单步NAR”假设可能过于简化：论文声称通过单步NAR预测连续残差即可恢复高保真细节。这一假设在低比特率下可能成立，但在更复杂的声学环境或更长的生成序列中，单步预测的容量可能不足以建模所有丢失的连续信息。论文缺乏对这一关键设计选择的消融研究或理论分析。 实验评估集中且缺乏深度分析：虽然评估了三项任务，但所有实验均在单一数据集（LibriTTS）和单一评估设置下进行。缺乏对模型在更嘈杂环境、多说话人、跨语言场景下的鲁棒性验证。此外，论文未深入分析为何连续残差能提升ASR性能（是提供了更好的声学特征还是仅仅是模型容量增加？），结论显得略微表面。 对计算成本的讨论不完整：论文强调减少AR步数，但未全面报告HybridCodec引入额外残差编码器/解码器路径所带来的训练和编码开销，以及HybridLM中处理两种模式的额外计算成本。效率提升的净收益需要更全面的分析。 📌 核心摘要 离散音频表示在构建多模态文本-音频系统及将音频能力集成到大型语言模型中越来越流行，但其量化过程会不可避免地导致信息损失，影响下游任务性能。为解决此问题，本文提出了一种结合时序压缩离散token与降维连续残差的新颖混合方法。该框架包含一个混合离散-连续Focal调制编解码器（HybridCodec）和一个混合Transformer（HybridLM）。HybridCodec在FocalCodec的基础上增加了一个并行路径，用于提取和压缩量化后丢失的连续残差信息。HybridLM则通过自适应层归一化（AdaLN）机制，在一个统一的Transformer中，将用于语义结构建立的自回归（AR）离散token生成阶段，与用于高保真声学细节恢复的非自回归（NAR）连续残差预测阶段相耦合。实验结果表明，在LibriTTS数据集上，该方法在极低帧率（如6.25 Hz）下的重合成、TTS和ASR性能显著优于离散-only基线，尤其在说话人相似度保持和可懂度（dWER/WER）降低方面优势明显，同时大幅减少了自回归推理步数。 ...