论文解读

NIM4-ASR: Towards Efficient, Robust, and Customizable Real-Time LLM-Based ASR

本文提出了NIM4-ASR,一个面向生产环境的高效、鲁棒且可定制的实时语音识别框架。该工作旨在解决现有LLM-based ASR在实际部署中的三大挑战:1) 轻量化模型性能严重下降(有限的向下扩展性);2) 在声学挑战条件下产生幻觉;3) 缺乏生产就绪的热词定制机制。为此,作者提出了一套原则性的多阶

 · 更新于 2026-11-05 · 约 10 分钟 · 4907 字 阅读 →
论文解读

MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models

本文旨在解决全双工语音语言模型(如Moshi)事实性不足的核心问题,同时不牺牲其高交互性。**问题**:全双工模型能实时打断和回应,但因训练数据规模远小于文本,其知识储备和事实准确性较弱。**方法**:提出了MoshiRAG,一个模块化框架。它在Moshi模型中引入一个特殊的``检索触发令

 · 更新于 2026-11-05 · 约 12 分钟 · 5609 字 阅读 →
论文解读

Qwen3.5-Omni Technical Report

Qwen3.5-Omni 是一个旨在统一理解、推理、生成与行动的全模态大语言模型。它**解决**了现有模型在实时交互、长上下文音视频处理、流式语音生成稳定性以及多语言支持等方面的局限性。**方法上**,它基于Thinker-Talker架构,引入了Hybrid MoE以提升效率,采用显式时间戳替代稀

 · 更新于 2026-11-05 · 约 12 分钟 · 5592 字 阅读 →
论文解读

An Ultra-Low Latency, End-to-End Streaming Speech Synthesis Architecture via Block-Wise Generation and Depth-Wise Codec Decoding

这篇论文旨在解决实时交互式语音合成中**推理延迟高**与**声学质量(尤其是高频细节)易受损**的核心矛盾。传统流水线依赖计算密集的神经声码器进行波形重建,且基于连续回归的声学模型易导致频谱过平滑。为

 · 更新于 2026-11-05 · 约 10 分钟 · 4673 字 阅读 →
论文解读

MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models

本文提出了MoshiRAG,这是首个集成检索增强生成功能的全双工语音语言模型。**要解决的问题**是全双工语音模型在保持实时交互性的同时,事实准确性不足的挑战。**核心方法**是基于Moshi模型,设

 · 更新于 2026-11-05 · 约 11 分钟 · 5300 字 阅读 →
论文解读

X-VC: Zero-shot Streaming Voice Conversion in Codec Space

这篇论文旨在解决零样本语音转换中**高保真说话人迁移**与**低延迟流式推理**难以兼得的核心挑战。作者提出了**X-VC**系统,其核心创新在于**在预训练神经编解码器(SAC)的潜在空间中进行一步

 · 更新于 2026-11-05 · 约 10 分钟 · 4920 字 阅读 →