语音编码

ZipCodec 针对语音分词器依赖重型预训练编码器和多阶段流程的问题，采用 Zipformer 编码器加有限标量量化加 Zipformer 流匹配解码器的单阶段自编码结构并辅以编码器一致性正则，在 23.4375 Hz 与约 1.97 kbps 下报告了可复述的重建与零样本合成结果，代价是仍依赖 Vocos 声码器与流匹配多步推理并需蒸馏加速。

针对 0.5 kbps 下残差向量量化各级等码率却贡献递减的问题，P2PSynCodec 用一路普通量化传输加三路伪量化解码端预测补齐，在 LibriTTS 上以 0.5 kbps 达到与 2.0 kbps 基线可比的主客观质量，代价是伪量化网络带来额外参数与计算。

针对 1000 bps 以下语音编码中声学细节挤占语言内容的问题，ContextCodec 用双分支解耦加音素对齐的上下文引导重建，在 500 bps 仍保持可懂度和质量平衡，代价是需要离线强制对齐监督与两阶段解码注入的复杂度。

针对端到端神经语音编码模型过大难以部署的问题，该工作用说话人分组训练组专用小模型，在主观听感上以 96% 参数量削减和从 2 kbps 到 1 kbps 的码率减半维持了大模型质量，代价是发送端需增加说话人分组与组索引传输且错分会带来损失。

针对低帧率低码率下保真与可训练性的矛盾，论文用高帧率对抗变分自编码器先吸收波形建模难度，再在潜在空间做分片流匹配压缩与语义监督，并在单卡消费级 GPU 条件下报告了重建与语音合成下游证据，但流式与非英语泛化仍未验证。

MSR-Codec 用语义、音色、韵律与残差四路级联残差结构在 62.5 tokens 每秒下做高保真重建，并用两阶段语言模型做文本到语音，其代价是信号级细节指标仍受码率限制且部分实现细节未完全报告。

针对局部 token 残留说话人信息与韵律丢失的矛盾，SDP-Codec 用连续 vq-wav2vec 特征加紧凑单码本做内容瓶颈、归一化 F0 注入与软标签基频重建恢复韵律，并在单阶段训练下以 0.45-0.52 kbps 取得可比的重建与更强的零样本变声，但 16 kHz 大模型的重建词错误率仍高于部分基线。

针对均匀量化在清音帧上浪费比特的问题，VoCodec 用全因果编码器并行做基频段能量浊音检测、对浊音帧用残差标量矢量量化而对清音帧只用单级标量量化，在 LibriTTS 16 kHz 下以平均 1.1 kbps 取得可比 1.5 kbps 基线的听感，代价是清音帧客观失真变差且需额外传输 1 比特浊音标志。

该文针对神经音频编解码与基于其的大语言模型语音克隆在英语口音上的泛化问题，构建含 4000 样本、24 个系统、32 说话人和 10 种口音的平均意见分基准并收集 19600 条三维度标注，报告说话人相似与口音相似高度相关、客观指标可预测主观感受，但同口音听音人存在显著偏置且自然度评价需区分重合成上限与克隆去噪效应。

HybridCodec 针对语音离散化中语义解耦与推理速度的矛盾，采用双流结构加语义蒸馏，在 LibriSpeech 上以 RVQ-1 词错误率 15.36% 显示更强的首码本语义集中性，并以 0.014 实时率实现约 3 倍于 DualCodec 的推理加速，但声学保真指标略有让步。

论文用 1.6 到 100 Hz 的 DAC 受控消融追问低帧率劣化原因，用固定序列长度训练把 6.25 Hz 的词错误率从 107.40% 拉回到 15.37%，代价是更低帧率下随音素负载平滑上升的可预期信息损失。

针对 16/24/48 kHz 需多模型或外部重采样的矛盾，该文用可学习接口转换统一时间网格并用采样率条件仿射校准特征，在 1.5 kbps 下 24 kHz 达 ViSQOL 4.22、48 kHz 达 PESQ 2.750，代价是 24 kHz 因有理数转换多出卷积开销与三阶段训练流程。

该文在干净与多种噪声及信噪比下比较经典与神经编码的句子级可懂度和听音努力，并检验编码前语音增强的作用，最强证据是低信噪比下经典编码更稳健而增强能显著挽回部分神经编码的可懂度，代价是效果因编码器和噪声类型而异且低信噪比主观评分一致性下降。

针对流式低码率下波形编码丢语言内容、语义编码又依赖非因果或双分支的问题，LitCodec 在因果编码器量化前加 CTC 的 ASR 监督并用单码本 FSQ 统一输出，在 LibriSpeech 上 800bps 取得流式最优 PESQ 2.56、STOI 0.925 和 WER 2.8%，代价是 UTMOS 自然度仍低于同码率 TS3-Codec。

针对声学编解码缺语义约束易读错、语义表征丢音色的问题，SARA 用冻结语义锚加残差声学编码器做直接融合，在 50 Hz、64 维紧凑隐空间下把 F5-TTS-Small 零样本合成词错率做到 1.79，把基座版做到 1.74，代价是编码器多一路推理开销与大规模语音训练成本。

TinyCall 针对窄带应急语音在 2.3 kbps 下采用因果 SEANet 编码器加 Vocos 式频谱解码器与残差有限标量量化实现流式重建，流式相对离线仅从 PESQ 1.3197 降到 1.2994，但伪前视引入一帧算法延迟且未完全消除边界失真。

DECAF 针对云端语音传输中声纹泄露问题，选择只量化传输内容嵌入并在接收端用共享典型说话人重建，在 0.5 kbps 下报告 43.5% 等错误率和相对 33.2% 词错误率下降，但未压缩时仍需承担重建与微调依赖。

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读

该文以增量重合成的时长、基频与滑音加 TIMIT 后验音素为探针，用核典型相关与记忆分类核对 Mimi 八个码本的分工，最强证据是时长可达 92.3% 而音高与滑音仅部分可恢复，且第一码本更偏向音段表示。