低帧率悬崖不是音素装不下,而是训练时只给了两个 token
论文用 1.6 到 100 Hz 的 DAC 受控消融追问低帧率劣化原因,用固定序列长度训练把 6.25 Hz 的词错误率从 107.40% 拉回到 15.37%,代价是更低帧率下随音素负载平滑上升的可预期信息损失。
论文用 1.6 到 100 Hz 的 DAC 受控消融追问低帧率劣化原因,用固定序列长度训练把 6.25 Hz 的词错误率从 107.40% 拉回到 15.37%,代价是更低帧率下随音素负载平滑上升的可预期信息损失。
针对 16/24/48 kHz 需多模型或外部重采样的矛盾,该文用可学习接口转换统一时间网格并用采样率条件仿射校准特征,在 1.5 kbps 下 24 kHz 达 ViSQOL 4.22、48 kHz 达 PESQ 2.750,代价是 24 kHz 因有理数转换多出卷积开销与三阶段训练流程。
该文在干净与多种噪声及信噪比下比较经典与神经编码的句子级可懂度和听音努力,并检验编码前语音增强的作用,最强证据是低信噪比下经典编码更稳健而增强能显著挽回部分神经编码的可懂度,代价是效果因编码器和噪声类型而异且低信噪比主观评分一致性下降。
针对流式低码率下波形编码丢语言内容、语义编码又依赖非因果或双分支的问题,LitCodec 在因果编码器量化前加 CTC 的 ASR 监督并用单码本 FSQ 统一输出,在 LibriSpeech 上 800bps 取得流式最优 PESQ 2.56、STOI 0.925 和 WER 2.8%,代价是 UTMOS 自然度仍低于同码率 TS3-Codec。
针对声学编解码缺语义约束易读错、语义表征丢音色的问题,SARA 用冻结语义锚加残差声学编码器做直接融合,在 50 Hz、64 维紧凑隐空间下把 F5-TTS-Small 零样本合成词错率做到 1.79,把基座版做到 1.74,代价是编码器多一路推理开销与大规模语音训练成本。
TinyCall 针对窄带应急语音在 2.3 kbps 下采用因果 SEANet 编码器加 Vocos 式频谱解码器与残差有限标量量化实现流式重建,流式相对离线仅从 PESQ 1.3197 降到 1.2994,但伪前视引入一帧算法延迟且未完全消除边界失真。
DECAF 针对云端语音传输中声纹泄露问题,选择只量化传输内容嵌入并在接收端用共享典型说话人重建,在 0.5 kbps 下报告 43.5% 等错误率和相对 33.2% 词错误率下降,但未压缩时仍需承担重建与微调依赖。
共收录 118 篇 jep-2026 会议论文的 Reader 深度解读
共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读
该文以增量重合成的时长、基频与滑音加 TIMIT 后验音素为探针,用核典型相关与记忆分类核对 Mimi 八个码本的分工,最强证据是时长可达 92.3% 而音高与滑音仅部分可恢复,且第一码本更偏向音段表示。
论文把 TiCodec 的时间不变分支放在编码器不同深度和不同片段采样下逐项对照,发现第 2 层保波形细节、第 3 层保感知与说话人,再用双分支 Dual-TIRE 组合两者,代价是解码结构与训练约束更复杂且跨域增益并不覆盖全部指标。
TokenMapper 针对同有效帧率但码本结构不同的语音分词器做离散域直接翻译,在 GLM、Moshi、DualCodec 六个方向上把跨模型词错误率控制在接近原生重建 2.5-6.8 个百分点内,并以省去波形桥接换来 4.8-94.5% 的传输路径延迟下降,但多码本残差声学细节仍是主要代价。
共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读
针对单模态压缩器重复部署与大模型压缩器过重的问题,OmniZip 用统一可逆分词加双路模态路由的轻量序列模型预测概率再算术编码,在 16 个数据集上接近专用方法并在笔记本与手机上接近实时,代价是自然图像与基因等难例仍弱于专用大模型。
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
针对神经语音编解码器量化后情绪线索易失真的问题,AffectCodec 用量化前情感语义调制、第 1 层关系蒸馏和情绪加权语义对齐 3 步保留情绪,同时报告了在重建相似度、EMO-SUPERB 识别和零样本合成上的增益与内容保真代价。
针对单路编码器难以同时保语义和保音质的问题,SAC 把冻结语义流与可训练声学流分开量化再融合解码,在 LibriSpeech 重建与 ARCH 语义探测上取得低词错误率和高自然度,但低码率下音色相似度仍有代价。
针对约 1 kbps 下语义对齐与波形重建互相冲突的问题,XY-Tokenizer 用语义与声学双编码器加残差矢量量化与先联合对齐后冻结细化的两阶段训练,在英中多数据集上同时取得低识别错误率与高说话人相似度,代价是更大的编码器规模与更重的训练流程。
ZipCodec 针对流式语音 token 序列过长问题,用因果 log-mel 前端加 16 帧组块把帧率压到 6.25 Hz 与 0.80 kbps,再以约 94000 小时英文语音上的 WavLM 第 6 层蒸馏加标量球面量化保持重建与下游表征质量,代价是 842M 参数与严格的流式因果约束。