论文解读

低帧率悬崖不是音素装不下,而是训练时只给了两个 token

论文用 1.6 到 100 Hz 的 DAC 受控消融追问低帧率劣化原因,用固定序列长度训练把 6.25 Hz 的词错误率从 107.40% 拉回到 15.37%,代价是更低帧率下随音素负载平滑上升的可预期信息损失。

 · 更新于 2026-11-18 · 约 16 分钟 · 7820 字 阅读 →
论文解读

一个模型吃下三种采样率:用接口对齐与特征校准共享量化器

针对 16/24/48 kHz 需多模型或外部重采样的矛盾,该文用可学习接口转换统一时间网格并用采样率条件仿射校准特征,在 1.5 kbps 下 24 kHz 达 ViSQOL 4.22、48 kHz 达 PESQ 2.750,代价是 24 kHz 因有理数转换多出卷积开销与三阶段训练流程。

 · 更新于 2026-11-18 · 约 18 分钟 · 8883 字 阅读 →
论文解读

噪声下谁还听得清:经典与神经语音编码的可懂度对决

该文在干净与多种噪声及信噪比下比较经典与神经编码的句子级可懂度和听音努力,并检验编码前语音增强的作用,最强证据是低信噪比下经典编码更稳健而增强能显著挽回部分神经编码的可懂度,代价是效果因编码器和噪声类型而异且低信噪比主观评分一致性下降。

 · 更新于 2026-11-18 · 约 17 分钟 · 8484 字 阅读 →
论文解读

先懂话再压缩:LitCodec 把 ASR 监督放在量化之前做单码本流式编码

针对流式低码率下波形编码丢语言内容、语义编码又依赖非因果或双分支的问题,LitCodec 在因果编码器量化前加 CTC 的 ASR 监督并用单码本 FSQ 统一输出,在 LibriSpeech 上 800bps 取得流式最优 PESQ 2.56、STOI 0.925 和 WER 2.8%,代价是 UTMOS 自然度仍低于同码率 TS3-Codec。

 · 更新于 2026-11-18 · 约 18 分钟 · 8624 字 阅读 →
论文解读

语义保内容、声学保音色:SARA 用双流结构同时要保真与可控

针对声学编解码缺语义约束易读错、语义表征丢音色的问题,SARA 用冻结语义锚加残差声学编码器做直接融合,在 50 Hz、64 维紧凑隐空间下把 F5-TTS-Small 零样本合成词错率做到 1.79,把基座版做到 1.74,代价是编码器多一路推理开销与大规模语音训练成本。

 · 更新于 2026-11-18 · 约 16 分钟 · 7644 字 阅读 →
论文解读

用一帧延迟换真流式:TinyCall 在 2.3 kbps 下的因果编码与标量量化安排

TinyCall 针对窄带应急语音在 2.3 kbps 下采用因果 SEANet 编码器加 Vocos 式频谱解码器与残差有限标量量化实现流式重建,流式相对离线仅从 PESQ 1.3197 降到 1.2994,但伪前视引入一帧算法延迟且未完全消除边界失真。

 · 更新于 2026-11-18 · 约 20 分钟 · 9662 字 阅读 →
论文解读

只传内容不传声音:DECAF 把压缩本身做成匿名化

DECAF 针对云端语音传输中声纹泄露问题,选择只量化传输内容嵌入并在接收端用共享典型说话人重建,在 0.5 kbps 下报告 43.5% 等错误率和相对 33.2% 词错误率下降,但未压缩时仍需承担重建与微调依赖。

 · 更新于 2026-11-18 · 约 17 分钟 · 8039 字 阅读 →
会议总览

jep-2026 论文深度解读

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 238 分钟 · 118878 字 阅读 →
会议总览

speechprosody-2026 论文深度解读

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 360 分钟 · 180081 字 阅读 →
论文解读

Mimi 码本分工真的切开了吗:语义码本与韵律编码的核对

该文以增量重合成的时长、基频与滑音加 TIMIT 后验音素为探针,用核典型相关与记忆分类核对 Mimi 八个码本的分工,最强证据是时长可达 92.3% 而音高与滑音仅部分可恢复,且第一码本更偏向音段表示。

 · 更新于 2026-11-18 · 约 17 分钟 · 8212 字 阅读 →
论文解读

时间不变信息放在哪一层抽、用什么片段学:TiCodec 的 TIRE 拆解与 Dual-TIRE

论文把 TiCodec 的时间不变分支放在编码器不同深度和不同片段采样下逐项对照,发现第 2 层保波形细节、第 3 层保感知与说话人,再用双分支 Dual-TIRE 组合两者,代价是解码结构与训练约束更复杂且跨域增益并不覆盖全部指标。

 · 更新于 2026-11-18 · 约 17 分钟 · 8497 字 阅读 →
论文解读

不经过波形也能翻译语音令牌:TokenMapper 的同速率跨码本映射

TokenMapper 针对同有效帧率但码本结构不同的语音分词器做离散域直接翻译,在 GLM、Moshi、DualCodec 六个方向上把跨模型词错误率控制在接近原生重建 2.5-6.8 个百分点内,并以省去波形桥接换来 4.8-94.5% 的传输路径延迟下降,但多码本残差声学细节仍是主要代价。

 · 更新于 2026-11-18 · 约 19 分钟 · 9232 字 阅读 →
会议总览

cvpr-2026 论文深度解读

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 212 分钟 · 106059 字 阅读 →
论文解读

一个模型压七种数据:OmniZip 以统一分词加稀疏路由做轻量无损压缩

针对单模态压缩器重复部署与大模型压缩器过重的问题,OmniZip 用统一可逆分词加双路模态路由的轻量序列模型预测概率再算术编码,在 16 个数据集上接近专用方法并在笔记本与手机上接近实时,代价是自然图像与基因等难例仍弱于专用大模型。

 · 更新于 2026-11-18 · 约 19 分钟 · 9291 字 阅读 →
会议总览

aaai-2026 论文深度解读

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 307 分钟 · 153423 字 阅读 →
会议总览

acl-2026 论文深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 433 分钟 · 216709 字 阅读 →
论文解读

把情绪当作首要优化目标:AffectCodec 如何在离散量化中留住情绪

针对神经语音编解码器量化后情绪线索易失真的问题,AffectCodec 用量化前情感语义调制、第 1 层关系蒸馏和情绪加权语义对齐 3 步保留情绪,同时报告了在重建相似度、EMO-SUPERB 识别和零样本合成上的增益与内容保真代价。

 · 更新于 2026-11-18 · 约 21 分钟 · 10128 字 阅读 →
论文解读

语义与声学分流:SAC 用双路量化兼顾可懂度与可重建性

针对单路编码器难以同时保语义和保音质的问题,SAC 把冻结语义流与可训练声学流分开量化再融合解码,在 LibriSpeech 重建与 ARCH 语义探测上取得低词错误率和高自然度,但低码率下音色相似度仍有代价。

 · 更新于 2026-11-18 · 约 18 分钟 · 8613 字 阅读 →
论文解读

低码率下语义与音质为何互相拖累:XY-Tokenizer 用双塔与两阶段分开建模

针对约 1 kbps 下语义对齐与波形重建互相冲突的问题,XY-Tokenizer 用语义与声学双编码器加残差矢量量化与先联合对齐后冻结细化的两阶段训练,在英中多数据集上同时取得低识别错误率与高说话人相似度,代价是更大的编码器规模与更重的训练流程。

 · 更新于 2026-11-18 · 约 24 分钟 · 11812 字 阅读 →
论文解读

把每秒 token 压到 6.25 个:ZipCodec 如何在流式与 160 ms 时延下保住语义和音质

ZipCodec 针对流式语音 token 序列过长问题,用因果 log-mel 前端加 16 帧组块把帧率压到 6.25 Hz 与 0.80 kbps,再以约 94000 小时英文语音上的 WavLM 第 6 层蒸馏加标量球面量化保持重建与下游表征质量,代价是 842M 参数与严格的流式因果约束。

 · 更新于 2026-11-18 · 约 19 分钟 · 9318 字 阅读 →