论文解读

低码率下保真与语义难两全:非对称双量化如何分开处理内容与细节

针对 1.5 kbps 下多层残差量化误差累积与单码本语义稀疏问题,SACodec 用冻结 mHuBERT 语义锚定加 SimVQ 残差激活的非对称双量化,在 LibriTTS 与 LJSpeech 上取得接近真值的主观重建分并保留语义,代价是仍限于英语朗读语料与两路量化结构。

 · 更新于 2026-11-18 · 约 18 分钟 · 8761 字 阅读 →
论文解读

信息不均匀时不再平均分配:用聚类定长短、用索引记时长

针对固定帧率对静音与稳态元音浪费而对快速过渡欠分配的问题,VARSTok 用时间感知的密度峰聚类做变长切分并用扩展索引隐式编码时长,在平均 30.95 Hz 下重建 UTMOS 达 3.8949 超过 40 Hz 固定基线,但更低码率与说话人相似度上仍有代价。

 · 更新于 2026-11-18 · 约 16 分钟 · 7911 字 阅读 →
论文解读

固定模长换可预测性:SphereVAE 把连续语音表示压到球面上治自回归漂移

针对连续语音表示自回归预测中误差沿时间累积导致的隐变量漂移问题,SphereVAE 用单位超球面 Power Spherical 隐空间固定模长只留方向变化,在重建指标低于标准 VAE 的代价下,在 VoxCPM 零样本合成中取得英文 5.305% 词错误率与中文 1.141% 字错误率的最低内容错误并在长文本中保持更高的说话人相似度。

 · 更新于 2026-11-18 · 约 20 分钟 · 9812 字 阅读 →
论文解读

流式对齐语音切分:在块边界上把声音逐字贴到文本子词

StreamAlign 针对离线文本对齐切分必须等整句和词级复制丢失细节的问题,用词级流式识别引导字符级 RNN-T 对齐再聚合成大模型子词单元,在 LibriSpeech 上报告重建 WER 4.41 和 UTMOS 4.23,同时主动词边界判断把延迟从 560 ms 降到 270 ms,代价是说话人相似度等相似性指标未占优且仅在英语朗读类数据上验证。

 · 更新于 2026-11-18 · 约 19 分钟 · 9072 字 阅读 →
论文解读

低码率语音编解码装不下时:用语义与唇动补上高层信息

针对低码率下仅靠语音表示难以保留上下文与发音信息的问题,论文在 MDCTCodec 上增加语义与图像两个辅助分支并用交叉注意力融合,以直接拼接的融合模式和蒸馏后纯语音推理的蒸馏模式组织实验,在 TaL80 上把 ViSQOL 从 3.86 提升到 4.01,代价是融合模式推理需要额外的唇部图像与预训练语义输入。

 · 更新于 2026-11-18 · 约 22 分钟 · 10955 字 阅读 →
论文解读

压缩导向的语音编码为何不适合直接做自回归建模:ARDDS 的正则与异构降采样重对齐

针对现有神经语音编码器只优化重建而忽略自回归可预测性的结构错配,论文提出在编码器训练中加入下一 token 预测的自回归正则并对语义层做更强的异构降采样,在保持重建质量的同时使 token 分布更接近文本的 Zipf 规律并显著提升 SpeechLM 在推理、识别与合成任务上的可学习性。

 · 更新于 2026-11-18 · 约 22 分钟 · 10695 字 阅读 →
论文解读

连续编码表示上的分块解码:在一次前向与逐帧之间调节增强代价

论文把语音增强放在连续神经音频编解码表示上做掩码自回归建模,用同一 Conformer 和同一训练比较不同解码策略,在 Libri1Mix 上以 10 步取得介于非自回归与因果自回归之间的质量与算力,并以可听度指标接近非自回归基线。

 · 更新于 2026-11-18 · 约 18 分钟 · 8929 字 阅读 →
论文解读

并行相加代替串行求余:PACodec 如何用小码本做低码率语音编码

PACodec 用并行加性量化,在 LibriTTS 1.4 kbps 与 VCTK 4.2 kbps 上取得接近较高码率基线的客观表现;主观 ABX 仅在 LibriTTS 上进行,对多数 2 kbps 基线未检出显著偏好差异,并非等效证明,分支解耦也仍只是消融显示的潜力。

 · 更新于 2026-11-18 · 约 19 分钟 · 9436 字 阅读 →
论文解读

失配时只听一条语音:用干净先验把增强输出推向高密度区

针对训练与测试噪声失配导致的增强残留噪声,该文用冻结的自回归干净先验对单条测试语音做 KL 散度自适应,在 DNS 等四组数据上主要提升背景抑制,但需早停且初始已干净时收益很小。

 · 更新于 2026-11-18 · 约 19 分钟 · 9429 字 阅读 →
论文解读

单塔为何还能赢双塔:BiMTokenizer 用双向状态与固定格点重做 1.1 kbps 的语义-声学平衡

语音编码 | 8.3/10

 · 更新于 2026-11-18 · 约 25 分钟 · 12427 字 阅读 →
论文解读

当语音 Token 不再像自然语言:13 个编解码器在噪声下的语言统计学分化

语音编码 | 6.3/10

 · 更新于 2026-11-18 · 约 31 分钟 · 15156 字 阅读 →
论文解读

口音的长尾,为什么让无监督语音表示最先露怯?

语音编码 | 5.5/10

 · 更新于 2026-11-18 · 约 17 分钟 · 8018 字 阅读 →
论文解读

别让检测器猜伪迹:先把原声的压缩记忆藏回去

语音伪造检测 | 6.5/10

 · 更新于 2026-11-18 · 约 12 分钟 · 5792 字 阅读 →
论文解读

想找回被替换的原话,先接受水印不能再像哈希那样精确

音频水印 | 6.4/10

 · 更新于 2026-11-18 · 约 8 分钟 · 3888 字 阅读 →
论文解读

Speaker-Normalized Semantic Speech Tokens via Iterative S2U-T2U Refinement

语音编码 | 6.0/10

 · 更新于 2026-11-18 · 约 13 分钟 · 6303 字 阅读 →
论文解读

Using the Mimi codec for metalinguistic representations

语音编码 | 4.7/10

 · 更新于 2026-11-18 · 约 11 分钟 · 5440 字 阅读 →
论文解读

BAMU: Bitstream-Aware Marginal-Utility Allocation for Frozen Pretrained Neural Speech Codecs

语音编码 | 7.1/10

 · 更新于 2026-11-18 · 约 13 分钟 · 6455 字 阅读 →
论文解读

ReLMCodec: Designing Predictable Speech Tokens from Pre-Quantization Phoneme Structure

语音编码 | 7.7/10

 · 更新于 2026-11-18 · 约 19 分钟 · 9038 字 阅读 →
论文解读

LILAC: An Idempotent Neural Speech Codec

语音编码 | 8.1/10

 · 更新于 2026-11-18 · 约 12 分钟 · 6008 字 阅读 →
论文解读

Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions

语音质量评估 | 6.0/10

 · 更新于 2026-11-18 · 约 20 分钟 · 9539 字 阅读 →