向量量化

HE-NAC 针对 32 kHz 音乐在约 18 到 23 kbps 下高频易丢失的问题，用核心频段打底加中高频段残差补偿的三路残差向量量化与分阶段训练，在听感测试中超过同码率 DAC 与 24 kbps 商用 HE-AAC，代价是解码头更多与高频客观波形指标仍不高。

论文用离散词元做长时规划、用连续语义特征做声音渲染并让流匹配损失回传语言模型，在 192 个共用提示上 Joint-STD-48D 相对离散基线提升 SongEval 并降低音素错误率，但更宽特征与不同渲染路线各有取舍且增益来源尚未分离。

SepRQ 针对多人混合语音的表示学习问题，用无掩码的多分辨率伪源分离预测冻结随机码本序列，在 SUPERB 分离与日志任务上取得较强结果，代价是保留 85.68M 推理参数的编码器并在预训练时承担多层分离头开销，且单说话人任务仍受限。

针对低码率一阶 Ambisonics 编码问题，论文保留标准 DirAC 分析合成、只重做空间元数据量化，用三维指向向量加跨频带残差向量量化实现恒定码率，在 750bps 元数据下重建接近 48 kbps 参考并保留可用于声事件定位检测的空间线索，代价是仍依赖外部单声道编解码器恢复 W 通道。

论文把每帧多开一层 RVQ 值不值得花作为可学习的边际效用问题，用与目标码率无关的因果控制器预测效用，再用精确序列化前缀预算做分配，在不超预算下改善三域重建与部分冻结表征任务，但因果在线增益小于离线最优且主观增益仅在语音上显著。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

论文用同一无说话人条件的生成器把每种内容表示重新合成为语音，再测内容、说话人和韵律保留了多少，发现有监督表示只有在容量被显式约束时才解耦说话人，而码本大小只在同一机制内微调。

针对单码本语音 token 同时建模内容与音色且固定帧率浪费码率的问题，DySTCodec 用 32 个固定长度全局说话人 token 加相似度动态聚合语义帧，在 LibriSpeech 上以 0.7 kbps 固定帧率和 0.57 kbps 动态帧率保持可懂度和音色相似度，但 25 Hz 激进压缩仍出现可懂度下降。

ADDSE 把语音增强转写为以带噪码为条件生成干净神经音频编解码码的条件分布，用吸收式离散扩散和 RQDiT 并行解码，在两套跨语料噪声测试上以非侵入指标取得可比质量，尤其在低信噪比和少采样步数下保持稳定，代价是侵入式指标和相位重建能力明显弱于判别式基线。

ARTIST 把多语言语音到语音翻译转成先预测目标端发音特征离散单元再合成波形的两段任务，用冻结的 20 码本向量量化自编码器做跨语言瓶颈并配合编码器中间 CTC 与卷积增强差分注意力解码器，在仅用短句训练却测长句的条件下以 166M 参数在 BLEU、COMET 和 chrF 上超过 1.2B 参数基线，代价是仍依赖发音特征提取器与两阶段预训练冻结的设计。

AugCodec 针对低帧率下语义与说话人纠缠导致重建词错误率高的问题，用语音转换、换句同说话人和低频保留三种增强输入分别提取语义、说话人和韵律令牌，并在 LibriSpeech test-clean 上以 12.5 Hz 三路令牌取得更低词错误率和更高音质，代价是依赖外部语音转换模型和固定低频分界等构造选择。

BEST-RQ-2 保留冻结随机投影离散目标，用只看未掩码块的 ViT 上下文编码器加轻量预测器做两步掩码预测，在同一 AudioSet 划分和 20 万步预算下 X-ARES 与 XARES-LLM 总体迁移优于单阶段基线，而推理只用编码器故推理代价不变，代价是补块式切分仍使语音略低于条带式 BEST-RQ。

针对自监督语音特征中说话人、韵律和通道信息泄漏进语义标记的问题，论文用平行话语加增强对齐微调 HuBERT 得到 PINT，最强证据是说话人探针从 93.1% 降到 1.2% 且语言模型困惑度降低 27–30%，代价是仍残留部分情感信号并依赖强制对齐与平行数据构造。

针对无可靠教师模型的低资源语言因式分解编码问题，CycleCodec 用编解码器内部的循环说话人交换自监督代替蒸馏，在英语训练、中越零样本测试中提升了解耦稳定性，重建 WER 仍弱于有 WavLM 教师的 LSCodec。

DelayGSE 把去噪、去混响和超分放在多码本离散生成框架下，用延迟文本监督约束语义、用重要性加权平衡码本损失，主证据是内部集上词错误率从 0.099 降到 0.063 而 MOS 保持在 4.040 附近，代价是依赖大规模仿真数据与自回归推理。

针对固定帧率均匀分配分辨率的问题，DTM-Codec 用保留令牌加可学习掩码填充与线性时间边界选择 PLE，在计入位置边信息后的严格匹配总比特率下重建质量优于同架构固定帧率基线，代价是每步 1 比特掩码开销与高码率下增益收窄。

针对 BEST-RQ 固定随机量化器监督弱且对初始化敏感的问题，论文用在线主成分投影、迭代码本精修和中间层蒸馏码本三处在线改进，在 Librispeech 960 小时预训练加 100 小时微调下把 test-other 从 10.1% 降到 8.8%，代价是增加一个小码本与相似矩阵损失的计算。

针对标准残差向量量化各阶段频率纠缠与并行子带解码丢失谐波上下文的问题，HARP 只改训练损失、把 9 个阶段按低到高分成 4 组并做累积解码与软子带监督，在语音音乐通用音频上同时报告了客观与 MUSHRA 增益，代价是训练期约 2-3 倍解码器前向开销。

针对低帧率离散化丢失音色和微韵律的问题，论文用离散 token 做自回归骨架加单步连续残差精修，在 LibriTTS 上于 12.5 Hz 把 TTS 自然度从 1.99 拉回 4.10，代价是需维护双路编解码与两类损失的联合训练。

针对 Genhancer 中 FAVOR+ 近似导致聚焦不足与特征多样性下降，论文以保持线性复杂度的 Hydra 替换全局注意力并保留扩张卷积负责局部建模，在 DAPS 真实重录上以 106M 参数在多项指标超越 FAVOR+ 并接近 Softmax 上界，代价是长输入外推与生成幻觉仍需单独验证。