interspeech-2026 论文深度解读
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对单码本语音 token 同时建模内容与音色且固定帧率浪费码率的问题,DySTCodec 用 32 个固定长度全局说话人 token 加相似度动态聚合语义帧,在 LibriSpeech 上以 0.7 kbps 固定帧率和 0.57 kbps 动态帧率保持可懂度和音色相似度,但 25 Hz 激进压缩仍出现可懂度下降。
AugCodec 针对低帧率下语义与说话人纠缠导致重建词错误率高的问题,用语音转换、换句同说话人和低频保留三种增强输入分别提取语义、说话人和韵律令牌,并在 LibriSpeech test-clean 上以 12.5 Hz 三路令牌取得更低词错误率和更高音质,代价是依赖外部语音转换模型和固定低频分界等构造选择。
针对自监督语音特征中说话人、韵律和通道信息泄漏进语义标记的问题,论文用平行话语加增强对齐微调 HuBERT 得到 PINT,最强证据是说话人探针从 93.1% 降到 1.2% 且语言模型困惑度降低 27–30%,代价是仍残留部分情感信号并依赖强制对齐与平行数据构造。
针对无可靠教师模型的低资源语言因式分解编码问题,CycleCodec 用编解码器内部的循环说话人交换自监督代替蒸馏,在英语训练、中越零样本测试中提升了解耦稳定性,重建 WER 仍弱于有 WavLM 教师的 LSCodec。
针对固定帧率均匀分配分辨率的问题,DTM-Codec 用保留令牌加可学习掩码填充与线性时间边界选择 PLE,在计入位置边信息后的严格匹配总比特率下重建质量优于同架构固定帧率基线,代价是每步 1 比特掩码开销与高码率下增益收窄。
针对低帧率离散化丢失音色和微韵律的问题,论文用离散 token 做自回归骨架加单步连续残差精修,在 LibriTTS 上于 12.5 Hz 把 TTS 自然度从 1.99 拉回 4.10,代价是需维护双路编解码与两类损失的联合训练。
论文用同义词与近音词距离、声道距离相关和图文对齐三组探测检验 EnCodec、DAC、MIMI、MIMO,显示编码器保留更多语音发音结构而非词汇语义,跨模态对齐增益有限且蒸馏并未带来真语义。
针对文本语音联合建模中语音单元远长于文本且原 TASTE 依赖外部离线 ASR 与非因果解码器的问题,TASTE-S 用内置 CTC 识别加全因果分块解码实现流式文本对齐分词,证据是在 LibriSpeech test-clean 与长语音重建上保持相近质量的同时把编码与解码实时率降到远低于实时,主代价是需两阶段联合训练且部分自然度评分受去噪与评测条件影响。
针对自回归语音语言模型在 50-75 Hz 下序列过长导致推理慢的问题,U-Codec 把编解码帧率压到 5 Hz 并用帧间 Transformer 与 8-100 层因子化残差量化补偿细节损失,在 LibriSpeech 重建与 LibriHeavy 零样本 TTS 上保持可比质量,代价是局部多层自回归解码仍占开销且 DAC 最高保真仍未被超越。
ZipCodec 针对语音分词器依赖重型预训练编码器和多阶段流程的问题,采用 Zipformer 编码器加有限标量量化加 Zipformer 流匹配解码器的单阶段自编码结构并辅以编码器一致性正则,在 23.4375 Hz 与约 1.97 kbps 下报告了可复述的重建与零样本合成结果,代价是仍依赖 Vocos 声码器与流匹配多步推理并需蒸馏加速。
针对 0.5 kbps 下残差向量量化各级等码率却贡献递减的问题,P2PSynCodec 用一路普通量化传输加三路伪量化解码端预测补齐,在 LibriTTS 上以 0.5 kbps 达到与 2.0 kbps 基线可比的主客观质量,代价是伪量化网络带来额外参数与计算。
针对 1000 bps 以下语音编码中声学细节挤占语言内容的问题,ContextCodec 用双分支解耦加音素对齐的上下文引导重建,在 500 bps 仍保持可懂度和质量平衡,代价是需要离线强制对齐监督与两阶段解码注入的复杂度。
针对端到端神经语音编码模型过大难以部署的问题,该工作用说话人分组训练组专用小模型,在主观听感上以 96% 参数量削减和从 2 kbps 到 1 kbps 的码率减半维持了大模型质量,代价是发送端需增加说话人分组与组索引传输且错分会带来损失。
针对低帧率低码率下保真与可训练性的矛盾,论文用高帧率对抗变分自编码器先吸收波形建模难度,再在潜在空间做分片流匹配压缩与语义监督,并在单卡消费级 GPU 条件下报告了重建与语音合成下游证据,但流式与非英语泛化仍未验证。
MSR-Codec 用语义、音色、韵律与残差四路级联残差结构在 62.5 tokens 每秒下做高保真重建,并用两阶段语言模型做文本到语音,其代价是信号级细节指标仍受码率限制且部分实现细节未完全报告。
针对局部 token 残留说话人信息与韵律丢失的矛盾,SDP-Codec 用连续 vq-wav2vec 特征加紧凑单码本做内容瓶颈、归一化 F0 注入与软标签基频重建恢复韵律,并在单阶段训练下以 0.45-0.52 kbps 取得可比的重建与更强的零样本变声,但 16 kHz 大模型的重建词错误率仍高于部分基线。
针对均匀量化在清音帧上浪费比特的问题,VoCodec 用全因果编码器并行做基频段能量浊音检测、对浊音帧用残差标量矢量量化而对清音帧只用单级标量量化,在 LibriTTS 16 kHz 下以平均 1.1 kbps 取得可比 1.5 kbps 基线的听感,代价是清音帧客观失真变差且需额外传输 1 比特浊音标志。
该文针对神经音频编解码与基于其的大语言模型语音克隆在英语口音上的泛化问题,构建含 4000 样本、24 个系统、32 说话人和 10 种口音的平均意见分基准并收集 19600 条三维度标注,报告说话人相似与口音相似高度相关、客观指标可预测主观感受,但同口音听音人存在显著偏置且自然度评价需区分重合成上限与克隆去噪效应。
HybridCodec 针对语音离散化中语义解耦与推理速度的矛盾,采用双流结构加语义蒸馏,在 LibriSpeech 上以 RVQ-1 词错误率 15.36% 显示更强的首码本语义集中性,并以 0.014 实时率实现约 3 倍于 DualCodec 的推理加速,但声学保真指标略有让步。