会议总览

interspeech-2026 论文深度解读

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 2613 分钟 · 1309023 字 阅读 →
论文解读

把音色抽出来、把冗余帧并起来:DySTCodec 如何做低码率双流语音离散化

针对单码本语音 token 同时建模内容与音色且固定帧率浪费码率的问题,DySTCodec 用 32 个固定长度全局说话人 token 加相似度动态聚合语义帧,在 LibriSpeech 上以 0.7 kbps 固定帧率和 0.57 kbps 动态帧率保持可懂度和音色相似度,但 25 Hz 激进压缩仍出现可懂度下降。

 · 更新于 2026-11-18 · 约 20 分钟 · 9570 字 阅读 →
论文解读

用三种增强输入拆开语音:AugCodec 如何把语义、音色和韵律分开压缩

AugCodec 针对低帧率下语义与说话人纠缠导致重建词错误率高的问题,用语音转换、换句同说话人和低频保留三种增强输入分别提取语义、说话人和韵律令牌,并在 LibriSpeech test-clean 上以 12.5 Hz 三路令牌取得更低词错误率和更高音质,代价是依赖外部语音转换模型和固定低频分界等构造选择。

 · 更新于 2026-11-18 · 约 20 分钟 · 9571 字 阅读 →
论文解读

内容是剩下的东西:用平行话语逼出不变的语音内容标记

针对自监督语音特征中说话人、韵律和通道信息泄漏进语义标记的问题,论文用平行话语加增强对齐微调 HuBERT 得到 PINT,最强证据是说话人探针从 93.1% 降到 1.2% 且语言模型困惑度降低 27–30%,代价是仍残留部分情感信号并依赖强制对齐与平行数据构造。

 · 更新于 2026-11-18 · 约 19 分钟 · 9057 字 阅读 →
论文解读

不用蒸馏也能解耦:CycleCodec 用换说话人再换回来约束内容流

针对无可靠教师模型的低资源语言因式分解编码问题,CycleCodec 用编解码器内部的循环说话人交换自监督代替蒸馏,在英语训练、中越零样本测试中提升了解耦稳定性,重建 WER 仍弱于有 WavLM 教师的 LSCodec。

 · 更新于 2026-11-18 · 约 19 分钟 · 9199 字 阅读 →
论文解读

把比特花在变化处:DTM-Codec 用掩码与等路径分段做可变帧率语音编码

针对固定帧率均匀分配分辨率的问题,DTM-Codec 用保留令牌加可学习掩码填充与线性时间边界选择 PLE,在计入位置边信息后的严格匹配总比特率下重建质量优于同架构固定帧率基线,代价是每步 1 比特掩码开销与高码率下增益收窄。

 · 更新于 2026-11-18 · 约 23 分钟 · 11189 字 阅读 →
论文解读

离散省步数、连续补细节:HybridCodec 在 6.25 Hz 下如何保住说话人

针对低帧率离散化丢失音色和微韵律的问题,论文用离散 token 做自回归骨架加单步连续残差精修,在 LibriTTS 上于 12.5 Hz 把 TTS 自然度从 1.99 拉回 4.10,代价是需维护双路编解码与两类损失的联合训练。

 · 更新于 2026-11-18 · 约 18 分钟 · 8681 字 阅读 →
论文解读

所谓语义码本为何更像语音:四种语音编码器的语义与语音 probing

论文用同义词与近音词距离、声道距离相关和图文对齐三组探测检验 EnCodec、DAC、MIMI、MIMO,显示编码器保留更多语音发音结构而非词汇语义,跨模态对齐增益有限且蒸馏并未带来真语义。

 · 更新于 2026-11-18 · 约 16 分钟 · 7828 字 阅读 →
论文解读

对齐到文本长度还不够:TASTE-S 如何把离线对齐改成可流式编码解码

针对文本语音联合建模中语音单元远长于文本且原 TASTE 依赖外部离线 ASR 与非因果解码器的问题,TASTE-S 用内置 CTC 识别加全因果分块解码实现流式文本对齐分词,证据是在 LibriSpeech test-clean 与长语音重建上保持相近质量的同时把编码与解码实时率降到远低于实时,主代价是需两阶段联合训练且部分自然度评分受去噪与评测条件影响。

 · 更新于 2026-11-18 · 约 18 分钟 · 8815 字 阅读 →
论文解读

5 Hz 还能保真吗:U-Codec 用长依赖与深残差量化换取三倍合成速度

针对自回归语音语言模型在 50-75 Hz 下序列过长导致推理慢的问题,U-Codec 把编解码帧率压到 5 Hz 并用帧间 Transformer 与 8-100 层因子化残差量化补偿细节损失,在 LibriSpeech 重建与 LibriHeavy 零样本 TTS 上保持可比质量,代价是局部多层自回归解码仍占开销且 DAC 最高保真仍未被超越。

 · 更新于 2026-11-18 · 约 20 分钟 · 9916 字 阅读 →
论文解读

把重活交给解码器:ZipCodec 用 4.4M 编码器做单阶段语音分词

ZipCodec 针对语音分词器依赖重型预训练编码器和多阶段流程的问题,采用 Zipformer 编码器加有限标量量化加 Zipformer 流匹配解码器的单阶段自编码结构并辅以编码器一致性正则,在 23.4375 Hz 与约 1.97 kbps 下报告了可复述的重建与零样本合成结果,代价是仍依赖 Vocos 声码器与流匹配多步推理并需蒸馏加速。

 · 更新于 2026-11-18 · 约 18 分钟 · 8605 字 阅读 →
论文解读

只传一路码流、其余靠预测补齐:P2PSynCodec 的极低码率权衡

针对 0.5 kbps 下残差向量量化各级等码率却贡献递减的问题,P2PSynCodec 用一路普通量化传输加三路伪量化解码端预测补齐,在 LibriTTS 上以 0.5 kbps 达到与 2.0 kbps 基线可比的主客观质量,代价是伪量化网络带来额外参数与计算。

 · 更新于 2026-11-18 · 约 20 分钟 · 9822 字 阅读 →
论文解读

超低码率先保说什么:用内容上下文引导重建的 ContextCodec

针对 1000 bps 以下语音编码中声学细节挤占语言内容的问题,ContextCodec 用双分支解耦加音素对齐的上下文引导重建,在 500 bps 仍保持可懂度和质量平衡,代价是需要离线强制对齐监督与两阶段解码注入的复杂度。

 · 更新于 2026-11-18 · 约 17 分钟 · 8346 字 阅读 →
论文解读

把编解码器变小而不变差:用说话人分组同时压缩编码器与解码器

针对端到端神经语音编码模型过大难以部署的问题,该工作用说话人分组训练组专用小模型,在主观听感上以 96% 参数量削减和从 2 kbps 到 1 kbps 的码率减半维持了大模型质量,代价是发送端需增加说话人分组与组索引传输且错分会带来损失。

 · 更新于 2026-11-18 · 约 25 分钟 · 12447 字 阅读 →
论文解读

先保真再压缩:两阶段潜在分片如何把低帧率语音编码拆成可复现的步骤

针对低帧率低码率下保真与可训练性的矛盾,论文用高帧率对抗变分自编码器先吸收波形建模难度,再在潜在空间做分片流匹配压缩与语义监督,并在单卡消费级 GPU 条件下报告了重建与语音合成下游证据,但流式与非英语泛化仍未验证。

 · 更新于 2026-11-18 · 约 17 分钟 · 8486 字 阅读 →
论文解读

把一句话拆成四条流:多尺度残差如何让低码率编解码器分开内容、音色与韵律

MSR-Codec 用语义、音色、韵律与残差四路级联残差结构在 62.5 tokens 每秒下做高保真重建,并用两阶段语言模型做文本到语音,其代价是信号级细节指标仍受码率限制且部分实现细节未完全报告。

 · 更新于 2026-11-18 · 约 18 分钟 · 8603 字 阅读 →
论文解读

用紧码本挤掉音色、再把归一化基频塞回去:SDP-Codec 的低码率与零样本变声

针对局部 token 残留说话人信息与韵律丢失的矛盾,SDP-Codec 用连续 vq-wav2vec 特征加紧凑单码本做内容瓶颈、归一化 F0 注入与软标签基频重建恢复韵律,并在单阶段训练下以 0.45-0.52 kbps 取得可比的重建与更强的零样本变声,但 16 kHz 大模型的重建词错误率仍高于部分基线。

 · 更新于 2026-11-18 · 约 21 分钟 · 10280 字 阅读 →
论文解读

浊音多给比特、清音少给比特:VoCodec 如何用发声驱动量化压到 1.1 kbps

针对均匀量化在清音帧上浪费比特的问题,VoCodec 用全因果编码器并行做基频段能量浊音检测、对浊音帧用残差标量矢量量化而对清音帧只用单级标量量化,在 LibriTTS 16 kHz 下以平均 1.1 kbps 取得可比 1.5 kbps 基线的听感,代价是清音帧客观失真变差且需额外传输 1 比特浊音标志。

 · 更新于 2026-11-18 · 约 20 分钟 · 9732 字 阅读 →
论文解读

口音面前编解码与克隆语音还能保真吗:CodecMOS-Accent 的重合成与跨口音主观基准

该文针对神经音频编解码与基于其的大语言模型语音克隆在英语口音上的泛化问题,构建含 4000 样本、24 个系统、32 说话人和 10 种口音的平均意见分基准并收集 19600 条三维度标注,报告说话人相似与口音相似高度相关、客观指标可预测主观感受,但同口音听音人存在显著偏置且自然度评价需区分重合成上限与克隆去噪效应。

 · 更新于 2026-11-18 · 约 19 分钟 · 9107 字 阅读 →
论文解读

既要分开语义与声音,又要摆脱大模型的 HybridCodec

HybridCodec 针对语音离散化中语义解耦与推理速度的矛盾,采用双流结构加语义蒸馏,在 LibriSpeech 上以 RVQ-1 词错误率 15.36% 显示更强的首码本语义集中性,并以 0.014 实时率实现约 3 倍于 DualCodec 的推理加速,但声学保真指标略有让步。

 · 更新于 2026-11-18 · 约 16 分钟 · 7559 字 阅读 →