极低码率下保住语义再重建波形:FlowTokenizer 的分层对齐与单层稠密量化
针对每秒仅 25 个 token 重建 24 kHz 波形时语义丢失与高频失真问题,论文用条件流匹配迭代生成波形并以分层表示对齐与稠密单层量化组织语义和声学信息,最强证据是 8 层 RVQ 对照与频带误差表显示的语义保持与高频改善,代价是四步 ODE 采样与大规模 Transformer 解码器的推理开销。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对每秒仅 25 个 token 重建 24 kHz 波形时语义丢失与高频失真问题,论文用条件流匹配迭代生成波形并以分层表示对齐与稠密单层量化组织语义和声学信息,最强证据是 8 层 RVQ 对照与频带误差表显示的语义保持与高频改善,代价是四步 ODE 采样与大规模 Transformer 解码器的推理开销。
针对重构训练的编码器与自回归语言模型目标不一致导致词元难学的问题,论文用未来词元预测与语义对齐改造编码器,在 SALMon 上报告 61.6% 准确率与 35 倍困惑度下降,同时语音 Mel 距离改善 5.0%,代价是需要配对文本与额外训练开销。
针对语音能量集中而音乐音效需全频保真的问题,BSCodec 把频谱切成独立频带并行编码量化解码,在相同混合训练下以 2.55 kbps 和 3.83 kbps 对标 DAC 的 4.5 kbps 和 6 kbps,代价是编码器解码器数量随频带数增加且语音对切分粒度敏感。
共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读
UniStream 针对 48 kHz 因果流式语音、音乐与环境声共用一套残差码本容量不足的问题,用多专家残差向量量化扩大每层量化容量并靠已解码状态确定性复现路由,用训练期最优传输条件流匹配正则化量化隐空间,在 12 kbps Top-1 和 22.5 kbps Top-2 两档下以 ViSQOL、Mel 失真和消融证明多专家是主要增益来源,而流正则只带来语 …
为解决视觉遮挡下世界模型缺乏空间听觉的问题,BinauralVAE 对比三种 VAE 在 0.2 秒双耳片段上的重建能力,显示保留相位的复数 VAE 在低频段实现可听的空间保真,而幅值-only 与四通道实数 VAE 分别因 ITD 丢失与相位塌缩而失效。
针对三阶 HOA 在约 27 kbps 单传输通道下混响建模不足的问题,论文以波束成形参考盲估计相对空间房间脉冲响应并拆为稀疏波包与残差包络进行参数化,在未见 SRIR 上取得与 32 kbps IVAS 相当且验证集上略优的 QASTANet 分数,同时把空间参数压到约 2 kbps。
论文把 RIR 压缩从通用音频重建转向房间结构约束,用 EnCodec 单码本加 EDC 与局部能量加混响语音监督,在 375 bps 上把 T60 误差降到 1.14 s、ViSQOL 做到 4.11,但 46.875 bps 时容量明显不够。
音频编码 | 7.6/10
音频编码 | 3.5/10
音频编码 | 6.6/10
音频编码 | 8.1/10
音频水印 | 6.4/10
音频编码 | 9.6/10
音频编码 | 5.3/10
音频编码 | 6.4/10
语音增强 | 5.8/10
音频编码 | 7.7/10
音频编码 | 7.4/10
音频编码 | 8.2/10