熵模型与比特分配如何同一步调适应:一种感知音频编码的闭环设计
该论文把随解码数据在线学习的熵编码代价直接送入感知比特分配,用动态规划在块预算下求最小总噪声掩蔽比,并用严格按块与带储备的对照分离出熵感知与协同适应的增量,代价是动态规划编码端约 20 倍于拉格朗日方法的计算量。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该论文把随解码数据在线学习的熵编码代价直接送入感知比特分配,用动态规划在块预算下求最小总噪声掩蔽比,并用严格按块与带储备的对照分离出熵感知与协同适应的增量,代价是动态规划编码端约 20 倍于拉格朗日方法的计算量。
HE-NAC 针对 32 kHz 音乐在约 18 到 23 kbps 下高频易丢失的问题,用核心频段打底加中高频段残差补偿的三路残差向量量化与分阶段训练,在听感测试中超过同码率 DAC 与 24 kbps 商用 HE-AAC,代价是解码头更多与高频客观波形指标仍不高。
MSVAE 针对歌词与连续音频隐变量难对齐的问题,把 64 维隐变量切成两个 32 维子空间分别对齐曲谱与语音识别参考,并以冻结音乐自监督特征为后验基底加门控声学修正,在保持重建的同时用无时间标注的音素前缀实现可懂歌声,代价是两阶段大语料训练与多判别器联合优化。
针对低码率神经音频编码导致深伪检测错误上升的问题,论文用混合配对协议定位真假两侧不对称失效,再冻结 DAC 并加入码率条件残差适配器做检测器引导微调,在 ASVspoof 2019 LA 上 0.5 kbps 处把 AASIST 等效错误率大幅降低,同时只增加约 1.75% 参数并保持重建质量基本相当。
针对低码率一阶 Ambisonics 编码问题,论文保留标准 DirAC 分析合成、只重做空间元数据量化,用三维指向向量加跨频带残差向量量化实现恒定码率,在 750bps 元数据下重建接近 48 kbps 参考并保留可用于声事件定位检测的空间线索,代价是仍依赖外部单声道编解码器恢复 W 通道。
论文把每帧多开一层 RVQ 值不值得花作为可学习的边际效用问题,用与目标码率无关的因果控制器预测效用,再用精确序列化前缀预算做分配,在不超预算下改善三域重建与部分冻结表征任务,但因果在线增益小于离线最优且主观增益仅在语音上显著。
论文在笔记本与手机上实测四种神经音频解码器与 AAC-LC 和 Opus 的解码能耗与 ViSQOL 质量,报告神经端以更低码率达到相近质量但解码能耗更高,并用传输能量系数门限量化何时省下的传输能耗才能抵消多出的解码能耗,其中 EnCodec 门限最低而手机端 DAC 与 SNAC 多组超过 200 mJ/kbit 且全频段解码慢于实时。
MyoCodec 针对肌电信号的流式与多任务需求,用因果 Transformer 编码加六级残差向量量化把 2 千赫兹肌电压成每通道 50 赫兹 2400 比特每秒的离散表示,在十二个公开数据集上训练后重建与四个下游任务上可复现地优于对照,但数据偏向打字与手势且下游结构未为离散 token 重设计。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
SAGE 用复数 STFT 上的三阶段 SwinV2 变分自编码器加延迟蒸馏 CLAP 语义,在 105M 参数和 Stable Audio Open 同级推理成本下达到 SAME-L 的主观质量并在客观重建与十九个探测任务上领先,代价是两阶段大算力训练与对 SDR 类样本精确指标的让步。
BACH 把八种约 1 kbps 的神经音频编解码器放在五种生物声健康任务上,用原始域、压缩表示域和重构音频域三条路径对比,发现重构保真度高的编解码器不一定保留诊断语义,而解耦语义的编解码器下游更好但重构受限。
针对音乐重建中相位不准与声像塌陷问题,论文用 K 加权感知滤波、相位相关损失与幅度相位分离的 MSLR 监督改造连续变分自编码器,并在多分辨率评价与消融中验证高频谐波与空间保持的收益及其对内部数据的依赖。
该文用 11 段纯语音与 11 段语音加背景音的 MUSHRA 听测检验 20 余种客观指标,发现 SCOREQ 在纯语音上 Pearson ρ 为 0.937、PESQ 在混合音频上 ρ 为 0.903,而 PEAQ 与多数免参考指标在混合内容上失效,代价是现有指标均不刻画立体声空间失真且样本与听音人数有限。
针对标准残差向量量化各阶段频率纠缠与并行子带解码丢失谐波上下文的问题,HARP 只改训练损失、把 9 个阶段按低到高分成 4 组并做累积解码与软子带监督,在语音音乐通用音频上同时报告了客观与 MUSHRA 增益,代价是训练期约 2-3 倍解码器前向开销。
针对多麦克风通信中只想在接收端合成可配置指向虚拟麦克风的问题,论文提出联合空间编码与滤波的神经方向性编码,用 0.25 kbps 空间边信息加单通道参考在四麦 16 kHz 上达到与 7.5 kbps 级联基线相当或更好的 SDR 与 PESQ,代价是依赖单通道编解码质量与无混响训练条件。
针对冻结神经音频编解码器丢失词义性基频的问题,论文提出旁路音高注入残差适配器 PIRA,用 1.25M 至 1.65M 可训练参数和每帧 5 比特边信息把平均编解码器引入声调错误率降低 35.7%,同时保持英语质量不变且可完整移除。
论文提出稳定性-码率-失真三维视角并用连续编辑距离度量几何漂移,在 26 种方言上显示连续隐变量尚稳定而量化后离散序列 катастрофически 破碎,且低资源语言要额外缴纳语言税。
该文研究 16/24 比特全保真音频能否用自回归语言模型加算术编码做无损压缩,提出把每个样本拆成字节的 Trilobyte 使词表恒为 256,最强证据是 8 比特大幅超过 FLAC 而 16 比特平均只超 18%、24 比特落后 9%,代价是序列变长且推理远慢于 FLAC。
针对冻结且结构失配的编码器与解码器无法直接互通的问题,BridgeCodec 用薛定谔桥学习源潜变量到目标潜变量的最优传输并以 Mamba 增强 U-Net 建模长时依赖,在 8 kHz、1 kbps 输入到 48 kHz 重建的极端条件下把 STOI 从 0.23 提升到 0.88、SIM 提升到 0.96,代价是高频生成内容使 WER 略升至 2.11 …
针对声学传送编码器的语音与声学分区,该工作用冻结编码器加轻量探针分别回归房间参数与分类说话人,以分区间的性能差距度量解耦,发现说话人基本被锁在语音分区而房间信息仍泄漏进语音分区,且声学嵌入的盲估 T60 与全监督基线差距仅 0.02 s 量级。