低码率不等于省电:神经音频解码器在笔记本与手机上的码率能量质量实测
论文在笔记本与手机上实测四种神经音频解码器与 AAC-LC 和 Opus 的解码能耗与 ViSQOL 质量,报告神经端以更低码率达到相近质量但解码能耗更高,并用传输能量系数门限量化何时省下的传输能耗才能抵消多出的解码能耗,其中 EnCodec 门限最低而手机端 DAC 与 SNAC 多组超过 200 mJ/kbit 且全频段解码慢于实时。
论文在笔记本与手机上实测四种神经音频解码器与 AAC-LC 和 Opus 的解码能耗与 ViSQOL 质量,报告神经端以更低码率达到相近质量但解码能耗更高,并用传输能量系数门限量化何时省下的传输能耗才能抵消多出的解码能耗,其中 EnCodec 门限最低而手机端 DAC 与 SNAC 多组超过 200 mJ/kbit 且全频段解码慢于实时。
针对连续音频流中的关键词检测任务,论文把已训练好的卷积主干切成以池化结尾的子模型并按静态调度稀疏执行,在保持识别精度的同时报告最高 82% 和 46% 的每秒计算量下降,但分类间隔拉长带来了可控的平均延迟增加。
针对窄带语音缺失高频且稀疏瞬态难以恢复的问题,UDSS-BWE 用双流 Swin-1D 格型生成器建模幅度和相位,并用五个决策科学与不确定性判别器做尾部敏感监督,在 VCTK 与 MLS 法语上以 18.5M 对 72M 的参数量取得更优感知质量,代价是训练期判别分支带来的额外开销。
针对 Whisper 解码器逐词生成耗时的问题,Whisper-Flash 用读取编码音频与已接受解码器状态的两层并行起草器一次提出 8 个词并由冻结 Whisper 验证,在完整 LibriSpeech 测试集上达到贪心解码 3.16 倍与 2.85 倍的音频吞吐且输出词元完全一致,代价是编码器固定开销占比上升与大批量下加速比收窄。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对换人换佩戴后声学通道变化需重设计滤波器的问题,PRIME-ANC 用正则化通道比值做幅度基座加共享卷积网络学有界对数幅度修正并经最小相位重建截断为可执行抽头,在留出通道上报告 50 Hz–5 kHz 平均 18.81 and 17.76 dB 降噪,三次高斯牛顿更新后达 21.43 dB reduction,代价是仍需校准通道估计与额外细化时间。
TinyAudio 针对十亿参数文本到音频系统难部署的问题,用 35M 单流 TA-DiT 加 32M 音频对齐文本编码器与 20M 解码器做流匹配生成,在 AudioCaps 上以 2.65 的 FAD 和 0.48 GB 峰值显存实现可比质量,一步版 TinyAudio-MF 则以质量下降为代价换取四核 CPU 实时生成。
针对大参数检测器逐条调用成本过高的问题,该文用转置卷积与逆短时傅里叶变换推导的可预测谱峰加线性频率倒谱时变特征训练 151 KiB 梯度提升树,在同源测试报告等错误率 0.021%,并在 0.050% 漏检约束下估计节能 84.4%,但留一生成器误差分布不均显示跨生成器迁移仍是主要限制。
针对双麦克风相近方向下空间线索不可靠导致轻量双通道模型退化的问题,论文用空间不变的单通道教师加动态仲裁蒸馏约束双通道学生,在 0°–15°难例上提升质量而大角度基本不掉点,代价是训练期要多跑一个冻结教师且只在教师更好时才蒸馏。
针对注意力编解码器逐字生成慢而 CTC 贪心快但易错的问题,论文提出在同一联合模型内用 CTC 贪心做初稿、注意力解码器只重写低置信位置的 SASD,并在 AISHELL-1 等数据上报告接近注意力重打分的字错率与 2.8 到 3.5 倍加速,但跨硬件的非同条件数值只能定性参考。
针对语音语言模型中语音 token 过长且时域冗余的问题,论文提出在编码器后按成对余弦相似度自适应合并的 AdaTS,用阈值 0.85 附近约 2 倍压缩在 ASR、问答与翻译上保持或超过均匀下采样,代价是阈值过低与只在对齐阶段压缩会明显掉点。
针对语音语言模型多码本延迟交织与无分类器引导难以装入文本单流连续批处理的问题,该文用主辅分解加在片声学解码与条件加无条件配对同批共前向的办法,在单卡 H100 上报告最高 108×加速与保持 80% 非引导吞吐,代价是小模型先触及显存带宽墙与半精度下约 34 步后出现数值漂移。
针对朗读英语词级感知重音评分任务,听觉对比网络用三个声学线索的相邻词非线性对比加轻量聚合,在跨语料迁移上以 202 参数达到 r=0.412 追平冻结 wav2vec2 个基线,加文本后到 r=0.451,代价是依赖外部词边界且仅在单语料对上验证。
针对视听目标说话人分离中判别法过平滑与扩散法需约 30 步迭代的问题,AV-FlowSep 用条件流匹配学习混合到干净梅尔谱的直线传输路径,在 VoxCeleb2 与 LRS2 的语音-语音和语音-噪声任务上以 1 步与 5 步推理取得可比或更优的感知质量与跨数据集稳定性,代价是仍存在面部条件带来的说话人混淆与声码器引入的轻微失真。
针对 EEND-VC 局部分割需要处理重叠语音并扩展到长录音和任意说话人数的问题,论文用 WavLM 前端加双向 RetNet 后端做短窗分割,在冻结与微调 WavLM 的两阶段训练下把域内宏平均 DER 做到 15.8% 和 15.0%,代价是后端参数增至 8.6M 且最优结论依赖固定 10 秒训练窗和 VBx 调参条件。
针对固定降采样忽略语速与内容变化的问题,该工作用连续积分触发机制按转写词元数动态压缩声学帧,在 AISHELL-1 等数据集上以更短的平均语音嵌入长度取得可比或更优的识别精度,代价是依赖转写长度监督与分词器选择。
论文用可复现的韩译英实时字幕级联研究切分与模型组合如何移动延迟质量前沿,最强证据是激进端点检测把中位实时率推过 1 并让稳定延迟随时间累积,而代价是短块加提示的识别错误上升 14 到 17 个百分点与翻译质量下降。
针对零样本语音克隆要在质量与延迟之间权衡的问题,DiFlow-TTS 用音素到内容映射器管语言内容、用因子化离散流去噪器同时生成韵律和声学码本,在 470 小时 LibriTTS 训练下以 164M 参数取得 UTMOS 3.98 与 WER 0.05,但说话人相似度仍弱于大规模基线。
该研究用 UniARC 框架在语音、声音、音乐三域对照连续特征与离散口令,发现语义约束而非离散与否决定理解性能,增大语言基座不能补偿前端信息损失,而离散表示收敛更快但高保真重建类编码器在语义任务上明显落后。
该文把远场回传增强中的本人声音当作已知干扰来删除,用注册语音条件化的时域掩蔽模型实现去噪加删人声,主证据是因果 2 ms 延迟下 Mamba-MinGRU 达到与 TD-SpeakerBeam 可比的 SDR 而主网络计算量从 4.97 GMAC/s 降到 0.33 GMAC/s,代价是小模型与多说话人时 SDR 明显下降且线性 RNN 辅助编码器在去噪条件 …