节拍赶不上的原因不在算力:用声明时钟同时收紧状态与执行
针对全双工语音每秒输入必须在下一秒前变成一秒语音的截止期问题,DuplexCadence 把时钟速率与保留界声明给运行时,用按需定址的携带缓存与精确形状图回放在合成尾段实现约 2.85 倍加速与约 38.8% 峰值内存下降并保持逐字节一致,代价是一次性捕获预热与自回归阶段仍在无损范围之外。
针对全双工语音每秒输入必须在下一秒前变成一秒语音的截止期问题,DuplexCadence 把时钟速率与保留界声明给运行时,用按需定址的携带缓存与精确形状图回放在合成尾段实现约 2.85 倍加速与约 38.8% 峰值内存下降并保持逐字节一致,代价是一次性捕获预热与自回归阶段仍在无损范围之外。
针对条件流匹配合成中近似子带持续增长而细节子带滞后的问题,论文提出免训练的频率选择性增强,在离散小波域按步调制中间梅尔谱,最强证据是 26 步达到 32 步质量且 FAD 大幅下降,代价是一次性标定低维调度且跨模型需更换函数形式。
在 T15 同一批缓存候选上,一次返回全表概率的 Jev 调用把测试词错率降到已发表权重下 7.46% 与重调权重下 6.93%,四组配对都领先两个 7B 打分器且 95% 上界最多落后 0.20 个点,代价是托管调用与传输主导的延迟。
论文针对语音指令识别中脉冲神经网络被认为比比特串行量化网络更慢的问题,提出带延迟控制的发放内核与流水延迟搜索,在匹配映射下用建模核延迟证明跨时间步重叠可更快,并在 GSC 上以 96.31% 精度达到 119.64 μs 建模延迟,代价是等待位置选错会同时变慢变差。
论文在笔记本与手机上实测四种神经音频解码器与 AAC-LC 和 Opus 的解码能耗与 ViSQOL 质量,报告神经端以更低码率达到相近质量但解码能耗更高,并用传输能量系数门限量化何时省下的传输能耗才能抵消多出的解码能耗,其中 EnCodec 门限最低而手机端 DAC 与 SNAC 多组超过 200 mJ/kbit 且全频段解码慢于实时。
针对连续音频流中的关键词检测任务,论文把已训练好的卷积主干切成以池化结尾的子模型并按静态调度稀疏执行,在保持识别精度的同时报告最高 82% 和 46% 的每秒计算量下降,但分类间隔拉长带来了可控的平均延迟增加。
针对窄带语音缺失高频且稀疏瞬态难以恢复的问题,UDSS-BWE 用双流 Swin-1D 格型生成器建模幅度和相位,并用五个决策科学与不确定性判别器做尾部敏感监督,在 VCTK 与 MLS 法语上以 18.5M 对 72M 的参数量取得更优感知质量,代价是训练期判别分支带来的额外开销。
针对 Whisper 解码器逐词生成耗时的问题,Whisper-Flash 用读取编码音频与已接受解码器状态的两层并行起草器一次提出 8 个词并由冻结 Whisper 验证,在完整 LibriSpeech 测试集上达到贪心解码 3.16 倍与 2.85 倍的音频吞吐且输出词元完全一致,代价是编码器固定开销占比上升与大批量下加速比收窄。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对换人换佩戴后声学通道变化需重设计滤波器的问题,PRIME-ANC 用正则化通道比值做幅度基座加共享卷积网络学有界对数幅度修正并经最小相位重建截断为可执行抽头,在留出通道上报告 50 Hz–5 kHz 平均 18.81 and 17.76 dB 降噪,三次高斯牛顿更新后达 21.43 dB reduction,代价是仍需校准通道估计与额外细化时间。
TinyAudio 针对十亿参数文本到音频系统难部署的问题,用 35M 单流 TA-DiT 加 32M 音频对齐文本编码器与 20M 解码器做流匹配生成,在 AudioCaps 上以 2.65 的 FAD 和 0.48 GB 峰值显存实现可比质量,一步版 TinyAudio-MF 则以质量下降为代价换取四核 CPU 实时生成。
针对大参数检测器逐条调用成本过高的问题,该文用转置卷积与逆短时傅里叶变换推导的可预测谱峰加线性频率倒谱时变特征训练 151 KiB 梯度提升树,在同源测试报告等错误率 0.021%,并在 0.050% 漏检约束下估计节能 84.4%,但留一生成器误差分布不均显示跨生成器迁移仍是主要限制。
针对双麦克风相近方向下空间线索不可靠导致轻量双通道模型退化的问题,论文用空间不变的单通道教师加动态仲裁蒸馏约束双通道学生,在 0°–15°难例上提升质量而大角度基本不掉点,代价是训练期要多跑一个冻结教师且只在教师更好时才蒸馏。
针对注意力编解码器逐字生成慢而 CTC 贪心快但易错的问题,论文提出在同一联合模型内用 CTC 贪心做初稿、注意力解码器只重写低置信位置的 SASD,并在 AISHELL-1 等数据上报告接近注意力重打分的字错率与 2.8 到 3.5 倍加速,但跨硬件的非同条件数值只能定性参考。
针对语音语言模型中语音 token 过长且时域冗余的问题,论文提出在编码器后按成对余弦相似度自适应合并的 AdaTS,用阈值 0.85 附近约 2 倍压缩在 ASR、问答与翻译上保持或超过均匀下采样,代价是阈值过低与只在对齐阶段压缩会明显掉点。
针对语音语言模型多码本延迟交织与无分类器引导难以装入文本单流连续批处理的问题,该文用主辅分解加在片声学解码与条件加无条件配对同批共前向的办法,在单卡 H100 上报告最高 108×加速与保持 80% 非引导吞吐,代价是小模型先触及显存带宽墙与半精度下约 34 步后出现数值漂移。
针对朗读英语词级感知重音评分任务,听觉对比网络用三个声学线索的相邻词非线性对比加轻量聚合,在跨语料迁移上以 202 参数达到 r=0.412 追平冻结 wav2vec2 个基线,加文本后到 r=0.451,代价是依赖外部词边界且仅在单语料对上验证。
针对视听目标说话人分离中判别法过平滑与扩散法需约 30 步迭代的问题,AV-FlowSep 用条件流匹配学习混合到干净梅尔谱的直线传输路径,在 VoxCeleb2 与 LRS2 的语音-语音和语音-噪声任务上以 1 步与 5 步推理取得可比或更优的感知质量与跨数据集稳定性,代价是仍存在面部条件带来的说话人混淆与声码器引入的轻微失真。
针对 EEND-VC 局部分割需要处理重叠语音并扩展到长录音和任意说话人数的问题,论文用 WavLM 前端加双向 RetNet 后端做短窗分割,在冻结与微调 WavLM 的两阶段训练下把域内宏平均 DER 做到 15.8% 和 15.0%,代价是后端参数增至 8.6M 且最优结论依赖固定 10 秒训练窗和 VBx 调参条件。
针对固定降采样忽略语速与内容变化的问题,该工作用连续积分触发机制按转写词元数动态压缩声学帧,在 AISHELL-1 等数据集上以更短的平均语音嵌入长度取得可比或更优的识别精度,代价是依赖转写长度监督与分词器选择。