流式处理

共分析 137 篇 ICML 2026 论文

论文以流式 Zipformer 编码器四个深度为轴，用加韵律的增量、从编码器重建韵律、逐特征增量三项检验说明手算韵律在原始输入上有大增益、进第一层后即塌缩，残余多为说话人层面的捷径而非边界定时。

Omni-Life 用 400 段视频考查助手能否在需要时及时说对、不需要时保持沉默，最好的 12 个配置也只有 4.48% 的视频完全做对，而反复提醒虽能提高覆盖却会带来每分钟数次的不必要打扰。

针对流式语音识别不知道未来语音内容和时机的困难，论文用一段拼在输入边界、可复用的短音频统一实现语义引导、指定文本劫持和整体降质三类操控，在数字域平均成功率 97.6% 和 93.4%、无目标词错误率 1.18，空中播放后仍保持 91.5% 和 89.5%，代价是需要白盒梯度离线优化且隐蔽性只靠模板约束和主观听感代理指标。

针对长时高采样音频序列过长导致自注意力平方复杂度与整段一次性生成难以流式扩展的问题，MFlowAudio 用时间与通道双路 Mamba 建模潜在表示并用有状态流匹配实现分块训练生成，在 AudioCaps 等条件下保持与基线可比的生成质量并将首块延迟固定在 1.8 秒左右，但动态切换语义与边界自然度之间仍需权衡。

VoxLock 要解决背景人声被识别器转写的问题，做法是从本次通话截取 3 秒 caller 声音去提示因果分离模型，在 Krisp 真实录音上把词错误率从 23.21% 降到 4.95%，代价是干净电话场景会轻微变差且依赖 caller 最早最响的假设。

针对低码率下残差向量量化每帧固定用量化器造成的帧间冗余，该文提出在编码器与解码器之间按帧选择完整量化的关键帧或只量化帧间残差的增量帧，并用只看因果信息的比特银行调度器把实际码率推向目标值，在 LibriTTS 上 DAC 在 1.5 kbps 附近达到接近 2.0 kbps 固定量化的重建质量，代价是每帧 1 比特模式标志和最长增量游程约束下的有限码率调节范 …

论文把流式 Zipformer2 transducer 编码器压缩到 2 与 4 比特并用整数流水线在 ESP32-P4 上实时运行，在 LibriSpeech test-clean 上以 4.34% 词错率比原模型高 0.40 个百分点，而整数运算本身几乎不带来损失，代价集中在权重上。

论文把训练语音分为多人多轮会话与单轮人机指令两类，在同一标注与同一流式模型下证明会话训练能大幅减少中途停顿处的误触发，但该优势在话语级判断中只出现在会话测试上，且以更长的等待延迟为代价。

论文用自动语音识别加自然语言处理加语音合成的级联把说话人声音和文本中的个人身份信息一起去掉，在保持可懂度和接近离线系统隐私水平的同时把 utterence 起始端到端延迟做到 717 ms 量级，代价是流式切分带来的字错率上升和对识别错误的敏感。

Live-OPSD 让流式策略先自己生成回应，再用训练时特权提示给出分布目标并做决策感知筛选，在 LiveProBench 30B 上达到 59.64 分，但结论只在同协议同数据受控对比下成立。

S3-S2ST 把整句语音对翻译成按语义切分的增量训练轨迹，用 640 ms 固定分块和可调 READ/WRITE 门限实现流式语音到语音翻译，在 FLEURS 和内部 9 对数据上验证了翻译质量，并在 RealSI 上展示了质量与延迟的权衡。

StreamSE 针对因果流式与手机端算力约束，用冻结因果神经音频编解码器的连续隐变量回归代替离散 token 分类与迭代采样，在 DNS Challenge 2020 上以零前视达到可比离线生成模型的 DNSMOS，并以单核 p95 每帧 61.04 毫秒满足 80 毫秒预算，代价是截断精细量化层级会损失部分说话人相似度。

Tap2Listen 把只处理混合音频的编码器与只受所选人脸控制的解码器分开，用分量损失训练，在 LRS3-2mix 上固定目标达 9.68 dB SI-SNRi 并在切换后首帧恢复，代价是 16 ms 算法延迟和单次重投影计算。

针对多流同时语音到语音翻译在推理时难调延迟的问题，DIAL-S2ST 用带前视的冻结教师蒸馏无前视学生并用单 LoRA 按尺度控制早说，在法英 Hibiki 上以约 10 小时源语音实现可调的延迟与质量权衡。

JIT-MPE 用一个因果模型对每帧先即时估计再用延迟头修正，在 50 毫秒截止下接近自身最终输出，并在多个集上以 8.6 万参数达到可比精度，其提升主要来自音头后几十毫秒的修正。

论文解决流式推理中把模型切成几个持续运行大内核的问题，用常规执行画像加独立算子实测来排序候选切分，在三个模型十三个模型批量组合上选出实测最快设计，代价是只做排序代理而不精确预测绝对时延。

RoleHear 用解耦的转折标记加延迟的角色取值标记让流式换能器内联输出角色，并用离线教师的一遍伪标签加多模态大模型的银标签补足监督，在客服与财报电话上缩小了流式与离线的角色归属差距。

SimPOTrans 针对离线语音翻译模型难以直接处理不完整语音的问题，用两阶段强化学习先增强整句翻译能力再在部分语音多轮轨迹上自我适应，在 ACL 60/60 和 MCIF 三个英译外方向上取得更好的质量延迟权衡，但其 BLEU 低于基线且依赖固定时长切块。

Uni-Stream 用时间对齐的流式交错序列把识别与合成放在同一个解码器模型里，先分别适配再联合训练，在约 4 万小时英文数据上接近专用流式模型的识别与合成水平，但表示探测显示语音与文本仍处在不同子空间。