流式处理

共分析 137 篇 ICML 2026 论文

D2 把已具备理解与生成能力的半双工语音模型按固定短块切分对话，用流式编码器蒸馏加全双工监督微调实现边听边说，在 80 毫秒块下 Qwen3-Omni-D2 仍保持 70.1 的 VoiceBench 总分，但小块会明显削弱停顿容忍并保留合成与数据构造等限制。

Drama 3 用混合线性注意力骨干加逐码本预测解码器把配音、修订、拼场和补录写成同一种对话，用单一人类偏好奖励做强化学习，在多语克隆和按需修改上测得可复述的提升，代价是更大的总参数和更复杂的推理工程。

LiveAnon 用冻结的流式语音识别编码器特征直接驱动自回归编解码器语言模型做语音转换，并用截断的残差量化延迟同时控制隐私、情感保留和延迟，代价是仍依赖编码器分块带来的数百毫秒算法延迟。

LiveSynth 用流式 MIDI 加 CLAP 音色向量逐帧生成连续音频隐变量再经因果 VAE 解码，在 NSynth 和 Slakh 上取得与离线基线可比的音色相似度和更低的频谱距离，代价是音符准确率和制作质量偏低，且实时性结论只在 M3 MacBook Air 上 10 ms 帧长下成立。

Oído 把 13M 参数 Conformer-CTC 以整句整块加按帧动态 int8 的方式装进 ESP32-S3 并在 LibriSpeech 上做到 3.70%/8.23%，代价是单核约 2 倍实时、文本要在说话结束后数秒才出现。

RASSG 针对流式语音中用户修正参数会导致已启动工具产生不可逆陈旧执行的问题，用三次识别一致启动加校准无效风险在最后可取消时刻否决继续执行，在受控执行时钟下把 ReCAST 修正子集的陈旧率从 50.00% 降到 3.15%，代价是保留 3.676 s 成功延迟并依赖固定工具时间假设。

Sonic-AMG 针对双耳音频流加世界系声源位置输入，用 what 与 where 分离表征加因果 Transformer 与流头逐段生成动作，并以排练训练和空间反馈缓解历史与空间条件失配，在 SAM 上取得最优 FID 与 R-precision 且保持实时流式生成，但结论限于 SAM 划分与已知声源位置条件。

针对非音乐音频到符号音乐的一对多转换问题，Sori 用只在音乐音频上训练的编码器加双解码器结构配合域对抗训练和无分类器引导，在 AudioSet 评测上用连续参数控制贴合输入与音乐性之间的权衡，并以平均实时率 0.82 在消费级 CPU 上实现流式推理。

论文解决用解码器大语言模型做流式语音识别时等待与出词耦合的问题，用等待概率加原词表分布的因子化结构，在日语和英语上取得更低错误率，并用等待步跳过大词表计算降低训练显存和推理开销，但纯文本困惑度仍高于原始模型。

针对 CPU 上低延迟流式说话人日志问题，论文把说话人识别网络改成因果帧级编码器并配以置信度门控在线聚类，在低重叠数据上取得领先但重叠语音仍是主要代价。

针对级联助手必须等说完话再调工具的问题，论文在流式识别期间用规则预测器提前发起只读搜索并缓存注入大模型，在商用手机实测把中位首音频延迟从 5.79 秒降到 4.60 秒，代价是部分投机调用被浪费。

针对英语语音到德日中文本的同传任务，论文用完整语音自译作锚点从部分波形合成单调前缀监督，对比单轮强制前缀与多轮追加解码，并用置信度阈值调节质量延迟，最强证据是多轮训练把提交校准误差降低六成以上而小合成裕度只在短句低延迟段有条件改善。

该文研究如何在不重新训练 Qwen3-TTS 的前提下，用发声用力和过度清晰发音两个方向在推理时调整隐藏表示，并在餐厅人声噪声下用词错误率和声学特征变化证明更清楚，同时保持说话人相似度和流式实时性。

针对一位永久气管造口并伴重度构音障碍的捷克语青少年的不可懂语音，论文用人工对话采集 33 小时单人语料并以 Whisper Base 做四阶段微调与流式改造，在三种实时场景下把字符错误率大幅降低，但绝对误差仍高且高度依赖说话人自身数据与设备适配。

Salt++ 针对流式音视频同时需要因果建模和少步蒸馏的问题，先用加噪历史做表示自监督训出因果教师，再让生成器与两个分数模型共用同一因果前缀做分布匹配，在 480p 四步条件下把视觉与运动质量做到超过同条件 OmniForcing 约 57% 和 45%，再把同样的四次调用拆到低分辨率和高分辨率做到 1664×960。

针对在线日志人数偏多偏少都看不出来的问题，该文只改基线跟踪器何时注册新说话人，用候选池积累证据加确认后才输出，在九个数据集上把宏观人数误差从 225% 降到 21% 并降低宏观 DER，代价是全部输出平均多等 0.109 秒。

WorldSonus 针对无声世界模型，用 100 ms 因果分块的自回归扩散同时解决实时跟播、中途改提示词和视角对齐立体声问题，在只看过去与当前帧的条件下取得可比双向模型的音质与更强的左右一致性，代价是单块 41.2 ms 计算与对高质量立体声数据的依赖。

针对全双工对话中犹豫停顿与真实说完难以区分的问题，FD-VAD 用冻结语音编码器加轻量适配器和低秩微调语言模型对 2.56 秒因果窗口做继续或停止判断，在 TurnBench 开发集零样本下取得限定误报内最高终点召回，但中位提交延迟高于最快的轮流预测基线。

针对注意力模型整句依赖未来音频而难以流式化的问题，论文用年龄版本编码把每块未来视野锁定为常数块，再用逐词触发器只推迟不确定的词，在完整测试集上以 6.5% 词错率达到 306 毫秒中位延迟，代价是无预算时尾延迟高于静态基线且训练与重编码开销增加。