流式处理

该工作用流式语音识别加文本预处理加机器翻译加两阶段大模型压缩的级联管线做英译中自动字幕，在开发集上以压缩换合规并略微改善 SubER，而代价是保留时间戳不动且依赖确定性改写与人工规则阈值。

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

论文用同一轻量三流分类器穷举声学、韵律、文本七种组合，发现声学加韵律在相同训练下取得最平衡的准确与延迟，而加入文本只增加抢话误报且不能提升性能。

论文把带噪标注起点建模为真实起点加偏移并用期望最大化估计数据集级均值来校正起始偏差，同时用对角状态空间模型 S4VAD 实现流式低延迟检测，在合成朗读混合与真实电影语音上报告了更低的起始偏差与延迟分布尾部，但结论依赖参考模型质量与有界独立噪声等假设且本次无可用代码资源。

该工作用 Parakeet 做流式识别、Qwen 3.5 做流式翻译并以黑盒前缀策略控制提交时机，在 MCIF 长语音上以高延迟配置换质量、低延迟用掩码重翻译补足，并用词表增强与检索示例做上下文轨道，代价是更宽松策略会带来可测的质量回落与闪烁。

该工作用双模统一识别器做流式转写加多语言大模型做翻译的级联路线，在英德英意英中和捷英四个方向上以统一模型覆盖高低延迟档，最强证据是低延迟下统一模型转写与翻译质量优于缓冲与缓存感知基线，代价是中文等语序重排方向需缩小块并提前结束以控延迟。

Pinch-AST 针对最长约 2.5 小时无切分音频同时翻译，用 Qwen3-ASR 加 Qwen3.5-4B 每语言对 LoRA 级联与字符级最长公共前缀只增发，在单张 H100 上报告 En→De、En→It、En→Zh 相对基线 XCOMET-XL 提升 4.1、5.7、2.6 分，代价是靠固定块重解码与前缀截断训练控制延迟。

论文把同传从读写时机控制改成包含切句、删除、压缩与代词化的动作选择，用统计感知的逐步提示在英中、英德、英日上同时改善语义与单调性延迟，但文本实验与启发式充分性检查仍留下语音端到端的待验证缺口。

针对流式语音大模型边听边推理容易出错且不能回滚重说的问题，RetroThinker 用三阶段事后反思微调让 Moshi 在文本内心独白中自验自改，在 TTS 版 GSM8K 上以相近延迟取得 11 个百分点的绝对准确率提升，代价是反思会先拉长推理链，需再用 Early Reasoning 和 LengthDPO 压回延迟。

针对连续音视频流中被动问答与主动触发难以统一的问题，ROMA 用一秒多模态单元加分块时间位置编码与独立说话头做对齐与时机判断，在主动提醒与实时解说上报告最优并保持被动问答竞争力，代价是每秒决策粒度和有限上下文。

针对流式语音对话必须在文本生成前给出情绪条件的问题，Self-EmoQ 用话语级马尔可夫决策过程加模仿奖励与普鲁契克理论奖励学习情绪规划器，四个对话数据集上报告了情绪排序与回复质量的提升，代价是依赖大模型打分与离散情绪集合。

SHANKS 针对等说完再思考导致无法中途打断和工具延迟的问题，采用固定时长语音分块交替生成未说出思考，在数学打断与旅行工具对话中提前完成推理和调用，但提前行动伴随成功率下降需与听完再调用组合使用。

针对语音对话中停顿与轮次结束难以区分的问题，论文构建含合成与真实对话的 OpenETD 数据集并提出 SpeculativeETD 两级协作推理，用端侧轻量模型逐块判有声无声、只在静音段触发服务端大模型判暂停还是结束，在混合训练下真实集上取得更好分割效果，代价是服务端调用与传输延迟仍需计入部署预算。

论文把同时语音翻译拆成停顿切分与离线多模态大模型增量翻译，用等待块数与每轮生成上限控制延迟，在开发集上以五折交叉验证显示优于级联基线，但大模型推理开销与误差累积仍是代价。

该工作在 SeamlessM4T 编码器每层加入预测未来帧数的调度器并用滑动窗口重翻译与改造版 StreamAtt 进行验证，最强证据是改造版 StreamAtt 在英德 4 秒块取得 1976 毫秒延迟比基线快 817 毫秒，主要代价是两种策略下翻译质量均系统性低于未修改基线。

ZipCodec 针对流式语音 token 序列过长问题，用因果 log-mel 前端加 16 帧组块把帧率压到 6.25 Hz 与 0.80 kbps，再以约 94000 小时英文语音上的 WavLM 第 6 层蒸馏加标量球面量化保持重建与下游表征质量，代价是 842M 参数与严格的流式因果约束。

针对同声传译需在部分语音下增量输出的问题，EASiST 用多延迟语义分块构造单调交错数据、全单向语音编码器加 LLM 与轻量读写策略头经三阶段训练实现自适应低重算推理，在 MuST-C 与 Europarl-ST 英德英西上取得更好的延迟质量权衡，但自适应增益依赖分块对齐质量与阈值调节。

该文用同一组流式识别与流式说话人日志模型派生出级联、掩码输入、词级串行输出和日志条件四种架构，对比多说话人准确率、单说话人退化、内存占用与训练代价，并以排列不变动态时间规整解决短片段训练标签对齐问题，其中日志条件精度最好但需要微调与多实例代价。

针对同传要在质量与延迟之间选读或写的问题，REINA 用完整音频与截断音频下对数概率之差估计信息增益来训练独立策略网络，在 MUST-C 与 CVSS-C 上提升归一化流效率，但截断适配训练与单调约束不可缺且德语高延迟点仍有反例。

针对同声传译需在流式语音下联合决定何时翻译与翻译什么的问题，SASST 用句法感知分块加目标侧重排构造含等待符号的流式监督并统一到冻结 Whisper 编码器加解码器大模型中，在 CoVoST2 英德英中英日上以 2 到 4 秒级延迟取得质量优势，其代价是依赖句法分析器与额外的对齐预处理。