流式处理

论文把连续音频监护形式化为四态打断或静默决策，用两个特殊词嵌入解码，在 ESC-50 上报告 99.6% 中断 F1 与 100.0% 去重召回，在未训练的 Epic-Sounds 上保持 96.7% 起始召回，代价是嘈杂域静默召回仅 10.1% 与平均 3.5 秒流式延迟。

Voice-Light 研究全双工级联语音交互中的轮次判断与重叠处理，用共享流式识别编码器的因果适配器加可逆混合控制器与私有推测生成，在 1673 个静音候选的锁定测试中学习策略仅获 12.53% 召回而保留混合控制器，在 36 轮真机麦克风案例中取得 758 毫秒中位响应但以 800 毫秒超时兜底。

针对全双工语音模型工具调用弱的问题，论文用前端判何时委派、后端做多轮工具调用再预填回前端复述的办法，在单轮调用召回 92%-97% 与多域语音代理任务上取得可比效果，代价是打断率偏高与合成数据带来的识别与暂停处理退化。

针对交错式流式语音识别大模型中外部强制对齐与模型自身对齐不一致的问题，该文用冻结非流式教师的文本音频注意力经置信度回退和单调搜索构造学生训练序列，并叠加 logit 与隐状态蒸馏，以聚合错误率从 9.35% 降至 7.80% 为最强证据，代价是相同蒸馏配置下闪烁高于强制对齐对照。

论文把电话诈骗检测写成弱监督增量打分问题，用冻结语音编码器加有界窗口循环建模与聚合器实现每 2 秒更新，在受控英文合成基准上报告终局 ROC-AUC 约 0.9953，而消融显示循环上下文是主要贡献且全局模型终局数值更强。

论文冻结分离主干只换状态机制，用 22 组启发式更新测出稳定性-可塑性前沿，再用闭环元训练的 41k 参数锚定快权重在严重失配下达 10.9 dB 并在 30 s 缺席后保留 6.2 dB，代价是匹配短句略低于静态注册且依赖通道增强覆盖。

论文把只检测持续在场主讲人的前景语音检测形式化为免注册逐帧二分类，用前景标签不变加竞争说话人混合的自动监督 recipe 让轻量流式 Mamba 在受控混合与真实远场上压低背景误报，同时在常规检测上保持可用，代价是目标不再占优与强语音形掩蔽下召回下降。

针对电子喉语音与健康语音域失配且大模型难流式部署的问题，论文用冻结自监督模型的离散音素目标加电子喉微调识别模型的瓶颈特征做三阶段渐进蒸馏，最好的 Mel-Conformer 把电子喉词错误率从最强零样本基线的 39.3% 降到 21.2%，代价是仍需平行语料做对齐且只用识别探测验证，ONNX 单核实时率为 0.30。

针对延迟流建模中结构延迟不能代表用户等待且固定对齐迫使模型晚输出的问题，论文引入词级实测延迟并在单点用准确率加延迟联合奖励做 GRPO 后训练，在 80 ms 处把词错误率相对降低 30.8% 且在 480 ms 处把中位延迟从 1.17s 降到 1.04s。

针对全双工语音到语音模型缺用户侧流式转写的问题，论文在复用同一解码器大模型主干上并行增加轻量 ASR 头并用帧级强制对齐训练，在双工框架内报告平均 WER 为 10.21%，独立识别配置报告为 7.73%，代价是平滑轮转延迟上升与部分打断指标未占优。

Realtime-Venus 用两个 9B 前端分别处理音视频与纯音频全双工对话，用双环运行时把即时说话与后台推理工具执行解耦，最强证据是 Omni 在六项视频基准领先与 Audio 在 MMAU 等四项音频问答领先，代价是打断响应与参数准确率仍落后及委派判断存在漏委派与过度委派的权衡。

该回顾把四代系统的进步归因于规划器与渲染器之间接口契约的四次搬迁，用同篇消融支持表示与归属判断，以分阶段联合训练解决低码率与跨模块协同问题，代价是更长的训练流水线与更复杂的条件控制。

针对开放泰语识别被离线模型主导而真流式时崩溃的问题，论文用缓存感知编码器恢复流式能力并在解码时做浅融合来引导词汇，在 1 秒前视下把字符错误率降低约 4.5 倍并把关键词召回从 16.6% 提升到 20.7%，额外开销不足 3%。

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

针对流式中视觉先成熟、音频后到达导致的过早跨模态承诺问题，OST 用未来声明加到期验证加谱系回撤加回答门控组织记忆，在冻结 Qwen3-Omni-30B-A3B 上提升流式与音视基准并在诊断集上降低视觉诱发的听觉幻觉，但重写对比与多阶段训练带来额外推理与训练代价。

针对强混响重叠与残留回声下的实时目标语音提取问题，该工作用分区多输出前端加在线波束形成再加跨波束细化的三段流水线，在十九点八七五毫秒延迟约束下把开发集可懂度和感知质量从基线附近明显抬高，而第二阶段更干净的主观听感反而在受污染近讲参考下出现客观分下降。

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读

针对流式语音识别只能用过去和很小当前块导致词错误率上升的问题，SENS-ASR 用过去帧经上下文模块蒸馏句子嵌入教师得到的语义向量拼接增强每帧表示，在 160 毫秒小块上报告了词错误率下降，但大块和全上下文增益消失且需额外训练教师与上下文模块。

该文在严格分块流式条件下检验 Conformer-Transducer 编码器中的自注意力，发现其退化为对角局部模式，进而用一维可变形卷积替换或直接删除自注意力，在 LibriSpeech 与 TEDLIUM-2 上保持词错误率基本不变并显著降低实时率与参数量。

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读