流式处理

论文解决用解码器大语言模型做流式语音识别时等待与出词耦合的问题，用等待概率加原词表分布的因子化结构，在日语和英语上取得更低错误率，并用等待步跳过大词表计算降低训练显存和推理开销，但纯文本困惑度仍高于原始模型。

针对 CPU 上低延迟流式说话人日志问题，论文把说话人识别网络改成因果帧级编码器并配以置信度门控在线聚类，在低重叠数据上取得领先但重叠语音仍是主要代价。

针对级联助手必须等说完话再调工具的问题，论文在流式识别期间用规则预测器提前发起只读搜索并缓存注入大模型，在商用手机实测把中位首音频延迟从 5.79 秒降到 4.60 秒，代价是部分投机调用被浪费。

针对英语语音到德日中文本的同传任务，论文用完整语音自译作锚点从部分波形合成单调前缀监督，对比单轮强制前缀与多轮追加解码，并用置信度阈值调节质量延迟，最强证据是多轮训练把提交校准误差降低六成以上而小合成裕度只在短句低延迟段有条件改善。

该文研究如何在不重新训练 Qwen3-TTS 的前提下，用发声用力和过度清晰发音两个方向在推理时调整隐藏表示，并在餐厅人声噪声下用词错误率和声学特征变化证明更清楚，同时保持说话人相似度和流式实时性。

针对一位永久气管造口并伴重度构音障碍的捷克语青少年的不可懂语音，论文用人工对话采集 33 小时单人语料并以 Whisper Base 做四阶段微调与流式改造，在三种实时场景下把字符错误率大幅降低，但绝对误差仍高且高度依赖说话人自身数据与设备适配。

Salt++ 针对流式音视频同时需要因果建模和少步蒸馏的问题，先用加噪历史做表示自监督训出因果教师，再让生成器与两个分数模型共用同一因果前缀做分布匹配，在 480p 四步条件下把视觉与运动质量做到超过同条件 OmniForcing 约 57% 和 45%，再把同样的四次调用拆到低分辨率和高分辨率做到 1664×960。

针对在线日志人数偏多偏少都看不出来的问题，该文只改基线跟踪器何时注册新说话人，用候选池积累证据加确认后才输出，在九个数据集上把宏观人数误差从 225% 降到 21% 并降低宏观 DER，代价是全部输出平均多等 0.109 秒。

WorldSonus 针对无声世界模型，用 100 ms 因果分块的自回归扩散同时解决实时跟播、中途改提示词和视角对齐立体声问题，在只看过去与当前帧的条件下取得可比双向模型的音质与更强的左右一致性，代价是单块 41.2 ms 计算与对高质量立体声数据的依赖。

针对全双工对话中犹豫停顿与真实说完难以区分的问题，FD-VAD 用冻结语音编码器加轻量适配器和低秩微调语言模型对 2.56 秒因果窗口做继续或停止判断，在 TurnBench 开发集零样本下取得限定误报内最高终点召回，但中位提交延迟高于最快的轮流预测基线。

针对注意力模型整句依赖未来音频而难以流式化的问题，论文用年龄版本编码把每块未来视野锁定为常数块，再用逐词触发器只推迟不确定的词，在完整测试集上以 6.5% 词错率达到 306 毫秒中位延迟，代价是无预算时尾延迟高于静态基线且训练与重编码开销增加。

针对流式语音转换中说话人验证嵌入抑制帧级发音差异的问题，VOSSA 冻结内容编码器并从其中间层聚合说话人嵌入，与重建加转换双路径联合训练，在保持可比质量与可懂度的条件下减少约 19% 参数并改善音高与共振峰保持。

PACT-SLM 用配对分支与可变起始点检验部分语音是否支撑外显动作，修正后 WavLM 探针在 onset 后语义标签准确率仅 26.03% 且未超过置换参考，完整轨迹准确率仅 5.94%，而时长对照更准地命中时机，说明身份与时机必须分开度量。

该文把离线音乐分离模型不改权重地按单跳滑窗流式运行，用读出位置控制算法延迟，证明窗口长度处存在质量拐点，并在 23 与 93 毫秒下用 HT-Demucs 与 SCNet 达到专用实时模型相当的分离质量，代价是除 HT-Demucs 外仍高于实时计算量。

针对免提通话需要因果低延迟联合回声噪声控制的问题，DiffVQE2 用因果卷积加单向 GRU 改造混合扩散框架并辅以有限前视，在 ICASSP 2023 AEC 盲测上以更低算力取得更高的主观 MOS，但客观双讲指标仍有代价。

针对全双工语音每秒输入必须在下一秒前变成一秒语音的截止期问题，DuplexCadence 把时钟速率与保留界声明给运行时，用按需定址的携带缓存与精确形状图回放在合成尾段实现约 2.85 倍加速与约 38.8% 峰值内存下降并保持逐字节一致，代价是一次性捕获预热与自回归阶段仍在无损范围之外。

FlowAct-R2 要解决长时间直播中边播边换参考仍保持身份与连续的问题，用流式多模态参考扩散变换器实现连续视频生成、用离线规划加在线调度的主动交互智能体决定演什么与何时演，在与 Vidu-S1 的人评中取得视频质量 +54.76% 与实时交互 +40.48% 的 GSB 分，代价是原文未公开训练数据、定量协议与延迟成本细节。

MyoCodec 针对肌电信号的流式与多任务需求，用因果 Transformer 编码加六级残差向量量化把 2 千赫兹肌电压成每通道 50 赫兹 2400 比特每秒的离散表示，在十二个公开数据集上训练后重建与四个下游任务上可复现地优于对照，但数据偏向打字与手势且下游结构未为离散 token 重设计。

在机载旋翼自噪声下识别十个飞行指令词时，跟踪窗前两秒每频带噪声地板并做条件化输入，能在保持对数梅尔基线误报率的同时把低信噪比检出率转成实际增益，而直接相减的归一化虽能提逐段准确率却会放大连续噪声上的误报。

针对原生大词表 CTC 需物化帧乘词表激活的问题，论文用目标词并集加 blank 做对齐、用全词表归一化加分块重算保持等价，并以有限波束剪枝和因果查询读出把预训练 LLM 做成非自回归与流式识别，在编码器上全步显存降 2.3 至 5.1 倍、LLM-CTC 保持在 LLM-CE 的 7% 相对词错率内并快 7.2 至 10.3 倍，代价是每步增加约 14 至 …