流式处理

StreamAlign 针对离线文本对齐切分必须等整句和词级复制丢失细节的问题，用词级流式识别引导字符级 RNN-T 对齐再聚合成大模型子词单元，在 LibriSpeech 上报告重建 WER 4.41 和 UTMOS 4.23，同时主动词边界判断把延迟从 560 ms 降到 270 ms，代价是说话人相似度等相似性指标未占优且仅在英语朗读类数据上验证。

该文把随语音手势生成改成随音频推进的滚动扩散窗口，用逐帧递增的噪声排布和一次性解码多帧的梯子加速，在 ZEGGS 与 BEAT 上提升连贯性与多样性，代价是梯子步长增大时在表现力强的数据上会出现平滑与抖动问题。

针对整序列扩散在超长语音上泛化下降与延迟随长度增长的问题，该文用固定窗口历史运动加当前音频生成动态条件，再用单层扩散头逐帧去噪，在 BIWI 长序列与消融对照上显示出同步与稳定优势，但短序列口型开合仍有可比基线。

UniStream 针对 48 kHz 因果流式语音、音乐与环境声共用一套残差码本容量不足的问题，用多专家残差向量量化扩大每层量化容量并靠已解码状态确定性复现路由，用训练期最优传输条件流匹配正则化量化隐空间，在 12 kbps Top-1 和 22.5 kbps Top-2 两档下以 ViSQOL、Mel 失真和消融证明多专家是主要增益来源，而流正则只带来语 …

增量文本流式语音合成需要在线知道说到原文何处，X2-NativeCursor 用原生语音令牌加局部匹配做可修正估计再输出单调光标，在 80 毫秒前视下中文平均绝对误差 0.151 字，对比在线波形基线 320 毫秒前视下 1.253 字，代价是每个主干需单独训练观察器且对未见音色敏感。

针对全双工语音对话在背景噪声和重叠说话下语义口令损坏的问题，AV-STE 用流式视听编码器加噪声自适应融合在冻结 Moshi 之前恢复第一码本语义口令，同数据集多人干扰下 GPT-4o 连贯性平均从 1.42 提到 1.91，代价是干净语音存在口令失配且依赖可靠唇部视频。

针对语音视觉文本连续输入下既要低延迟可打断对话又要长程工具执行的问题，Gander 用小脑负责流式交互与块级控制、大脑免训练负责长程推理并通过编排运行时协同，在 Full-Duplex-Bench 上以 100% 合时接管与 8.0 抢话率取得交互最优，同时在 SpokenQA 上保持 75.60 与 59.30 的流式问答能力，代价是 WorldSense …

针对方言、动态实体、口语不流利和长上下文的生产转写问题，该报告用混合专家大语言模型解码器统一控制语言、热词、历史与润色，并在中英文与多语基准及工业集上给出可核对的误差率与延迟对照，其代价是依赖大规模数据管线与指令组合训练。

针对严格因果实时伴奏中自回归节奏漂移问题，Silent Metronome 用与生成音频无关的外部节拍相位加速度拍子条件做逐帧锚定并辅以未来词元预测塑形表示，在 Slakh2100 上把 Beat-F 从 0.133 提升到 0.432 并超过 1 秒前视的非因果参照，代价是参数量增加与分布保真度的轻微回落。

TASTE2 把每个文本词元配一个连续音频隐变量使序列长度严格等于文本，用 56.3% 对 57.3% 保留 98.2% 文本问答能力并以 0.060 秒停下响应用户打断，代价是流畅接话需 1.207 秒、部署首音频 2701 毫秒且显式副语言控制不稳定。

TontaubeV1 把 12.5 Hz 分层编解码的语义流交给大模型定韵律与时长、三个小模型逐层补声学细节，并用配对边界与有界窗口做长文本流式合成，代价是四阶段串行与非因果解码需二次转码，在 400 段英文有声书评测中韵律与 ElevenLabs Flash v2.5 持平并领先其余三家。

论文把全双工中的打断恢复问题定义为锚定中断，提出把已播放的模型语音回灌到语音输入通路的三通道自监听架构，并在同源构造的 AnchorSpeech 上用播放边界判定正确性，报告三通道模型达到 73.0% 锚定准确率且停止与响应延迟基本不变，同时在通用全双工指标上出现轮次管理与锚定的权衡。

针对单遍硬提交流式中文识别，X2Streaming-ASR 用监听与解码交替的等待或提交决策加三阶段训练，在五个测试集上报告平均字符提交延迟为 27 毫秒到 84 毫秒，并在 AISHELL-1 和 AISHELL-3 上取得参评流式系统中最优字符错误率，代价是部分测试集离线能力上限弱于基线。

GEPARD 为实时对话把文本与 32 通道 GroupFSQ 音频在同一标准全注意力 Transformer 中联合自回归生成并用 NanoCodec 流式解码，以 vLLM 原生可服务为首要约束，通过 prefill 前缀克隆、单步并行采样与 DPO 蒸馏 CFG 实现单流 RTF 约 0.067 与 256 并发约 204 倍加速，代价是帧级并行带来的 …

llmovoice 把语音交互的上下文拆成语义、副语言与环境三状态，用 VoicePage/VoiceThread 组织记忆并在预算内投影到上下文窗口，再让服务模型联合推理生成运行时指令，在丢包下把误打断率从 46.0% 降至 0.9%、每轮成本最高降低 24.9 倍，代价是编排调用时约 790 ms 的额外决策延迟与摘要压缩带来的细节丢失。

论文把回合结束判断搬进识别器，用语义完整加已观测静音的因果标注训练小 LoRA，在部署一致回放上以 0.97 边界召回、0.39 s 中位延迟、每语音分钟 0.3 次误触发超越全部静音超时，代价是统一多任务后精度回落与离线词错率小幅上升。

TurnFSM 把语义 VAD 与 utterance 级拒绝写成先提交后接受或拒绝的有限状态转移并用一阶依赖实现流式预测，在内部语义 VAD 上报告成功率 82.41% 与成功延迟 80.9 ms，在拒绝上报告 FAR 3.35% 与 FRR 16.04%，代价是仍需两阶段对齐与大模型推理开销。

该文只训练窄而深的学生编码器逐帧回归教师预量化潜变量，在 2.8 倍参数压缩下六组配对中五组相对词错误率退化不超过 1.9%，同容量独立训练对照优 3.9% 相对，而联合训练的 J3 退化 7.7% 揭示教师与阶段边界。

针对合成文本同时学轮次与语义不可靠的问题，该工作用真实人与人语音学轮次、用可改写的人与智能体文本保语义，配合规则化事件转磁带与来源感知校准损失，在等量 token 下把轮次 F1 从约 0.34 提升到约 0.65 并把语义恢复到接近基座上限，代价是暂停处理仍弱于保守系统且单带离散化会丢信息。

StreamWSR 把低采样语音先上采样再用全因果波形网络预测残差补高频，在 VCTK 三种带宽扩展设置下以 9M 参数和 2G FLOPs 达到与非流式基线相当的失真与可懂度，并用消融证明了帧级压缩与频谱判别器的作用。