流式处理

针对边听边翻需要在等够信息与尽快输出之间抉择的问题，该研究提出只看最近语音块注意力占比的 RFAP 和再加注意力变化率的 DCAP，使离线训练的语音到文本模型无需再训练即可流式运行，在 CVSS-C 三个语对上 RFAP 在中延迟段取得最高可比 BLEU 而 DCAP 保住极低延迟下的质量，但高延迟段优势收窄且 DCAP 随延迟增大而退化。

针对分块流式 Conformer 中因果卷积丢弃块内未来帧的问题，BACON 把深度卷积通道分成因果组与边界感知双向组，在参数量不变下扩大感受野，并在 LibriSpeech test-other 上 CHAT 相对降低 9.3% 词错误率且平均发射块序号不增加。

论文追问短式预切分与长式连续音频下延迟排名为何互相矛盾，用词级对齐的真延迟做参照对比多种自动指标，发现段后尾词处理是结构性偏差来源，提出只计段内词的 YAAL、长流用的 LongYAAL 与 SOFTSEGMENTER 重分段，最强证据是短式去退化后与长式重分段后的成对排序准确率提升，代价是仍依赖词级对齐质量且需先做退化诊断。

论文用可复现的韩译英实时字幕级联研究切分与模型组合如何移动延迟质量前沿，最强证据是激进端点检测把中位实时率推过 1 并让稳定延迟随时间累积，而代价是短块加提示的识别错误上升 14 到 17 个百分点与翻译质量下降。

针对含第三方干扰的自然双人对话在线音视目标说话人提取，该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器，在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%，代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。

该文把远场回传增强中的本人声音当作已知干扰来删除，用注册语音条件化的时域掩蔽模型实现去噪加删人声，主证据是因果 2 ms 延迟下 Mamba-MinGRU 达到与 TD-SpeakerBeam 可比的 SDR 而主网络计算量从 4.97 GMAC/s 降到 0.33 GMAC/s，代价是小模型与多说话人时 SDR 明显下降且线性 RNN 辅助编码器在去噪条件 …

针对孟加拉语-英语句内语码切换在固定前视流式中被截断词缀的问题，论文用语音活动检测切分的 3 秒语义块调用离线全局注意力并配 750 词脚本锚定注入，在通用集上把形态误差降到 0.35 左右，代价是延迟随停顿变化且依赖语音活动检测质量。

EffVOC 用因果卷积加循环加逐级上采样的声码器结构，从幅度谱或梅尔系数直接生成宽带与全带语音波形，在 20 毫秒算法延迟下取得接近真值的 MOS 主观分，但小模型与梅尔输入在部分客观指标上仍有代价。

该文把轮次结束检测改写为固定视界的语音端点预报问题，用双流 EPA-M 模型提前触发大模型与语音合成管线，在 SpokenWOZ 与 Switchboard 上优于语音活动投影基线，并在 Unmute 集成中以约 28.4% 推测计算换取 505 ms 平均延迟降低。

针对对话式语音合成既要流式进文本又要低首包延迟的问题，FlashTTS 用滞后多轨道输入加并行多词元预测与两步 X 预测平均流解码，在 Minimax 子集上把首包延迟降到 325 ms，代价是五路并行时相似度和主观分下降且部分语言可懂度仍落后离线大模型。

论文把连续监听下的何时提醒形式化为四态决策，用打断与静默两种解码标记在 Qwen2-Audio-7B 上实现主动辅助，在 ESC-50 上报告 99.6% 打断 F1 与 100% 去重召回，在 Epic-Sounds 零样本下保持 96.7% 起始召回，代价是噪声域静默召回偏低且平均延迟约 3.5 秒。

针对流式语音增强在不同应用中时延预算不同但多数模型只固定一种前视的问题，论文用共享卷积主干加可切换的前视适配器实现七档时延可控，并在相同训练配方下报告单模型超越逐时延独立模型与参数总量大幅下降，但推理运算量并未下降。

针对流式语音到文本翻译中固定等待策略在静音和变速语音下被迫输出或掉队的问题，该文在 Bestow 架构上引入以已听音频和已生成文本为条件的学习型等待策略，在英法和英韩 Fleurs 上用更低延迟保持质量，并在前置 5 秒静音的 SilFleurs 上保持分数不变而固定策略大幅下降。

在相同训练条件下比较声学、韵律、文本七种组合，声学加韵律以 utterance F1 0.93、7.8% 误报、400 ms 中位延迟取得最佳平衡，加文本反而增加抢话且不提升性能。

针对自注意力平方复杂度与语音帧间高冗余的矛盾，该研究用查询保持原分辨率、键和值做平均池化压缩的非对称注意力，并在 Zipformer 中按层设置不同步长，报告在 AISHELL-1 上最高降低 0.2% 字错率、在 LibriSpeech 上降低 0.3% 词错率，代价是干净语音小模型细节可能被平滑以及流式部署仍待验证。

针对连续流关键词检测在 0.5 至 0.2 次误报每小时下交叉熵模型漏检严重退化的问题，论文提出只做离线辅助的目标受限拉紧加间隔排斥正则，在谷歌语音命令第二版上把 0.2 误报每小时下的漏检率从 29.85% 降到 14.80%，而封闭集准确率从 95.82% 微变为 95.68%，且部署端参数量、计算量与前视保持不变。

针对非因果教师特征含未来上下文与因果学生零前视能力冲突的问题，该文用下三角掩码的样本内时间关系蒸馏加离线双向拓扑先验，在 GSC V2 上把因果 1D-CNN 准确率从 95.12% 做到 96.91%，并在 1.0 FA/h 下把连续流误拒率从 8.52% 降到 4.15%，且不增加部署参数与单步延迟。

针对开放词汇关键词检测中易混词难区分且流式对齐与训练推理不一致的问题，MPA-KWS 用 W-CTC 强制对齐统一处理支持音频与查询音频并做音素级多模态对比学习，在 LibriPhrase-Hard 上文本加音频注册达到 AUC 97.30% 与 EER 8.21%，代价是需要预训练声学编码器与多任务权重调参且当前无公开代码可用。

针对智能眼镜佩戴者语音易被旁人声污染的问题，该工作保留指向嘴部的波束通道并补入鼻麦原始通道与旁人声检测嵌入送入流式 RNN-T，在真实录制集上相对噪声训练强基线平均降低 14.4% 词错率、最高达 18.0%，代价是仍依赖噪声增强训练且在特定旁人角度上残留短板。

针对句中停顿易被误判为结束的问题，Next-Turn 用从语音时间戳直接算出的到下一次语音起始时长做细粒度监督，在 1185 句人工标注评测上以 86.7% 的 320 ms 内准确率和 5.0% 早打断率超过声学与语义基线，但小评测集与中文单语料限制了推广结论。