流式处理

针对全双工语音要求持续低延迟而知识推理与工具调用耗时可变的问题，SALMONN-duo 用常开全双工前端负责交互并决定是否异步委派给后端智能体，再用知识边界感知监督与成本感知强化学习控制委派效用，证据显示其在问答与任务对话上改善准确与委派权衡，代价是仍依赖强后端与仿真延迟条件。

针对连续音频流中的关键词检测任务，论文把已训练好的卷积主干切成以池化结尾的子模型并按静态调度稀疏执行，在保持识别精度的同时报告最高 82% 和 46% 的每秒计算量下降，但分类间隔拉长带来了可控的平均延迟增加。

该研究把问题定为按多热查询减去 1-3 类触发音并保留残差声景，用 6 毫秒分块的流式双路径网络实现 10 毫秒算法延迟，并在 30 名误音症受试者中报告困扰下降 2.37 点但抑制后仍高于基线地板。

针对全双工语音模型靠压缩隐向量读取外部知识易丢精确值的问题，论文用单次块预填充把检索原文直接注入对话流，并在问答与全双工评测中验证了可行性，代价是每词一帧带来的内存开销与对后端识别和大模型推理的依赖。

Duplex-MPE 用 2000 对显式与隐式称呼配对的多人连续语音场景，检验全双工助手何时新发起回答、答对、保持安静与在他人解决后收声，最强证据是 MiniCPM-o 4.5 在三项能力领先而高语音覆盖常伴随答错或侵入，代价是合成场景与自动语义打分只在抽样上经人工验证。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该研究用 123M 参数的缓存感知流式混合 RNNT/CTC 模型解决日语流式与完全开放不能兼得的问题，在五个测试集上以 12.4% 平均 CER 超越大 5-8 倍的开放基线，代价是预训练筛选与多域微调加解码器容量三者组合时会在讲座域明显退化。

针对注意力编解码器逐字生成慢而 CTC 贪心快但易错的问题，论文提出在同一联合模型内用 CTC 贪心做初稿、注意力解码器只重写低置信位置的 SASD，并在 AISHELL-1 等数据上报告接近注意力重打分的字错率与 2.8 到 3.5 倍加速，但跨硬件的非同条件数值只能定性参考。

针对全双工语音模型长时交互中声学键值缓存持续膨胀的问题，该研究在听音空隙内增设转写旁路并驱逐旧声学状态，在十分钟会话上将峰值流式缓存从 11.35K 降至 4.02K 并保持实时处理，但反通道接管率有所上升。

该工作把同时传译拆成因果数据构造、自适应等待策略、解耦词义与声音的双流架构和只罚可避免延迟的指标，用约 2.7K 小时每语言对的数据在西德法转英上以可运行的自适应策略超越固定切块并降低延迟，但语音端质量仍依赖更大合成与翻译模型补强。

针对只能看到 2-8 秒前缀时的语音质量估计问题，ANCHOR 在 ARECHO 上引入块级与整句级双分辨率自回归解码与块优先顺序，在 2 秒前缀上把 PLCMOS 误差降低 48%，代价是在长前缀的 UTMOS 等全局指标上出现可预期的交叉落后。

针对边听边翻需要在等够信息与尽快输出之间抉择的问题，该研究提出只看最近语音块注意力占比的 RFAP 和再加注意力变化率的 DCAP，使离线训练的语音到文本模型无需再训练即可流式运行，在 CVSS-C 三个语对上 RFAP 在中延迟段取得最高可比 BLEU 而 DCAP 保住极低延迟下的质量，但高延迟段优势收窄且 DCAP 随延迟增大而退化。

针对分块流式 Conformer 中因果卷积丢弃块内未来帧的问题，BACON 把深度卷积通道分成因果组与边界感知双向组，在参数量不变下扩大感受野，并在 LibriSpeech test-other 上 CHAT 相对降低 9.3% 词错误率且平均发射块序号不增加。

论文追问短式预切分与长式连续音频下延迟排名为何互相矛盾，用词级对齐的真延迟做参照对比多种自动指标，发现段后尾词处理是结构性偏差来源，提出只计段内词的 YAAL、长流用的 LongYAAL 与 SOFTSEGMENTER 重分段，最强证据是短式去退化后与长式重分段后的成对排序准确率提升，代价是仍依赖词级对齐质量且需先做退化诊断。

论文用可复现的韩译英实时字幕级联研究切分与模型组合如何移动延迟质量前沿，最强证据是激进端点检测把中位实时率推过 1 并让稳定延迟随时间累积，而代价是短块加提示的识别错误上升 14 到 17 个百分点与翻译质量下降。

针对含第三方干扰的自然双人对话在线音视目标说话人提取，该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器，在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%，代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。

该文把远场回传增强中的本人声音当作已知干扰来删除，用注册语音条件化的时域掩蔽模型实现去噪加删人声，主证据是因果 2 ms 延迟下 Mamba-MinGRU 达到与 TD-SpeakerBeam 可比的 SDR 而主网络计算量从 4.97 GMAC/s 降到 0.33 GMAC/s，代价是小模型与多说话人时 SDR 明显下降且线性 RNN 辅助编码器在去噪条件 …

针对孟加拉语-英语句内语码切换在固定前视流式中被截断词缀的问题，论文用语音活动检测切分的 3 秒语义块调用离线全局注意力并配 750 词脚本锚定注入，在通用集上把形态误差降到 0.35 左右，代价是延迟随停顿变化且依赖语音活动检测质量。

EffVOC 用因果卷积加循环加逐级上采样的声码器结构，从幅度谱或梅尔系数直接生成宽带与全带语音波形，在 20 毫秒算法延迟下取得接近真值的 MOS 主观分，但小模型与梅尔输入在部分客观指标上仍有代价。

该文把轮次结束检测改写为固定视界的语音端点预报问题，用双流 EPA-M 模型提前触发大模型与语音合成管线，在 SpokenWOZ 与 Switchboard 上优于语音活动投影基线，并在 Unmute 集成中以约 28.4% 推测计算换取 505 ms 平均延迟降低。