流式处理

针对流式零样本变声在小块下质量退化与参考音频敏感问题，MeanVC 2 用未来感受分块与通用音色令牌编码器实现 40 毫秒块稳定转换，报告显示端到端首包延迟从 211 毫秒降到 110 毫秒左右，但单步解码的计算量略有增加。

针对同声传译语音到语音翻译中为等上下文而频繁停顿的问题，论文用银牌偏好直接偏好优化在 Hibiki 上降低块间静音比，主证据是长短语音基准上静音比下降而翻译质量和延迟基本保持，代价是短语音上 BLEU 与 COMET 略低于基线。

针对双模自监督在流式与非流式下注意力可见范围不一致导致的优化困难，论文用多步未来预测约束在线寄存器并分离层归一化参数，在 LibriSpeech 160 ms 条件下把在线词错误率从 3.65% 降到 3.40% 和从 10.15% 降到 9.65%，代价是增加一个权重为 0.1 的辅助损失和按模式维护的归一化参数。

论文针对端到端全双工语音对话模型常开大语言模型隐状态是否泄露说话人身份这一问题，用 ECAPA-TDNN 探测器按 VoicePrivacy 2024 协议审计 SALM-Duplex 和 Moshi 并提出基于 Stream-Voice-Anon 的波形级与特征级两种流式匿名化，最强证据是 SALM-Duplex 离散基线等错误率从 11.2% 升至 …

针对流式文本输入下缺少前视导致韵律不自然和上下文无界导致长文崩溃，该文用韵律边界标记加有限前视与滑动窗口提示改造 CosyVoice2，最强证据是长文词错误率从 71.0% 降到 4.8%，代价是仍需每块 5 词加 2 词前视的累积等待与流式声码拼接。

针对神经音频编解码流式匿名中情感被续写偏置抹平的问题，论文用同说话人中性提示配情感源重构监督并在慢自回归声学隐状态做帧级蒸馏，在 VoicePrivacy 2024 上把情感保留推到流式最优，同时延迟保持 180 ms 且推理不新增模块。

StyleStream 用带文本监督和 45 码紧瓶颈的去风格器抽取内容，再用非自回归扩散变换器重上目标风格，在 3000 对测试上把可懂度和三种风格相似度做到最高，代价是需要 5 秒目标上下文和 600 毫秒分块带来的约 1 秒端到端延迟。

针对均匀量化在清音帧上浪费比特的问题，VoCodec 用全因果编码器并行做基频段能量浊音检测、对浊音帧用残差标量矢量量化而对清音帧只用单级标量量化，在 LibriTTS 16 kHz 下以平均 1.1 kbps 取得可比 1.5 kbps 基线的听感，代价是清音帧客观失真变差且需额外传输 1 比特浊音标志。

WavSLM 把 WavLM 第 6 层表示压缩为单码本离散序列，再把 7 至 24 层改造为一次预测 4 个词元的因果语言模型，在仅用语音且无文本预训练条件下取得可比的一致性与生成质量，代价是大词表更难学、大分块损害保真与连贯。

Zero-VC 针对流式零样本声音转换中音色泄漏与韵律保留难以兼得且基频补偿引入前视延迟的问题，用说话人匿名化做扰动并配全因果编码解码器，在 20 毫秒单帧算法延迟下取得源相似度 0.171、目标相似度 0.521 与 FPC 0.688，代价是可懂度略逊于最优非流式基线且训练仍依赖外部匿名化模块。

针对未切分音视频流需要低延迟生成可确认机器人动作的问题，该工作把 AVBLIP 的 Q-Former 改为按秒分块加左上下文的流式结构，用三组注意力掩码实现并行训练，在 YouCook2 上以 1 到 3 秒提前量实现在线生成，代价是动作与描述质量相对离线下降不到 10%。

该文解决流式语音识别词流需要即时转写为书面形式的问题，用预训练文本到文本模型加读标写策略把生成限制到完备跨度，在越南语 5M 句数据上流式达到 4.18% 与 0.64% 而接近离线 3.63% 与 0.52%，代价是仍缺未来上下文且长跨度需等待完备。

针对 16/24/48 kHz 需多模型或外部重采样的矛盾，该文用可学习接口转换统一时间网格并用采样率条件仿射校准特征，在 1.5 kbps 下 24 kHz 达 ViSQOL 4.22、48 kHz 达 PESQ 2.750，代价是 24 kHz 因有理数转换多出卷积开销与三阶段训练流程。

针对客服通话中尾部命名实体易被流式识别错且错误会污染客户关系管理录入的问题，该研究用实时伴随界面收集人工确认修正并由反射子智能体离线更新上下文偏置表与事后替换规则，在英语评测上把命名实体错误率相对降低 17.1% 而代价是偏置表在 3 批内即触及 500 容量上限。

AdaptDuplex 针对全双工对话中时机与认知负荷逐窗变化的问题，把窗口时长与动作组合都做成显式词元决策并配三阶段课程训练，在 FDB 与 HumDial-FDBench 上取得更低响应延迟与更高终分，代价是仅覆盖中英、三档窗口与最多四路并发外部推理。

Argmax Pro 针对离线可用的富功能语音识别问题，选择以 Parakeet v2 做转写、Canary v2 CTC 经 CTC-WS 做偏置、Streaming Sortformer v2 微调做说话人切分并全部部署到手机 NPU 上，论文报告自定义词表可扩至 3000 词而不影响运行时延迟，但未给出词错率、延迟与功耗的定量对照。

针对韩语流式倾听中声学停顿会误导应声的问题，该研究用停顿概率软加权把决策收拢到停顿附近，再用部分识别文本过滤问句后不该应声的停顿，评估报告语义误发现率下降 53.8%，代价是召回率从 80.40% 降到 71.74%。

针对全双工对话模型很少显式建模倾听反馈时机的问题，论文在冻结思路下外挂一个从主干隐藏状态预测反馈起始概率并用阈值触发强制解码的两层头，在 7B 与 1B 两个模型上验证了频率可调与人类评分持平，但高频档会抬高抢话率等代价同时代码链接当前不可用。

针对流式低码率下波形编码丢语言内容、语义编码又依赖非因果或双分支的问题，LitCodec 在因果编码器量化前加 CTC 的 ASR 监督并用单码本 FSQ 统一输出，在 LibriSpeech 上 800bps 取得流式最优 PESQ 2.56、STOI 0.925 和 WER 2.8%，代价是 UTMOS 自然度仍低于同码率 TS3-Codec。

针对整段语音才能对齐而流式只能看到局部帧的矛盾，该文把流式语音做查询、注册文本做键值实现逐帧计算，在 LibriPhrase 上难负样本达到等错误率 28.21% 与曲线下面积 79.19%，代价是易负样本略弱于 CTC 对齐基线且依赖两阶段训练。