流式处理

针对电话开场验一次后中途换人或冒充的风险，该工作用冻结 ReDimNet-B1 加三元组训练的轻量投影网络做持续比对，在 TidyVoice 上报告等错误率 2.08%，代价是系统只验证了该数据集与给定增强条件且本次未能确认代码数据可达。

针对二语者实时口音转换需要低延迟、保内容和保音色的问题，AccentDrift 用稀疏语义分词剥离韵律、用口音适配器与音色适配器分层注入风格，在 0.5 秒级流式延迟下把词错误率做到 6.27 并保持说话人相似度 0.72，代价是仍需多阶段缓存与前视带来的固定延迟。

针对多人语音中重叠与抢话导致的何时开口、是否开口难题，论文提出以角色为条件的流式语音大模型 ModeratorLM 及其思维链变体，在真实会议与合成对话上把轮次精确率与召回率大幅提高，代价是依赖文本转写与动态分块训练。

针对耳戴设备模数转换器功耗高的问题，CAPS 把采样降到 4 kHz 与 8 比特等次奈奎斯特条件以省电，再在手机端用频谱增强、上采样与幅相增强级联重建宽带语音，直接报告在 Pixel7 上 55.11 ms 推理与约 3.31 倍耳端省电，代价是手机端约 1.15 W 的恢复功耗与未评估加密和编码的影响。

针对电话退化下说话人无法自知不清的问题，Coco-VC 在听者端用电话增强加双教师蒸馏做流式转换，在 FLEURS-8k 模拟电话上把词错误率从 0.451 降到 0.338，代价是在该严重噪声下主观质量略低且依赖大规模域内数据与解码器条件。

针对双流式文本到语音需要准确对齐与低延迟序列组织的问题，论文用基于 CTC 的音素对齐替代 MFA 并提出双词交织，在单说话人流式与多说话人零样本任务上报告了更低词错误率，代价是长度拼接变体首包延迟更高而特征堆叠变体质量略低。

针对单麦克风无人机自噪声语音增强，DroFiT 用全带与子带并行压缩加频率维 Transformer 建模，在 VoiceBank-DEMAND 混合无人机噪声上达到与 DCU-net 和 SMoLnet-T 可比的 SI-SDR 与 PESQ，代价是仍需验证更广泛机型与实时延迟。

针对离线语音基础模型在流式下因上下文受限而退化的问题，论文用滑动音频窗口加时间戳去重加纯文本发射策略的免训练管线，在三套英语数据上以约 2 秒级延迟恢复到接近离线词错误率，但低延迟与高难数据集上仍有代价。

针对智能眼镜佩戴者与对话伙伴的近远场混合语音，论文用波束成形加声源分离再加轻量分类器做流式说话人标记，在三个真实多说话人语言对上把词错误率和说话人归属错误率同时压低，代价是仍依赖方向分区假设和仿真训练数据。

Moshi-Face 用离散面部令牌与非自回归 Face Transformer 在 Moshi 上同步生成语音与 3D 脸部运动，在 180 小时对话数据上把教师强制唇同步做到接近重建上限，但语音自然度因领域微调而下降。

论文把卷积的时间填充在过去与未来之间重新分配，用双缓冲加选择性状态更新解决分块流式的状态污染，在固定 1.37M 参数下实现 12.5 ms 时 PESQ 3.35 到 75.0 ms 时 PESQ 3.43 的延迟可配族，代价是每个延迟点需独立训练且大块才能实时。

针对流式零样本变声在小块下质量退化与参考音频敏感问题，MeanVC 2 用未来感受分块与通用音色令牌编码器实现 40 毫秒块稳定转换，报告显示端到端首包延迟从 211 毫秒降到 110 毫秒左右，但单步解码的计算量略有增加。

针对同声传译语音到语音翻译中为等上下文而频繁停顿的问题，论文用银牌偏好直接偏好优化在 Hibiki 上降低块间静音比，主证据是长短语音基准上静音比下降而翻译质量和延迟基本保持，代价是短语音上 BLEU 与 COMET 略低于基线。

针对双模自监督在流式与非流式下注意力可见范围不一致导致的优化困难，论文用多步未来预测约束在线寄存器并分离层归一化参数，在 LibriSpeech 160 ms 条件下把在线词错误率从 3.65% 降到 3.40% 和从 10.15% 降到 9.65%，代价是增加一个权重为 0.1 的辅助损失和按模式维护的归一化参数。

论文针对端到端全双工语音对话模型常开大语言模型隐状态是否泄露说话人身份这一问题，用 ECAPA-TDNN 探测器按 VoicePrivacy 2024 协议审计 SALM-Duplex 和 Moshi 并提出基于 Stream-Voice-Anon 的波形级与特征级两种流式匿名化，最强证据是 SALM-Duplex 离散基线等错误率从 11.2% 升至 …

针对流式文本输入下缺少前视导致韵律不自然和上下文无界导致长文崩溃，该文用韵律边界标记加有限前视与滑动窗口提示改造 CosyVoice2，最强证据是长文词错误率从 71.0% 降到 4.8%，代价是仍需每块 5 词加 2 词前视的累积等待与流式声码拼接。

针对神经音频编解码流式匿名中情感被续写偏置抹平的问题，论文用同说话人中性提示配情感源重构监督并在慢自回归声学隐状态做帧级蒸馏，在 VoicePrivacy 2024 上把情感保留推到流式最优，同时延迟保持 180 ms 且推理不新增模块。

StyleStream 用带文本监督和 45 码紧瓶颈的去风格器抽取内容，再用非自回归扩散变换器重上目标风格，在 3000 对测试上把可懂度和三种风格相似度做到最高，代价是需要 5 秒目标上下文和 600 毫秒分块带来的约 1 秒端到端延迟。

针对均匀量化在清音帧上浪费比特的问题，VoCodec 用全因果编码器并行做基频段能量浊音检测、对浊音帧用残差标量矢量量化而对清音帧只用单级标量量化，在 LibriTTS 16 kHz 下以平均 1.1 kbps 取得可比 1.5 kbps 基线的听感，代价是清音帧客观失真变差且需额外传输 1 比特浊音标志。

WavSLM 把 WavLM 第 6 层表示压缩为单码本离散序列，再把 7 至 24 层改造为一次预测 4 个词元的因果语言模型，在仅用语音且无文本预训练条件下取得可比的一致性与生成质量，代价是大词表更难学、大分块损害保真与连贯。