流式处理

该工作把实时语音匿名拆成年龄与女性化程度两个可控编辑量，用余弦相似度度量隐私、用 DNS-MOS 度量质量并做线性回归与听感验证，发现隐私下降快于质量下降并在约 0.25 标准差附近形成可操作区间，但大改动与联合编辑仍损失自然度且最优方向因性别年龄而异。

论文以同一对开源流式 ASR 与流式说话人日志模型为起点，比较级联、掩码输入、词级 SOT 与日志条件四种架构，报告显示日志条件的 SSA 在多说话人 cpWER 平均最低而词级 SOT 在单说话人上退化明显，代价是需要微调与多实例内存。

该文用共享参数的块限制注意力加动态块卷积统一离线与流式 Transducer，并以全格点对称 KL 一致性正则在低延迟流式上缩小差距，主证据是 L 尺寸统一双模加 MCR 在 0.32s 延迟平均词错率 8.24 而离线保持 6.63，代价是每步需跑离线与流式两次前向并承担额外 KL 计算与延迟定义约束。

论文研究噪声混响和重叠说话下的零前视流式识别，采用在线语音分离前端加只用干净语音训练的流式识别后端的解耦框架，最强证据是在 LibriSpeech 模拟噪声、CHiME-4 和 LibriCSS 上用 oTF-CrossNet 加干净后端超过同等数据量的多条件训练基线，代价是系统好坏高度依赖分离前端的强度。

针对固定区域边界敏感与单维度距离或方位重叠歧义问题，SPOT-TSE 用距离加方位连续空间点查询结合空间查询编码与歧义感知训练做多通道提取，在仿真智能眼镜数据上把 D1 到 D3 的 SDR 提升到 14.95、13.94 和 11.05 dB 并把 WER 降到 0.12、0.14 和 0.22，代价是参数量从 0.52M 增加到 1.46M 但运算量下降 …

针对流式关键词检测中逐帧输出带来的池化状态冗余，论文把卷积主干切成以池化结尾的子模型并按静态调度稀疏执行，在保持识别精度的同时把嵌入计算和缓存都压下来，但分类间隔拉大也带来了可测的延迟代价。

针对流式多说话人下感兴趣区语音提取，Sweep-RSE 用目标中心相位对准加窗内显式扫描锁定目标并用差异特征抑制窗外干扰，报告在 Realistic 集 Q=1 取得 12.88 dB 并在空区实现 96 dB 以上衰减，代价是因果流式相对非因果仍有约 0.84 dB 下降。

针对文本语音联合建模中语音单元远长于文本且原 TASTE 依赖外部离线 ASR 与非因果解码器的问题，TASTE-S 用内置 CTC 识别加全因果分块解码实现流式文本对齐分词，证据是在 LibriSpeech test-clean 与长语音重建上保持相近质量的同时把编码与解码实时率降到远低于实时，主代价是需两阶段联合训练且部分自然度评分受去噪与评测条件影响。

针对流式语音转换中冻结声纹嵌入与帧级声学生成失配的问题，VOSSA 从冻结内容编码器中间层经注意力统计池化提取声纹并与转换目标联合训练，在六个数据集上以相近的 NISQA-MOS 和 WER 换来更高的归一化目标相似度、更小的 F0 误差和更小的元音 F1 分布距离，代价是仍需双路径重建加对比约束联合优化且推理仍保持约 73 ms 延迟。

针对电话开场验一次后中途换人或冒充的风险，该工作用冻结 ReDimNet-B1 加三元组训练的轻量投影网络做持续比对，在 TidyVoice 上报告等错误率 2.08%，代价是系统只验证了该数据集与给定增强条件且本次未能确认代码数据可达。

针对二语者实时口音转换需要低延迟、保内容和保音色的问题，AccentDrift 用稀疏语义分词剥离韵律、用口音适配器与音色适配器分层注入风格，在 0.5 秒级流式延迟下把词错误率做到 6.27 并保持说话人相似度 0.72，代价是仍需多阶段缓存与前视带来的固定延迟。

针对多人语音中重叠与抢话导致的何时开口、是否开口难题，论文提出以角色为条件的流式语音大模型 ModeratorLM 及其思维链变体，在真实会议与合成对话上把轮次精确率与召回率大幅提高，代价是依赖文本转写与动态分块训练。

针对耳戴设备模数转换器功耗高的问题，CAPS 把采样降到 4 kHz 与 8 比特等次奈奎斯特条件以省电，再在手机端用频谱增强、上采样与幅相增强级联重建宽带语音，直接报告在 Pixel7 上 55.11 ms 推理与约 3.31 倍耳端省电，代价是手机端约 1.15 W 的恢复功耗与未评估加密和编码的影响。

针对电话退化下说话人无法自知不清的问题，Coco-VC 在听者端用电话增强加双教师蒸馏做流式转换，在 FLEURS-8k 模拟电话上把词错误率从 0.451 降到 0.338，代价是在该严重噪声下主观质量略低且依赖大规模域内数据与解码器条件。

针对双流式文本到语音需要准确对齐与低延迟序列组织的问题，论文用基于 CTC 的音素对齐替代 MFA 并提出双词交织，在单说话人流式与多说话人零样本任务上报告了更低词错误率，代价是长度拼接变体首包延迟更高而特征堆叠变体质量略低。

针对单麦克风无人机自噪声语音增强，DroFiT 用全带与子带并行压缩加频率维 Transformer 建模，在 VoiceBank-DEMAND 混合无人机噪声上达到与 DCU-net 和 SMoLnet-T 可比的 SI-SDR 与 PESQ，代价是仍需验证更广泛机型与实时延迟。

针对离线语音基础模型在流式下因上下文受限而退化的问题，论文用滑动音频窗口加时间戳去重加纯文本发射策略的免训练管线，在三套英语数据上以约 2 秒级延迟恢复到接近离线词错误率，但低延迟与高难数据集上仍有代价。

针对智能眼镜佩戴者与对话伙伴的近远场混合语音，论文用波束成形加声源分离再加轻量分类器做流式说话人标记，在三个真实多说话人语言对上把词错误率和说话人归属错误率同时压低，代价是仍依赖方向分区假设和仿真训练数据。

Moshi-Face 用离散面部令牌与非自回归 Face Transformer 在 Moshi 上同步生成语音与 3D 脸部运动，在 180 小时对话数据上把教师强制唇同步做到接近重建上限，但语音自然度因领域微调而下降。

论文把卷积的时间填充在过去与未来之间重新分配，用双缓冲加选择性状态更新解决分块流式的状态污染，在固定 1.37M 参数下实现 12.5 ms 时 PESQ 3.35 到 75.0 ms 时 PESQ 3.43 的延迟可配族，代价是每个延迟点需独立训练且大块才能实时。