实时处理

论文解决用 1 秒音频判断有无无人机的问题，用手工声学描述子加 YAMNet 嵌入的双视角堆叠集成做判断，在按录音源隔离的分组协议下达到 95.29% 准确率，而随机切分会虚高 1.89 到 3.22 个百分点，融合只带来约 1.11 个百分点的小而稳的增益，单条处理约 51.0 毫秒。

InteractionBench 用同一套 221 项录制用户音频测七个实时语音系统在对话时机、口语任务、耳语与音量、二十多轮 groundedness 上的表现，发现全双工系统内时机与任务正相关而离线级联相反，且网络延迟显著抬高托管系统的客户端时机分。

论文冻结 MiniCPM-o 4.5 只在它由听转说的时刻读隐藏状态拟合逻辑回归失败风险门控，内部 240 问上激进策略以 50% 上交率把准确率从 42.1% 提到 69.2%，同时比全部上交把平均服务器等待从 8.68 秒降到 5.95 秒，代价是仍需云端专家和转写合成开销且对多步执行失误几乎无效。

针对长时高采样音频序列过长导致自注意力平方复杂度与整段一次性生成难以流式扩展的问题，MFlowAudio 用时间与通道双路 Mamba 建模潜在表示并用有状态流匹配实现分块训练生成，在 AudioCaps 等条件下保持与基线可比的生成质量并将首块延迟固定在 1.8 秒左右，但动态切换语义与边界自然度之间仍需权衡。

论文用 ShipsEar 五秒音频比较六种分类器在树莓派 5 上的完整音频到预测流程，发现两层 CNN 准确最高而 RBF-SVM 只低 0.31 个百分点却快 4.29 倍，因而把 RBF-SVM 部署到 Zero 2 W 仍能跟上连续音频的速度。

论文先保留已调好的稠密混响特性，再把反馈矩阵拟合为固定置换加小正交块的分级乘积，并在 Apple M2 上以更少的存储和更短的反馈乘法时间逼近原频响与听感，但结论只在给定延迟增益衰减与测试条件下成立。

Tap2Listen 把只处理混合音频的编码器与只受所选人脸控制的解码器分开，用分量损失训练，在 LRS3-2mix 上固定目标达 9.68 dB SI-SNRi 并在切换后首帧恢复，代价是 16 ms 算法延迟和单次重投影计算。

JIT-MPE 用一个因果模型对每帧先即时估计再用延迟头修正，在 50 毫秒截止下接近自身最终输出，并在多个集上以 8.6 万参数达到可比精度，其提升主要来自音头后几十毫秒的修正。

论文针对全双工语音模型在数十分钟对话中出现重复、长时间沉默和胡言乱语的问题，用受控重放与实时交互两轨基准定位崩溃，并用保留首个缓存表项与抑制近期复读的无重训方法把滑动窗口模型的崩溃大幅降低，同时保持实时运行。

Fluxion 用一套图表示同时驱动可微训练引擎和免分配实时引擎，中间经稳定性检查与冻结传递参数，在精确递归滤波的吞吐和边缘部署体积上占优，但 CPU 单步训练仍慢于 torchaudio 与 GRAFX。

在固定检测器下比较对数滤波器组与冻结语音自监督表示，六层加权浅层执行在生成器不相交测试上平均达到 90.61% 宏 AUROC，并在长输入上降低推理延迟。

针对语音智能体说完话后才开始推理和调工具导致的等待问题，论文提出周期性重叠执行的 Thinker 加 endpoint 触发的 Responder 分工，用三套语音基准上的工具覆盖率和 FDBench 延迟数据说明能提前完成更多可复用准备，但最终任务质量随基准而异且复用仍是独立难题。

论文把应答机检测做成二分类，用冻结的 CNN6 输出 512 维嵌入再接轻量梯度提升机，在两个数据集上都拿到最高精确率并保持毫秒级延迟，代价是抗加性噪声较弱且结论依赖特定的数据划分与统计条件。

SENTRY 针对通话中的实时筛查问题，用整数提升小波与无乘法特征组加双轨决策做在线判断，在闭集条件下 WaveFake 与窄带电话信道 ASVspoof 上取得高准确率，但代价是仅验证了已知合成器且前端综合与跨库泛化尚未完成。

论文把越南语语音识别输出的口语串流式转成带标点大小写和数字时间的书面串，用预训练 EnViT5 加读标注写策略和前后缀缓存优化，在 5M 句自建数据上接近离线端到端基线并快于混合流式方法，但含噪语音和罕见外来词仍是主要代价和适用边界。

Diffuplex 用自回归策略决定何时说话、用语音条件离散扩散并行生成说什么，在 VoiceBench 上以思考模式达到 86.9 分并实现每前向 13.0 词元、1872 词元每秒的解码速度，代价是需要三阶段训练与提前固定前缀带来的延迟质量折中。

LiveSynth 用流式 MIDI 加 CLAP 音色向量逐帧生成连续音频隐变量再经因果 VAE 解码，在 NSynth 和 Slakh 上取得与离线基线可比的音色相似度和更低的频谱距离，代价是音符准确率和制作质量偏低，且实时性结论只在 M3 MacBook Air 上 10 ms 帧长下成立。

针对全双工语音模型中实时音频与内部思考共用一条位置时间轴导致变速推理时错位的问题，Rubato 用实时钟与思考钟两套独立位置计数实现零样本变速插值，在只训练两种极端思考预算下保持准确率并随算力提升缩短给出答案的时间，代价是推理需维护多套键缓存与合成数据依赖。

Sonic-AMG 针对双耳音频流加世界系声源位置输入，用 what 与 where 分离表征加因果 Transformer 与流头逐段生成动作，并以排练训练和空间反馈缓解历史与空间条件失配，在 SAM 上取得最优 FID 与 R-precision 且保持实时流式生成，但结论限于 SAM 划分与已知声源位置条件。

针对每 80 ms 都要唤醒主干的全双工对话开销，DiffuPlex 一次预测 16 帧未来并只消费可信前缀，在保持打断与轮转行为的条件下把主干调用降到约一半，代价是单次唤醒更贵且激进消费语音未来会损失自然度。