实时处理

针对多阶段说话人检测随人数变慢、依赖外部人脸检测器的问题，RT-ASDNet 用音频流加视频流加无锚检测头在关键帧上一次输出人脸框与说话状态，在 AVA-ActiveSpeaker 验证集上以联合检测口径取得 77.5% mAP，但与只做分类的离线方法相比仍有明显差距。

SEAM 针对朗读与自发语音易被语料身份和通道条件污染的问题，用统一预处理加接缝感知采样加非语音增强配合 DistilHuBERT 做 8 秒窗口实时检测，以全量训练下外部面试集 0.971 左右 ROC-AUC 为证据，代价是去掉防捷径组件反而会抬高内部指标。

StyleStream 用带文本监督和 45 码紧瓶颈的去风格器抽取内容，再用非自回归扩散变换器重上目标风格，在 3000 对测试上把可懂度和三种风格相似度做到最高，代价是需要 5 秒目标上下文和 600 毫秒分块带来的约 1 秒端到端延迟。

针对说话距离与噪声导致电平剧烈起伏时固定起音与释放常数难以兼顾的问题，WaveNorm 用因果时域编码器加循环瓶颈直接从波形学增益映射，在 TIMIT 与 VoiceBank 加 DEMAND 上把宽输入区间收敛到目标响度带，并在固定阈值下把 Silero 语音活动检测的误报率降到 0.272 而代价是召回略低于 WebRTC 前端。

针对远近场电平起伏与噪声下传统增益控制易放大噪声的问题，WaveNorm 选择全因果时域卷积加 GRU 瓶颈的端到端映射，在 -70 dB 宽动态与多种噪声下报告约 6 dB 降噪与符合 P.56/P.79 的响度稳定，代价是 49 M MACs 与 55 KB 的端侧预算约束。

该研究以帧级音素分类为人工耳蜗语音增强的代表性单元，比较一维时间、一维频率与二维时频因果卷积前端及层数与后端搭配，在 STM32F746G 上实测延迟与内存，显示加前端普遍提分而一维结构更易满足亚 10 毫秒约束，代价是加深并不单调增益且二维深层内存与延迟急剧上升。

AdaptDuplex 针对全双工对话中时机与认知负荷逐窗变化的问题，把窗口时长与动作组合都做成显式词元决策并配三阶段课程训练，在 FDB 与 HumDial-FDBench 上取得更低响应延迟与更高终分，代价是仅覆盖中英、三档窗口与最多四路并发外部推理。

该研究把对抗扰动从波形搬到冻结 DAC 的连续隐空间，用条件生成器一次前向产生目标扰动，在语音指令、环境声、声场景和说话人验证上报告最高 99% 量级目标攻击成功率与 7 毫秒内推理，但以白盒可微流水线和冻结编解码器为前提。

针对实时零样本声音转换中说话人相似度低的问题，该研究用基频激励信号补回离散内容单元丢失的韵律，并用全局嵌入加轻量互补编码器的因果融合提升表达能力，在 LibriTTS 训练、VCTK 未见说话人评测上将说话人余弦相似度做到 80.83%，代价是可懂度略低于最优基线且主观相似度提升未达显著水平。

针对历史音乐带限与噪声并存且修复标准主观的问题，RESTORE 用单次前向的六轨语义分解加独立高频生成实现可调修复，在合成与 78 转历史录音上以 FAD 与可控性为证据，代价是仍需两阶段对抗训练与配对仿真监督。

针对流式语音增强只能用过去帧且延迟受限的问题，RT-SEMamba 用全因果时频 Mamba 做在线推理，并用渐进知识蒸馏把 8 层教师压缩到 1 层学生在 25 ms 算法延迟下从 3.06 提升到 3.18 PESQ，代价是仍与 8 层教师的 3.32 存在差距。

Passing 把一段多摩单轨车窗连续录像堆成时空体并沿非线性截面重采样出无尽画面，再用去掉视觉语义分支、只留时间对齐与车内环境声语义锚定的 SpecMaskFoley 实时生成同步声，代价是最终展览声景没有可复算的客观正确性指标，只能靠现场稳定性和艺术协商来收敛。

该工作把实时语音交互拆为思考、行动与说话协调三层，用文本教师蒸馏加可执行环境强化学习提升多轮约束跟踪与工具执行，在半双工语音版 τ-Voice 上总成功率从 78.4% 升至 82.0%，代价是部分流畅性与延迟指标并未同步最优且长时程口语任务仍未验证。

针对立体声电影音频要同时分出对白、音乐、音效并保住空间感的问题，LiteCASS 用确定性子带重排加两级紧凑 U-Net 做掩码分离，在 DnR v3 立体声扩展上以 1.06 M 参数和 0.72 G 每秒运算量取得平均 SI-SDR 最高，代价是语音感知指标仍落后于更大基线与视觉辅助系统。

AVTR-1 用 153M 参数的双音频条件流匹配模型生成头部与表情动作，再用常开的渲染与调度循环把外部语音智能体的可变语音片段变成同步音视频，并用延迟分解与 R-DGG 验证了可交互性与说话人依赖，代价是仍依赖外部语音智能体与固定的窗口节拍。

针对单帧变 Q 输入的单音高估计，论文把频率轴空洞卷积拆成秩 9 瓶颈使参数从 17787 降到 11397 且三库精度持平，并证明训练噪声下限从 +6.02 dB 压到 -20 dB 能把 -20 dB 处 RPA50 从 2.44 提到 22.41，代价是干净集掉 0.35 点，自研 C 内核以 83 kB 在四款 CPU 上快于 …

针对漫射噪声下单目标实时提取问题，论文用最大加权似然把 NSR-ILRMA 与 RCSCME 改写为逐帧在线更新，并在静止与移动说话人仿真及真实录音中对比在线与分块批处理路线，其代价是每帧仍需矩阵求逆加速与稳定性控制且处理时间接近移位长度。

论文把已知录音的谐波打击分离放在离线预处理、把相位声码器与叠加相加放在逐帧可变速的实时合成，并用预计算频谱查表把总运行时间降低约一半，代价是更小的预计算跳长需要更多预计算与内存。

Encypher 研究陌生人如何一起跳舞并共同引导实时神经音频，用 11 人课堂研究显示协作感达 81.8% 认同而个人控制感仅 63.6%，代价是 2 秒生成延迟和屏幕分散注意力的双刃效应。

针对无线音频需在有损与无损之间无断点切换的问题，OLAC 只做可逆时域混叠抵消加窗而不做整数 MDCT 变换，用前向线性预测与 Golomb-Rice 编码实现无损压缩，在 20 毫秒帧下平均压缩到 56.8%，代价是帧间预测被切断且随机访问需先解前一帧。