实时处理

Diffuplex 用自回归策略决定何时说话、用语音条件离散扩散并行生成说什么，在 VoiceBench 上以思考模式达到 86.9 分并实现每前向 13.0 词元、1872 词元每秒的解码速度，代价是需要三阶段训练与提前固定前缀带来的延迟质量折中。

LiveSynth 用流式 MIDI 加 CLAP 音色向量逐帧生成连续音频隐变量再经因果 VAE 解码，在 NSynth 和 Slakh 上取得与离线基线可比的音色相似度和更低的频谱距离，代价是音符准确率和制作质量偏低，且实时性结论只在 M3 MacBook Air 上 10 ms 帧长下成立。

针对全双工语音模型中实时音频与内部思考共用一条位置时间轴导致变速推理时错位的问题，Rubato 用实时钟与思考钟两套独立位置计数实现零样本变速插值，在只训练两种极端思考预算下保持准确率并随算力提升缩短给出答案的时间，代价是推理需维护多套键缓存与合成数据依赖。

Sonic-AMG 针对双耳音频流加世界系声源位置输入，用 what 与 where 分离表征加因果 Transformer 与流头逐段生成动作，并以排练训练和空间反馈缓解历史与空间条件失配，在 SAM 上取得最优 FID 与 R-precision 且保持实时流式生成，但结论限于 SAM 划分与已知声源位置条件。

针对每 80 ms 都要唤醒主干的全双工对话开销，DiffuPlex 一次预测 16 帧未来并只消费可信前缀，在保持打断与轮转行为的条件下把主干调用降到约一半，代价是单次唤醒更贵且激进消费语音未来会损失自然度。

针对 CPU 上低延迟流式说话人日志问题，论文把说话人识别网络改成因果帧级编码器并配以置信度门控在线聚类，在低重叠数据上取得领先但重叠语音仍是主要代价。

Lyric 针对小设备上音频采集与频谱特征计算开销大的问题，用五个无源声学共振通道加低速包络做输入，在说话人互斥的 AudioMNIST 实测中以 EdgeSpeechNet-A 达到 95.70% 准确率，代价是相对对数梅尔基线下降 3.58 个百分点并大幅降低处理器计算延迟。

Paradee 针对单音色 af_heart 把 Kokoro-82M 的文本侧与解码器分别蒸馏并直接拼接，在 200 句 held-out 上 UTMOS 4.41 接近教师 4.52，代价是保留 2-8 kHz 相位相关的轻微嗡嗡声并依赖相位锁定滤波做训练后修正。

针对多人多会话语音对话中说话人混淆与事实新旧混淆问题，PERSIST 用可读事件记录加语义加说话人加时间联合打分做检索，并复用对话主干中间表示把检索延迟从 578.42 ms 降到 7.03 ms，代价是仍依赖转写与说话人归属质量。

针对健康机动与故障在声音上容易混淆的问题，该工作用去噪加机动条件重构只学习健康声音，用重构误差做异常分，在同一划分下完整模型 AUC 达到 0.884，但误报率上升到 0.296 且端到端延迟约 20 ms 主要来自去噪网络。

针对 Qwen3-TTS 内层 MultiCodeDecoder 每帧 15 次自回归调用的主导延迟，论文复用冻结的逐位置 LM 头并只训练 3 个残差偏移向量做草稿加稀疏树验证，在保持 top-k 采样分布无损下实现约 2.47 个 token 每次调用和 2-2.2 倍实测加速，代价是每次验证调用查询长度增大带来的 10-20% 额外开销。

针对耳机助听器等电池供电设备的语音去噪功耗问题，Zephyr 把 Spiking-FullSubNet 改写为 INT8 硬件友好版本并配以稀疏感知的复用 PE 阵列，在 Intel N-DNS 上报告 14.54 dB 与 52.9nJ 每帧的估算能耗，代价是相对浮点原版约 0.66 dB 下降且能耗为 45nm 估算而非实测。

该文把离线音乐分离模型不改权重地按单跳滑窗流式运行，用读出位置控制算法延迟，证明窗口长度处存在质量拐点，并在 23 与 93 毫秒下用 HT-Demucs 与 SCNet 达到专用实时模型相当的分离质量，代价是除 HT-Demucs 外仍高于实时计算量。

针对全双工语音每秒输入必须在下一秒前变成一秒语音的截止期问题，DuplexCadence 把时钟速率与保留界声明给运行时，用按需定址的携带缓存与精确形状图回放在合成尾段实现约 2.85 倍加速与约 38.8% 峰值内存下降并保持逐字节一致，代价是一次性捕获预热与自回归阶段仍在无损范围之外。

MyoCodec 针对肌电信号的流式与多任务需求，用因果 Transformer 编码加六级残差向量量化把 2 千赫兹肌电压成每通道 50 赫兹 2400 比特每秒的离散表示，在十二个公开数据集上训练后重建与四个下游任务上可复现地优于对照，但数据偏向打字与手势且下游结构未为离散 token 重设计。

针对助听级单片机算力与功耗约束，论文用卷积网络估计最小方差无失真响应权重加轻量变换器逐帧修正，并以交错执行与混合精度在 GAP9 上实现 15 毫秒帧延迟，部署后报告 STOI 97.65%、SI-SNR 20.26 dB、宽带 PESQ 3.676、平均功耗 45.9 毫瓦，语音占空比下可超 16 小时续航，代价是权重刷新周期拉长到 564 毫秒且依赖语音 …

针对全双工语音模型靠压缩隐向量读取外部知识易丢精确值的问题，论文用单次块预填充把检索原文直接注入对话流，并在问答与全双工评测中验证了可行性，代价是每词一帧带来的内存开销与对后端识别和大模型推理的依赖。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对无声视频需要分轨可编辑和空间可控配音的问题，VisionSFX 用视觉语言模型拆事件、每个事件独立调用预训练音频模型生成、再用光流加深度做免训练双耳渲染，代价是本研究未报告客观音质与定位精度指标且依赖现场演示条件。

MER-Live 针对离线评测与实时交互脱节的问题，选择以韵律驱动的轻量语音分支为主、视频与文本做置信度加权迟融合，用 10 折 IEMOCAP 上音频 74.03% WA、融合超 83% 为证据，代价是实时 3 秒窗精度上限约 60% 且需 TensorRT 与浏览器条件配合。