实时处理

Passing 把一段多摩单轨车窗连续录像堆成时空体并沿非线性截面重采样出无尽画面，再用去掉视觉语义分支、只留时间对齐与车内环境声语义锚定的 SpecMaskFoley 实时生成同步声，代价是最终展览声景没有可复算的客观正确性指标，只能靠现场稳定性和艺术协商来收敛。

该工作把实时语音交互拆为思考、行动与说话协调三层，用文本教师蒸馏加可执行环境强化学习提升多轮约束跟踪与工具执行，在半双工语音版 τ-Voice 上总成功率从 78.4% 升至 82.0%，代价是部分流畅性与延迟指标并未同步最优且长时程口语任务仍未验证。

针对立体声电影音频要同时分出对白、音乐、音效并保住空间感的问题，LiteCASS 用确定性子带重排加两级紧凑 U-Net 做掩码分离，在 DnR v3 立体声扩展上以 1.06 M 参数和 0.72 G 每秒运算量取得平均 SI-SDR 最高，代价是语音感知指标仍落后于更大基线与视觉辅助系统。

AVTR-1 用 153M 参数的双音频条件流匹配模型生成头部与表情动作，再用常开的渲染与调度循环把外部语音智能体的可变语音片段变成同步音视频，并用延迟分解与 R-DGG 验证了可交互性与说话人依赖，代价是仍依赖外部语音智能体与固定的窗口节拍。

针对单帧变 Q 输入的单音高估计，论文把频率轴空洞卷积拆成秩 9 瓶颈使参数从 17787 降到 11397 且三库精度持平，并证明训练噪声下限从 +6.02 dB 压到 -20 dB 能把 -20 dB 处 RPA50 从 2.44 提到 22.41，代价是干净集掉 0.35 点，自研 C 内核以 83 kB 在四款 CPU 上快于 …

针对漫射噪声下单目标实时提取问题，论文用最大加权似然把 NSR-ILRMA 与 RCSCME 改写为逐帧在线更新，并在静止与移动说话人仿真及真实录音中对比在线与分块批处理路线，其代价是每帧仍需矩阵求逆加速与稳定性控制且处理时间接近移位长度。

论文把已知录音的谐波打击分离放在离线预处理、把相位声码器与叠加相加放在逐帧可变速的实时合成，并用预计算频谱查表把总运行时间降低约一半，代价是更小的预计算跳长需要更多预计算与内存。

Encypher 研究陌生人如何一起跳舞并共同引导实时神经音频，用 11 人课堂研究显示协作感达 81.8% 认同而个人控制感仅 63.6%，代价是 2 秒生成延迟和屏幕分散注意力的双刃效应。

针对无线音频需在有损与无损之间无断点切换的问题，OLAC 只做可逆时域混叠抵消加窗而不做整数 MDCT 变换，用前向线性预测与 Golomb-Rice 编码实现无损压缩，在 20 毫秒帧下平均压缩到 56.8%，代价是帧间预测被切断且随机访问需先解前一帧。

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

针对自己声音堵塞效应个体差异大、难以重复呈现的问题，该工作用大耳罩物理去除空气传导再经实时滤波重放，并在人工头上验证了对多档堵塞增益与插入损失组合的独立仿真能力，代价是低频仍有残余上限与约 6.5 ms 系统延迟。

针对强混响重叠与残留回声下的实时目标语音提取问题，该工作用分区多输出前端加在线波束形成再加跨波束细化的三段流水线，在十九点八七五毫秒延迟约束下把开发集可懂度和感知质量从基线附近明显抬高，而第二阶段更干净的主观听感反而在受污染近讲参考下出现客观分下降。

针对助听设备的多通道目标说话人提取问题，MBSRNN 用 33 子带切分分别处理混合语音与注册语音并以 FiLM 交错 LSTM 注入说话人信息，在 CHiME-9 开发集流式条件下把 fwSNRseg 从基线约 2.2 提升到约 4.4 至 4.6，代价是约 53.1M 参数与处理一秒片段约 224.3 GMACs 运算量以及 STOI 未稳定提升。

针对混合音乐中扩展长笛技法难以只靠音高对齐跟谱的问题，论文把 Antescofo 的对齐机与轻量识别器 ipt~做松耦合混合切换，在 11 类技法上报告宏 F1 为 93.4%±0.1，但混合跟谱以增加延迟为代价换取跨演奏的稳定性。

该文把现场音色匹配做成每 0.093 秒调一次连续合成参数的强化学习控制问题，用描述符状态加五种奖励在合成器内域与跨域及真实乐器语料上验证，最强证据是同合成器内域匹配显著更准，而代价是跨域只能近似且对描述符与奖励选择高度敏感。

针对临时拼凑的多智能体与单体黑盒难复用难实时的问题，论文用类型化共享黑板加需要与提供声明实现自动拓扑调度，并在纯 Python 加原生库加速的路线下给出模块化可增量扩展的工程方案，代价是暂无定量性能评测与图形化工具仍在开发中。

该文用弦两端载荷单元反推弓弦压力、用固定磁场感生弦速直方图分离粘弦速度来实时估计弓速，并把两路参数接到弓—质量摩擦模型验证可演奏性，代价是必须贴近支点与磁体运弓且力估计存在位置相关偏差。

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读

论文要解决高层作曲组织与底层实时 DSP 长期分离的问题，选择全部用 Common Lisp 重建调度、合成、记谱与界面，最强证据是同一 Lisp 映像内改 UGen 与预设并即时发声，代价是依赖 Incudine 与 CLOG 等外部生态且无受控定量评测。

针对现场钢琴对话中缺力度、无明确轮次和输出延迟破坏节奏的问题，论文用四元组力度建模加 ggml 加速、脚踏开关标注的呼应微调与逐音符延迟补偿来回应，最强证据是逐音符补偿把节拍对齐中值提高到 0.7834 而无补偿仅 0.0678，代价是上下文能装的音符数从 341 降到 256 且风格仍局限于单人专家数据。