📄 按截止时间回答的多音高估计：JIT-MPE 如何即时给出再逐步修正

英文题目：JIT-MPE: Just-in-Time Multi-Pitch Estimation under Output Deadlines

评分：7.0/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Yoshiyuki Kobayashi：Frieve

📌 核心摘要

现场显示与跟谱需要在几十毫秒内知道当前响起哪些音高，而通用混合编制的多音高估计多按读取整曲来设计和评分，延迟与精度的关系没有被量化。JIT-MPE对每段20 ms帧先用因果谐波卷积与跨音共享循环网络给出即时估计，再在20、40、80、160 ms新音频到达后用延迟头重估同一帧，显示可先画后改，同一模型因此能服务所有截止时间。截止时间受限评测只用截止时间前已到达音频能算出的输出计分，从而区分早估计的精度和等待的收益。在50 ms截止时间下按录音级宏F1比较，JIT-MPE在九个集的45组对照中有38组高于六个已发表离线MPE系统中的五个，仅2组更低；在四个留出集上相对自身160 ms前视最终输出的差值为-1.27至+0.60个百分点。等待主要补上刚起音的漏检，留出集AAM上起音后首个20 ms内参考帧召回率从9.8%升至50 ms时的38.4%，160 ms时达62.3%。即时估计本身并不弱，与同谐波前端的单头因果对照相当，50 ms更新则在录音级宏F1上比即时估计增加1.7–3.6个百分点，基本弥合到最终输出的差距。该结论不覆盖所有情形，两个更低对照均在BSED真实管弦录音上，第六个在URMP上监督的系统在三个连续基频真值集与BSED真实集上更高，而在ChoraleBricks上等待没有带来提升。单CPU线程最慢一跳至多4.15 ms，模型含86k参数，每秒音频需0.68 GMAC。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

现场应用为什么要在截止时间前回答哪些音高在响

这篇论文研究的输入是混合乐队的音频，目标是对每隔 20 毫秒的 1 帧判断 88 个半音中哪些正在发声。离线转谱可以读完整首录音再回答，而现场音高显示、乐谱跟随和伴奏系统只能用已经到达的音频，在几十毫秒内给出答案。

已有两条路线各覆盖一半场景。乐器无关的多音高估计主要按离线设计和评测，读取整首录音，帧分数与答案何时可用无关；低延迟转谱则主要针对独奏乐器尤其是钢琴。混合合奏在必须按时回答时会损失多少精度，此前没有被测过。

多音高估计 × 输出截止时间： 多音高估计指对每一短帧判断哪些音高正在发声；输出截止时间指查询时刻之后允许使用的音频上限。二者搭配的意义是把精度与可用时间绑定，只有截止前能算出的输出才计分，从而看出早给答案损失多少、再等一会儿又补回多少。

已有离线系统、低延迟转谱与延迟感知评测各解决什么

已发表的离线多音高估计系统接受任意乐器组合，在完整录音上设计和评测。论文用作参照的有深度显著性思路、Weiß和 Peeters 比较的 DRCNN 与 PUnet XL、轻量 Basic Pitch、Timbre-Trap 和自监督 SS-MPE 等。钢琴转谱中的谐波空洞卷积等做法把泛音结构做进模型。

多乐器转谱如 MT3、YourMT3+ 和 MuScriptor 输出的是音符序列而非帧级音高，论文只把它们的音符输出当作帧级音高来打分，并明确这超出其设计用途，不能当作转谱质量的评价。低延迟转谱在钢琴上有高时间分辨率和实时研究，最接近的是对钢琴系统做最小延迟适配并报告精度变化，但只覆盖钢琴。

延迟感知评测的思想来自增量语音识别、流式感知和同声传译，即只按固定延迟时可用的假设打分。JIT-MPE 的延迟头沿用了流式语音中一个模型服务多种延迟的原则。

论文把实时多音高估计具体化成什么可测问题

论文把问题定义为在输出截止时间 D 下回答查询时刻 q 响着哪些音高。答案只能用 q+D 之前到达的音频。模型以 20 毫秒为步长运行，输出行 t 的目标时刻为(t+1) 乘 20 毫秒，分析窗结束于该目标时刻。

评价用陈旧保持时钟回答：取目标时刻不晚于 q 的最新行，用为该截止选定的头读出。选头只在等待不超过 D 的头里选。论文重点报告 D 为 50 毫秒，它读的是等待 40 毫秒的更新，而不是即时估计。D 不包含计算时间和音频接口延迟，但在 50 毫秒时所选头只需用到 q+40 毫秒的音频，至少留出 10 毫秒给计算。

指标是录音级宏平均 F1，即每首录音先算 F1 再平均。有连续基频真值的集用 50 音分内一对一匹配的连续基频 F1，否则用半音 F1。为处理偏离标准音的录音，论文按全部浊音参考值估计整体偏移再归约到 MIDI 音符。

JIT-MPE 如何做到先即时显示再改写最近历史

JIT-MPE 是一个 86,000 参数的因果模型。它对每帧先给出即时估计，所用音频不超过目标时刻；同一帧随后被延迟头重新估计，分别在 20、40、80 和 160 毫秒更多音频到达之后。显示可以先画即时估计，再用每次更新改写最近历史，像播放头后方逐渐稳定的钢琴卷帘，最终估计在 160 毫秒处。

下面这张时序图是理解全文的关键，它只讲一行输出的时间关系，先看懂目标时刻、显示区间与各延迟头的就绪时刻，再看 50 毫秒截止能读哪个头。

看图路径： 1. 先看目标时刻与分析窗的相对位置，确认即时头不需要未来音频；2. 再看延迟头在时间轴上的标记，确认 50 毫秒截止能读到哪个头；3. 注意训练标签指向显示区间中点，与目标时刻差 10 毫秒

原论文 Figure 1：Timing of one output row of JIT-MPE.

论文图 1。原论文 Figure 1:：“Timing of one output row of JIT-MPE. The analysis window (the shorter of the two is shown) ends at the target time \tau, so the d=0 head needs no audio after \tau.”。

从像素可见，短分析窗结束于目标时刻 tau，即时头不需要 tau 之后的音频；横轴是相对 tau 的毫秒数，纵轴方向只是示意分层。延迟头 0、1、2 在 50 毫秒截止前就绪并以实心点表示，其中头 2 被放大标记为本次读出，头 4 和头 8 为空心表示尚未就绪。训练标签指向显示区间中点即 tau 加 10 毫秒。这种一个模型给出序列更新的设计，使不同截止读同一模型的不同阶段，分数就反映等待的价值。

即时估计 × 延迟头： 即时估计指只用目标时刻之前的音频对当前帧的第一次判断；延迟头指读取更晚循环状态、对同一帧重新估计的输出头。两者分工是前者保证有答案可显示，后者利用随后到达的音频修正同一帧，组合后一个模型就能服务多个截止时间。

输入的两档分析窗与谐波特征怎样为每音符收集证据

每 20 毫秒帧用两个结束于目标时刻的分析窗描述，长度约为 85 毫秒和 341 毫秒。每个窗的幅度谱投影到每半音三格的对数频率轴，共 300 格，覆盖 MIDI 约 20.67 到 120.33，再做对数压缩和标准化。JIT-MPE 用非对称窗，即长上升沿加短下降沿，短窗下降 10 毫秒、长窗下降 20 毫秒，目的是减小前端延迟；其他自训对照模型用同样长度的对称汉宁窗。

卷积谐波主干有八层、24 通道、3 乘 7 核，频率空洞从 1 到 64，频率视野达正负 384 格，超过整个音高范围。每个核在时间上因果覆盖 3 帧，因此主干看到最近 17 帧。随后谐波聚集对 88 个音符的每一个，在其 18 个泛音与次泛音位置读取主干特征，形成每音符 64 维特征。

\[k_{p,h}=3p+1+\lfloor 36\log_{2}h+0.5\rfloor\]

上式说明聚集的位置索引如何由音符序号 p 和谐波比 h 算出，每半音三格的刻度使泛音位置落在对数轴的固定偏移处。

\[v_{p}=\mathrm{ReLU}\Big(\sum_{h}W_{h}\,x[k_{p,h}]+b+e_{p}\Big),\]

上式说明该音符的特征是各泛音位置特征的加权求和再加偏置与每音符偏置后取修正线性单元，权重在音符间共享。

谐波主干 × 谐波聚集： 谐波主干指在对数频率谱上用大频率空洞卷积提取跨音高范围特征的卷积部分；谐波聚集指按每个音符的泛音位置取出对应通道特征并形成每音符特征的操作。前者负责看到基音与高次泛音的关系，后者把分散在频率轴上的能量按音符收拢，组合后每个音符的判断都有泛音证据。

调音偏移的估计式如下，它先把参考基频换算为 MIDI 值，取与最近整数的差的中位数再乘 100 得到音分偏移。

\[c=100\cdot\mathrm{median}\big(m-\mathrm{round}(m)\big)\]

该偏移用于把估计与参考都归约到同一半音网格，避免整体偏高或偏低被误判为大量错音。

区间聚合与循环层如何分工再交给延迟头

区间聚合把每个音符与固定音程偏移的音符特征合并，偏移包括同度、二度、四五度、八度、十二度与双八度等，先映射到 16 维再映射回 64 维并做层归一化的残差相加。它的作用是显式处理泛音与八度混淆，例如某音符的泛音恰落在高八度音符的基频处。

之后一个 64 单元的门控循环单元按音符共享权重沿时间运行。存在头对延迟集合 0、1、2、4、8 分别读出，即用 t 加 d 行的循环状态估计 t 行。所有头联合训练。其他因果对照只有 0 头；双向对照保持频率布局但用时间居中卷积与双向循环，容量拆到 2 个方向。

区间聚合 × 门控循环单元： 区间聚合指把当前音符与固定音程关系的音符特征合并再残差加回的操作，用于处理八度、五度等易混淆关系；门控循环单元指在时间上按音符共享权重的循环层，用于积累上下文。两者搭配是前者在频率维度解混叠，后者在时间维度平滑，之后再交给各延迟头读出。

论文把对照做成 3 级阶梯：谐波前端相对空洞卷积前端、非对称窗加多头训练相对单头谐波模型、延迟头的稍后读出相对同一模型的即时读出。最后 1 级是同一训练模型的两种读法，直接衡量更多音频对 JIT-MPE 的价值；前 2 级是分别训练的模型比较，且各自打包了多处改动，不能读成单一因素的纯效应。

模型在哪些数据上训练以及阈值和选头如何定

所有自训模型用同样的 767 个训练片段，来自吉他、合成多轨、MusicNet、艺术歌曲、合唱与鼓等公开数据，其中纯鼓片段作负例。标签是 88 键半音存在，由音符或人声基频得到，不可信标签在损失中屏蔽。训练分 2 个阶段，先在 3.84 秒随机裁剪上训练，再以更低学习率继续并加入鼓与人声混入、低音区合成音、压缩与电平变化及辅助音头损失。

训练后每个模型和头拟合输出对数上的加性偏置，包括一个全局值和 3 个音区值，在训练集留出的校准片段上按数据集平均 F1 选择。每个截止选一个头，在与训练片段按作品不相交的选择集上用陈旧保持时钟按微平均 F1 选择，且只在就绪的头里选。结果是对 3 个随机种子一致地在 20 毫秒选头 1、40 到 60 毫秒选头 2、80 到 140 毫秒选头 4、160 毫秒及完整选头 8。

下表是训练片段的构成与标签来源，用于判断训练域与评测集的重叠，列为数据集、片段数与标签来源。

DatasetClipsLabel source
GuitarSet138note annotations
Slakh2100-redux137MIDI notes with sustain pedal
Groove313none (drums only)
Total767

该表显示训练覆盖拨弦、合成、室内乐、声乐与鼓，合成多轨与 MusicNet 的存在意味着部分评测集对自训模型是部分域内，这是后文解释比较时必须记住的条件。论文明确评测录音不在训练数据中，但未核查某些作品是否同时出现在训练与评测中。

开发集与锁定后才评测的保持集如何划分

开发用室内乐、众赞歌与管弦录音，包括 URMP、复合成的 Bach10、MusicNet 的音符子集、TRIOS 与 PHENICX 无混响。开发聚合 All-29 由 URMP 基频、复合成 Bach10 与 10 首 MusicNet 按各自主要真值组成，仅用于汇总开发结果。

在冻结所有模型、校准与选头后，论文评测 3 个保持集：AAM 是从保留的前 2000 首中随机抽 100 首、每首 30 秒的合成多轨混音；ChoraleBricks 是 10 首管乐众赞歌、由分轨录音混成，同时有连续基频与音符；BSED 是 9 部贝多芬交响的 20 个片段，每片段有 4 个真实演出与一个合成渲染，分为真实与合成两套报告。加上开发集共 9 个评测集。

录音级宏平均 F1 × 连续基频 F1： 录音级宏平均 F1 指先算每首录音的 F1 再平均，方向是越高越好，它让长短录音权重相等；连续基频 F1 指在 50 音分内一对一匹配估计与参考基频的帧级别分数，半音 F1 则比较 MIDI 音高集合。前者用于有精确基频真值的集，后者用于只有音符名义音高的集，论文按数据集选主指标。

统计用 3 种子平均，置信区间是在作品簇内重采样的 10,000 次配对自助百分位区间，反映录音间变异而非训练运行间变异。是否显著只看配对差的区间是否完全在零之上或之下，不显著不代表等价，且未做多重比较校正，边界附近的单次读数不应单独下结论。

下表是已发表参照系统的版本与训练域，用于判断谁在哪些列是域内，列为系统、来源与训练选择。

SystemSourceTraining and selection
SS-MPE v0.2.0github.com/cwitkowitz/ss-mpe, release v0.2.0supervised on URMP, chosen on the URMP F0 recordings
Timbre-Trapauthors’ releaseURMP, selected on a nine-recording URMP subset
WP-DRCNNgithub.com/christofw/ multipitch_architecturesMusicNet
WP-PUnet XLgithub.com/christofw/ multipitch_architecturesMusicNet

该表说明 SS-MPE 新版在 URMP 上有监督且在 URMP 基频上选检查点，WP 模型在 MusicNet 上训练，Timbre-Trap 在 URMP 上训练选择，MuScriptor 与 YourMT3+ 的训练包含更广的合成与真实数据。这些归属决定后文哪些高分可能来自域内优势。

50 毫秒截止的精度与等待到最终输出各差多少

核心结果看 50 毫秒截止读出的更新，它用了 40 毫秒前视。开发聚合上 JIT-MPE 在 0 毫秒约 77.24%，20 毫秒约 79.73%，40 到 60 毫秒约 80.83%，80 到 200 毫秒约 81.03 到 81.13%，因此超过 40 毫秒再等在开发集上至多增约 0.3 个点。AAM 从 0 毫秒的 80.41% 升到 50 毫秒的 82.58%，再到完整的 83.85%；BSED 真实与合成也有类似爬升；ChoraleBricks 则几乎平坦，0 毫秒 77.95%，50 毫秒 77.96%，完整 77.36%。

下面这组截止曲线把上述权衡画成五块面板，读图时先确认横轴是截止而非计算耗时，纵轴越高越好，再看曲线只在有新头可用时变化，平段来自离散延迟而非最优截止。

看图路径： 1. 先看横轴截止时间与纵轴录音级宏平均 F1，确认方向是越高越好；2. 比较 JIT-MPE 曲线在 20、40、80 毫秒附近的抬升与平台；3. 再看右侧 F 处完整输出标记与已发表系统的散点位置

原论文 Figure 2：Recording-level macro F1 on the primary truth against the output deadline D (0–200 ms), which…

论文图 2。原论文 Figure 2:：“Recording-level macro F1 on the primary truth against the output deadline D (0–200 ms), which bounds the audio each answer may use.”。

从像素可见，深色 JIT-MPE 曲线随截止上升后趋平，浅色单头模型为水平线，右侧 F 处为完整输出标记，已发表系统在 F 处多为散点。AAM 与 BSED 合成的爬升较明显，ChoraleBricks 各线缠绕，BSED 真实的置信带更宽，说明该集录音间变异大。曲线在 20、40、80、160 毫秒附近的变化对应新头可用。

下表比较 50 毫秒读出与其自身完整输出及同规模双向模型的差距，公平条件是同一训练配方与各自主要真值，指标是录音级宏平均 F1，越高越好，差值为 50 毫秒减对照。

条件50 毫秒 F1完整输出 F1与双向模型差
AAM82.58%83.85%低 2.08 点
BSED 真实64.52%65.49%低 0.52 点不显著
BSED 合成77.01%78.28%低 0.50 点不显著

该表把截止代价拆成两部分。对自身完整输出，50 毫秒在 3 个保持集低 0.97 到 1.27 点，在 ChoraleBricks 反而高 0.60 点；对读取整首录音的双向对照，只在 AAM 显著低 2.08 点，在 ChoraleBricks 显著高 0.79 点，其余不显著。论文据此说截止代价小，但该判断只在这 4 个保持集与该规模双向模型的条件下成立，更大的双向模型可能更好地利用未来上下文而拉大差距。

音头之后的前几十毫秒为何是等待最划算的地方

论文按参考音头之后的时间分箱统计召回。在保持集 AAM 的音头后 0 到 20 毫秒箱，即时读出只召回 9.8%，50 毫秒读出升到 38.4%，160 毫秒前视升到 62.3%，双向模型为 67.0%。差距在随后三箱缩小到 19.5、9.7 和 3.5 个点，100 毫秒之后不足 1 个点。50 毫秒相对完整多漏的帧中约 79% 在音头 60 毫秒内；相对双向模型多漏的帧则多在 500 毫秒后的持续音中。

下面这张图把上述分箱召回画成随音头年龄变化的曲线，读图时注意它统计的是参考帧的召回，不是音符首次被检出的延迟，也包含起音本身尚未建立稳定音高的时间。

看图路径： 1. 先看横轴为参考音头之后的时间分箱，纵轴为召回率；2. 比较即时读出、50 毫秒读出与完整读出在 0 到 20 毫秒箱的差距；3. 再看 100 毫秒之后各曲线是否收敛

原论文 Figure 3：Recall by time since onset on held-out AAM.

论文图 3。原论文 Figure 3:：“Recall by time since onset on held-out AAM.”。

从像素可见，最左箱各线分散，即时线最低，双向与完整线最高；随横轴增大各线上升并收敛，右侧长持续箱略有回落。已发表系统在首箱的完整读数介于三十多到七十多之间，说明首箱本身对所有系统都难。

机制解释是音头刚起时即时头的窗内最多只有几毫秒的新音，且起音瞬态尚未分解为稳定音高，稍后到达的音频正好补上这部分证据。因此延迟更新的收益集中在音头附近，而不是均匀提升所有帧。在 ChoraleBricks 上等待没有帮助，原因论文未查明，这是重要的反例。

与读取整首录音的已发表系统相比绝对精度如何

在各集主要真值上，50 毫秒的 JIT-MPE 对 6 个离线多音高估计系统的 45 次比较中 38 次显著更高，仅 2 次显著更低且都在 BSED 真实上，其余 5 次不显著；仅看保持集是 20 次中 15 次更高。除 Basic Pitch 外这些系统参数为其 6 到 170 倍，两个转谱系统约为 550 与 16000 倍。

连续基频三集上，JIT-MPE 高于 Basic Pitch、WP 2 个模型、Timbre-Trap 与 SS-MPE 旧版，但低于在 URMP 上有监督的 SS-MPE 新版，包括其训练域外的两集。半音表上，开发集 JIT-MPE 高于 Basic Pitch、Timbre-Trap 与 SS-MPE 旧版；在 AAM 高于全部 6 个多音高系统；在 BSED 合成高于 5 个且与 WP-DRCNN 不显著不同。

主要例外是 BSED 真实，JIT-MPE 为 64.5%，是所有集最低，低于 WP-DRCNN 约 7.9 点、WP-PUnet XL 约 2.5 点与 SS-MPE 新版约 2.0 点。截止不能解释它，因为完整输出仅 65.5%、双向对照仅 65.0%，而 WP-DRCNN 达 72.4%；曲目重叠也不能单独解释，因为同批片段的合成渲染上 JIT-MPE 与 WP-DRCNN 已无显著差异。转谱系统中 MuScriptor 在 AAM 与 BSED 真实更高，其余多为不显著，YourMT3+ 在多集的帧级分数低于 JIT-MPE。所有比较都是完整流水线的比较，阈值与校准条件并不完全对等。

三级阶梯中哪一步带来最大增益与什么代价

消融按开发集增益从大到小逐级去掉：稍后读延迟头、非对称窗加多头训练、谐波前端。前者是同一模型的两种读法，后两者是分别训练的模型比较。

下表是 50 毫秒读出相对逐级去掉后的增益，条件为陈旧保持时钟与主要真值，指标为录音级宏平均 F1，差值为上行减本行即去掉步骤的收益。

去掉的步骤开发 All-29 增益AAM 增益BSED 真实增益BSED 合成增益
稍后读延迟头3.59 点2.17 点1.70 点2.69 点

延迟头是最大的一步，在开发集与除 ChoraleBricks 外的保持集显著增加 1.70 到 3.59 点，在开发集与 AAM 及 BSED 合成超过另两步之和；在 ChoraleBricks 仅 0.02 点且不显著。窗与多头训练在开发集增 1.55 点，在保持集只在 BSED 合成显著，且即时读出在任何集都不显著低于单头谐波模型，说明即时估计本身没有被多头拖累。谐波前端在开发集仅 0.55 点，但在 BSED 真实达 2.20 点且是该集 3 步最大，说明前端价值随集而异。论文未训练固定 40 毫秒前视的单头模型，因此不能说延迟头比同前视的专用模型更准。

这些结论在什么条件下才成立以及哪些没有测

结论限于帧级音高存在，未评测音符级转谱、歌声、流行音乐实录，也未评测听众对改写最近历史的显示的感知。保持集虽在冻结后评测，但 MusicNet 进入训练使部分开发与 BSED 对自训模型是部分域内；TRIOS、PHENICX、BSED 与 ChoraleBricks 的作品簇分别只有五、四、九、10 个，置信区间建立在很少的簇上。

输出时钟的细节也会影响数字。在查询网格与输出行错开的 URMP 与 Bach10 上，完整输出取最近行常取到下一行，使自训模型的完整分数略低；开发聚合上 160 毫秒输出按最近行比按陈旧保持低约 0.48 点，这也改变延迟头在开发集的增益读数。

未胜出项必须记住：SS-MPE 新版在 3 个连续基频集更高；BSED 真实上两个 WP 模型与 SS-MPE 新版更高；MuScriptor 在 AAM 与 BSED 真实更高；ChoraleBricks 上等待无收益且 50 毫秒反而高于完整。这些反例说明小截止的优势不是普遍的，换集、换真值或换更大对照都可能改变排序。

复现第一步做什么以及计算与运行条件是什么

复现先按论文的时钟与选头规则搭评测：20 毫秒步长、目标时刻加 10 毫秒为标签时刻、查询取最新就绪行、每个截止只读等待不超过截止的头，50 毫秒读等待 40 毫秒的头。真值按数据集网格查询，连续基频用 50 音分一对一匹配，半音先估计整体调音偏移再归约，录音级先平均再跨录音平均，自助在作品簇内重采样。

模型侧每帧算两档谱、谐波主干、聚集、区间聚合、循环与 5 个存在头，连续音高细化只在目标行频谱内以 20 音分步长搜索，不增加前视。论文报告每秒音频 0.68 吉次乘加，单 CPU 线程每 20 毫秒跳的中位约 2.42 毫秒，95 分位约 2.70 到 2.80 毫秒，最慢 3.86 到 4.15 毫秒，因此在 50 毫秒留出的至少 10 毫秒内能算完。

关于获取：论文给出训练与评测代码及训练权重的链接，但本次未能确认可达，只能说论文声明在该地址提供，不能写已公开可用；代码、权重与可运行系统是三件事，需分别验证。NoteSpectrogram 分析器虽源自 JIT-MPE 但训练数据不同，论文结果不描述它。

什么时候值得尝试以及还需要补哪项验证

当任务是混合合奏的现场显示或跟随、能接受先显示再修正最近历史、且预算只允许数万参数与单线程毫秒级计算时，这个设计值得尝试。50 毫秒截止的更新已补上即时估计在音头后的主要漏检，而再等到 160 毫秒在多数集只多不到 1 个点，适合把最终稳定点设在播放头后方不远处。

不适合的情况也很明确：要求约 10 毫秒乐器响应的演奏、需要音符级输出、主要对象是歌声或流行实录、或显示不允许改写历史时，不应直接套用本文数字。BSED 真实与 ChoraleBricks 的反例提示，先在目标场地的真实录音上复测截止曲线与音头分箱，再决定等待时长。

还需补的验证是固定同等前视的单头模型对照、更大双向模型的差距、以及真实演出混响与电平下的稳定性。若要部署，还应实测音频接口延迟与计算抖动之和，而不仅是模型本身的每跳耗时。

📎 论文与评分元数据

排名：前50% | 文档类型：模型报告 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-10-27 语音/音乐/音频论文速递