📄 Velocity Prediction in Automatic Guitar Transcription

7.5/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1/1.5

✅ 7.5/10 | 前25% | arxiv

👥 作者与机构

Jackson Loth, Xavier Riley, Simon Dixon, Emmanouil Benetos 机构：论文未在正文明确列出作者单位。根据摘要页脚，该工作受Innovate UK和UKRI Centre for Doctoral Training in AI and Music支持，并利用了Queen Mary University of London的Apocrita HPC设施。

💡 毒舌点评

这篇论文的出发点很好——解决吉他转录中几乎被遗忘的“速度”预测问题。作者诚实地指出了吉他速度定义的模糊性这一根本痛点，并提出了一个务实的、基于虚拟乐器的“曲线救国”方案。两阶段迁移学习的设计在工程上是合理的。然而，最大的尴尬在于，由于缺乏真实世界的ground truth，这项工作的核心贡献（速度预测）几乎无法被严格评估。合成数据上的优异表现，说服力打了个大折扣。那个对音高转录“微小但有时显著”的提升（约0.1%），在顶会舞台上更像是一种安慰奖，很难让人兴奋。论文的实验设计（特别是两次数据划分）体现了审慎，但“我们无法验证模型是否真正理解了吉他速度”这一局限，像一根刺，扎在整篇工作的根基上。整体是一篇扎实、诚实但略显遗憾的领域入门级工作。

📌 核心摘要

本文针对自动吉他转录（AGT）中普遍缺失的速度预测问题，提出了一种基于合成数据预训练和迁移学习的方法。由于缺乏带有真实速度标注的吉他数据集且吉他速度概念本身模糊，作者利用虚拟乐器从现有MIDI数据生成带有速度标签的合成音频，预训练速度预测模块。随后，将该模块的权重冻结并迁移至一个在真实吉他数据集（无准确速度标签）上训练的转录模型中，从而赋予模型速度预测能力，同时利用真实数据保证转录性能。实验表明，该方法在合成数据上显著优于基线速度预测模型，且预训练的速度权重能为音高转录带来微小但有时统计显著的性能提升。这是首个在吉他转录中集成速度预测的工作。

🔗 开源详情

• 代码：论文中未提及代码链接
• 模型权重：论文中未提及模型权重下载链接
• 数据集：
  • FrançoisLeduc数据集：用于创建合成训练数据。论文中引用[22]，未提供直接下载链接。
  • GAPS数据集：用于微调。论文中引用[21]，未提供直接下载链接。
  • GOAT数据集：用于微调。论文中引用[16]，未提供直接下载链接。
  • GuitarSet数据集：用于测试。论文中引用[24]，未提供直接下载链接。
  • EGDB数据集：用于测试。论文中引用[2]，未提供直接下载链接。
  • （注：以上数据集均为论文引用的现有数据集，并非本论文新发布。）
• Demo：论文中未提及
• 复现材料：论文中描述了训练配置（如迭代次数、学习率、批量大小、数据增强方法、硬件信息），但未提供具体的配置文件或检查点下载链接。
• 论文中引用的开源项目：
  • Pedalboard：音频数据增强工具包。链接：https://github.com/spotify/pedalboard
  • mir_eval：用于转录和速度评估的工具包。链接：https://github.com/craffel/mir_eval

作者与机构

Jackson Loth, Xavier Riley, Simon Dixon, Emmanouil Benetos 机构：论文未在正文明确列出作者单位。根据摘要页脚，该工作受Innovate UK和UKRI Centre for Doctoral Training in AI and Music支持，并利用了Queen Mary University of London的Apocrita HPC设施。

毒舌点评

这篇论文的出发点很好——解决吉他转录中几乎被遗忘的“速度”预测问题。作者诚实地指出了吉他速度定义的模糊性这一根本痛点，并提出了一个务实的、基于虚拟乐器的“曲线救国”方案。两阶段迁移学习的设计在工程上是合理的。然而，最大的尴尬在于，由于缺乏真实世界的ground truth，这项工作的核心贡献（速度预测）几乎无法被严格评估。合成数据上的优异表现，说服力打了个大折扣。那个对音高转录“微小但有时显著”的提升（约0.1%），在顶会舞台上更像是一种安慰奖，很难让人兴奋。论文的实验设计（特别是两次数据划分）体现了审慎，但“我们无法验证模型是否真正理解了吉他速度”这一局限，像一根刺，扎在整篇工作的根基上。整体是一篇扎实、诚实但略显遗憾的领域入门级工作。

核心摘要

本文针对自动吉他转录（AGT）中普遍缺失的速度预测问题，提出了一种基于合成数据预训练和迁移学习的方法。由于缺乏带有真实速度标注的吉他数据集且吉他速度概念本身模糊，作者利用虚拟乐器从现有MIDI数据生成带有速度标签的合成音频，预训练速度预测模块。随后，将该模块的权重冻结并迁移至一个在真实吉他数据集（无准确速度标签）上训练的转录模型中，从而赋予模型速度预测能力，同时利用真实数据保证转录性能。实验表明，该方法在合成数据上显著优于基线速度预测模型，且预训练的速度权重能为音高转录带来微小但有时统计显著的性能提升。这是首个在吉他转录中集成速度预测的工作。

方法概述和架构

本文方法的核心目标是解决缺乏真实吉他速度标注数据的问题，采用一个两阶段的迁移学习框架。

1. 合成数据生成与速度估计：

   • 数据源：使用FrançoisLeduc数据集[22]中的79首已对齐的真实吉他音频和MIDI（约4小时）。
   • 速度估计：对于MIDI中的每个音符，通过信号处理估计其速度值。具体步骤：1）根据音符的起止时间提取音频片段；2）使用以基频和泛音为中心的带通滤波器过滤信号；3）计算各滤波信号的总能量；4）对各泛音能量进行指数衰减的加权求和；5）归一化到 [0, 127] 的MIDI速度范围。
   • 合成渲染：将估计出的速度值应用于原始MIDI，并使用三种不同的吉他虚拟乐器音色（来自Native Instruments和Straight Ahead Samples）进行渲染，生成约20小时的合成吉他音频。合成音频的性能与速度标签严格对应，虚拟乐器的速度曲线定义了模型学习的“真实”速度曲线。

2. 模型架构：

   • 采用Kong et al.[14]提出的High Resolution Piano Transcription模型架构，这是一个卷积循环神经网络（CRNN），广泛应用于AGT研究。
   • 输入：10秒的对数梅尔频谱图。
   • 输出：四个子模块，分别预测每个音高的起始（onset）、偏移（offset）、帧激活（frame）和速度（velocity）。速度值范围为 [0, 127]。
   • 子模块结构：每个子模块包含多个卷积层、双向门控循环单元（Bi-GRU）和一个全连接层。
   • 损失函数：训练总损失 \(\mathcal{L}_{A} = l_{\mathit{on}} + (0.1)l_{\mathit{off}} + l_{\mathit{fr}} + l_{\mathit{vel}}\)。其中 \(l_{\mathit{on}}, l_{\mathit{off}}, l_{\mathit{fr}}, l_{\mathit{vel}}\) 分别是各子模块的二元交叉熵损失。偏移损失被缩放0.1倍，以减轻不精确偏移标签的影响。

3. 两阶段训练流程：

   • 第一阶段（速度预训练）：使用生成的合成数据集训练模型，使用完整损失 \(\mathcal{L}_{A}\)，目标是学习虚拟乐器定义的速度曲线。
   • 第二阶段（真实数据微调）：
     • 初始化：从钢琴转录预训练权重初始化模型（如 [22] 所述）。
     • 权重冻结：将第一阶段训练好的速度子模块的权重加载到新模型中并冻结，防止其在后续训练中因缺乏正确速度标签而被破坏。
     • 训练数据：使用真实的GAPS和GOAT数据集（共计20小时），这些数据集没有准确的速度标注。
     • 损失函数：使用修改后的损失 \(\mathcal{L}_{B} = l_{\mathit{on}} + (0.1)l_{\mathit{off}} + l_{\mathit{fr}}\)，移除了速度损失项。
     • 目标：在真实数据上优化起始、偏移和帧预测模块，以获得高精度和泛化能力的音符转录，同时保留第一阶段学到的速度预测能力。
   • 数据增强：在两个训练阶段都应用，使用Pedalboard库：1）两个峰值滤波器（随机频率32-4096Hz，Q值1-2，增益-30dB到10dB）；2）随机混响（0%-70%湿声）；3）50%的概率应用随机麦克风脉冲响应。

4. 训练细节：

   • 所有模型均从钢琴转录预训练检查点初始化。
   • 在单块NVIDIA A100 GPU上训练。
   • 第一阶段（合成数据）：150,000次迭代，学习率0.0001，批大小6。
   • 第二阶段（真实数据）：学习率0.00001，性能通常在约20,000次迭代后趋于稳定。
   • 论文提到，尝试从第一阶段模型检查点继续微调会导致过拟合，因此第二阶段从预训练的钢琴模型检查点重新开始。

核心创新点

1. 首次系统性解决吉他速度预测问题：明确指出了AGT领域在速度预测上的空白及其原因（数据缺失、概念模糊），并提出了首个完整的解决方案。
2. 基于虚拟乐器的合成数据生成方法：创造性地利用虚拟乐器的MIDI渲染能力，从真实MIDI对齐数据生成带有可靠速度标签的大规模合成吉他音频，绕过了缺乏ground truth的难题。
3. 解耦的两阶段迁移学习框架：设计了一种先学习速度曲线（在合成数据上），再将其“植入”一个在真实数据上训练的转录模型中的方法。冻结速度子模块权重的策略，确保了在使用无速度标签的真实数据进行微调时，已学到的速度知识不被破坏。

实验结果

速度预测评估（合成数据FrançoisLeduc）： Table I: Velocity transcription results on the synthetic FrançoisLeduc dataset. Models are trained using two different train/test splits of the dataset. Error is calculated using Equation 3. SD represents standard deviation. F50 is F1-measure at 50 ms resolution, while F50 (vel) additionally accounts for velocity prediction accuracy. Best metrics are shown in bold.

• 速度预测模型（Ours）在所有指标上显著优于基线（Baseline）。
• 按歌曲划分的MAE（\(7.04\)）优于按音色划分的MAE（\(11.53\)），表明跨音色泛化更具挑战性。
• 考虑速度的F1分数（F50 (vel)）显著低于不考虑速度的F1分数（F50），符合预期。

音高转录评估（真实数据）： Table II: Transcription results over all of GuitarSet. P50, R50 and F50 are precision, recall and F1-measure at 50ms resolution. Best metrics marked in bold.

Table III: Transcription results over all of EGDB. P50, R50 and F50 are precision, recall and F1-measure at 50ms resolution. Best metrics marked in bold.

• 使用预训练速度权重的模型（Proposed model）在GuitarSet和EGDB上所有指标上略优于基线。
• 统计显著性：在GuitarSet上，所有指标的提升均统计显著（\(p < 0.05\)，配对t检验）。在EGDB上，仅精确度（P50）的提升显著（\(p=0.027\)），召回率和F1的提升不显著。
• 提升幅度极小（F1约提升0.1%）。

细节详述

评分理由

• 创新性 (1.6/2)：问题定义清晰（吉他速度预测），解决方案（虚拟乐器合成数据+两阶段迁移）具有新颖性和实用性，是该特定问题的首次系统性尝试。但创新点主要在应用层面的技术组合，理论深度有限。
• 技术严谨性 (1.2/1.5)：方法描述清晰，实验设计考虑了多种评估划分和统计检验。两阶段训练和权重冻结的动机合理。然而，核心挑战——速度概念的模糊性——虽被提出但未从根本上解决，模型的有效性高度依赖于虚拟乐器的“定义”，且无法在真实数据上直接验证速度预测的“真实性”。
• 实验充分性 (1.2/1.5)：在合成数据上进行了全面的速度预测评估（两种划分、多个指标）。在真实数据上进行了音高转录评估并进行了统计检验。缺少消融实验（如不同虚拟乐器音色的影响、冻结 vs 不冻结权重的影响）。真实数据上速度预测的定性或定量评估缺失。
• 清晰度 (1.4/1.5)：论文结构清晰，方法描述详细，图表（训练流程图）辅助理解。数学公式定义明确。部分专业术语（如虚拟乐器的速度曲线）需要上下文理解，但整体可读性高。
• 影响力 (0.7/1.5)：为特定子领域（AGT）填补了一个空白，具有直接应用价值（如性能分析、教育）。但核心贡献（速度预测）的实用性受限于其评估依赖合成数据，且对主流AGT任务（音高转录）的提升微弱，可能限制其广泛采用和影响力。
• 开源 (0.3/1.5)：论文未提供代码、模型权重或新数据集的直接下载链接。仅提及了引用的开源工具（Pedalboard， mir_eval）。复现依赖于作者对训练细节的描述和对引用数据集的获取。
• 可复现性 (1.0/1.5)：论文提供了详细的训练超参数、架构描述和数据处理流程。然而，未提供代码和具体配置，增加了从头复现的难度。依赖的外部数据集虽公开但需分别申请或下载。
• 工程/实践价值 (1.0/1.0)：提出了一个解决实际数据缺乏问题的工程化方案，方法直接可用，对音乐信息检索相关应用（如吉他教学、演奏分析）有明确价值。

局限与问题

1. 速度概念的根本性模糊：论文正确地指出了吉他速度定义的模糊性，但解决方案本质上是“以虚拟乐器的速度曲线为真值”。模型学到的是特定虚拟乐器实现的映射关系，而非物理上普适的吉他弹奏强度。这引发了根本性质疑：模型是否真正预测了“吉他速度”，还是在进行一种领域适配后的MIDI控制器值映射？
2. 评估的局限性：速度预测的全部评估均在合成数据上进行。由于缺乏真实吉他音频的速度标注，模型在真实场景中的速度预测性能完全未知。作者虽然提到“anecdotally”模型泛化良好，但这无法作为严谨的证据。
3. 音高转录提升的实际意义：预训练速度权重对音高转录的提升在统计上虽然有时显著，但幅度极小（~0.1%）。在实践层面，这种微小的提升可能难以证明引入速度预测模块（及其依赖的合成数据生成流水线）的额外复杂性是值得的。
4. 基线设置的公平性：基线模型是否从相同的钢琴预训练检查点初始化？论文未明确说明。如果基线未使用钢琴预训练，那么比较可能不完全公平；如果使用了，那么“微小提升”更可能是速度模块本身带来的微弱增益。
5. 合成数据的偏差风险：使用虚拟乐器生成训练数据可能引入偏差，使得模型过度拟合于特定软件的音色和响应特性。虽然论文通过按音色划分的实验部分验证了跨音色泛化，但真实吉他录音的复杂性远超虚拟乐器。
6. 训练过程中的不稳定性：论文提到第二阶段训练时，从第一阶段检查点继续微调会导致过拟合，因此改用预训练的钢琴模型检查点。这暗示了两阶段直接衔接可能存在问题，但未深入分析原因。

作者与机构

Jackson Loth, Xavier Riley, Simon Dixon, Emmanouil Benetos 机构：论文未在正文明确列出作者单位。根据摘要页脚，该工作受Innovate UK和UKRI Centre for Doctoral Training in AI and Music支持，并利用了Queen Mary University of London的Apocrita HPC设施。

🏗️ 方法概述和架构

本文方法的核心目标是解决缺乏真实吉他速度标注数据的问题，采用一个两阶段的迁移学习框架。

1. 合成数据生成与速度估计：

   • 数据源：使用FrançoisLeduc数据集[22]中的79首已对齐的真实吉他音频和MIDI（约4小时）。
   • 速度估计：对于MIDI中的每个音符，通过信号处理估计其速度值。具体步骤：1）根据音符的起止时间提取音频片段；2）使用以基频和泛音为中心的带通滤波器过滤信号；3）计算各滤波信号的总能量；4）对各泛音能量进行指数衰减的加权求和；5）归一化到 [0, 127] 的MIDI速度范围。
   • 合成渲染：将估计出的速度值应用于原始MIDI，并使用三种不同的吉他虚拟乐器音色（来自Native Instruments和Straight Ahead Samples）进行渲染，生成约20小时的合成吉他音频。合成音频的性能与速度标签严格对应，虚拟乐器的速度曲线定义了模型学习的“真实”速度曲线。

2. 模型架构：

   • 采用Kong et al.[14]提出的High Resolution Piano Transcription模型架构，这是一个卷积循环神经网络（CRNN），广泛应用于AGT研究。
   • 输入：10秒的对数梅尔频谱图。
   • 输出：四个子模块，分别预测每个音高的起始（onset）、偏移（offset）、帧激活（frame）和速度（velocity）。速度值范围为 [0, 127]。
   • 子模块结构：每个子模块包含多个卷积层、双向门控循环单元（Bi-GRU）和一个全连接层。
   • 损失函数：训练总损失 \(\mathcal{L}_{A} = l_{\mathit{on}} + (0.1)l_{\mathit{off}} + l_{\mathit{fr}} + l_{\mathit{vel}}\)。其中 \(l_{\mathit{on}}, l_{\mathit{off}}, l_{\mathit{fr}}, l_{\mathit{vel}}\) 分别是各子模块的二元交叉熵损失。偏移损失被缩放0.1倍，以减轻不精确偏移标签的影响。

3. 两阶段训练流程：

   • 第一阶段（速度预训练）：使用生成的合成数据集训练模型，使用完整损失 \(\mathcal{L}_{A}\)，目标是学习虚拟乐器定义的速度曲线。
   • 第二阶段（真实数据微调）：
     • 初始化：从钢琴转录预训练权重初始化模型（如 [22] 所述）。
     • 权重冻结：将第一阶段训练好的速度子模块的权重加载到新模型中并冻结，防止其在后续训练中因缺乏正确速度标签而被破坏。
     • 训练数据：使用真实的GAPS和GOAT数据集（共计20小时），这些数据集没有准确的速度标注。
     • 损失函数：使用修改后的损失 \(\mathcal{L}_{B} = l_{\mathit{on}} + (0.1)l_{\mathit{off}} + l_{\mathit{fr}}\)，移除了速度损失项。
     • 目标：在真实数据上优化起始、偏移和帧预测模块，以获得高精度和泛化能力的音符转录，同时保留第一阶段学到的速度预测能力。
   • 数据增强：在两个训练阶段都应用，使用Pedalboard库：1）两个峰值滤波器（随机频率32-4096Hz，Q值1-2，增益-30dB到10dB）；2）随机混响（0%-70%湿声）；3）50%的概率应用随机麦克风脉冲响应。

4. 训练细节：

   • 所有模型均从钢琴转录预训练检查点初始化。
   • 在单块NVIDIA A100 GPU上训练。
   • 第一阶段（合成数据）：150,000次迭代，学习率0.0001，批大小6。
   • 第二阶段（真实数据）：学习率0.00001，性能通常在约20,000次迭代后趋于稳定。
   • 论文提到，尝试从第一阶段模型检查点继续微调会导致过拟合，因此第二阶段从预训练的钢琴模型检查点重新开始。

💡 核心创新点

1. 首次系统性解决吉他速度预测问题：明确指出了AGT领域在速度预测上的空白及其原因（数据缺失、概念模糊），并提出了首个完整的解决方案。
2. 基于虚拟乐器的合成数据生成方法：创造性地利用虚拟乐器的MIDI渲染能力，从真实MIDI对齐数据生成带有可靠速度标签的大规模合成吉他音频，绕过了缺乏ground truth的难题。
3. 解耦的两阶段迁移学习框架：设计了一种先学习速度曲线（在合成数据上），再将其“植入”一个在真实数据上训练的转录模型中的方法。冻结速度子模块权重的策略，确保了在使用无速度标签的真实数据进行微调时，已学到的速度知识不被破坏。

📊 实验结果

速度预测评估（合成数据FrançoisLeduc）： Table I: Velocity transcription results on the synthetic FrançoisLeduc dataset. Models are trained using two different train/test splits of the dataset. Error is calculated using Equation 3. SD represents standard deviation. F50 is F1-measure at 50 ms resolution, while F50 (vel) additionally accounts for velocity prediction accuracy. Best metrics are shown in bold.

• 速度预测模型（Ours）在所有指标上显著优于基线（Baseline）。
• 按歌曲划分的MAE（\(7.04\)）优于按音色划分的MAE（\(11.53\)），表明跨音色泛化更具挑战性。
• 考虑速度的F1分数（F50 (vel)）显著低于不考虑速度的F1分数（F50），符合预期。

音高转录评估（真实数据）： Table II: Transcription results over all of GuitarSet. P50, R50 and F50 are precision, recall and F1-measure at 50ms resolution. Best metrics marked in bold.

Table III: Transcription results over all of EGDB. P50, R50 and F50 are precision, recall and F1-measure at 50ms resolution. Best metrics marked in bold.

• 使用预训练速度权重的模型（Proposed model）在GuitarSet和EGDB上所有指标上略优于基线。
• 统计显著性：在GuitarSet上，所有指标的提升均统计显著（\(p < 0.05\)，配对t检验）。在EGDB上，仅精确度（P50）的提升显著（\(p=0.027\)），召回率和F1的提升不显著。
• 提升幅度极小（F1约提升0.1%）。

⚖️ 评分理由

• 创新性 (1.6/2)：问题定义清晰（吉他速度预测），解决方案（虚拟乐器合成数据+两阶段迁移）具有新颖性和实用性，是该特定问题的首次系统性尝试。但创新点主要在应用层面的技术组合，理论深度有限。
• 技术严谨性 (1.2/1.5)：方法描述清晰，实验设计考虑了多种评估划分和统计检验。两阶段训练和权重冻结的动机合理。然而，核心挑战——速度概念的模糊性——虽被提出但未从根本上解决，模型的有效性高度依赖于虚拟乐器的“定义”，且无法在真实数据上直接验证速度预测的“真实性”。
• 实验充分性 (1.2/1.5)：在合成数据上进行了全面的速度预测评估（两种划分、多个指标）。在真实数据上进行了音高转录评估并进行了统计检验。缺少消融实验（如不同虚拟乐器音色的影响、冻结 vs 不冻结权重的影响）。真实数据上速度预测的定性或定量评估缺失。
• 清晰度 (1.4/1.5)：论文结构清晰，方法描述详细，图表（训练流程图）辅助理解。数学公式定义明确。部分专业术语（如虚拟乐器的速度曲线）需要上下文理解，但整体可读性高。
• 影响力 (0.7/1.5)：为特定子领域（AGT）填补了一个空白，具有直接应用价值（如性能分析、教育）。但核心贡献（速度预测）的实用性受限于其评估依赖合成数据，且对主流AGT任务（音高转录）的提升微弱，可能限制其广泛采用和影响力。
• 开源 (0.3/1.5)：论文未提供代码、模型权重或新数据集的直接下载链接。仅提及了引用的开源工具（Pedalboard， mir_eval）。复现依赖于作者对训练细节的描述和对引用数据集的获取。
• 可复现性 (1.0/1.5)：论文提供了详细的训练超参数、架构描述和数据处理流程。然而，未提供代码和具体配置，增加了从头复现的难度。依赖的外部数据集虽公开但需分别申请或下载。
• 工程/实践价值 (1.0/1.0)：提出了一个解决实际数据缺乏问题的工程化方案，方法直接可用，对音乐信息检索相关应用（如吉他教学、演奏分析）有明确价值。

🚨 局限与问题

1. 速度概念的根本性模糊：论文正确地指出了吉他速度定义的模糊性，但解决方案本质上是“以虚拟乐器的速度曲线为真值”。模型学到的是特定虚拟乐器实现的映射关系，而非物理上普适的吉他弹奏强度。这引发了根本性质疑：模型是否真正预测了“吉他速度”，还是在进行一种领域适配后的MIDI控制器值映射？
2. 评估的局限性：速度预测的全部评估均在合成数据上进行。由于缺乏真实吉他音频的速度标注，模型在真实场景中的速度预测性能完全未知。作者虽然提到“anecdotally”模型泛化良好，但这无法作为严谨的证据。
3. 音高转录提升的实际意义：预训练速度权重对音高转录的提升在统计上虽然有时显著，但幅度极小（~0.1%）。在实践层面，这种微小的提升可能难以证明引入速度预测模块（及其依赖的合成数据生成流水线）的额外复杂性是值得的。
4. 基线设置的公平性：基线模型是否从相同的钢琴预训练检查点初始化？论文未明确说明。如果基线未使用钢琴预训练，那么比较可能不完全公平；如果使用了，那么“微小提升”更可能是速度模块本身带来的微弱增益。
5. 合成数据的偏差风险：使用虚拟乐器生成训练数据可能引入偏差，使得模型过度拟合于特定软件的音色和响应特性。虽然论文通过按音色划分的实验部分验证了跨音色泛化，但真实吉他录音的复杂性远超虚拟乐器。
6. 训练过程中的不稳定性：论文提到第二阶段训练时，从第一阶段检查点继续微调会导致过拟合，因此改用预训练的钢琴模型检查点。这暗示了两阶段直接衔接可能存在问题，但未深入分析原因。

作者与机构

Jackson Loth, Xavier Riley, Simon Dixon, Emmanouil Benetos 机构：论文未在正文明确列出作者单位。根据摘要页脚，该工作受Innovate UK和UKRI Centre for Doctoral Training in AI and Music支持，并利用了Queen Mary University of London的Apocrita HPC设施。

← 返回 2026-06-25 语音/音乐/音频论文速递