国乐声乐数据集如何把装饰音变成可计算的事件

📄 国乐声乐数据集如何把装饰音变成可计算的事件

英文题目：Gugak-VocalSet: A Multi-Genre Studio-Quality Dataset of Korean Traditional Singing with Sigimsae Annotations

标签：#音频事件检测 | #音频分类 | #音乐分析 | #数据集构建 | #数据集

评分：6.6/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Danbinaerin Han：机构信息未在 arXiv HTML 中可靠披露
• Wonil Kim：机构信息未在 arXiv HTML 中可靠披露
• Seah Hong：机构信息未在 arXiv HTML 中可靠披露
• Dongjoo Moon：机构信息未在 arXiv HTML 中可靠披露
• Jaeok Lee：机构信息未在 arXiv HTML 中可靠披露
• Jongpil Lee：机构信息未在 arXiv HTML 中可靠披露
• Chaewon Kim：机构信息未在 arXiv HTML 中可靠披露
• Juhan Nam：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

韩国传统声乐的时金赛包含主音内部的连续音高屈折、依附装饰音与音间过渡手势，同一音阶因时金赛不同可归入不同地域旋律体系，记谱只能保留近似符号，直接对音频建模成为必要条件。已有公开资源缺少无伴奏独唱录音，术语随流派与传承系谱分歧，也没有跨流派的音频级标注体系。论文先由国立国乐院筛选代表性曲目并组织20名职业歌手在固定调与固定速度的受控录音棚录制305轨约24.5小时无伴奏独唱，再按音内功能位置设计17类统一本体并配套指南与参考音频轮廓，使跨流派标注口径一致。接着同一标注团队在7–20秒乐句层面按张丹结构对齐实际演唱歌词，并在该对齐之上标注时金赛起止与类型，14名专家经两轮审核共得68272个片段71742个实例，平均段长0.47秒，对齐文本与事件区间共同进入分类与事件检测基线。在17类歌曲级五折交叉验证分类中，任务专用音高卷积网络宏平均F1为0.441±0.015，超过冻结MERT-v1最佳探测层L7的0.358±0.011，也高于同结构语谱图输入的0.400±0.018，说明音高轮廓已承载主要可区分信号。在17类事件检测中，同一轻量编码解码时序卷积网络下音高输入帧级宏F1为0.324±0.015高于语谱图输入的0.269±0.013，而语谱图输入事件级F1以0.763±0.012占优并与冻结MERT-v1的0.756±0.026相当，呈现身份靠音高、边界靠频谱的互补分工。结论仅适用于受控录音与给定本体下的比较，固定调与固定速度、性别与流派完全混淆及细粒度混淆尚未解决，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://www.danbinaerin.com/Gugak-VocalSet/ — 暂时无法访问

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么韩语传统声乐需要新的音频语料

这篇论文面对的对象是韩国传统音乐中的独唱人声，目标是让其中的装饰音体系可以被计算机直接从音频里分析与评测。韩语里把这类现象统称为시김새，日常可理解为围绕一个主要音高展开的连续音高动作，它既包括进入主音之前的滑入与回转，也包括主音持续期间的颤动与短促滚音，还包括离开主音时的上滑、下滑与截断，以及音与音之间的过渡甩音。

论文强调它不是旋律之外的点缀，而是构成旋律身份的一部分，同一音阶在不同装饰习惯下可能属于不同的地域旋律体系。已有的乐谱只能把连续的音高运动压缩成倚音或记号，形态还取决于记录者的理解，因此要研究真实演唱就必须回到音频信号本身。

此前计算研究卡在两个环节，一是公开可用的高质量独唱录音很少，商业录音受版权限制，公开档案多为野外录音或带伴奏录音，不适合做人声分析，二是装饰音缺少统一的音频级标注，各流派术语与分类不一致。论文因此提出同时解决录音与标注两个环节，录制无伴奏独唱并建立跨流派可用的本体。

정악 × 민속악： 정악指宫廷与文人层培养的雅正音乐，민속악指民间传承的俗乐，二者在节奏管理、行腔、发声与装饰习惯上审美不同，论文同时收录两大系统是为了让同一套装饰音本体接受风格差异大的检验，并支撑跨流派比较。

已有非西方音乐数据集做到哪一步

在输入、目标与监督方式相同的条件下比较，已有工作为多个传统音乐体系建了专用语料。印度、土耳其、阿拉伯与中国音乐有 CompMusic 开启的系统建库，之后出现印度艺术音乐、希腊传统音乐、伊朗古典音乐与中国传统音乐的专用集。以人声为中心的例子包括格鲁吉亚复调、跨文化声乐分析与录音室级印度卡纳蒂克声乐。

论文指出韩国传统声乐此前没有对应的公开数据集，国内资助的国乐数据集仅在韩国境内可访问且装饰音只选了 6 类，寻找旋律体系的数据集只覆盖单一民谣体裁且不直接分发音频。在表达性音高分析路线上，西方唱法数据集与中文唱法数据集建立了较粗的技巧目录，多为文件或片段级标签，日本流行歌曲的 9 类技巧检测与印度斯坦装饰音事件标注把时间分辨率推进到事件级，印度古典音乐进一步证明同一音位在不同旋律语境下实现形态不同。

本文的定位是把这条事件级路线延伸到韩国传统声乐，贡献在于多流派录音与统一的装饰音事件标注，而不是在已有韩国语料上做小幅扩充。

论文要回答的两个可验证问题

论文把任务拆成两个可以直接测量的环节。第一个环节是装饰音分类，输入是已经切分好的装饰音音频片段，平均时长约 0.47 秒，输出是 17 类中的 1 个类别，要求保留音高走向与颤动形态等足以区分细类的信息。第二个环节是装饰音事件检测，输入是连续的演唱音频流，输出是每一时刻有无装饰音、起止边界与类别，相当于在时间轴上同时做定位与分类。

2 个任务共用同一套 17 类本体，分类检验本体在声学上是否可分，检测检验它在连续音频中是否可用。论文还要求考察跨流派泛化，即在雅正与民俗两类风格之间互训互测时性能如何变化，以及领域先验的音高输入与通用音乐预训练表征各自的作用。所有结论都限定在棚录独唱、固定调与速度、歌曲级划分不泄露的条件下成立。

数据集整体由录音、元数据与标注怎样构成

整个流程可以沿一个曲目理解。先由国立国乐院器乐研究室选定代表性曲目并分配给擅长该曲目的职业歌手，在录音棚录制无伴奏独唱，每首目标 4-5 分钟，短曲则把 2-3 种歌词变体录在同一轨内。录音时给定基准音与节拍器，固定调与速度以支持跨曲比较，每首录 2 遍并由资深录音师选更稳定的一遍做混音、音高校正与速度校正，再经 2 轮质检，同时保留原始与精修两个版本，格式为 48 kHz、24-bit 双单声道。

之后同一批熟悉国乐的标注者完成乐句级歌词音频对齐与装饰音事件标注，再叠加曲目级体裁、演唱者、节奏循环、速度、拍号、中韩双语解说，以及专家情绪与音色标签。最终一条曲目同时带有音频、歌词时间轴、基音曲线与装饰音区间三层信息。下图展示体裁层级与各分支的曲目规模，是理解数据构成与后续跨流派实验划分的基础。

读图说明以体裁树为主线，先看总量在两大系统间的分配，再看 4 个中层分支与右侧子体裁的对应关系，图中橙色与绿色数字为各节点曲目数。

看图路径： 1. 先从左侧数据集节点沿箭头看到正乐与民俗乐两大分支的曲目总数；2. 再对比中间四块宫中音乐、风流音乐、板索里与民谣各自的曲目数；3. 最后看右侧子体裁列表理解体裁层级如何向下细分

论文图 1。原论文 Figure 1:：“Genre hierarchy of Gugak-VocalSet. Numbers show track counts per category.”。

图中左侧为数据集根节点，向上分出 Jeongak 102 首，向下分出 Minsogak 203 首，中间层 Gungjung Music 20 首、Pungnyu Music 82 首、Pansori 28 首与 Minyo 175 首分别配有历史绘画示意，右侧进一步列出 Jeryeak、Gagok、Gasa、Sijo、Chunhyangga、Simcheongga、Danga 以及 Gyeonggiminyo、Seodominyo 与 Gayageum Byeongchang 等子体裁。该分布说明 Minsogak 在数量上占主导，而 Jeongak 内部又以 Pungnyu Music 为主，跨流派比较时需要控制曲目数量不平衡带来的影响。

统一装饰音本体如何按位置组织十七类

本体设计的起点是先调查正歌与板索里乐谱中的装饰记谱，找出能按音高轮廓区分的类型，再经一轮试标注补上遗漏的流派特有类型，最终定为 17 类。设计中保留跨流派公认的核心区分，但把与发声法和音色相关的流派细节排除在外，只聚焦音高变化与音间过渡模式，顶层按功能位置分为起始、颤音、中音、结尾、强调与过渡 6 组。

起始组包括从下方滑入主音、从上方短促折下、经上方绕回与经下方绕回 4 种，中音组为在主音上方或下方短触的滚音，结尾组包括上滑、下滑、经上方滚回、经下方滚离与 abrupt 截断，颤音组按幅度与走向分为常规、宽幅、偏下中心与下行尾 4 种，另有向上强调与向上过渡甩音各一类。命名上无歧义的传统名称予以保留，其余按轮廓与功能起直观韩语名，并配以形状贴合轮廓的符号，便于在乐谱符号中直观读出声学特征。

시김새 × 功能位置： 시김새指围绕主音的连续音高变化、依附小音和过渡手势，功能位置指它在音内出现的前、中、后与过渡阶段，二者搭配是把跨流派名称不一的装饰现象按出现位置先分组，再在组内按音高走向细分，从而得到可跨流派复用的 17 类标注体系。

举例来说，一个教学例子是同一主音之前先出现一段上滑进入，随后主音持续段出现规律抖动，最后以向下滑离结束，标注上就会依次切为起始上滑、颤音与结尾下滑 3 个区间，而不是笼统记为一个装饰，这种按位置切分的做法是后续分类与检测任务的监督来源。

基音与频谱两种输入各保留什么信息

基线实验把音频先转成两种互补的表示。基音表示用 RMVPE 以 10 毫秒步长提取基频，再展开为 3 通道，分别是按中位数归一到音分尺度的轮廓线、有声无声二值掩码与差分，分类时以片段中位数为参考，检测时以整首中位数为参考，目的是去掉绝对调高差异而保留相对走向。梅尔频谱在 22.05 kHz 下取 128 个频带，窗长 2048 点，跳长 512 点，约 23.2 毫秒 1 帧，保留能量包络与音色过渡。通用音乐模型分支直接消费 24 kHz 原始波形，原生跳长 320 点，约 13.3 毫秒 1 帧。直观理解是基音通道放大了滑音方向、回转圈数与颤动幅度，梅尔通道则对起唱爆破、换气与共鸣变化更敏感。

基音轮廓 × 梅尔频谱： 基音轮廓指随时间变化的基频轨迹，突出音高上下滑动与抖动形状，梅尔频谱指按听觉尺度压缩的时频能量分布，保留音色与包络变化，二者搭配是因为装饰音类别主要由音高形状决定，而事件起止往往伴随能量与音色突变，组合后兼顾类别判别与边界定位。

标注、切分与模型训练实际怎样执行

本节同时说明数据标注流程与基线模型的训练设置，因为二者共同决定监督信号的来源。标注由 14 名专攻韩国传统声乐的标注者按擅长流派分工完成，无直接对应专家的流派则安排唱法最接近者，标注前提供每类配有音频示例与音高可视化的指南。流程分两轮，第一轮发现共性错误模式后发回重标，第二轮由设计本体的项目成员做问题片段修正，允许多标签但要求尽量切分为单类。

模型侧歌曲级划分避免同一首歌同时出现在训练与测试，多标签片段中以颤音为主的按主标签折算，其余含混组合跳过。分类用歌曲级五折交叉验证，每折按 6 比 2 比二划分歌曲，报告宏平均与加权平均。检测用编码器解码器时序卷积比较基音与梅尔输入，并以冻结音乐模型的双向门控循环头为参照，训练采用焦点损失、忽略区掩码与正 -0.5 秒时间抖动，后处理做中值滤波与 50 毫秒间隙合并。

本研究没有训练通用音乐模型本身，只训练任务专用卷积网络与冻结模型上的浅层探测头。

分类 × 事件检测： 分类指对已切分好的装饰音片段判断属于 17 类中的哪一类，事件检测指从连续音频中同时判断有无装饰音、起止边界和类别，前者检验本体在声学上是否可分，后者检验在实际音频流中能否落地，二者搭配构成从可分性到可用性的完整验证。

冻结探测 × 任务专用卷积网络： 冻结探测指保持预训练音乐模型参数不变，只在其隐层特征上训练浅层分类头，任务专用卷积网络指直接从基音或频谱输入从头训练的小模型，前者检验通用表征中是否已包含可线性分离的装饰音信息，后者检验领域先验输入在小数据下能否更有效，搭配后形成公平的表征对照。

评测按什么规则计算分数与划分数据

分类评测对象是预切分片段的类别准确性，指标为宏平均与加权平均，宏平均对 17 类平等平均，能暴露小类的困难，加权平均按样本量加权，更接近整体命中率。检测评测同时看帧级与事件级，帧级为每帧 18 类含无装饰的宏平均，事件级要求起止误差各在 200 毫秒内才算时间命中，类别感知还要求类别相同，另有交并比不低于 0.5 的片段级分数。

所有划分均为歌曲级，跨流派实验把正乐与民俗乐各取一百零二首以控制数据量不平衡，分别做正乐训民俗测与反向测试。特征帧率在 10 到 23 毫秒之间，模型比较时输入不同但评测 collar 与聚合方式保持一致。理解数字时要注意宏平均对稀有类别敏感，事件级分数同时受定位与分类影响，不能把帧级提升直接等同于事件级提升。

录音与标注规模实际达到什么量级

比较问题是该语料在曲目量、时长与演唱者覆盖上是否为可做语料级比较的规模，公平条件是统计同一批棚录独唱的精修与原始版本，不混入野外或伴奏录音。

上表显示总量为三百余首、二十余小时量级，20 名职业歌手中每人承担六到二十七首，平均每首接近 5 分钟，中位数略低说明存在一批较短曲目。代价是全部男声曲目属于正乐，女性曲目占多数，性别与流派完全混杂，后续跨流派结论需要考虑音区差异的混入。曲目级还附带体裁三层标签、节奏循环、速度、拍号、中韩解说，以及西方调性标签、80 类情绪与 38 类音色标签，歌词对齐按节奏结构切为 7 到 20 秒的乐句。下图把三层标注叠在一起展示，可见歌词、基音与装饰音区间如何对齐。

读图说明以上下面板分别对应雅正与民俗风格，横轴为秒级时间，纵轴为音高，每面板自上而下为歌词、叠加在频谱上的基音曲线与按功能着色的装饰音块，注意长音与换字处的曲线形态。

看图路径： 1. 对比上下两面板歌词条带与下方装饰音色块的疏密差异；2. 沿青色基音曲线观察长音上的波动与音节交界处的快速滑动；3. 注意同一颜色功能组在两类风格中出现位置的不同

论文图 2。原论文 Figure 3:：“Annotation examples: jeongak (top) and minsogak (bottom).”。

上板伽倻唱曲目基音相对平稳，长装饰音块较稀疏，下板西道民谣基音起伏剧烈，短装饰音块密集且颜色更杂，同一功能颜色在两风格中出现密度不同，直观支持论文关于民俗乐装饰变化更丰富的判断，但这只是两段示例，不能推广为全库统计结论。

装饰音标注的密度与时长分布有何特点

比较问题是装饰音事件在时间上有多密、多长，是否足以支撑事件级建模，统计对象为同一套 17 类标注在三百余首中的全部区间。

上表说明平均每首有二百余例，片段平均不到半秒，中位数更短而分布右偏，多标签仅占约 5%。限制在于颤音类中位时长约 0.76 秒，明显长于其他短装饰，模型若按固定窗切分容易在短事件上边界模糊。论文用 200 毫秒 collar 的事件分数衡量修订影响，审校前后时间一致事件中约九成保留原类别，总区间数仅变化约 1.5%，说明发布标签主要反映 14 名专家的原始工作，审校为针对性修正。

一致性抽查显示 2 人独立重标 10 分钟时，类别无关事件分数约 0.597 而类别相关仅 0.357，合并易混淆对为 10 类后一致率从约五成六升至约七成八，表明分歧集中在声学相邻的细类而非全本体噪声。

预切分分类中哪种表示更具判别力

比较问题是在 17 类预切分分类上，领域先验的基音输入与冻结通用音乐表征谁的类别可分性更强，公平条件是同为歌曲级五折、同一 17 类、冻结模型只取 5 到 12 层中最佳层。指标越大越好。

上表的主要收益是基音卷积以 0.441 的宏平均领先，梅尔为 0.400，冻结通用模型最佳层仅 0.358，跨文化续训的两变体更低，说明在当前数据量与冻结探测条件下，显式音高形状比通用表征更直接。代价与反例是该结论依赖冻结探测与两层感知头，若解冻微调或换更大探测头差距可能缩小，且续训语料不含韩国音乐，不能解读为跨文化预训练本身无用。

层消融显示 3 模型均在末层最差而在中间层最佳，与高层偏向风格语义、中层保留音高细节的既有观察一致。跨流派互训显示正乐到民俗与反向分别下降约三成与 20%，绝对精度仍远高于随机，支持存在共享声学基础，但性别与音区混杂使不对称的原因无法唯一归因。

连续音频检测中定位与定类如何分工

比较问题是从连续音频同时做定位与分类时，音高与频谱谁负责定类、谁负责定位，公平条件是同一轻量编码器解码器时序卷积骨干，只换输入，冻结模型取帧级宏平均最佳层，事件级用 200 毫秒 collar 与 0.5 交并比衡量，分数越大越好。

上表显示基音在帧级定类上领先，而梅尔在事件级与交并比上反超，轻量梅尔模型在事件级与通用大模型基本持平而参数仅为其 2% 以下。机制解释是装饰音类别由音高轮廓定义，但边界往往伴随能量与音色跳变，频谱对边界更敏感。限制是该分工只在当前骨干、损失与后处理下成立，更换边界解码器或 collar 宽度可能改变相对排序，且跨文化模型同样因缺目标域预训练而未带来增益，不能推广为通用模型在检测上无用。

混淆集中在哪些声学相邻的类别对

比较问题是分类错误是否随机分布，还是集中在轮廓相近的细类，分析对象为基音卷积在五折上汇总的行归一化召回矩阵。读图时先看对角线，再看同功能块内的非对角亮格，颜色越深表示该真实类别被判为该预测类别的比例越高。

看图路径： 1. 先看对角线颜色深浅判断哪些大组自身召回相对稳定；2. 再看起始上转误判为起始下 flick 的非对角格；3. 最后比较颤音子类型之间与中音滚音之间的混淆块

论文图 4。原论文 Figure 5:：“Row-normalized (recall) confusion matrix for 17-type classification (F0CNN, aggregated over 5 folds).”。

可见颤音子类型之间互混明显，起始下 flick 与起始上转之间互混突出，中音上滚与起始下 flick 之间也有串扰，结尾滚回与中音滚音之间亦有混淆，而起始下滑转与宽颤音等长时形态相对独立。论文据此合并最易混淆对得到 10 类粗分组，与按标注者一致性得到的 10 类分组几乎重合，在同一抽查对上同标签率均为约七成八，证据支持细类分歧来自声学模糊而非单纯标注噪声。未胜出项是向上强调与过渡甩音召回偏低，说明稀有且短促的过渡手势在当前窗口与特征下最难学，实际部署时需要更多样本或显式边界建模。

哪些设计取舍限制结论的适用范围

固定调与固定速度是为语料级比较付出的主要代价，部分歌手反馈演唱不自然，时间与调性自由度被压缩，因此模型学到的是受控表达下的装饰形态，遇到自由节奏现场或即兴变体时定位阈值与类别边界可能漂移。本体为跨流派一致性牺牲了流派内粒度，发声法层面的技巧与地域腔调的下行 flick 差异被并入按轮廓划分的父类，不熟悉某流派的标注者可能退回通用类型，这解释了部分细类一致性偏低，但也正是跨流派比较得以实施的前提。

多标签仅占约 5% 却在基线中被折算或跳过，完整多标签建模留待后续，实际应用中重叠装饰会被低估。性别与流派混杂使跨流派不对称无法唯一归因，冻结探测的层选择为事后最佳层，不能视为部署时可直接获得的增益。来源方面，伴随页面链接在本次检查中未能确认可达，这只说明链接状态未确认，不构成对技术内容的否定。

复现第一步需要准备什么与核对什么

值得尝试的情形是研究非西方声乐装饰、需要事件级监督或想比较音高先验与通用音乐表征，特别是在数据量中等且标注为歌曲级划分时。复现第一步是按歌曲级划分复刻数据切分，用 RMVPE 以 10 毫秒步长提取基频并构造音分轮廓、有声掩码与差分 3 通道，同时按 22.05 kHz、128 带、窗长 2048 与跳长 512 计算梅尔频谱，通用模型分支按 24 kHz 与 320 跳长消费波形，对齐到统一时间轴后再训练分类与检测基线。

关键超参数与信息条件包括分类 5 折 6 比 2 比 2、检测焦点损失伽马 2.0、正负 0.5 秒抖动、中值滤波核 11 帧与 50 毫秒间隙合并、事件 collar 200 毫秒与交并比 0.5。核对时先看平均片段 0.47 秒与颤音更长的分布是否复现，再看基音分类领先而梅尔检测定位领先的分工是否出现，最后检查跨流派各取 102 首时的下降幅度。代码、权重与可运行系统是三件不同的事，论文称数据集、实验代码、音频示例与交互浏览器经由伴随页面提供，是否当前可下载需以实际可达为准，不宜把论文提及链接等同于已验证开源。

结论在什么条件下成立与还缺哪项验证

综合来看，论文报告的是在棚录独唱、固定调速度、歌曲级不泄露与 17 类本体下，领域音高表示在分类上保持竞争力、频谱在线索定位上互补、轻量时序卷积在事件级可与冻结大模型相当。证据支持本体具有可分性与可用性，也支持装饰音分歧集中于声学相邻对，但不支持通用模型无用或跨文化预训练必然有害的泛化判断，因为缺目标域预训练与冻结探测是明确的限定条件。

常见误解是把事后最佳层与 oracle 式选择当成部署增益，把跨流派精度下降简单归因于风格复杂度而忽略性别音区混杂，把事件级持平理解为小模型全面替代大模型，实际上帧级定类与事件级定位的最优输入并不相同。还缺的验证包括自然速度与调性下的复测、完整多标签建模、解冻微调后的对照，以及以人听评价衡量教育反馈与合成保真等下游任务的效果。只有补足这些，才能判断该语料支撑的结论能否从受控录音推广到真实舞台与教学场景。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递