把钢琴录音逐帧变成 88 键开关:CQT 加双向循环与注意力的复调转谱
论文把复调钢琴转谱做成每帧 88 个音高的多标签分类,用 252 维对数频率 CQT 做输入,以双向 LSTM 加前端改进多头注意力建模时间与频谱依赖,在 MAPS 与 MAESTRO 联合训练下最好达到 F1-score 88.20% 与准确率 78.90%,代价是 4.43M 参数与约 11.6 ms 帧分辨率等启发式后处理的局限。
论文把复调钢琴转谱做成每帧 88 个音高的多标签分类,用 252 维对数频率 CQT 做输入,以双向 LSTM 加前端改进多头注意力建模时间与频谱依赖,在 MAPS 与 MAESTRO 联合训练下最好达到 F1-score 88.20% 与准确率 78.90%,代价是 4.43M 参数与约 11.6 ms 帧分辨率等启发式后处理的局限。
MiDiff 要解决严重混响与话筒染色下鼓瞬态难恢复的问题,用对齐钢琴卷帘直接条件化复数 STFT 域的分数网络,在 StemGMD 上把测试 FAD 从 1.268 降到 0.233,而无真值 MIDI 时的混合转录采样只能降到 0.676 且切换点是在测试集上选出的。
共分析 47 篇语音/AI 论文
本文要解决整首钢琴录音直接转写成乐谱时的拍号节拍定位与自动分段问题,方法是联合学习表示小节内相对位置的下拍相位并用其傅里叶编码条件化解码器,最强证据是整首转录在节拍结构指标上显著提升,代价是相位与乐谱模型只在合成演奏上训练、在真实 expressive 演奏上仍有泛化缺口。
针对合奏中响亮持续音掩盖弱钢琴起音导致幅度特征失效的问题,论文在 Transkun 区间打分上叠加由短时傅里叶相位差驱动的起音增强分支,并在三重奏与协奏曲两套精确标注数据上验证了召回率为主的提升,但速度与延音踏板的增益受录音分布影响。
共分析 58 篇语音/AI 论文
D-Composer 针对鼓录音难以拆成可编辑单鼓事件的问题,用合成数据训练编码器解码器语言模型逐事件输出类别、起音时刻和 32 个鼓单音编解码器声学 token,实验在合成与真实鼓数据上比较转录与单音抽取并以更高压缩换取可接受的重建损失。
共分析 25 篇语音/AI 论文
DuET 针对富有表情的钢琴演奏到乐谱映射,提出音符编码器加帧编码器双路结构并联合学习拍点跟踪,在 Gangqinpu 上把 MUSTER 平均误差从 6.56% 降到 3.64%,在 ASAP 上从 11.30% 降到 11.22%,主要增益在时值与节奏组织但漏音多音误差仍有局限。
共分析 69 篇语音/AI 论文
论文研究如何用冻结的自动音乐转录编码器加谱面解码器生成节奏游戏谱面,并在谱面最少的模式上用跨模式联合训练把事件 F1 从 0.492 提到 0.506,而与 Clone Hero 联合反而降到 0.482。
该论文用在线采样器加渲染器分离乐谱结构与音色覆盖来生成转录训练数据,发现适度打乱音符事件仍可迁移而扩大音色覆盖能单调提升域外转录,联合离线与在线数据后互补但增益与领域有关。
论文要从流行音乐录音恢复节奏、和声、旋律与曲式的统一主旋律谱,用大规模 MIDI 合成音频补监督、用分阶段结构化解码保证拍点与音高连贯、再蒸馏为自回归模型,主结果在八个评测集上多数指标领先,但只在稳拍流行音乐与限定词汇条件下成立。
论文把合唱录音同时做音符检测和女高女低男高男低声部分配,用共享编码器加分声部头、整体监督和音域与连贯先验构造训练目标,在 YouChorale 上以 0.225 的声部平均音符 F1 超过合并转谱加事后分配的 0.175,但绝对值仍低且跨数据集会漂移。
该文把钢琴音频转录后的音符序列当作手与手指联合标注问题,用双向卡尔曼加分手隐马尔可夫的合成模型与四元三元语言模型在 PIG 上分别达到 90.8% 手部分离与 56.6% 联合准确率,而端到端管线召回降至 65.7% 与 37.0%,代价是统计模型仍受古典数据与合成音频评估限制。
针对序列级塔布拉鼓点转录标注稀缺问题,该工作用教师模型生成伪标签、S-CEM 估计每个鼓点可信度、CMW-ATC 在不确定片段上按马尔可夫转移加权候选序列,在三组评测上把序列错误率降到 18.3、33.3 和 12.7,但仍需序列级标注和固定转移矩阵。
共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读
针对乐谱与真实录音只有粗对齐时标注不够准的问题,该文把逐音符的起音修正做成按音高独立的二分图匹配,并在 MusicNet 训练、多数据集测试中报告了对贪心修正的一致提升,代价是窗口越大越依赖后验质量与一对一约束是否成立。
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
针对吉他缺乏力度标注的问题,该工作用虚拟乐器渲染带力度标签的合成数据先学力度曲线,再把冻结的力度子模块拼到在真实录音上训练的音高转录模型中,合成集上平均绝对误差从约 32 降到约 7 但跨音色误差增大,而在 GuitarSet 与 EGDB 上的音符转录 F 值只提升约 0.1 个百分点。