Diptych:让用户决定比什么,再让 AI 解释差异的参考试听
针对参考试听中先要决定比哪两段的问题,Diptych 让用户自定整曲或自选片段的比较范围,再用 59 个结构化音频特征加语言模型解释差异,12 名音乐人单会话实验显示新增 10 条判断中有 9 条获双专家至少部分支持,但原有 38 对判断的双专家完全支持数从 24 变为 23,可用性均分 74.79 分而判断正确率并未整体提升。
针对参考试听中先要决定比哪两段的问题,Diptych 让用户自定整曲或自选片段的比较范围,再用 59 个结构化音频特征加语言模型解释差异,12 名音乐人单会话实验显示新增 10 条判断中有 9 条获双专家至少部分支持,但原有 38 对判断的双专家完全支持数从 24 变为 23,可用性均分 74.79 分而判断正确率并未整体提升。
论文用三套 RAVE 模型与 EnCodec 对照,沿解码器逐层测量音高、速度与频谱特征的单神经元相关、超随机比例与联合探针可恢复性,发现合成音编码最强最线性、自然音频需非线性联合读取、联合编码在中间层最强,并只有速度能从跨层聚类中获益。
论文把冻结的分类、对齐与重建类音频嵌入接到同一个预训练扩散解码器上做配对音乐重建,用声学距离、生成空间相似度、配对检索与标签重合度量保留了多少源信息,并发现接口越细恢复越好但压缩嵌入仍保留可测的源特异性与高层音乐内容,代价是每种接口约 36 小时的微调与重建失败不能等同于信息不存在。
LayerIt 要解决的是乐谱、录音与算法输出时间坐标不一致且手工拼图不可复现的问题,它用统一演奏时间比例加分层拼图的方法,在德彪西《月光》前六小节的拍点跟踪实例上展示了定位节拍误读的能力,代价是依赖外部对齐与乐谱质量且频谱场只能内嵌位图。
论文针对隐式神经表示中固定激活难以组合多谐波的问题,提出每层共享的残差截断傅里叶激活,在音频、图像与神经场实验中提升重建质量,但以更高的激活计算与显存为代价。
论文把文本生成音乐的意图对齐定义为逐条满足专家修订的音乐清单,并用测试时验证器引导的提示词搜索提升三款开源后端的对齐分数,代价是最多 9 次生成与逐条音频问答验证的开销。
该论文用在线采样器加渲染器分离乐谱结构与音色覆盖来生成转录训练数据,发现适度打乱音符事件仍可迁移而扩大音色覆盖能单调提升域外转录,联合离线与在线数据后互补但增益与领域有关。
该文把无参考修音做成逐音符序列编辑,用冻结 MusicBERT 加歌唱适配器理解上下文、两个修正头分开判断修不修和修多少、再用输入自身估计的调性先验重排候选,在真实业余对专业配对上把音高准确率从 73.25% 提到 83.43%,代价是 3.19% 的原本正确音符被误改。
该论文把音乐源复原拆成混合级修复、八轨分离和逐轨修复三步,用直接预测频谱的修复模型配合掩蔽式分离模型,在挑战赛测试集上验证每步的分工与代价,并指出验证集筛选的逐轨修复增益并不能稳定迁移到测试集。
该文比较固定分辨率线性短时傅里叶变换与谐波常数 Q 变换作为人声合唱多音高估计输入,在同一编码器下线性表示精度更高且每轮特征提取更快,但加长窗和扩大频带并无增益且结论受自动参考音高与同期录音条件限制。
该文用预训练音频语言模型按显式评分细则打分来优化音乐生成,在 MusicCaps 上同时提升三个独立评价指标,而速度、调性、乐器等可精确测量的属性则仍需直接优化专用测量,代价是打分器与提问方式选择不当会失效。
论文要从流行音乐录音恢复节奏、和声、旋律与曲式的统一主旋律谱,用大规模 MIDI 合成音频补监督、用分阶段结构化解码保证拍点与音高连贯、再蒸馏为自回归模型,主结果在八个评测集上多数指标领先,但只在稳拍流行音乐与限定词汇条件下成立。
论文针对音频渐变轨迹是否在感知嵌入空间中又直又均匀的问题,提出与理想线性均匀轨迹比较的索博列夫距离,并用木材到金属的物理合成控制实验说明它能区分已有指标误判的非均匀与偏离路径情形。
论文把合唱录音同时做音符检测和女高女低男高男低声部分配,用共享编码器加分声部头、整体监督和音域与连贯先验构造训练目标,在 YouChorale 上以 0.225 的声部平均音符 F1 超过合并转谱加事后分配的 0.175,但绝对值仍低且跨数据集会漂移。
该文把“候选音频是否为原曲衍生版本” 作为成对判断,用 COPYCAT 的 35 万对比较检验了冻结的版本识别表征,并用坐标级位移分类器把总体 F0.5 从 0.612 提高到 0.803,代价是保留 512 维原始位移并依赖有监督训练。
论文用同一批 96 千次每秒录音比较全频带、低通和只留超声三种输入,发现 22.05 千赫兹以上的超声带能把孤立乐器识别和复音检测提高约 4 到 6 个百分点,但代价是需要 2.18 倍存储和宽带采集链路,且结论只在录音室隔离分轨和留出完整录音的划分下成立。
针对音乐基础模型内部是否形成和弦与调性关系结构的问题,该文用半音移调多视角稀疏自编码器对齐恢复有序特征轨道,并以大三小三和弦环与下属音环为证据支撑,仅用少量锚点解释整族特征,代价是节奏等移调不变概念与部分调式信号仍需额外偏置与验证。
该文把 1926 年前管弦乐历史录音复原写成盲逆问题,用五阶段维纳-哈默斯坦退化函数合成成对数据,训练潜空间条件流匹配模型 SAMECFM,并在无参考指标与 MOS 上报告最优,但生成质量提升伴随保真度代价。
以 ACE-Step 1.5 为案例,用线性探测追踪仅由歌词驱动的歌手可解码性从歌词编码器经交叉注意力到生成音频的传播,最强证据是编码器输出 0.344 的百类歌手分类准确率,代价是探测只证相关不证因果且 CoT 路径带来稀释与翻唱式复现的混杂。
该工作把逆向合成拆成调制去向分类、去向条件 LFO 回归与振荡器波形恢复三步,用可微合成器连接音频损失,在合成与 Serum 2 数据上验证了去向正确性的关键作用,代价是滤波器与振荡器类型仍受限且感知损失需与直接参数监督配合使用。