单声道如何长出可控的立体声:奖励倾斜流先验的上混解读
该文把单声道转立体声看作已知下混算子的逆问题,用冻结的立体声流模型做先验保证真实感,再用声道间相干与声级差分布奖励在推理时塑造声像,并在 MUSDB18-HQ 上以空间真实感见长但中频波形保真度有所牺牲。
该文把单声道转立体声看作已知下混算子的逆问题,用冻结的立体声流模型做先验保证真实感,再用声道间相干与声级差分布奖励在推理时塑造声像,并在 MUSDB18-HQ 上以空间真实感见长但中频波形保真度有所牺牲。
该文把节拍跟踪拆成先学局部等脉冲塔图姆网格再在网格上判断每拍含几个脉冲、每小节含几拍,用可微分的网格加子网格分布代替逐帧独立概率,在下拍连续性上超过同基座的无后处理基线,但平均仍落后于带动态贝叶斯网络的最优方法,且网格漏拍会直接限制最终上限。
论文把音乐分离写成以混合为条件的生成问题,用流匹配学习从混合到各乐器的传输,在 MUSDB18-HQ 上用频谱与嵌入指标超过同骨干判别基线和已有生成方法,但波形重建类的 SDR 仍弱于强判别方法。
该文研究潜空间流匹配人声分离在波形指标不可微时的后训练对齐,用组内最优与均值差距分析指导 ViSQOL 改写与样本过滤,使 FlowGRPO 在原评价指标上提升分离与感知质量,但结论只在内部 50 秒测试与固定阈值下成立且 MRSTFT 单奖励仍保留最低谱损失。
HE-NAC 针对 32 kHz 音乐在约 18 到 23 kbps 下高频易丢失的问题,用核心频段打底加中高频段残差补偿的三路残差向量量化与分阶段训练,在听感测试中超过同码率 DAC 与 24 kbps 商用 HE-AAC,代价是解码头更多与高频客观波形指标仍不高。
论文针对固定频带划分难以兼顾不同混合内容的问题,提出随混合自适应移动边界的动态频带切分框架,在三个数据集上用固定带数对照验证了划分自适应的增益,并以消融说明了分块预算与重建细化的代价。
针对 MP3 低码率造成的带宽缺失与编码失真,MPASCNet 用幅度和包裹相位共同指导频点到紧凑 token 的自适应压缩与分支重建,在 MedleyDB 非重叠评测上以 6.49 M 参数取得整体 17.65 dB SDR 和 17.27 dB SI-SNR,但增益只在原文的混合训练与三类评测条件下成立。
MSVAE 针对歌词与连续音频隐变量难对齐的问题,把 64 维隐变量切成两个 32 维子空间分别对齐曲谱与语音识别参考,并以冻结音乐自监督特征为后验基底加门控声学修正,在保持重建的同时用无时间标注的音素前缀实现可懂歌声,代价是两阶段大语料训练与多判别器联合优化。
论文针对视频条件下的符号音乐生成中扩散模型内部表示质量不足的问题,提出用高噪声下浅层表示向低噪声下深层表示对齐的 U-SRA 方法,在 BGM909 上以检索精度和接近真实数据的音高节奏指标超过 Diff-BGM,代价是需要额外的教师分支与对齐投影计算。
针对播放器染色、空间传播与手机录音链路耦合导致的音乐退化,该系统用尺度感知编码加直接复数谱映射的双轴 Top-1 稀疏专家模型复原,并以 202 种条件下 1572.12 小时对齐仿真数据提供监督,最终以 2.951M 参数取得盲测 LSD 1.273、FAD 2.540、ViSQOL 3.495 的第三名成绩。
论文研究如何用冻结的自动音乐转录编码器加谱面解码器生成节奏游戏谱面,并在谱面最少的模式上用跨模式联合训练把事件 F1 从 0.492 提到 0.506,而与 Clone Hero 联合反而降到 0.482。
该文把审美评价做成同艺人组内两两比较再汇总排序,用音频语言模型评歌曲、用视觉语言模型只看画面评 MV,发现视觉排序的模型间一致性明显高于音频,而音频与视觉共识几乎不对齐,与早期 YouTube 播放量的正相关也因艺人组而异。
论文针对音频语言模型评价生成音乐时相关性无法说明依据的问题,用去掉音频、同提示替换、成对调序和改写指令四个带对照探针检验五个公开评判模型,发现对齐评分都跟随实际播放的音频而质量评分只有部分跟随,且小模型的成对选择跟随位置而指令措辞的影响可达更换模型量级。
ARIA 把粤语作词拆成先从带字槽的歌声估计 0243 声调层级序列、再以该序列为控制生成歌词,TRATE 与 DRA-TCLG 分别解决音频侧相对调高恢复与文本侧一对多选词问题,代价是依赖字符边界且第二阶段一般只实现而不修复第一阶段的错误。
AuraLuxMuse 用音乐与灯光的对比对齐检索专家灯光序列并按偏好适配,证据是演唱会与综艺场景专家评分占优而戏剧场景不显著,代价是依赖固定语料库且单次推理约 7.65 秒。
AutoSynth 把演奏事件、固定音色参数和可变长度调制连接组织成统一序列,用音频条件的自回归模型预测可在 Helm 中直接执行的程序,并用两阶段学习把文本经由生成音频转成可编辑控制,代价是合成器表达范围与渲染反馈开销限制了适用声音。
针对音乐生成多人协调舞蹈时固定人数与身份混淆问题,ChainDance 把联合生成改写为沿舞者的条件链,用冻结单人扩散主干加两个轻量编码器与推理时噪声优化,在 AIOZ-GDance 三人组上报告 GMR 为 11.63 与 GMC 为 83.74,代价是全局优化把推理从 0:06 拉长到 0:15。
CASM 在冻结的节拍激活上做离线半马尔可夫解码,用局部周期及其竞争间隔的分离程度调节时间正则强度,在 GTZAN 和 SMC 上以同一套参数提升连续性并保持 F1,代价是仍需阈值、音符数兜底和拍号解码等确定性规则。
CloudEar 针对生成歌曲评价中感知分数压缩与提示词细粒度属性缺失问题,用感知专家加诊断专家做音乐性成对比较、用跨模态专家做体裁乐器对齐比较,在三个人工标注基准上取得更高的偏好一致率与评分相关性,但结论只在给定数据划分与配对构造下成立且推理代价未被测量。
论文固定结构和评测,只把蒸馏损失从 DistilHuBERT 损失换成相关性损失,比较权重插值和激活排列两种合并,发现后者在语音侧更稳、需要搬动的通道更少,但在标准宽度音乐侧仍是旧损失更好。