想要多像就多像:用相似度标签控制游戏音乐续写
论文把同一首马里奥曲子里的段落配成上下文与目标,用复合相似度打出高中低三档标签来微调 Moonbeam,让高相似请求在平均上更贴近原段,主要靠更多复述原旋律,但幅度远小于真实段落差异且听感实验未能检出单次差异。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文把同一首马里奥曲子里的段落配成上下文与目标,用复合相似度打出高中低三档标签来微调 Moonbeam,让高相似请求在平均上更贴近原段,主要靠更多复述原旋律,但幅度远小于真实段落差异且听感实验未能检出单次差异。
本文针对整句说话人相似度无法定位口音差异的问题,提出整句打分加子词标注的分段评测流程,用 200 对内容匹配的苏格兰和澳大利亚语音实验证明局部标注能给出不同于整句打分的系统排序,而七种客观距离与听辨标注最多只有 0.22 的弱相关。
该文把混音师风格建模为效果链参数上的分布,用标签偏移假设把通用内容模型与工程师先验闭式合成,在人声链上验证了内容信号虽弱但真实存在且听感可区分,但结论只在合成先验与弱内容模型条件下成立。
论文用 26 个自回归与掩码模型对照 MusicXML、MIDI 与 ABC 三种表示,显示 MusicXML 在理解任务全面领先、在生成任务的分布相似度与人工偏好上占优,而分块顺序与 BPE 词汇量带来互补的代价。
SEMAC 针对五阶 Ambisonics 通道数多、逐通道编码码率随阶数平方增长的问题,用 16、9 或 4 个波束域传输通道加全阶方向能量包络边信息做编码与重建,在 512 和 768 kbit/s 下经 11 名听众的 MUSHRA 验证,16 通道版本评分高于 36 通道全阶 Opus CMF 3,代价是包络在五阶时可占 100 kbit/s 以上且 …
EmoFI-TTS 用一张人脸图像同时推断情绪类别和三级强度、用另一段参考音频决定说话人音色,再用强度门控的残差模块增强梅尔谱,在说话人不重叠的 MEAD 测试上达到 64.4% 客观强度准确率,代价是仍依赖离散强度标注训练且 L1(最弱)强度段绕开增强。
本文以说话人身份为可测代理,用频带滤波、幅度相位重建、WORLD 源滤波器交换、自监督层与离散 token 探测加 45 人听感对比,定位出 1-8 kHz 幅度包络是感知主载体,而高频与浅层表征仍有可被机器利用的残留。
MuLaCover 把翻唱问题定为在歌词与风格文本控制之外再加入 BPM 归一化的旋律加和弦符号条件,用门控交叉注意力注入预训练文本到歌曲模型,并用跨版本配对微调学会错位渲染,在完整翻唱上接近 Suno-v5.5 并在片段参考下退化更平缓,代价是依赖转录质量与合成数据训练。
针对多人混合语音中只提取目标说话人的问题,PromptSep-Speaker 用潜在扩散一次生成目标语音并支持四种可互换提示,在多组异域评测上提高分离准确率与听感,而去掉对齐损失后目标选择可靠性大幅下降。
论文研究频谱损失中的幅度压缩是否帮助可微信号模型拟合目标声音,提出一致性度量预判信息区位置,并在三个系统中验证匹配信息区的损失最优而混合损失均非最优。
该论文把随解码数据在线学习的熵编码代价直接送入感知比特分配,用动态规划在块预算下求最小总噪声掩蔽比,并用严格按块与带储备的对照分离出熵感知与协同适应的增量,代价是动态规划编码端约 20 倍于拉格朗日方法的计算量。
针对现有 MOS 预测在韩语上校准不良的问题,KOMOS 用 29 名韩国听众对 1000 条语音的 5000 个打分微调 Whisper-medium 编码器与听众条件预测头,在测试集上取得 SRCC 0.900 与 LCC 0.950,但结论只在该韩语数据划分与 seen-system 条件下成立。
该文把人声强度转换定义为按连续 dB SPL 目标改写 frozen 特征,再用条件循环 GAN 训练轻量转换器,WavLM 上实现约 83% 的目标强度变化,但绝对感知水平仍依赖源录音且韵律频谱改变量小于自然差异。
针对 7 个通用声音类别,用自动化数据引擎清洗训练数据并用两阶段方法优化类级别 CLAP 控制信号,在 AudioSep 基线上提升 SDRi 与 SI-SDRi 并在 17 人主观偏好中占优,但增益依赖于数据筛选与控制信号两步配合且商业模型对比不具备客观指标可比性。
论文用 42.5 小时历史古琴独奏适配 Stable Audio 3 Medium 的 DoRA 小参数,以一位专家的七轮盲听驱动决策,最终续弹和场景生成得分最高,但样本小且随机性大,只能作探索性记录。
该文把无参考修音做成逐音符序列编辑,用冻结 MusicBERT 加歌唱适配器理解上下文、两个修正头分开判断修不修和修多少、再用输入自身估计的调性先验重排候选,在真实业余对专业配对上把音高准确率从 73.25% 提到 83.43%,代价是 3.19% 的原本正确音符被误改。
SEER 针对人工耳蜗处理后情感线索变弱的问题,用同一情感的参考语音去引导情感语音转换,并学习为每个源语句挑选最有帮助的参考,在 N8 条件下把源语音的宏平均 F1 在 RAVDESS 和 ESD 上分别提高 7.30 和 11.66 个百分点,但稀疏通道和部分情感边界上仍有局限。
SteerSpeech 针对推理时情感控制粗糙不稳定的问题,在冻结 Qwen3-TTS 的条件下为每种目标情感学习一个低秩残差变换来优化 steering 方向,并用情感、说话人和转写三类专家在多档强度上联合监督,在愤怒等情感上把目标情感分数提升到基线的 1.08 倍到 7.12 倍,代价是快乐和悲伤的说话人漂移略有上升且高强度下仍存在情感与身份的权衡。
论文针对语音驱动三维人脸动画中口型到位但过渡太平的问题,提出经过辅音途经点的唇部路径比度量,在四个方法上发现相对真实语音的整形缺失,并用受控阻尼校准与感知试验说明削弱是可感知的。
论文用只接受音频条件的 MixAudio 记录每个声部用了哪段提示和共用上下文,再用 musicDNA 在训练库中检索复现,条件跟随实验与人工听辨的记忆审计共同说明记录何时成立、代价是只覆盖旋律声部且结论限于本次曲库。