几乎但又不是：在文本到音频的潜空间里听见未成形的音乐

英文题目：Latent Music: Emergent Sonic Forms and Sonic Liminality in Text-to-Audio Systems

会议身份：conference:icmc:2026:conference-paper-id:paper-580

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#文献综述方法 #听觉与音乐认知 #音乐信息检索 #音乐生成

评分：6.6/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 0.6/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.6/1.5

排名：前50% | 文档类型：理论研究

👥 作者与机构

• Guilherme Coelho：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文针对文本到音频系统中语言提示激活高维潜流形所生成偶然且不可重复的声音物身份阈限、持续漂移而难以用复刻引用描述的问题，难点在于输出徘徊于流派音色乐器编码之间并在延续混音重组中不断滑移。将潜伏的哲学虚拟场与计算潜空间双重含义融合，先把潜空间界定为亚稳态前个体储层，说明每次生成都是不可精确重复的单次遍历，其携带生成条件的痕迹进入下一步。接着把提示解析为由关系符号单元构成的提示装配体，阐明词向量间差分关系如何经由跨符号翻译调节生成轨迹并激活流形不稳定区，其单次物化结果进入制图分析。然后以频谱痕、再领土化、梯度身份与无指意断裂为制图工具，对发散矛盾提示下的策展案例做符号制图，揭示残留共存互渗与范畴牵引失效。相对强调直接引用并置的拼贴挪用，该机制强调训练语料溶解为概率分布与向量关系后的统计抽象与涌现重组，其意义在于把聆听导向涌现、符号漂移与尚未形成之张力。在Udio与Suno对比的策展评测设置下，Udio的指标描述高于Suno的指标描述，但原文第122页至第129页未给出可核对的指标数值，原文未提供可核对的关键定量结果。该结论适用边界受限于Udio发散提示策展案例，跨模型跨版本与受控听测外推尚未验证，且原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://www.udio.com/home — 链接可访问（HTTP 200）
• 复现相关资源：https://drive.google.com/drive/folders/1eEur_uVxNfuBnw57pcYg — 暂时无法访问
• 复现相关资源：https://drive.google.com/file/d/1x9Jy65MFM_IratlHYtZ7bx0z_ydr — 暂时无法访问
• 复现相关资源：https://drive.google.com/drive/folders/1uncbX919H1kDoq3vuvsW — 暂时无法访问
• 复现相关资源：https://drive.google.com/drive/folders/1jtoBMaX0aLia4oyEHbCO8 — 暂时无法访问
• 复现相关资源：https://zenodo.org/records/16946623 — 链接可访问（HTTP 200）
• 复现相关资源：https://doi.org/10.5281/zenodo.16946623 → https://zenodo.org/records/16946623 — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，本文要解决什么听觉难题？

本文的输入是提示文本与由文本到音频系统生成的音频，目标是给刚进入语音音乐音频领域的研究生一套可以核对、可以复述的听辨与操作方法。作者使用的核心系统是 Udio，讨论所用的代际与时间条件在原文中有明确交代，语料来自作者在数百次生成、延续、输入音频、混音与相似度设置变化中反复聆听后挑选出的子集。

必须保留的关键信息有三点。第一，所有讨论的案例均为直接无修饰输出，未做后期制作，目的是把听到的阈限归因于潜空间遍历本身。第二，生成具有随机性，相同提示每次给出不同结果，已生成对象还可以被重新输入并延续。第三，本文不训练新模型，不报告可比分数，而是做概念框架与案例演示。

初学者容易把文本到音频误解为点歌机，认为输入体裁名就会得到该体裁的标准成品。本文要解决的难题恰好相反。当提示故意使用发散、矛盾、跨域的词语组合时，系统会产生处于体裁之间、乐器之间、语法之间的声音，它们听起来几乎是某种已知音乐，却始终不落定。作者把这种状态命名为潜音乐，把单个生成物称为潜声音对象。学习目标是沿着一个样本走完输入到输出，理解提示为何是激活而非指令，输出为何是涌现而非采样回放，并在复现时说清提示全文、扩展方式与听到的漂移。

这条技术与美学路线从哪里来？

作者把文本到音频放在技术中介改变音乐本体论的长线中理解。磁带操作改变了声音的剪接与时间组织，故障美学把数字错误变成材料，拼贴与采样把引用变成作曲法，第四世界音乐把不同地域的听觉符号并置出杂交身份。本文的潜音乐被有意放在同一序列，它也是一种由特定技术干预生出的美学形式，只是干预位置变成了高维潜流形的随机遍历。

与直接相关的路线有 3 条。第一是拼贴与采样研究，特别是拼贴音乐理论。它靠直接引用与并置工作，听者能听出源头。本文的生成则靠统计抽象与涌现重组，源头被溶解为分布，听者只能听到残留。第二是声音研究与聆听理论。

作者引用聆听方式、声音唯物主义、声音虚构与非线性形式，强调聆听本身参与形式建构，听者在漂浮能指中主动组装意义。第三是当代文本到音频建模研究。文本编码器、对比语言音频预训练、音频编解码与扩散或自回归生成构成通用管线，本文不贡献新管线。

对初学者而言，记住这个分野很重要。拼贴问引用了谁，潜音乐问在什么间隙中漂移。前者可以举证源录音，后者只能描述邻近与染色。本文追问的是当生成没有稳定为既有仿真时出现了什么特有声音，并给出可操作的提示策略。

潜音乐指哪类声音，不指哪类？

潜音乐不是泛指一切人工智能音乐。作者给出工作定义：经由语际翻译的中介过程生成，并以阈限形成、符号漂移与涌现形态发生为构成性特征的声音对象类别。这类对象是阈值对象，栖居在体裁、音色、乐器与既定音乐编码之间的符号间隙，不追求范畴稳定。

4 个相互关联的特征界定了它。第一是间隙定位，材料来自可识别领地之间的空间，弦乐质感可能滑向颗粒合成或人声共鸣。第二是谱系阈限，音色与制作签名以可感染整体但无法孤立为离散源头的方式在场。第三是本体悬置，形式始终处于几乎成为某物却推迟到达的状态。第四是符号漂移，展开方向在时长上不可预测，体裁痕迹按生成过程的内在逻辑出现、迁移与溶解。

教学上要划清边界。体裁忠实的生成不属于本文焦点，因为它稳定再现了既有模板。偶发的渲染瑕疵也不自动等于潜音乐，除非它呈现持续的间隙栖居与漂移。本文的例子都强调无后期直接输出，正是为了排除混音技巧的干扰。

从一句话到一段声音经历了什么？

沿一个样本走完全程有助于建立因果链。假设输入是一句提示装配，例如包含拼贴、解构、室内弦乐与故障等词。第一步是文本编码，每个词被转为嵌入空间中的向量，词与词的差分关系构成一个语义拓扑。第二步是条件遍历，生成模型以这些嵌入为条件，在音频潜流形中走出一条随机路径，相似质地聚类，风格与音色边界形成密度不一的重叠区域。第三步是音频解码，遍历结果经由编解码与上采样解析为波形，成为 1 次性的声音对象。

关键在于提示不像总谱那样指定音高与时值，它只激活流形上的某些区域。语义越发散或内部越矛盾，激活的区域越宽，输出的变异越大。同一提示重复生成会得到不同结果，已生成的对象还可被重新输入并以相同或不同提示做延续与混音，开启新的轨迹。这解释了为何作者强调单次生成是偶然的个体化，形式无法从提示单独预测。

对初学者而言，复述时要说清 3 段分工。语言端提供关联方向，潜空间提供材料基质与统计邻近，解码端提供可听实现。缺任何一段都会误读，只谈提示会以为是写作问题，只谈解码会以为是音质问题，真正的阈限来自中间那次受条件约束的随机穿越。

潜空间与虚拟如何共同解释不可重复？

潜空间在机器学习中指模型训练学到的高维表征场。音频与文本被编码为压缩向量，结构关系按邻近与统计共现组织，体裁标签、情绪描述、配器类别与艺人关联等分类元标签进一步组织语义概念与声音特征的共置。生成就是在该连续流形中按输入参数走出一条路径并解析为单一输出。

潜空间 × 虚拟： 潜空间负责给出可计算的表征事实：训练语料被压缩为向量间的距离与共现关系，提示沿此流形做 1 次随机遍历并解码为音频；虚拟负责给出哲学上的存在论解释：该流形是先于任何单次生成的差分关系场，每次生成只是其中 1 次分化而不耗尽场本身。二者搭配的原因是单讲向量无法说明为何同一提示每次结果不同且仍有关联，单讲哲学又无法落到编码器与采样操作，组合后才能把潜音乐理解为计算遍历与本体潜能的同一次实现。

哲学上的潜与虚拟补充了另一半解释。作者援引德勒兹的虚拟概念，虚拟是差分关系与强度潜能的实在场，现实化是其中 1 次创造性分化，且虚拟不因现实化而耗尽。再援引西蒙东的个体化概念，个体从富含势能的亚稳系统结晶而成，前个体储库始终伴随已个体化形式。把这两套语言压到同一过程上，每次提示就是 1 次个体化的催化，词语星座促使亚稳场做 1 次结晶。

这就是双重潜，计算上源于潜空间，本体上处于潜状态。初学者复述时应避免把随机性说成故障，随机采样恰是遍历机制的构成部分，也是发散提示能打开更宽流形区域的原因。

词与词之间如何联手改变声音走向？

作者提出关系符号单元来描述提示中每个词的作用。每个词的生成力量取决于它在装配中的相对位置，体裁描述、音色形容词、艺人指涉、情绪指标与副音乐语言共同构成输入星座。组合逻辑不是平均，而是横向涌现，前卫新古典拼贴这类并置不是取风格均值，而是在冲突的风格吸引子之间引发穿越。

关系符号单元 × 提示装配： 关系符号单元负责最小触发单位：提示中的每个词不是指令而是嵌入空间中的一个向量，对生成轨迹施加方向性拉力，其力量取决于它与其他词的相对位置；提示装配负责整体构形：多个单元组合成星座，共同激活流形上的一个不稳定区域。二者搭配是因为孤立词只能指向大致风格，只有把冲突的词并置才能制造引力之间的张力，组合意义在于解释为何长而矛盾的提示更容易产生阈限声音而不是风格平均值。

这种关联行为被描述为根茎式，任何符号单元可与任何其他单元连接，潜流形中任何材料点可与任何他点连接，把本无常规音乐关系的音色、制作签名与风格痕迹拉到一起。作者还引入痕迹概念作补充，意义经由差异与延异产生，提示与声音对象的意义始终是关系的。对操作者而言，加词不是加料，而是改变引力场，加入一个去稳定词会重塑整句的走向。

训练档案的残留以什么形式留在声音里？

必须正视材料基质。文本到音频模型训练于大规模作品集合，作者明确承认其中常包含未经创作者同意的来源，潜空间在该意义上是人类音乐生产的压缩档案，是风格、演奏、制作技术与文化历史的编码沉积。这把本文置于拼贴与采样谱系中，但机制根本不同，拼贴靠直接引用，生成靠统计抽象，语料被溶解为概率分布与向量关系并以根茎方式分散。

谱素 × 拟像： 谱素负责说明材料的幽灵式在场：训练作品被溶解为概率分布与向量关系，不再能作为采样片段被完整找回，但其音色与制作痕迹仍以分布式残留塑造每次输出；拟像负责说明无原本的仿真状态：生成物不是对某一原作的复制，而是诸符号之间相互循环的涌现物。二者搭配是因为只谈残留会让人误以为可以溯源，只谈仿真会掩盖训练档案的物质亏欠，组合后才能准确描述既亏欠又不可还原的听感。

作者为此造词谱素，指每 1 次生成物中先前音乐材料的谱系痕迹，包括分布式共鸣、涌现染色与风格残留，它们塑造声音对象却无法作为源头被单独辨认或恢复。一般情况下无法从输出完整恢复单一源，但在作者另文的元标签实验中，基于公开艺人分类构造的提示装配可系统地微定位艺人条件区。初学者要记住的界限是，谱素的可听性不等于可溯源性，听到像弦乐不等于采样了某段弦乐。

跨域材料如何渗透而不融合成新体裁？

潜音乐的符号状态被描述为未解决的，漂浮能指在美学域之间漂移，累积部分意义而不获得范畴锚定。一首曲目可能以智能舞曲式律动开始，随后被拉伸、扭曲、碎裂为他物。合唱手势被采样的美学饱和，解构的碎裂被合唱共鸣染色。作者用跨物质化与声音渗透来命名这种过程，一个编码领地的音色签名渗入另一领地的材料，双方互染而不专属归属。

去领土化 × 再领土化： 去领土化负责拆解：熟悉的体裁签名、乐器逻辑与制作惯例被从其常规领地中拔出，不再履行原来的句法功能；再领土化负责重组：这些被拔出的材料在声音基质中相互渗透、部分重新接地，形成跨材料的连续过渡。搭配理由是潜音乐的关键不在于拼贴而在于渗透，若只有拆解会得到碎片，若只有重组会得到稳定融合，组合才能解释渐变身份与声音渗透那种既相邻又不融合的摩擦状态。

同一过程还伴随梯度身份与无符号断裂。梯度身份指音色、体裁、配器与制作风格沿连续谱存在，声音对象占据区域而非点，并在时长上漂移。无符号断裂指符号链断裂的时刻，材料逃离可识别编码，或突然从一种符号体制跳入另一种。当提示装配足够发散，遍历可能穿过编码关联稀薄的区域。对聆听而言，这意味着期待视野本身失效，不是转调那样的有准备移动，而是漂移式的滑离。

本研究训练了什么，没有训练什么？

本研究没有训练任何新模型，这是必须首先说明的方法事实。没有报告新的损失函数、优化器、梯度路径、参数冻结或重置时机，也不能从模型名称推定其内部实现。作者的真实计算过程是调用既有系统并执行系统的搜索与重组，使用公开可用的 Udio 文本到音频系统完成生成，通过构造提示装配、调节延续与混音及相似度设置、执行重复生成与迭代扩展来勘探潜空间。

潜催化剂 × 语义触发器： 潜催化剂负责跨提示的去稳定功能：如拼贴、解构、实验这类词本身指向操作而非固定领地，放入任何装配都会削弱体裁词的重力并打开重组区；语义触发器负责装配内部的矛盾功能：如虚无的欢愉或金属氛围这类并置制造无法归入单一情感或风格寄存器的语义场。搭配原因是前者提供可迁移的探索倾向，后者提供 1 次性的局部悖论，组合使用才能既保持可复述的策略性，又在每次遍历中获得不同的漂移幅度。

作者总结了两类可复述的提示构造。潜催化剂是跨装配起作用的去稳定词，如拼贴、解构、实验，它们指向碎裂与重组操作而非固定领地。语义触发器是制造内部矛盾的组合，如虚无的欢愉或金属氛围，使模型无法归入单一情感或风格寄存器。此外，公共音乐分类提供了潜词汇，大量社群构建的体裁与微体裁标签因出现在训练元数据中而在流形中具有条件化力量。初学者复现时应把提示写作当作制图术，记录宏观定位词与微观扰动词。

语料与聆听协议是如何搭建的？

实验条件按问题组织更清晰。测什么，是否能稳定产生间隙定位、谱系阈限、本体悬置与符号漂移的声音。与谁比，不是与其他模型的分数对比，而是与稳定主流形式及体裁忠实生成相比是否更具歧义、杂交与漂移，作者明确指出在当前公开系统中 Udio 的输出比某些同类系统更少同质化，因而更适合进入阈限区。条件是否一致，同一案例内保持提示装配不变做迭代扩展，不同案例间改变装配密度以观察定位差异。

数据与协议细节需要如实交代。语料是作者经数百次生成后挑选的子集，所有例子为直接输出，无后期制作。聆听协议是反复聆听加描述性分析，鼓励读者边听边读对应小节。指标不是数值指标，而是材料与形式描述，包括音色阈限、体裁滑移、梯度形态发生与交叉授粉。硬件预算、推理开销与延迟在原文中未报告，不能承诺任何效率改善。伦理条件是使用公开系统并承认围绕未授权语料的法律争议。

下表把 3 个核心案例的提示装配与操作条件并置，目的是让读者在听之前先看清自变量是什么。比较问题是发散程度与操作方式如何改变激活区域，公平条件是锁定同一系统代际与无后期输出，指标方向是越间隙、越漂移、越悬置越符合潜音乐，代价是可重复性下降与版本依赖增强。

上表并置了发散装配、操作方式与版本约束，下一节将逐项说明它们各自产生了何种漂移，以及为何同一装配仍给出不可重复的轨迹。表中提示词与时长条件均可在正文原句中逐字核对，版本信息用于限定结论的时效性，未胜出项是那些落入稳定体裁模板的生成，它们在此框架中属于另一类成功而非系统错误。

案例听到了什么，支持了什么判断？

先看拼贴声音对象的迭代扩展。同一装配在每 1 阶段不做修改，初始生成后反复以增量延续。报告显示钢琴质地移向手风琴式音色，电吉他痕迹短暂浮现后溶解为木管音响，类似序列的段落出现又淡入颗粒质地。这些器乐身份不是分段接续，而是共存、共形与互渗，各自携带他者的谱系残留。支持的判断是间隙定位与梯度过渡，身份占据相邻音色领地之间的区域。

再看本体悬置的两个对象。第一个以二十余个符号单元构成的稠密装配阻止模型向单一领地解决，听感是电子脉冲、木管与弦乐在合成再现与有机音色之间滑音。第二个以压缩但催化剂密集的装配阻止稳定古典输出，合成行为与弦乐相互合并，古典手势可闻但始终处于巩固前夕。支持的判断是谱系阈限与本体悬置，识别被触发但未被完成。

必须同时说明限制。作者的证据是策展式案例加聆听描述，没有对照组分数、没有盲听统计，也没有测量误判率。因此能说的是这些装配在此系统版本中可产生此类听感，不能说它们在所有文本到音频系统中必然更优。几乎感是现象学描述，不是自动指标。

下表把工作定义中的 4 个特征转写为可听检查项，便于复现时逐项打勾而不是笼统说像或不像。比较问题是哪一项特征缺失就会滑出潜音乐，公平条件是都使用直接无修饰输出并记录时间戳，指标方向是通过项越多则阈限越充分，代价是判断依赖聆听者经验而缺乏自动化度量。

该表把抽象术语转为聆听动作，表后需要强调的是未胜出项。体裁忠实生成在此框架中不是失败，而是不属于潜音乐的另一类成功。若复现时得到稳定输出，应记录为装配不够发散或催化剂不足，而不是系统错误。若出现突然断裂，应记录为无符号断裂的候选时刻并检查是否穿过关联稀薄区。

换掉提示中的哪个部分，声音会怎样改变？

原文没有神经网络消融，但提供了提示层面的对照逻辑，可按消融精神重述。比较维度 1 是装配密度，二十余个单元的稠密装配与仅数个催化剂的压缩装配都能产生阈限，但前者更倾向持续悬置，后者更倾向合成与弦乐的互溶。这支持词汇量假设，宏观体裁词建立引力场，微观标签引入侧向张力。

比较维度 2 是催化剂有无。拼贴与解构这类词进入任何装配都会重塑轨迹，古典拼贴、拼贴新金属与拼贴氛围走向各异但共享解构取向。若移除它们，生成更易被体裁锚定词收编为忠实再现。比较维度 3 是操作方式，同一提示迭代扩展得到连续变异的材料，而单次生成得到 1 次性快照，前者更能暴露跨物质化的时间性。

反证同样重要。作者提醒未来版本可能显著改变生成行为，特别是宣布中的授权迭代可能约束输出特征与风格领地的广度。这意味着当前有效的潜词汇可能随训练数据变化而失效。另一个边界是针对性元标签提示可系统地微定位艺人条件区，这说明潜空间并非处处不稳定，存在可被精确导航的引力井。

哪些结论尚未被验证？

区分 3 层表述有助于初学者写作。直接报告的是作者用特定版本与特定装配得到了上述听感，且例子无后期。有限解释的是用虚拟、个体化、根茎与拟像来说明为何会这样，这些哲学桥接提供了理解力，但未被量化检验。未验证推测的是更长的提示是否普遍更间隙，矛盾情感词是否必然导致情感振荡，这些是基于策展聆听的倾向性总结。

具体缺项要逐一点名。未报告训练细节、数据划分、采样超参数、相似度设置的数值扫描、聆听者数量与一致性统计、硬件与成本。未测量延迟、输出帧率、分类器可分性或人类辨别率。总体趋势不等于每组成立，同一装配的不同随机种子可能给出更稳定或更碎裂的结果。

相关性不是因果，听到像手风琴不证明模型存有手风琴样本，只证明编码邻近使该染色在此轨迹上浮现。写作时应使用报告显示表达听感事实，用支持表达机制解释，用可能待验证表达跨系统推广。

要复现这项工作，第一步做什么？

复现先做版本与可达性确认。当前可确认的是演示站点在本次检查中可用，状态码为 200。开放档案库的记录在本次检查中可用，可用于核对作者另文的艺人痕迹论证。其余音频仓库链接在本次未能确认可达，复现时若无法打开应如实记录为本次未能确认可达，而不是断言作者未公开。系统版本必须锁定为讨论所用的代际，因为未来授权版本可能改变可达的风格领地。

可运行的最小复现流程包括 5 步。第一步准备聆听环境与记录表，用前文的四特征检查项逐段记录时间戳与描述词。第二步原样输入 3 个案例的提示装配，不增删词语，分别执行单次生成与同提示迭代扩展。第三步做受控扰动，移除潜催化剂后重跑，替换 1 对语义触发器后重跑，对比是否从漂移退回稳定。第四步保存直接输出，不做母带或降噪。第 5 步撰写复现报告，写清系统版本、日期、提示全文、扩展次数与相似度设置。

何时值得尝试，当研究目标是探索阈限听感、测试提示制图术或教学演示符号漂移时值得尝试。当目标是稳定商用配乐或精确复刻某艺人时不应使用此路线，还需补充授权与补偿验证。代码开源、权重下载与系统可运行在此研究中是分离的，本文依赖的是可运行的公开系统，而非开源权重。

带走什么，警惕什么？

带走的是一套可说、可做、可听的方法。说，用潜声音对象指单次不可重复的生成物，用潜音乐指栖居间隙的审美条件，用关系符号单元与提示装配解释提示如何作为脚手架，用谱素解释残留的在场方式，用梯度身份与无符号断裂描述移动与断裂。做，以发散装配激活不稳定区，以潜催化剂保持解构取向，以语义触发器制造不可解决的张力，以同提示迭代扩展暴露时间性。听，以联想、 porous 与思辨的方式做符号音乐行为，在漂浮能指中主动组装意义。

警惕 3 种误解。其一，把比喻当证明，根茎、渗透、膜都是帮助想象关联与迁移的比喻，真正的证据是可重复的提示操作与可描述的听感变化。其二，把冻结参数误读为确定输出，即使系统权重不变，随机采样仍使每次遍历 singular。其三，把缺失证据当技术错误，没有分数不等于没有价值，但也不得承诺未测量的辨别率、延迟或成本改善。

本文的贡献在于为涌现声音划出可导航的制图术与可复述的聆听伦理。在承认压缩档案的伦理亏欠的前提下，学会在几乎成为的边缘停留，并把那次停留记录清楚。这对研究生意味着方法诚实比修辞更重要，写清条件才能让后来者沿着同一条轨迹听见差异。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

区域 5 · 查看论文原页

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 icmc-2026 论文汇总