从离散标签到贴着声音写叙事：FCaps 与 CLSP 的多粒度语音风格建模

英文题目：Towards Fine-Grained and Multi-Granular Contrastive Language-Speech Pre-training

会议身份：conference:acl:2026:conference-paper-id:2026.acl-long.194

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #对比学习 #零样本 #语音 #音频检索

评分：8.1/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：数据集与基准

👥 作者与机构

• Yifan Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Bing Han：机构信息未能从会议 PDF 纯文本可靠映射
• Hui Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Wei Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Ziyang Ma：机构信息未能从会议 PDF 纯文本可靠映射
• Long Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Zengrui Jin：机构信息未能从会议 PDF 纯文本可靠映射
• Guanrou Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Tianrui Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Xu Tan：机构信息未能从会议 PDF 纯文本可靠映射
• Xie Chen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为1至30秒英文语音片段，输出为与其说话风格对齐的跨模态表示及风格相似度评分，难点在于说话风格兼含全局身份属性与随时间演变的韵律情感变化，且缺乏可扩展细粒度标注。方法链第一步由Qwen3-Omni听辨音频多种子采样生成细粒度候选，经正则匹配、转写文本与人工标签工具箱加校验智能体过滤为单条或多条可信描述。第二步在FCaps-Emilia大规模细粒度对上以对称InfoNCE预训练语音与文本双编码器，学习帧级均值池化后的语音嵌入与[CLS]文本嵌入对齐。第三步在FCaps-PSCBase小规模多粒度数据上以全局加细粒度双文本软目标做课程式多正样本微调，保留同一话语的多视图时序叙事。相对级联先打离散标签再改写做法，关键差异在于全程语音接地与多正视图避免离散瓶颈与纯文本改写幻觉，因而覆盖更全且与可听内容更一致。在ParaSpeechCaps保留集评测下，CLSP的Pearson为0.893，高于LAION-AI CLAP的0.679。该结论适用边界受限于英文朗读与访谈类语音，对多说话人重叠、强噪声及歌唱等场景尚未验证，训练使用8卡NVIDIA A100 80GB GPU的硬件，原文未披露推理开销的延迟与吞吐。

🔗 开源与复现资源

• 代码相关资源：https://github.com/yfyeung/CLSP — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/LAION-AI/CLAP — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/KeiKinn/ParaCLAP — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

本文解读的对象是语音风格的语言描述与对比预训练。输入是一段英文语音，目标是用自然语言说清说话方式，并让语音与文本在同一向量空间可比。需要保留的关键信息包括数据如何从音频直接生成、模型如何分阶段对齐多粒度描述、实验在什么划分与基线下比较。输出是一套可复述的操作链：从音频到全局与细粒度两类文本，从双编码器到 2 阶段损失，从检索到零样本分类再到人评相关。

读者学完应能说出每一步的输入表示监督与输出，并指出原文未报告的缺项。全文只讲论文实际做的英文说话风格建模，不扩展到音乐或通用音频生成。教学用的例子会明确标为例子，不虚构数值。

已有路线为什么卡在粗标签上？

早期风格数据多是人工离散标签，例如情感语速音量等类别。后续常见做法是级联管线：先给语音打离散标签，再用大语言模型改写成自然语句。论文指出这种做法把连续多变的韵律压缩成有限类别，造成信息瓶颈与误差传递。对比学习一侧，已有语音文本模型多用粗粒度标题或任务专用监督，例如转写文本或情感标签，缺少对句内时变与叙事结构的建模。通用音频文本模型覆盖语音声音音乐，但语音侧仍以词内容为主。本文的定位就是补上可扩展的细粒度风格标注，并用多粒度对比把全局画像与句内变化统一到一个表示中。

要解决的判断题是什么，难在哪里？

核心判断是：给定一段语音与一句风格描述，二者是否匹配，匹配到多细。难在三处。第一，说话风格是多尺度的，既有性别年龄口音等偏身份的内在属性，也有语速情感表现力音量等随 utterance 变化的情境属性，同一段话可能前快后慢并带停顿吸气。第二，人工主观评价一致性有限且难扩展，大音频语言模型做裁判成本高，需要可扩展的自动度量。第三，可靠的细粒度标注难扩展，人工写自然段成本高，级联改写又容易脱离音频。

论文因此同时做数据集与模型：用贴着音频的端到端生成解决标注瓶颈，用双粒度对比解决统一表示问题。例子：同样说权威感，快速英音与慢速中口音应被模型拉开距离，而不是因文字重叠给高分。

从一段语音到可用分数，全链路如何走通？

先沿一个样本走完。输入一段英文语音，输出它与任意风格句子的余弦相似度。中间分两大块。数据侧用细节描述器听音频生成多句细粒度描述，再用验证智能体过滤无关内容，得到 FCaps。模型侧用语音编码器把帧序列平均成一个向量，用文本编码器把句子变成一个向量，映射归一化后算点积。

训练分 2 个阶段：第一阶段用大规模细粒度对做标准双向对比，第二阶段用全局加细粒度的多正样本对比做跨粒度与细区分。推理时语音向量与候选文本向量逐一算相似度，用于检索排序、零样本分类选最高分提示、风格相似度打分。下面先看管线总览图，再拆组件。

本段为该总览图的导读，说明左右三栏与实虚线分工，读图时重点跟踪音频如何变成候选再变成保留描述。

看图路径： 1. 先沿左侧数据收集经中间标注工作流到右侧细粒度描述的主箭头走一遍；2. 再区分实线与虚线分别对应无标签与有人标标签的两条支路；3. 最后看工具箱与验证智能体之间的双向信息箭头

论文图 2。原论文 Figure 2：“Overview of our end-to-end annotation pipeline for generating fine-grained captions, consisting of a detailed captioner and agentic verification with specialist tools.”。

该图显示左侧开源语音与人工标签作为输入，中间细节描述器产出候选并送入验证智能体，工具箱提供正则转写与标签证据，右侧分别形成无全局的 FCaps-Emilia 与带全局的 FCaps-PSCBase。实线对应大规模无标签支路，虚线对应有人标标签的增强支路。右侧示例中加粗对应说话人属性，红色对应 begins、after、continues 等叙事连接，表明细粒度不只是属性堆砌而是有时间推进。复述时要能说出谁生成谁过滤，以及虚线何时启用。

两类描述与双编码器各自负责什么？

论文定义两类文本监督。全局描述是无时间的整段画像，概括身份与情境属性但不写时间结构。细粒度描述在画像之外写清句内演变，包括风格转折、重音模式、停顿吸气、说话角色与交际意图，带有 begins、after 等叙事词。双编码器把两种文本与语音对齐到同一空间。语音侧用 SPEAR-XLarge 最后一层帧表示做时间平均，再经多层感知机映射与归一化。

文本侧用 RoBERTa-base，支持最长 512 词以容纳长叙事，取末层 CLS 再映射归一化。点积即余弦相似度。第一阶段每批内非配对即负样本，用对称 InfoNCE 拉近配对推远其他。第二阶段把一批语音与 2 倍文本堆成相似矩阵，用软目标交叉熵处理 1 对二的正样本关系。执行顺序是先在大规模细粒度对上学稳健的帧到句映射，再在小规模多正样本上学跨粒度泛化与细区分，推理时才冻结编码器逐一算相似度。

全局描述 × 细粒度描述： 全局描述负责把整段语音压缩成一句无时间的说话人画像，交代性别年龄口音语速情感等稳定属性；细粒度描述负责记录句内如何变化，包括停顿强调语调起伏与非言语声。二者搭配的理由是同一段音频既有身份层也有过程层，组合后对比学习能在跨粒度泛化与细粒度区分之间同时获得监督。

端到端标注 × 级联标注： 级联标注先把声音压成有限离散标签再让语言模型改写成句子，分工清晰但中间标签形成信息瓶颈；端到端标注让多模态描述器直接听音频生成句子，保留连续韵律细节。搭配验证智能体后，端到端在正确性覆盖度自然度上替代级联，成为 FCaps 的数据来源。

语音编码器 × 文本编码器： 语音编码器用 SPEAR-XLarge 取最后一层帧表示再做时间平均与映射，负责捕捉音色韵律等声学线索；文本编码器用 RoBERTa-base 取末层 CLS 再映射，负责容纳长短不一的全局与细粒度描述。二者映射到同一归一化空间后用点积算相似度，搭配双向对比损失实现跨模态对齐。

初学者易误以为更长的描述一定分数更高。图 1 的反例是：长描述若口音语速写错仍得低分，短但属性全对可得高分，说明模型学的是属性匹配而非长度偏好。术语分工上全局管可比性，细粒度管可区分性，组合原因是用同一空间同时支撑检索排序与相似度打分，避免两套表示割裂。

数据如何生成、过滤与分阶段训练？

构造分两支。FCaps-Emilia 源自 Emilia 语料，每段跑 5 次细节描述器，大规模下每句只保留一条验证通过的细粒度，不含全局。FCaps-PSCBase 源自 PSC-Base 的 EARS、Expresso 与 VoxCeleb 音频，沿用其标题做全局并做规则归一化与拼写纠错，再把语速口音情境标签喂给描述器做条件生成，每句跑 20 次候选，验证后保留 5 到 14 条多正视图。描述器用 Qwen3-Omni-30B-A3B-Captioner 并加用户提示，压制转写环境与音质内容。验证用 Qwen3-30B-A3B-Thinking，按四项清单任一违反即丢弃，并对特定来源强制单人单角色约束，工具包括正则、转写与人工标签。

细节描述器 × 验证智能体： 细节描述器负责多候选生成，用不同随机种子产出用词与叙事不同的正样本；验证智能体负责按清单与工具证据做保留或丢弃的二选一，过滤背景声转写缺失与标签不符。生成与核验分开使多样性与可靠性可以同时提高，避免只追求流畅而脱离音频。

任务一 × 任务二： 任务一给每段语音配一句全局加一句细粒度，负责跨粒度泛化；任务二配两句不同细粒度，负责靠语义一致性练出细区分。训练用动态调度从任务一为主逐渐转向两者均衡，组合后避免静态混合顾此失彼，使全局检索与细粒度检索同时保持高位。

训练实现上第一阶段标准对比，第二阶段每个 step 按概率抽任务一或任务二，动态调度从 0.95 线性降到 0.50 并在 10000 步后固定，权重取 0.5。优化器与调度器与批量时长等见配置表。原文未报告梯度是否截断到编码器内部哪一层、文本与语音学习率是否分开、负样本是否跨卡同步，这些缺项复现时需按开源代码核对，不从模型名推定。

下面先看训练配置表，明确 2 阶段共用的编码器与分阶段的优化步数差异，这是理解先规模后多粒度课程的前提。比较问题是在同一双编码器下如何分配大规模对齐与小规模微调的计算量。

该表显示规模集中在语音侧，步骤集中在第一阶段，第二阶段只用少量步数做跨粒度与细区分的校准。若颠倒顺序或拉长第二阶段，预期全局泛化会被细粒度一致性目标冲淡，这正是动态调度先任务一后任务二的原因。复现时应先跑通第一阶段检索基线，再开第二阶段多正样本，避免一步到位难以定位退化来源。

测什么、和谁比、在什么条件下比？

实验围绕 4 个问题。标注质量：从 FCaps-Emilia 抽 1000 段，对比本文端到端与 PSC-Scaled 级联改写，用多模态 Gemini 3 Pro 按正确性覆盖度自然度打分，5 轮随机顺序平均。检索：用 ParaSpeechCaps 测试 241 段 1 到 30 秒音频，无训练重叠，全局来自保留集，细粒度由本文管线生成，对比 LAION-AI CLAP、GLAP、ParaCLAP，指标是 R@1、R@5、R@10 与 mAP@10，值越高越好。零样本分类：在 IEMOCAP 4 类情感、RAVDESS 8 类情感与性别、CREMA-D 6 类情感与四档年龄上，用自然语句提示算相似度选最高，对比同上加 Auden-Voice CLAP，指标是加权与平均准确率。

相似度与人评一致：在 ParaSpeechCaps 保留集分内在情境融合 3 类，每类 30 段，20 位语音研究者用 0 到 5 连续滑杆打匹配度，算 Pearson 线性、Spearman 单调与 Kendall 序一致，越高表示越像人。执行顺序是先验标注质量再验表示能力，最后验人评一致，公平条件是基线都用公开检查点且不加细粒度监督。

下面先看数据规模表，明确两支数据的文本类型与时长差异，这是理解后续多粒度训练的前提。比较问题是同一方法能否同时支撑大规模预训练与多正样本微调，公平条件是都只描述说话方式不含转写。

该表显示 Emilia 支负责规模，PSCBase 支负责多粒度与多正样本，二者互补而非重复。代价是 Emilia 支无全局，跨粒度能力需靠小规模 PSCBase 支补足。若只用单支训练，预期全局或细粒度其一受损，后文消融支持该判断。理解该分工后，才能解释为何第一阶段只用细粒度大规模对齐而第二阶段才引入全局加细粒度的双任务抽样。

主结果显示了什么，代价与反例是什么？

标注质量上端到端全面高于级联。成对比较中端到端在正确性覆盖度自然度上占优比例更高，尤其覆盖度拉开最大，说明离散中间标签确实丢掉了可听细节。检索与零样本分类上 CLSP 报告一致领先，基线在新任务上接近随机，表明粗粒度或任务专用监督迁移到细粒度风格时存在能力缺口。人评相关上 CLSP 在 3 类三系数上均最高，且内在与情境两类同时高，支持它可做可扩展的自动风格度量，用于指令跟随语音合成的基准与数据过滤。

为理解细粒度区分，先看同一语音配多粒度正负句的打分示例，问题是文字重叠高但关键属性错时分数是否仍低。

看图路径： 1. 先看同一段语音对应的五行文本中绿色与浅红底色的分组；2. 再对比右侧分数在只改性别口音语速词时的下降幅度；3. 最后看最长叙事段是否仍保持最高分以理解多粒度一致性

论文图 1。原论文 Figure 1：“Multi-granular speech style caption similarity scoring for the same speech input by CLSP.”。

该示例中仅改 male 或 slowly 与 Chinese 等一两个属性词，分数从 0.62 与 0.68 掉到 0.33 与 0.24，而属性全对的长叙事得 0.72 最高。这支持模型不是靠词重叠，而是对性别口音语速等属性敏感。限制是这只是单样本展示，不能推广为全测试集的错误率，完整证据需看检索与相关系数。

下面看标注质量的绝对分数表，比较问题是在相同音频与相同裁判下哪种管线更准更全更自然，指标方向均为越高越好。

该表显示端到端在 3 维领先约 1 分以上，覆盖度差距最大。代价是端到端依赖大容量多模态描述器与验证模型，成本高于模板改写。未胜出项是级联在自然度上仍达 4.15，说明语言模型改写本身流畅，差的是与音频的 grounding。

再看成对胜平负比例表，问题是领先是普遍还是少数样本带动，越高蓝色越好。

该表显示覆盖度 86% 样本更优，正确性 72% 更优，自然度则 41% 持平，说明流畅性差距小于信息完整性差距。反例是仍有 5% 到 15% 样本端到端不占优，复现时应抽查这些失败是验证漏过还是裁判波动。

最后看人评散点图的导读，问题是模型分数能否复刻人的排序，点越贴回归线越好。

看图路径： 1. 先确认纵轴三个维度与横向蓝色绿色黄色三段的图例含义；2. 再比较覆盖度蓝色段与自然度绿色持平段的长度差异；3. 最后看每一行右侧黄色更差段是否都是最小

论文图 5。原论文 Figure 5：“Pairwise comparison between end-to-end and cascaded captions across correctness, coverage, and nat- uralness dimensions, showing the proportions of better, tied, and worse cases…”。

该条形图只是上表的可视化，重点是自然度黄色更差段最小而绿色持平段最长，与绝对分数表中级联自然度不低相互印证。不能把持平多解读为两者等价，因为绝对分仍差 0.77。

看图路径： 1. 先确认行是四个模型列是内在情境融合三类，横轴是模型分数纵轴是人评；2. 再对比前三行绿色点云的发散程度与最后一行橙色点云贴近红色回归线的程度；3. 最后看左上角每子图报告的三个相关系数在最后一行的同步抬升

论文图 8。原论文 Figure 8：“Correlation analysis between model-predicted similarity scores and subjective human ratings across different models and trait categories (Intrinsic, Situational, and Fusion).”。

该九加三宫格中前三行绿色点云分散，尤其情境列几乎横铺，最后一行橙色点云紧贴红色虚线。这支持 CLSP 同时跟踪绝对匹配与相对排序。限制是人评每类仅 30 段音频，20 位专家虽专业但样本仍小，外推到开放口音与强情感时需补验证。

哪些训练选择真正重要，拿掉会怎样？

论文报告 3 组消融。阶段消融显示只做第一阶段利于细粒度检索，只做第二阶段两者都有限，2 阶段结合全局与细粒度同时最高，支持课程式先对齐再均衡的安排。权重消融显示 0.3 到 0.7 范围内性能稳定，0.5 整体最优，表明多正样本软目标对精确权重不敏感。调度消融显示静态提高任务一比例利于全局但细粒度到顶后回落，静态只用任务二则细粒度高但全局差，动态从任务一为主滑向均衡时两者最平衡，支持先跨粒度泛化再细区分的直觉。

下面看训练配置与调度参数表，比较问题是复现时哪些量必须照抄，公平条件是同硬件批量与优化器。

该表说明复现先准备双编码器与大批量语音时长，而非只看步数。代价是 724M 与 1.2M 步成本高，小资源下需验证是否可缩减。未报告的是冻结与否与跨卡负样本同步，缺项需查代码。

该表显示关键旋钮是调度而非权重，权重在宽区间稳定。反例是静态任务一概率为 1 时细粒度仍可观，说明跨粒度本身也带来细粒度收益，不能简单说任务二决定一切。部署时应保留动态调度，不宜为省事固定 0.5。

哪些结论不能下，边界在哪里？

论文明确两项局限。编码器只在英文语音上训练，因此模型限于英文，跨语言口音与多语风格未经验证。公开副语言数据的多样性仍不足，欠代表口音情感与表现力覆盖有限。缺失证据不是技术错误，但以下判断需收敛：相关性高不等于因果，检索高不等于生成好，自动分高不等于每组每步都好。未测量误判率延迟与推理成本时，不承诺这些量改善。

训练资源与推理开销要分开讨论，1.2M 步的训练成本不等于单次打分的成本。适用边界是英文说话风格匹配与排序，超出需补数据与评测。

要复现，先跑什么，再补什么验证？

代码与数据当前可用，仓库指向 CLSP，第三方对比指向 LAION-AI CLAP 与 ParaCLAP。复现先做三件事。第一，按 FCaps-Emilia 与 PSCBase 的规模与文本类型核对数据引用而非重传音频，确认全局只在 PSCBase 支存在。第二，用 724M 双编码器与 2 阶段步数学习率重跑最小闭环，先在 241 段检索集上复现全局与细粒度双向排序。第三，用 1000 段标注对比与 30 段每类的人评协议复现正确性覆盖度自然度与三相关系数，注意裁判模型版本与随机顺序平均。

若资源不足，可先只跑第二阶段 4k 微调验证调度 0.95 到 0.50 的增益。还需补的验证是失败样本 audit、跨口音分层报告与推理延迟测量，这些原文未充分展开。

何时值得尝试，一句话如何带走？

当任务需要区分只差一两个风格词的难负例，或需要同时支持短画像与长叙事查询时，值得尝试细粒度加多粒度的对比表示。当只有粗标签或只需词内容检索时，收益可能覆盖不了数据与算力成本。带走的判断是：贴着音频直接写叙事加验证过滤，配合从跨粒度到细区分的动态多正样本训练，使风格匹配更像人；但结论限于英文与现有评测分布，换语种换场景前先补多样性与成本验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总