用长语境找韵律：从 YouTube 检索到 wav2vec2 二选一的韵律最小对基准

英文题目：ML Classification in a Benchmark of Prosodic Minimal Pairs

会议身份：conference:speechprosody:2026:conference-paper-id:lagisetty26_speechprosody

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #SFT #韵律 #音频分类

评分：5.7/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.7/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Sahya Lagisetty：机构信息未能从会议 PDF 纯文本可靠映射
• Mats Rooth：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为已知词串的短语音片段，输出为该词串两种韵律读法之一，难点在于焦点重音与默认重音的声学差异细微，且自然语料中带韵律标签的同词串样本难以大规模获得。方法先以包含对比主语或时间状语的长串在filmot.com的YouTube转写索引中检索候选并获取视频标识，再用yt-dlp下载音频并截取约10秒中段音频作为待处理区间。然后用stable-ts重做识别与词级时间对齐，并据此从中段音频切出最小对短片段，同时生成Praat TextGrid备查。切分后的短片段连同由长串检索条件决定的弱标签进入wav2vec2-base加分类头的微调，使低层表征直接适配韵律二选一。与Howell等人人工校对转写、人工标注焦点并手工测量时长基频谱倾斜再训练SVM/LDA的路线相比，该路线以检索约束代替人工标注、以自监督表示代替特征工程，具有可扩展收集的实际意义。在验证集划分的基准条件下，present10条件的准确率为0.9934，高于present01条件的准确率0.9661。该结论的适用边界受限于英语YouTube朗读式语料的四个短串，且同一音频复用于不同视频导致训练验证泄漏而高估准确率，跨说话人、跨风格与跨语言外推尚未验证。原文未披露训练、推理或部署成本

🔗 开源与复现资源

• 第三方资源：https://github.com/jianfch/stable-ts — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：为什么要做固定词串的韵律二选一？

本文的输入是明确告知词串内容的一段短音频，目标是在两种预定义的韵律读法中选其一。举例来说，系统被告知这段音频说的是 much as I did，然后判断主语 I 上是否有焦点重音（focus prosody），还是默认韵律。另一个例子是 some people，判断 some 上是否有表示 some but not all 的焦点突显，还是非重读的默认读法。还有两组重音双生词（stress doublet），即 object 与 present 的名词首重读与动词末重读之分。初学者容易把这项任务误解为语音识别，实际上词串已知，不需要识别说了什么，只需要判断怎么说的。

论文把这种短词序列称为韵律最小对（prosodic minimal pair），含义是词串相同而韵律不同。输出不是连续的基频曲线或音节标注，而是一个离散标签。必须保留的关键信息是：判断以词串已知为条件，每次只在同一最小对的两个标签之间选择。论文摘要明确报告，在分开的测试数据上每个最小对的准确率都高于 90%，但正文同时警告该数字可能因重复音频而高估。学习这篇论文时，先抓住这个条件分类设定，后续的检索、切分与微调都是为它服务的。

已有路线走了多远：Howell 的两百条与手工特征为何停滞？

论文把直接前身定位为 Jonathan Howell 的博士论文及合作研究。他们从在线电台收集约 200 条 than I did，用主句主语与从句主语指称是否变化来预测焦点韵律，再由实验者校对转写、按标准分类，并在 Praat 中标注音素边界，计算包括音素时长、基频、频谱倾斜、共振峰扩散在内的几 10 个特征，然后用支持向量机（Support Vector Machine，简称 SVM）与线性判别分析（Linear Discriminant Analysis，简称 LDA）做子集建模，交叉验证准确率接近 90%。初学者需要理解，这条路线依赖三处人工：转写校对、韵律标注、特征设计与边界标注。

论文推测该路线未被推进的原因是人工标注量大、当年转写质量差、可索引数据量小。教学例子：这就像每次判断都要先量好每个元音多长多高，再交给分类器，量的人越多越慢。本文不重复那套手工特征，而是转向两个变化：一是用 YouTube 加 filmot.com 获得量级更大的候选，二是用神经模型的低层表示加音频分类微调代替显式特征测量。原文强调，这种模型已在环境音、城市音等多种声音词表上成功，因此可以借用到韵律区分上。

相关不等于替代，论文没有声称手工声学分析无用，只是报告了一条更少人工的新路径。

问题如何形式化：已知词串下的两类标签从何而来？

论文把问题形式化为给定词串的条件分类。输入包括音频与词串身份，标签是该词串的两种韵律之一。标签来源不是人工逐条听辨，而是靠长检索串的条件化作用预先决定。白话说，长检索串（long target）指包含短串的更长词序列，例如 you enjoyed it as much as I did 包含 much as I did。英文术语为 target phrase。

它的分工是把语义条件写进搜索：当主句主语是 you 而从句主语是 I，指称变化，预测 I 上有焦点；当长串是 as much as I did before，对比的是时间而非施事，预测主语无焦点。同理，but some people think 几乎无例外地让 some 重读，meet some people 则让 some 不重读而重读 people。名词语境 my object 与 the present you 条件化首重读，动词语境 I object to 与 I present you 条件化末重读。初学者要先沿一个样本走完：例如检索到 you enjoyed it as much as I did 的视频命中，切出其中 much as I did 的短音频，标签记为焦点类。

检索到 as much as I did before 的命中，切出短音频，标签记为非焦点类。模型训练与评估都只用音频与标签，长串与转写文本不进入分类器。这种设计的适用条件是长串与韵律的相关足够强，否则标签会有噪声。

全景如何串起检索到分类：四步走完一条样本？

论文的方法全景可以按一条样本的旅行来理解。第一步是在 filmot.com 上搜长检索串。Filmot 是对 YouTube 自动字幕的索引，查询词编码在网址（URL）中，程序用 Python 的 pyCurl 模块批量取回结果页的超文本标记语言（HTML），解析出视频编号（video ID）、命中周围的转写文本与时间位置，整理成表格。第二步是用 yt-dlp 取回整个视频音频，切出约 10 秒的 medium audio。第三步是用 stable-ts 重做语音识别与词对齐，得到更干净的词时间戳，再按时间戳切出最小对短语的 short segment，同时生成 Praat 文本网格（TextGrid）以便检查。

第四步是把短音频组织成开放数据集（Datasets）格式，含音频、标签、长串、编号与文本，再用 wav2vec2-base 微调得到分类器。初学者注意，这里的文本只用于找位置与定标签，分类时只用音频与标签。下面的界面截图显示了第一步的起点，即检索返回的形态，理解它才能理解后续表格中的长串字段从何而来。 检索返回界面是理解长串条件化思想的起点，页面顶部显示目标串与过滤条件，下方以视频墙形式给出大量命中，每个命中附带可点击的自动字幕片段。

看图路径： 1. 先看顶部搜索框中的目标串与时长过滤条件；2. 再数缩略图墙中返回的视频数量与字幕高亮位置；3. 最后对照每条结果下方的转写片段确认命中词在上下文中出现

论文图 1。原论文 Figure 1：“Result display for a search for that+some+people+think at filmot.com, limited to videos of length at most ten minutes.”。

这张图显示搜索 that some people think 并限制视频长度不超过 10 分钟时的结果墙，共有约 2800 个片段命中。每个卡片下方的高亮转写让读者可以直接看到目标串出现在真实语流中，这解释了为什么长串能带来大量候选：索引规模大，且查询直接定位到含目标串的上下文。结合正文，程序正是解析这类页面的视频编号与时间，再进入下载与切分流程。初学者应把该图看作数据入口，而非分类结果。

条件化检索如何工作：长串与短串各自管什么？

这一节讲检索组件的机制。短串是分类对象，长串是检索与标注工具。论文先凭非正式观察找到韵律可变的短串，再通过与 filmot 交互找到能稳定触发某一韵律的长串。filmot 的组织限制是单次查询只能取回 1000 个命中，解决办法是设置日期区间分段取回，必要时合并多个触发同一韵律的长串以凑足样本。白话解释：长串越长，语义越具体，对韵律的约束越强，但出现频率越低，需要用多个长串拼量。

论文给出数量级对比：filmot 上 than I did 有 580000 个词例，经验上约十分之一可实际取回，即数万量级，远大于 Howell 时代的 200 条。初学者要记住，这里的可取回受网页格式变化、访问限制与开源工具更新影响，论文明确说检索过程原则上直接，但工程维护频繁。

韵律最小对 × 长检索串： 韵律最小对负责固定词串而让韵律成为唯一待判差异，长检索串负责提供决定该韵律的上下文条件，二者搭配的理由是直接搜短串会混入两种韵律而无法免标注获得标签，组合后长串的语义对照关系把标签先验地写入检索结果，使短串音频天然分组。

检索得到的超文本页面被解析为表格，含视频编号、命中周围转写与时间。随后全片音频被下载并粗切为 10 秒左右的 medium audio，再用 stable-ts 重识别获得词时间戳。早期版本曾用 YouTube 字幕加 Kaldi 强制对齐，最终版本只用 YouTube 字幕定位 medium audio 区间，转写与时间戳都来自 stable-ts，且在中央处理器（Central Processing Unit，简称 CPU）上运行已足够快。这种 2 级定位的理由是原始字幕时间不准，直接切短串容易切偏，先粗后精更稳健。

焦点重音 × 默认重音： 焦点重音指因对比替代项而在特定词上出现的可感知突显，默认重音指无此对比时落在短语常规位置的突显，二者搭配构成二选一分类目标的原因是同一词串在不同指称连续性下会走不同重音路径，模型只需在给定词串已知的前提下判断突显落点。

四组最小对如何构成：焦点与重音双生词有何不同？

基准的原型包含两组焦点最小对与两组重音双生词。焦点组是 much as I did 与 some people。Much as I did 的区分在主语 I 是否突显，some people 的区分在限定词 some 是否突显。论文为 some 的突显给出标量含义 some but not all 的理论动机，并引用 Horn 的语义学工作；much as I did 则沿用 than I did 的指称变化相关。

重音组是 object 与 present，名词语境几乎总是首重读，动词语境几乎总是末重读。白话说，object 作名词读作 OBject，作动词读作 obJECT，present 同理。英文术语为 stress doublet。论文指出，重音组还有元音音质差异，标准音标转写显示首音节与末音节元音不同，这会让分类更容易；而焦点组也可能因弱化与超发音（hyperarticulation）程度不同而附带元音差异，并非纯粹的基频差异。

初学者不应把焦点等同于音高更高，它是时长、音强、音质与语境共同支撑的突显。论文还提到一个未纳入的候选 in my case，因焦点落点不一致而暂缓，这说明长串条件化并非对所有短串都有效。

重音双生词 × 焦点最小对： 重音双生词分工是提供由词性决定的音段加元音差异的对照，焦点最小对分工是提供主要由语用对比决定的突显差异，二者搭配的理由是前者分类更容易而后者更考验韵律建模，组合使基准同时检验模型对音段线索和纯韵律线索的区分能力。

4 组最小对的标签命名采用数字编码，例如 somepeople10 表示焦点类，somepeople01 表示默认类，muchasidid0100 与 muchasidid0000 区分主语焦点与后续焦点，object 与 present 同理。这种编码便于映射为数值标签供训练使用，但语义仍需回到长串与语言学描述来理解。

数据格式与模型训练如何衔接：只用哪两列做学习？

基准采用开源 Datasets 库格式，基本属性为音频（audio）与标签（label），附加属性为长检索串（target）、编号（ID）与 10 秒区间的转写文本（text）。其中 target 与 ID 组合是条目的唯一标识。音频统一转为单声道、采样率 16000 赫兹的波形文件。数值标签可映射回字符串标签。论文划分出 15% 的数据作为验证集，并为每个标签建单独的验证分支，例如 muchasidid0100 有 250 个期望主语突显的词例，用于测单个标签的准确率。

此外为启动格式并增加音段多样性以限制过拟合，基准混入 Superb 语音指令集的 9 个词，包括 down、left、no、off、on、right、stop、up 与 yes，未来随最小对增多预计移除。 基准的每一行同时呈现可听、可读与可追溯信息，但训练时只取其中两列，这种取舍是理解监督来源的关键。

看图路径： 1. 先沿每一行从左到右核对音频播放条、长检索串、编号与标签列；2. 再比较第四行与第六行同一短串在不同长串下的标签差异；3. 最后看最右列十秒转写文本如何为韵律标签提供语义依据

论文图 2。原论文 Figure 2：“An image from https://huggingface.co/datasets/MatsRooth of six items of the benchmark, with playable audio, long target, ID, label in numerical and text format, and text transcription.”。

这张图是数据集浏览页的六行示例，从左到右依次为可播放音频、长检索串、编号、数值与文本标签、转写文本。第四行用 that some people think 条件化 some 的焦点读法，标签为 somepeople10；第六行用 meet some people 条件化默认读法，标签为 somepeople01。解释段需要强调：尽管页面显示长串与文本，机器学习分类只用音频与第四列标签，长串只是标签的来源证据。这种设计让读者可以试听并核对语义，复现时也能按 target 与 ID 回溯原始视频。

wav2vec2-base × 音频分类微调： wav2vec2-base 负责把原始波形经特征编码器和 Transformer 层变成上下文相关的语音表示，音频分类微调负责在该表示上加分类头并用训练标签调整全部参数，二者搭配的理由是不再手工测量时长基频频谱倾斜等特征，组合后模型直接从低层表示学习区分两类韵律的边界。

模型训练沿用标准的音频分类范式。基座是 wav2vec2-base，程序是 run audio classification.py。每段音频经特征提取器与 Transformer 层得到向量表示，再经分类头映射到标签上的对数几率（logits），损失函数衡量预测概率与真实标签的差异，反向传播计算梯度并用优化器更新权重。论文未报告学习率、批量大小与优化器类型等超参数，这是复现时的缺项，不应从模型名推定实现。当前版本没有独立测试集，训练直接跑 10 个完整轮次后取最终模型，再用验证分支做测试。分类时本应对同一最小对的两个标签做二选一，但代码尚未实现，实际用全标签集选最高分，论文称日志显示前 2 名总是同一最小对的两个元素，因此实践中无差别。

medium audio × short segment： medium audio 负责保留命中点前后约 10 秒的上下文以便重识别和对齐，short segment 负责按词时间戳切出的最小对短语本身，二者搭配的理由是 YouTube 原始字幕时间不准需要先粗定位再精切，组合后既保留可核查的文本证据又得到适合分类的短音频输入。

实验条件如何交代：数据、划分、指标与资源状态？

实验按问题组织：能否在词串已知下区分两种韵律，与谁比，条件是否一致。论文没有设置手工特征基线或另一神经基座的对照，比较对象是同一最小对内的另一韵律，指标是分类准确率，方向为越高越好。数据来自 YouTube 经 filmot 检索、yt-dlp 下载、stable-ts 对齐后切分，采样率 16000 赫兹，单声道。划分上训练集每类约数 100 至 1500 条，验证分支每类约 60 至 250 条，具体数字见结果表。训练跑 10 轮，无独立测试集，用验证集代测。

论文明确警告训练集与验证集可能因同一音频出现在不同视频中而重叠，模型可靠记忆导致准确率高估，修正需用音频指纹去重，会议时报告修正结果。初学者要区分百分点与相对百分比，也要区分自动指标与人评：这里的准确率是模型选标签的自动指标，不是人听实验。资源状态方面，论文给出代码库中的检索与制表脚本名，以及 Hugging Face 数据集浏览页。第三方资源 stable-ts 的链接本次验证可用，地址为开源仓库，可写当前可用。

硬件预算方面，论文只说 stable-ts 在中央处理器上足够快，未报告微调所用图形处理器类型与时长，这是缺项。复现时应先确认检索可达性与转写工具版本，再谈训练开销。

主结果显示什么：四个最小对是否都超过九成？

论文报告的核心判断是 4 个最小对的二选一准确率都高于 90%。初学者需要把这句话拆成可核对的表：每行是一个标签方向，列出训练量、验证量与准确率，才能看到样本不平衡与难度差异。表前的问题是：在训练量从六百到一千五百不等、验证量从六十到二百五十不等的情况下，各标签的准确率是否都稳定在 90% 以上，公平条件是同一模型、同一全标签选最高分流程、同一验证划分。指标方向为准确率越高越好。

下表整理论文给出的 4 个最小对 8 个标签方向的规模与准确率，数字写法保留原文，训练量中的千记法与验证量为原文呈现，准确率保留 4 位小数，星号表示原文标注的可能高估。

表后解释需要同时讲收益与代价。

主要收益是即使最难的 somepeople01 也有 0.9508，muchasidid0010 为 0.96，重音组最高达 0.9934，显示通用音频分类微调能学会韵律区分。具体代价是星号代表的重复污染：同一音频经不同视频重复出现会导致训练验证重叠，模型靠记忆而非韵律泛化得分。未胜出项是相对最低的 somepeople01 与 muchasidid0010，它们训练或验证量偏小或语义条件更复杂，提示长串条件化强度不同会带来难度差。

重提结果时新增的对照是：重音组因含元音音质差异而普遍高于焦点组，这与论文对音段线索的预期一致。 模型是否真正分开两类，还需看得分分布而非只看单点准确率，下面的密度图提供了这种证据。

看图路径： 1. 先确认上下两幅子图的横轴分别为一个标签的模型得分；2. 再比较橙色与蓝色密度峰在横轴上的分离距离与重叠尾部；3. 最后观察小幅度的中间杂峰判断是否存在难例或标注噪声

论文图 4。原论文 Figure 4：“Density plots of model scores for muchasidid0100 (subject focus) and muchasidid0000 (following focus).”。

这张图含上下两幅密度图，上图横轴为 muchasidid0100 的模型得分，下图横轴为 muchasidid0000 的得分。橙色曲线为真值是后者，蓝色为真值是前者。上图中蓝色峰集中在九到十附近又高又窄，橙色峰集中在二到四附近较宽，两峰几乎分离；下图则镜像对称，橙色峰在八到九附近，蓝色峰在四到五附近。解释是模型对两类给出了相反的高分，分离程度支持高准确率的报告。

像素细节显示两端仍有微小杂峰，例如上图蓝色在三附近与橙色在九附近各有小凸起，说明存在少数难例或标签噪声，不能把末端峰值推广为全程无错。结合重复污染警告，这些分布也可能因记忆而更尖锐，需等待去重后的修正结果。

哪些对照缺失：没有消融时能说什么、不能说什么？

论文没有报告消融实验，例如去掉重音双生词、只用两标签二选一而非全标签选最高分、换基座或冻结部分层会怎样。原文明确说二选一限制尚未编码，但日志显示前 2 名总是同一对的两个标签，因此全标签与二选一实践中无差别。这句话是有限解释，不是消融证据。初学者要区分直接报告与推测：报告的是全标签流程下的准确率与得分分布，支持的是模型能分离两类，待验证的是换成严格二选一、去重后、换基座后是否仍超 90%。

论文也没有比较手工特征路线在同一数据上的表现，因此不能说神经表示必然优于时长基频特征，只能说它省去了显式特征设计。另一个特有细节是混入 9 个 Superb 指令词以增加音段多样性，论文称可能限制过拟合，但未给出去掉它们前后的对比数字，因此不能承诺它们带来了改善。复现者若要补消融，应先固定检索与切分版本，再分别测试去重前后、含与不含 Superb 词、全标签与强制二选一三种对照，每次只动 1 个条件。

限制在哪里：重复、规模与划分的三处短板？

第一处限制是重复导致的准确率高估。论文用星号标注所有准确率，并解释同一音频可能被用于不同视频，造成训练集与测试用的验证集重叠。白话说，模型可能见过考题原音频，靠记住波形细节得分，而非学会韵律。修正方向是音频指纹（audio fingerprinting）去重，引用 Panako 系统，会议时呈现修正结果。初学者要把这点当作主要代价来记，任何引用 90% 数字时都必须同时提及高估风险。

第二处限制是规模与覆盖。原型只有 4 组最小对，论文提出未来扩展到 12 组以上，每类至少 1000 条，并设独立验证与测试划分。当前 somepeople10 仅 325 条训练、62 条验证，present01 仅 611 条训练，规模不均。第三处限制是无独立测试集与超参数缺项。训练直接跑 10 轮取最终模型，未做早停与模型选择，学习率与优化器未交代，推理开销与延迟未测量。

因此不能承诺该方法在实时或低资源场景同样有效，也不能把总体趋势推广到每组每步都成立。缺失证据不是技术错误，但引用时需用可能与待验证的措辞。

复现先做什么：从检索参数到训练流程的可执行清单？

复现应先做检索，再做数据，最后做训练。检索清单包括：在 filmot.com 按长串查询，用日期区间绕过单查询一千命中上限，取回超文本页面并解析视频编号与时间，再用 yt-dlp 下载全片音频并粗切 10 秒 medium audio，最后用 stable-ts 重识别获得词时间戳并精切短串，同时生成 Praat 文本网格备查。论文给出脚本名 retrieveCurl.py 与 stablets.py，以及示例表格路径，可按名在代码库中定位。数据清单包括：转为单声道 16000 赫兹波形，按 Datasets 格式组织音频、标签、长串、编号与文本，用 target 加 ID 做唯一键，划分 15% 为验证集并为每标签建单独分支。

训练清单包括：从 wav2vec2-base 出发，用 run audio classification.py 跑 10 轮，分类时记录全标签得分以便检查前 2 名是否确为同一对。表前问题是：哪些参数是原文明确给出的可重放条件，哪些是缺项。公平条件是沿用同一采样率与切分逻辑，指标方向仍为准确率越高越好。 下表把原文明确给出的关键参数整理为可执行核对项，数值与单位保留原文写法，缺项在表后单独说明。

表后解释要讲代价与边界。主要收益是这些参数可直接照做：千命中上限决定分段策略，10 秒粗切决定重识别窗口，16000 赫兹决定特征提取输入，15% 决定验证规模，10 轮决定训练量级。

具体代价是工程脆弱性：网页格式、访问限制与开源工具更新会频繁打破检索，未报告的学习率与批量大小使训练难以逐位复刻，未胜出项是未评测的硬件预算与推理延迟。未评测边界包括不同日期区间是否引入分布偏移，以及 stable-ts 版本变化对时间戳的影响。建议先跑通一条长串的全链路并试听，再批量扩展。

何时值得尝试：给新生的三句行动指南？

第一，何时尝试。当研究问题是固定词串的韵律判断，且能找到语义上能条件化韵律的长串时，这条路线值得尝试。它的价值在于用检索换标注，适合需要数千条自然语料验证焦点理论或评估语音合成韵律的场景。若长串与韵律相关不强，或词串本身罕见，则不应硬套。第二，先做什么。

先复现检索与对齐：选一个长串如 that some people think，在 filmot 上分日期取回，下载切分并用 stable-ts 对齐，人工试听数十条确认长串确实条件化了目标韵律，再组织成音频加标签格式并划分验证集。第三，还需补哪项验证。必须做音频指纹去重并报告去重前后的准确率与得分分布对比，补严格二选一的评估，补学习率与随机种子的敏感性，以及扩到更多最小对后的泛化。

常见误解是把 90% 准确率当作韵律问题已解决，实际上星号提示记忆污染，重音组的高分部分来自元音差异，焦点组的分离仍需在干净划分上重估。区分代码开源、权重下载与系统可运行：论文给出检索与制表脚本及数据集浏览页，但微调细节不全，可运行不等于可一键复现。带着这种核对意识，这篇论文是很好的方法课：从数据入口到标签语义再到模型选择的每一步都可被追问与重放。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 1 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 speechprosody-2026 论文汇总