从事后检测到提前预报：口吃起始的连续因果预测

可评分帧经过筛选：在 229966 个网格点中，去掉 20107 帧落在活跃口吃事件内部的帧，因为那已是检测而非预报，再去掉 45165 帧不在转录参与者语音段内的帧，段内静音仍保留可评分，因为部署系统在静音处也必须做决策，最终剩 164694 个可评分帧。在主要视界 300 毫秒下正例 8121 帧，占比 4.93%。负类构成值得注意：口吃事件在时间上成簇，若模型靠识别刚发生过事件来猜未来，会虚增性能，论文统计正例中 25.4% 和负例中 19.8% 落在上一次起始后 2 秒内，两类在这方面处境相近，说明不能只靠近期有无事件来区分。

整体流程如何做到只用过去语音

方法把局部声学表示和长程时序建模分开。每 100 毫秒，冻结编码器把截至 t 的过去 2 秒波形转成一个向量，轻量因果模型再在这些向量组成的序列上向后看最多 200 步。由于向量每 100 毫秒一个，200 步对应 20 秒，加上每个向量自身覆盖 2 秒，总 reach 约 22 秒，但 2 秒窗口决定的是刻画有多精细，能回看多远由 200 步决定，t 之后音频一律不可见。图 1 把这一因果结构画得很直观，上方是时间轴与重叠窗口，下方是冻结与训练部分的分工，读懂它就能复述数据如何在不泄漏未来的前提下流动。

冻结声学表示 × 因果时序建模： 冻结声学表示指 Whisper-large-v3 编码器参数不动，每 100 毫秒把过去 2 秒音频压成一个 1280 维向量；因果时序建模指 Conformer 只看当前和过去的向量序列，学习状态随时间如何演变；两者搭配是把局部怎么听准和跨秒如何变化分开，前者提供已验证的语音刻画，后者专门捕捉起始前的演变，组合后模型能看到约 22 秒的 reach 而不偷看未来。

下图为论文原图，展示编码器每格重跑过去 2 秒、Conformer 回看 200 个状态的因果链路。

看图路径： 1. 先从顶部时间轴看 t 左侧为已观测音频、右侧问号为未观测，确认因果边界；2. 再看中间紫色冻结块与黄色训练块的颜色分工，找到表示与时序的交界面；3. 沿底部因果 Conformer 四个重复块看注意力与卷积的因果标注，核对输出是二分类与生存两种头

论文图 1。原论文 Figure 1:：“Continuous onset forecasting. The encoder is run once per 100-ms grid point over its own preceding 2 s, so consecutive windows overlap by 1.9 s; the causal Conformer then attends…”。

从图中可见顶部波形止于由虚线标出的 t，右侧绿色问号块表示不可见，3 个紫色横条表示相隔 100 毫秒的 2 秒窗口彼此重叠 1.9 秒；中间紫色为冻结的 Whisper-large-v3 处理，包括补 0 到 30 秒的对数梅尔谱和 32 层变换器，只读出最新 100 毫秒状态；下方黄色为训练部分，先把 1280 维降到 192 维，再过四块因果 Conformer，最后按固定视界或生存设置，分别接二分类头或 15 个条件风险输出。这种画法强调两点教学要点：重叠的是输入窗口，不是泄漏；能看多远的是注意力步数，不是单次编码窗长。

离散多视界的两个量也在此定义：先定义第 k 个 100 毫秒小格在前面未发病条件下的条件发病概率即风险，再由 1 减去各小格不发病概率的连乘得到截至该时刻的累积概率。

训练时只在仍处于转录段内的 at risk 小格上算掩码二元交叉熵，若某小格超出 t 所在转录段则视为右删失不再贡献，而不是像固定视界那样默标为负，因此可评集合随视界变大而缩小，0.3 秒时 156669 帧到 1.5 秒时 128167 帧。

冻结 Whisper 如何把 2 秒音频变成一帧状态

声学表示用冻结的 Whisper-large-v3 编码器。因为它内部是双向自注意力，若对整段录音一次编码会看到未来，所以论文对每个 t 独立编码截至 t 的 2 秒波形，得到 1280 维向量。编码器期望 30 秒对数梅尔输入，做法是补零并只保留对应真实音频的 100 帧，帧率为 50 赫兹，再按每 5 帧一组取平均得到每 100 毫秒一个状态，与预报网格对齐，组成因果序列。

层选择上，论文在验证集平均精度上从 8、16、24、32 层做过预扫，最终选了最后一层，并指出已有口吃检测探针发现中层含不流畅信息，但预报的输入里根本没有事件，任务不同，最优层也可能不同，这里最后一层最好。表示只需提取一次并缓存，花 0.9 个 GPU 小时，之后每个时序模型在单卡上几分钟可训完。教学例子：假设 t 为第 10.0 秒，编码器只读 8.0 到 10.0 秒，即使 10.0 到 10.3 秒即将出现重复，该重复波形也不会进入 zt，模型只能靠 8 到 10 秒内的韵律、停顿、语速或频谱演变来猜。

这意味着表示的因果性靠切窗保证，不靠模型结构保证，复现时若图省事整句编码就会破坏任务定义。CrisperWhisper2.0 只用于生成逐词转录和时间戳以辅助人工补标，不进入预报模型的声学链路，这点容易混淆，要分清标注流水线和预报流水线。

因果 Conformer 与对照模型各负责什么计算

主要时序模型是四块 Conformer。每个 Whisper 状态先归一化并投影到 192 维，每块含 macaron 前馈 192 到 768 再回 192、四头因果自注意力、核长 15 的因果深度卷积。三处设计保证不看未来：注意力只看当前和过去状态，卷积左补零，用 LayerNorm 而不用会在整序列上算统计量的时间 BatchNorm。注意力最大左上下文 20 秒即 200 个状态，且不加位置项，顺序信息只靠堆叠的因果卷积传入。最后状态映射为帧级起始风险概率，整个可训练参数 3.67M，Whisper 保持冻结。

对照组共享表示、目标和折划分：静态 Whisper 预测器对 2 秒窗做注意力池化，近似文献中片段级设置在本文时间分辨率下的版本；因果时间卷积网络 1.12M 参数；因果门控循环单元 1.12M 参数。比较的公平性在于表示和数据划分相同，差异只在是否建模序列演变。计算代价上，Conformer 比静态池化多了跨 200 步的注意力与卷积，训练仍是分钟级，推理是每 100 毫秒一次前向，但论文未报告逐帧延迟和实时因子，因此不能从参数量小直接推断可实时部署。

另一个常见误解是把窗口加大等同于看得更远，论文后文用对照说明静态窗从 2.0 加大到 3.8 秒并无增益，而显式建模序列才有增益，说明有用信息在状态如何变化，而不在单窗内塞更多音频。

标签不平衡与多视界训练如何处理

固定视界训练用焦点损失应对 4.93% 正例率，伽马 2、阿尔法 0.75，优化器 AdamW，学习率 2 乘 10 的负 4 次方，权重衰减 0.01，丢弃率 0.2，梯度裁剪 5，在验证集平均精度上早停耐心 8。训练序列长 40 秒：前 200 步因果缓冲只提供上下文不算损失，后 200 步为评分步。这种缓冲设计是为了让序列开头的预测也有足够历史，避免冷启动偏差。多视界训练保持结构不变，把二分类头换成 15 格风险头，在 at risk 格上用普通二元交叉熵而不用焦点损失，理由是焦点重加权会扭曲概率，而该分支要的是校准的风险，丢弃率调到 0.3，缓冲 50 步。删失处理是关键：若某未来小格超出 t 所在转录段，该格及之后不再贡献损失，模型不被迫把段外未知判为负。

固定视界二分类 × 离散时间生存分析： 固定视界二分类是为某个 horizon Δ 单独判断未来 Δ 内是否发病；离散时间生存分析是把未来 1.5 秒切成 15 个 100 毫秒小格，先估计每个小格在前面没发病条件下的条件发病概率即风险，将各小格不发病概率连乘，再用 1 减去该乘积，得到累积发生概率；后者用一个模型给出 300 毫秒到 1.5 秒多条单调不减的风险曲线，避免为每个视界各训一个模型且避免曲线前后矛盾。

复现时要注意损失与评价的对应：固定视界按二分类的平均精度和曲线下面积评，生存分支按各视界累积概率评，且评价集因删失随视界缩小，不能把不同视界的可评帧数混为一谈。论文对每个测试折用不相交折做验证、其余人做训练，每个折训 3 个种子再平均预测后算折外指标，阈值在验证折上选定后原样用于测试折，这保证了操作点不是在测试集上事后挑的。

数据标注质量与评测规则如何保证可比

标注上，FBT 原有词级时间戳和重复标注，但对预报所需的类型不全，因此先用 CrisperWhisper2.0 生成逐词转录并与原标注对齐，再由人工逐段听完全录音补加漏掉的声音和词重复、延长和阻滞，自动转录和原标注只作为复核辅助，所有新增事件都经人工核验。时间相邻且重叠或在 0.5 秒内无完整流畅词间隔的相邻不流畅合并为一个预报事件，共把 2945 个原始标注中的 73 个合并，最终 2872 个事件：2593 重复、129 延长、150 阻滞，后两类完全手标，每人事件数 11 到 210，中位 65。

可靠性上，第二标注者在 4 人 185 个片段上独立标注，重复 44、延长 60、阻滞 56、无事件 25，按 SEP-28k 做法在片段级算 Fleiss 卡帕：重复 0.54 区间 0.37 到 0.69，延长 0.73 区间 0.62 到 0.83，阻滞 0.56 区间 0.41 到 0.69，匹配事件的起始差异中位绝对值 80 毫秒。事件边界放在声学表现处：重复在第一个反复片段开头，延长在异常拉长音开头，阻滞在语音停止或构音姿势建立即静默或紧张中断开始，而非后续词的开头。

评测用六折按人划分，测试、验证、训练人互不重叠，所有模型共享折、网格和目标故为配对比较，报告平均精度及其相对流行率的提升、曲线下面积和按人先算再平均的受试者内面积，后者去掉各人基础口吃率差异，区间与模型差异来自按人配对自助。

平均精度 × 受试者工作特征曲线下面积： 平均精度是对不同阈值下精确率按召回加权的平均，正例只有 4.93% 时它对少数类的排序更敏感；受试者工作特征曲线下面积是把所有阈值下真阳性率对假阳性率积分，反映整体区分度；论文同时报告两者并用受试者内面积排除各人基础口吃率高低的影响，组合起来既看稀有事件的检出排序也看跨人的稳定性。

静态 Whisper 对照近似文献片段级设置在本时间分辨率下的版本，用来回答时序建模是否必要，而非复现原文数字。

300 毫秒视界上时序建模带来多大提升

核心问题是建模过去语音的状态演变是否比单纯加大静态声学窗更有效。在 300 毫秒视界下比较 4 种结构，指标越大越好，平均精度的基线是正例率 0.0493，提升倍数是平均精度除以该基线。

这张表在同一表示、同一划分和同一网格目标下比较结构差异，共享冻结语音表示和折划分，4 个指标方向均为越高越好，重点看因果 Conformer 相对静态池化和时间卷积网络的增量。

从表中可见因果 Conformer 平均精度 0.0769 为流行率的 1.56 倍，曲线下面积 0.6300，受试者内面积 0.5727，均高于静态 Whisper 的 0.0522、1.06 倍、0.5682、0.5586，也高于门控循环单元和时间卷积网络；论文给出 Conformer 相对时间卷积网络的池化曲线下面积提升 0.0411，区间 0.0196 到 0.0615。关键对照是把静态窗从 2.0 秒拓到 3.8 秒，曲线下面积从 0.5682 变为 0.5666，平均精度从 0.0522 变为 0.0512，基本无增益，而建模序列后到 0.6300，支持有用信息在局部状态的时间演变而不在更大静态窗。限制也很直白：绝对值仍低，平均精度不到 0.08，曲线下面积 0.63 只是中等区分度，且受试者内面积仅 0.5727，说明去掉人间基础率差异后信号更弱。教学上不要把 0.63 误读为准确率 63%，它是在 4.93% 正例下的排序能力，部署时仍需面对大量阴性帧。

帧级预报 × 事件级覆盖： 帧级预报是每 100 毫秒一个风险分，用平均精度和曲线下面积评价排序好坏；事件级覆盖是把连续超阈值的帧合并成一次警告，再看在报警占时即 duty cycle 预算下实际提前命中了多少个口吃事件；前者回答分值有没有信号，后者回答若用来触发反馈要开多久才能抓住多少事件，两者结合才有部署含义。

不同事件类型与不同说话人结论还成立吗

该节回答预报能力是否 across 类型和人稳定。评价方式是对每种未来事件类型，用该类正例对真负帧算曲线下面积，同时排除另一类的正例帧，避免交叉污染。比较问题是 3 类事件的可预报性排序，公平条件是同视界 300 毫秒、同模型与同负例定义，指标越大越好，限制是延长和阻滞样本少且按人分布不均。

表后解释可见 Conformer 3 类分别为重复 0.630、延长 0.655、阻滞 0.612，均高于时间卷积网络的 0.592、0.596、0.538 和静态的 0.574、0.508、0.497，其中静态在延长和阻滞上近乎随机，时序建模对稀有类型提升相对更大。但按人平均后结论收窄：重复的受试者内面积均值 0.576 区间 0.564 到 0.590，36 人中 97% 高于 0.5，仍高于随机；延长均值 0.540、阻滞 0.541，区间与随机重叠，且有足够正例帧的仅 17 人和 23 人。池化与按人指标的落差提示明显的人间异质性，尤其稀有类型。历史长度消融固定 2 秒表示，只变因果注意力回看：2 秒历史曲线下面积 0.592，5 秒到 0.621，10 秒 0.620、20 秒 0.622，之后无可测增益，说明有用时序信息超出局部窗但在 5 秒附近饱和，不是越长越好。

重复 × 延长与阻滞： 重复是声音或词的反复片段，延长是某个音被异常拉长，阻滞是 speech 停止或构音姿势卡住的无声或紧张中断；论文把三者统一为起始时刻预报的同一目标，但在评测时分开看，因为重复有 2593 例而延长 129 例阻滞 150 例，数量和声学表现不同，拆开才能看出结论主要靠重复支撑，稀有类型证据还不稳。

未胜出项也要记：门控循环单元在池化曲线下面积上未超时间卷积网络，静态窗加大亦无增益，这些负结果共同指向需要显式序列结构而非更大单窗或任意循环。

多视界一致性与报警占时换覆盖如何权衡

固定二分类给未来划硬边界，而发病前状态可能是渐变的，因此论文比较离散风险模型、5 个独立训练的二分类模型和独立累积输出。风险模型一次前向给出所有视界且按构造单调，独立累积输出虽区分度相近但在 68.9% 帧上违反小视界概率应不大于大视界的排序要求，而生存公式按构造 coherent。

原文多视界表显示风险模型与独立模型区分度接近，例如 0.3 秒视界 AUROC 风险模型 0.604 对二分类模型 0.598，1.5 秒视界 AUROC 0.575 对 0.588，平均精度随视界变大而变大是因为正例率变大，不代表更远更好，比较时必须注意该表用删失感知的可评集，与主表固定视界集不同。下表完整呈现原论文 Table 3，比较同一删失感知评集上的多视界预测。各格依次为 AUROC 与 AP，两项均越高越好；Hazard 是离散风险模型，Binary 是各视界独立训练的二分类模型，Independent cumulative 是独立累积输出。此表不能与主表固定视界评集直接比较。

以下另以正文区分报警操作点，覆盖率、占时和误报应在同一阈值下解读。

操作点应分开理解：历史从 2 秒到 5 秒有 AUROC 约 0.029 增益，之后拉到 20 秒几乎持平，说明为更长上下文付更多计算并不划算；在 25% 占时预算下，Conformer 覆盖 58.6% 可评分事件，同预算的时间卷积网络为 57.4%、门控循环单元为 53.8%，仅小幅领先，高召回点抓住 91.6% 但需 66.5% 时间开着反馈，在验证集选的最大 F1 阈值下抓住 43.9% 平均提前 196 毫秒却每分钟 27.6 次误报段。这些覆盖率和代价属于不同阈值：91.6% 覆盖对应 66.5% 占时，43.9% 覆盖、196 毫秒平均提前量与每分钟 27.6 次误报则属于验证集选出的最大 F1 阈值。论文明确说选择性触发能否改善流畅度需前瞻干预研究验证，不能从覆盖数字直接承诺临床收益。

当前结论在什么边界内才成立

首先是标注规模与精度边界。连续时间到事件预报需要帧级起始戳，现有片段级语料不提供，本文 2872 个事件 36 人的增强层是第一步，但相对大词汇语音模型仍小，且延长和阻滞分别仅 129 和 150 例，按人拆后更少，因此稀有类型的池化优势在受试者内并不稳健。标注一致性上重复卡帕 0.54、阻滞 0.56 为中等，延长 0.73 较高，匹配起始中位差 80 毫秒与 100 毫秒网格和 300 毫秒视界相比不可忽略，边界抖动会直接影响正负帧划分。

其次是评价条件边界：主结果依赖转录参与者语音段内评分、段内静音保留、事件内部帧剔除，若换成全录音含非参与者语音或把事件内帧也算入，流行率和指标都会变；多视界表用删失感知集，与主表不可直接比大小。第三是泛化边界：六折按人划分已比按句划分严格，但仍是同一数据集同一采集条件下，跨设备、跨口音、跨年龄和自发对话的迁移未测。第四是因果性依赖切窗实现，若复现时整句过 Whisper 或用时间 BatchNorm，就会泄漏未来而虚高。

最后是干预含义边界：提前 196 毫秒、每分钟 27.6 次误报是在离线网格上算的，未计推理延迟和反馈本身对语音的影响，不能推出实时可用。

复现第一步要做什么与关键超参数

复现第一步不是先调模型，而是先重建因果网格与可评分掩码。按论文用 FBT 36 人录音，以 100 毫秒网格从 2 秒开始，对每个 t 找严格在其后的下一次起始算剩余时间，按视界打 0 或 1 标签，再剔除事件内部帧和非参与者语音段帧，保留段内静音，核对总数 229966、可评分 164694、300 毫秒正例 8121 占比 4.93% 是否对上；事件合并规则是重叠或 0.5 秒内无完整流畅词间隔则合一，共合 73 个。

标注若从头做，需逐段听完全录音补重复、延长和阻滞，边界按声学表现定，阻滞起点为停止或姿势建立而非后续词起点，并做双人一致性抽查。第二步重建因果表示：对每个 t 独立取过去 2 秒送冻结 Whisper-large-v3，补 0 到 30 秒对数梅尔，只取真实音频对应帧，50 赫兹帧按 5 取平均，取最终层，缓存后供时序模型使用。

第三步训时序模型：主模型四块 Conformer，192 维、四头因果注意力最大左 200 步、无位置项、核 15 因果深度卷积、LayerNorm，3.67M 可训，焦点损失伽马 2 阿尔法 0.75，AdamW 学习率 0.0002 权重衰减 0.01 丢弃 0.2 梯度裁剪 5，40 秒序列前 200 步只给上下文，验证集平均精度早停耐心 8，每折 3 种子平均预测。生存分支换 15 头、普通二元交叉熵、丢弃 0.3、缓冲 50 步。阈值必须在验证折上选后冻结用于测试折。代码、权重与数据是三件事：原文未绑定经 HTTPS 验证的作者资源，不得声称代码模型数据已公开；FBT 需按原许可获取，增强标注的可用性以作者发布为准。

什么时候值得尝试还缺哪项验证

当你的场景满足三点时值得试：有精确到 100 毫秒的起始标注或愿投入逐段听标，有只允许用过去语音的因果约束，且能接受报警占时换覆盖的操作权衡，例如助听反馈只想在高风险时开启。此时可先用冻结大模型表示加轻量因果时序的路线快速验证信号是否存在，历史先给 5 秒而非 20 秒，因为论文显示 5 秒后增益饱和。

复现第一步是把网格、删失和按人划分做对，再跑静态池化、时间卷积与 Conformer 的配对比较，用平均精度、池化与按人曲线下面积三指标一起看，避免单看池化被高口吃率的人主导。还缺的验证很明确：一是更大更多样队列上的起始对齐标注，尤其延长和阻滞的按人稳健性；二是跨设备与自然对话的泛化；三是把离线提前量换成含推理延迟的闭环提前量，并测量误报对说话人的干扰；四是前瞻干预试验，验证在 196 毫秒级提前和 25% 占时下选择性反馈是否真改善流畅度。

记住本文的贡献是把预报形式化、补上所需标注层并给出可比基线与评价方法，0.63 说明发病前语音确有可测的时间结构，但平均精度 1.56 倍流行率和每分钟数十次误报说明离可部署的 anticipatory 系统还有距离，引用时应同时给出信号与代价。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-16 语音/音乐/音频论文速递