不分类也能度量变化：用反事实位移方差刻画鸣禽发声可塑性

英文题目：Trajectory Variance: An Unsupervised Measure of Developmental Vocal Plasticity in Birdsong

会议身份：conference:interspeech:2026:conference-paper-id:lee26z_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#无监督学习 #变分自编码器 #生物声学 #音频分类

评分：5.3/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• Kanghwi Lee：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为40至101日龄斑胸草雀无类型标签的单次发声频谱，输出为每个发声的发展可塑性标量得分，难点在于同一发声无法跨年龄纵向追踪且缺乏类别监督。变分自编码器先将频谱压缩为128维隐向量，为年龄条件建模提供紧凑表征，其输出隐向量连同记录年龄直接进入下一步。位移模型以源隐向量与源和目标年龄为条件预测隐偏移，训练监督来自小批量内平方欧氏代价加匈牙利算法的最优传输配对，同一源在7个均匀目标年龄的反事实隐向量按维度求跨年龄方差再求和即得轨迹方差。与高斯最优传输、每年龄k近邻和每年龄最优分配三类非参数基线相比，学习模型做样本特异的非线性预测，而基线只做群体仿射漂移或检索，因而刻画个体发声将如何变化而非仅检索相似他者。在每只鸟3K子集的鸣唱与叫声分离评测下，位移模型的指标Cohen’s d为+.57，高于高斯最优传输的指标Cohen’s d +.06。轨迹方差还与频谱平坦度呈负相关r为-.48至-.75，与时长r为0.70至0.80，故分离指标均在时长残差化后计算以排除长度混杂。该结论的适用边界受限于无纵向真值、时长混杂未完全解耦、启发式标注约83%一致以及仅单一群体三只鸟，跨物种与人类语音外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：要回答发声随发育变化多少需要哪些信息？

这篇解读的输入是会议论文正文与两张官方原图像素，目标是让刚进入语音与音频领域的研究生能复述轨迹方差的构造、训练与验证条件，必须保留的信息包括数据规模与年龄范围、变分自编码器与位移模型的结构与超参数、轨迹方差的计算方式、鸣音节与叫声的标注规则、去时长残差后的效应量与基线对照，输出是 1 篇按学习依赖展开的中文技术解读。

论文要回答的问题是每个发声在发育过程中会变化多少，区别于静态声学描述符只刻画声音在发出时刻长什么样，也区别于 repertoire dating 追踪某个发声的近邻是何时产生的。作者把问题框定为反事实推理：如果这个发声在另一个年龄被发出，它会有多不同。变化大则可塑性高，变化小则稳定。

这个问题之所以值得单独成文，是因为斑胸草雀同时拥有后天学习的鸣音节与先天相对不变的叫声，前者在约 25 至 90 天经历亚鸣、塑性鸣到结晶成型，后者在同一时期保持比较稳定，为无监督可塑性分数提供了天然对照。理解这一点后，后续所有建模选择都可以沿一条样本轨迹来检验：输入一段声谱图，经过表示压缩，再经过年龄条件位移预测，最后汇总为一个分数。

相关路线做了什么：静态刻画、近邻定年与生成模型各缺哪一块？

鸟鸣分析已有 3 条成熟路线。第一条从手工特征到监督分割再到无监督潜空间方法，核心是刻画某个时刻的发声结构，但不回答它随发育如何演变。第二条是 repertoire dating，通过看一个发声的最近邻是何时产生的来推断发育快慢成分，它描述的是观测样本在时间上的分布，而不预测同一个发声在另一年龄的样子。第 3 条是用生成模型把发声变异与昼夜节律和发育因素联系起来，它更接近本文，但本文强调互补：不做分类也不做定年，而是估计预测的变化量。

在生成建模方法上，流匹配与矫正流通过条件向量场学习连续归一化流，小批量最优传输耦合用于稳定训练，本文借用了最优传输耦合来构造训练对，但不积分速度场，而是直接预测位移，从而单次前向即可推理，无需常微分方程求解器。在因果与语音领域，反事实问题常出现在嗓音转换中，即同一观测在不同条件下会是什么样，据作者所述，反事实年龄预测尚未被用于动物发声发育。

这种对照的意义在于明确本文不是更高效的鸣音节与叫声分类器，作者明确指出简单方法足以分类，贡献是每个发声的预测变化量度量。

任务如何形式化：无标签、无纵向追踪时分数该满足什么？

形式化地说，给定发声集合与其记录年龄，模型需要为每个发声输出一个标量可塑性分数，不使用发声类型标签与人工标注。理想分数应满足两点：在已知可塑的鸣音节上系统性高于先天叫声，且超越单纯反映时长差异；与经典谱描述符呈现可解释的关联但不完全等同，保留发育特有的剩余变异。难点在于没有纵向记录追踪同一个发声随时间变成什么样，只能从横截面种群分布中推断跨年龄位移。

举例来说，这好比只有不同年龄人群的照片而没有同一个人的成长录像，却要估计某张脸如果早拍或晚拍十年会差多少，只能借助同年龄人群的整体漂移与个体位置来推测。为此论文要求分数可复述：同一潜空间、同一组目标年龄、同一残差化条件下比较，不同鸟独立建模独立评估，避免把种群漂移误当个体可塑性。

方法全景：一个发声如何走完编码、位移预测到计分？

沿一个样本走完全流程最清晰。输入是一段右补齐到 100 帧、约 400 毫秒的声谱图，频率维 123 bins，采样率 32 千赫兹，窗长 512、跳长 128 并滤除低频噪声，每只鸟内做 z 分数归一化。变分自编码器把该声谱图编码为 128 维潜向量，位移模型以该潜向量、源年龄与目标年龄为条件预测一个潜空间偏移量，加回源向量得到反事实潜变量。对同一源向量在覆盖整个发育范围的 7 个均匀目标年龄上重复此过程，得到 7 个反事实点，再对 128 维逐维计算跨 7 个年龄的方差并求和，得到轨迹方差。

预测变化大的发声形成宽扇面，稳定的发声形成窄扇面。下图展示了这条主路径与宽窄扇面的直观对比，阅读时先看箭头主线再看年龄条件与扇面分支。

变分自编码器 × 位移模型： 变分自编码器负责把 123×100 的声谱图压缩为 128 维潜向量，提供可比较、可做算术的表示空间；位移模型负责在该空间内根据源年龄和目标年龄预测潜向量的偏移量，二者搭配的理由是前者只描述声音此刻长什么样，后者才建模如果在另一年龄发出会变成什么样，组合后新增的作用是无需类型标签即可对单个发声做反事实推演。

下段为管线总览图的前导读：从左到右依次是声谱图输入、编码器、位移模型、反事实潜变量扇面与计分公式，重点是位移如何依赖源与目标年龄，以及宽窄扇面如何对应高低分。

看图路径： 1. 从最左发声声谱图沿箭头向右追踪编码器、位移模型、反事实潜变量到轨迹方差的主路径；2. 对比中间位移模型下方年龄条件输入如何同时接收源年龄与 7 个目标年龄；3. 对比右侧橙色可塑扇面与蓝色非可塑扇面的发散宽度差异；4. 查看最右计分框内求和公式与高低分判定文字的对应关系

论文图 1。原论文 Figure 1：“Pipeline overview. A VAE encodes each vocalization spectrogram into a 128-dimensional latent vector zsrc.”。

该图实际可见四列：最左为纵轴频率、横轴时间的发声声谱图，经箭头进入标注 128 维的变分自编码器编码器方框，再进入标注位移公式的位移模型方框，下方蓝色箭头注入 7 个目标年龄条件，接着分叉为橙色可塑高方差扇面与蓝色非可塑低方差扇面，最后汇入轨迹方差计分框，框内写明逐维方差求和与高低分判定。这确认了前文的样本旅程：表示只做压缩，发育方向全部由位移模型注入，分数只是对预测扇面的汇总，不依赖解码声谱图质量。

组件分工：编码器压缩什么，位移模型预测什么？

变分自编码器是卷积结构。编码器用 3 层 1 维卷积，通道数从 123 到 128 到 256 到 512，核大小 3、步长 2，配批归一化与高斯误差线性单元激活，之后分别线性投影到均值与对数方差，潜维 128。解码器用转置卷积镜像，损失由忽略补齐的掩蔽均方重建、权重千分之一的库尔贝克散度与权重万分之一的潜变量二范正则组成。每只鸟独立训练一个变分自编码器。位移模型是 6 层残差多层感知机，用自适应层归一化，以正弦嵌入编码源年龄与目标年龄，输出层零初始化使初始位移接近零，单次前向输出预测位移，反事实潜变量等于源向量加预测位移。潜变量按维度做 z 分数归一化，年龄归一化到区间内避开端点。

反事实预测 × 轨迹方差： 反事实预测的分工是为同一个源潜向量在 7 个均匀分布的目标年龄上各生成一个假设潜变量，轨迹方差的分工是把这 7 个点在 128 维上逐维求跨年龄方差再求和，搭配理由是单点位移只反映 1 对年龄的差异而方差反映整段发育轨迹的发散程度，组合意义是得到每个发声一个标量可塑性分数，扇面宽则高分、收束则低分。

把两部分连起来理解：编码器决定什么可被比较，位移模型决定如何随年龄移动，方差汇总决定如何把移动幅度变为可排序的分数。教学例子是同一个源点在 7 个目标年龄上的扇面，宽扇面意味着模型认为该声音在不同发育阶段应有显著不同形态，窄扇面意味着模型认为它在任何年龄都大致相同。

训练如何构造监督：没有纵向真值时位移目标从哪来？

训练没有纵向真值，位移目标靠小批量最优传输构造。在每个批次内，计算源年龄潜变量与目标年龄潜变量之间的成对平方欧氏代价，用匈牙利算法求解指派，形成跨年龄训练对，目标位移为目标潜变量减源潜变量。位移模型最小化位移均方误差。优化器用解耦权重衰减的 AdamW，学习率万分之三，权重衰减万分之一，余弦退火，梯度裁剪到 1.0，批量 256，训练 200 轮，用 10% 留出验证损失做模型选择。变分自编码器训练是另一套：AdamW 同样学习率万分之三加余弦退火，100 轮，批量 128。

原文未报告梯度是否截断到编码器或是否联合微调，按证据应理解为分阶段：先每只鸟训练变分自编码器并冻结其表示，再在固定潜空间上训练位移模型，未报告的部分不从模型名称推定。

小批量最优传输 × 位移回归： 小批量最优传输负责在没有同一发声纵向记录时，在每个训练批次内按源年龄与目标年龄潜变量间平方欧氏代价用匈牙利算法构造配对，提供位移目标，位移回归负责用残差多层感知机拟合这些目标的均方误差，搭配原因是传输配对提供跨年龄的方向性监督而回归模型将其泛化为依赖于具体样本和年龄间隔的非线性函数，组合后可在推理时单次前向直接预测位移而无需解常微分方程。

需要指出的缺项是批次大小、年龄分箱边界与采样策略如何影响配对质量原文未完全展开，而后续基线中逐年龄最优传输对池组成敏感，说明该构造并非无偏真值，只是可训练的代理监督。推理时则无需配对，直接对评估集每个发声生成 7 个目标年龄的反事实点并计算方差。

实验条件：数据、划分、标注与基线是否在同一条件下比较？

数据来自三只幼年雄性斑胸草雀 40 至 101 天的发声记录，切分为单个发声且无类型标签，声谱图流水线如前所述。三只鸟规模分别为 22 万、27 万、18 万量级，具体为 222K、274K、183K。所有分析对每只鸟独立进行。鸣音节与叫声标签用时间 bout 启发式而非声学聚类，以避免与待评估的声学特征循环论证：间隔小于 200 毫秒的连续发声组成 bout，3 个或以上发声的 bout 标为鸣音节，其余标为叫声，利用斑胸草雀鸣唱练习的快速连发特性，随机抽查 bout 的人工核对约 83% 一致。

该规则有已知偏差：孤立鸣音节会被误标为叫声，混在 bout 中的先天叫声会被标为鸣音节。评估用每只鸟 3K 子集计算相关与分离指标，分布图用每只鸟 10K 样本展示。基线与本方法共享同一 z 分数归一化潜空间、同一 7 个目标年龄与同一 3K 评估子集，包括高斯最优传输、每年龄近邻平均与每年龄最优传输指派，保证比较条件一致。指标方向是轨迹方差越高越可塑，鸣音节应高于叫声；谱平坦度越低越音调化，预期与轨迹方差负相关。

鸣音节 × 叫声： 鸣音节指斑胸草雀在约 25 至 90 天关键期内经由亚鸣、塑性鸣逐渐结晶的后天学习发声，叫声指相对稳定的先天发声，二者搭配作为验证的理由是它们共存于同一记录且预期可塑性不同，组合意义是提供无需声学聚类的外部对照：若轨迹方差有效，则前者应系统性高于后者。

资源状态方面，正文脚注给出代码仓库链接，但本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开，只能按原文转述链接文本，原始录音按原文称可向作者索取。

主结果：轨迹方差能否在控制时长后分离鸣音节与叫声？

比较问题是轨迹方差是否在去除时长影响后仍能分离学习发声与先天发声，公平条件是所有方法用同一潜空间、同一目标年龄与同一评估子集并对时长残差化，指标方向是鸣音节高于叫声为正，效应量用残差化轨迹方差上的 Cohen’s d 与受试者工作特征曲线下面积衡量。下表整理原文报告的轨迹方差与声学特征的 Pearson 相关，显著性为谱平坦度与时长相关均显著。

表后解释需要同时讲收益与代价。收益是谱平坦度在三只鸟上一致负相关，更可塑的发声倾向于更音调、结构化的频谱，这与发育预期一致；代价是时长相关高达 0.70 至 0.80，且变分自编码器固定长度右补齐会隐式编码长度，因此原始轨迹方差若直接分离会平凡地利用长短差异，后续分离指标必须残差化才能说明捕捉到超越长度的结构。

谱平坦度 × 时长残差化： 谱平坦度即维纳熵，分工是描述频谱是噪声-like 还是音调-like 的结构化程度，时长残差化的分工是先回归掉发声时长对轨迹方差的影响再比较鸣音节与叫声，搭配理由是原文发现轨迹方差与时长相关高达 0.70-0.80，若不控制会把长短差异误读为发育可塑性，组合意义是检验模型是否捕捉到超越长度的发育结构。

下段为结果分布图的前导读：三面板分别为三只鸟去时长残差后轨迹方差的密度，橙蓝对比与虚线均值是关键，右上角效应量与曲线下面积用于判断分离幅度而非是否完全分开。

看图路径： 1. 先确认每只鸟面板中橙色为鸣音节、蓝色为叫声及虚线为组均值；2. 观察横轴为去时长残差后轨迹方差时橙色分布相对蓝色的右偏程度；3. 对比三只鸟右上角标注的效应量从 0.57 到 0.29 的递减趋势；4. 注意分布高度重叠说明分离是小到中等效应而非完全分开

论文图 2。原论文 Figure 2：“Distribution of duration-residualized trajectory variance for song (orange) and call (blue) vocalizations (10K samples per bird).”。

该图像素可见三面板横轴均为去时长残差后轨迹方差，纵轴为密度，橙色鸣音节分布相对蓝色叫声整体右偏，蓝色峰更高更集中，橙色右尾更长，虚线组均值橙在蓝右侧，右上角标注从左到右效应量与曲线下面积依次递减，但即使最弱的 Bird C 仍保持正向，分布高度重叠说明这是小到中等效应而非完美分类器。这与原文结论一致：发育可塑性只是区分鸣音节与叫声的若干因素之一。

反证与基线： learned 位移为何优于非参数检索与匹配？

比较问题是 learned 位移模型是否比只建模种群漂移或检索相似样本的方法更能捕捉发育结构，公平条件同上，指标仍是残差化效应量与曲线下面积。下表汇总 4 种方法的三只鸟效应量与曲线下面积，数值保留原文精度与符号。

表后解释要指出未胜出项与失败条件。位移模型是唯一在三只鸟上均为正的方法，效应量 0.29 至 0.57、曲线下面积 0.58 至 0.67。高斯最优传输对同一源年龄施加相同仿射变换，只捕捉种群漂移，两只鸟微弱为正、一只为负。逐年龄近邻取目标年龄 10 个最近邻均值，能捕捉局部结构但无发育方向性，效应量近零、曲线下面积约 0.50，相当于随机。

逐年龄最优传输出现反转，叫声方差高于鸣音节，原文解释为 1 对一匹配对池组成与年龄分箱边界敏感，刻板叫声可能被匹配到远端目标而虚增方差，它只回答最像哪个已观测发声，而不建模特定发声会如何变化。这支持 learned 条件位移捕捉到种群或检索方法遗漏的样本特异非线性结构，但也说明效应量不大且依赖残差化条件。

限制：横截面推断、标签噪声与生成质量各说明什么？

第一，证据是横截面的。传输模型基于种群预测某个发声在其他年龄的样子，而非该个体实际变成的样子，无法直接验证反事实预测，相关性也不等于因果。第二，时长混杂已用残差化处理，但谱平坦度相关是部分的，大量剩余变异是否反映超越静态谱形的发育信息尚未解决，有待未来工作。第三，标签启发式避免声学循环但引入时间偏差，孤立鸣音节与混入 bout 的叫声都会被错标。

第四，生成质量只做解码器保真度诊断：解码反事实声谱图经 Griffin-Lim 逆变换与 VGGish 嵌入计算的弗雷歇音频距离在三只鸟上为 0.01 至 0.06，而真实数据两半之间的参考值为 0.002 至 0.007，说明反事实可与真实录音区分，轨迹方差完全在潜空间运算，不依赖解码听感。第五，泛化仅在同一 colony 三只鸟、同一物种上验证，向其他物种或人类发声发育的扩展未经检验。这些限制意味着该分数适合作为静态描述的互补视角，而非发育真值的直接测量。

复现先做什么：按什么顺序重建管线与检查点？

复现应先重建数据管线：按 32 千赫兹、512 窗、128 跳、123 线性频率 bins 滤低频噪声提取声谱图，右补齐到 100 帧并按鸟做 z 分数归一化，确认三只鸟量级与 40 至 101 天范围。接着每只鸟独立训练卷积变分自编码器，核对 3 层通道、批归一化与激活、128 维均值与对数方差、掩蔽重建加千分之一散度加万分之一二范正则、100 轮批量 128 的设置。

然后冻结表示，在 z 分数归一化潜空间与归一化年龄上用小批量最优传输配对训练 6 层残差多层感知机位移模型，核对自适应层归一化、正弦年龄嵌入、零初始化输出层、200 轮批量 256 与 10% 验证选择。推理时对评估发声生成覆盖全发育范围的 7 个均匀目标年龄反事实点，按 128 维逐维方差求和得到分数，再回归掉时长后比较鸣音节与叫声，并计算与谱平坦度的 Pearson 相关。何时值得尝试是当研究问题是量化每个发声预测变化量而非分类，且拥有大量横截面年龄标记数据时。

还需补的验证是纵向个体追踪、人工标注标签下的稳健性与跨群体重复。

收束：该记住的方法判断与适用边界是什么？

记住三句话。方法上，用压缩表示加年龄条件位移加跨年龄方差，把发育可塑性变为每个发声可排序的标量，无需标签且单次前向即可推理。证据上，去时长后鸣音节系统性高于叫声但效应小到中等，且与谱平坦度一致负相关，基线无一在三只鸟上同时成立，说明分数捕捉到超越长度与种群漂移的结构。边界上，它是基于种群的横截面预测，受时长编码、池组成与标签噪声影响，不能当作个体真实发育轨迹，也未验证跨物种。对于研究生，可把本文当作反事实思想在发育数据上的最小可复述实例：先想清监督从哪来，再想清分数汇总了什么，最后才看效应量数字。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总