词准句偏：语速与变异线索如何改写句子层面的音色判别

英文题目：Dominant role of temporal–prosodic cues in sentence-level voice discrimination: Insights from interpretable machine learning

会议身份：conference:speechprosody:2026:conference-paper-id:xu26_speechprosody

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#心理声学实验 #可解释性 #韵律 #言语感知 #说话人验证

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.4/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Tianze Xu：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaoming Jiang：机构信息未能从会议 PDF 纯文本可靠映射
• Volker Dellwo：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该研究处理词与句子层面的说话人身份辨别，输入为配对语音的声学差异，输出为感知上的相同或不同说话人判断，难点在于基于基频、共振峰离散度与谐波噪声比的固定原型空间无法解释句子层同说话人项目的感知表现。先从浊音段提取音高、共振峰与谐波源谱形等特征的均值与变异并做Mel感知转换，输入为单条伪词与伪句录音，职责是输出每条语音29个变量的声学表征。再以上一步29变量的配对差值经z归一化为输入，结合252名听者对576对刺激的AX判断按多数感知身份二值化的标签，职责是构成跨层可比的监督样本，输出带标签的配对差异向量进入下一步。最后将带标签的配对差异向量输入LDA、LR、DT、XGB、RF五种可解释分类器，职责是做层内训练测试与跨层泛化测试，输出重要性排序与泛化结果以反推线索权重。与固定权重原型模型相比，关键机制差异在于权重随语言结构自适应变化，句子层更依赖语速等时间韵律线索，具有澄清单一空间失效原因的实际意义。在词与句子层内测试设置下，句子分类器的准确率为M = .80，高于词分类器的准确率为M = .66。该结论适用边界受限于中性风格普通话伪词与八字伪句及青年听者群体，尚未验证自然语义语音与跨语言泛化。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要回答什么？

本文的输入是论文原文与两张官方原图，目标是为刚进入语音音乐音频领域的研究生复述一套可核对的方法。必须保留的信息包括任务定义、语料构造、听辨协议、声学特征集合、分类器训练与跨层级测试方式、评价指标方向以及关键数字的条件限定。输出是 1 篇按学习依赖展开的中文解读，不引入证据之外的公开性断言。当前没有来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码模型或数据已公开。

研究要回答的核心问题是：在词层面建立的原型语音空间解释，能否稳定地解释句子层面的音色判别。如果把音色感知理解为在多维声学空间中比较声音与原型距离，那么自然的疑问是当语音从双音节伪词变为八字伪句子时，听者依赖的线索权重是否保持不变。论文用汉语普通话听者的同异判别行为加可解释分类器来检验这个问题，重点不是提出新的神经网络结构，而是反向推断人类在不同语言层级上用了哪些声学差异。

初学者可以把整项工作理解为 1 次受控比较：同样的同异判断逻辑，同样的特征提取流程，只改变语言层级，观察模型性能与特征重要性的变化。

已有路线把音色放在什么空间里，缺口在哪里？

已有的一条重要路线是原型模型。代表性做法是用基频、共振峰离散度与谐噪比构成 3 维语音空间，计算每个说话人与性别平均音色的欧氏距离，距离越大被评为越独特，并在颞叶语音区引起更强激活。这种建模把音色感知变成空间中的相对位置比较，具有简洁可计算的优点。另一条背景是发音与韵律随材料变化的观察：句子朗读与持续元音相比，基频与声门接触商等发声特征可能不同；不同语言层级与产生条件下的语速等韵律线索会改变其他声学属性。

也就是说，即使是同一个说话人，读词与读句子时的实现也可能系统性不同。本文的缺口正在于此：已有原型空间多用音节或词级材料建立，它在句子层级是否同样有效并不确定。前期西苏语音匹配测验的证据显示，用基频共振峰离散度谐噪比距离操纵难度时，词对的准确率随声学距离变化，而句子对尤其是同说话人项目的表现不能被该距离完全预测。这提示句子中可能存在该 3 维空间之外的关键线索。

本文不重复收集新的听辨实验，而是对已有测验的语音与行为数据做声学分析加可解释建模，检验线索权重是否随语言结构自适应变化。

任务如何定义，什么算判对？

任务是甲乙同异判别。每次试验呈现两个语音样本，要么都是伪词，要么都是伪句子，听者判断两者是否来自同一说话人。样本对按身份平衡为同说话人与异说话人，再按基频共振峰离散度谐噪比空间中的欧氏距离抽取第一、三、五距离五分位，分别对应高、中、低相似度，用来系统改变难度。女性与男性刺激分别构造。共 576 对，其中词与句子各 288 对。

听者是 252 名汉语普通话母语者，年龄十八至二十九岁，平均约 20.93 岁，在安静实验室用头戴式耳机完成，词与句子各分 4 个随机组块，总时长约 80 分钟。1 名低于机会水平的被试被排除，以避免给机器学习标签引入噪声。关键的标签构造需要仔细理解：模型要预测的不是客观的同异身份，而是感知身份。每对语音的感知标签按多数规则确定，即超过 50% 的被试判为同说话人则记为同，否则记为异。

因此分类器学的是声学差异到群体感知判断的映射，而不是说话人验证系统的客观身份映射。评价沿用准确率、灵敏度与特异度。灵敏度是异说话人对被正确判为不同的比例，特异度是同说话人对被正确判为相同的比例。准确率高表示整体判对多，灵敏度与特异度的分离则揭示模型偏向回答不同还是回答相同。

整体链路如何从一对语音走到一个预测？

可以沿 1 对语音走完全程。输入是 1 对同层级的语音，例如两个伪词或两个伪句子。先对每条语音提取声学特征并做 utterance 级汇总，得到 29 个声学变量。然后对配对的两条语音做差并做标准化，得到该试次的输入向量。接着把该向量送入在同一语言层级上训练的分类器，输出感知身份为同或异。

训练与测试按语言层级组织：先在词内训练测试，再在句内训练测试，然后交叉测试，即词训练模型测句子数据，句子训练模型测词数据。特征重要性分数在训练过程中产生，用于反推哪些声学差异驱动了判别。整个链路的监督来源是听者的多数感知标签，而不是说话人编号。伪语音的设计值得单独说明。语料包括 16 个双音节伪词与 8 个伪句子，遵循汉语普通话音位搭配。

伪词由合法但无意义的音节组成，伪句子保留功能词与句法但把实词替换为无意义音节。这种做法一方面减少带有情绪色彩的韵律产生，另一方面限制语义与文化熟悉度对感知的影响，使判别更接近对音色本身的利用。录音来自 160 名汉语普通话母语者，女性与男性各 80 人，年龄十八至二十八岁，平均约 20.66 岁，在隔音室以中性风格每条至少录三遍，选取最清晰的一遍并做均方根归一化。

声学组件测量了什么，如何汇总成变量？

声学测量覆盖 5 类。时间类是语速，白话说就是每秒发出几个语音音节，用整句时长与语音音节数计算，每条语音只有一个均值。音高类是基频，反映声带振动速率。共振峰结构包括第一至第四共振峰与共振峰离散度，后者常被解释为声道长度的指标。谐波源频谱形状包括若干谐波幅度差，编码发声特征与整体音质。

非谐波源与频谱噪声包括均方根能量、倒谱峰突出度、次谐波谐波比与谐噪比，分别反映信号幅度、周期性对比、倍周期导致的次谐波强度以及发声清晰度。初学者容易混淆的是这些术语的层级：基频与共振峰描述声源与滤波器的不同环节，能量与倒谱峰突出度描述信号强度与周期性质量，谐波幅度差描述音质细节，语速描述整句的时间组织。除语速与共振峰离散度外，其余测量每 5 毫秒提取 1 次，只保留浊音部分。

基频范围女性设为 100 至 500 赫兹，男性设为 75 至 300 赫兹。共振峰用线性预测编码估计，女性上限 5500 赫兹，男性上限 5 kHz。为反映感知尺度，基频与共振峰转换为梅尔。共振峰离散度取第一至第四共振峰相邻差值的平均。汇总时对每条语音计算均值与变异性。

多数测量同时计算均值与变异系数，变异系数是标准差除以均值。语速只保留均值。谐波源频谱形状测量可正可负，均值可能接近零，此时变异系数会无定义或无信息，取绝对值又会低估真实变异，因此对这类测量计算均值与标准差而非变异系数。最终每条语音得到 29 个声学变量。论文还对每个变量做词与句子产生的韦尔奇独立样本检验，并做错误发现率校正，这是理解语速为何突出的直接声学基础。

原型语音空间 × 可解释机器学习： 原型语音空间负责提出可检验的维度假设，即把音色表示为相对于平均音色的基频、共振峰离散度与谐噪比距离；可解释机器学习负责把听者的同异判断反向映射到声学差异特征的重要性排序上，二者搭配的理由是前者给出任务难度操纵与基线解释，后者给出跨层级权重是否变化的证据，组合意义是把相关性预测变成可复述的线索权重比较。

语速 × 谐波源频谱形状： 语速负责刻画时间-韵律层面的整体快慢，用音节数除以时长得到每条语料一个均值；谐波源频谱形状负责刻画发声方式与音质，如不同谐波幅度差，搭配理由是前者随词句长度与自然度变化最大，后者提供相对稳定的音质支架，组合意义是解释为何句子判别既保留共享支架又突出时间线索。

均值 × 变异系数与标准差： 均值负责概括一条语音在浊音段上的平均状态，变异系数与标准差负责概括同一条语音内部的波动幅度，二者搭配的理由是身份信息既可能藏在平均音高音质里，也可能藏在句子内起伏的方式里，组合意义是论文能直接比较句子层面是均值更重要还是波动本身更重要。

灵敏度 × 特异度： 灵敏度负责衡量异说话人对被正确判为不同的比例，特异度负责衡量同说话人对被正确判为相同的比例，二者搭配的理由是只看总准确率会掩盖偏向同还是偏向异的错误倾向，组合意义是揭示跨层级泛化的不对称偏置方向。

词水平判别条件 × 句子水平判别条件： 词水平判别条件负责提供短、韵律变化受限、可控性强的判别条件，句子水平判别条件负责提供长、语速与韵律调制更充分的自然条件，二者搭配的理由是检验同一组声学距离在不同语言结构下是否同样预测听者反应，组合意义是把语言层级从背景变量变成直接操纵的泛化条件。

没有训练深度网络，这里的训练到底训练了什么？

本研究没有训练深度神经网络，也没有报告反向传播路径、冻结层或梯度停止等深度学习实现细节，因此不能从模型名称推定任何网络内部机制。这里的训练指的是在 5 种可解释分类算法上学习从声学差异到感知标签的映射。5 种算法包括线性判别分析、逻辑回归、决策树、极端梯度提升与随机森林，前两者刻画线性决策边界，后三者刻画非线性与交互更丰富的边界，目的是在不同建模假设下获得趋同证据。

每种算法都在词数据与句子数据上分别训练与评价，并跨层级测试。输入是配对语音间 29 个声学变量的差值并做标准化，标签是该对语音的感知同异。超参数通过网格搜索与重复分层 10 折交叉验证选择，重复 3 次。稳定估计通过重复 1000 次训练测试过程得到，每次用 80% 训练、20% 测试。对每种算法保留平均准确率最高的模型用于跨层级测试。

高于机会水平的验证用置换检验完成，即把训练标签打乱 1000 次并用韦尔奇检验比较真实准确率分布。跨层级泛化同样重复 1000 次重抽样。线性混合效应模型用于检验准确率、灵敏度与特异度如何随测试条件与测试层级变化，随机截距按训练层级、测试层级与算法的组合设置，不含随机斜率。

需要补的缺项是原文未给出网格的具体候选值、每折样本划分的说话人无关性细节以及运行硬件与耗时，因此复现时只能按描述重建流程，不能声称与原文超参数完全一致。

数据划分、公平条件与统计口径是什么？

数据来自测验开发阶段的语音与行为数据，分析时按全部说话人混合建模，词与句子分别处理。听辨协议、性别分别构造、身份与相似度平衡以及多数标签规则已在任务部分交代。模型比较的公平条件是输入特征集合相同、标签定义相同、训练测试比例相同、重抽样次数相同，唯一系统变化的是训练与测试的语言层级。指标方向是准确率越高越好，灵敏度与特异度分别对应发现不同与守住相同的能力，二者此消彼长时需要同时报告，不能只看总准确率。

聚合对象是试次对的感知标签，重复 1000 次得到均值与标准差，再用混合模型检验条件效应。统计上准确率模型检验测试条件、测试层级及其交互与算法效应，灵敏度特异度联合模型再加入指标类型及其与条件层级的全部交互。显著性报告包括方差分析的统计量与事后比较的均值差、标准误与校正后显著性。初学者应注意百分点差与相对百分比不同，原文的均值差是比例尺度上的差值。

另一个容易误读的是跨层级下降不对称：不能把两种方向的下降平均成一个泛化损失，因为偏置方向相反，平均会掩盖机制差异。

同层级能学到什么，跨层级掉了多少？

同层级测试时分类器表现可靠。词数据的准确率均值约为 0.66，标准差约为 0.04，句子数据的准确率均值约为 0.80，标准差约为 0.04，所有模型都显著高于机会水平。这说明声学差异与感知身份之间存在可学习的系统映射，后续跨层级评估有意义。跨层级测试时准确率下降，且下降幅度与测试层级有关。

句子训练模型测词数据的准确率均值约为 0.49，标准差约为 0.05，词训练模型测句子数据的准确率均值约为 0.62，标准差约为 0.02。混合模型显示测试条件与测试层级的主效应显著，算法主效应与条件层级交互不显著。事后比较显示句子项目准确率高于词项目约 0.13，层内测试高于跨层级测试约 0.17。5 种算法中线性判别分析平均准确率最高，其次是逻辑回归。更重要的是灵敏度与特异度的不对称变化。

层内测试时特异度高于灵敏度，表现为偏向同说话人回答。跨层级时方向分裂：句子训练模型测词时灵敏度显著高于特异度，偏向不同说话人回答；词训练模型测句子时特异度显著高于灵敏度，偏向同说话人回答。这不是均匀的信息丢失，而是与层级声学结构绑定的不同错误倾向。 下面这张表要回答的比较问题是：在相同特征与相同标签定义下，层内学习是否成立而跨层级泛化损失有多大。

公平条件是同为感知标签预测且同为 1000 次重抽样，指标方向是准确率越高越好。

该表的主要收益是确认层内映射可靠且句子层内更易判别，具体代价是跨层级准确率明显回落，尤其是句子到词的方向回落更大。未胜出的方向是句子训练模型在词测试上的泛化，它反而成为揭示偏置的关键反例。表中数字不能理解为说话人验证系统的客观识别率，因为标签是群体感知多数，任务难度又受相似度分层控制。 以下是对分类器性能图的导读，本图展示 5 种算法在 4 种训练测试组合下的准确率、灵敏度与特异度，理解不对称偏置需要同时看三排高度。

看图路径： 1. 先确认三排面板纵轴分别为准确率、灵敏度与特异度，横轴为五种算法；2. 再按图例区分浅蓝词测词、浅绿句测句与两种跨层级颜色的高度变化；3. 重点比较跨层级时深蓝与深绿在灵敏度与特异度上的反向高低；4. 最后观察同一算法内句测句准确率高于词测词的一致趋势

论文图 1。原论文 Figure 1：“Performance of ML classifiers.”。

从可见内容看，最值得执行的观察是句子测句子的一组浅绿柱在准确率排普遍高于词测词的浅蓝柱，而跨层级深色柱整体变矮。灵敏度排中句子测词的深蓝柱明显高于特异度排中同一组合的高度，词测句子的深绿柱则相反，在特异度排更高而在灵敏度排更矮。这种交叉高低直接对应正文报告的偏向不同与偏向相同的分裂。像素不能精确读出每根柱的小数后 2 位，因此复述时只采用正文报告的均值与标准差，图中趋势作为方向性佐证。

哪些特征重要，句子与词的分歧在哪里？

特征重要性用绝对值排序展示，位置越靠前表示越重要，圆点为均值类，三角为变异性类。词层面重要的变量包括反映频谱平衡的倒谱峰突出度均值与能量均值、音高的基频变异系数与均值、高共振峰结构的第三第四共振峰变异系数，以及高频谐波结构的幅度差均值。句子层面倒谱峰突出度均值与基频均值仍相对重要，但语速跃升为支配性变量，同时反映说话人内变异性的测量相对其均值对应项更重要，例如倒谱峰突出度变异系数的重要性上升。

这种共识与分歧在不同算法间大体成立，尽管线性算法与树算法在个别特征的具体名次上有差异。论文据此提出共享声学支架加自适应权重的解释：频谱平衡、音高、共振峰结构与高频谐波结构在两层级都贡献判别，而时间与变异性线索在句子中变得更突出。这也帮助解释为何仅用基频共振峰离散度谐噪比空间难以完全预测句子表现，因为语速不在该空间内。

声学层面的直接支持是句子在语速、第三共振峰与高频谐波差均值以及多个变量的变异性上更高，词在倒谱峰突出度与谐噪比均值上更高，其中语速效应量最大。 下面这张表要回答的比较问题是：跨层级偏置是否只是准确率下降，还是灵敏度与特异度朝相反方向移动。公平条件是同一混合模型下的事后比较，指标方向需分开理解，发现不同与守住相同不可互换。

表后解释是层内偏向回答相同，跨层级则分裂为句子到词偏向回答不同、词到句子偏向回答相同，主要收益是把泛化失败定位到决策偏置而非单一能力下降，具体代价是若只报告准确率会丢失方向信息。未胜出项是任何试图用单一阈值同时解释 2 个方向的说法，它与分裂的符号相反故不成立。该结论的适用条件是感知标签与配对差分输入，若换成客观身份或单条语音嵌入，偏置形态可能改变。 以下是对特征重要性热图的导读，需要先确认左右面板、行列含义与颜色深浅规则再比较语速位置。

看图路径： 1. 先确认左右两块分别为词与句子的特征重要性排序热图；2. 再看每格数字越小表示排名越靠前，圆点为均值三角为变异性；3. 对比语速在左侧与右侧纵向位置的大幅上移；4. 观察线性算法与树算法在基频等特征上的分歧与共识行

论文图 2。原论文 Figure 2：“Importance of acoustic variables for classification.”。

从可见内容看，左侧词面板顶部多为倒谱峰突出度均值、基频变异系数与能量均值等行，语速行位置相对靠下；右侧句子面板顶部出现倒谱峰突出度变异系数与语速行，语速在树算法列的名次进入前三左右。圆点与三角的分布也显示右侧三角行整体上移，支持变异性线索在句子中更重要的判断。线性判别分析与逻辑回归在基频均值等行的名次与树算法存在分歧，但共享支架行在两类算法中都相对靠前。由于热图格内数字较小且颜色为连续深浅，复述时只讲相对位置与跨面板移动，不硬读每个格子的精确名次作为定量证据。

哪些结论有边界，什么还没有验证？

首先，标签是感知多数而非客观身份，因此所有性能数字都应表述为预测听者判断的能力，不能直接推广为说话人识别系统的错误率。其次，材料是无意义伪词与伪句子，优点是控制语义与情绪韵律，代价是与自然有意义语音仍有距离，论文未来工作也明确提出要扩展到更生态的材料。再次，特征集合是 15 个基础特征加语速与谐噪比展开的 29 个变量，未纳入更广泛的声学特征，年龄性别与语言背景的影响也未在本分析中展开。

方法上的重要提醒是谐波源频谱形状变量的变异性处理：因其取值可正可负，均值可能接近零，用标准差除以均值的变异系数会无定义或无信息，论文改用标准差，这纠正了以往直接套用变异系数的做法。统计上混合模型未纳入随机斜率，理由是分组层级内预测变量无变化，复现时应保留该设定而不是自行添加更复杂的随机结构。

最后，相关性不等于因果，特征重要性高只说明该差异有助于预测群体判断，不能证明听者在单次试验中必然使用了该线索，也未测量延迟与计算成本，因此不能承诺这些量得到改善。

要复现这条链路，先做什么，需要哪些参数？

复现的第一步是重建配对差分数据集。对每条语音计算 29 个变量的 utterance 级汇总，然后对每对语音做对应变量相减并标准化，标签按超过 50% 判同的多数规则生成。语料侧需要保留的信息是 16 个双音节伪词、8 个八字伪句子、每人每条至少三遍取最清晰一遍、均方根归一化，以及女性与男性分别构造、身份与相似度平衡、共 576 对的划分。

声学侧需要保留采样与汇总口径：除语速与共振峰离散度外每 5 毫秒提取并限于浊音段，基频范围与共振峰上限按性别设置，基频与共振峰转梅尔，共振峰离散度取相邻差值平均，语速用音节数除以时长，谐波源频谱形状用均值加标准差而其余多用均值加变异系数。

建模侧需要保留 5 种算法并行、网格搜索加重复分层 10 折交叉验证重复 3 次、1000 次 80% 与 20% 重抽样、保留平均准确率最高模型做跨层级测试、置换检验 1000 次验证高于机会水平。评估侧需要同时报告准确率、灵敏度与特异度，并用混合模型检验条件效应，不能只报告准确率。 下面这张表要回答的复现检查问题是：声学上词与句子是否真的系统不同，以至于跨层级权重变化有信号基础。

公平条件是韦尔奇独立样本检验加错误发现率校正，指标方向是均值差与效应量越大表示层级差异越突出。

表后解释是语速的性别分组均值差与大效应量支持其感知显著性潜力，同时句子在多个变异性指标上更高而词在周期性均值上更高，说明跨层级既有整体快慢差异也有波动幅度差异。未评测的边界是这些声学差异多大程度直接对应单次听辨的因果权重，仍需待验证的操纵实验补充。复现时若语速效应量远小于原文报告，应先检查音节计数与浊音段切分是否一致，而不是直接调整分类器。

何时值得借用这套做法，如何一句话记住结论？

当研究问题涉及短语音结论能否推广到长语音、朗读词能否推广到连续说话时，这套做法值得借用：用同异感知标签统一目标，用配对差分统一输入，用层内训练加交叉测试暴露偏置方向，用多算法趋同避免单一模型假象。复现时先做声学层级差异检验，再做层内学习有效性检查，最后才解释跨层级特征重要性移动，否则容易把泛化下降误读为特征无效。

还需要补的验证包括自然有意义语音、更多说话人与听者背景分层，以及对语速的直接操纵，例如时间拉伸后观察同异判断与模型偏置是否同步移动。一句话记住结论：在共享的频谱平衡、音高、共振峰与高频谐波支架之上，句子判别额外放大了语速等时间韵律线索与内部变异性线索的权重，这正是原型空间需要按语言结构自适应加权的原因。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 28 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 speechprosody-2026 论文汇总