只比邻词：用三线索听觉对比复刻大模型韵律判断

英文题目：Auditory Contrast Network for Text-Free Prominence Detection

会议身份：conference:interspeech:2026:conference-paper-id:shimizu26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #高效推理 #可解释性 #韵律 #语音属性识别

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Kosuke Shimizu：机构信息未能从会议 PDF 纯文本可靠映射
• Keiichi Zempo：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为连续朗读英语语音中目标词及其相邻词的声学实现与可选文本统计，输出为人群感知的词级凸显度评分，难点在于绝对声学值受语速与说话人影响极大，真正决定感知的是与相邻词的相对反差与词汇预期。听觉对比网络（Auditory Contrast Network，ACN）先对每种声学线索独立计算目标词与前后词的非线性对比分，再用可学习的双向注意力加权前后方向得到线索级得分，最后由聚合网络融合各线索对比分、目标词绝对值与文本惊奇度以输出评分。与通用自监督编码器把词扔进大表示不同，该方法把成对对比、线索独立与前向主导写成结构先验，使方向偏置与线索层级可直接读出。训练后模型读出明确的前向主导偏置与严格局部性，聚合权重进一步呈现时长主导而能量与频谱依次递减的层级。除已验证的跨库迁移外，自发对话与多语言场景的泛化尚未验证且仍受限于外部词边界与朗读语料。在Helsinki Prosody训练并向Emphases跨库迁移的评测下，纯声学ACN集成以Pearson r达到0.412，与冻结wav2vec2基线的0.409基本持平，且单线程单字延迟为1.6 ms对194 ms，约120倍优势。该结论仅在朗读英语与外部词边界给定的条件下成立，自发语音、多语言及无切分场景均未验证。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

要预测的是什么感知量，为什么只看单个词不够？

输入是连续朗读英语语音及其词边界，目标是为每个词输出一个连续的重音感知分，分数越高表示听起来越突出。必须保留的信息是词的绝对声学实现以及它与相邻词的相对关系，输出是一个标量预测值。本文面向刚进入语音领域的研究生，先讲清任务的操作定义，再讲方法如何实现，最后讲跨语料证据。

感知重音在这里不是词典重音，也不是离散的音高重音类别，而是语料级连续标注。它受时长、响度和频谱倾斜等声学因素影响，也受词的词汇角色和可预测性影响。教学例子：一个 300 毫秒的词在慢速语流中很普通，但在周围都是 150 毫秒短词时就会显得突出，这就是对比的直觉。只看单个词的绝对时长会漏掉这种语境效应，因此模型需要显式比较邻词。

当前主流做法是把词级梅尔谱送入卷积网络，或把波形送入自监督模型再接回归头，模型容量大但没有显式比较邻词的机制。心理声学给出 3 条可操作的线索：感知变化与刺激比的对数有关，听觉皮层对偏离前文的刺激反应更强，不同线索在整合前沿各自通路处理。这些线索提示模型应先做非线性成对对比，再按方向加权，最后跨线索整合。

已有路线如何标注和建模词重音？

标注路线上，一支用连续小波变换从声学信号推导多尺度韵律分，并扩展到包含 36802 词、50 个说话人的赫尔辛基韵律语料；另一支在 Emphases 语料上收集众包人类评分，覆盖 69714 词、17 个说话人，并在监督同语料训练下用梅尔谱卷积网络报告约 0.534 的相关。两条路线分别解决规模化和感知真实性的问题。

建模路线上，自监督模型被发现其中间层编码了重音信息，知识蒸馏被用来压缩模型，但这些系统都把重音当作通用回归目标，没有说明是哪种计算驱动预测。声学相关研究则指出时长是英语重音的主要相关量，频谱平衡是次要线索，响度对英语重音评分的贡献大于基频，同时基于信号和基于预期的因素共同影响感知，n 元惊奇度是预期因素的常用代理。

本文的差异在于把韦伯费希纳定律的非线性、刺激特异性适应的非对称性、线索先分后合 3 条原理直接写成网络结构。模型只用 3 个声学线索和可选的文本惊奇度，目标是在跨语料迁移中检验显式对比是否足以替代大容量通用表示，并保留方向偏置、局部范围和线索排序的可读出证据。

跨语料迁移要回答什么问题？

问题设定为在赫尔辛基韵律语料的连续小波变换标签上训练，在 Emphases 语料的人类评分上评测，两个语料说话人不重叠，朗读来源均为有声书类英语。训练监督与评测真值不是同一标注体系，因此测的是从算法代理标签到人类感知的泛化能力，而不是同分布拟合能力。

评估指标是预测分与人类评分之间的皮尔逊相关系数，数值越高表示排序和相对高低越一致。比较时需要固定训练语料、评测语料和指标，才能判断结构带来的增益。论文同时报告无文本的声学条件和加入文本惊奇度的条件，以区分声学对比本身的价值和词汇预期带来的增益。

一个常见误解是把相关系数 0.41 直接理解为准确率 41%，实际上它是线性相关强度，还需结合置信区间和基线对比来解读。另一个误解是认为参数少就一定泛化差，本文恰好用极小参数检验结构先验是否能弥补容量不足。

听觉对比网络如何走完一个词的预测？

先沿一个样本走完全程。假设要预测第 i 个词，系统已有该词及前后词的 3 个归一化声学值、词边界掩码和可选的文本惊奇度。第一阶段对每个线索独立计算 2 个方向对比分：目标词与前词配对得到前向分，与后词配对得到后向分，再用该线索专属的注意力权重把 2 个方向分加权成一个线索对比分。第二阶段把 3 个线索对比分、3 个绝对值和文本特征拼成向量，送入聚合多层感知机输出重音预测分。

下图展示了相邻词配对、方向加权和跨通道聚合的主路径，阅读时先看输入如何分叉再汇合。

看图路径： 1. 沿顶部三个声学输入框向下追踪到两个并排的对比小网络；2. 确认每个对比网络接收的是目标词加一侧邻词的配对输入；3. 查看中间绿色求和框右侧由注意力参数控制的加权箭头；4. 再向下看聚合网络如何同时接收对比分、绝对声学向量和文本向量

论文图 1。原论文 Figure 1：“ACN architecture (K=1).”。

上图为单侧邻域的结构示意，顶部 3 个框是同一线索下前词、目标词和后词的取值，中间两个小网络分别处理前向配对和后向配对，绿色求和框在可学习权重控制下合并 2 个方向分，底部粉色聚合网络再把对比分与绝对声学向量和文本向量融合。虚线大框强调该分支会对每个线索独立重复，方向权重经 softmax 归一化，边界缺失时对应分支被掩码置零。

成对对比 × 前向主导： 成对对比负责计算目标词与前一词、与后一词在同一声学线索上的差异分，输出 2 个方向分值；前向主导负责用一组可学习的双向注意力权重决定前向分与后向分如何加权合并，搭配理由是心理声学提示非对称适应，组合后每个线索只输出一个融合了方向偏置的对比分。

这种 2 阶段划分对应 3 条心理声学原理：成对非线性对比对应韦伯费希纳定律，方向注意力对应刺激特异性适应的非对称性，分线索处理再聚合对应功能分离后整合。模型在有文本时共 238 个可训练参数，无文本时 202 个，另有固定的 n 元计数表和按说话人归一化统计量，不计入可训练参数但推理时需要。

每条线索的对比分是如何算出的？

对比阶段每个线索有一个独立的两层感知机，输入是两个标量，隐藏层 8 个单元，输出 1 个标量，激活为线性整流。输入是目标词与邻词的原始取值而不是预先算好的差值，目的是让网络自己学习非对称和阈值式函数。边界处若邻词不存在，掩码将该方向输出置零，避免用填充值污染对比。

每个线索还有两个可学习的注意力逻辑值，初始为零即前后各占一半，训练后经 softmax 得到前向权重和后向权重。最终该线索对比分是 2 个方向分的加权和，权重直接读出方向偏置。论文报告 3 个线索的前向权重均超过 96%，其中时长约 0.98 对 0.02，能量约 0.97 对 0.03，频谱约 0.96 对 0.04。

声学线索具体为对数词时长、词内平均 MFCC0 和词内 MFCC2 标准差，分别代理时长、能量和频谱曲率变化。梅尔倒谱系数用 25 毫秒窗、10 毫秒跳、13 维提取，词边界来自蒙特利尔强制对齐，所有特征按说话人做标准化。基频均值方差斜率只在消融中作为第四线索测试，默认不使用。

线索独立性 × 跨线索聚合： 线索独立性指时长、能量、频谱 3 个通道各用独立的小多层感知机做对比，避免不同物理量纲过早混合；跨线索聚合指第二阶段的多层感知机把各线索对比分、目标词绝对值和文本惊奇度拼在一起做非线性映射，搭配理由是听觉通路先分开处理再整合，组合后能表达同时变长变响才更重读的交互效应。

聚合层如何把对比和绝对信息拼成最终分？

聚合输入是 9 维向量：3 个对比分加 3 个目标词绝对值加 3 维文本特征，隐藏层 12 个单元，输出 1 维预测分，中间为线性整流。保留绝对值通道的原因是有些词本身极长或极响，无论邻词如何都应判为突出；保留对比通道的原因是有些词只有放在语境中才突出。隐藏层的非线性允许跨线索交互，例如同时比前词更长更响时获得超线性加成，这是线性加权做不到的。

文本特征为一元和二元惊奇度及其加权混合，定义为负对数条件概率，用训练数据的加平滑计数估计。计数表在训练词汇上构建，测试时固定不变，属于预处理而不计入可训练参数。这种设计把词汇预期显式提供给模型，便于分离声学对比与词汇预期的贡献。

参数量上每个对比网络 33 个参数，三线索加 6 个注意力参数共 105 个，聚合网络把 9 个输入经 12 个隐藏单元映射到输出，贡献 133 个参数。推理时每个词需要其前后词特征，若在句首或句末则对应方向被掩码。

绝对特征 × 对比特征： 绝对特征是目标词自身的时长、平均 MFCC0 和 MFCC2 标准差，负责标记本身就极端的词；对比特征是目标词与邻词配对后经对比网络输出的分值，负责标记在局部语境中突出的词，二者搭配是因为重音既可来自绝对极端也可来自相对跳变，组合后聚合层可同时利用两种证据。

模型在什么监督下如何训练？

训练目标是在赫尔辛基语料上最小化对连续小波变换标签的均方误差，优化器为 Adam，学习率 0.003，L2 正则系数 0.001，批量 4096，在留出说话人划分上早停，耐心值为 40 轮。为降低随机种子方差，训练 20 个随机初始化并报告前 3 名的均值，近似从业者的模型选择流程。

需要明确的是只有听觉对比网络及其消融变体按上述流程训练，冻结的 wav2vec2 编码器不更新，其第 9 层池化嵌入接前馈头在同样标签上训练回归头。门控学生模型通过知识蒸馏结合自监督特征与 n 元惊奇度，参数约 38,000。逻辑回归基线分别用 2 维时长加词频特征和 36 维同输入特征训练。

原文未报告梯度是否截断到对比分支之外，也未报告早停划分的具体说话人编号和每种子的方差分布，这些是复现时需要补记的缺项。文本计数表的平滑系数固定为 0.01，混合权重固定为 0.7 和 0.3，推理时不重置。训练与评测的标签体系不同，因此训练损失下降不直接等于人类评分相关上升，最终以跨语料相关为准。

数据、基线和统计条件如何对齐？

数据上训练集为赫尔辛基韵律语料的 36802 词、50 说话人，评测集为 Emphases 语料的 69714 词、17 说话人，两集合说话人不重叠。特征提取、强制对齐和按说话人标准化在两边保持一致，文本惊奇度计数只用训练数据构建，避免评测信息泄漏。指标为跨语料皮尔逊相关，关键对比报告基于 10000 次自助采样的 95% 置信区间和配对自助检验。

基线覆盖复杂度谱：冻结的 94,600,000 参数 wav2vec2 加前馈头代表大容量声学表示，绝对值模型代表去掉对比的同输入对照，时长词频逻辑回归和同输入逻辑回归代表线性文本基线，绝对值加文本多层感知机和门控学生代表加入文本后的非线性对照。这种安排能分离对比机制、非线性聚合和文本信息的各自贡献。

连续小波变换标签 × 众包人类评分： 连续小波变换标签是赫尔辛基韵律语料上由算法从声学信号推导的连续重音分，用作训练监督；众包人类评分是 Emphases 语料上多人听感打分的平均，用作跨语料评测真值，搭配理由是训练时需要大规模可自动获得的代理标签而评测时需要更贴近感知的真值，组合构成从弱监督训练到人类感知泛化的迁移链条。

成本上原文报告单 CPU 线程下每词 1.6 毫秒对 194 毫秒，实时率 0.006 对 0.58，声称 120 倍延迟优势，但注明不含共享的词切分耗时。硬件型号和线程亲和性未详细报告，因此延迟数字应理解为同机相对比较而非绝对可移植承诺。资源状态方面，本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码模型或数据已公开。

跨语料主结果显示了什么对等与增益？

先提出比较问题：在不使用文本、训练监督为代理标签、评测为人类评分的跨语料条件下，极小对比模型能否达到大容量冻结编码器的水平，加入文本后又处于什么位置。公平条件是同训练同评测同指标，指标方向为相关系数越高越好。下表整理声学条件与文本条件下的关键数字，基线为实际可运行策略。

上表显示声学条件下对比模型以 202 参数达到 0.412，冻结基线为 0.409，两者置信区间重叠，原文表述为提取了相似的预测信息。有文本时对比模型到 0.451，门控学生为 0.449，同输入逻辑回归为 0.444，时长加词频 2 维逻辑回归已达 0.441，说明词汇预期本身携带大量信息。未胜出项是绝对值模型在声学条件下仅 0.371，去掉对比下降 0.041，证明成对比较在无词身份时最有价值。跨 17 个评测说话人的平均相关为 0.450 加减 0.026，范围 0.402 到 0.492，未做说话人自适应。

下图用聚合层权重范数展示输入重要性，阅读时注意对比通道与绝对通道是分开计数的。

看图路径： 1. 从上向下读纵轴标签，区分惊奇度与时长能量频谱的对比与绝对通道；2. 对比横轴数值，确认时长对比条明显长于能量和频谱条；3. 观察最底部基频条的长度，判断其相对贡献是否可忽略；4. 注意右侧大括号如何把同一线索的两个通道归为一组

论文图 2。原论文 Figure 2：“Input importance via L1-norm of aggregation weights (best single seed).”。

上图为最优单种子的聚合权重 L1 范数条形图，横轴为权重范数，纵轴从上到下为惊奇度、时长对比、时长绝对、能量对比、能量绝对、频谱对比、频谱绝对和基频汇总。可见惊奇度最高约 2.9，时长对比约 2.4 居声学首位，能量次之，频谱更小，基频汇总仅约 0.1。右侧大括号把同一线索的两个通道归组，直观呈现时长大于能量大于频谱远大于基频的层级，但基频只测试了均值方差斜率，未包含精细语调轮廓。

可解释权重读出 × 自监督表示： 可解释权重读出指直接查看对比阶段的方向注意力权重和聚合层输入权重范数，得到前向占比、局部性和线索排序；自监督表示指冻结 wav2vec2 编码器从原始波形学到的通用高维特征，二者对照的理由是判断显式对比是否已覆盖大模型隐式提取的信息，组合意义在于用数值接近但机制透明的方式替代黑盒表示。

综合判断是结构先验在该词级评分任务上可替代通用表示的容量，但置信区间重叠只支持信息量相近的解释，不证明计算过程相同。原文也提醒权重读数是架构内置的观测，不是知觉实验的因果证据。

哪些组件真正必要，哪些扩展没有收益？

消融围绕完整模型 0.451 展开，每次只改一个因素，指标仍为跨语料相关，方向越高越好。下表列出去掉对比、去掉文本、线性化聚合和扩展上下文或线索时的变化，负结果与正增益同样重要。

表后解释：文本信息是最大单因素，去掉下降 0.039，与重音依赖预期的观点一致；有文本时对比只加 0.005，置信区间为 0.004 到 0.007，统计显著但实际很小，说明词汇预期与声学对比信息重叠。无文本时对比贡献 0.041，正好对应 on-device 无文本场景的价值。非线性聚合贡献 0.020，证明跨线索交互不可线性替代。两个负结果是上下文从正负 1 词扩到正负 3 词无变化，增加粗粒度基频只加 0.001，支持严格局部性和默认三线索已够用的判断，但不排除精细基频轮廓的作用。排列重要性也确认惊奇度下降 0.24、时长下降 0.08、对比通道各下降约 0.008 到 0.009，声学排序与权重范数一致。

结论的边界在哪里？

首先是语料边界，仅在 1 对朗读英语语料上验证，未覆盖自发语音、其他语言和不同标注体系，因此局部性和线索排序是否跨场景成立待验证。其次是流水线依赖，模型需要外部词边界，词切分误差会直接影响配对和时长特征，延迟比较也不含切分耗时。

其次是基频结论的限定，测试的只是均值方差斜率这类粗汇总，没有建模音高重音形状和语调轮廓，原文明确指出可能低估基频在句子焦点中的真实作用。方向偏置的解释也有双重可能，既像听觉皮层的刺激特异性适应，也可能是前词本身就是更强的统计预测器，两者不互斥且权重证据不能区分因果。

最后是统计与资源缺项，原文报告了关键对比的置信区间和配对自助，但未报告全部消融的区间，未测量误判率和每步延迟分布，也未提供可验证的开源链接。总体趋势不等于每个说话人或每句话都成立，评测说话人范围 0.402 到 0.492 即提示个体差异。

要复现应先准备什么、按什么顺序检查？

先准备数据与边界：获取赫尔辛基韵律语料的连续小波变换标签和 Emphases 的人类评分，用蒙特利尔强制对齐得到词边界，用相同窗跳提取 13 维梅尔倒谱系数，计算对数时长、平均 MFCC0 和 MFCC2 标准差，并按说话人标准化。文本方面只用训练集构建一元二元计数，加 0.01 平滑，计算惊奇度及其 0.7 和 0.3 混合。

再按顺序搭建模型：为每线索建输入 2 隐藏 8 输出 1 的线性整流网络，为每线索建 2 个注意力逻辑值，对比分经掩码和加权合并后与绝对值和文本拼成 9 维向量，送入输入 9 隐藏 12 输出 1 的聚合网络。用 Adam、学习率 0.003、L2 系数 0.001、批量 4096 训练，留出说话人早停耐心 40 轮，重复 20 种子取前 3 平均。先复现声学 0.412 对冻结基线 0.409 的对等，再复现有文本 0.451 和去掉对比降到 0.446 的差值，最后检查前向权重是否均超 96% 且扩上下文无增益。

若结果偏离，优先检查归一化口径、掩码位置和文本计数是否用了评测数据，其次检查种子平均方式是否取前 3 而非全部平均。不要把计数表和归一化统计计入可训练参数，但推理时必须提供。

何时值得尝试这种对比思路？

当部署场景无文本、算力受限且需要可解释的方向和线索读数时值得尝试，例如助听设备和实时发音监测。此时声学对比的 0.041 增益和 120 倍相对延迟优势最有意义，而有文本时对比增益仅 0.005，应权衡是否引入文本模块。教学上该工作示范了如何把 3 条心理声学陈述翻译成配对网络、注意力权重和分合结构，每一步都有可读出的权重作为实验发现。

不适合的场景是需要精细语调和焦点建模的任务，粗基频汇总不足，需补充音高重音形状和更长上下文。后续验证应补自发语音和多语言迁移、含切分误差的端到端评测，以及针对前向不对称的知觉实验，才能把权重观察升级为因果结论。总体上论文报告的是在特定词级评分基准上显式对比足以匹配冻结大模型的证据，支持紧凑对比表示是一个强操作点，但未证明大容量表示在所有韵律任务上都不必要。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总