英文题目：Multi-granularity Interactive Attention Framework for Residual Hierarchical Pronunciation Assessment
会议身份：
conference:aaai:2026:conference-paper-id:40350
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#教育 #注意力机制 #多任务学习 #语音 #语音属性识别
评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Hong Han：机构信息未能从会议 PDF 纯文本可靠映射
- Hao-Chen Pei：机构信息未能从会议 PDF 纯文本可靠映射
- Zhao-Zheng Nie：机构信息未能从会议 PDF 纯文本可靠映射
- Xin Luo：机构信息未能从会议 PDF 纯文本可靠映射
- Xin-Shun Xu：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
朗读式发音评估需以朗读音频与规范文本对应的规范音素序列为输入，同时输出音素准确度、单词准确度/重音/总分与utterance准确度/流利度/完整度/韵律/总分，难点在于粒度间兼具自下而上组合与自上而下语境制约，且同一单词的重音会随所在utterance语境变化。方法首先将84维优度发音特征投影后与规范音素嵌入和可训练位置嵌入相加，送入Transformer编码器得到声学嵌入X，为后续建模提供统一声学基座。接着交互注意力模块将音素/单词/utterance三组查询拼接做自注意力实现粒度间双向互通，再以X为键值做交叉注意力，生成各粒度的交互头H。然后残差层次结构将X、对应交互头与低粒度分数逐级相加，经一维卷积与回归头依次得到音素到单词再到utterance的分数，使浅层编码与低层评分直接进入高层输入。与仅并行建模的GOPT和单向逐级的HiPAMA不同，该机制在一次注意力中实现三粒度同时双向交换并用残差保留原始声学信息，因而能兼顾组合与语境制约。在Speechocean762基准下，HIA的词重音Pearson为0.436，高于去除残差结构的0.382。该结论适用边界受限于仅在英语朗读语料与GOP输入下验证，尚未验证自发语音、跨语言与无GOP特征的外推，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，这篇解读要交付什么？
这篇解读的输入是论文原文给定的文字证据与 4 张官方原图像素，目标是让刚进入语音音乐音频方向的研究生能独立复述方法与实验条件。必须保留的信息包括任务定义、数据与指标口径、模型各组件的计算顺序、训练配置与主要定量对照。输出按学习依赖展开，先讲发音评估为何需要多粒度，再讲现有路线的缺口，然后走完从音频到分数的完整样本路径，最后讲如何复现与何时选用该方法。
计算机辅助发音训练系统希望给语言学习者即时反馈，其核心是自动发音评估，也就是对朗读语音按音素、词、语句给出质量分数。早期做法多是单粒度，例如只算音素的发音好坏度。白话说，发音好坏度（Goodness of Pronunciation，GOP）就是用语音识别声学模型算每个音素有多像标准发音；后文简称 GOP。多方面多粒度评估则要求一个模型同时输出音素准确度、词准确度与重读、语句准确度流利度完整性韵律与总分。例子是学习者朗读 Its good，模型既要指出其中某个元音不准，也要判断 good 的重读是否自然，还要给整句流利度打分。
发音好坏度 × 多方面多粒度评估： 发音好坏度负责把声学后验转成单个音素有多准的分数，分工是局部可解释的声学证据；多方面多粒度评估负责同时给出音素准确度、词重读与语句流利度韵律等多维度分数，分工是覆盖学习者需要的完整反馈；二者搭配的理由是只看单音素会割裂词和语句的相互影响，组合意义是用统一模型让局部证据支撑高层判断，也让高层语境回过来约束局部打分。
单粒度建模的局限在于割裂了语音天然的层次关系。低层音素发得准不准会影响高层词与语句的听感，而高层语境也会改变同一个词应有的重读方式。论文指出，同一个英文单词在不同语句中重读可能不同，若只建模音素拼成词的单向过程，就难以解释这种自上而下的影响。这正是后文引入双向交互的动机，也是理解残差分层为何要同时保留底层嵌入与高层分数的关键。
已有路线在输入目标监督上到底哪里不同？
按同输入同目标同监督来对照，开放式回答评估与朗读式评估是两条不同路线。开放式路线输入是无预设文本的自发语音，目标常需先识别可能说了什么词，监督更复杂；朗读式路线输入是已知文本对应的朗读录音，目标是对照标准文本打分，本文只属于后者，不能把开放式结论直接搬过来比较胜负。
在朗读式路线内部，早期基于 GOP 与误发检测的方法假设各粒度独立，做法是算后验概率再接分类器，优点是可解释，缺点是显式割裂了粒度关联。随后以 Transformer 为代表的多任务框架把多粒度打分放在一个模型里并行处理，代表是 GOPT，它能同时处理不同粒度任务但缺少粒度间交互。分层改进 HiPAMA 按音素到词到语句顺序评估，信息只向上流；Gradformer 侧重语句建模并引入卷积增强编码器；HierGAT 用图神经网络做分层，但图结构固定限制了动态交互。论文把这些方法统一归纳为只考虑相邻粒度单向依赖，未实现三者双向交互。
这种归纳对初学者很重要：并行是各做各的，分层单向是下层结果喂给上层，而本文要做的是上下层互相影响。教学例子是词重读，若只看组成该词的几个音素，模型会给出固定判断；但若同时看到整句语速与韵律，模型应能调整对该词重读的预期。现有路线缺少的正是这条自上而下的回路。
语音的层次关系为何要求双向建模？
论文要解决的第一个问题是粒度间相关没有被双向利用，第二个问题是分层加深带来的初始编码遗忘。先看第一个问题，语音信号具有从音素组成词、词组成语句的层次结构，低层影响高层是直观的，但高层语境反过来约束低层同样存在。作者特别点出词重读在以往方法上表现差，可能原因就是缺少这种双向建模。
下面这张层次示意图用 Its good 把抽象关系具体化，阅读时先看整体分层再看归属箭头有助于建立后续模型的心理地图。
看图路径： 1. 从最下层六个音素框向上追踪箭头，看它们如何先汇成两个词框；2. 再看两个词框如何共同指向顶层语句框，确认层次归属关系；3. 对照 Its good 示例，数清每个词包含的音素个数与切分位置
论文图 1。原论文 Figure 1：“Schematic diagram of the acoustic hierarchical structure with a sample utterance ”Its good”.”。
该图自下而上分为 3 层，最底层是 IH、T、S、G、UH、D 6 个音素框，中间层是 Its 与 good 两个词框，顶层是 Its good 语句框。箭头方向显示每 3 个音素汇入对应词，两个词再汇入语句。像素上 3 层用不同底色区分，音素为浅紫、词为浅粉、语句为浅绿。这种画法本身只表达自底向上的组成关系，但正文用它引出反向问题：如果只按箭头方向建模，语句韵律就无法回头告诉模型 good 在这里该重读还是轻读。第二个问题是当模型按粒度加深时，起点编码的特征容易被冲淡，因此需要残差连接把起点拉回来。这两个问题共同决定了后文一个模块管交互、一个结构管记忆的分工。
HIA 让一个样本走完输入到输出经历了什么？
HIA 是残差分层交互式多方面多粒度发音评估框架的简称。沿 Its good 这个样本走一遍，主路径是音频进入声学模型抽 GOP 特征，与标准音素嵌入和位置嵌入相加后送入 Transformer 编码器得到声学嵌入，然后按音素、词、语句顺序依次打分。支路是交互注意力模块为 3 个粒度各生成一个交互头，分别掺入对应粒度的建模过程。 先看下图建立全景，再逐段拆解计算，这样不会在细节中迷路。
看图路径： 1. 从左侧音频与声学模型出发，沿投影层与编码器找到主干向右的走向；2. 观察顶部交互注意力模块如何向下分出音素词语句三条建模分支；3. 定位每条分支末端的回归头输出，区分音素头与词语句平均汇合
论文图 2。原论文 Figure 2：“Main architecture of HIA. HIA takes the GOP features extracted from the acoustic model and the projected canonical phoneme embeddings as input.”。
从像素看，图左侧是纵向排列的音频、声学模型、投影层与音素投影层，中间是编码器，右侧顶部是横跨三列的交互注意力模块，下方三列分别是音素级卷积与回归头、词级方面注意力与卷积、语句级解码器与卷积。加号符号表示残差相加的位置，分别出现在音素分支入口、词分支入口与语句分支入口。词分支还画出线性层到方面注意力的交叉连线，语句分支底部画出 5 个分类查询与位置相加后进入解码器的结构。
具体到样本，音频经强制对齐切出每个音素的起止帧，算出 84 维 GOP 向量；Its 对应 IH、T、S，good 对应 G、UH、D。GOP 经投影、标准音素嵌入经投影，再加可训练位置嵌入，三者相加输入编码器。编码器输出记为 X，它既送入交互模块作键值，也通过残差加法直接参与每个粒度的打分。音素级输出分数再与 X 和词交互头相加去算词分，词分再与 X 和语句交互头相加去算语句分。这种边算边把低层分数往上传、又把起点嵌入拉回来的做法，就是残差分层的直观含义。
交互注意力如何一次实现三个粒度的双向交换？
交互注意力模块（Interactive Attention Module）是 HIA 的核心，白话说它先让 3 个粒度的代表向量互相通气，再把通气结果映射回声学空间。术语上查询向量就是各粒度用来提问的代表，键值就是声学嵌入提供的可查内容，交叉注意力就是用查询去加权汇总键值的操作。
交互注意力模块 × 残差分层结构： 交互注意力模块负责在 1 次自注意力里实现音素、词、语句三者两两双向的信息交换，分工是生成带跨粒度关联的各粒度交互头；残差分层结构负责在每个粒度建模时都加回编码器输出的初始声学嵌入并逐层传入低层分数，分工是保留原始线索并维持自底向上的层次约束；搭配理由是只交互会丢原始声学细节、只残差仍是单向，组合意义是既有自上而下和自下而上的动态关联，又不因模型加深而遗忘起点特征。
下图展示了该模块内部的数据流向，重点看拼接、自注意力、交叉注意力、前馈网络的先后关系。
看图路径： 1. 先看左侧三组查询拼接成交互查询，再进入自注意力的顺序；2. 确认自注意力输出作查询、音频特征嵌入作键值的交叉注意力方向；3. 向上追踪前馈网络分出的三个粒度注意力头各自的去向
论文图 3。原论文 Figure 3：“Network structure of interactive attention module. For simplicity, the residual connection and norm layers are omitted. Phn is Phoneme, Utt is Utterance.”。
像素上左侧 3 组虚线框分别是音素级查询、词级查询、语句级查询，经拼接操作合成一段三色交互查询，随后进入自注意力框。自注意力输出标为查询 Q，与来自编码器的音频特征嵌入作键值 K、V 一起进入交叉注意力框，再经前馈网络向上分出 3 个注意力头。图注说明残差与归一化层为简洁起见省略，Phn 是音素缩写，Utt 是语句缩写。
计算上分 3 步。第一步把 3 个粒度的查询拼成整体并做自注意力，既捕捉粒度内关系也捕捉粒度间双向关系，输出记为自注意力头。
\[Qself = SelfAttn(Q).\]该式符号是拼接后的多粒度查询为输入，自注意力结果为输出，目标是 1 次操作内同时实现自下而上与自上而下的信息交换。第二步以自注意力头为查询、以预处理后的声学嵌入为键值做交叉注意力，把交互特征落到真实声学空间。
\[Qcross = CrossAttn(Qself\]该式输入是上一步的查询与声学嵌入，输出是映射后的跨模态表示。第 3 步经前馈网络投影得到各粒度的交互头，分别记为音素头、词头、语句头，供后文各分支使用。原文明确说这些头既含多粒度双向特征又保留本级线索，这是它敢于声称克服固定图结构只能静态交互的依据， thuộc 有限解释而非已证明因果。
编码器声学嵌入 × 解码器语句查询： 编码器声学嵌入负责把投影后的发音好坏度特征、标准音素嵌入和位置嵌入融合成逐音素的上下文表示，分工是全模型的共享声学底座；解码器语句查询负责为准确度、流利度、完整性、韵律、总分 5 个语句方面各提供一个可学习查询向量，分工是把变长声学序列解耦成固定数目的语句级判断槽；搭配理由是语句级需要长程全局整合而不宜与音素序列一一对齐，组合意义是以查询为针、以声学加词分加交互头为键值，把底层细节按需汇总成语句分数。
残差分层如何把低层分数与起点嵌入一起往上传？
残差分层多粒度建模负责把交互头真正用起来，做法是每个粒度都把编码器输出加回来，同时把低层分数往高层传。音素级是起点，先把编码器输出与音素交互头相加，再过 1 维卷积提局部模式，每个音素位置后接回归头输出准确度分数。
\[Sphn = Conv(X + Hphn).\]该式中 X 是编码器输出，音素交互头是上节产物，卷积输出再经线性回归得到音素分。词级把三者相加作为输入，即编码器输出加音素分数加词交互头。
\[Xword = X + Sphn + Hword.\]随后用方面注意力协调词的准确度、重读、总分多个方面，再过卷积与回归头输出词级三方面分数。语句级同样先求和，即编码器输出加词分数加语句交互头。
\[Xutt = X + Sword + Hutt\]不同的是语句级引入 Transformer 解码器，因为语句涉及长程全局依赖。做法是初始化一组可学习向量作为各语句方面的查询，以上式求和结果为键值送入解码器，再经卷积与回归头得到准确度、流利度、完整性、韵律、总分。
方面注意力 × 卷积层： 方面注意力负责在同一粒度内建模准确度、重读、总分等多个方面之间的相关与差异，分工是同层多任务的横向协调；卷积层负责在每个粒度上抽取局部上下文模式，分工是弥补注意力偏重全局而忽略相邻音素协同发音的短板；搭配理由是词和语句打分既需要看相邻帧的连贯，也需要看不同评价维度互相牵制，组合意义是在送入回归头之前让特征同时具备局部平滑性和方面区分性。
1 维卷积在这里的分工是增强局部上下文线索，原文引用卷积学习局部区域特征模式的观点。教学例子是相邻两三个音素常协同发音，只看单帧后验会抖动，卷积相当于在打分前做 1 次局部平滑与模式提炼。
损失如何汇总，优化按什么节奏进行？
本研究有明确训练阶段，该节按原文交代优化目标与流程，未报告的内容会明确指出缺项。损失用均方误差，公式含义是预测分与专家真值的平方差平均，颗粒度是每个方面每个样本。原文给出总损失是各粒度损失之和，每个粒度内是各方面损失的平均和，意味着音素、词、语句 3 层被平等加总，层内多方面取平均，没有提到对重读或完整性做额外加权。
均方误差损失 × 皮尔逊相关系数： 均方误差损失负责训练时拉近预测分与专家打分的绝对数值，分工是可微的优化目标；皮尔逊相关系数负责评估时衡量预测序列与真值序列的线性一致趋势，分工是与人类评分习惯对齐的评价尺度；搭配理由是发音分数是连续量，既要数值接近也要排序一致，组合意义是用均方误差驱动参数更新，用相关系数判断模型是否真正学到区分好坏发音的能力。
优化器用 Adam，初始学习率设为千分之一，第 20 个周期之后每 5 个周期减半，最大周期设为 100，以音素级均方误差最小的模型为最优模型保存。所有实验用不同随机种子跑 5 次并报告均值与标准差。原文未报告梯度是否在分数传递链上截断，也未说明编码器与交互模块的学习率是否区分、权重衰减与梯度裁剪取值，因此复现时只能按统一优化器处理，不从模型名称推定存在分层学习率。数据侧把词和语句分数统一重缩放到 0 到 2 量级，与音素分数同尺度，这是损失能直接相加的前提条件，若复现时忘记重缩放会导致语句损失主导训练。
数据、特征与模型尺寸的实验条件是什么？
数据用 speechocean762，这是原文称为当前唯一专为朗读式发音评估设计的开源标准集。构成是 5000 个英文句子、250 名非母语者录制，其中一半是儿童。每条语句有 5 个语句级方面分数、每个词有 3 个词级方面分数、每个音素有一个准确度分数，均由 5 位专家独立标注。语句与词原始为 0 到 10 分，实验统一重缩放到 0 到 2 分。评估指标在音素级用均方误差衡量数值差距，方向是越小越好。
在音素词语句各方面用皮尔逊相关系数衡量趋势一致，方向是越大越好。原文还报告人类专家间的一致性作为参照，不是模型可比基线。
特征侧为公平比较沿用基线做法，用基于 Librispeech 声学模型的对数音素后验与对数后验比组成 84 维 GOP 向量，纯音素数为 42 个。输入是投影后 GOP 加标准音素嵌入加可训练位置嵌入。模型尺寸上编码器与解码器层数均为 3 层，嵌入维度 48，交互模块查询维度同样 48 以便对齐，交互模块与 Transformer 的自注意力和交叉注意力头数均为 1，丢弃率 0.1，各粒度卷积核大小 5 步长 1。原文解释数据与特征维度不大是头数取 1 的原因。
主结果测了什么，与谁比，条件是否一致？
主结果要回答的是多方面多粒度同时打分时，新框架是否全面优于已有可运行策略。比较对象包括传统单粒度方法、GOPT、HiPAMA、Gradformer 等，条件是同一 speechocean762 与同一 GOP 特征流水线，指标是音素均方误差与各粒度皮尔逊相关系数。原文表格还列出人类专家一致性，但那是人类上限参照，不能当成可部署基线。
下图先看标注相关性，它解释了为何分层与交互有合理性，但相关性本身不是因果证据。
看图路径： 1. 先读横纵轴标签，确认七个指标中哪个是完整性所在的浅色行列；2. 比较音素准确度与词平均分交叉格的深色数值与相邻格差异；3. 沿语句总分行向右查看它与语句准确度及词平均分的相关强度
论文图 4。原论文 Figure 4：“Correlation matrix of different metrics at three granularities.”。
像素上这是一张 7 乘 7 相关矩阵，横纵轴同为语句准确度、流利度、韵律、总分、完整性、词平均、音素准确度。颜色越深数值越大，右侧色条从 0 到 1。对角线为 1。浅色十字带集中在完整性行列，其与语句准确度仅 0.14、与流利度 0.23，明显低于其他格 0.7 以上。而音素准确度与词平均交叉为 0.94，语句总分与语句准确度为 0.95。
解释是除完整性外各分数高度相关，支持联合建模；但完整性分布极偏，原文说 5000 句中有 4975 句完整性为 10 分，这是模型在该指标上不及人类的主要原因，也是后文限制节的重点。
下面比较主结果的公平条件与指标方向，再看数字表。比较问题是相同特征下谁的相关更高误差更低，公平条件是同数据集同 GOP 同 5 次平均，指标方向是均方误差越小越好、相关越大越好。
| Model | Phoneme | Stress | Word | Utterance |
|---|---|---|---|---|
| 0.657 | 0.436 | 0.628 | 0.764 | |
| 0.647 | 0.382 | 0.603 | 0.748 | |
| 0.645 | 0.374 | 0.593 | 0.753 |
该原表是交互头消融的宽表形态，这里借其结构说明读表方法，真正的主结果数字见下一张整理表。读原表时注意前五列与后四列分属不同消融维度，不能跨组直接比大小；数值相同也不代表同一指标。主结果的整理如下，单位按原文裸数值保留，不擅自加百分号。
| 模型 | 音素均方误差 | 音素准确度相关 | 词重读相关 | 词总分相关 | 语句总分相关 |
|---|---|---|---|---|---|
| GOPT | 0.085 | 0.612 | 0.291 | 0.549 | 0.742 |
| Gradformer | 0.079 | 0.646 | 0.334 | 0.614 | 0.756 |
| HIA | 0.076 | 0.657 | 0.436 | 0.628 | 0.764 |
表后解释主要收益与代价。报告显示 HIA 在音素误差最低且多项相关最高，提升最突出的是词重读，从 Gradformer 的 0.334 提到 0.436，这支持双向交互对重读建模有效的判断。但需加限制：完整性指标 HIA 并未超过人类，且标准差在重读上达 0.043 左右，说明该方面波动大；总体趋势成立不等于每 1 次运行都同样领先，复现时应报告 5 次分布而非单次最优。
拿掉交互头、残差与卷积后性能如何变化？
消融要回答各组件是否真有贡献，操作是每次只去掉或替换一处并看多粒度指标变化。先看交互头消融，原文分别去掉音素头、词头、语句头以及全部去掉，只保留残差分层打分。结果是各粒度用上对应交互头时本级指标提升，其中词头对词重读提升显著，全部用上时整体最优，这支持交互模块能捕捉跨粒度依赖的解释，但属于有限支持而非因果证明。
再看残差与分层消融，原文去掉残差连接后多指标下降，重读从 0.436 降到 0.382 左右；去掉层间分数传递即去掉分层后同样下降。这说明起点嵌入回灌与低层分数上传各有作用，缺少任一都会损失性能。卷积层消融显示从 0 层加到 1 层全面提升，加到 2 层 3 层反而下降，原文归因于数据不够大、参数增多难优化。模型尺寸消融显示嵌入 48 优于 24 但 96 略降，多头略低于单头，同样指向小数据下容量与优化难度的权衡。
下表用原文连续句锁定训练与结构配置，保证消融讨论的复现口径可回查。
| 配置维度 | 原文取值 | 适用位置 | 训练关联 | 备注 |
|---|---|---|---|---|
| 编码解码层数与维度 | 3 与 48 | 编码器解码器 | 与学习率配合 | 小数据优选 |
| 丢弃率 | 0.1 | 全模型 | 防过拟合 | 消融保持 |
| 卷积核步长 | 5 与 1 | 各粒度 | 局部特征 | 层数取 1 |
| 学习率策略 | 1e-3 起第 20 周期后每 5 周期减半 | 优化器 | 最多 100 周期 | 按音素误差选优 |
| 重复次数 | 5 | 全实验 | 报告均值标准差 | 关注重读方差 |
表后必须点出未胜出项与边界。未胜出的是 2 层 3 层卷积、大嵌入 96 与多头配置，它们并未带来进一步收益，这是具体的负结果。未评测的边界包括不同声学模型或自监督特征下的表现、儿童与成人分组表现、以及去掉位置嵌入后的变化，原文未报告这些切分，因此不能把整体最优推广到所有人群与特征条件。
哪些结论还不能下，缺了哪项验证？
首先区分 3 类表述。直接报告的是 HIA 在所用 GOP 与 speechocean762 上的误差与相关数值；有限解释是双向交互改善重读、残差缓解遗忘；未验证推测是把相关性当成因果或把实验室分数等同于课堂提分效果，后者原文没有测量，不能承诺。相关性矩阵显示的高度相关支持联合建模的合理性，但不能证明交互一定是重读提升的唯一原因，也可能是方面注意力或卷积共同作用。
数据偏置是明确限制。完整性满分样本占比过高导致模型在该指标上不及人类，说明在极不均衡标签下相关系数易失真，复现时应同时看分布与混淆情况而非只看单一相关。重读标准差较大提示该方面对随机种子敏感，部署前需补测多次稳定性与误判率。
成本与资源缺项也需点明。原文未报告参数量、训练时长、推理延迟与显存占用，也未给代码可用性声明，本次资源状态为未发现可验证的公开链接，因此不能写代码已公开。训练资源、推理开销与实际延迟应分别讨论，总体相关更高不等于每句延迟更低。若要在课堂系统落地，还需补测流式延迟、不同麦克风与噪声下的鲁棒性，以及与教师打分的一致性，这些在原文中均未覆盖。
复现先做什么，需要固定哪些信息条件？
复现的第一步是锁定信息条件：文本已知、音频与强制对齐起止帧已知、42 个纯音素的 84 维 GOP 按对数后验与后验比构造、词句分数重缩放到 0 到 2。先用 Librispeech 声学模型复算 GOP 并核对维度，再把投影后 GOP、标准音素投影、位置嵌入三者相加送入 3 层 48 维编码器，这是所有分支的起点，错 1 位后面全错。
第二步按样本路径实现交互模块：为三粒度各初始化查询并拼接，做 1 次自注意力得到整体头，再以它为查询、以编码器输出为键值做交叉注意力，经前馈投影切回三头。第 3 步实现残差分层：音素分支加起点与音素头过 1 层核 5 步长 1 卷积后回归；词分支加起点加音素分加词头后做方面注意力再卷积回归；语句分支加起点加词分加语句头，以五查询作解码器查询做解码再卷积回归。损失按层内平均层间求和，优化用 Adam 从千分之一开始、第 20 周期后每 5 周期减半、最多 100 周期、以音素误差最小存档，跑 5 种子取均值标准差。
先跑通单层卷积单头 48 维的最小配置，再做加减法验证交互头与残差的作用，不要一开始就调大嵌入或多头。若重读提升复现不出，优先检查词分数是否正确传入语句分支、语句查询是否可学习、以及分数重缩放是否遗漏，这些是初学者最易出错的三处。
何时值得尝试这种双向残差分层？
当任务本身具有清晰层次且高层语境会回头影响低层判断时，这种设计值得尝试，发音评估中的词重读就是典型。若你的任务各粒度高度相关但标注不均衡，要同时准备应对长尾指标的评估失真，不能只看平均相关。复现时先固定小容量单头与单层卷积，把双向交互与残差回灌跑通，再考虑是否增大容量；原文证据表明在小数据上盲目加大会更难优化。
还需补的验证包括分组表现、更换声学特征后的稳定性、以及真实课堂反馈效果。教学上记住一句话：交互解决的是层与层互相看得见的问题，残差解决的是越做越深忘记出发点的问题，卷积解决的是只看全局忽略邻居的问题。三者缺一都会在消融中掉点，但掉点幅度最大的重读与小数据敏感性提示，选型时要把稳定性与可复现性放在与最高分同等重要的位置。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses