词不够用时靠声音补：把音高和能量写进语音表示来解语用歧义

英文题目：Prosody-Aware Speech Representations for Emotion Recognition under Pragmatic Ambiguity

会议身份：conference:interspeech:2026:conference-paper-id:park26l_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #模型融合 #韵律 #语音情感识别

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yeonwoo Park：机构信息未能从会议 PDF 纯文本可靠映射
• Chioh Lee：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理韩语口语情感识别中的语用歧义问题，输入为单声道 16 kHz 短语音波形，输出为 59 类多标签情感，难点是同一文本如 Geurae 可因语调表达赞同或讽刺而词法线索失效。方法链分三步：冻结的 Whisper-large-v3-turbo 编码器将对数梅尔频谱转为帧级语义表征，负责提供转写导向的共享表示；并行提取的基频即 F0 与能量经插值对齐到同一时间分辨率，负责补回被语义抽象压制的韵律变化；拼接投影后送入两层 Transformer 编码器加三层线性层的分类头，负责联合建模语义与韵律并以 Sigmoid 输出多标签。与输出级晚期融合不同，该设计在共享隐空间直接注入显式韵律，使歧义消解依赖声学实现而非文本推理。在 AI-Hub 韩语朗读训练集与 1000 条语用歧义未见测试集上，韵律增强版本较同骨干无韵律版本在子集准确率即 Subset accuracy 上提升 13.93 个百分点，在语用歧义消解即 PAR 上提升 11.6 个百分点，并持平 GPT-4o mini 文本推理。结论仅在韩语朗读与会话剪辑范围内验证，跨语言、自发噪声及视觉缺失外的泛化尚未证明。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，今天要核对什么？

本文解读的对象是会议论文给出的语音情感识别研究，输入是韩语朗读与对话语音，目标是在文字相同但意图不同的情况下判断情感。读者需要先固定三件事。第一，任务不是转写，而是多标签情感分类，标签空间为 59 类，输出经 S 形函数得到每类的独立概率。第二，方法不是重新训练一个大语音编码器，而是冻结语音转文本取向的编码器，只在后面补韵律。第三，输出是两类分数，常规验证集用汉明准确率与子集准确率，未见歧义集用前 K 精确率表示的消解分数。

白话先行。语用歧义指一句话的字面意思不足以决定情感，英文对应词是语用学中的歧义现象，后文简称歧义。韵律指说话的音高走势与响度变化，后文简称韵律，论文用基频与能量两个可计算量来代表它。语音转文本编码器指为转写优化的预训练编码器，后文以 Whisper 为例。

语用歧义 × 韵律： 语用歧义指文字相同但说话意图不同，例如韩语 Geurae 可表示赞同、讽刺、犹豫或沮丧，负责指出文字信息不足的判定位置；韵律指音高起伏与能量强弱等副语言实现，负责提供文字之外的情感证据；二者搭配的理由是当词形不能决定标签时必须依赖声音，组合意义是把评价焦点从粗粒度标签一致转向能否在歧义句上恢复意图。

本解读按学习依赖展开。先讲任务与相关路线，再讲方法全景与组件计算，然后讲训练与数据构造，接着讲实验条件、主结果与反证，最后讲复现步骤与适用边界。所有数字只采用原文报告的同一骨干、同一指标与同一阶段，不跨指标相减，不把自动分数当作人工评价。凡标为例子的是教学举例，不是论文新实验。

已有路线解决了什么，还缺哪一块？

已有工作的一条主线是用大规模预训练语音编码器做情感识别。论文点名的对比包括基于文本的韩语编码器、基于音频的自监督编码器以及文本加音频的融合模型。具体做法是把编码器输出接分类头，在多标签数据上训练。原文报告显示，这类模型在汉明准确率（%）上普遍达到 96 到 98 左右，看似差距很小。初学者容易误以为转写能力强就等于情感理解强，这是本节要纠正的第一个误解。

第二条路线是显式使用韵律。论文引用的语音学依据是基频与能量承载重音、边界与意图，相关工作包括用倒谱与基频做情感语音转换，以及用无监督重构解耦韵律表示。教学例子是同样写成好的一句话，重音放前放后、尾音上扬或压低可以对应不同态度，但这只是帮助理解的例子，不代表论文测量了这些细类。

第三条路线是评价方法。已有情感挑战赛与多域基准多用标签级一致指标，论文认为这类指标会压缩模型差异。另一类相关工作是研究评分者不一致与模糊情感表达，说明真实对话中标签本身存在不确定性。论文的差别在于不只换更大的骨干，而是构造一个文字与多模态标注不一致的诊断集，直接考查声音证据是否保留在表示中。

为什么粗指标会把真差距藏起来？

问题可以拆成两层。第一层是表示问题。面向转写的编码器被设计为压掉表面变化以增强语义一致性，这对转写有利，但可能同时压掉情感与语用所需的细微韵律变化。论文的判断是这属于表示层问题，而不是单纯加大参数就能解决的问题。第二层是评价问题。当验证集里很多样本靠文字就能判对时，逐标签计对的粗指标会让不同表示看起来差不多。

白话先行。汉明准确率指 59 个标签每个位置分别算对错再平均，后文简称汉明分数。子集准确率指整套标签必须完全命中才算对，后文简称子集分数。语用歧义消解分数指在歧义集上看前 K 个预测是否命中，后文简称消解分数。

汉明准确率 × 子集准确率： 汉明准确率负责按 59 个标签逐个计对，反映粗粒度的标签级一致；子集准确率要求整套预测标签与真值完全一致，负责暴露细粒度错误；搭配理由是同一模型在前者上可相差很小而在后者上拉开二十多点，组合意义是说明必须用严格指标才能看见韵律是否被保留。

沿一个样本走一遍有助于建立依赖。输入是一段韩语短语音，文字转写可能是中性的肯定词。表示阶段得到编码器隐状态与对齐后的基频能量序列。组件阶段把二者拼接投影后送入分类头。目标是输出 59 类上的多标签集合。

输出阶段用子集是否全对与歧义集前 K 是否命中来判定。粗指标只看每个标签对错，严格指标看整集与歧义，两者方向都是越高越好，但严格程度不同。

方法全景：冻结 backbone，在后面补声音证据

方法全景分 4 步。第一步把全部音频转单声道并重采样到 16 千赫，然后送入冻结的 Whisper-large-v3-turbo 编码器得到帧级隐表示。第二步并行计算两路韵律特征，即基频与能量。第三步把韵律特征时间插值到与编码器输出相同的帧率，拼接后再投影到共享空间。第 4 步把共享表示送入由两层 Transformer 编码器加 3 层线性层构成的多标签分类头。

关键安排是冻结。原文明确写出编码器在训练中保持冻结，目的是隔离韵律注入在表示层的效果。插值只影响下游分类头，不改变 Whisper 内部注意力。这与晚融合不同，晚融合是在输出端合并各自决策，而本方法是把韵律直接写进共享表示后再联合建模。

Whisper 编码器 × 基频与能量注入： Whisper 编码器负责把 16 千赫单声道波形转成面向转写的语义抽象表示，分工是提供共享的语音语义基础；基频与能量注入负责把用 Parselmouth 与 Librosa 提取并插值到编码器帧率的音高与强度拼接到该表示后做联合投影，分工是补回被抽象压掉的细粒度变化；搭配理由是冻结编码器可隔离表示层效应，组合意义是在不改动内部注意力的前提下让分类头同时看到语义与韵律。

白话小结。Whisper 负责听懂说了什么字，基频与能量负责补上是怎么说的，分类头负责把两者一起看后决定是哪几种情感。论文强调这不是提出全新架构，而是诊断常用语音表示是否保留了韵律信息，以及缺失能在多大程度上被补回。

基频与能量是怎么算出来并对齐的？

基频提取用 Parselmouth 与 Librosa，有效范围限定在 50 到 500 赫兹，无声或清音帧赋零值。对阈值内的微小抖动先做线性化，再做时间对齐。能量用 Librosa 短时傅里叶幅度在有效频段上求均方根得到。两者都经时间插值，使帧数与 Whisper 编码器输出一致后再拼接。原文说明这是基于前期韵律特征筛选后保留的两路输入，阈值线性化的具体数值沿用作者此前预处理设置，本次证据未给出阈值本身，因此复现时只能写明缺这一项，不能自行假设。

对齐的因果要讲清。先有编码器帧率，再把韵律插值到该帧率，最后拼接投影。因为编码器冻结，插值与拼接的梯度只会进入投影层与分类头，不会回传到 Whisper 参数。原文未报告投影层的具体维度、激活函数与归一化方式，这部分属于具体缺项，后文复现节会列出需要补看的内容。

教学例子是设想一条 2 秒短句，编码器给出每 20 毫秒 1 帧的隐向量，基频序列原始帧率不同，经插值后变成同样帧数，两者在时间轴上一一对应后拼接。若某段为静音，基频为零，能量接近零，模型仍能看到该段的语义隐状态，这是联合表示的含义，不是把静音直接判为某种情感。

分类头与上下文条件各做什么？

分类头由两层 Transformer 编码器层加 3 层线性层组成，输出 59 类的多标签预测，训练用二元交叉熵对每个标签独立施加，推理用 S 形函数得到概率。原文未给出隐藏维度、头数、丢弃率与前 K 中 K 的取值，这些属于未报告的实现细节，不能从模型名称推定。上下文条件是另一路对照，不是分类头的默认输入。上下文设置指取目标句前后各 5 句作为上下文来预测目标句情感，用于与韵律注入比增益大小。

分工要固定。编码器提供语义基础，韵律提供副语言证据，上下文提供邻句文字语境，分类头负责把给定表示映射到标签集合。搭配理由是三者在同一骨干下可单独开关，从而分离各自贡献。新增作用是只有当韵律带来的严格指标提升明显大于上下文时，才能支持韵律更直接的判断。

原文还设置了外部参照。用 GPT-4o 迷你版基于转写文本做情感分类，可访问句子上下文但听不到声音。这个参照不是可比的同条件语音系统，它的作用是检验强文本推理能否靠文字与上下文解决歧义。若语音韵律模型追平或超过它，则支持歧义需要声音证据的解释。

训练了什么，冻结了什么，优化如何设置？

训练对象是共享投影与分类头，Whisper 编码器参数冻结不更新。监督来源是韩国 AI-Hub 文学朗读语音数据的 59 类细粒度情感标注，同时附带朗读者年龄与性别元信息。数据按 8 比 2 分训练与验证并保持标签分布的分层抽样，总量约 457 小时。优化用 AdamW，初始学习率 0.005，权重衰减 0.01，损失为多标签二元交叉熵，单张 A100 显卡训练并使用混合精度加速。

必须说明没有训练什么。文本编码器、音频自监督编码器与融合基线是作为比较家族出现，论文未报告它们的逐模型训练轮数与早停细节，因此不能假设它们与 Whisper 变体在训练预算上完全一致，只能按原文写明它们是不同表示家族的参照。GPT-4o 迷你版没有在本数据上训练，它是调用已有模型做转写文本推理的参照。

梯度路径按原文可讲清的部分是冻结编码器意味着梯度不进入 Whisper，只更新注入后的投影与分类头。原文未报告批量大小、训练轮数、学习率衰减、随机种子与聚合方式，因此复现时应把这些记为缺项，而不是用默认值补齐。混合精度只说明用于加快训练速度，原文未测量它对精度的影响，不能承诺加速无损。

数据从哪来，歧义集如何构造？

训练与验证用文学朗读数据，测试用另建的歧义句集。歧义集来自约 100 小时、5600 个韩语对话视频片段，人工同时看音频文本与画面给出多模态标签，另分别给出音频、文本与视觉单模态标签。操作定义是多模态标签与音频单模态一致但与文本单模态不同即为歧义，三者全一致即为非歧义。从中随机抽取 1000 条歧义 utterance 组成未见测试集，并要求来源对话片段不重叠，以避免上下文泄漏并保证情景多样。音频从视频中抽取并按话语边界对齐。

年龄与性别分布按原文表 1 交代，20 到 29 岁男女各 13%，30 到 39 岁男女各 11%，40 到 49 岁男性 11% 女性 9%，50 到 64 岁男女各 11%，65 到 90 岁男性 6% 女性 4%。该表说明朗读者构成，不直接等于训练样本时长分布，引用时不能把朗读者比例当作样本比例。

语用歧义消解评价 × 多模态与文本标签不一致： 多模态与文本标签不一致负责给出歧义的操作定义，即多模态标签与音频单模态一致但与文本单模态不同；语用歧义消解评价负责用这批 1000 条无上下文歧义句测模型能否只靠声音恢复意图；搭配理由是常规验证集仍含大量文字可判的样本，组合意义是构造一个文字不够用的诊断集。

指标分工是汉明分数与子集分数用于验证集，前 K 精确率用于歧义集。方向都是越高越好。原文明确指出汉明分数压缩差异，子集分数要求全对更严格，消解分数考查歧义。硬件与成本只报告了单卡 A100 与混合精度，推理延迟、吞吐与参数更新量未报告，不能从 663M 参数推定实际延迟。

和谁比，条件是否对齐到同一骨干？

比较分 3 层。第一层是跨家族比较，包括韩语文本编码器、音频自监督编码器、文本加音频融合模型以及 Whisper 变体，用于看表示类型在常规与严格评价下的表现。第二层是同骨干受控比较，包括 Whisper 无韵律、加基频与能量、再加上下文三档，用于分离韵律效应。第 3 层是文本大模型参照，用 GPT-4o 迷你版测只看文字能走多远。

公平条件要逐层讲。跨家族比较的公平性有限，因为参数量与预训练目标不同，例如 Whisper-large-v3-turbo 为 663M，融合模型为 222M，自监督基座多为 95M，文本基座为 111M。论文的写法不是用参数量论胜负，而是用同骨干比较来隔离韵律作用，这个设计需要肯定。同骨干三档共享冻结编码器与分类头结构，差异只在是否拼接韵律与是否加上下文，因此增益更可信。大模型参照的条件不同，它有句子上下文但无声音，只能作为信息条件的对照，不能当作同条件语音基线。

原文未报告统计显著性、多次随机种子方差与阈值选择方法，前 K 的 K 值也未在证据中给出。因此引用数字时应写明是单次报告值，适用条件限于该 59 类标注体系与该歧义构造，不推广到所有情感任务。

主结果：粗指标挤在一起，严格指标拉开差距

先提出比较问题。在保持骨干与训练数据不变、只改变是否注入韵律时，严格指标是否比粗指标放大多大差距，以及跨家族排名是否在严格指标下改变。公平条件是同为 Whisper-large-v3-turbo 骨干，指标方向均为越高越好。

下表整理同一骨干下韵律注入的主效应，数值保留原文裸值与百分点写法，汉明分数的高位相近背景在正文另述，不混入本表。表前说明已给出比较问题与公平条件，表后将解释收益与代价。

表后解释需要同时讲收益与限制。收益是同骨干下子集分数提升 13.93 个百分点，消解分数提升 11.6 个百分点，原文报告为最高达该幅度。限制是汉明分数仅从 97.07 到 97.87 左右，粗指标几乎看不出差别，这正好支持论文的评价诊断。若只看汉明分数会误以为方法改进很小，若看严格指标才能看见歧义被解决的程度。未胜出项也要保留。

无韵律的 Whisper 在子集分数上只有 12.46，低于融合模型的 20.51 与 HuBERT 基座的 15.30，在消解分数上为 21.00，低于融合模型的 24.40，仅略高于 HuBERT 基座的 20.80。这说明大参数与转写目标本身不保证歧义鲁棒性。

跨家族的另一证据是汉明分数跨模型仅约两点范围，而子集分数与消解分数各跨二十五点以上，粗指标把真实变异压缩了近一个数量级。引用时必须区分百分点与相对百分比，原文用%p 表示百分点，不能改写成百分之多少的相对提升。

是韵律的作用大，还是多看几句上下文作用大？

本节的消融问题是同一骨干下韵律与上下文谁更直接。比较条件是都以 Whisper-large-v3-turbo 为基础，指标同为子集分数与消解分数。原文报告上下文带来子集分数加 4.83 个百分点、消解分数加 1.6 个百分点，而韵律带来 13.93 与 11.6 个百分点的提升。加两者后达到子集分数 31.22 与消解分数 34.20，但增量主要来自韵律。

下表把韵律增益、上下文增益与外部文本参照放在一起，列数满足五列要求，数字全部来自原文连续句，裸值不擅自加百分号，增益保留%p。

表后解释要讲机制与反例。机制上韵律直接提供歧义句的声音证据，上下文只提供邻句文字，二者在歧义定义下本就不对称，因此韵律更大符合预期。反例是小 Whisper 基座上韵律提升有限，基座无韵律子集分数仅 00.49，消解分数 11.90，加韵律后为 00.49 与 12.57，几乎无改善。论文的解释是较大转写模型语义抽象更强因而压掉更多韵律，小模型接近任务下限，效应依赖表示特性而非单纯随规模单调变化。另一边界是文本大模型在消解分数上为 31.10，低于韵律 Whisper 的 32.60，支持文字推理不能可靠解决副语言歧义，但这不等于语音模型在所有任务上优于大模型。

韵律增益 × 上下文增益： 韵律增益指在同一 Whisper 骨干上加入基频与能量后子集准确率与消解分数的提升，负责度量声音证据的直接作用；上下文增益指再加入目标句前后各 5 句后带来的额外提升，负责度量文本语境的作用；搭配理由是二者在同一骨干与同一指标下可比，组合意义是判断歧义主要靠声音还是靠邻句解决。

复述时不要把事后最优当可部署收益。加上下文的 34.20 需要前后各 5 句，在实时字幕等场景可能不满足该信息条件。核心可部署结论应以无上下文的韵律注入档为准，即子集分数 26.39 与消解分数 32.60。

哪些还没测，哪些不能承诺？

先讲已验证的边界。论文直接报告的是韩语 59 类体系与特定 AI-Hub 数据上的结果，歧义集为 1000 条且要求来源片段不重叠。结论的支持范围限于该语言、该标签粒度与该构造，不能直接推广到英语或其他情感体系。原文用可能与待验证的语气讨论小模型效应，说明表示特性解释属于有限解释，不是因果证明。

再讲缺项。投影维度、分类头超参数、前 K 的 K 值、批量大小、训练轮数、早停、随机种子与方差均未在证据中报告。基频线性化阈值沿用此前设置但数值未给出。推理延迟、吞吐、显存占用与输出帧率未测量，不能承诺方法改善延迟或成本。误判率分解、按年龄性别的公平性分析也未报告，尽管数据附带了这些元信息。

最后讲资源状态。本次收到的资源证据显示没有完成超链接状态验证的来源绑定，因此不得声称代码、模型或数据已公开。数据信息原文指向 AI-Hub，但本次未能确认可达，引用时只能写原文给出该指向，不能写当前可用。生成式人工智能披露写明仅用于语言润色，技术内容由作者负责，这不影响对方法与数字的核对责任。

要复现，先做什么，后补什么验证？

复现先做 4 步可执行动作。第一步按原文准备音频，把全部输入转单声道并重采样到 16 千赫，保持与特征提取一致。第二步加载冻结的 Whisper-large-v3-turbo 编码器并确认训练时不更新其参数，只训练后面的投影与分类头。第三步用 Parselmouth 与 Librosa 在 50 到 500 赫兹提取基频并把无声帧置零，对微小抖动做线性化，用短时傅里叶幅度求均方根得能量，再插值到编码器帧率后拼接投影。第 4 步搭建两层 Transformer 编码器加 3 层线性层的多标签头，用二元交叉熵与 AdamW 训练，初始学习率 0.005，权重衰减 0.01，单卡 A100 加混合精度。

再做两组必须的对照。第一组是同骨干无韵律基线，用于复算子集分数 12.46 到 26.39 与消解分数 21.00 到 32.60 的差距。第二组是加上下文对照，取前后各 5 句，复算额外加 4.83 与 1.6 个百分点的增量。若只能跑一组，优先跑无韵律与加韵律的对照，因为它是论文最强证据。

还需补三项验证。第一是补报 K 值、阈值、批量大小、轮数与多种子方差，否则无法判断提升是否稳定。第二是在非歧义句与跨说话人划分上复测，确认韵律没有损害常规样本。第三是记录推理延迟与显存，确认拼接与插值在目标部署环境可行。何时值得尝试是当应用中出现大量短句、中性词但情感不同的情况，例如情感字幕与对话系统，且允许使用声音信号时。若只能拿到转写文本，则本方法不适用，应回到文本基线。

收束：记住哪一个矛盾，哪一条复述线？

中心矛盾是转写要抽象，情感要细节。面向转写的表示压掉表面变化有助于认字，但会丢掉决定短句意图的音高与能量。粗指标让不同表示看起来差不多，严格指标与歧义集让差距显形。论文用冻结骨干加韵律注入证明缺失可以部分补回，且补声音比多看邻句更直接。

可复述的方法线是一句话。冻结 Whisper-large-v3-turbo，把对齐到同帧率的基频与能量拼进共享表示，用两层 Transformer 加 3 层线性头做 59 类多标签分类，在歧义集上用前 K 精确率检验。关键数字线是同骨干子集分数加 13.93 个百分点，消解分数加 11.6 个百分点，上下文额外增益远小于韵律，韵律 Whisper 消解分数 32.60 追平文本大模型的 31.10。适用条件线是韩语、该标签体系与该歧义构造，缺超参数与延迟数据，资源本次未能确认可达。

给研究生的行动建议是以后做语音情感先问三件事。评价是否含歧义句，指标是否只用了逐标签平均，表示是否保留了声音证据。若三者缺其一，常规高分可能高估鲁棒性。下一步值得做的是把韵律保留写成表示的显式要求，并在更多语言与实时约束下重测，而不是只追大参数与粗指标。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总