芬兰语自然语音的效价要看说了什么，唤醒度主要听怎么说

英文题目：Looking for Affect in Spontaneous Finnish Speech through Linguistic Interpretability

会议身份：conference:interspeech:2026:conference-paper-id:lahtinen26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #可解释性 #言语感知 #语音 #语音情感识别

评分：5.3/10 | 创新 1.0/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：后50% | 文档类型：应用研究

👥 作者与机构

• Kalle Lahtinen：机构信息未能从会议 PDF 纯文本可靠映射
• Liisa Mustanoja：机构信息未能从会议 PDF 纯文本可靠映射
• Okko Räsänen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文研究自发芬兰语中人类感知的效价与唤醒度建模，输入为1至20秒语音片段及其口语转写，输出为[-1.0,1.0]区间连续评分，难点在于自发情感模糊、标注主观且芬兰语口语变异大，既有研究割裂为声学或文本两条线。第一步做数据准备与转写对照，将口语芬兰语转写保留为CF并经GPT 4.1规范化为标准芬兰语SF，再经Trankit做词形与句法预处理，其输出直接作为文本特征入口。第二步做冻结式离线特征提取，文本侧得ModernBERT嵌入、FinnSentiment三维后验、36维词典向量与语言学归一化向量，音频侧得ExHuBERT嵌入与88维eGeMAPS功能集，并可拼接另一维度人工感知分。第三步做浅层回归评估，将拼接特征送入MLP分别回归效价与唤醒度，以L=1-CCC为损失，按说话人分组评估127种组合。与已有方法相比，该工作未提出新编码器，差异在于冻结预训练表示并显式对照隐式嵌入与可解释词典句法特征，同时对照CF与SF以分离声学与语言贡献。在FinnAffect测试集评测设置下，音频组合的CCC指标为0.686±0.019，高于文本组合的CCC指标为0.196±0.036。结论仅适用于芬兰语自发对话与主题独白场景，且依赖人工转写与人工跨维度分数，跨语言与全自动流水线外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://huggingface.co/fergusq/finbert-finnsentiment — 暂时无法访问 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

本文解读的对象是一项关于自发芬兰语语音情感感知的回归研究。输入是每条 1 秒到 20 秒的自然语音及其对应的文本转写，目标是预测人类听众对这条语音的效价打分和唤醒度打分。效价是白话说的听起来偏正面还是偏负面，英文为 valence，唤醒度是白话说的听起来偏平静还是偏激动，英文为 arousal，二者都标注在负 1 到正 1 的连续区间内。研究者不是要做快乐愤怒悲伤的分类，而是要回答在芬兰语里，说了什么和怎么说分别解释了多少听感差异。

本解读默认只依据论文原文证据写作，不引入外部评价。必须保留的关键信息包括数据来源与划分方式，7 类特征的构造方法，多层感知机回归器的结构与训练流程，一致性相关系数作为损失和指标的用法，以及口语转写与标准芬兰语转写的对照条件。输出按学习依赖组织，先讲任务与已有路线，再讲方法全景与组件计算，然后讲训练与实验条件，最后讲结果反证与复现要点。

效价 × 唤醒度： 效价指听感上偏积极还是偏消极，唤醒度指听感上偏平静还是偏激动，二者构成 2 维情感空间的两个轴；本研究把它们都当作区间为负 1 到正 1 的连续打分分别回归，正是因为自发语音的差别是渐变的，搭配研究才能问清文本内容和声音方式各自解释哪一轴的变化。

初学者容易把这项工作误解为做一个能用的情感识别器。更准确的动作是把它理解为特征重要性实验，作者固定回归器结构，系统枚举文本特征与音频特征的全部组合，用验证集排序，用独立说话人的金标准测试集报告成绩，从而比较单模态与双模态的信息量。教学例子仅为例子，比如某条捐赠语音在说日常生活安排，听众可能给效价接近零而唤醒度偏低，这只是帮助理解连续打分的示意，不代表原文报告过该样本的数值。

已有路线把声音方式和文字内容分到了哪一边？

在其他语言的已有发现里，唤醒度主要被认为通过声音的声学属性传递和感知，也就是说话人怎么说，效价则被认为更依赖语言语义内容，也就是说了什么。论文引用了这类跨语言综述和建模工作作为动机，并且指出即使纯音频模型能在效价上取得好成绩，也可能是因为它在声学训练数据里隐式学到了语言语义结构，而不是因为效价本身只存在于韵律里。

芬兰语此前的研究是分裂的。一条路线集中在表演语音的声学语音学分析，说话人少，语言材料窄。另一条路线集中在文本情感分析，例如基于社交媒体语料的芬兰情感数据集与后续情感分析工具，以及基于芬兰议会转写的情感研究，但与语音声学联系很少。语言学内部对句法和词汇的情感作用也有讨论，但多在特定语境下进行。作者因此提出需要同时考虑声学语音特征和言语内容的大规模自然语料分析。

本研究的对照位置很明确，它不与离散情感分类的表演语料直接比胜负，而是与自然条件下连续效价与唤醒度回归的路线对齐。相关工作比较强调同输入同目标同监督，只有在输入都是自发语音、目标都是连续听感打分、监督都来自人类听众时，跨语言结论才有可比性。把表演数据的分类准确率与本文的一致性相关系数直接对比，会混淆任务难度和指标含义。

要回答的具体问题是什么，难在哪里？

具体问题可以写成两问。第一问，在自发芬兰语里，文本特征与音频特征各自能解释多少效价与唤醒度听感方差。第二问，把二者组合后是否带来互补增益，增益在效价轴和唤醒度轴上是否对称。难处在于自然语音的情感标记是文化和语言相关的，芬兰语口语与书面标准差异大，词形变化丰富，简单词典命中可能漏掉上下文组合的情感含义。

另一个难处是效价与唤醒度在感知上可能相互作用。作者因此在预测效价时把人类感知的唤醒度分数作为可选的 1 维特征，反过来在预测唤醒度时把效价分数作为可选特征，用来模拟听众同时做两个维度判断的情形。这个设计不是用模型预测值做自回归，而是把另 1 维度的人类标注当作额外输入，目的是检验两个维度在数据中的部分相关能否帮助拟合。

从复述角度看，关键是记住评估对象是人类打分，不是客观生理状态。模型输出越接近 5 个或单个标注者的平均听感，一致性相关系数越高。后续所有特征比较都围绕这个听感拟合能力展开，而不是围绕语音是否真的表达了某种内部情绪。

沿一条样本走完输入到输出的全景是什么？

取一条已标注样本为例，输入包括一段语音波形，一份口语转写文本，以及必要时另 1 维度的听感分数。文本侧先经过芬兰语分词流水线做词元切分、词形还原、形态与句法标注，再分别构造 4 组文本特征。音频侧分别提取预训练情感模型的平均池化嵌入和声学参数泛函。所有被选中的特征向量在进入回归器之前拼接成一个长向量，再送入 3 层多层感知机，输出一个连续的效价或唤醒度预测值。

这个流程的教学价值在于分支清晰。文本分支回答内容提供了什么语义与句法线索，音频分支回答声音提供了什么韵律与音质线索，拼接点是唯一的信息汇合处，多层感知机负责学习跨模态组合。作者对全部特征组合都重复这 1 流程，共计 127 种组合，从而得到特征重要性的完整对照。

下段导读图 1 的方式是先看主路径再看汇合与容量设计，图中左侧为特征入口，中间为拼接符号，右侧为回归模型主体与输出方向，底部为每个隐藏层的内部结构说明，阅读时应把箭头方向与文字标注对应起来。

看图路径： 1. 先从左侧找到 Text 分支的四个文本特征入口和 Audio 分支的两个音频特征入口；2. 再看中间交叉圆圈处的拼接位置，确认七路特征是在进入多层感知机之前拼接；3. 再读右侧三个隐藏层方框标注的宽度规则，确认输入维度变化时网络容量如何自适应；4. 最后看底部每个隐藏层内部的线性层加批归一化加激活加丢弃结构

论文图 1。原论文 Figure 1：“Regression experiment setup for predicting contin- uous valence and arousal scores, including the model hidden layers (h1 – h3) and the included feature sets.”。

该图显示的回归实验装置包含左右两大部分。左侧用两个标签区分文本来源与音频来源，文本下挂 4 个条形入口，音频下挂 3 个条形入口，每个入口后都有断线符号表示该路特征可选，7 路汇入中间带交叉的拼接圆圈后再进入右侧大框。

右侧大框顶部标明是多层感知机回归模型，内部从左到右排列 3 个高度递减的隐藏层，分别标注了随输入维度自适应的宽度计算规则，底部用虚线引出每个隐藏层共用的线性层加批归一化加激活加丢弃结构，最右侧箭头指向效价或唤醒度输出。这 1 像素细节支持复述时说清拼接发生在模型之外，容量随输入维度变化，而不是固定宽度的简单回归。

七组特征各自如何计算，维度含义是什么？

文本侧第一组是芬兰语预训练模型的平均池化嵌入，维度为 1024 维。它把每个词元的向量在句级平均，得到整句的稠密语义表示，维度本身不可解释，但保留上下文组合信息。第二组是情感分析后验概率，维度为 3 维，分别对应消极中性和积极，来自基于芬兰语预训练模型的情感分类器。第三组是基于 4 个芬兰语词典拼接的 36 维向量，做法是对句中每个词元先查词典命中，再对命中的维度取平均得到词元向量，然后在句级求和并拼接命中词元个数。

第 4 组是基于分词流水线的语言学归一化向量，口语转写为 106 维，标准芬兰语为 107 维，做法是对格、附着成分、否定、人称、时态、词性等独热特征在词元上取平均，并拼接依存树深度。

隐式特征 × 显式特征： 隐式特征指预训练模型输出的稠密嵌入向量，负责把大量上下文压缩成判别力强的表示但维度不可直接读懂，显式特征指每个维度都有语言学或声学含义的向量，负责提供可回溯到词典和句法的解释；二者搭配的理由是用隐式特征保证回归上限，用显式特征检验哪些语言学维度真的与听感打分对应。

音频侧第一组是语音情感识别模型的平均池化嵌入，维度为 1024 维。作者明确不对芬兰语微调，目的是让该表示聚焦非芬兰语的声学情感方面，避免隐式引入芬兰语词汇知识。第二组是 88 维声学参数泛函，用开源工具提取，覆盖已被情感计算文献认为相关的低层声学语音特性，每个维度在全部数据上做了标准化。第七个可选维度是另一情感轴的人类标注分数，维度为 1 维。

ModernBERT × ExHuBERT： ModernBERT 分工是读转写文本并做平均池化得到 1024 维语义表示，ExHuBERT 分工是读语音波形并做平均池化得到 1024 维声学情感表示且作者刻意不对芬兰语微调；搭配理由是让文本分支只带说什么的信息，让音频分支只带非芬兰语声学表达的信息，组合后才能分离互补增益来自跨模态还是单模态内部。

词典向量的细节值得初学者动手复述。对每个词元，作者分别检查 4 个词典，同一词元在同一词典可能有多条命中，此时先对命中维度取平均。4 个词典提供的维度不同，例如一个词典提供积极消极与 8 种基本情绪维度，另一个提供情绪强度维度，还有两个名词词典提供熟悉度效价情绪负荷冒犯性具体性等均值与标准差维度。最后把所有词元向量求和，并把命中词典的词元数拼接到句向量末尾。这种先平均后求和的设计保留了命中强度与命中数量两个信息。

FinnSentiment × 情感词典： FinnSentiment 分工是把整句映射为消极中性积极 3 个后验概率，属于学到的句级情感判断，情感词典分工是把每个词元在 4 个芬兰语词典中的维度先取平均再在句级求和，属于可查表的词级先验知识；搭配的原因是检验预训练情感分类器相对人工词典是否多提供了上下文组合信息，组合意义在于区分效价感知来自整句语义还是词表命中。

文本还有一个关键预处理。原始转写是口语形式，作者另用大模型接口把每句规范化为标准芬兰语，所有文本特征在两种版本上分别提取和实验。分词流水线统一用芬兰语专用工具链提供词形还原与形态句法特征，这是语言学向量可复现的前提。音频嵌入的提取不做微调，声学泛函的标准化跨全部数据进行，这些都是复现时容易忽略但会影响数值对齐的细节。

回归器如何训练，损失与优化是什么？

本研究的训练对象是多层感知机回归器，不是预训练大模型本身。预训练的文本与语音编码器参数被当作固定特征提取器使用，论文没有报告对它们做梯度更新，因此应理解为冻结调用。需要训练的是拼接后的 3 层回归网络，其隐藏层宽度随输入维度自适应，图中标注了取最小值与输入维度 1 半等规则，每个隐藏层内部依次经过线性变换、批归一化、非线性激活和丢弃率为 0.3 的丢弃层。

监督来源是人类听众的连续打分。损失函数取 1 减去一致性相关系数，优化器为自适应矩估计，学习率设为千分之一。训练与验证采用按说话人分组的五折划分，同一说话人的样本不会同时出现在训练与验证的不同折中。每种特征组合训练 50 个轮次，取验证集上表现最好的模型再到金标准测试集上评估，最终报告五折在验证集与测试集上的一致性相关系数均值与标准差。

需要明确指出的缺项是论文没有给出批量大小、权重衰减、随机种子与早停 patience 的完整数值，也没有报告训练时长与硬件预算。复现时只能先按学习率、50 轮、五折分组与丢弃率搭建最小可运行流程，再补齐未报告的超参数搜索记录。另一点是另一情感维度的标注在训练时作为输入特征使用，测试时同样需要该维度的分数条件，这在实际部署中并不总是可用，因此应理解为分析互补性的实验设计，而不是可直接部署的系统配置。

数据从哪里来，划分与指标如何保证公平？

数据使用新发布的自发芬兰语情感语料中已标注的 12000 条样本。每条样本长 1 秒到 20 秒，配有转写文本与效价唤醒度标注。2000 条由全部 5 名听众标注，称为金标准子集，用作测试集。其余 10000 条由 5 名听众每人各标注 2000 条，用于训练与验证。语料来源包括大规模众包捐赠语音以及赫尔辛基与坦佩雷地区的纵向访谈录音，覆盖对话与话题引导独白，录音设备与年代差异较大。

划分按说话人标识进行，测试集说话人与训练验证集说话人不重叠。论文表格报告的样本量、说话人数、性别分布、总时长与平均时长是核对实验条件的依据。训练验证组合约 4063 条，总时长约 3.94 小时，平均时长约 2.90 秒。测试集 2000 条，总时长约 2.27 小时，平均时长约 4.09 秒。访谈语料中同一说话人在不同年代或不同场次可能有不同编号，作者说明去重后的独立说话人数少于原始编号数。

口语转写 × 标准芬兰语转写： 口语转写指按实际发音逐字记录的 colloquial 文本，标准芬兰语转写指用大模型规范化后的 standard 文本；二者分工是控制口语变体和形态噪声对文本特征的影响，搭配比较的理由是判断情感模型究竟依赖规范语义还是依赖口语形式，组合意义在于为复现者选定预处理路线。

指标统一用一致性相关系数，越高表示预测曲线与人类打分在相关性与偏置上越一致。排序依据是验证集均值，避免用测试集挑选最优组合。统计检验用配对 t 检验比较口语与标准文本的差异，以及加入另一情感维度前后的增益。作者还报告了测试集上跨标注者的标准差，用来刻画不同听众对特征的利用差异。关于第三方情感分类器链接，原文引用了托管地址，但本次收到的资源状态为暂时不可达，因此此处只能写本次未能确认该链接可达，不写已公开可用。

效价为什么需要双模态，唤醒度为什么音频就够？

效价回归的核心比较问题是，在固定回归器与划分的条件下，文本加音频组合是否稳定超过单模态，以及超过幅度是否大于折间波动。公平条件是同一五折分组、同一损失与训练轮次，指标方向是一致性相关系数越高越好。下表整理了效价侧的关键可运行策略，单模态文本全部特征、单模态音频全部特征与最优双模态组合都保留，没有删除不利基线。

上表显示效价的最优双模态组合在测试集上达到 0.428 左右，明显高于文本全部特征的 0.266 与音频全部特征的 0.213。具体代价是该最优组合依赖另 1 维度的人类唤醒度分数、两个 1024 维大模型嵌入与情感分类后验，参数与推理开销大于单模态。未胜出的反例同样重要，单独词典特征在测试集上仅约 0.150，单独语言学归一化向量仅约 0.129，说明可解释的词表与句法特征单独解释力有限。口语与标准文本在最优组合上的差异不显著，但在全部文本特征集合上标准文本平均高出约 0.023，这是需要保留的条件细节。

唤醒度回归的比较问题相同，但结论相反。下表保留文本全部、音频全部与最优组合，指标同为一致性相关系数，方向越高越好。

上表显示唤醒度的音频全部特征已达 0.686，最优组合仅到 0.688，互补增益不具实质意义。单独语音嵌入已达 0.650，声学泛函单独也有 0.536，而文本全部特征仅 0.196。代价与反例是文本分支在唤醒度上基本无效，加入文本更多是增加复杂度而非提升上限。跨标注者差异也支持这一判断，效价最优组合的跨听众波动降到 0.04 以下，而唤醒度用效价单特征预测时跨听众波动高达 0.124，说明听众在唤醒度上对另 1 维度的利用很不一致。

拿掉哪一路特征，成绩掉得最多？

消融按特征类型组织。效价侧，拿掉文本只留音频，最优成绩从 0.428 掉到 0.213 左右。拿掉音频只留文本，掉到 0.266 左右。只留单个可解释特征，词典与语言学向量分别掉到 0.150 与 0.129 区间。只留情感分类后验，效价可达 0.315，说明句级情感判断比词典命中更接近听感。加入另 1 维度分数对效价的平均增益约 0.03，口语与标准文本的差异在最优组合上不显著。

唤醒度侧，拿掉音频只留文本，成绩从 0.688 掉到 0.196 左右。只留音频已达 0.686，与最优组合几乎持平。音频内部，单独语音嵌入 0.650，单独声学泛函 0.536，二者组合即达 0.686，说明稠密嵌入与低层声学参数各有增量但文本增量很小。文本内部，语言学向量在唤醒度上反而是文本单特征中相对较高的，达到验证集 0.221 左右，但测试集仅 0.156，泛化不稳定。

失败条件也值得记录。作者尝试用线性回归与决策树进一步解释词典与语言学维度，但因这两组特征对打分的解释力本身很低，难以得出句法或词汇属性与情感内容的稳定关联。原文明确指出需要更多标注数据才能系统研究单个特征的交互，这不是技术错误，而是证据不足时的诚实边界。复现者不应把词典权重复述为因果结论。

哪些结论有边界，哪些验证还没有做？

直接报告的结论是双模态显著改善效价，音频主导唤醒度，这一点有金标准测试集数字支持。有限解释是文本信息对效价感知更关键，这一表述得到跨模态增益不对称的支持，但仍是相关性层面的解释，不是因果证明。待验证的推测是哪些具体句法或词汇因子驱动了效价感知，原文的线性与树模型尝试没有给出稳定答案，因此不能把某个格标记或依存深度说成情感标记。

未测量的边界包括误判率、延迟、推理成本与训练资源消耗。论文没有报告硬件预算与训练时长，也没有报告输出帧率与实际延迟，因此不能承诺双模态组合在部署成本上同样占优。总体趋势不等于每组都成立，例如标准文本在全部文本集合上平均更好，但在最优双模态组合上口语略好且差异不显著，复现时应按具体特征集合分别结论。

数据边界同样明确。测试集平均时长长于训练验证集，来源覆盖众包与访谈，录音质量与年代差异大。按说话人划分避免了说话人泄露，但同一说话人不同年代编号问题经过去重处理，复现时必须沿用相同的去重逻辑，否则划分口径不一致会导致数字不可比。原文表格与算法互相冲突时应标注冲突，本研究未发现核心指标定义冲突，但口语与标准文本的维度差 1 维，拼接时必须分别处理输入维度。

要复现这套比较，先做什么，后补什么？

先做数据与划分复现。下载已标注的 12000 条样本，按金标准 2000 条做测试集，其余按说话人分组做五折训练验证。核对样本量、总时长与平均时长是否落在原文报告附近，检查口语转写与标准转写的对应关系是否一一对齐。文本统一用芬兰语分词流水线做词形还原与形态句法标注，音频统一提取 1024 维语音嵌入与 88 维声学泛函并做标准化。

再做特征与模型复现。文本侧复现 1024 维语义嵌入、3 维情感后验、36 维词典向量与 106 或 107 维语言学向量。音频侧复现 1024 维嵌入与 88 维泛函。回归器按 3 层自适应宽度搭建，每层按线性层加批归一化加激活加丢弃率 0.3 实现，损失用 1 减一致性相关系数，优化器用学习率千分之一训练 50 轮，取验证最优再测金标准。枚举全部 127 种组合时注意另 1 维度分数作为可选输入的条件，测试时同样需要该条件。

还需补的验证包括批量大小与随机种子对折间方差的影响，情感分类器版本与本次可达性对后验分布的影响，以及词典命中率在口语与标准文本下的差异。代码与特征在原文中给出仓库地址，复现时应区分代码开源、权重下载与系统可运行 3 个层次，权重不可达不等于方法不可复述，但必须如实记录本次未能确认可达的资源状态。

何时值得尝试双模态，何时单用音频就够？

当目标是拟合人类对自发语音积极消极程度的判断，且已有可靠转写与文本情感模型时，值得尝试文本加音频组合。原文的效价增益来自语义内容与声音方式的互补，不是单一大模型的规模效应。尝试时应同时保留文本全部、音频全部与双模态 3 个基线，否则无法判断增益来自跨模态还是来自另 1 维度分数的加入。

当目标是拟合激动平静程度的判断，且计算预算有限时，单用音频通常就够。原文显示音频全部特征已接近最优组合，文本加入的增益很小。此时更值得投入的是声学嵌入与声学泛函的组合方式，而不是继续扩充词典维度。

对刚进入语音与语言交叉方向的研究生，本文的真正教学点是把可解释性放在组合实验之后。先用隐式嵌入确定上限，再用显式词典与句法特征检验可解释维度是否真的携带听感信息，最后承认词典单独解释力不足并提出需要更多数据。这种先证上限再查解释的顺序，比直接宣称某个语言学标记表达情感更符合自发语音的复杂现实。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总