看得见的脸没有增强爱尔兰语合成语音的情感：声音主导但视觉负责细分

英文题目：Exploring the Effect of the Visual Channel in Vocal Expression of Affect in an Irish (Gaelic) Synthetic Voice

会议身份：conference:interspeech:2026:conference-paper-id:giovannini26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#心理声学实验 #言语感知 #音视频 #语音合成

评分：5.7/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.6/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Anna Maria Giovannini：机构信息未能从会议 PDF 纯文本可靠映射
• Zihan Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Ailbhe Ní Chasaide：机构信息未能从会议 PDF 纯文本可靠映射
• Christer Gobl：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该研究输入为一句爱尔兰语中性合成语句与目标情感标签，输出为听者在Happy-Sad等三组对立维度上的七级量表判断，难点是高激活与低激活内部状态在单靠嗓音时映射不唯一、happy等情感长期难以合成可辨。方法链第一步基于同一说话人自然情感发音的逆滤波与LF模型参数化得到声源偏移，经语音源发生器重合成愤怒等五种嗓音刺激，其输出直接作为后续视听配对的听觉端。第二步依据面部动作编码系统在写实男性模型上构建多强度表情动画并经无声多选验证挑选含蓄版本，其输出作为视觉端以避免掩蔽嗓音。第三步将嗓音与表情按嗓音独呈、同余组合、冲突组合配对并实现唇形同步开展三项感知测试，关键差异是刻意压低视觉强度并以效价对立的冲突组合检验通道主导。在Happy-Sad测试任务下，冲突happy配sad视觉刺激的二元识别准确率为58%，低于嗓音独呈与同余happy刺激的准确率94%。结论边界限于爱尔兰语成人听者、单一男性 Kerry 口音嗓音与单一男性头像，relaxed 被 bored 刺激更强 cue 到，跨文化与跨说话人泛化尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要回答什么？

本文的输入是同一句爱尔兰语合成语音加上 3 维人脸动画，目标是回答视觉通道是否改变合成语音情感的听感。研究者先用嗓音源参数把一句中性合成句改造成愤怒、快乐、悲伤、厌倦和放松 5 种声音，再用同一个男性 3 维模型做出对应表情并做口型同步。输出是听者在只听声音、视听一致和视听不一致 3 种条件下的情感判断。需要保留的关键信息是声音材料只有一句、视觉强度刻意调得含蓄、听者是爱尔兰语成人使用者、判断采用 3 对反义词量表。

初学者可以把这项工作理解为 1 次通道对照实验：声音不变，只换脸，看判断变不变。作者事先提出两个假设，一是一致的脸会增强目标情感，二是视觉会帮助区分同为高激活或同为低激活的情感。全文围绕这两个假设组织证据，既报告增强不显著，也报告细分能力确实出现。理解这一点后，后续的方法细节才有位置安放，不会把人脸动画误当成装饰，也不会把不一致条件误当成出错。

声音与人脸的情感研究此前走到哪里？

在语音情感领域，只听声音就能判断情感已有大量证据，但人脸是否补充了声音给不了的信息一直是争论点。原文回顾指出，有的情感更易从脸读出，有的更易从声音读出，还有观点认为面部表情是在声音不足时帮助识别日常混合情感。相关工作还报告了通道主导的不一致结果，有时视觉占优，有时声音占优，且可能随文化和年龄变化。这正是本文把被试限定为爱尔兰语成人使用者的理由，不是追求普适结论，而是补上特定语言社群的证据。

另一条相关路线是嗓音质量与情感的映射。作者团队此前反复发现，某种嗓音质量并不唯一指向一种情感，高激活情感之间、低激活情感之间容易重叠。本文的视觉部分就是冲着这个重叠来的，想法是声音给出大致的激活度和效价，脸给出更细的身份信息。教学上要区分两类对照：一类是单通道识别率比较，回答谁更擅长哪种情感；另一类是双通道组合比较，回答一致是否增强、不一致谁说了算。

本文属于第二类，同时保留纯声音条件作为直接基线。

要检验的问题是什么，难在哪里？

要检验的第一个问题是一致视觉是否增强目标情感的感知强度和识别率。操作是把同一种声音分别配上无脸、匹配脸和相反脸，比较同一声音的得分是否因脸而变。难在声音本身已经很强时，天花板效应会吃掉视觉的增量，脸太夸张又会反过来盖过声音，所以作者两端都收着做。第二个问题是视觉是否让高激活内部和低激活内部更好区分。操作是看快乐与愤怒、悲伤与厌倦等易混对在加脸之后是否分得更开。

难在这些情感在嗓音源层面本来就共享紧张度和能量特征，仅靠声音难以唯一指向。第 3 个问题是不一致时谁主导。操作是故意错配，例如快乐声音配悲伤脸，观察判断是跟着声音走、跟着脸走，还是回到中性。难在主导可能不是非此即彼，而是强度压制加极性保留。本文用 3 对反义词量表把方向和强度一起记录，正好能捕捉这种部分压制。

初学者容易误以为不一致条件是控制失败，实际上它是测量通道权重的探针。

整个流程如何从一句话走到听者判断？

先沿一个样本走完全程。输入是爱尔兰语句子中性合成版本，意思是我们将在那天乘船。研究者对它施加全局和局部嗓音源改动，生成例如快乐版本的声音。与此同时，3 维模型按面部动作编码做出快乐表情并与该声音做口型同步。然后把声音与表情按 3 种方式呈现：只放声音、声音配快乐脸、声音配悲伤脸。

听者先听中性基线，再随机听到目标刺激，并在快乐对悲伤、感兴趣对厌倦、愤怒对放松 3 套量表上打分。输出是每个刺激在每套量表上的方向与强度。展开全景时，声音侧有 5 种目标情感加中性，视觉侧有同样 5 种加感兴趣和中性，组合出纯声音、一致和不一致 3 类共 17 个刺激。感兴趣只作为视觉出现，用来与厌倦构成反义对，因为此前高激活声音常被听成感兴趣。

一致组合 × 不一致组合： 一致组合负责让声音与人脸指向同一情感以检验增强作用，不一致组合负责让声音与人脸指向相反情感以检验通道主导，二者搭配的理由是只有同时设置匹配与冲突才能区分增强和压制，组合意义在于用同一批声音材料比较视觉是锦上添花还是釜底抽薪。

下面这张示例图帮助建立对视觉材料含蓄程度的直观感受，左为中性脸右为快乐脸，差别主要在嘴角和面部柔和度而非夸张大笑。

看图路径： 1. 先对比左右两张脸的口形与整体表情，确认右侧为快乐、左侧为中性；2. 再观察嘴角上扬与面颊变化是否轻微，体会作者刻意保持含蓄的强度选择；3. 最后确认人物为光头男性三维模型，注意这不是真人录像而是可控动画

论文图 1。原论文 Figure 1：“Sample frame of the neutral (left) and happy (right) facial expressions on the 3D model (‘Ty’ from the”。

从像素看，左右两张均为同一光头男性模型的正面特写，背景为灰色渐变。左侧嘴形平直、面颊平坦，右侧嘴角轻微上扬、下唇略显饱满，但没有露出牙齿或大幅提拉颧肌。这种轻微差异正是原文所说的避免极端表达，既保证验证实验中能被识别，又避免在主实验中压倒声音。初学者复述时要强调这不是真人视频，而是可调强度、可做口型同步的动画，这是后续讨论阈值和饱和效应的基础。

声音和人脸各自是怎么造出来的？

声音侧的白话解释是嗓音源改造，即不重录句子，只改声门气流模型的控制量。英文对应 voice source transformation，工具是嗓音源发生器。研究者控制 3 个源参数：基频、激励强度和整体波形参数。其中整体波形参数与发声紧张度强相关，定义中涉及基频、峰值气流和激励强度的比值关系。快乐还额外提升共振峰频率，悲伤和快乐还改变语速，悲伤拉长、快乐缩短。

这些改动基于同一说话人的自然情感录音的逆滤波分析，再经由重合成感知实验筛选出有效的全局加局部组合。局部指重读音节附近加强处理，这是此前识别率更高的方案。

嗓音源改造 × 情感着色： 嗓音源改造负责改变基频、激励强度和波形紧张度等发声层面的控制量，情感着色负责把这些声学变化映射为愤怒、快乐、悲伤、厌倦和放松等听感目标，二者搭配的理由是先有可控的合成器参数再谈情感标签，组合意义在于同一句话只改发声方式就能产生不同的情感指向。

人脸侧的白话解释是按肌肉动作搭表情，即参照面部动作编码系统逐块调整。英文对应 Facial Action Coding System，工具是开放动画软件中的预绑定男性模型。默认状态被当作中性，因为符合中性描述。研究者为每种情感做了 3 个强度版本，再加一个中性，共 19 个无声视频，找 20 人做多选验证，选项覆盖所有目标加可自填的其他。选择规则是愤怒、厌倦、快乐和悲伤取仍高于 70% 识别率的最含蓄版本，感兴趣和放松取高于 45% 的最有效版本，因为文献中这两者本来就难认。最后用图像软件把动画帧率与变速后的声音对齐，实现任意视听组合。

面部动作编码系统 × 视觉情感： 面部动作编码系统负责把眉、眼、口等肌肉位移拆成可复现的动作单元，视觉情感负责把这些位移组合成愤怒、快乐或悲伤等可辨认的表情，二者搭配的理由是需要一套与强度可调的表情施工图，组合意义在于表情可以按档调得更含蓄而不至于盖过声音。

举例说明强度取舍：若快乐的最夸张版本识别率最高但表情过大，研究者宁可选用刚过阈值的含蓄版本，以保留声音的主导地位。这个决定直接影响后文对视觉增强不显著的解释。

本研究训练了什么，没有训练什么？

本研究没有训练神经网络声学模型，也没有训练表情识别器，不存在梯度更新、损失函数和参数冻结的报告。初学者不要把合成语音误当成端到端模型训练。本文的计算是构造式仿真：声音侧调用已有的爱尔兰语男声合成基线产生中性句，再用嗓音源发生器按事先分析好的参数偏移生成目标情感版本；视觉侧调用现成 3 维模型按动作单元手工调出表情，再做口型同步和帧率对齐。

真正的学习行为发生在人的感知实验里，研究者用混合效应有序逻辑回归拟合听者打分，检验目标情感与刺激类型的主效应和交互，参考类别为中性和纯声音条件。这一步是统计建模而非模型训练，目的是得到强度变化的系数和显著性。缺项需要明确指出：原文未报告参数搜索的优化目标函数，未报告合成器本身的训练数据量和算力开销，也未报告动画渲染耗时。复现时应把重点放在参数复刻和流程复刻，而不是寻找训练脚本。

没有训练不等于结果确定，因为听者判断本身是随机变量，需要用置信区间和显著性来表达不确定性。

听辨实验的条件如何保证可比？

实验设计把可比性放在三处。第一是材料可比：同一句话、同一个合成男声、同一套嗓音源改法，保证不同情感之间的差异只来自参数偏移而非文本或说话人。第二是呈现可比：17 个刺激覆盖 5 种声音目标，每种都有纯声音、一致和不一致 3 个版本，加中性纯声音和中性一致两种基线。第三是任务可比：3 套测试都采用先呈现中性再呈现目标的成对比较，听者在七点量表上选择方向和强度，无情感或选项不适用时选零点。

每套测试包含全部 17 对，顺序随机，并有指导语、中性示例和练习轮。被试为 31 名爱尔兰语水平不一的成人，视觉验证阶段另有 20 人。指标有两个层面：一是二值识别率，即判断是否落在目标一侧；二是强度均值与置信区间，即在量表上的平均偏向。分析以中性和纯声音为参照，关注一致是否提升、不一致是否压制。

下面这张表把刺激构成与判断任务并排写清，便于核对公平条件与指标方向，指标越大表示越偏向目标一侧，零表示中性。

表后需要说明代价与边界。该设计用同一句话换来内部效度，却牺牲了文本多样性，结果不能直接推广到其他句子或女声。感兴趣只出现在视觉侧和量表一端，意味着厌倦声音的不一致搭配有专用对照，而其他情感的不一致搭配未必对称。纯声音条件既是基线也是参照类，任何关于增强的判断都依赖它是否已接近天花板。若纯声音已接近满分，一致条件再高也难以显著，这是后文饱和解释的关键前提。

主结果显示声音主导，视觉何时起作用？

主结果是纯声音和一致条件的目标识别率与强度普遍很高，唯一例外是放松更容易被厌倦目标刺激唤起。快乐尤其值得注意，因为它在以往基于声学相关的研究中常难以捕捉，而本文声音改造让它稳定可辨。一致视觉没有系统性地进一步推高分数，愤怒甚至在 3 套测试中出现反向趋势，统计上均未达到显著。这支持声音主导的判断，但不是视觉无用。

不一致条件频繁把强度拉向中性，例如快乐声音配悲伤脸时识别率大幅下跌，但极性很少翻转，即快乐不会变成悲伤。这说明脸能削弱声音，不能推翻声音。原文用回归系数定量了这种压制，不一致快乐在两套测试中呈现强负效应。

高激活情感 × 低激活情感： 高激活情感负责描述愤怒和快乐这类紧张和能量偏高的状态，低激活情感负责描述悲伤、厌倦和放松这类能量偏低的状态，二者搭配的理由是嗓音源线索常在同类激活度内混淆，组合意义在于检验视觉是否帮助听者把同为高激活或同为低激活的情感分得更开。

下面这张结果总览图是全文证据的核心，左列看识别率落差，右列看强度均值与误差棒，黑框标出每套测试的目标情感。

看图路径： 1. 先看左列五行的横轴感知标签与纵轴识别率，找出每行黑框标记的目标情感；2. 再对比黑线纯声音、蓝线一致、红线不一致在目标点的落差，重点看快乐行；3. 最后看右列三组强度均值与误差棒，确认不一致条件向零点回落但不翻转极性

论文图 2。原论文 Figure 2：“(a) Binary identification rate of affect perception for each triad of stimuli; (b) Intensity mean and confidence interval for each stimulus type in each test.”。

从像素看，左列共五行分别对应快乐、愤怒、放松、厌倦和悲伤声音，每行横轴为听到的 6 种情感标签，纵轴为识别率。黑线纯声音与蓝线一致在目标点多为高峰，红线不一致在目标点明显下坠，快乐行从高位跌至中位最直观。右列 3 组分别对应 3 套量表，纵轴为强度，误差棒为正负 2 倍标准误。红点多向零线收缩但不跨过零线，表明衰减而非反转。初学者读图时先认图例颜色与线型，再认黑框目标，最后才比较落差，避免把非目标点的波动当成主效应。

下面这张表把关键数字与统计方向固定下来，比较必须保留原文实际可运行的纯声音与一致条件，不能用事后最优值代替。

表后解释收益与代价。收益是视觉带来细分：高激活端快乐与愤怒在一致条件下分得更开，低激活端悲伤与厌倦在两套相关测试中也分得更开。代价是增强假设落空，且放松在愤怒对放松测试中仍与厌倦和悲伤混淆。未胜出项要明确写出：愤怒的一致条件没有带来增强，反而在数值上有反向迹象；放松的一致条件区分度不足。这些负结果与显著的细分结果放在一起，才构成声音主导加视觉精修的完整判断。

哪些对照说明视觉的作用不是偶然？

本文没有神经网络消融，但有 3 类功能性对照起到类似作用。第一类是纯声音对照，它回答没有脸时会怎样。结果是多数情感已能高识别，这为天花板解释提供前提，也让一致条件的零增量变得可解释而非简单判负。第二类是不一致对照，它回答脸是否有因果影响力。若脸无关，错配不应改变分数，但实际出现系统性向中性收缩，且系数显著，这就排除了视觉装饰论。

第 3 类是中性基线对照，纯声音中性与一致中性反应几乎相同，说明中性脸本身不引入偏置，后续差异可归因于情感脸而非有脸无脸。进一步的失败条件也值得复述：放松目标刺激被厌倦刺激在强度上超过，说明当前嗓音源参数对放松的刻画不足；快乐与愤怒均与感兴趣区分不佳，但作者指出这可能源于情感语义本身的重叠，快乐与愤怒本来就蕴含对对象的关注。

初学者要学会把这些对照当作反证链：增强不显著可能是饱和，压制显著则证明视觉通道确实被听者使用，两者并不矛盾。

结论的边界与未验证的推测有哪些？

已报告的边界包括单句材料、单一男声、单一凯里口音基线、视觉强度偏含蓄、被试为爱尔兰语成人且水平不一。这些条件限制了向其他语言、其他声音和儿童群体的推广。统计上作者报告了显著性，但未报告误判率矩阵的完整数值和延迟成本，不能从识别率高推断系统实时可用。作者对增强落空给出两种有限解释：饱和效应和视觉阈值效应，即声音已太强或脸太弱都会让增量消失。这属于支持性解释而非直接验证，因为本文没有系统变化视觉强度。

同样，声音主导的判断只在当前强度配比下成立，原文明确说主导可能取决于任 1 通道的关键阈值，模糊通道更需要另 1 通道帮助。未验证的推测要用可能表达：未来若调强人脸，视觉增强可能出现；若换成模糊声音，双通道可能作用更大。这些都待验证，不能当成已证明的效果。复述时把直接报告、有限解释和推测分开，才能避免把相关性说成因果。

要复现这项实验，先做什么？

复现先做材料链。第一步用同一爱尔兰语男声合成中性句，保持文本为那句乘船句，记录基频、激励强度和波形参数的基线值。第二步按原文引用的先前分析施加全局加局部偏移，悲伤拉长 10%、快乐缩短 10% 并提升共振峰，生成 5 种声音。第三步用同一 3 维模型按动作单元调出 6 种表情各三档强度，做无声验证，选出刚过阈值的最含蓄可用版本。第四步做口型同步并对齐变速后的音频，保证 17 个刺激的视听时序一致。

第五步按 3 套反义量表组织成对比较，先放中性再放目标，随机化并加入练习。数据记录要保留原始七点打分，不要只存二值标签，以便同时算识别率和强度。分析用有序逻辑回归，以中性和纯声音为参照，检验目标与类型的交互。需要补的验证包括报告完整混淆分布、报告听者语言水平分组效应、系统变化人脸强度以检验阈值假设。资源状态必须如实写：本次未发现来源绑定且完成验证的资源，不得声称代码、模型或数据已公开，只能按原文描述重建流程。

何时值得借鉴这套视听做法？

当合成语音已能稳定传达大致情感，但同类激活度内易混时，值得借鉴本文的含蓄视觉精修思路。做法是先把声音做到高识别，再用刚过识别阈值的脸去拆分快乐与愤怒、悲伤与厌倦，而不是一开始就用夸张表情掩盖声音问题。当应用是辅助沟通等需要克制表达的场景时，这种不抢戏的脸更合适，因为本文的中性对照显示它不引入额外偏置。当研究问题是通道权重时，必须同时保留纯声音、一致和不一致 3 类条件，否则无法区分天花板与无效。

不值得照搬的情况包括需要强情感渲染的娱乐场景，以及声音本身模糊到无法建立基线的早期原型，此时应先修声音或同步增强两端。回到中心矛盾：视觉没有让好声音更好，但让易混声音更可分，并在冲突时显著削弱声音。这正是声音主导而视觉负责精修的含义，复现与扩展都应围绕强度配比和细分指标展开，而不是只追整体识别率。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总