同一句话不同语气看到不同脸：把韵律单独送进扩散模型的尝试

英文题目：Say That Again: Visualizing Paralinguistic Cues with Prosody-Aware Diffusion

会议身份：conference:interspeech:2026:conference-paper-id:tiwari26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #韵律 #语音 #语音情感识别

评分：6.7/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Shyamji Tiwari：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为文本相同但韵律不同的语音，输出为反映语调情绪的图像，难点在于把音高、语速等副语言线索从词汇内容、说话人身份与环境声中分离并可控注入生成。方法分为三步：先用 ESResNeXt 提取通用音频嵌入 ha，同时用 2 层多层感知机将基频轮廓、能量包络、音节速率与频谱特征映射为韵律嵌入 hp，拼接投影得到语音嵌入；再以 ProsodyCLIP 做语音-图像-文本对比对齐；最后经解耦交叉注意力把韵律嵌入独立注入冻结的文本分支之外。与整体音频向量直接条件化相比，独立韵律通路保留文本先验并以系数 alpha 调节情绪强度。蒸馏U-Net基于Stable Diffusion 2.1并插入多尺度融合块，仅训练投影层与韵律交叉注意力权重以保留文本先验。在RAVDESS基准下，NovaDiffusion的情绪分类准确率ECA为71.3%，高于SonicDiffusion的情绪分类准确率ECA 48.2%。该结论仅适用于面部表情可判读的情绪相关韵律，对无人物场景情绪与精细韵律连续控制尚未验证。适配器训练约需 4 卡 A100 共约 80 GPU 小时，4 步 OLSS 调度在 Jetson Orin 上约 2.1 秒。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

这篇解读的对象是 Interspeech 2026 论文 NovaDiffusion。输入是同一文本转录但韵律不同的语音，例如文本都是 A person is saying Are you serious，只是说话的基频、语速、能量和情感拐点不同。目标是生成能反映预期情感的图像，而不是只根据文字生成一张通用的人脸。读完你应能复述三件事。第一，数据如何从 3 个人工标注情感语音库聚成 168K 三元组并做韵律验证。

第二，ProsodyCLIP 如何把通用音频向量和韵律向量拼成联合语音嵌入并做 2 阶段对比训练。第三，280M 蒸馏 U-Net 如何用冻结文本交叉注意加可训练韵律交叉注意做生成，以及 ECA 等指标在什么条件下测得。需要保留的关键信息是冻结与训练的边界、情感标签的人工来源、图像配对来自 CLIP 检索而非真实声画同现，以及 ECA 只评价有脸图像。资源状态方面，本次未发现来源绑定且完成 HTTPS 验证的资源，因此不得声称代码、模型或数据已公开，只能按论文文字讨论可复现的步骤。

同输入同目标的路线此前卡在哪里？

先把路线按输入和目标分开。文本到图像路线包括潜扩散、DiT 和整流流，特点是只条件于文字，例子是给 Are you serious 只能生成一张字面意义的图，丢掉了好奇与讽刺的区别。音频到图像路线包括 AudioToken 把音频投到文本嵌入空间，SonicDiffusion 冻结 Stable Diffusion U-Net 并用整体音频嵌入做交叉注意力注入，CatchPhrase 做语义对齐，MACS 做多声源分离，SeeingSounds 用冻结主干加轻量适配器对齐音频语言视觉。论文指出这类方法的共同局限是不分离韵律与词汇、环境声、说话人，适配器因此不能选择性加权情感线索。

情感生成路线包括 EmoGen 对齐情感空间与 CLIP，Make Me Happier 合成唤起情感的图像，EmotiCrafter 做效价唤醒连续控制，EmoEdit 编辑已有图像，但条件是文本级情感标签而非语音韵律。语音表示路线包括 RA-CLAP、ParaCLAP、EMOVA 和 emotion2vec，负责学风格或情感表示，但不直接连到视觉生成。教学例子是同样一段愤怒语音，旧音频到图像模型可能因识别出室内混响或说话人而生成房间或特定身份，而论文要的是让愤怒韵律主导表情。

论文的判断是连接韵律理解与视觉生成的零件已经存在，但没有组装成显式提取并路由韵律的单管线，这就是 NovaDiffusion 的定位。

为什么文本相同还要看语气？任务边界是什么？

问题可以这样操作化。固定文本提示，改变语音的音高轮廓、语速、重音和情感拐点，观察生成图像的面部表情是否跟着变。论文用 Figure 1 做直观锚点，同一句 Are you serious 在严肃困惑、愤怒、兴奋 3 种预期语气下应产生不同视觉结果。边界在摘要和引言中反复限定。范围限于与类别情感相关的韵律变化，完整的韵律控制仍是开放问题。

ECA 依赖面部表情分类，不捕捉场景级情感。ProsoBench 的图像来自 CC-12M 的情感 CLIP 检索加人工验证，学到的是文化中介的情感刻板视觉关联，不是真实声画物理共现。通用音频分支仍携带部分词汇内容，计划用梯度反转改进。理解这 3 条边界才能正确解释后文数字，ECA 高不等于场景情感对，CLIP 相关指标高不等于感知接地。

同一样本如何直观展示语气的作用？

这里先看论文的动机图，它把任务从文字描述变成可检查的视觉对比。同一文本提示下 3 张图的身份服装相近，但表情和姿态被期望语气拉开，这是全文所有消融和主结果要解释的现象起点。

看图路径： 1. 先确认三张图下方文本提示完全相同，只有 Expected Tone 一行不同；2. 对比三张人脸的眉形、嘴形开合和手势，判断表情差异是否随语气变化；3. 注意这只是单一样本展示，不能当作整体准确率的证明

论文图 1。原论文 Figure 1：“NovaDiffusion generated results.”。

从像素看，三联图下方都写着 A person is saying Are you serious，红色标注的 Expected Tone 分别为 Serious and Confusing、Angry、Excited。左侧人物眉头微皱、嘴微张，中间人物眉头紧锁、张大嘴露齿并握拳，右侧人物眼睛睁大、张嘴并双手握拳上举。教学含义是文本分支固定时，变化必须来自语音分支，若模型把语音当不透明向量，这种细粒度表情差就难以稳定出现。后文的解耦适配器和 ProsodyCLIP 就是为保留这种差而设，但单靠这 3 张图不能证明泛化，需要回到 RAVDESS 和 IEMOCAP 的盲评与分类准确率。

NovaDiffusion 的三段管线如何分工？

论文把问题拆成韵律特征提取、对比的韵律到视觉对齐、保留文本先验的解耦适配器注入。先沿一个样本走完全程。输入是一段 Are you serious 的波形和同文本字符串。波形一路经 ESResNeXt 得到 512 维通用向量，另一路经 CREPE 提基频、RMS 提能量、强制对齐算音节每秒语速、再加 13 维 MFCC 和频谱质心，经 2 层 MLP 得到 128 维韵律向量，两者拼接投影成 512 维语音嵌入。文本经冻结 CLIP 编码。

去噪时文本走冻结交叉注意，语音嵌入经可训练投影走独立的韵律交叉注意，以权重相加。输出是去噪后的潜变量解码成的图像。

ProsodyCLIP × 解耦交叉注意力适配器： ProsodyCLIP 负责把韵律增强后的语音嵌入与视觉表示对齐，分工在训练阶段建立可迁移的语音到图像映射；解耦交叉注意力适配器负责在冻结的 U-Net 每一块中另开一路语音交叉注意力，分工是在推理生成时注入条件而不破坏原文本先验。搭配原因是若直接拼接文本和语音条件会互相干扰，独立的 Kp、Vp 投影加权重 α 让文本管场景、韵律管表情成为可能。

这种分工的理由在原文有明确安排。ProsodyCLIP 和韵律特征管线是核心贡献，图像合成是下游评测。冻结文本路径是为了保留 Stable Diffusion 2.1 蒸馏来的先验，只训练投影层和韵律交叉注意权重，避免小数据冲掉大模型的场景能力。

架构图里谁冻结谁训练，信号在哪里汇合？

这张总览图是复现时最容易接错线的地方，需要先确认冻结标记再看汇合点。它把文本与语音画成上下两路，中间是带融合块的去噪 U-Net，从左潜变量 ZT 到右 ZT-1 是 1 次去噪步。

看图路径： 1. 沿左上文本编码器和语音编码器的两条输入线看到顶部分支；2. 区分黑色虚线文本路径与蓝色实线语音投影路径各进入 U-Net 哪些块；3. 查看图例中雪花冻结与火焰可训练标记，确认只有投影和语音交叉注意力被训练

论文图 2。原论文 Figure 3：“NovaDiffusion architecture. Text is encoded by the frozen CLIP encoder; speech is processed by ProsodyCLIP and a trainable projection.”。

像素细节支持上述分工。左上 CLIP 文本编码器带雪花标记，黑色虚线向 U-Net 各块发送文本条件。左中 ProsodyCLIP 语音编码器同样带雪花，之后接带火焰标记的 Projection，蓝色实线向各块发送语音条件。图例明确绿色为倒置残差加自注意力，橙色为冻结的文本到图像交叉注意，深蓝为可训练的语音到图像交叉注意，红色为默认跳连。下方 U-Net 标注了 320x64x64、640x32x32、1280x16x16 多尺度，中间有 Fusion 和 Up-Sampling 加号节点。复现时只更新投影和韵律交叉注意，ProsodyCLIP 和基础 U-Net 保持冻结，若把文本交叉注意也打开训练，就偏离了论文的代价与效果声明。

ProsodyCLIP 如何把韵律变成可检索的视觉关联？

ProsodyCLIP 扩展自 AudioCLIP，有 3 个编码器。冻结 CLIP 文本编码器、基于 ResNet 的图像编码器、带韵律分支的 ESResNeXt 语音编码器。语音编码器的计算是先得通用向量 ha，再把第 3 节特征经 MLP 得 hp，拼接后线性投影成联合向量 v，原文记为 v 等于投影矩阵乘拼接向量加偏置。训练分 2 个阶段。第一阶段在 AudioSet 64K 三元组上训练全部 3 个编码器，用对称 InfoNCE 聚合语音文本、语音图像、图像文本 3 组对比，温度系数 0.07 可学习。

第二阶段冻结文本编码器，在 168K ProsoBench 三元组上微调，加情感分类辅助交叉熵，权重 0.5，监督来自人工情感标签，目的是让语音嵌入保持韵律可判别性。所有韵律特征按说话人做 z 归一，优化器为 AdamW，学习率 3 乘 10 的负 4 次方，batch 256，余弦调度加 2K 热身。

韵律 × 通用音频表示： 韵律指基频轮廓、能量包络、语速和频谱特征等随情感变化的声学层，负责携带好奇、愤怒等语气差异；通用音频表示指 ESResNeXt 从原始波形提取的 512 维整体向量，还混有词汇和环境声。两者搭配的理由是只用整体向量时适配器无法选择性加权情感线索，论文把韵律经 2 层 MLP 得到 128 维后与整体向量拼接投影，让交叉注意力能把目标信号路由到与情感相关的生成方向。

原文强调拼接是增强而非替换，ha 仍带词汇内容，韵律分支是目标信号，靠交叉注意路由到情感相关生成。若只用 hp 而把 ha 置零，后文消融显示仍有 58.9% ECA，支持确有真实韵律信号，但完整性能需要两者结合。

三路对比矩阵在学什么？

这张图把对比学习的配对逻辑画成了矩阵，初学者容易把颜色当成不同模型，需要按图例确认对象。它不是生成效果图，而是训练目标的可视化，横轴纵轴分别是批量内的文本、图像、语音编号，对角线为正样本。

看图路径： 1. 先找到左侧文本、图像、语音三个编码器色块的输入位置；2. 再看中间三个相似度矩阵中绿色、蓝色、橙色对角线的配对含义；3. 确认箭头方向表示哪两个模态在做对比，避免把单向箭头误读为梯度冻结

论文图 4。原论文 Figure 4：“ProsodyCLIP architecture. The text encoder (frozen), image encoder, and voice encoder (ESResNeXt with prosodic branch) are trained with symmetric InfoNCE loss.”。

可见元素是左侧 3 个编码器色块分别引出黑线和绿蓝线，指向 3 个矩阵。左上文本图像矩阵对角为绿色，左下图像语音矩阵对角为蓝色，右侧文本语音矩阵对角为橙色。含义是同一编号的三元组应互相拉近，不同编号推远。辅助的情感分类损失不在此图矩阵中，而是作用在语音嵌入上的额外交叉熵。复现时要注意第一阶段三编码器都训，第二阶段冻结文本只微调其余，这是与总览图中推理时冻结不同的阶段，不要混淆训练冻结与推理冻结。

轻量 U-Net 与融合块如何省算力又不丢表情？

去噪 U-Net 基于 BK-SDM-Tiny，把标准残差换成倒置残差以减计算，编码器与解码器之间插入多尺度融合块。从 Stable Diffusion 2.1 蒸馏分 2 个阶段，损失包括任务去噪损失、输出级知识蒸馏和特征级蒸馏之和。融合块的操作是 3 个编码器层级的特征图经 1x1 卷积对齐、拼接，再依次过自注意力、文本交叉注意力和韵律交叉注意力。解耦适配器遵循 IP-Adapter，每块 U-Net 有自己的韵律交叉注意层，输出为文本注意力加 α 倍的韵律注意力，α 默认 0.6 经网格搜索选择，只有韵律投影和交叉注意权重被训练。推理用 OLSS 调度器，把逆轨迹近似为噪声预测的线性组合，系数经 QR 分解优化，实现 4 步生成。

多尺度融合块 × 倒置残差块： 倒置残差块负责替代标准残差以压缩 BK-SDM-Tiny 主干的计算量，分工是保效率；多尺度融合块负责把编码器 3 个层级的特征经 1x1 卷积对齐后拼接，再过自注意力、文本交叉注意力和韵律交叉注意力，分工是补回轻量化后丢失的跨尺度情感细节。两者组合的意义是小模型既能跑 4 步采样，又仍保留对细粒度表情的控制点。

需要指出未报告项。原文未给出蒸馏时教师与学生各层对应细节和 OLSS 系数优化的具体数据划分，只能按引用实现复现，不能从模型名推定层数。

融合块的输入尺寸与注意力顺序是什么？

这张局部图是复现融合块时尺寸对齐的直接依据，比文字更具体。它只画了编码器到融合的输入侧，没有画解码器，因此不能用它推断上采样细节。

看图路径： 1. 先核对左侧三个立方体的尺寸标注 320x64x64 到 1280x16x16；2. 再看两个 Conv 如何把浅层大图对齐到深层尺寸后送入右侧条块；3. 区分右侧 Conv、自注意力、文本交叉、音频交叉四个条带的分工

论文图 3。原论文 Figure 5：“Multi-scale fusion block. Feature maps from three encoder levels are aligned via 1×1 convolutions, concatenated, and processed through self-attention, text cross-attention, and…”。

像素显示左侧 3 个立方体标注为 320x64x64 粉色、640x32x32 黄色、1280x16x16 蓝色。前两者各经一个 Conv 变成 1280x16x16，最深层直接送入，右侧条块依次为 Conv、Self Attn、Text Cross Attn、Audio Cross Attn。操作顺序是先对齐通道与空间尺寸再拼接做注意力，文本与音频交叉是分开的两条，不是拼接后的一条。这解释了为何拿掉融合块会掉 ECA，多尺度情感细节需要在此处同时看到文本场景和韵律表情。

ProsoBench 的三阶段构造与两阶段蒸馏做了什么？

训练实际包括数据构造、ProsodyCLIP 训练、U-Net 蒸馏、适配器训练 4 段。数据构造 3 阶段如下。第一阶段聚合 RAVDESS 7356 条 8 情感、IEMOCAP 10039 条多人评估、MSP-Podcast 151K 自然轮次，共 168K，覆盖表演、半自发和自然语音，因 MSP 占约 90% 而做基于频率的采样以缩小干净表演与 noisy 自然录音的分布差。第二阶段提基频、能量、语速、MFCC 1 到 13 和频谱质心，用韵律 3 层 MLP 在每库 80% 上预测情感，预测与人工标签 top-1 不一致的 12% 被移除，作为错标质控且不偏斜说话人与情感分布。

第 3 阶段对每种情感用情感 CLIP 查询从 CC-12M 检索候选图，双标注者验证情感对齐一致性大于 0.65，每条语音配 3 选 1 最高分图且图像零复用，得到说话人独立 80 比 10 比 10 划分。U-Net 蒸馏用 CC-12M 1M 对加 LAION 美学 200K 对过滤版权与质量。ProsodyCLIP 训练超参见上节。NovaDiffusion 适配器在 ProsoBench 上训 100K 步，AdamW 学习率 1 乘 10 的负 4 次方，batch 8 加梯度累积 4，4 卡 A100 约 80 GPU 小时。

对比对齐 × 情感分类辅助损失： 对比对齐指对称 InfoNCE 把配对的语音文本、语音图像、图像文本拉近、分工是学跨模态可检索空间；情感分类辅助损失指从语音嵌入预测人工情感标签的交叉熵，分工是强制嵌入保留韵律可判别性。搭配原因是纯对比损失可能只对齐语义而丢掉细微语气，系数 0.5 的辅助损失把情感判别压力直接加到语音分支上。

原文明确图像配对是情感刻板印象而非真实共现，这是第一代实用选择，不主张感知接地，复现时不应把 ProsoBench 当声画同录数据用。

用什么数据、基线和指标测，条件是否一致？

评估在 RAVDESS 和 ProsoBench 测试集上做，外加跨库 IEMOCAP 留出说话人。指标按论文分为相似性与情感两类。AIS 为 Wav2CLIP 余弦相似度，AIC 为基于 CLIP 的内容重叠，IIS 为图像相似，FID 为图像质量，方向为前三越高越好、FID 越低越好。ECA 为生成图像经 MTCNN 人脸检测加 ResNet-50 表情分类后与输入语音情感一致的比例，越高越好，分类器在 AffectNet 上微调 8 类验证准确率 65.3%，RAVDESS 上约 5% 无脸被排除。论文强调 ECA 分类器训在独立语料且标签来自人工验证，因此是非循环的主要证据，而 ProsoBench 上的 AIS 和 AIC 与 CLIP 训练管线有表示重叠，只作补充。

基线包括 ImageBind、CoDi、AudioToken、SonicDiffusion 和在相同数据分辨率推理条件下重训的 SonicDiffusion 变体，其余基线用发布检查点。人类评价 25 人 200 组盲测，Krippendorff 系数 0.61，另有 TTS 控制、唤醒度 Spearman 相关和图文冲突测试。

ECA × AIS： ECA 指生成图像经人脸检测加表情分类后与输入语音情感一致的比例，分工是检验韵律是否真的改变了可识别的表情；AIS 指 Wav2CLIP 余弦相似度等音频图像相似性，分工是检验整体音频语义是否保留。搭配原因是 ECA 只看脸、AIS 只看整体相似，两者互补才能发现只保语义不保情感或只保表情不保场景的情况，论文也明确 ECA 不捕捉无脸的场景级情感。

公平性要点是重训基线只涨 4.4 个百分点，说明增益非单纯数据红利。AffectNet 分类器 65.3% 的上限意味着 ECA 绝对值应看相对比较，而非当成无限接近 100% 的指标。

主结果支持什么，又在什么上没赢？

要回答的核心问题是韵律单独路由是否带来可测的表情一致性提升，以及代价是什么。比较条件是 RAVDESS 8 类随机 12.5%，IEMOCAP 4 类留出说话人，基线含重训版本以隔离数据因素。指标方向为 ECA 越高越好，FID 越低越好，AIS 越高越好。

论文报告在 RAVDESS 上 NovaDiffusion 达到 71.3% ECA，比 SonicDiffusion 高 23.1 个百分点，重训只解释其中 4.4 个百分点，支持韵律增强是主要驱动。跨库 IEMOCAP 为 63.4% 对 41.7%，支持泛化到未见说话人。人类盲评情感匹配 3.82 对 2.94，p 小于 0.001，TTS 恒定音色变情感控制下 ECA 为 67.8%，唤醒度相关 0.41 对 0.19，支持非循环验证。但未胜出项必须同时说明。SeeingSounds 的 AIC 为 0.354 高于本方法的 0.258，因其文本语义桥更强。

FID 为 94.2 比 SonicDiffusion 高 4.6，论文归因于 280M 对 860M 的架构差距，文本 U-Net 的 FID 为 91.8。图文冲突时表情跟韵律而场景跟文本，说明韵律控制限于表情层。

拿掉哪部分掉得最多，权重与步数如何选？

消融要回答每个组件是否必要，以及默认超参是否在峰值。比较问题是同一 RAVDESS 协议下只改一处时 ECA、AIS、FID 如何变，指标方向同上。

论文显示去韵律分支掉 14.1 个百分点，加 LCE 带来 8.7 个百分点，拼接适配器大幅退化，去融合块到 65.1%，纯文本无音频仅 31.4%，文本加情感词仅 45.8%。仅韵律 hp 达到 58.9%，证实确有韵律信号但需与通用向量结合。α 在 0.6 取峰，两侧 0.3 和 0.9 分别为 63.5% 和 69.8%。20 步 DDIM 到 4 步 OLSS 只掉 2.1 个百分点，2 步再掉到 66.1%，4 步在 Jetson Orin 上 2.1 秒。反例是 20 步 DDIM 的 0.618 AIS 和 91.8 FID 仍略优于 4 步，说明高效采样的代价虽小但存在，若追求极限质量不应默认 4 步。

哪些结论不能从现有证据推出？

第一，ECA 需要人脸，无脸场景情感未被测，5% 排除率只适用于 RAVDESS，不能推广到自然场景比例。第二，ProsoBench 图像来自 CLIP 检索，模型学的是文化中介的刻板关联，论文明确不主张感知接地，因此不能把生成结果当成某语气必然对应的真实视觉。第三，通用分支仍带词汇内容，原文称计划用梯度反转改进，当前图文冲突实验只显示表情跟韵律、场景跟文本，不能推出词汇已完全解耦。第四，分类器上限 65.3% 限制绝对值解读，相对提升更可信。

第五，FID 差距被归因于参数量，280M 的效率优势与质量代价应分开讨论，不能用总体趋势断言每组都更快更好。缺失项不是错误，但复现时需补验证，例如无脸数据的场景情感指标、不同语言韵律的保持度、以及 OLSS 在其他硬件上的实际延迟。

要复现应先做什么，需要哪些超参与信息条件？

先按学习依赖准备 3 类材料。数据侧收集 RAVDESS、IEMOCAP、MSP-Podcast 的人工情感标签，按说话人独立划分，复现 CREPE 基频、RMS 能量、音节每秒语速、MFCC 和频谱质心的提取与按说话人归一，再用韵律 MLP 做 12% 不一致剔除。图像侧用情感 CLIP 查询从 CC-12M 检索并做双人验证，一致性大于 0.65 才保留，且图像零复用。对齐侧按 2 阶段训 ProsodyCLIP，第一阶段 AudioSet 64K 对称 InfoNCE 温度 0.07，第二阶段 ProsoBench 加 0.5 权重的情感交叉熵。生成侧用 BK-SDM-Tiny 加倒置残差和融合块从 Stable Diffusion 2.1 蒸馏，再冻结文本交叉注意，只训投影和韵律交叉注意，α 从 0.6 起搜，推理用 OLSS 4 步。

评测侧固定 MTCNN 加 AffectNet ResNet-50 管线并报告无脸排除率，同时做 TTS 恒定音色控制以隔离韵律。关键超参包括 ProsodyCLIP 学习率 3 乘 10 的负 4 次方 batch 256，适配器学习率 1 乘 10 的负 4 次方 batch 8 累积 4 共 100K 步。信息条件是情感标签必须来自人工标注而非语音转文本，图像标签来自检索验证而非同录。未发现可验证的公开代码与权重链接，本次按不可用处理，不应写已公开。

何时值得尝试这种做法，还需补哪项验证？

当任务满足 3 个条件时值得尝试。文本固定而语气决定表情，例如对话头像、有声书封面或情感化身，且能接受表情变而场景基本不变。若需要场景级情感或无脸图像的情感表达，当前 ECA 与融合设计不覆盖，需另设指标。复现后最应补的验证是跨语言与自然录音下的保持度，以及无脸数据的场景情感人工评价，避免把 RAVDESS 的面部红利当成通用情感理解。成本上 80 GPU 小时加 4 步 2.1 秒适合端侧原型，但 280M 的 FID 代价在高质量需求下需权衡。

总体判断是论文用重训基线、纯韵律对照、TTS 控制和独立分类器形成了一条支持韵律确有作用的证据链，但作用域被明确限定在与类别情感相关的面部韵律，完整韵律控制仍待验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总