把情绪当作首要优化目标：AffectCodec 如何在离散量化中留住情绪

英文题目：AffectCodec: Emotion-Preserving Neural Speech Codec for Expressive Speech Modeling

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.442

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#知识蒸馏 #向量量化 #语音情感识别 #语音编码 #文本到语音

评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jiacheng Shi：机构信息未能从会议 PDF 纯文本可靠映射
• Hongfei Du：机构信息未能从会议 PDF 纯文本可靠映射
• Xinyuan Song：机构信息未能从会议 PDF 纯文本可靠映射
• Y. Alicia Hong：机构信息未能从会议 PDF 纯文本可靠映射
• Yanfu Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Ashley Gao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

神经语音编解码器需将连续波形压缩为离散 Token 供语音语言模型使用，但量化过程易抹除细微情感与韵律变化，且传统重建目标对此缺乏显式约束。本文提出 AffectCodec，先以情感语义引导的隐变量调制在量化前向声学隐变量注入情感与语义上下文，再以关系保持蒸馏约束首层量化表示复刻教师空间的成对几何结构，最后以情感加权语义对齐强化离散 Token 与文本语义的关联并突出情感变化剧烈帧。与仅优化声学重建或首层语义蒸馏的已有编解码器不同，该框架把情感完整性作为与内容和韵律并列的一级优化目标。在 EmoVoiceDB 重建评测中情感相似度达到 0.94，超越次优基线 FACodec 的 0.88，同时在 LibriSpeech test-clean 上保持可比可懂度与更优感知质量。该结论主要限于英语朗读与表演性情感语音，对 NNIME 这类微妙压抑情感与强噪声泛化尚未充分验证。原文未披露训练时长、推理延迟或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，必须保留什么？

这篇论文的输入是连续语音波形，目标是把它变成离散 token 序列，再能解码回波形，同时下游能直接用这些 token 做语音语言模型和零样本语音合成。

用初学者的话说，神经语音编解码器就是语音与语言模型之间的翻译层。编码器把高采样率波形压成每秒固定帧数的连续隐变量，残差向量量化把每帧变成若干码本索引，解码器再把索引变回波形。

论文反复强调的一个判断是，现有编解码器即使重建音质分数很高，情绪完整性和表现力仍会受损，细微和富有表现力的情绪线索尤其脆弱。也就是说，语言内容和说话人特征保住了，不等于情绪保住了。

因此作者把情绪保持从事后评测维度提升为表示学习的首要优化目标，同时要求不牺牲语义保真度和韵律自然度。本文解读默认从原文独立写作，不继承其他解读的评价，所有事实回到原文证据核对。

当前没有完成 HTTPS 状态验证的开源资源证据，因此不声称代码、模型或数据已公开。凡涉及可运行性只按原文描述的训练与评测条件讲述。

已有路线在哪里把情绪弄丢了？

理解这篇工作要先分清 2 条研究线。第 1 条是神经语音编解码器与离散音频表示，从向量量化、残差量化，到 SoundStream、EnCodec，再到 DAC、HiFi-Codec，以及面向生成的 SpeechTokenizer、FACodec、Mimi、BigCodec、WavTokenizer 和语义增强的 X-Codec、Llasa。

它们的共同优化重点是声学重建质量、压缩效率或早期量化层的语义信息，情绪只是压缩的隐含副产品，没有显式约束去保护情感结构。第 2 条是情绪感知语音表示学习，从手工韵律特征到深度情绪判别表示，再到 wav2vec 2.0、HuBERT、WavLM 等自监督模型。

以及 CLAP 类音频文本对齐模型和 emotion2vec 等微调表示，还有把情绪解耦用于可控语音合成的工作。原文指出，这些情绪表示通常独立于编解码器学习，在编解码管线中仍靠声学重建顺带保留，量化时的变换缺乏显式保护。

EmoCodec 等评测工作系统报告了失真，但没有改学习目标。AffectCodec 的位置正在于此：把情绪建模接到离散表示学习内部，在隐变量、关系结构和对齐 3 个层面加约束，而不是只在评测时看情绪分数。

研究问题如何界定，成功标准是什么？

原文提出的研究问题是：在离散表示下，如何同时保持情绪完整性与表现力、韵律自然度和语义保真度。举例来说，同样一句话用平静和哽咽 2 种方式说，词内容相同，但基频、能量、时长和低频共振峰过渡不同。

编解码器若只优化波形误差，可能把这些差异抹平。这个例子只是帮助理解任务，不代表原文做过该句子的对照实验。成功的判定在原文中分成 3 类：情绪一致性、内容保持和语音自然度。

情绪一致性用基于 emotion2vec 的情绪相似度、基于音高能量时长的韵律相似度和预训练情绪识别模型的召回率衡量。内容保持用语音识别转写的词错误率、词信息丢失率和对数谱距离衡量。

语音自然度用音高重建误差、语音质量感知分数和预测人评自然度的分数衡量。方向上，相似度、召回率和感知分数越高越好，错误率和距离越低越好。

原文还用下游情绪识别和零样本合成检验离散表示是否真的可用，而不只看重建波形像不像。

3 阶段框架先让一个样本走完全程

先跟着一个 16 kHz 波形走一遍。声学编码器把它变成连续帧序列，每帧是包含频谱和韵律细节的向量。冻结的情绪编码器和自监督语义编码器分别给出情绪嵌入序列和语义音频嵌入序列，冻结的语音识别加语言编码器给出文本语义嵌入序列。

主路径上，声学隐变量先经过情绪语义引导的调制，变成融合情绪与语义的统一隐变量，再送入 8 层残差向量量化得到离散表示，最后由解码器重建波形。辅助路径上，关系保持蒸馏约束第 1 层量化输出保留情绪与语义教师空间的帧对关系，情绪加权语义对齐把第 1 层量化帧与文本语义邻域对齐，且按情绪变化幅度加权。

下图把这 4 块放在同一版式中，左侧是总体编解码回路，右侧是 3 个情绪模块的放大视图，阅读时先看主路径再看分支汇入点。

看图路径： 1. 先从左侧 Audio 出发，沿声学编码器到 RVQ 再到 Decoder 追踪主路径；2. 再看上下 2 条冻结分支在何处以 C 汇入量化前融合；3. 接着确认右侧 D 与 A 分别约束量化表示的哪一段

论文图 1。原论文 Figure 1：“Overview of the proposed emotion-guided neural speech codec.”。

从像素看，左上总体框中音频同时进入情绪音频编码器、声学编码器和语义音频编码器，中间黄色统一特征条经残差向量量化后再经投射与解码器相连。右上情绪引导隐变量调制用 2 路交叉注意力分别标注情绪引导和语义引导后汇入融合再进量化，右中关系保持蒸馏用圆圈标注的距离约束连接 3 组点集。

右下情绪加权语义对齐把量化统一特征与文本语义特征送入 token 对齐并受情绪变化框重加权。这一总览的教学价值在于明确干预时机：调制发生在量化前，关系约束和加权对齐发生在量化表示上，重建损失和对抗损失仍保留以维持流畅韵律和准确内容。

量化前调制：声学帧如何检索情绪与语义？

第 1 个组件是情绪语义引导隐变量调制。白话说，它是在量化前给声学帧补课：让每 1 帧都能看到全局情绪和语义上下文，再决定自己要强调什么。具体动作是把声学、情绪、语义表示经线性层投到同一交互空间，以声学特征为查询，对情绪序列和语义序列分别做交叉注意力。

得到的情绪调制信号和语义调制信号再经共享线性映射回声学空间，与原声学向量相加。为了平衡 2 路贡献，原文对 2 路调制项施加独立的随机丢弃，形成统一隐变量后再做残差向量量化。

实现细节上，交叉注意力模块用 8 个注意力头，情绪、语义和文本嵌入维度均为 768，声学与量化嵌入维度为 1024，量化在 50 Hz 下进行。原文的细粒度消融支持注意力位置的选择：在投影前做跨模态注意力的一版取得最好平衡，而直接相加、无注意力、只用单路或自注意力的变体在情绪相似度、召回率或谱失真上均有差距。

神经语音编解码器 × 残差向量量化： 神经语音编解码器负责把连续波形变成离散 token 供语言模型使用，残差向量量化负责用 K 层码本逐层量化残差并求和重构；前者定下压缩与重建的任务框架，后者定下离散瓶颈的具体位置，AffectCodec 的 3 个情绪模块都围绕这个瓶颈的前后进行干预，组合意义是让离散化不再只为波形保真服务。

情感引导隐变量调制 × 跨注意力： 情感引导隐变量调制负责在量化前向声学隐变量注入情绪和语义信息，跨注意力负责以声学帧为查询去检索冻结情绪编码器和自监督语义编码器的序列；前者定下要补什么信息，后者定下按帧对齐检索的实现方式，组合后得到与原声学结构相加的统一隐变量。

量化中约束：为什么只监督第 1 层并比较关系？

第 2 个组件是关系保持情绪语义蒸馏。白话说，量化会打乱连续表示的相对位置，这个组件不要求离散向量等于教师向量，只要求帧与帧之间的远近关系保持一致。对每个时间对，教师侧用情绪嵌入的欧氏距离和语义嵌入的欧氏距离描述关系。

学生侧用第 1 层残差量化输出的欧氏距离描述关系，再用绝对值差异惩罚学生与教师的不一致，情绪与语义 2 项分别有权重。原文固定 2 个权重均为 1，并说明沿用先前工作只监督第 1 层，因为该层被认为最具信息量和结构性。

消融显示，去掉关系监督后谱失真和音高误差明显上升，只用语义关系有助于内容但情绪召回提升有限，只用情绪关系有助于情绪但内容与谱稳定性较弱。直接做特征对齐不如保持成对几何关系。

关于更深层的选择，原文比较了只监督第 1 层、平均前 4 层和平均全部 8 层，发现越向深层扩展监督，情绪、内容和自然度全面下降。原因是深层主要编码残差声学细节，对量化噪声更敏感。

关系保持蒸馏 × 第 1 层量化表示： 关系保持蒸馏负责让离散后的几何关系向教师空间看齐，第 1 层量化表示负责提供被监督的学生对象；选择第 1 层是因为原文沿用先前工作判断其最具结构信息量，组合意义是用帧对间欧氏距离关系代替逐点特征对齐，减轻量化对情绪结构映射的破坏。

量化后对齐：情绪显著帧如何获得更强监督？

第 3 个组件是情绪加权语义对齐。白话说，帧级量化输出与词级文本嵌入长度不同，直接对齐有错位风险，该组件先做局部软对齐，再让情绪波动大的帧权重更大。按原文算法，每帧先算相邻帧情绪嵌入差的模长作为情绪差异量，首帧记零。

再对差异序列做 softmax 并缩放到均值为 1，得到重要性权重。接着按语音帧与文本长度的大致单调对应算出中心词索引，取固定窗口内的文本嵌入，与当前量化帧算余弦相似度并经 softmax 得到对齐权重，加权平均成该帧的语义教师向量。

最终对齐目标是对每帧量化向量与语义教师的余弦相似度取 sigmoid 对数似然，再按情绪权重加权平均。消融支持这种设计的必要性：去掉对齐后谱距离和音高误差恶化，召回率下降。

只做语义不对情绪加权能改善内容但情绪增益有限。保留情绪幅度但去掉帧级自适应、改用全局均值缩放，则情绪召回反而下降，说明时间自适应是关键。

情绪加权语义对齐 × 情绪变化幅度： 情绪加权语义对齐负责把第 1 层量化帧与文本语义邻域的加权中心对齐，情绪变化幅度负责按相邻帧情绪嵌入差的模长经 softmax 定出每帧权重；前者解决帧级与 token 级长度不匹配，后者让情绪波动大的帧获得更强监督，组合意义是在语义保真中优先护住易失真的情感显著区。

训练目标与合成扩展如何组织计算？

生成器训练是多目标求和：梅尔谱损失、对抗损失、特征匹配损失、量化承诺损失，加上关系保持蒸馏损失和情绪加权语义对齐损失。原文把声学重建与情绪语义监督放在同一总损失中联合优化，编码器、量化器和解码器参与更新。

而情绪编码器、自监督语音模型、语音识别模型和语言编码器保持冻结，只提供指导信号，不报告对这些教师做微调。编码器本体是分层卷积加双向长短期记忆再投影的结构，解码器镜像还原，量化器是 8 层码本各 1024 条目的残差结构。

码本用指数滑动平均更新并替换死亡码向量，反向用直通估计器。判别器包括多尺度短时傅里叶、多尺度和多周期 3 类。下游合成扩展不是直接用波形，而是把离散表示当作语言模型的建模对象。

首层码流用解码器-only Transformer 自回归生成，条件是音素序列和参考声学提示。后续各层用非自回归 Transformer 以低层、音素和提示为条件并行推断。2 类 Transformer 均为 12 层、16 头、1024 维嵌入和 4096 维前馈，丢弃率为 0.05。

推断出的层级 token 再映射为离散嵌入送解码器合成。

自回归首层建模 × 非自回归后续层建模： 自回归首层建模负责按音素序列和参考提示逐帧生成粗粒度语言与全局韵律 token，非自回归后续层建模负责在已知低层条件下并行补全细粒度声学与情绪变化；前者保证内容与韵律骨架，后者填充残差细节，组合后完整恢复 8 层 RVQ 层级再送解码器合成。

数据、基线与指标在什么条件下比较？

编解码器训练用约 2300 小时的多域语料，覆盖干净朗读、多语与多声学环境以及情绪表达。LibriSpeech 的干净训练子集约 460 小时并随机裁成 3 秒段，VCTK 提供多口音英语约 44 小时并下采样到 16 kHz。

AISHELL-3 提供普通话约 85 小时，AudioSet 的 1000 小时子集引入背景多样性，MSP-Podcast 约 407 小时和 CMU-MOSEI 语音模态约 65 小时提供自然情绪。所有音频重采样到 16 kHz。重建评测在 LibriSpeech 测试集和 EmoVoiceDB 上进行，前者看可懂度与感知质量，后者看情绪保持。

情绪识别评测沿 EMO-SUPERB 协议，在 6 个标准情绪数据集的重建语音上测宏平均 F1。合成评测的 token 预测模型在 LibriTTS 约 585 小时上训练，在 LibriSpeech 上测可懂度与韵律自然度，在 EmoVoice-DB 和 SECAP 上测情绪对齐。

基线包括 EnCodec、DAC、FACodec、SpeechTokenizer、Mimi、BigCodec、TAAE、WavTokenizer、Llasa 等重建基线，以及 MaskGCT、F5-TTS、FireRedTTS、ARS、CosyVoice 2、Llasa、SparkTTS 等合成基线。还有 MP3、Opus、AAC 等传统编解码参考。

实现上编解码器训练 200 轮、4 卡 A100、批量 16、AdamW 学习率 0.0002 加余弦衰减，下游自回归与非自回归模型分别训练 300 轮和 200 轮。结果均为 3 个随机种子平均。需要提醒的是，不同表的主次基线与比特率、帧率并不完全一致，比较时应回到各表的配置列核对公平条件，不能把跨表数字直接排序。

重建与情绪识别：增益出现在哪里，代价是什么？

重建比较要回答的问题是：在相近任务下，情绪一致性、内容保持和自然度 3 者是否同时成立，指标方向是相似度与感知分数越高越好、错误率与距离越低越好。下表把原文正文中明确提到的关键数字整理成可复述的对照，保留了实际可运行的代表性基线与本方法，数值写法与原文句子一致。

表前已说明公平条件受限于各基线原始配置，表后将解释主要收益与未胜出项。

上表显示，本方法在情绪相似度、韵律相似度和情绪召回率上高于所列对照，感知质量与预测自然度也最高，对数谱距离最低，词信息丢失率更低。代价是词错误率并未最优，EnCodec 的 4.02 仍低于本方法的 4.15，原文表述为相当而非超越。

音高重建误差也不是最低，但感知指标的提升支持重建更干净自然的判断。在 EMO-SUPERB 的 6 个情绪集上，原文报告本方法在英语的 IEMOCAP、CREMA-D 和 IMPROV 上居前 2 位，在 IMPROV 上甚至超过原始音频。原文解释为离散空间抑制了通道失配等 nuisance 变化，在中文 BIIC-PODCAST 上最好，但在 NNIME 上略低于最强基线，原因是该集情绪克制微妙，离散表示仍难捕捉。

这说明总体趋势不等于每组都成立，跨语言与细粒度情绪仍是边界。重建主观评测用 3 套互补协议：有参考的 MUSHRA、1 到 5 分的自然度与情绪平均意见分、成对偏好测试，每种 24 名听众参与。下图左侧为 MUSHRA，中间为 2 类平均意见分，右侧为偏好饼图，阅读时注意纵轴分别是 50 到 100 分、0 到 4 分以上和百分比。

看图路径： 1. 先对比 MUSHRA 柱状图中 4 者的高低与误差线；2. 再对比 MOS 与 Emotion-MOS 2 组柱子的相对差距；3. 最后读右侧 2 张饼图中属于 Ours 的扇区占比

论文图 2。原论文 Figure 2：“Reconstruction subjective evaluation results across three complementary settings.”。

从像素看，MUSHRA 4 根柱子从左到右依次升高，本方法 90.26 明显高于 EnCodec 78.96 和 Llasa 87.52，接近真值 91.37。中间 2 组柱子中本方法自然度 4.02 与情绪 4.21 均为最高，且情绪项的领先幅度更大。右侧 2 张饼图中本方法扇区分别占 78.9% 与 87.6%，对应总体质量与情绪偏好。这支持客观情绪相似度之外的听感增益，但仍是样本内主观结果，不能推广为延迟或成本改善。

零样本合成：离散表示能否支撑有情绪的生成？

合成比较要回答的问题是：学到的离散表示在重建之外，能否支撑可懂、韵律连贯且情绪对齐的零样本生成，条件是合成模型在 LibriTTS 上训练、分别在 LibriSpeech、EmoVoice-DB 和 SECAP 上评测。下表整理原文明确报告的合成关键数字，保留可运行的合成基线对照，指标方向是词错误率越低越好，相似度与自然度越高越好。

表前条件是帧率 50 Hz 附近的自回归与非自回归系统对照，表后将说明情绪对齐与可懂度之间的权衡。

上表支持的判断是，本方法在 LibriSpeech 上韵律相似度最高、自然度有竞争力、可懂度接近最优，在 2 个情绪集上情绪相似度与召回率均为最高，表明隐空间中的情绪线索在生成后仍具判别力。限制是原文明确说明目标不是优化合成器本身，而是检验表示的可用性。

且在情绪集上的词错误率与自然度仍随数据分布变化，不能把单点最优理解为所有说话风格下都成立。主观合成评测进一步用平均意见分与成对偏好验证听感，下图左侧为 2 类意见分，右侧为 2 组成对比较饼图，听众均为 24 人且样本按情绪均衡。

看图路径： 1. 先看左侧 MOS 与 Emotion-MOS 3 根柱子的排序；2. 再看右侧 2 张饼图中蓝色扇区对应的百分比；3. 注意区分 2 次成对比较的对象分别是哪 2 个系统

论文图 3。原论文 Figure 3：“Text To Speech subjective evaluation results across two complementary settings.”。

从像素看，左侧本方法自然度 3.79 高于 CosyVoice 2 的 3.41 和 F5-TTS 的 2.85，情绪项 4.16 高于 3.53 和 2.98，且情绪项差距更大。右侧 2 张饼图中蓝色本方法扇区分别占 74.7% 与 85.5%，中立比例均低于 4%。这与客观情绪对齐增益一致，但听众与样本量有限，不支持对未评测语言或强噪声条件的推断。

拿掉哪一块会发生什么，细粒度对照支持什么？

消融要回答的问题是：3 个组件是否互补，监督放在哪一层最稳。下表把原文明确给出的组件级增量整理出来，每一行都是实际可运行的配置变化，指标方向与前文一致。表前先明确起点是去掉对应组件的基线，表后解释分工与合并效果。

上表支持组件互补的判断：第 1 块主要动情绪与保真，第 2 块主要动语言清晰度，第 3 块主要动韵律与自然度，3 者合用取得全面最好。细粒度对照进一步收紧实现选择：注意力放在投影前优于投影后，跨模态优于自注意力与直接相加。

关系监督用成对几何优于直接特征对齐，只用单路教师不如双路。对齐去掉帧级自适应改全局缩放后情绪召回下降。层选择上，只监督第 1 层最好，扩展到前 4 层与全部 8 层单调下降，与 SpeechTokenizer 关于第 1 层信息效率更高的观察一致。

情绪编码器选择上，CLAP-LAION 最均衡，CLEP-DG 情绪相似度略高但韵律与失真较差。所有消融均为 3 个种子平均，但未报告显著性检验，因此小幅差异应视为支持而非确证。定性频谱图从另一视角看低频结构的保持，面板为同一语音段的梅尔谱，横轴 0 到 1 秒，纵轴 0 到 800 赫兹，绿框标出 0.4 到 0.6 秒、300 到 500 赫兹附近的共振峰过渡区。

看图路径： 1. 先确认横轴时间为 0 到 1 秒、纵轴为 0 到 800 赫兹；2. 再比较 4 个面板中央绿框内纹理的连续与断裂程度；3. 重点观察 300 到 500 赫兹附近能量过渡是否平滑

论文图 4。原论文 Figure 4：“Qualitative comparison of reconstructed spectrograms across different codecs.”。

从像素看，4 个面板从左到右为自然参考、本方法、DAC 与 EnCodec，绿框均位于中央低频区。自然参考在框内呈现平滑连续的能量过渡，本方法最接近这种连续性，DAC 与 EnCodec 在框内更碎片化、明暗跳变更多，提示量化对低频韵律情绪结构的扰动更大。这与客观情绪一致性和感知自然度的增益方向一致，但属于单样本可视化，只能作为补充证据，不能替代统计指标。

哪些结论有边界，哪些验证还没有做？

原文在局限中明确，框架目标是在可接受计算效率下重建情绪表现力并保持语义与韵律，而不是最小化模型复杂度，轻量化架构与更高效训练是未来工作。这意味着不能把情绪增益理解为零成本。

本方法码率 4 kbps、帧率 50 Hz、8 个量化器、参数 44 M、训练数据 2300 小时，与各基线的效率维度本就不同，跨表直接比绝对值并不公平。数据边界上，NNIME 这类克制微妙情绪仍具挑战，中文与英文、表演与自然对话之间的泛化也不均匀。

验证缺项上，原文未报告误判率的统计显著性、推理延迟与部署成本，也未验证长时对话或强噪声下的稳定性，相关性结果不能当作因果证明。主观评测的听众与样本有限，偏好比例不能推广到全人群。

此外，情绪编码器、语义教师与文本编码器的具体冻结与梯度路径已交代，但未报告这些教师内部层平均之外的替代实现细节。复现时应严格沿用原文列出的冻结模型与维度，避免从模型名称推定实现。

复现先做什么，需要固定哪些条件？

复现应先固定信息条件再跑训练。数据侧，把 LibriSpeech、VCTK、AISHELL-3、AudioSet 子集、MSP-Podcast 与 CMU-MOSEI 按原文用途组织并统一到 16 kHz，训练裁 3 秒段，评测用 LibriSpeech 测试集与 EmoVoiceDB。

情绪识别沿 EMO-SUPERB 官方划分，合成训练用 LibriTTS。模型侧，声学编解码主干、8 层 1024 条目残差量化、50 Hz 与 1024 维、冻结的 CLAP-LAION 情绪编码器、wav2vec 2.0 语音识别、BERT 语言编码器与 HuBERT 语义模型、8 头交叉注意力、蒸馏权重均为 1，这些是必须保留的超参数与信息条件。

训练侧，编解码器 200 轮、4 卡 A100、批量 16、AdamW 学习率 0.0002 余弦衰减，下游自回归 300 轮、非自回归 200 轮并注意动态批量时长。评测侧，同时跑情绪相似度、韵律相似度、召回率、词错误率、词信息丢失率、对数谱距离、音高误差、感知质量与预测自然度，并做 3 个种子平均，避免只看单一指标。

主观评测若要重复，需同样固定 24 名听众、MUSHRA 参考锚点与情绪均衡样本。下表把重建主观数字整理为可核对的复述基准，表前问题是听感增益是否在 3 套协议下一致，表后将说明其复现边界。

上表说明重建主观增益在 3 套协议下一致，且情绪项差距大于总体项，但仍是特定样本与听众下的结果。合成主观基准同样需要固定情绪均衡与成对设计，下表给出可核对的合成听感起点，表后不再重复客观结论。

上表可作为合成听感复述的起点，但同样不能替代客观指标。关于可用性，本次解读未获得完成验证的资源状态证据，因此不声称当前可用或已公开，复现前需自行确认原文链接与附录中的数据许可、划分与评测脚本是否可达。

何时值得尝试这个思路？

当你的语音语言模型已经能把词说对，但听起来情绪平了，或经编解码重建后情绪识别明显掉点，且你能接受保留现有重建与对抗训练、只在量化前后加情绪约束的复杂度时，这个思路值得尝试。它的核心动作并不神秘：在量化前用检索式融合补情绪语义，在量化后用关系与加权对齐护住显著帧，且只监督信息最集中的第 1 层。

复现时优先保证冻结教师与维度 1 致，再验证情绪相似度与召回率是否上升，同时检查词错误率与谱距离是否出现代价，避免只看自然度。还需要补的验证是显著性、延迟成本、长时与噪声鲁棒性，以及在你自己的情绪分布上的表现。

记住，总体趋势不等于每组都成立，克制微妙情绪与跨语言场景仍需单独评估。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

区域 5 · 查看论文原页

另有 74 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总