冻住大模型做共情对话：用语义情绪解耦把文本共情搬到语音

英文题目：FreezeEmpath: Efficient Training for Empathetic Spoken Chatbots with Frozen LLMs

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.846

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#Adapter #大语言模型 #语音情感识别 #语音对话系统

评分：8.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Yun Hong：机构信息未能从会议 PDF 纯文本可靠映射
• Yan Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Yang Feng：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

共情语音对话以用户语音为输入，需同时解析语义内容与情感韵律，并输出语义恰当且情感一致的文本与表现力语音回复，实际难点在于情感线索与语义耦合且高成本共情语音指令稀缺，微调又易损伤大模型通用能力。FreezeEmpath先用语音编码器加语义适配器将语音表征映射到大模型嵌入空间，以对齐语义并经自蒸馏完成语义理解与文本回复。接着情绪抽取器经层级加权池化与帧级注意力池化压缩多层隐状态为单一情绪特征，先经语音情感识别预训练再经共情指令微调，并与固定连接词嵌入拼接后输入冻结大模型以产生共情文本。最后基于冻结Qwen2.5-7B-Instruct隐状态训练流式语音解码器生成富有表现力的语音，伪共情数据由随机情绪标签注入中性指令并驱动冻结大模型自生成回复得到。与微调大模型的已有方法不同，该链全程冻结主干并解耦语义与情感输入，使情感训练可扩展到大规模多语言识别数据而不受格式限制并保留问答知识。在6个语音情感识别测试集下，FreezeEmpath的平均准确率为70.1，高于BLSP-Emo的63.3。其结论适用边界限于英中为主的5类粗粒度情绪指令跟随与日常共情对话，尚未验证性别年龄等多副语言因素与长程多轮外推；原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/ictnlp/FreezeEmpath — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/OpenBMB/UltraEval-Audio — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些信息？

这篇解读面向刚进入语音与语言模型交叉方向的研究生，目标是让你能复述 FreezeEmpath 的做法并核对关键条件。输入是用户带情绪的语音，输出是既切题又有安慰感的语音回复，中间必须保留两类信息，一是说了什么，二是以什么语气说的。论文要解决的矛盾是，一方面高质量共情语音指令数据构造复杂且文本多样性不足，另一方面在跨模态数据上微调大模型可能损害通用能力。作者给出的选择是全程冻结大语言模型，只学语音到文本空间的映射与语音生成，用已有中性语音指令与情绪识别数据完成迁移。

为避免误解，先固定术语。白话说，能听懂语气并做出贴切安慰的语音聊天机器人，英文是 empathetic spoken chatbot。后文简称共情语音机器人。把连续语音变成大模型可读向量的部件叫语音适配器，英文是 speech adapter。把韵律中情绪压缩成一个向量的部件叫情绪抽取器，英文是 emotion extractor。

情绪识别即 speech emotion recognition，后文简称 SER。语音问答即 SpokenQA。全文只讨论论文实际做的英语与中文共情对话、SER 与 SpokenQA，不扩展到性别年龄等多维副语言建模。

已有路线在同输入同目标下差在哪里？

先看语音大模型这条线。按建模方式可分离散与连续两类。离散方法把语音压缩成离散单元与文本联合建模，代表有 SpeechGPT、GLM-4-Voice 与 Moshi。连续方法把语音投影为连续表示对齐到大模型嵌入空间，输入端加语音编码器，输出端加语音解码器，代表有 LLaMA-Omni2、Freeze-Omni 与 Mini-Omni。FreezeEmpath 属于连续路线，输入端用 Whisper-large-v3 编码器加适配器，输出端用流式解码器加词转波形模块。

再看共情语音对话这条线。Spoken-LLM 用级联架构分别建模内容与风格再用富有表现力合成输出。OpenS2S 用流式交错解码在 BLSP-Emo 基础上做低延迟共情生成。OSUM-EChat 用 3 阶段理解驱动训练与语言副语言双思考机制。这些方法的共同点是依赖人工构造的真实语音到语音指令数据，成本高。

论文的对照点正在于此，它不用精心构造的共情语音指令数据，而是用已有语音指令与 SER 数据加自指令构造伪数据。与直接微调大模型的做法相比，它全程冻结大模型，意图保留知识与通用能力，后文实验会用问答准确率来支撑这一判断。

任务难在哪，论文把问题拆成哪几步？

共情语音任务要求模型同时完成三件事。第一是听懂内容，第二是感知情绪，第三是生成语义贴切且韵律有情绪的语音。难点在于内容与情绪纠缠在同一段波形里，若用单一语音表示直接对齐，情绪线索易被内容淹没。若再用合成的共情对话去微调大模型，文本多样性不足会限制泛化，还可能让大模型忘记原有知识。

论文把问题拆成表示解耦与渐进对齐两步。表示上用两条支路分别编码语义与情绪，输入到大模型时拼接成一个序列，形式上类似给冻结大模型同时看到转写文本与情绪标签。训练上分语义对齐、情绪对齐与语音生成 3 个阶段，先让模型能听懂并回答，再让它能感知情绪并安慰，最后让它能把安慰说出口。举例说明，同样一句餐厅让我想起童年，若标注为悲伤语气，期望回复应先共情悲伤再展开话题，而不是只介绍餐厅。这种例子是教学示意，具体效果以后文评测为准。

冻结大模型如何还能共情，全景先走通一个样本？

先沿一个样本走完全程。假设用户用悲伤语气说伴侣分手的内容，语音先进入共享的语音编码器，一路经语义适配器变成与文本嵌入同空间的语义特征序列，另一路经情绪抽取器压缩成一个情绪向量，再与几个固定连接词嵌入拼接后一起送入冻结的大模型。大模型输出安慰性文本，其隐状态与已生成文本再送入流式语音解码器生成语音 token，最后经流匹配与声码器合成带有安抚韵律的波形。整个过程中大模型参数不更新，梯度只流向适配器、情绪抽取器与语音解码器。

论文的核心洞察是，大模型本身已具备文本共情能力，只要显式告诉它语气，它就能生成高质量安慰回复。下图用最简文本情形演示该假设，左边是内容，中间是语气标签，右边是大模型，底部是安慰回复。

看图路径： 1. 先看左侧人类气泡的文本内容与右侧蓝色小框标注的语气；2. 再看箭头如何把语气信息送给右侧大模型图标；3. 最后对比下方绿色气泡的安慰式回复与输入情绪是否匹配

论文图 1。原论文 Figure 1：“Demonstration of the LLM’s inherent empa- thetic capability.”。

该图显示的闭环是，内容加语气作为显式条件，触发了大模型的安慰行为。FreezeEmpath 的全部设计就是把这个文本条件换成从语音中抽出的语义与情绪特征，使语音输入也能触发同样的共情行为。理解这一点后，再看解耦编码与 2 阶段对齐就不难。

冻结大模型 × 灾难性遗忘： 冻结大模型指整个训练中不更新大模型参数，只训练适配器、情绪抽取器与语音解码器；灾难性遗忘指在跨模态共情数据上微调大模型会损害其原有知识与通用能力。两者搭配的理由是保留通用能力的同时只学模态映射，组合意义是让共情迁移不以牺牲问答与指令遵循为代价。

语义与情绪两条支路各算什么，如何拼给大模型？

语音理解模块包含 3 个部件，语音编码器、语义适配器与情绪抽取器。编码器用 Whisper-large-v3，输出各层隐状态。适配器结构与 LLaMA-Omni 相同，含降采样层与两层前馈网络，负责把编码器输出映射为语义特征。情绪抽取器分层级池化与帧级池化两步，先对多层做加权平均得到每帧表示，再用可学习查询经多头交叉注意力聚焦关键帧，最后经两层前馈网络映射到大模型空间，得到单个情绪向量。

送入大模型的最终序列可写成语义特征、固定嵌入、情绪向量、固定嵌入的拼接，对应的纯文本对齐序列是转写文本嵌入、固定嵌入、情绪标签嵌入、固定嵌入的拼接。对齐目标就是缩小语音侧与文本侧在这两段上的差距。固定嵌入是几个连接词的文本嵌入，作用是帮助大模型更好理解情绪向量的位置与角色。下图展示了该架构，底部是带悲伤标注的输入语音，中部是两条支路，顶部是带安抚标注的输出语音，右侧放大了情绪抽取器的池化细节。

看图路径： 1. 沿底部麦克风输入向上追踪语音编码器分出的两条支路；2. 对比蓝色语义适配器输出的序列与黄色情绪抽取器输出的单点；3. 再看顶部流式语音解码器如何交替使用大模型隐状态与语音 token

论文图 2。原论文 Figure 2：“Model architecture of FreezeEmpath.”。

从像素看，左侧图例区分了语义特征、情绪特征、大模型隐状态、语音 token 与固定嵌入 5 类符号。底部蓝色长条是语音编码器，其上蓝色分支经适配器输出一串蓝色圆点，黄色分支经抽取器输出单个橙色圆点。顶部紫色长条是流式语音解码器，其上紫色方块为语音 token，绿色圆点为大模型隐状态，两者交替输入解码器，再经流匹配与声码器输出波形。右侧黄色面板自下而上是多层蓝色圆点经均值与前馈得到门控权重，再做加权求和，经注意力与前馈得到顶部橙色情绪向量。该图不支持逐数值复核，但能唯一确定分工与数据流向。

语义适配器 × 情绪抽取器： 语义适配器负责把语音编码器输出映射到大模型词嵌入空间，保留说了什么；情绪抽取器负责从同一编码器多层隐状态中压缩出一个情绪向量，保留说得怎么样。两者搭配是因为共情需要同时知道内容与语气，组合后大模型可在冻结状态下同时收到语义序列与情绪提示，从而复用其文本共情能力。

语音生成端如何同时保住语义与情绪韵律？

语音生成模块包含流式语音解码器与词转波形模块。解码器结构类似 LLaMA-Omni2，含门融合模块与解码器 Transformer。门融合聚合大模型隐状态的上下文信息与已解码文本的精确语义，再送入 Transformer。生成是流式的，每读入 R 个输入嵌入就生成 W 个语音 token，论文取 R 为 3，W 为 15。语音 token 频率为 50 赫兹，词表大小为 8192，解码器 Transformer 用 Qwen2.5-0.5B 初始化。词转波形模块用 IndexTTS2 的预训练流匹配模型与声码器，把 token 转为波形。

关键在于情绪监督的来源。训练时先把共情文本回复按兴奋、安慰等类别划分，每类从 ESD 数据集中收集情绪语音样本作为情绪音频提示，再用 IndexTTS2 的文本到语义模块从文本、说话人提示与情绪风格提示生成语音 token。这样得到的语音到语音数据同时编码语义与韵律，解码器学到的是带情绪的 token 生成，而不只是中性朗读。推理时解码器依据大模型隐状态自回归生成，保留了文本共情的语义，也带上了与语义一致的情绪韵律。

流式语音解码器 × 词转波形模块： 流式语音解码器负责根据大模型隐状态与已解码文本生成同时携带语义与韵律的语音 token，采用每读入若干嵌入生成若干 token 的流式策略；词转波形模块负责把这些 token 经流匹配与声码器转为波形。两者分工为先定内容与情感韵律再定波形细节，组合后才能输出既可懂又有情绪表现力的语音。

三阶段训练先冻谁后练谁，伪数据如何构造？

训练分语义对齐、情绪对齐与语音生成 3 个阶段。原始数据只有两类，语音指令数据集与 SER 数据集，前者是语音与对应文本指令的配对，后者是语音与情绪标签的配对。语义对齐阶段冻结编码器与大模型，只训练语义适配器，用自蒸馏思想让大模型在语音输入与文本输入下输出一致，最小化语音输入下回复的交叉熵。情绪对齐阶段冻结编码器、适配器与大模型，只训练情绪抽取器，分 SER 预训练与共情指令微调两步。语音生成阶段只训练流式语音解码器，其余冻结。

伪共情指令的构造值得复述。对每条语音指令，从 SER 数据分布中采样一个情绪标签作为伪标签，得到情绪注入的语音指令。再用文本指令与情绪标签的文本嵌入填入对齐序列，加共情系统提示，让冻结大模型自己生成共情回复，形成语音到文本伪数据。训练时对每条 SER 语音采样 K 条同情绪伪指令，把内容语音特征与情绪语音特征分别填入输入序列，目标是生成该回复，同时混入 SER 指令以免情绪识别退化。

附录例子显示，即使文本与随机情绪不完全匹配，冻结大模型仍会综合两者生成相对得体的目标，从而不干扰对齐。下图只截取了第二阶段的两个子步骤，左侧是直接输出语气，右侧是内容加悲伤语气生成安慰。

看图路径： 1. 先区分左侧情绪识别预训练的单句情绪输出与右侧共情微调的多句回复；2. 观察两子图中语音编码器与大模型的冻结标识与情绪抽取器的可训练标识；3. 注意右侧同时出现内容语音与情绪语气两个输入的作用

论文图 3。原论文 Figure 3：“Training strategies of FreezeEmpath.”。

图中左侧灰框提示直接输出给定句子的情绪语气，上方输出为快乐标签，右侧下方同时出现节水策略的内容语音与悲伤语气，上方输出为理解困难的安慰句。两子图的语音编码器与大模型均标冻结，情绪抽取器标可训练，语义适配器标冻结。该图确认了渐进策略，先学会识别情绪，再学会在内容任务中使用情绪。

语义对齐 × 情绪对齐： 语义对齐负责让语音与文本在输出一致性上对齐，只训练适配器；情绪对齐负责让情绪向量可被大模型理解，分情绪识别预训练与伪共情指令微调两步，只训练情绪抽取器。先语义后情绪的搭配避免情绪学习干扰内容理解，组合意义是用渐进方式把文本共情能力迁移到语音。

伪共情指令数据 × 自指令构造： 伪共情指令数据指给中性语音指令随机配一个情绪标签再由冻结大模型生成共情回复的数据；自指令构造指用对齐序列与系统提示让大模型自己产生该回复的过程。前者提供训练目标，后者提供低成本生成手段，组合后无需人工录制或用可控语音合成构造大规模共情语音，显著降低数据成本。

实验在什么数据与基座上跑，评测如何组织？

基座与数据条件需先交代清楚。基座大模型用 Qwen2.5-7B-Instruct，语音编码器用 Whisper-large-v3 的编码器。英语用 InstructS2S-200K 约 420,000 对话轮，中文用 CSLM 同款中文指令约 200,000 轮，语音生成阶段再用 Qwen3-32B 把部分英语指令译为中文做增强。SER 训练用 10 个公开集约 110,000 条，含 IEMOCAP、MELD、MEAD、ASVP-ESD、CREMA-D、SUBESCO、M3ED、Emozionalmente、ESD 与 MAFW，覆盖英中意孟加拉等多语，统一保留中性、快乐、悲伤、愤怒、惊讶 5 类。评测用 SpeechAlpaca 400 条测共情指令遵循，VStyle-Empathy 278 条测日常共情对话，6 个 SER 测试集测情绪识别，Llama Questions 等三集经 UltraEval-Audio 转语音后测语音问答。

下表整理训练配置的核对要点，比较问题是各阶段批量与学习率是否按论文设置复现，公平条件是冻结对象必须与原文一致。

训练均用前 3% 步预热加余弦退火，在 8 卡 H800 上完成。共情评测用 GPT-4o 打质量分与共情分，用 Gemini-2.5-Pro 打声学分，用 Whisper-large-v3 转写算词错率。问答评测先做文本归一化再查候选答案是否被包含，语音到语音先转写再同样判定。人类评测每次随机抽 20 条，5 人按有用性、共情、音质与韵律整体选胜平负。代码当前可用，已公开，地址见资源清单，UltraEval-Audio 基准同样当前可用。

共情对话与语音问答的主结果支持什么判断？

共情对话分两种场景。共情指令遵循场景同时考指令完成与情绪关怀，日常对话场景考多轮自然安慰。论文报告 FreezeEmpath 在 SpeechAlpaca 的语音到文本与语音到语音上共情分领先，质量分保持可比，声学分更高。作者解释为情绪抽取器显式提供语气，使模型在完成指令时仍回应情绪。对声学分的解释需谨慎，评分模型认为提升主要来自情绪表现力而非纯音质，这支持语音生成阶段情绪监督有效，但不等于每条语音的自然度都更好。

语音到语音的词错率上，Step-Audio2-Mini 与 Kimi-Audio 因生成过长文本连带影响语音质量而偏高，FreezeEmpath 保持较低词错率。日常对话上，VStyle-Empathy 英中平均分亦领先。

语音问答结果显示 FreezeEmpath 在 Llama Questions 上语音到文本与语音到语音均居前，在 TriviaQA 与 Web Questions 上保持可比，平均准确率居前。作者认为更大规模语音数据主要改善模态对齐而非引入新知识，冻结大模型有助于保留知识。OpenS2S 在共情语音指令上微调大模型后问答落后，被解释为可能的遗忘证据，但这属于有限解释而非因果证明。下图是人类偏好评测的可视证据，需先读图再下判断。

看图路径： 1. 先确认横轴为票数与绿色黄色蓝色的图例含义；2. 比较上下两条堆叠条带中绿色获胜段与黄色平局段的长度；3. 再核对图中标注的 34 与 49 以及 33 与 47 两组数字的对应关系

论文图 4。原论文 Figure 4：“Results of human evaluation.”。

该堆叠条形图横轴为票数，图例分 FreezeEmpath 获胜、平局与落败 3 段。与 Step-Audio2-Mini 对比的条带标注 34 票获胜与 49 票平局，与 OpenS2S 对比的条带标注 33 票获胜与 47 票平局，剩余为落败票。结合正文，与 OpenS2S 的落败为 20 票，与 Step-Audio2-Mini 的落败可由总数推算但像素截断处需以原文为准。解释是人类整体偏好更倾向 FreezeEmpath，但平局占比最大，说明优势是偏好性而非压倒性，且只在抽样的日常与指令样本上成立。

下表整理人类评测的可核对数字，比较问题是在相同抽样与 5 人评审下偏好是否一致，指标方向是获胜票越多越好，落败票越少越好。

表后需说明代价与边界。人类评测样本仅每次 20 条，人数仅 5 人，统计功效有限。自动指标中质量与共情由大模型打分，声学由另一大模型打分，不同评分者不可直接互比。未胜出项是部分日常快乐中文子项与个别问答子集，论文未声称全胜。部署时还需补测延迟与长文本稳定性，不能从偏好票直接推出实时可用。

情绪识别结果强在哪里，泛化证据是什么？

情绪识别测 6 个测试集，含 IEMOCAP 第五会话、MELD 测试集、RAVDESS、CASIA、CAFE 与 RESD。论文报告 FreezeEmpath 平均准确率最高，达 70.1。作者把原因归于两点，一是训练用了更大规模 SER 数据，二是情绪对齐策略可直接在大规模 SER 上训练且冻结大模型，不受语言与格式限制，减少不平衡与过拟合。BLSP-Emo 在 IEMOCAP 与 MELD 上与本文接近，作者解释为双方训练都包含这两集的训练划分因而拟合较好，而在其他未见分布上本文泛化更好。Qwen2-Audio 在 RAVDESS 上的高分被标注可能存在数据泄露，引用时必须保留该提醒，不能当作可比胜负。

为支撑泛化判断，还需看组件分析。把语音特征换成文本转写后质量分基本不变，支持语义对齐有效。把情绪特征换成随机情绪标签后共情分大幅下降，支持情绪抽取器确实捕捉了韵律而非仅靠文本。把情绪特征换成真实标签后共情分仍有差距，说明情绪识别仍有误判空间。语音解码器与级联的 IndexTTS2 中性合成相比，词错率可比而声学分更高，支持解码器在保住语义的同时带来情绪韵律。这些都是支持性证据，不是每条语音都成立的保证。

拿掉哪一步会怎样，消融表如何读？

消融回答两个问题，情绪抽取器的池化是否必要，情绪对齐的两步与辅助损失是否必要。指标是平均 SER 准确率与 SpeechAlpaca 共情分，前者越高识别越好，后者越高安慰越贴切。比较条件是同一基座与同一评测集，只改一处训练或结构。

表后解释主要收益与代价。去掉层级池化只轻微下降，说明多层加权平均有益但非决定性。去掉帧级注意力后下降最大，说明用可学习查询聚焦关键帧比简单平均更能抓住情绪。去掉 SER 预训练后两项都降，支持分步先识别再共情的必要性。去掉共情微调后 SER 反而升至 71.8，但共情分跌至 6.64，这是关键反例，说明只做识别会让特征过拟合识别任务，跨任务泛化变差。

去掉辅助损失后两项小幅下降，支持分类头增强鲁棒性。所有消融均为实际可运行策略，无事后最优值替代，解读时不得把单项下降说成必然因果，还需考虑数据分布与随机性。未评测边界是层数与注意力头数的敏感性，原文只报告头数为 4 与前馈隐维 2048，未做更细搜索。

哪些结论不能下，缺了哪项验证？

首先是范围限制。论文明确只建模语义内容与情绪语气，未考虑性别年龄等其他副语言因素，后续才做联合建模。因此不能把本文方法直接推广为通用副语言理解。其次是数据假设。伪情绪标签采用随机指派，论文用多数指令无显式情绪与冻结大模型可综合处理 mismatch 来论证合理性，但未报告 mismatch 比例与人工质检，这部分是待验证的推测。

再次是评测依赖。共情与声学分依赖大模型打分，人类评测样本小，未报告误判率、延迟、实时率与推理成本，不能承诺这些量得到改善。

还有指标不可比问题。SER 平均分、问答准确率、共情分与声学分量纲不同，差值不能跨指标比较。百分点与相对百分比不同，引用时保留原文小数精度。不同语言子集的趋势不等于每组都成立，例如日常对话个别情绪子项并非全胜。最后是资源表述。

代码仓库当前可用不等于权重与完整系统可一键运行，复现前需核对权重发布与环境。若需在新领域部署，还应补测噪声、口音、长语音与多轮对话下的稳定性。

要复现先做什么，关键超参数如何保留？

复现建议按依赖顺序做。先准备基座，Qwen2.5-7B-Instruct 与 Whisper-large-v3 编码器，语义适配器按 LLaMA-Omni 的降采样加两层前馈实现，情绪抽取器按层级加权平均加四头注意力帧池化加隐维 2048 的两层前馈实现，解码器 Transformer 用 Qwen2.5-0.5B 初始化，语音 token 词表 8192，频率 50 赫兹，流式参数 R 为 3，W 为 15。再准备数据，语音指令用英语 InstructS2S-200K 与中文 CSLM 同款数据，SER 用附录列出的十集并统一为 5 类，测试划分按附录为准。

训练按 3 阶段执行。第一阶段批量 128，学习率 1e-3，1 轮，只更新适配器。第二阶段先批量 128，学习率 2e-4，3 轮，辅助损失权重 0.8，只更新情绪抽取器，再批量 128，学习率 5e-6，1 轮，混入 SER 数据微调。第 3 阶段先批量 32，学习率 5e-4，5 轮预训练解码器，再批量 32，学习率 1e-5 联合训练，均用前 3% 预热加余弦退火。伪数据构造时记录随机种子与情绪采样分布，以便检查 mismatch 影响。

评测先跑 SER 六集与问答三集的自动指标，再跑 SpeechAlpaca 与 VStyle 的模型打分，最后小规模人评。硬件预算原文为 8 卡 H800，单机复现需调整批量与梯度累积并注明条件变化。

何时值得尝试，一句话如何带走？

当你已有中性语音指令与 SER 数据但缺共情语音数据，且不希望微调大模型损害通用能力时，值得尝试该方法。做法是解耦语义与情绪，先对齐语义，再用识别预训练加伪共情微调对齐情绪，最后用带情绪提示合成的语音 token 训练流式解码器，全程冻结大模型。预期收益是在保留问答能力的同时获得更贴切的文本安慰与更有表现力的语音，代价是需维护情绪抽取器与语音解码器两套新增模块，并承担随机伪标签与合成韵律带来的不确定性。

带走的一句话是，用冻结换通用，用解耦换数据效率，用渐进对齐换泛化。若要在论文基础上继续做，可先补三项验证，一是统计伪标签 mismatch 比例并做人工抽检，二是在噪声与口音下测情绪识别与共情分的稳定性，三是实测流式延迟与长文本语音质量，再考虑引入更多副语言线索。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

区域 5 · 查看论文原页

区域 6 · 查看论文原页

区域 7 · 查看论文原页

另有 11 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总