重音一变意思就变：语音模型为何听不出言外之意

英文题目：StressTest: Can YOUR Speech LM Handle the Stress?

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.64

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #基准设计 #韵律 #语音 #音频问答

评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Iddo Yosha：机构信息未能从会议 PDF 纯文本可靠映射
• Gallil Maimon：机构信息未能从会议 PDF 纯文本可靠映射
• Yossi Adi：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理语音问答中句子重音理解任务，输入为相同转写但重读词不同的语音，输出为其隐含意图选择，难点在于韵律线索转写丢失且意图对立易混淆。方法链分三段衔接：首先人工策划可多义文本并标注意图，再由专业演员按意图录制得到StressTest，为评测提供语音与标注对齐的基准语料。其次对Expresso中性情感子集做事后意图标注得到StressPresso，以多说话人与多样录制条件补充验证场景，其标注对齐弱于前者故仅作辅助评测。最后用CrewAI多智能体以gpt-4o生成多义句与长短解释并以星号标记重读词驱动 expressive TTS合成音频，再经WhiStress校验转写与重音后构造四种提示任务微调Qwen2Audio-7B-Instruct得到StresSLM。与直接输入音频的现有语音大模型相比，关键差异在于把重音检测与意图推理显式绑定为联合训练信号，而非依赖通用音频推理涌现，从而强化韵律到语义的映射。在StressTest转写与重音均提供的评测任务下，StresSLM的SSR准确率为83.4，低于Gemini-2.5-Pro的98.1。结论适用边界受限于英语受控朗读与中性情感，尚未验证会话韵律、多口音与多语言外推，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://www.crewai.com → https://crewai.com/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么学习依赖？

本文的输入是原始语音波形，目标是让语音大模型既能指出哪几个词被重读，又能说出重读带来的言外之意。必须保留的信息包括任务定义、数据构造方式、实验条件与关键数字，输出是 1 篇能复述方法的中文解读。

学习依赖是先理解重音如何改变语义，再看基准如何出题，再看合成数据如何提供监督，最后看微调是否泛化到真实录音。论文的研究对象是英语句子重音，声学上主要体现为基频、响度、时长和元音质量的变化，语义上对应对比、强调、新信息和焦点 4 类用法。

举例来说，同样一句我没说她偷了钱，重读我、她或钱会指向完全不同的辩解对象，这就是教学例子，不是论文新增的实验结论。传统级联做法是先用语音识别转写成文字再交给文本模型，这种做法会丢掉怎么说的信息。直接处理音频的语音语言模型理论上能保留韵律，但已有评测很少考查这一点。

本文因此先建基准暴露差距，再用合成数据补课。后文按任务与相关路线、方法全景、组件与训练、实验条件、结果与消融、局限与复现的顺序展开，每一步的输入输出与监督来源都会交代清楚。

已有路线在重音上做了什么，还缺哪一块？

已有工作可以分成 3 条线。第一条是句子重音检测（Sentence Stress Detection，SSD），把每个词判为重读或非重读，早期用韵律特征直接判断，后来加入语法上下文，近年多用预训练语音表示，也有工作用合成或情感数据集做基准。

第二条是语音大模型（Speech-aware Language Models，SLMs），把预训练语言模型与语音编码器拼接，代表做法是用耳语模型做编码器再投影到语言模型词嵌入空间，有的还加入多编码器或语音生成能力。这类模型在多种语音任务上表现很强，但对重音的利用很少被单独检验。

第 3 条是评测集，覆盖音频问答、语音翻译和多任务套件，其中也包含韵律元素，但缺少专门考查重音改变语义的推理基准。论文明确区分检测是已有任务，推理是新任务。检测只要求定位，推理要求结合重音做意图选择。

本文的对照思路是同输入同目标比较：同样只给音频，看端到端模型与先检测再推理的级联谁更准；同样给文字加真实重音标记，看文本模型的天花板有多高。这种对照避免把文本能力强弱误当成听觉能力强弱。

StressTest 如何出题，怎样算答对？

基准包含 2 个数据集。主基准是特意撰写并请专业演员录制的 StressTest，每个文本至少有两种重音读法，对应不同意图。补充集是对已有表现力语音库中性情感子集做事后标注的 StressPresso，有 4 个说话人，录音条件更多样，用于检验跨声音泛化。

每个样本可理解为五元组：转写文本、标注重读词的二值向量、两个候选意图、正确选项和语音。评估分两类。句子重音推理（Sentence Stress Reasoning，SSR）是听音频做二选一，模型输出经大模型裁判映射为选项后算准确率；开放式推理是不给选项让模型自由回答，再由裁判按 1 到 5 打分，5 分表示完全抓住意图。

句子重音检测是同时给音频和真实转写，要求输出重读词表，再由裁判规范格式后算精确率、召回率和调和平均值。人类在同样选择题上接近满分，说明题目对人并不难，难的是模型。

句子重音检测 × 句子重音推理： 句子重音检测负责听出哪几个词被加重，是声学层面的定位分工；句子重音推理负责根据加重位置推断说话人真正想表达的意图，是语义层面的判断分工。两者搭配的理由是只有先对重音敏感，才能把怎么说的信息用于理解为何这么说，组合起来构成从听到懂的完整链路。

本节配图展示任务的输入输出形态，左侧是同一句话的不同重读问法，右侧是模型应给出的定位与解释，读图时注意区分定位与推理的措辞差异，这是后文训练任务兼顾两者的依据。

看图路径： 1. 先看左侧输入框中同一英文问句里被下划线标出的重读词；2. 再看下方并列的两个英文提问如何区分定位与意图；3. 对照右侧上方气泡复述的重读词与下方气泡的意图推断措辞差异

论文图 1。原论文 Figure 1：“StressTest provides samples that can be understood differently based on stress.”。

从实际收到像素可见，左侧方框内有一句英文问句，其中两个词被下划线标出，下方并列写出检测与推理两个英文问题，中间是标注 StresSLM 的机器人图标。右侧引出两个气泡，上方气泡复述被重读的两个词，下方气泡给出对说话人意图的推断。这说明同一波形要同时支撑定位与解释两类输出，也预告了后文为何需要 4 种训练任务。

从一句话到一批训练音频，全景流程是什么？

为了解决真实重音数据稀缺问题，论文提出 4 步合成管线。第一步用文本智能体按领域、话题和句式生成能因重音产生歧义的句子，并给出两种重音模式及其长描述，再压缩为简短候选答案。第二步用表现力语音合成把星号包围的重读词读重，每个文本的每种重音模式各合成男女声样本，形成同一转写对应多条音频的格局。

第三步用已有的重音检测器验证合成是否读对位置，筛出高质量子集。第 4 步把每个样本展开为 4 个训练任务：已知转写找重读词、直接听音频选意图、先解释再选、以及先复述转写和重读词再选。整个训练集约 17000 条音频样本，其中约 4500 条通过自动验证。

附带加入少量原模型的语音识别和情感识别数据做复习，防止只学重音而忘记基本功。训练时损失只算在模型最终答案部分，不算音频与题干，这是复现时必须保留的监督口径。

本图是理解数据从文字到可训练样本的关键，下面按箭头顺序阅读，重点看样本数量如何在验证环节收缩，以及训练分支如何分叉。

看图路径： 1. 沿左侧文本生成经答案生成到语音合成的主箭头走一遍；2. 观察中间黄色样本库经漏斗形验证器到绿色已验证库的数量收缩；3. 看右侧训练任务分支如何同时指向检测与推理

论文图 2。原论文 Figure 2：“An illustrative example of the synthetic training data generation process.”。

从实际收到像素可见，流程自左向右依次是答案生成框、表现力语音合成框、黄色样本数据库、漏斗形验证器和绿色已验证样本库，最右是训练任务分支。下方虚线引出具体例句，同一问句在不同重读下标出不同答案，中间红色与绿色小图标堆叠高度差异直观显示过滤前后数量收缩。这对应正文所说的先用大而有噪声的全量数据训练，再用小而准的验证子集继续训练的分阶段思想。

合成、验证与任务模板各自解决什么机制问题？

文本生成组件解决的是歧义句稀缺问题。不是所有句子都适合多重读法，因此智能体被要求按 10 种句式和上百话题主动构造，并经至少 1 名标注者核对重读词与意图描述，不合模板的要重写。元数据覆盖陈述、疑问、命令、感叹等句式，以及商业、教育、科技等多领域话题。

语音合成组件解决的是自然度问题。论文发现直接在词两端加星号能让合成器自然加重，比直接改基频参数更像人声，但仍会出现放错或漏放重音。验证组件解决的是质量控制问题。验证器同时预测转写与重读词，只有预测与目标一致的样本才进入高质量子集，人评显示验证子集的检测质量明显高于未验证子集。

任务模板解决的是监督形态问题。检测任务只监督定位，端到端任务只监督选项，展开解释任务要求先写长描述再给选项，级联推理任务要求先复述转写和重读词再给选项。4 个任务共用同一音频，但提示词与目标答案形态不同。

级联管线 × 端到端语音模型： 级联管线分工是先由重音检测器输出文字与加重标记，再交给文本大模型做选择；端到端语音模型分工是直接听原始音频并输出答案。搭配比较的理由是前者把韵律显式写出来便于文本推理，后者避免转写丢失语调，对照组合能看出韵律是在中间丢失还是根本没有被编码。

理解这组搭配才能看懂后文为何同时报告端到端与级联成绩：级联把声学判断显式化，端到端考查联合建模，验证器则是连接合成与训练的阀门，三者缺一都会让结论出现缺口。

StresSLM 用什么基座、更新哪些参数、训练顺序如何？

基座是 7000000000 参数级别的开源语音指令模型，微调采用低秩适配器，只作用于查询与值投影，秩为 16，缩放系数为 32，并使用稳定化缩放与 0.1 的丢弃率。学习率设为 7e-5，每设备批量为 8，梯度累积为 2，余弦调度加 5% 预热。

训练分 2 个阶段：先在全量合成数据上训练约一千二百余步，再在验证子集上继续训练数百步，总步数约一千五百余步，单卡完成。消融阶段为控制计算量，统一按验证子集 5 轮的预算训练，不加语音识别与情感复习数据。编码器是否冻结是关键变量：主模型放开编码器，让韵律信息能从声学表示中被抽出；对照组冻结编码器，只调语言侧。

论文未报告优化器类型与权重衰减等细节，这是复现时需要补看代码的缺项，不能从模型名推定。训练时只对答案部分计算梯度，题干与音频不产生监督。复习数据保证原有语音识别与情感能力不被冲掉。

表现力语音合成 × 重音验证器： 表现力语音合成负责按标注把目标词读重，生成带有意图的训练音频；重音验证器负责检查合成音频的重音是否真正落在目标词上。搭配理由是合成器经常放错或漏放重音，必须用验证器筛出高质量子集，组合起来才能同时保证数据量与数据准确度。

语音编码器 × 语言模型： 语音编码器负责把波形变成保留音高响度时长的向量，语言模型负责根据这些向量与文字选项做推理选择。搭配理由是韵律线索藏在声学表示的不同层次，只有放开编码器参与微调才能抽出重音，语言模型才能据此选出正确意图，组合意义是打通从声音细节到语义选择的梯度路径。

这两组桥接说明训练为何必须同时动数据阀门与模型两端：合成管质量决定监督上限，编码器是否更新决定声学下限，二者缺一都会在后文消融中露出短板，复现时应同时保留这两处对照。

数据规模、说话人与评测条件如何保证可比？

主基准共 101 个不同文本，其中 85 句有两种解读，16 句有 3 种解读，单重读词解读占多数，另有少量双词与三词重读，总音频 218 条，原始采样 48 千赫，评测时下采样到 16 千赫。补充集共 202 条音频，来自 96 个不同文本，覆盖 2 男 2 女 4 个说话人。

训练集统计显示全量约 4400 条音频对应 1100 个不同转写，验证后剩约 1311 条音频对应 731 个转写，男女声大致均衡。评测条件上，所有语音模型都只听原始音频做题；文本模型对照组则给真实转写加真实重读词，构成上限参考；级联组用验证器预测转写与重读词再交给文本模型，考察误差传递。

裁判统一用同一闭源大模型做格式归一与打分，避免不同模型因输出格式不同而被误判。人类评测从 2 数据集中各抽 100 题，每题 3 人独立作答，同时报告平均准确率与 3 人多数投票准确率。录音均在专业声学处理录音棚完成，伦理审批与报酬条件在附录交代。

下图展示主基准中 4 类重音的分布重叠，读懂它才能理解为何不能按单一类型划分，复现时也不应把类型当作硬标签来分层采样。

看图路径： 1. 先看顶部图例中四种重音类型的颜色对应关系；2. 再看左侧对比重音大椭圆中独有区域与重叠区域的数字大小；3. 注意中心多圆交叠处数字很小说明多类型兼具样本很少

论文图 4。原论文 Figure 4：“Categorization of sentence stress types in StressTest.”。

从实际收到像素可见，4 个椭圆分别代表对比、强调、新信息与焦点，左下大椭圆独有区域数字最大，达到 128，中间多圆交叠处数字多为个位数，中心甚至为零。顶部标注总数显示对比类最多，焦点类最少。这说明对比重音占主导但 4 类高度交叉，论文因此只做粗略归类，复现时不应把类型当作硬标签来加权。

主结果：谁能听出重音，谁还停留在猜？

在只给音频的二选一推理上，现有开源语音模型多在 50% 上下徘徊，接近随机猜测，最强的闭源模型在 2 个数据集上分别达到中等偏上水平，而微调后的模型达到 80% 以上，超过用验证器加最强文本模型的级联成绩。人类平均分别达到 90% 以上，多数投票更高，说明任务对人可解。

在检测任务上，现有模型调和平均值最高仅四成多，而新模型在两个新数据集上超过 80%，验证器本身在主基准上接近 90%，纯检测微调版本更高。开放式评分趋势一致，新模型在两集上均接近 3.7 以上，最强闭源模型在受控集可达 3.8 但在多说话人集跌至 3.2 左右，显示鲁棒性差距。

原有能力方面，新模型在干净与困难语音识别集及情感识别上未退化，甚至略有提升，说明多任务复习有效。下面两段分别提出比较问题与公平条件，表后解释收益与代价。

第一个比较问题是同样只听音频时，谁的意图选择更准，指标越高越好，基线包含可运行的端到端与级联策略，人类与真实标记只作上限参考。

表后解释需要同时看到收益与代价。新方法相对最强闭源端到端模型在两集上分别高出约 8 到 15 个百分点，且在多说话人集上反超受控集，支持合成训练泛化到真实录音的判断。但与人类多数投票仍有约 8 到 10 个百分点差距，且级联对照显示若给真实重音标记文本模型可达更高，说明声学定位仍是瓶颈。未胜出项是部分开源模型在补充集上略高于主基准，提示录音条件与文本难度交互存在，单看平均值会掩盖这种波动。

二选一推理准确率 × 开放式推理评分： 二选一推理准确率负责在给定两个候选意图时检验模型能否选对，评价高效且稳定；开放式推理评分负责让模型自由回答再由裁判按 1 到 5 打分，检验能否主动说出弦外之音。搭配理由是前者易受猜测影响，后者更接近真实使用，组合起来可以互相印证，判断选择题成绩是否代表真正的理解。

二选一与开放式的关系如下图所示，横轴越高代表选择越准，纵轴越高代表自由回答越切题，读图前先确认坐标轴含义再判断好坏。

看图路径： 1. 先确认横轴是二选一准确率纵轴是开放式评分；2. 比较右上方孤立点与左下方密集簇的模型分布；3. 观察图例中两个数据集相关系数的标注位置

论文图 3。原论文 Figure 3：“Relationship between SSR accuracy and open- ended SSR across SLMs. Spearman and Pearson corre- lation coefficients are denoted by ρand rrespectively.”。

从实际收到像素可见，横轴是推理准确率从 40 到 100，纵轴是开放式评分从 1.5 到 4.5，右上孤立的两点分别是新模型与最强闭源模型，左下密集簇是多个开源模型。红色圆点与蓝色三角总体沿对角线上升，图例标注两集的相关系数均在 0.5 以上。这支持论文的判断：对能力较强的模型，选择题成绩可作为开放式能力的代理，但对接近随机的模型两者相关性减弱，不能用选择题高一两点就断言真正听懂。

验证器、编码器与任务模板各自贡献了什么？

验证器消融显示，只用验证子集训练推理略降但检测更稳，只用全量训练推理较高但检测受噪声拖累，分 2 阶段先全量后验证则在两类指标上更均衡。编码器消融显示，冻结编码器时检测调和平均值明显低于放开编码器，而推理准确率差距相对较小，说明定位更依赖声学表示更新。

任务消融显示，去掉展开解释任务会显著损伤推理但提升检测，说明检测数据占比上升时会挤占推理能力；同时保留检测、级联推理与展开解释 3 类任务时两类指标均为次优但最均衡。补充集上的趋势与主基准一致，支持设计选择的稳定性。

训练成本上消融统一按验证子集 5 轮预算控制步数，去掉任务意味着总步数减少，因此不能把去掉某任务后的下降简单归因于该任务无用，还需考虑数据量变化。所有消融均未加语音识别与情感复习数据，主模型的无退化结论来自完整训练，不能直接套用到消融模型。

下面的比较问题是同样考查定位能力时，专用检测器、新方法与现有模型的差距有多大，指标为调和平均值，越高越好，条件覆盖主基准与补充集。

表后解释要区分定位与推理。专用检测器在主基准上已很强，新方法纯检测版本更高，说明放开编码器确实抽出更多韵律特征；但在补充集上新方法略低于专用检测器，代价是多说话人泛化仍有损失。现有模型上限仅四成多，且多为高召回低精确，支持论文所说的对重音不敏感而非保守的判断。负结果是验证子集人评也只有中等水平，说明合成数据本身仍有噪声，不能把验证通过等同于完美。

哪些边界尚未验证，不能推广？

论文明确限定为英语与有限说话人，跨语言、口音与对话场景的泛化仍是开放问题。主基准只有单一专业演员，补充集虽有 4 人但仍是朗读式录音，与自发对话的重音分布不同。合成数据依赖特定语音合成器加星号的技巧，换合成器或换语言时是否仍自然待验证。

评估依赖大模型裁判做格式归一与打分，裁判本身可能偏好某种措辞，开放式 1 到 5 分中 2 到 3 分段多为模糊回答，自动打分与人评的一致性未充分报告。资源状态方面，论文给出项目页面链接，但本次收到的唯一第三方资源是无关的自动化框架页面，不能据此断言代码数据已公开，复现前需实际点开项目页确认可达性。

总体趋势不等于每组都成立，例如最强闭源模型在受控集与多说话人集上差距明显，平均值会掩盖这种不稳定。相关性不等于因果，开放式与选择题高度相关不代表选择题训练必然带来自由回答能力。未测量延迟与部署成本时，不能承诺这套微调没有额外开销。

要复现这条路，先做什么，需要哪些超参数？

复现先做三件事。第一，按附录重建评测提示：推理题干固定为根据重读词选择最可能的意图，检测题干固定为给出转写后问重读了哪些词，输出经裁判转成结构化答案再算分。第二，重建合成管线：按领域话题句式生成歧义句与长短答案，用星号标记重读词调用表现力合成，再用验证器过滤，保留过滤前后两版数据以便做分阶段训练。

第三，用相同基座与低秩配置微调：秩 16、缩放 32、查询值投影、丢弃 0.1、学习率 7e-5、每设备批量 8、梯度累积 2、余弦调度预热 5%，先全量后验证子集，总步数约 1600 步，同时混入语音识别与情感数据防止遗忘。数据划分上注意主基准 101 文本与补充集 96 文本互不重叠，训练合成文本不与评测文本重复。

硬件预算原文仅说明单卡完成，未给出具体时长，复现时需自行记录。主基准每文本至少两种读法是出题前提，补充集每条音频重音模式唯一但文本可重复，训练集数字已乘以任务模板展开倍数，直接对比时注意去重。

未评测边界是合成器换声线后重音位置是否稳定，以及验证器阈值如何选取，原文未给出阈值公式，只能按代码实现复刻。评估时必须保留可运行的端到端与级联基线，不能只与真实标记上限比较，否则会高估可部署收益。

何时值得尝试这条合成加微调路线？

当你的语音模型能转写但总选错言外之意，且错误集中在重读词不同的句子上时，值得尝试本文路线。做法是先用小规模人工构造的歧义句验证人类可解，再用合成加验证快速扩大数据，最后分阶段微调并放开编码器。

若应用场景是多说话人或嘈杂录音，更要看补充集与开放式评分，而不只看受控集的选择题。若任务本身不需要韵律，例如纯内容问答，则不必引入这套流程。还需补的验证包括换合成器、换语言与自发对话上的效果，以及裁判打分与人评的一致性。

论文的价值在于把重音从定位问题推进到意图推理问题，并给出一条可复现的合成监督路径，但合成噪声与评估依赖仍需后续工作收紧。初学者复述时应先讲清输入表示与目标，再讲数据阀门与编码器更新，最后用可运行基线支撑每一处改进判断。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

另有 14 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总