把费力与清晰拆成两个旋钮：用双轴控制合成伦巴德语音

英文题目：Synthesizing the Lombard Effect: Multi-Level Control of Speech Clarity and Vocal Effort in TTS

会议身份：conference:interspeech:2026:conference-paper-id:akti26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#流匹配 #主观评测 #语音 #语音可懂度评估 #文本到语音

评分：6.5/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Seymanur Akti：机构信息未能从会议 PDF 纯文本可靠映射
• Alexander Waibel：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入文本与目标发声努力（Vocal Effort，记为 \(\alpha\)）和发音清晰度（Articulation，记为 \(\beta\)）等级，输出在噪声下仍可懂的伦巴德（Lombard）风格语音，难点在于响度、谱倾斜、语速与超发音需协同变化且保持自然度。首先将Expresso风格类映射为发音与努力伪标签并经线性层得到连续嵌入，与说话人嵌入拼接后送入编码器。其次同一联合嵌入分别广播至时长预测与流匹配声学解码器，实现时间与频谱韵律的双路调制。推理时通过标量插值实现话语级连续调节，并对目标词赋高清晰度值实现词级强调。与仅做均方根（RMS）增益加线性拉伸的基线不同，该机制同时改变音素时长、元音分散与高频能量分布。在Harvard Sentences评测条件下，所提方法的词错误率（Word Error Rate，WER）为0.51%，低于基线方法的词错误率（Word Error Rate，WER）2.56%。结论限于英语朗读句与模拟加噪，外推至真实对话修复与听损人群尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://seymanurakti.github.io/synthesizing-lombard-effect/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先把任务边界说清楚

本文的输入是待合成的文本，外加两个连续可调的控制量：发声努力，也就是说话人用力的程度，白话是喊得多响、多亮；清晰度，也就是发音讲究的程度，白话是每个音是否拉开、元音是否分得开。目标是在语音合成中模拟伦巴德效应，即人在噪声中或面对听力困难听众时会不自觉地大声且清晰地说话。论文要解决的不是简单把音量调大，而是让合成语音在噪声下更易懂，同时保持自然，并且允许整句调节与单个词强调。输出是波形，由声码器从梅尔频谱重建。

必须保留的关键信息是：两个控制轴是解耦的，可以独立或联合调节；控制同时作用于时长与频谱；评估同时看识别正确性与可听性。本文面向刚进入语音领域的研究生，后文例子明确标为例子。当前演示页状态依据资源声明为可用，论文在文末给出演示页链接，读者可试听样例。

实验条件、数据划分与指标方向是复述重点，修辞不重要。

此前路线做了什么，为什么还缺双轴控制

早期伦巴德合成主要依赖信号处理，例如频谱整形、动态范围压缩，以及直接改基频、频谱倾斜与语速，还有增量合成框架做实时变换。这类做法的动作很直接：在已有中性语音上做滤波或变速。优点是不需要伦巴德数据，缺点是灵活性差，自然度常受损。

后来数据驱动方法尝试微调神经网络语音合成模型，用少量伦巴德数据做迁移学习，或在耳语与伦巴德语音上微调，或做频谱倾斜增强、显式基频与能量建模、用识别引导的响度控制，以及在隐空间插值实现连续清晰度控制。这些工作大多只管全局声学特征，例如信噪比增益、用力程度或语速。论文指出，超清晰发音是影响可懂度的关键因素，但此前研究不足。早期有用隐马尔可夫模型建模发音，最近有用全局风格标记捕捉发音不足与发音过度的模式。

但已有工作通常把发音与用力分开处理，缺少统一且解耦的控制机制。同输入同目标的对照是：同样输入文本、同样希望噪声下更易懂，前人要么只改能量，要么只改语速，要么用单一风格标记。本文的差异是把两者放在两个正交轴上，并同时注入时长模型与声学解码器。

为什么只调音量与语速不够

举一个教学例子，不代表论文数值：假设在餐厅噪声中播放一句中性合成语音，听者听不清关键词。如果只把波形整体放大，响度归一化后信噪比不变，高频信息仍被掩蔽；如果只做线性慢放，音素被均匀拉长，但元音空间没有撑开，辅音对比没有增强，听感拖沓却未必更清楚。论文的基线正是这样构造的：用均方根能量匹配模拟发声努力，用线性时间拉伸近似语速下降。

这个基线的作用是隔离出简单幅度与速率操作的收益，从而检验学习到的风格控制是否带来额外好处。问题形式化为：给定文本与说话人身份，给定发声努力标量与清晰度标量，生成在干净与加噪条件下词错误率更低、元音分散度更高、频谱倾斜更平、音素速率更低的语音，且两个标量各自主要影响一组声学指标，互不严重串扰。论文还要求支持词级强调，即只让目标词变清晰，周围词保持接近基线，从而实现局部可懂度修复。

方法全景：一个样本如何走完输入到输出

先沿一个样本走完全程。输入是一句英文文本，例如哈佛句中的一句，附带说话人编号、目标发声努力值与目标清晰度值。文本先与说话人向量、发声努力向量、清晰度向量拼接，再送入文本编码器。编码器输出决定每个音素持续多久，经时长预测器得到时长序列，再上采样到帧级均值。帧级均值与噪声梅尔谱相加，连同时间变量一起送入基于最优传输的流匹配解码器，预测流场并逐步生成目标梅尔谱，最后用声码器重建波形。

基础架构选用匹配语音合成模型，是因为流匹配用确定性流预测代替迭代扩散采样，推理快且支持声学空间平滑插值，正好对应逐渐变清晰的需求；单调对齐搜索学习音素到帧的时长，提供了语速控制的抓手；声码器选用高效高保真模型。下面的概念桥先把两个核心术语的分工讲清。

发声努力 × 清晰度： 发声努力负责声音的能量与频谱分布，分工是把高频能量抬起来以提高可听性；清晰度负责音素时长与元音区分度，分工是把音拉长、把元音分开以提高可辨性；二者搭配是因为真实伦巴德反应同时包含喊得响和说得清，组合意义是允许只喊、只说清或两者叠加，分别应对能量掩蔽与语音混杂。

以下导读针对总体结构图，帮你建立输入到输出的主路径，再看两处注入点。

看图路径： 1. 从底部文本与两个目标控制输入出发，沿文本编码器向上追踪到时长预测与上采样；2. 观察说话人编号与两种风格向量在编码器前与解码器前两处汇合的位置；3. 确认噪声梅尔谱与上采样后均值在解码器前相加，再与时间变量共同进入解码器

论文图 1。原论文 Figure 1：“Overall architecture of Matcha-TTS with multi-level vocal effort and articulation conditioning.”。

该图显示底部有 4 路输入：文本、目标清晰度、目标发声努力与说话人编号，它们在编码器前拼成按词元重复的序列。向上经过文本编码器、时长预测器与上采样，得到帧级均值符号。左侧噪声梅尔谱与该均值相加进入上方解码器，右侧时间变量也进入解码器，顶部输出流预测。图中用不同颜色块表示不同嵌入的广播，箭头回绕表示同一组嵌入同时送往编码器侧与解码器侧。这对应原文的双注入策略：编码器侧管语速与发音拉伸，解码器侧管频谱倾斜、能量与共振峰清晰度，且通过按词元与按帧重复自然支持细粒度控制。

两个注入点与伪标签如何实现解耦

组件细节分 3 步。第一步是伪标签构造。训练数据没有连续的用力与清晰度标注，论文利用语音数据集的预设风格类派生伪标签：清晰度沿快到清晰朗读轴建模，发声努力沿默认到投射轴建模。每个离散标签经可学习的线性投影映射到 32 维连续嵌入空间，再把清晰度嵌入与发声努力嵌入拼接成联合嵌入。说话人身份用同样维度的离散嵌入表示并拼接。

这种做法是参考式而非参考音频式，推理时不需要提供参考语音，只需给定数值。第二步是双注入。编码器侧把风格与说话人嵌入拼到文本编码器输入之前再做编码与时长预测，从而控制语速、音素拉伸与发音模式；解码器侧把同样嵌入拼到基于网络的流匹配解码器输入，从而调节频谱倾斜、能量分布与共振峰清晰度，同时保留说话人信息。嵌入按文本词元与梅尔帧重复广播，因此可以在时间轴上给不同词不同取值。

第 3 步是推理时控制。发声努力与清晰度被视为零到一之间的连续标量，在学到的嵌入空间内插值，实现清晰度的渐变、独立调节与平滑过渡。词级控制给目标词更高取值、周围词更低取值，并结合训练数据中的强调标签增强声学突出度。

流匹配 × 时长建模： 流匹配负责从噪声梅尔谱到目标梅尔谱的连续声学映射，分工是保证频谱过渡平滑可插值；时长建模负责音素到帧的对齐与拉伸，分工是决定语速与停顿；二者搭配是因为伦巴德语音既有频谱变平又有语速变慢，组合意义是让同一组风格向量同时改变说多快和听起来多亮。

编码器侧注入 × 解码器侧注入： 编码器侧注入负责把风格向量拼到文本编码器输入之前，分工是影响时长预测与发音模式；解码器侧注入负责把同一向量拼到声学解码器输入，分工是调节频谱倾斜、能量与共振峰清晰度；二者搭配是因为时间与频谱需要同源控制才能解耦，组合意义是发声努力与清晰度既能独立变化又不丢失说话人信息。

需要强调的是，原文没有报告投影层是否冻结、梯度路径是否截断等优化细节，也没有给出流匹配损失的具体权重写法，因此此处不猜测哪部分参数更新。能确认的是控制信号同时进入时长与声学两条路径，这是实现时间与频谱互补增益的结构前提。

训练数据如何拼凑，伪标签数值是多少

训练数据的拼凑方式直接决定可复现性。论文使用语音数据集的子集，包含默认、清晰朗读、快速与投射 4 种说话风格，总计约 11 小时语音，包含 4 名说话人，其中 2 名女性与 2 名男性。由于该子集时长有限，音素覆盖与发音建模不够稳健，论文加入单说话人数据集作为中性说话人，视为中等清晰度与基线发声努力，用于提高音素多样性并稳定训练，同时保留从前者学到的可控风格结构。

推理与评估使用音素平衡的哈佛句，前 5 个列表、每名说话人五十句，在不同清晰度与发声努力水平下合成。声码器训练沿用原模型流程，此处不展开。下面表格整理了数据构成与伪标签取值，表中数字与单位均来自原文连续句子的逐字证据，裸数值不擅自添加单位，条件名称保留原文写法。

表前问题是：训练时模型到底见过哪些风格，伪标签把连续轴锚定在哪些点上，补充数据扮演什么角色。比较的公平条件是同一组说话人与同一套伪标签映射，指标方向在此节不涉及识别率，只看数据覆盖是否足以支撑后续解耦结论。

表后解释是：该拼凑策略用小而风格分明的数据定义控制轴方向，用大而中性的数据补齐音素覆盖。代价是中性数据的引入可能稀释风格对比，论文通过将其固定为中间值与基线值来保持结构。未报告的缺项是具体划分比例、采样率、训练步数与硬件预算，复现时需先按此表重建伪标签映射，再检查时长模型是否真的随清晰度变慢，否则后续解耦无从谈起。

话语级控制 × 词级控制： 话语级控制负责整句的发声努力标量与清晰度标量的连续取值，分工是模拟环境由安静到嘈杂的整体适应；词级控制负责给不同词分配不同清晰度取值，分工是只强调先前听错的关键词；二者搭配是因为整句变清晰可能浪费时长且不自然，组合意义是在保持周围词接近基线语速的同时让目标词变慢变重。

词级强调的实现依赖足够大的对比度。论文为被强调词分配远高于周围的清晰度取值，并给周围词分配很低取值，从而在目标时刻形成峰值，只放慢目标词而保持周围词接近基线音素速率。强调标签进一步增加声学重音。这种峰值设计是为了克服相邻词元间的泄露，原文在局限中也承认词元级控制仍可改进。

测什么、与谁比、条件是否一致

评估按问题组织。测什么：信号级变化与噪声下可懂度。信号级指标包括词错误率，用中等规模识别模型计算，越低越好；频谱倾斜，定义为高频能量与 1 kHz 以下能量之比，用力增大应使高频占比上升；平均元音分散度，定义为 3 个元音共振峰到元音中心在共振峰空间的欧氏距离，分散越大表示发音越清楚，越高越好。

音素速率，每秒音素数，超清晰应降低；语音可懂度指数，表示给定噪声下听者可听到的语音信息百分比，越高越好。与谁比：与朴素信号处理基线比，该基线用均方根匹配模拟用力、用线性拉伸近似慢速。条件是否一致：噪声混合时按语音均方根固定信噪比，保证不同清晰度水平的差异来自说话风格而非简单放大；噪声类型覆盖餐厅 babble、重叠语音与白噪声，信噪比覆盖干净、10、5、1。

主观评估采用比较平均意见分，10 名参与者，自然度九题、可懂度 18 题，量表为负三到正三，正值表示更偏好本方法或伦巴德语音更易懂，参与者不知样本对应条件。词级评估先用中性基线识别找出听错词，只对含错词样本重合成，避免在已对样本上浪费计算。原文未报告统计显著性方法与推理延迟，成本部分缺失，需如实指出。

信号级变化是否支持双轴解耦

先看干净条件下的信号级热力图，再谈噪声。以下导读帮你读懂热力图的布局与升降方向，避免把颜色深浅直接当好坏。

看图路径： 1. 先对照上下两排标题区分基线与本方法，再确认横轴为清晰度、纵轴为发声努力；2. 比较词错误率热力块随清晰度增大是否变深，基线与本方法的变化幅度有何不同；3. 观察平均元音分散度与频谱倾斜分别沿哪个轴变化最大，验证解耦是否成立

论文图 2。原论文 Figure 2：“Comparison to the baseline in terms of WER ↓, MVD ↑, spectral tilt ↑and phoneme rate ↓.”。

该图上下两排分别为基线与本方法，左右四列分别为词错误率、平均元音分散度、频谱倾斜与音素速率。每块热力横轴为清晰度三档，纵轴为发声努力三档。词错误率越低越好，图中本方法在高清晰度格明显低于基线；分散度越高越好，本方法随清晰度增大而增大，基线几乎不变；频谱倾斜数值越大表示高频越多，本方法沿发声努力轴变化最大，基线只做均匀放大故变化小。

音素速率越低表示越慢，两者在高清晰度格都下降。论文报告的趋势是：词错误率随清晰度增大而持续下降，说明清晰度强烈影响默认条件下的可懂度，而基线仅线性放慢改善有限；沿发声努力轴也有改善，但在最高用力处性能略降，论文解释为识别器对高度投射语音敏感，偏离其训练分布；分散度沿清晰度轴上升、沿用力轴保持稳定；频谱倾斜沿用力轴变化、沿清晰度轴基本一致，支持独立控制。

词错误率 × 语音可懂度指数： 词错误率负责用语音识别结果衡量合成语音是否被听对，分工是反映音位区分度；语音可懂度指数负责按频带信噪比计算有多少语音信息可听见，分工是反映能量分布带来的可听性；二者搭配是因为发声努力主要改变频谱而不改变响度归一化后的识别分数，组合意义是避免只看识别率就低估发声努力在强噪声下的作用。

主观部分的问题是：听感上是否更自然、噪声下是否更易懂。比较条件是同一文本下基线时间拉伸语音与本方法伦巴德语音，指标方向为比较分越高越偏好本方法。下表整理任务划分与量表，数字来自原文连续句。

表前比较问题是：在相同文本与相似语速下，学习到的风格控制是否比简单慢放更自然，噪声下是否更易懂。公平条件是参与者盲听、量表对称，指标方向为正值偏向本方法。

表后解释是：论文报告自然度比较分为 1.97，可懂度比较分为 1.13，均带 95% 置信区间，显示可感知的可懂度增益与自然度优势。代价与反例是：参与者一致评价基线时间拉伸语音不自然，说明简单速率操作不足以合成自然伦巴德语音；但主观样本量仅 10 人，题量有限，且未报告按噪声类型的细分组统计，不能推广到所有人群与场景。未胜出项是极端用力条件，客观识别率反而下降，这与主观可听性改善形成背离，需用可懂度指数补充看待。

噪声下谁在起作用，联合调节何时额外有用

噪声实验拆成 3 组：只调发声努力、只调清晰度、两者联合。以下先看词错误率随噪声加重的曲线族。

看图路径： 1. 先确认三排分别对应只调发声努力、只调清晰度与两者联合，三列对应三种噪声；2. 观察每幅小图横轴由干净到信噪比为 1 的变化趋势，纵轴词错误率的上升速度；3. 对比中间排不同清晰度曲线的间距与上面排不同发声努力曲线的间距差异

论文图 3。原论文 Figure 3：“WER of synthesized speech under noisy conditions.”。

该图三排分别对应发声努力缩放、清晰度缩放与联合缩放，三列分别对应餐厅 babble、重叠语音与白噪声。每幅小图横轴由干净到信噪比 10、5、1，纵轴为词错误率。第一排不同用力曲线间距小，尤其在均方根归一化后增益有限；第二排不同清晰度曲线间距大，中等噪声下增益最强，高清晰度后趋于饱和；第三排联合调节在最重噪声下最低，尤其在餐厅 babble 中。

论文的判断是：清晰度通过增强音位区分度在各类条件下起主要作用，用力通过频谱再分配改善能量掩蔽下的可听性，在重度掩蔽场景提供额外鲁棒性。为避免极端投射导致识别分布失配，词错误率分析将发声努力限制在 0.8 以内。由于词错误率可能低估用力好处，论文补充可懂度指数。以下导读针对可懂度指数热力图。

看图路径： 1. 确认三块面板分别对应餐厅 babble、重叠语音与白噪声，横轴为信噪比；2. 沿纵轴发声努力由 0.3 到 0.9 观察数值是否单调增大；3. 比较同一信噪比下三种噪声的绝对数值高低，判断哪种噪声最难提高可听性

论文图 4。原论文 Figure 4：“Average SII (%) results. Higher the better.”。

该图三块面板分别对应 3 种噪声，横轴为信噪比 1、5、10，纵轴为发声努力三档，格内数值为百分比，越高越好。可见沿纵轴增大数值单调上升，餐厅 babble 在低信噪比下增益最大，白噪声与重叠语音增益稍小。这支持用力改善可听性的解释，但需注意该指数是基于可听性的计算指标，不是人耳实测，也不能替代识别率。词级强调的消融进一步拆分超清晰与强调标签的贡献。下表整理 4 种重合成条件的词错误率，对象是先前听错词的样本，指标方向为越低越好。

表前问题是：在已出错的难词上，是整体变清晰更有效，还是只加强调更有效，两者叠加是否更好。公平条件是同一批含错词样本、同一中性基线出发，指标为词错误率。

表后解释是：超清晰单独使用比仅强调更有效，两者结合降幅最大，从 17.61 降至 3.90。代价是目标词需远高于周围词的取值并放慢，未报告对周围词自然度的影响，也未评估自动选词错误时的误触发成本。未评测边界是实时动态噪声适应，论文将其列为未来工作。

哪些结论站得住，哪些还只是可能

直接报告的是：清晰度主要驱动可懂度，用力主要改善频谱清晰度与可听性，联合调节在重噪声下最稳健，词级强调对难词有效，自然度优于简单慢放基线。这些有热力图、噪声曲线、可懂度指数与主观比较分支持。有限解释的是：最高用力处识别率下降归因于识别器训练分布偏移，引用了相关文献，但本文没有做识别器适配对照，因此只能说支持该解释，不能断定就是唯一原因。

未验证推测是：该方法可直接用于助听与对话修复，原文提出动机但未做真实听障听者或交互失败修复实验，不应承诺临床或对话收益。缺失证据不是技术错误：未测量误判率以外的延迟、计算开销与输出帧率，总体趋势不等于每组每步都成立，例如联合调节在白噪声与重叠语音的中等信噪比下已接近饱和，继续加大取值收益有限。像素不能精确辨别的曲线数值不硬写，此处只谈趋势与原文明确归因。

复现先做什么，需要保留哪些信息条件

复现的第一步是重建数据与伪标签：按上文表格准备四风格子集与中性补充集，将快速、中性、清晰朗读分别设为 0.1、0.5、0.9，将中性、用力投射分别设为 0.3、0.9，并把补充集固定为中等清晰度与基线用力。第二步是实现双注入：文本编码器前与声学解码器前两处拼接，嵌入按词元与帧广播，时长预测与声学生成同源控制。第 3 步是评估流水线：用哈佛句前 5 个列表合成，用同一识别模型计算词错误率，按原文定义计算频谱倾斜、元音分散度与音素速率。

噪声混合时按语音均方根固定信噪比，覆盖 3 种噪声与 3 个信噪比点；词错误率分析时将用力上限设为 0.8 以避开极端分布失配。第四步是词级强调：先用中性基线找出错词，再给目标词高取值、周围词低取值并保留强调标签。关键超参数与信息条件是 32 维嵌入、连续控制范围零到一、词级峰值所需的足够大对比度。

代码与权重方面，原文只声明演示页可用，未在证据中声明代码开源或权重下载，因此应写本次未能确认代码可达，不把演示可听等同于系统可运行。还需补的验证是更大样本量的主观实验、真实噪声录音而非人工混合、以及推理开销测量。

何时值得尝试，一句话收束

当应用需要在噪声或听者困难时保持可懂，又不希望整句都喊叫时，值得尝试该双轴思路：用清晰度保证音位区分，用发声努力补足高频可听性，重噪声再联合，关键词再做词级强调。当场景只允许简单后处理或实时性要求极高时，简单放大与慢放基线虽自然度差，但实现成本低，需权衡。常见误解是把响度等同于可懂度，本文的对照恰好说明均方根归一化后用力的识别增益很小，其好处主要体现在可听性指数与重度掩蔽下。

另一个误解是把慢等同于清楚，基线结果显示均匀慢放改善有限，元音撑开与频谱变平才是关键。收束是：该工作用伪标签与双注入实现了连续且解耦的伦巴德控制，并在噪声实验中复现了人类清晰语音的可懂度增益，但极端用力、词间泄露与评估规模仍是边界，后续需更鲁棒的指标与细粒度控制。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总