📄 Is Natural Always Appropriate? Investigating Naturalness and Appropriateness Across Different Domains for TTS Evaluation

#语音合成 #模型评估

7.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5

✅ 7.2/10 | 前25% | #语音合成 | #模型评估 | arxiv

👥 作者与机构

Dominika Woszczyk (Iconic, United Kingdom) Andreas Triantafyllopoulos (Technische Universität München, Germany) Jura Miniota (KTH Royal Institute of Technology, Sweden) Éva Székely (KTH Royal Institute of Technology, Sweden) Bjoern Schuller (Imperial College London, United Kingdom)

💡 毒舌点评

这篇论文试图撬动TTS评估的根基——质疑“自然度”的普适性，这个方向很有价值。实验设计也下了功夫，覆盖了五种风格迥异的TTS系统和五个目标领域，众包数据量也足够。但问题在于，其核心论证“恰当性独立于自然度”虽然直观，但“恰当性”本身是一个比“自然度”更主观、更难定义的概念，论文用“convincingness”替换“appropriateness”某种程度上承认了这一点，但这没有根本解决测量问题。更关键的是，实验仅用了孤立句子，这在模拟真实应用（特别是多轮对话和情感交互）时存在显著的生态效度缺陷。自动指标的分析部分虽然指出了现有指标的盲点，但提出的替代方案——“领域感知评估”——仍是一个模糊的方向，缺乏具体可操作的建议。总的来说，这是一篇很好的“问题提出”型论文，但距离“问题解决”还很远。

📌 核心摘要

本文针对当前文本转语音（TTS）评估中过度依赖单一“自然度”分数的问题，提出了一个核心问题：“自然”是否总是“恰当”？研究通过一个大规模听觉感知实验（150名听众），系统评估了5个前沿TTS系统和真人语音在5个不同应用领域（AI助手、朗读者、演员、动画角色、自发说话者）中的表现，分别测量了听众对“自然度”（human-likeness）和“恰当性”（convincingness）的感知。结果表明：1）恰当性高度依赖于目标领域，且与自然度的相关性因领域而异（在AI助手中甚至呈负相关）；2）自然度评分倾向于偏好自发语音而惩罚风格化语音，这与某些领域的要求相冲突；3）常用的自动语音质量评估指标（如UTMOS， DNSMOS）在演员、自发对话等表现力强的领域与恰当性呈负相关，显示其作为通用评估代理的局限性。论文据此主张，TTS评估必须从单一的“听起来像人”转向多维度、情境化的“听起来合适”的评估范式。

🔗 开源详情

  • 代码：
    • 用于本研究感知测试的 Gradio 界面：https://github.com/domiwk/domain-aware-tts-eval
    • 论文中未提供用于生成实验中TTS合成语音、预处理数据或进行核心统计分析的完整代码仓库。
  • 模型权重：
    • 论文中未提供具体模型权重的直接下载链接。文中描述的5个TTS系统为：Kokoro (af_heart), Gemini TTS (Flash 2.5, Despina), Kyutai-TTS (1.6B, p037), GPT-4o-mini-tts (Coral), ElevenLabs (multilingual_v2, Bella)。这些模型分别来自商业平台或开源项目，其权重需从各自的官方渠道获取。
  • 数据集：
    • LibriQuote：用于朗读语音。论文引用 [michel2025libriquote]。
    • MSP-Podcast：用于自发对话。论文引用 [lotfian2017building]。
    • MELD：用于情感对话。论文引用 [poria-etal-2019-meld]。
    • AnimeVox：用于动画角色对话。论文引用 [taresh1826:online]。
    • “Inform”语音集：使用 gemini-3-pro 生成，并用 ElevenLabs (katie_x 声音) 生成代理 AI 助手的 ground truth。此数据集未独立开源。
  • Demo：
    • 研究演示页面：https://researcht81.github.io/unconvincing-human
  • 复现材料：
    • 论文中未提及完整的训练配置、模型检查点或用于复现全部实验结果的完整代码包。
  • 论文中引用的开源项目/工具：
    • Prolific：众包平台。链接：https://www.prolific.co/
    • Gradio：用于构建测试界面。链接：https://gradio.app/
    • praat-parlsemouth：声学特征计算工具。链接：https://github.com/drfeinberg/praat-parselmouth
    • eGeMAPSv02：声学特征集。论文引用 [eyben2015geneva]。
    • openSMILE：声学特征提取工具。链接：https://github.com/audeering/opensmile-python
    • WavLM：用于情感维度预测。论文引用 [feng2025vox]。
    • SwiftF0：基频相关性计算工具。论文引用 [nieradzik2025swiftf0]。
    • AutoPCP：韵律相关性计算指标。论文引用 [barrault2023seamless]。
    • AudioBox：评估指标。论文引用 [vyas2023audiobox]。
    • UTMOSv2：语音质量评估指标。论文引用 [baba2024utmosv2]。
    • DNSMOS：语音质量评估指标。论文引用 [reddy2021dnsmos]。
    • Squim：语音质量评估指标。论文引用 [kumar2023torchaudio]。
    • PESQ：语音质量评估指标。论文引用 [rix2001perceptual]。
    • MCD：语音质量评估指标。论文引用 [mcd]。
    • STOI：语音质量评估指标。论文引用 [stoi]。
    • DS-WED：多样性评估指标。论文引用 [yang2025measuring]。
    • Parakeet-TDT-0.6b-v2：用于计算WER的ASR模型。链接：https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2
    • Emergent TTS benchmark：用于筛选实验TTS系统的基准。论文引用 [manku2025emergentttseval]。

🏗️ 方法概述和架构

本研究的方法核心是大规模听觉感知实验，旨在量化和分析“自然度”与“恰当性”在不同TTS系统与目标领域间的感知差异。其架构与流程可分为以下几个关键组件：

  1. 感知实验设计与平台搭建：

    • 组件：Gradio Web界面，托管于Prolific众包平台。
    • 功能与实现：构建一个标准化的在线听力测试环境。采用拉丁方设计，将来自5个TTS系统和1个真人语音（Ground Truth, GT）的、总共180个样本（30句话 × 6个发声源）分配到6个会话中，每个会话由25名参与者完成。每个参与者评估所有30句话的全部6个版本，但顺序随机，以平衡顺序效应和锚定效应。实验包含两个注意力检查题以筛选无效数据。
    • 输入：TTS合成的语音样本及对应的文本。
    • 输出：每个参与者对每个样本在“自然度”和五个领域特定“恰当性”维度上的评分。

  2. 刺激材料策划与预处理：

    • 组件：多源语料策划管道。
    • 功能与实现：精心挑选并制作了30个句子，这些句子分为四种语音任务类型，以覆盖不同的语言和韵律风格：
      • 朗读（Narration）：来自LibriQuote数据集的引用式朗读片段。
      • 自发对话（Spontaneous conversational）：来自MSP-Podcast数据集的口语化句子，包含犹豫、填充词等。
      • 情感对话（Affect conversational）：来自MELD（用于演员角色）和AnimeVox（用于动画角色）数据集的情感对话。
      • 信息提供（Inform）：使用gemini-3-pro生成的信息性、对话式句子，并使用ElevenLabs生成GT。此类型主要用于AI助手领域。
    • 设计动机：为防止听众混淆文本内容本身与语音传递的恰当性，并确保情感覆盖，使用LLM对文本进行情绪标注和对每个角色（persona）的初始“恰当性”过滤，然后人工选择那些对源角色而言不那么典型、但情感范围广的句子。最终确保每个数据集包含6种情绪（愤怒、恐惧、悲伤、厌恶、中立、喜悦）。

  3. TTS系统选择：

    • 组件：基于基准的系统筛选器。
    • 功能与实现：并非随机选择，而是从“Emergent TTS benchmark”中筛选出满足特定条件的5个系统：WER ≤ 0.13，且总体胜率 ≥ 20%。同时，有意选择了在“表达性”和“自发性”维度上具有不同风格原型的系统（如高表达低自发、高自发低表达等），并选择音色相近的女性声音以减少音色偏好偏差。最终选定的系统包括Kokoro、Gemini TTS、Kyutai-TTS、GPT-4o-mini-tts和ElevenLabs。

  4. 感知维度与评分任务：

    • 组件：双维度评分量表。
    • 功能与实现：听众需要对每个语音样本在两个核心维度上进行5点Likert量表评分：
      • 自然度（Naturalness）：在实验中被操作化为“human-likeness”，即声音听起来像真人的程度。
      • 恰当性（Appropriateness）：为了提升概念清晰度，实验使用了“convincingness”一词来表述，即该声音对于指定的目标角色（persona：AI助手、朗读者、演员、动画角色、自发说话者）而言是否令人信服、合适。

  5. 声学特征与自动指标分析：

    • 组件：多维度特征提取与相关性分析工具链。
    • 功能与实现：这是感知实验之外的定量分析部分，旨在探索感知结果背后的声学线索和现有评估工具的有效性。
      • 声学特征分析：使用praat-parselmouth、openSMILE（提取eGeMAPSv02特征集）和WavLM模型，从三个维度提取特征：节奏（如语速变异性、nPVI）、表达性（如基频范围、唤醒度、效价）、音质（如抖动、微扰、H1-H2、CPPS）。然后，计算这些声学特征与句子级别“恰当性”评分在跨所有语音任务条件下的Spearman相关系数。
      • 自动指标分析：评估了涵盖质量估计（UTMOSv2, DNSMOS, Squim, PESQ, MCD, STOI）、韵律距离（基频相关、AutoPCP, WavLM）、风格（AudioBox）、可懂度（WER）和多样性（DS-WED）的多种自动评估指标。同样，计算了这些指标与“恰当性”评分的Spearman相关系数，以检验其作为感知评价代理的有效性。
    • 输入：合成/真实的语音波形。
    • 输出：各类特征/指标值与感知评分的相关性矩阵与可视化图表（如图3，图4）。

整体数据流：语料策划 -> TTS系统合成 -> 感知实验（通过Gradio收集评分）-> 同时，对语音进行声学特征提取和自动指标计算 -> 感知评分数据与声学/自动指标数据进行相关性分析 -> 综合分析感知结果（不同领域、不同系统的得分分布）与相关性分析结果，得出结论。该方法的核心在于将主观感知实验与客观特征分析相结合，从“是什么”和“为什么”两个层面探究TTS评估中的领域依赖性问题。

图1

图2

💡 核心创新点

  1. 系统性跨领域感知研究：首次在同一实验框架内，使用相同刺激材料，对多个前沿TTS系统进行跨五个典型应用领域的“恰当性”感知对比。这克服了以往研究常局限于单一领域或仅比较朗读与自发语音的不足，提供了更全面的图景。
  2. “自然度-恰当性”解耦的实证证据：通过具体系统的案例分析（如Kokoro和Kyutai-TTS在AI助手和自发对话领域的反差表现）和相关性分析（Table 2），强有力地证明了“自然度”（human-likeness）与“恰当性”是独立的评估维度，且其关系强烈依赖于目标领域。挑战了将“自然度”作为TTS终极评价标准的惯性思维。
  3. 对主流自动评估指标的批判性剖析：不仅报告了自动指标与感知得分的相关性，更关键的是揭示了相关性的方向随领域变化而逆转的现象（如UTMOS/DNSMOS与演员/自发对话恰当性负相关，与AI助手恰当性正相关）。这为评估指标的使用划定了清晰的边界，并指出了开发“领域感知”或“情境化”评估指标的必要性。

📊 实验结果

  1. 恰当性跨领域变化（对应Figure 1）：

    • 大多数系统在朗读和AI助手角色上获得较高的恰当性评分，但在自发对话、演员和动画角色等表现力更强的领域更具挑战性。
    • 系统特性案例：Kokoro在朗读和助手任务上表现好，但在对话任务上差。Kyutai-TTS在自发对话中高度恰当，但在AI助手和动画角色上得分低。Eleven Labs、Gemini和GPT-4o-mini-TTS在演员领域得分高，但在自发对话中未能达到高分。
    • 评分者间一致性：TTS样本的Krippendorff’s α为0.2，GT样本为0.44，表明一致性相对较低，说明“恰当性”判断主观性强。

  2. 自然度与恰当性的领域相关性（对应Table 2）：

    领域（Domain）Spearman ρ
    Spontaneous0.4021
    Actor0.4705
    Reader0.3757
    Anim. Character0.0821
    Assistant-0.4438
    • 在演员、自发对话和朗读领��，自然度与恰当性呈正相关。
    • 在动画角色领域，相关性接近零。
    • 在AI助手领域，呈显著负相关。这支持了论文的观点：听众可能期望AI助手听起来有些“机械”，因此高自然度反而可能降低其恰当性。

  3. 语音任务对自然度的影响（对应Figure 2）：

    • 即使是真人语音（GT），其自然度评分也因数据集（任务类型）而异。MSP Podcast和MELD的自发/情感对话得分高于LibriQuote的朗读和Animevox的动画配音。论文推测这可能与LibriQuote中的爱尔兰口音或成熟嗓音，以及Animevox中高度风格化的演绎有关。
    • TTS的自然度分数更多反映了模型处理特定风格的能力，而非任务本身的固有难度。例如，Kyutai-TTS在对话任务上的自然度高于朗读任务。

  4. 恰当性与声学特征的相关性（对应Figure 3，跨所有语音任务计算）：

    • 动画角色：与节奏变异性（语速标准差 ρ=0.43， nPVI ρ=0.41）强正相关。表明该领域需要显著的节奏波动。
    • 朗读者：与上述节奏特征呈负相关（ρ≈-0.30）。表明该领域偏好稳定、受控的节奏。
    • AI助手：与基频范围（ρ=-0.35）和效价（ρ=-0.32）呈负相关，偏好稳定、中性的声音。
    • 自发对话：与抖动（ρ=0.34）和气泡音（H1-H2, ρ=0.29）等��人性化瑕疵”呈正相关。
    • 演员与自发对话：与基频RMSE标准差（≈0.35）和音质特征正相关。

  5. 恰当性与自动指标的相关性（对应Figure 4，跨所有语音任务计算）：

    • 质量估计器（UTMOS, DNSMOS）：与演员（ρ≤-0.41）和自发对话（ρ≤-0.47）的恰当性呈显著负相关。说明这些指标惩罚了这些领域必需的动态和非流利特征。而与AI助手的恰当性呈正相关（ρ≈0.35），在此传统高质量音频领域仍有效。
    • 嵌入度量（AudioBox, AutoPCP）：在AI助手和朗读领域与恰当性正相关（ρ≥0.36），但在衡量人类相似度时却显示更强的负相关（ρ≈-0.50）。
    • WavLM距离：与AI助手恰当性呈强负相关（ρ=-0.72），表明其嵌入更代表中性语音。
    • DS-WED（多样性指标）：表现更稳健。PESQ和基频相关对预测感知恰当性基本无效。

图3

图4

⚖️ 评分理由

  • 创新性 (1.5/2)：问题定义清晰且重要，指出了TTS评估中的关键盲点。通过精心设计的跨领域实验提供了新颖的实证视角，对“自然度”假设的批判具有启发性。然而，其核心概念“恰当性”（操作化为“convincingness”）本身定义模糊，且实验并未提出新的、可操作的替代评估范式。
  • 技术严谨性 (1.2/1.5)：实验设计（拉丁方、注意力检查）和统计方法（非参数检验、相关性分析）选择得当。但存在不足：1）未报告效应量和置信区间，削弱了结果说服力；2）声学特征与自动指标的相关性分析是跨所有语音任务聚合的，这可能掩盖了任务内的重要模式；3）对“自然度”的操作化（human-likeness）与“恰当性”的操作化（convincingness）在概念上仍有重叠，可能影响解耦结论的纯粹性。
  • 实验充分性 (0.8/1.5)：主要缺陷在于生态效度。仅使用孤立句子，完全忽略了对话历史、情感连续性、视觉上下文（尤其对动画角色）等现实交互中的关键因素。150名听众数量合理，但每位听众评估的句子数量（30句×6系统）可能导致疲劳，且TTS样本的低评分者间一致性（α=0.2）提示，或许需要更严格的听众筛选或更大量的重复评估来提高可靠性。此外，未包含跨语言或跨文化听众的对比。
  • 清晰度 (1.4/1.5)：论文写作流畅，逻辑结构清晰。图表（尤其是Figure 1和Figure 4）直观有效地传达了核心发现。关键概念（如自然度、恰当性、各领域定义）在方法部分有明确定义。轻微扣分在于，讨论部分可以更深入地联系到更广泛的HCI或心理语言学理论。
  • 影响力 (0.8/1.5)：对语音合成和评估社区具有明确的影响，直接挑战了当前的评估实践，并呼吁开发情境化指标。其发现对TTS系统设计者（需考虑目标领域）和评测者（需谨慎使用自动指标）有直接指导意义。然而，对于更广泛的语音/音频社区（如语音识别、音频生成），其直接应用价值有限。论文提出的“领域感知评估”是一个方向，而非具体方案，其后续影响力取决于能否引发具体的指标或框架开发。
  • 开源 (0.7/1.5)：提供了感知实验的Gradio界面代码和演示页面，这促进了实验部分的可重复性。然而，论文未开源用于生成实验中TTS合成语音的具体代码、处理刺激材料的脚本，也未提供所使用的五个TTS模型的直接权重下载链接或用于复现实验结果的完整分析代码包。这降低了整体可复现性。
  • 可复现性 (0.5/1.5)：由于上述开源情况的限制，加上实验细节（如具体的注意力检查题内容、LLM提示词用于情绪标注）未完全公开，以及统计分析缺乏效应量，独立复现整个研究（特别是刺激材料的准备和分析流程）存在显著障碍。听众的人口统计数据（除母语和批准率外）也未详细披露。
  • 工程/实践价值 (0.7/1.5)：研究直接指向了TTS产品开发和评测中的实际问题：为特定应用（如虚拟助手、有声书、游戏配音）选择或微调TTS模型时，不能只看总体MOS分。它为从业者提供了重要的警示：需要针对目标场景进行专门测试。但工程上，如何低成本、高效率地实现这种“情境化评测”，论文未提供可落地的方案。

🚨 局限与问题

  1. 生态效度严重不足：使用孤立句子是最大的方法学局限。真实的TTS应用几乎总是嵌入在对话流、故事叙述或情感交互中。听众对“恰当性”的判断必然受到前文内容、情感状态、交互目标的影响。例如，在自发对话中，一个孤立的、听起来很自然的句子，如果与上下文的情感基调不符，也可能是不恰当的。这使得研究结论的外部有效性存疑。
  2. 概念与测量的模糊性：尽管使用了“convincingness”一词，但“恰当性”仍是一个高度主观、多义的概念。它可能同时包含了风格匹配度、情感真实性、社交规范性等多个子维度。5点Likert量表可能过于粗糙，无法捕捉这些细微差别。低评分者间一致性也证实了这一点。未来研究应探索使用更细粒度的量表或多维度分解的“恰当性”定义。
  3. TTS系统与声音的混淆效应：实验将TTS系统与特定声音绑定（如Kokoro与af_heart）。虽然这是为了模拟真实选择，但无法区分性能差异是源于系统本身的能力，还是所选声音原型与目标领域的天然契合度（例如，af_heart可能天然是“朗读者”音色）。若想评估系统本身，应测试同一系统下的多种声音。
  4. 统计分析的深度不足：相关性分析仅限于跨所有语音任务的汇总数据。一个更深入的分析应该是分领域进行相关性计算，以揭示同一声学特征或自动指标在不同领域内与感知的相关性差异。此外，仅报告相关系数，未探索建立预测模型或进行更复杂的多变量分析，使得从特征到感知的因果链推理薄弱。
  5. 结论的过度推广风险：论文结论强调“没有一刀切的评估方法”，这本身是合理的。但文中部分表述（如“TTS性能远未解决”）可能忽略了在特定、定义良好的任务上（如标准朗读），现有系统已经非常出色。其局限性更多地体现在“跨领域泛化能力”上，而非绝对性能。
  6. 作者自我报告的局限：论文在讨论中承认了孤立句子和社会人口特征未被探究的局限，这与上述第1点和第2点观察一致。但未能充分讨论低评分者间一致性对结论可靠性的影响。

← 返回 2026-07-01 语音/音乐/音频论文速递