英文题目：An Evaluation Framework for Text-to-Speech Voice Reconstruction
会议身份：
conference:interspeech:2026:conference-paper-id:sanchez26_interspeech
来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。
标签：#评测协议 #言语障碍 #零样本 #语音可懂度评估 #语音克隆
评分：6.8/10 | 创新 1.6/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：数据集与基准
👥 作者与机构
- Ariadna Sanchez：机构信息未能从会议 PDF 纯文本可靠映射
- Christoph Minixhofer：机构信息未能从会议 PDF 纯文本可靠映射
- Korin Richmond：机构信息未能从会议 PDF 纯文本可靠映射
- Ondřej Klejch：机构信息未能从会议 PDF 纯文本可靠映射
- Peter Bell：机构信息未能从会议 PDF 纯文本可靠映射
- Simon King：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
语音重建需以紊乱语音为提示合成高可懂度且保留说话人特质的语音，难点在于身份与病理构音纠缠且缺乏病前参照真值。为此框架先以情景引导区分可懂度与整体重建两种听测任务，再用最优劣标度收集系统偏好排序并以Plackett-Luce模型估计排名。排序输出进入客观对照环节，并行计算转录错误率与说话人余弦相似度等单点指标，再计算双参照分布度量TTSDS Mean以同时逼近通用高可懂度分布与原始紊乱分布。相对已有MOS自然度与相似度评测，该机制差异在于以任务化 framing解耦可懂度与身份判断，并以双参照分布权衡替代单点相似度，具有更贴合重建折衷的实际意义。在17个零样本系统重建主观评测任务下，IndexTTS2的BWS得分为0.963，高于Qwen3-TTS的BWS得分0.791。该结论仅适用于英语病理语音的零样本克隆设定，未验证微调式重建与真实用户长期使用效果。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 演示资源：https://minixc.github.io/sap/ — 链接可访问（HTTP 200）
- 第三方资源：https://github.com/RVC-Boss/GPT-SoVITS — 链接可访问（HTTP 200）
- 第三方资源：https://github.com/metavoiceio/metavoice-src — 链接可访问（HTTP 200）
- 第三方资源：https://github.com/sarulab-speech/UTMOS22 — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，这篇解读要交付什么？
本文解读的输入是论文原文证据与本次收到的官方原图像素，不引入其他生成分析的评价。目标读者是刚进入语音、音乐、音频领域的研究生，需要能核对实验条件并复述方法。必须保留的信息包括任务定义、数据来源与划分、主观与客观评价的具体操作、关键数字及其适用条件、以及明确未验证的部分。
输出按学习依赖展开：先讲语音重建与通用语音合成评价为何不同，再讲主观双任务与客观双参照的全景，然后走完单个样本的输入到输出，最后讲实验条件、结果、反证与复现。论文研究的任务是语音重建：为已有言语障碍的说话人制作个性化语音输出通信 aid 所用的声音，要求提高可懂度，同时在听感上保留说话人身份。难点在于没有标准答案，理想的重建声音只能由听众想象说话人患病前应有的声音，且障碍带来的发音模式与本人音色缠绕在一起。
通用做法是直接报告自然度平均意见分和说话人相似度平均意见分，但原文指出这种做法灵敏度与可靠性有限，且跨研究易饱和，因此主张转向面向具体用例的评价。本文用零样本语音克隆系统作为验证载体，不是要证明某一系统最强，而是要检验评价框架能否可靠区分与重建相关的系统差异。项目页当前可用，地址为 minixc.github.io/sap，第三方代码涉及 GPT-SoVITS、MetaVoice 与 UTMOS22 的公开仓库，本次资源状态均为可用。
以前的工作用什么评，为什么不够？
以往语音重建多沿用通用语音合成评价。主观侧常用平均意见分评自然度，用相似度平均意见分评与目标说话人的相似，少数工作用多刺激测试评是否适合日常对话。客观侧常用词错误率、字错误率或音素错误率作为可懂度代理，用说话人嵌入余弦相似度或说话人验证系统作为身份代理，也有工作用 UTMOS 这类平均意见分预测模型代替听众。原文梳理指出三点不足。
第一，缺少情景说明，听众不知道合成语音将用作个性化通信 aid，评价标准不统一，而已有研究显示不同任务 framing 会显著改变评价结果。第二，自动平均意见分预测在失配域泛化差，病理语音不在其训练域内。第三，说话人嵌入并未解耦身份与障碍，已有证据显示其可用于识别发声障碍，意味着成功重建反而可能降低与病理参照的余弦相似度。
在健康语音的客观评价中，基于样本分布距离的方法显示出与听众偏好的相关性，例如 TTSDS 与 TTSDS2，但语音重建缺少病前参照，难以直接套用。这就留下两个待检验问题：主观上如何把可懂与保身份分开又能合起来看，客观上常用指标能否预测重建偏好。
要解决的评价问题如何形式化？
把问题写成两个待排序对象。给定同一文本与同一说话人的病后录音，17 个零样本系统各生成一条合成，听众需要在两种情景下排序。第一种情景是可懂度任务：只问哪条更听得清，明确要求忽略是否为本人。第二种情景是重建任务：同时考虑可懂与说话人特征，问哪条更接近想象中患病前的本人声音。
客观侧的问题是：给定同样的合成集合，用自动识别得到的词错误率与音素错误率、用 WeSpeaker 得到的说话人余弦相似度、用 UTMOS 得到的预测分、以及用 TTSDS2 得到的分布分数去排序系统，哪种排序与上述两种主观排序更一致。特别要检验的是高度不可懂说话人子集，因为这时清晰与保身份的冲突最尖锐。原文把高可懂与低可懂按说话人词错误率 30% 划分，低于 30% 为高，等于或高于 30% 为低，说话人词错误率用每人 10 条样本经 Whisper turbo 计算得到。
举例说明：若某说话人原录音本身词错误率已超过 30%，则其合成既要大幅提升清晰，又不能漂成别人的声音，这正是后文低可懂度子图要单独呈现的原因。
主观双任务加客观双参照的全景是什么？
方法全景分为主观与客观两条线。主观线用最佳最差排序完成 2 次评价，可懂度评价与重建评价使用不同听众，避免互相干扰。每屏呈现 4 个系统样本加一条目标说话人参照，可懂度评价共 25 屏，重建评价因认知负荷更高共 20 屏，所有可能的系统对至少出现 5 次。客观线同时计算 4 类已有指标与新提出的双参照分布指标，然后用 Spearman 排序相关检验它们与主观排序的一致性。
双参照的思想是：用与 LibriTTS 高可懂度多说话人集合的分布相似度近似可懂侧，用与原始病理提示语音集合的分布相似度近似身份侧，取二者均值得到 TTSDS Mean，以此量化折中。沿一个样本走完全程有助于理解：选定某说话人的一条语音作零样本提示，另一条只取文本；把文本与提示送入某个零样本语音克隆系统，生成一条与第二条文本内容相同的合成；主观上把它与其他 3 条合成同屏比较，客观上把它送入识别、说话人嵌入、UTMOS 与分布 scoring 4 条流水线。
这样每个说话人对每个系统恰好得到一条合成，全集用于后续聚合排序。
可懂度 × 重建度： 可懂度负责回答合成语音是否听得清，评价时要求听众忽略音色是否为本人；重建度负责回答合成语音是否同时保住了本人身份并变清晰，要求听众对照病后录音去想象病前声音。二者搭配的原因是语音重建天然存在折中：只变清晰可能丢身份，只保身份可能仍听不清，组合使用才能把这种折中显式化。
该全景的教学要点是先分后合：主观先分开测再对比结论，客观先分别算已有指标再用双参照合起来测。
听众怎么做判断，机器怎么做计算？
主观组件的关键是情景说明与最佳最差排序。听众被告知将评估用作个性化通信 aid 的合成，系统用人工智能重建了说话人患病前的声音。每屏可反复听 4 个待评样本与一条目标参照，然后选出最好与最差。排序用 Plackett-Luce 模型估计价值分，相对原录音报告对数价值，置信区间为 95%，与录音无显著差异的系统用虚线标出。
听众通过 Prolific 招募，要求现居美国或英国、无听力障碍、第一语言为英语，在线经 Qualtrics 完成，注意力检查不合格者剔除，可懂度与重建分别保留 46 与 47 名听众，平均用时分别为 19 分钟与 22 分钟。客观组件包括 4 种已有计算与一种新组合。词错误率用 Whisper turbo 转写后比较得到，音素错误率用 Allosaurus 识别后与转成国际音标的文本比较得到，原文提醒 Allosaurus 训练中缺少病理语音会整体抬高绝对值，但系统间相对排序仍可用。说话人余弦相似度用 WeSpeaker 嵌入计算，需要参照信号。UTMOS 用官方实现，无需参照。
分布分数用 TTSDS2 计算，分别以 LibriTTS 子集与原始病理提示语音为参照，再取均值。LibriTTS 子集的构造是每个不同说话人随机取一条，覆盖 test、dev clean 与 other 切分，共 145 个说话人。
最佳最差排序 × 平均意见分： 最佳最差排序让听众在每屏 4 个样本中只选最好和最差，再用 Plackett-Luce 模型估计相对价值，分工是获得可区分的系统排序；平均意见分让听众逐个打绝对分，分工是获得自然度绝对值。搭配理由是原文指出平均意见分在灵敏度、可靠性和跨研究饱和上受限，最佳最差排序可以用更少屏数达到显著区分，组合意义是用相对判断替代绝对打分来评重建。
说话人余弦相似度 × 分布距离： 说话人余弦相似度负责度量单条合成与单条参照在说话人嵌入空间的接近程度；分布距离负责度量一批合成整体与一批参照整体在多维特征分布上的接近程度。搭配原因是单点相似度容易把病理特征也当成身份，而分布比较能看整体是否同时靠近清晰语音和原说话人，组合意义是为重建的折中提供可计算的客观代理。
理解时不要把自动指标当成人评，也不要把单点相似度与分布相似度混为一谈，前者看一条像不像，后者看一批像不像哪类分布。
本研究训练了什么，没有训练什么？
本研究没有训练任何语音合成模型，也没有训练评价模型，这是需要明确的缺项说明。17 个零样本语音克隆系统直接使用各自已发布权重，涵盖自回归与非自回归等不同架构，以及朗读、自发或混合等不同训练数据，入选依据是权重可得与架构多样性，而非重新训练或微调。真实计算发生在调用与评分阶段：对每个入选说话人随机选两条语音，一条作提示，一条只取文本，生成每系统每说话人一条合成，共 193 乘 17 条。
客观计算阶段调用已有的 Whisper turbo、Allosaurus、WeSpeaker 与 UTMOS 官方实现，以及 TTSDS2 的分布计算，不更新这些模型的参数，不存在梯度路径与重置时机，监督来源是合成对应的正确文本与参照语音集合。原文未报告这些调用的硬件预算与耗时，也未报告生成时的采样超参数，因此复现时只能保证流程一致，不能从冻结参数推定输出确定。若未来要检验架构或数据与重建性能的关联，需要另行设计对照实验，本文只负责建立能可靠识别相关差异的评价协议。
数据、划分与听测条件如何保证可比？
数据来自 Speech Accessibility Project 数据集 2024 年 12 月版本，只保留第一语言为英语的说话人，以避免口音成为额外混淆。共选 193 名说话人，覆盖帕金森、脑瘫、肌萎缩侧索硬化与唐氏综合征 4 种状况，并按上述 30% 词错误率分为高与低可懂度。整体偏向帕金森与高可懂度，原文报告偏向比例为帕金森占 72%，高可懂度占 77.2%。听测条件上，两种评价使用不同听众，每人只参加 1 次，每种评价内再分 5 个不同说话人与系统组合的子测试，每子测试的四系统组合采样保证所有系统对至少出现 5 次。
比较公平性体现在三处：同一说话人的同一文本跨系统比较，同一参照录音跨屏呈现，以及排序相关只比较系统名次而非绝对分值。指标方向需要记牢：词错误率与音素错误率越低越好，UTMOS、说话人余弦相似度与各类 TTSDS 分数越高越好，主观最佳最差价值分越高表示越被偏好，原录音固定为 0 点。统计上主观报告 95% 置信区间与相对录音的显著性，客观与主观的一致性用 Spearman 排序相关并标注显著性水平。
主观排序与客观排序各显示了什么？
先看主观全量说话人的导读：子图 a 为可懂度，子图 b 为重建度，纵轴是相对原录音的价值估计，横轴系统按估计从低到高排列，原录音以粗体标在 0 线附近。若多数系统高于 0 线，说明合成普遍比原录音更听得清；若多数系统低于 0 线，说明合成尚未抓住想要的说话人特征。子图 c 与子图 d 把同样逻辑限制在低可懂度子集，此时可懂度优势应更明显，而重建难度应更大。
看图路径： 1. 先看每幅子图纵轴是相对原录音的对数价值估计，原录音固定为 0，横轴按估计值从低到高排列系统；2. 再对比子图 a 与子图 b 中原录音的位置变化，判断多数系统是高于还是低于录音；3. 然后看子图 c 与子图 d 中低可懂度组原录音是否落到最左或中间，确认重建难度变化；4. 最后检查误差棒与虚线标注，确认哪些系统与录音无显著差异
论文图 1。原论文 Figure 1：“Subjective Best Worst Scaling (BWS) worth estimates with 95% confidence intervals, with log-worth scores relative to the original recording.”。
像素可见的内容支持以下判断。子图 a 中 StyleTTS2、Fish Speech 与 OpenVoice 居右端，多数系统高于原录音，MetaVoice 与 VoiceCraft 居左端低于录音。子图 b 中 IndexTTS2、Qwen3-TTS 与 E2-TTS 居右端且高于或接近录音，多数系统低于录音，OpenVoice 与 WhisperSpeech 落在最左。子图 c 中所有合成均高于原录音，原录音落在最左且价值显著为低。子图 d 中只有 IndexTTS2 与 Qwen3-TTS 高于原录音，其余系统仍低于录音，XTTS 落在最左。
这说明情景 framing 带来显著不同的结果，单独测可懂会得到与测重建几乎相反的系统顺序。客观已有指标在可懂度上有效，在重建上失效。词错误率、音素错误率与 UTMOS 均与可懂度显著相关，而说话人相似度与可懂度呈负向或弱相关。双参照中的 TTSDS|LibriTTS 与可懂度强相关，TTSDS Mean 与重建强相关，且在低可懂度子集保持更稳。
TTSDS|LibriTTS × TTSDS|SAP： TTSDS|LibriTTS 以 145 个不同说话人的 LibriTTS 子集为参照，负责近似对高可懂度通用分布的距离；TTSDS|SAP 以用于提示零样本系统的原始病理语音为参照，负责近似对原说话人分布的距离。搭配理由是好的重建应同时最小化两个距离，组合意义是取二者均值得到 TTSDS Mean，用一个分数同时约束清晰与保身份。
下表整理连续正文直接报告的各单项最优，便于核对方向与量级，表中未在连续正文中报告的格子不填数字，避免把不同条件的数字混放。表前问题是：在各自单项上谁最好，代价是单项最优是否等于重建最优。公平条件是同一合成集合上的不同指标，方向为词错误率与音素错误率越低越好，其余越高越好。
| 系统 | 词错误率 | 音素错误率 | UTMOS 预测分 | 说话人余弦相似度 |
|---|---|---|---|---|
| StyleTTS2 | 6.4% | 未在连续正文中报告 | 未在连续正文中报告 | 未在连续正文中报告 |
| OpenVoice | 未在连续正文中报告 | 48.3% | 3.72 | 未在连续正文中报告 |
| E2-TTS | 未在连续正文中报告 | 未在连续正文中报告 | 未在连续正文中报告 | 0.713 |
表后解释是：单项最优分散在不同系统，StyleTTS2 在可懂度代理上占优，OpenVoice 在预测分上占优，E2-TTS 在身份单点相似度上占优，但主观重建最优是 IndexTTS2、Qwen3-TTS 与 E2-TTS，这支持单项最优不能代替重建最优。未胜出项方面，MetaVoice 与 VoiceCraft 在主观两任务中均靠后，说明高生成能力不自动等于高重建能力。需要标注一处冲突：连续正文称 OpenVoice 的音素错误率为最低的 48.3%，但随文表格矩阵另给出更低的数值，因本次无原表像素绑定，只能以连续正文为准并提示以原表为准需另行核对。
换掉指标会发生什么，哪些对照支持双参照？
把客观指标逐个与主观排序做 Spearman 相关，可以看成对评价指标的消融比较。测什么：同一组系统在可懂度与重建两种主观排序下的客观预测力。与谁比：在已有指标之间比，也在单参照分布与双参照均值之间比。条件是否一致：同一合成集合、同一主观价值估计、同一相关方法。关键数字与支持判断如下表，表中方向为相关系数越高表示排序越一致，正负号表示同向或反向。
表前问题是：哪个客观量能预测哪种主观任务，单参照与均值谁更能抓住折中。公平条件是跨指标使用相同的系统集合与主观排序，显著性按原文标注。
| 评价任务 | 预测指标 | 全部说话人相关 | 低可懂度子集相关 | 方向与含义 |
|---|---|---|---|---|
| 可懂度 | TTSDS 以 LibriTTS 为参照 | 0.85 | 0.85 | 越高越一致，分布方法可比 UTMOS |
| 可懂度 | UTMOS 预测 | 0.86 | 0.83 | 越高越一致，在低可懂度组被反超 |
| 重建度 | TTSDS 均值 | 0.81 | 0.73 | 越高越一致，双参照优于单点相似度 |
| 重建度 | 说话人相似度 | 0.75 | 0.61 | 越高越一致，但在低可懂度组下降更多 |
表后解释是：主要收益在于双参照均值在重建任务上全面超过单点说话人相似度，全量 0.81 对 0.75，低可懂度 0.73 对 0.61，支持用均值量化折中。具体代价是单参照各有偏向，TTSDS|SAP 与可懂度负相关，TTSDS|LibriTTS 与重建弱相关，说明只用一端会偏向清晰或偏向原病理分布。反例是词错误率与音素错误率虽能预测可懂度，却几乎不能预测重建，UTMOS 甚至与重建呈弱负相关，这与 UTMOS 训练偏向高可懂度典型语音的解释一致。未评测边界是口音相似度与日常对话适用性被明确留作未来工作。
词错误率 × 音素错误率： 词错误率用 Whisper 转写后与正确文本比较，负责词级别的可懂度代理；音素错误率用 Allosaurus 识别音素后与 IPA 转换文本比较，负责音素级别的可懂度代理。搭配原因是两者都依赖自动识别但粒度不同，组合意义是在主观可懂度排序上互相印证，但原文显示它们都不能预测整体重建排序。
该对照的限制是相关性不是因果，且未测量误判率与延迟，不能承诺部署收益。
哪些结论不能推广，缺了哪些证据？
第一，数据偏态限制推广。193 名说话人中帕金森占 72%，高可懂度占 77.2%，4 种状况与高低可懂度的交叉格子很不均衡，低可懂度唐氏综合征等格子样本很少，总体趋势不等于每组都成立。第二，重建任务对重度障碍天然困难。听众要对照病后录音想象病前声音，本身高度主观，原文报告重建评价用时更长也印证了认知负荷更高。第三，客观侧缺失关键部署量。
原文未报告训练资源、推理开销、输出帧率与实际延迟，也未报告识别错误的误判分布，因此不能从排序相关推出实时可用或成本更低。第四，分布参照的构造依赖具体选择。LibriTTS 子集为 145 人各一条，高可懂度通用分布的代表性取决于该采样；病理参照直接用提示语音，其录音质量与内容会影响分布距离。第五，系统结论限于所测 17 个零样本权重。
原文明确未来可系统研究架构与训练数据的影响，但本研究未做该对照，不能从模型名称推定实现细节。第六，数字冲突需保留。音素错误率最低值的连续正文写法与随文矩阵写法不一致，本文以连续正文为准，复现时应以原表与代码输出重新核对。
要复现这套评价，先做什么，需要什么？
先准备数据与系统。获取 Speech Accessibility Project 数据集对应版本，按第一语言为英语筛选，按每人 10 条经 Whisper turbo 计算说话人词错误率，以 30% 为界划分高低可懂度，复刻 193 人的构成或明确报告新的构成差异。每个说话人随机取两条，一条作零样本提示，一条只取文本，为 17 个系统各生成一条合成，保持文本与提示的对应关系一致。再搭建主观流程。按原文情景撰写指导语，说明这是个性化通信 aid 且重建了患病前声音，可懂度组要求忽略是否为本人，重建组要求同时考虑可懂与说话人特征。
每屏四系统加一条目标参照，可懂度 25 屏、重建 20 屏，加入注意力检查，通过 Prolific 招募符合居住地、无听力障碍与母语条件的听众，两种任务使用不同听众，每人只测 1 次，用 Plackett-Luce 估计相对原录音的价值分并报告 95% 置信区间。再搭建客观流程。调用 Whisper turbo 得词错误率，调用 Allosaurus 加 IPA 转换得音素错误率，调用 WeSpeaker 得余弦相似度，调用 UTMOS 官方实现得预测分，再按原文构造 145 人的 LibriTTS 子集与病理提示集计算 TTSDS2 双参照并取均值，最后计算与主观排序的 Spearman 相关。
代码开源、权重下载与系统可运行要区分：第三方仓库可得不等于复现环境可运行，需锁定版本与采样参数。还需补的验证是新的数据集与新的系统集合上的相关性，以及听众换成实际语音输出通信 aid 使用者后的偏好是否一致。
何时值得尝试这套框架，如何一句话记住它？
当任务同时要求更听得清与更像本人，且没有病前标准答案时，值得尝试这套分合结合的框架。做法是主观先分开问可懂与重建，客观先分开算清晰代理与身份代理，再用双参照均值把折中合起来看。若只关心是否听得清，用词错误率、音素错误率或 UTMOS 已足够；若关心整体重建，应优先看 TTSDS Mean 与重建排序的相关，而不是单看说话人余弦相似度。
对于低可懂度重度组，要预期多数零样本系统能提升可懂但仍低于原录音的重建价值，只有 IndexTTS2 与 Qwen3-TTS 在原文条件下超过录音，选基线时应从这三者中选并报告适用条件。记住一句话：用两种情景把听众的判断分开，用两种分布把机器的分数合起来，相关性只在所测数据与系统范围内成立，换数据换系统需要重新检验。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses