英文题目：Deterministic Prompting for Speaker-Stable Low-Resource Greek TTS
标签：#文本到语音 | #LoRA | #低资源 | #数据集构建
评分：7.0/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Georgios Syllas：机构信息未在 arXiv HTML 中可靠披露
- Efthymios Georgiou：机构信息未在 arXiv HTML 中可靠披露
- Kosmas Kritsis：机构信息未在 arXiv HTML 中可靠披露
- Alexandros Potamianos：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
现代希腊语文本到语音 (text-to-speech / TTS) 的输入为希腊语文本加风格描述，输出为单说话人波形，难点在于干净单人数据稀缺、多说话人数据导致音色平均化与希腊语重音韵律难学。该工作先以 WhisperX 对齐加置信度与声学过滤把有声书与社区语音转为短句训练集，再在多说话人池上全量微调多语言编解码模型以迁移语音先验，最后冻结主干并以单人数据训练低秩适配器锁定音色。与随机措辞的生成式提示相比，确定性分箱提示消除了条件方差，使低秩分支能对齐稳定风格信号并保留预训练知识。在 Common Voice 测试集的 50 句可懂度评测中，最优配置词错误率 (word error rate / WER) 为 10.7%，仅高于真人录音的 7.8% 基线 2.9 个百分点，同时双句一致性达 4.24 分而真人为 4.30 分。结论仅限于男性朗读风格的希腊语单说话人场景，未验证跨语言、跨说话人与自发语体的外推。全文披露了全量微调约 20 小时与适配约 2 小时的硬件量级，可作为低算力复现的成本参照。
🔗 开源与复现资源
代码相关资源：https://github.com/gsyllas/greek-stable-tts/tree/main/scripts/data — 链接可访问（HTTP 200）
代码相关资源：https://gsyllas.github.io/greek-stable-tts/ — 链接可访问（HTTP 200）
模型相关资源：https://gsyllas.github.io/greek-stable-tts/ — 链接可访问（HTTP 200）
数据相关资源：https://github.com/gsyllas/greek-stable-tts/tree/main/scripts/data — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要解决哪一个卡点？
本文的输入是希腊语文本，目标输出是自然、可懂且跨句子保持同一说话人音色的语音波形。研究对象是低资源条件下的单说话人希腊语语音合成，也就是文本转语音。初学者可以这样理解任务依赖：首先要有对齐准确、分段合适的训练语音，其次要有能把希腊语发音和韵律学好的声学模型，最后要有在推理时不随机漂移的控制方式。
论文指出，高资源语言已经接近真人质量，但希腊语缺少大规模干净单说话人语料，公开资源要么像 CSS10 那样干净但只有约 4 小时单女声，要么像 Common Voice 希腊语那样有约 32 小时但分散在 412 个说话人且存在剪切、音乐与文本错配。直接在碎片化监督上微调，模型容易学到弥散的平均音色，逐句音色漂移。本文的输出是一套可复述的数据清洗流程加 2 阶段适配方法，关键保留信息是数据量、提示词构造方式、冻结与更新范围、评测划分与统计结论。
后续各节按学习依赖展开，先讲路线选择，再讲数据、模型、训练、评测与复现。
同类路线有哪些，为什么本文选择提示词控制的多语编解码器模型？
语音合成路线按同输入同目标可以分为 3 类。第一类是频谱加声码器路线，包括序列到序列、非自回归、流模型与端到端模型，优点是单说话人干净数据充足时韵律稳定，缺点是低资源与噪声条件下容易出现单调韵律与伪影。第二类是扩散模型路线，优点是音质上限高，缺点是训练与推理成本和数据需求较大。第 3 类是编解码器语言模型路线，把合成看作离散音频编码的预测，代表是 Parler-TTS，特点是用自然语言风格描述控制合成，并依赖多语预训练提供的语音先验。
论文选择第 3 类，理由在原文有明确交代：多语预训练包含与希腊语发音和韵律相近的西班牙语，被视为有利的跨语言迁移起点，但作者同时声明这只是先验而非保证；其模块结构适合参数高效适配，即冻结文本编码器与音频编解码器，只训练解码器。作为对照，作者还试过希腊语 VITS 基线，在多种数据混合与训练时长下均出现单调韵律、音色不一致与可闻伪影，未达到可进入正式听测的质量，因此转向多语基础模型。
初学者例子：这好比先让模型在多语言大课堂学会通用发音，再到希腊语小班补课，而不是只用几小时希腊语从零教起。
希腊语低资源合成难在哪里，失败现象如何定义？
希腊语的难点不只是总量少。论文强调其丰富屈折形态与词汇重音系统对韵律建模要求高，而可用语料存在说话人与通道差异、切分不一致与转写不准。核心失效被定义为说话人漂移：即使以同一说话人为条件，相邻合成句子的音色仍明显变化。作者区分了两种漂移来源。一是数据侧的多说话人平均化：Common Voice 中多数人只有几分钟，解码器无法收敛到任一真实声音。
二是条件侧的提示词方差：标准流程用大模型根据语速、音高、信噪比与混响生成风格描述，训练与推理的措辞随机变化会干扰优化与生成。论文还报告 3 类高词错误率 utterances 的具体错误：词汇重音放错音节、插入或重复子词单元的幻觉音节、句末语调与标点不匹配，其中后两类经 LoRA 明显减少，重音错误仍低频存在。理解这些定义后，才能明白后文为什么同时改数据、改提示词、再加单说话人适配。
整体方法分几步，每步输入输出是什么？
整体流程可以沿一个样本走通。输入是一句希腊语文本加一个说话人身份期望。第一步是数据准备：把长时有声书与社区录音经 WhisperX 强制对齐切分为约 1.5 到 10 秒的短句，过滤低置信度与低信噪比片段，输出标准化训练样本。第二步是多说话人全量微调：输入混合希腊语池，输出一个能说希腊语但音色弥散的 Parler-TTS 解码器。
第三步是确定性提示词替换：输入原来由大模型生成的风格句，输出固定顺序拼接的档位标签，例如男性、偏低音高、中等语速、非常清晰、非常贴近，推理时全句共用中位数档位的规范提示词。第四步是单说话人 LoRA：输入约 3.5 小时人工核验的男声有声书数据，输出只更新注意力低秩矩阵的适配器，推理时用贪心解码逐层预测残差量化码字再经 DAC 还原波形。
论文强调 2 阶段的安排理由：先用大池学会希腊语，再用小而准的单人数据锚定身份，避免全参数在小数据上过拟合与遗忘多语先验。
模型各组件如何分工，提示词与 LoRA 如何组合？
Parler-TTS 的组件分工如下。冻结的 Flan-T5 编码器负责理解风格描述文本，经交叉注意力影响解码；Transformer 解码器负责自回归预测 9 层残差码本；冻结的 DAC 解码器负责把码字还原为波形。训练时只更新解码器约 500M 参数部分，文本编码器与音频编解码器保持冻结，因此梯度只流向解码器。
确定性提示词的构造动作很具体：对语速、音高统计、信噪比与 C50 混响等标量属性，在训练集上按五分位数分箱，取对应标签按固定顺序拼接，推理用单一规范提示词，从而移除提示词引入的方差并减少幻觉或重复音节，但作者报告此时说话人漂移仍存在。LoRA 的动作是向解码器全部注意力投影矩阵加入秩 16、缩放 32、丢弃率 0.05 的适配器，只训练约 25M 参数。
多语预训练 × 全量微调： 多语预训练负责提供跨语言可迁移的语音与韵律先验，特别是西班牙语等与希腊语发音接近语言的表征；全量微调负责把解码器全部可训练参数转向希腊语数据分布，学习希腊语发音、重音与语调。二者搭配的原因是希腊语干净数据不足以从零训练，因而先借用多语先验再用约 23 小时混合希腊语数据修正，组合意义是让模型先听懂多语言再专精希腊语。
大模型生成提示词 × 确定性提示词： 大模型生成提示词负责把语速、音高、信噪比等声学属性转写为多样化自然语言风格描述，分工是增加语言多样性；确定性提示词负责把每个连续属性按训练集分位数离散为固定档位并按固定顺序拼接，分工是消除措辞随机性。二者搭配比较的原因是前者在推理时引入条件方差导致音色漂移，组合意义是用固定的中位数组合提示词锁定风格条件，使同一说话人多次合成保持一致。
低秩适配 × 说话人平均化： 说话人平均化指多说话人微调后解码器无法收敛到任一真实音色而学到弥散的平均表征，是需要解决的失效模式；低秩适配负责只在注意力投影矩阵注入秩为 16 的可训练低秩矩阵来专精单一说话人，分工是以约 5% 参数做身份锚定。搭配原因是全量再训练容易覆盖多语先验，而低秩约束起隐式正则作用，组合意义是在保留先验的同时稳定单说话人音色。
编解码器语言模型 × 残差向量量化： 编解码器语言模型负责把语音合成重构为在离散音频编码上的自回归预测，分工是处理文本与风格到声音的序列生成；残差向量量化负责用 9 层码本的延迟交错模式逐层细化音频细节，分工是提供可预测的离散目标。搭配原因是连续频谱直接预测在低资源下不稳定，组合意义是让 Transformer 解码器逐层预测离散码字再由 DAC 声码器还原波形。
沿样本再走 1 次：文本进入解码器，规范提示词经 Flan-T5 给出稳定风格向量，解码器在 LoRA 锚定的单人子空间内预测码字，DAC 输出稳定音色的波形。论文未报告提示词分箱边界的具体数值与各声学属性权重，这是复现时需要按自己训练集重算分位数的缺项，不能直接照抄例子中的措辞。
数据如何建成，训练如何执行，哪些超参数必须照抄？
数据建成分为公开语料清洗与有声书新建两条线。公开侧用 CSS10 约 4 小时干净女声与 Common Voice 希腊语，经社区验证与人工检查去掉削波、背景音乐与图文不匹配，得到约 17.5 小时 174 人，再经格式标准化与时长裁剪后训练实际使用约 15.5 小时。有声书侧经来源筛选、WhisperX GPU 对齐切分、置信度与信噪比过滤建成两个男声单人库：人工核验约 3.5 小时用于 LoRA，自动过滤约 7.5 小时因残留识别错误导致幻觉音节增多而被排除，最终系统未使用该库，教训是转写准确性重于原始时长。
作者还试过用 Seed-VC 把 Common Voice 转到 CSS10 音色，但转换伪影降低质量而放弃该路线。训练执行分 2 个阶段，均用 AdamW、学习率 1 乘 10 的负 4 次方。全量微调先在 Common Voice 验证可行，再扩展到约 23 小时全池训练 50 个轮次，约 20 小时 A100 40 GB；LoRA 在 3.5 小时单人库再训 2 个轮次，约 2 小时 T4 16 GB。每阶段留 10% 做验证并选验证损失最低检查点，评测用 Common Voice 测试划分的 50 句做可懂度、用有声书保留的 20 句做频谱与相似度，推理用贪心解码。
下面这张表回答数据量是否可支撑单说话人稳定性的问题，公平条件是均为过滤后约数且注明说话人数，指标方向是时长越多不等于越好，还需看是否人工核验。
| Dataset | Hours | Spk. | Notes |
|---|---|---|---|
| CSS10 [1] | 4.0 | 1 | Clean, female |
| Common Voice [2] | 15.5† | 174 | Filtered |
| Audiobook-1 | 3.5 | 1 | Verified, male |
| Audiobook-2 | 7.5 | 1 | Auto-filtered |
表后需要强调代价与反例。最大代价是自动扩量的 7.5 小时库反而有害，因错误转写进入训练会增加幻觉音节；未胜出项是语音转换增强与 VITS 基线，均因伪影与不一致被放弃。复现时必须保留的超参数是 LoRA 秩 16、缩放 32、丢弃 0.05、全阶段学习率与轮数，以及 1.5 到 10 秒切分约束；原始录音因私有授权不可再分发，只能用作者提供的数据准备模板在自有录音上重跑。
评测测什么，与谁比，条件是否一致？
评测按问题组织为客观可懂度、主观质量与一致性、成本 3 组。客观侧用 WhisperX 第三版在小写去标点归一化文本上计算词错误率与字错误率，测试集是 Common Voice 测试划分保留的 50 句；另在人工核验有声书保留的 20 句上计算梅尔倒谱失真与基于 ECAPA-TDNN 经 SpeechBrain 提取的余弦相似度。主观侧招募 29 名希腊母语者，其中 14 名非专家、15 名专家，要求佩戴耳机在安静环境经网页界面评分；自然度与可懂度用 5 分量表，每人评 15 段即每个系统 3 段共 5 个系统含真人参考，实际完成全部评分者 25 人纳入报告。
一致性任务单独呈现同一来源的两条语音评相似度，含确定性加 LoRA、大模型加 LoRA 与真人单人有声书对，实际完成者 27 人。统计用每听音人每系统均值做 Friedman 检验加 Wilcoxon 配对与 Holm 校正。成本侧比较可训练参数、显卡、轮数与墙钟时间。 下面这张表回答 2 阶段成本差异是否支持低资源复现的问题，比较条件是同一解码器结构下的全量与 LoRA 阶段，指标方向是参数与时间越少越好，但前提是希腊语能力已由第一阶段获得。
| 阶段 | 可训练参数 | 占解码器比例 | 训练轮数 | 单阶段数据与硬件 |
|---|---|---|---|---|
| 全量微调 | 500M 参数解码器 | 约全量 | 50 轮 | 全池多说话人，A100 |
| LoRA 适配 | 25M 参数 | 约 5% | 2 轮 | 3.5 小时单人，T4 |
表后解释是全量阶段用约 20 小时换取希腊语韵律与自然度，LoRA 阶段只用约 2 小时与约 5% 参数换取身份稳定，代价是若跳过第一阶段则希腊语先验不足，若只做第一阶段则音色仍弥散。未评测边界是推理延迟与实时率未报告，不能从训练墙钟推断推理开销。
主结果显示什么，哪些数字支持稳定性的判断？
主结果的教学问题是确定性提示词加 LoRA 是否同时改善客观可懂度与主观一致性。先看客观可懂度。无 LoRA 时大模型提示词词错误率低于确定性提示词，但加 LoRA 后确定性组合大幅反超，作者解释为 LoRA 的说话人特化受益于更稳定的风格条件。最优的确定性加 LoRA 达到词错误率 10.7%，仅比真人音频的识别下限 7.8% 高 2.9 个百分点。主观上确定性无 LoRA 在合成系统中自然度与可懂度均值最高，而确定性加 LoRA 保持可懂度 4.00 并达到一致性 4.24，接近真人 4.30。
大模型加 LoRA 一致性仅 3.56。作者同时提醒绝对相似度约 0.60 且最优可懂度配置的频谱失真并未改善，因此主观一致性测的是系统内跨句稳定而非与固定参考人的逼近。统计上自然度无系统差异，一致性总检验不显著但与大模型加 LoRA 的两组比较校正后处于边缘，合成与真人无显著差异不能解读为等效。 下面这张表回答提示词类型与是否加单人适配如何交互的问题，公平条件是同一 Parler-TTS 基础与同一测试划分，指标方向是词错误率越低越好，真人下限为参照。
| 条件 | 指标 | 无 LoRA 基线 | 加 LoRA 后 | 比较对象 |
|---|---|---|---|---|
| 大模型提示词 | 词错误率 | 15.2% | 21.1% | 确定性提示词 |
| 确定性提示词 | 词错误率 | 18.8% | 10.7% | 大模型提示词 |
| 真人参考 | 词错误率下限 | 7.8% | 7.8% | 合成最优 10.7% |
表后解释是主要收益来自确定性与 LoRA 的协同，单独确定性在无 LoRA 时反而词错误率更高；具体代价是频谱保真未同步提升，说明可懂度与音质细节改善不同步。未胜出项是大模型加 LoRA 在客观与一致性上均落后，构成反证。
下面这张表回答主观质量是否被录音条件混淆的问题，比较条件是同一听测流程与同一量表，指标方向是分数越高越好，但真人样本来自可变麦克风的社区录音。
| 系统 | 自然度 | 可懂度 | 一致性 | 真人参照 |
|---|---|---|---|---|
| 确定性无 LoRA | 3.76 | 4.11 | 未测 | 真人自然度 3.47 |
| 确定性加 LoRA | 3.68 | 4.00 | 4.24 | 真人一致性 4.30 |
| 大模型加 LoRA | 3.60 | 3.92 | 3.56 | 真人可懂度 4.36 |
表后解释是合成自然度均值略超真人采样并非超越真人，而是基础模型经数万小时棚录预训练波形更干净；一致性上确定性加 LoRA 接近真人而大模型加 LoRA 明显落后，支持确定性对身份稳定的作用。
限制是自然度总检验不显著，均值差距应视为不确定。 以下导读针对本次实际收到像素的可懂度分布图，聚焦专家与非专家如何使用量表以及 5 个系统分布形态的差异，时间范围为同一听测任务内的全部评分。
看图路径： 1. 先看横轴五个系统分组与纵轴 1 到 5 分评分尺度；2. 再对比每组左侧专家与非专家覆盖层与右侧全体分布的峰位；3. 重点观察真人组专家均值与确定性加 LoRA 组的均值横线位置；4. 注意大模型基线组低分区散点是否多于确定性提示词组
论文图 1。原论文 Figure 1:：“Intelligibility (MOS-I) distributions with expert/non-expert overlays for all five systems.”。
该图显示 5 个分组的可懂度评分分布，右侧灰色为全体，左侧蓝色与红色分别为专家与非专家覆盖。从可见内容看，真人组专家均值高于全体且分布更集中于高分端，确定性无 LoRA 与确定性加 LoRA 的全体均值分别在 4.11 与 4.00 附近且高分区密度较大，而大模型基线与大模型加 LoRA 的非专家分布更向低分拖尾。结合正文统计，这支持专家与非专家量表使用方式不同，且大模型基线被评低于真人的结论主要由可懂度总检验与校正后配对驱动，不能把图中单条均值线直接当作显著性证明。
词错误率 × 说话人一致性平均意见分： 词错误率负责用 WhisperX 转写合成语音并与归一化文本比较，分工是度量可懂度；说话人一致性平均意见分负责让听音人比较同一系统两条语音的音色相似度，分工是度量系统内身份稳定而非与固定参考人的相似度。搭配原因是客观相似度分数在低资源下偏低且不能反映逐句漂移，组合意义是同时报告机器可懂度与人耳感知的跨句稳定性。
拿掉哪一块会怎样，失败条件提供了什么反证？
论文的消融不是删模块的理论推导，而是用实际可运行配置对比。第一组是提示词消融：无 LoRA 时大模型提示词客观更好，说明多样措辞在弥散音色下可能掩盖部分发音问题；一旦加 LoRA 锁定身份，确定性提示词的稳定条件才释放收益，大模型提示词反而恶化到 21.1%，证明随机条件与稳定身份不兼容。第二组是数据质量消融：7.5 小时自动过滤库因残留识别错误被整体排除，说明在低资源下转写准确性优先于时长，盲目扩量会增加幻觉音节。
第 3 组是路线消融：VITS 全量微调与语音转换增强均未进入正式评测，前者单调且伪影多，后者伪影抵消音色统一的好处，证明多语先验不可替代。第四组是专家分组描述性分析：专家子组可懂度总检验显著而非专家不显著，但子组仅 12 人与 13 人且多重比较多，只能视为描述而非结论。初学者应注意百分点与相对百分比不同，2.9 个百分点是 10.7% 减 7.8% 的绝对差，不是相对提升 29%。
哪些结论不能推广，原文明确了什么边界？
原文明确的边界有 4 条。第一，仅验证现代希腊语与单一男性朗读风格的 LoRA 说话人，未做多语复制与多说话人多风格覆盖，因此不能推广到其他语言或自发语音。第二，未对大模型漂移做因果分解，措辞变化、语义错配、训练分布错配与生成质量等因素留待未来工作，相关性不能当作因果。第三，多数合成系统间差异经 Holm 校正后不显著，与真人无显著差异也不能解读为等效，因为未设非劣效界且样本仅 25 人与 27 人，小差异可能未被检出。
第四，基于识别的词错误率可能低估或错估形态复杂希腊语的感知错误率，客观相似度约 0.60 与频谱失真未改善表明目标音色逼近与细节保真仍有限。伦理上高质量单人合成存在冒充与深度伪造风险，作者声明模型仅供研究并建议配合同意验证与水印。资源状态方面，代码、模型权重与数据处理脚本的项目页与数据模板链接本次验证为可用，但原始有声书因私有授权不可再分发，这是复现时必须接受的信息条件。
要复现这套系统，先做什么，需要准备什么？
复现顺序应按学习依赖倒排检查。首先准备录音：优先找清晰低噪单人朗读，若只有社区录音则先跑社区验证与人工试听，再用 WhisperX 做强制对齐与切分，约束在约 1.5 到 10 秒，计算置信度与信噪比并做五分位分箱，不要直接套用论文例子的措辞。
其次准备基础模型：下载多语 Parler-TTS 880M 检查点，冻结 Flan-T5 与 DAC，只训练解码器，先在多说话人池全量微调约 50 轮验证希腊语可懂度，再在人工核验的 3.5 小时单人数据上加 LoRA 秩 16、缩放 32、丢弃 0.05 再训 2 轮，学习率 1 乘 10 的负 4 次方，每阶段留 10% 验证选最低损失，推理用贪心解码与单一规范提示词。评测复现需严格保留划分：50 句 Common Voice 测试句做词错误率与字错误率，20 句单人保留句做频谱与相似度，主观需区分自然度、可懂度与一致性 3 个独立任务并记录专家背景。
硬件预算按原文是全量约 20 小时 A100 40 GB、LoRA 约 2 小时 T4 16 GB，未报告推理延迟需自行补测。常见误解是把确定性理解为输出确定，实际上它只减少提示词条件方差，解码采样与模型不确定性仍存在；另一个误解是把平均相似度 0.6 当作失败，原文用它说明逼近参考人有限，而稳定性结论来自跨句一致性评分。
何时值得尝试这条路线，还需补哪项验证？
当你的语言干净单人数据只有几小时、社区数据分散且转写有噪、且有多语基础模型可借用时，这条路线值得尝试：先用混合数据全量适配语言能力，再用小而准的单人数据低秩锚定身份，全程用固定档位提示词锁定风格。若已有数十小时棚录单人数据，则不必照搬 2 个阶段，直接单人训练可能更简单。
还需补的验证包括跨说话人与跨风格的重复、非朗读体的韵律测试、明确的非劣效界等效性检验，以及对重音错误率的专项标注，因为当前 3 类错误多来自人工检查而非自动分类。回到中心矛盾：低资源下多样性控制与身份稳定是冲突的，大模型生成提示词增加了前者却破坏了后者，确定性提示词加单人 LoRA 的组合是在有限数据与算力下先保稳定再保自然度的务实折中。
📎 论文与评分元数据
排名：前50% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses