英文题目：Beyond Standard Greek: Adapting Whisper for Greek Dialects through Curriculum Multitask Learning
会议身份：
conference:interspeech:2026:conference-paper-id:klimi26_interspeech
来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。
标签：#课程学习 #多任务学习 #低资源 #语音识别 #语音翻译
评分：6.2/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Antigoni Klimi：机构信息未能从会议 PDF 纯文本可靠映射
- Dimitrios Damianos：机构信息未能从会议 PDF 纯文本可靠映射
- Stavros Bompolas：机构信息未能从会议 PDF 纯文本可靠映射
- Vivian Stamou：机构信息未能从会议 PDF 纯文本可靠映射
- Stella Markantonatou：机构信息未能从会议 PDF 纯文本可靠映射
- Vassilis Katsouros：机构信息未能从会议 PDF 纯文本可靠映射
- Georgios Paraskevopoulos：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
本文处理希腊方言自动语音识别，输入为塞浦路斯、克里特、麦西尼亚方言语音，输出为方言转写文本，难点在于转写稀缺、正字法不统一以及与标准现代希腊语的音系词汇偏离。方法为四阶段课程多任务流水线：阶段0仅用标准希腊语到英语语音翻译建立跨语言声学语义对齐，阶段1以概率混合标准语识别与方言翻译实现领域初切换，阶段2转为方言识别为主并保留方言翻译作正则，阶段3收敛为纯方言识别专项优化。与联合多任务或随机课程不同，该设计同时调度监督类型与数据域，避免早期直接拟合稀疏方言转写，从而缓解分布失配与优化不稳定。在塞浦路斯语测试集下，课程训练方法的词错误率（Word Error Rate, WER）为24.89%，低于直接微调基线的词错误率（Word Error Rate, WER）33.93%。同一large-v3配置在克里特语与麦西尼亚语上亦保持增益，表明翻译正则与施主语言预对齐在低资源下具互补作用。该结论适用边界受限于南部方言区三个相对温和变体，尚未验证北部及土耳其语和意大利罗曼语接触型高偏离变体。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，这篇解读要交付什么？
这篇解读的输入是论文正文提供的文字证据与两张官方原图像素，目标是让刚进入语音与音频方向的研究生能够核对方法并复述实验。必须保留的信息包括任务定义、4 阶段监督安排、3 种方言的数据规模、基线与课程训练的对比条件、评价指标方向以及已报告的超参数，输出则按学习依赖从任务背景讲到可复现细节。论文研究的不是通用希腊语识别，而是标准现代希腊语之外的地方变体转写。
白话说，模型听到的发音、词汇与拼写都偏离了训练最多的标准形式，输出仍要求写出方言研究者认可的转写文本。英文名是自动语音识别，缩写为自动语音识别任务，后文简称转写。翻译任务指把语音翻成英语文本，英文为语音翻译，后文简称翻译。解读中凡是教学举例都会明确标为例子，不把例子当作论文报告的数字。
资源状态方面，本次收到的证据中没有完成可用性验证的代码与数据资源，因此不能写代码或模型已公开，只能按原文转述作者的文字陈述并说明本次未能确认可达。全文用具体动作描述数据如何流动、监督如何切换、检查点如何衔接，避免用效果形容词代替机制。
同类路线已经试过哪些办法，各自卡在哪里？
论文把相关路线放在低资源与方言失配的背景下回顾。第一类是直接微调与参数高效微调，原文提到即使不足 20 小时的监督也能带来明显增益，轻量模块在更低计算成本下仍具竞争力，但希腊方言的先前基准显示零样本词错误率可超过 100%，微调后相对标准语仍有约 1 倍的方言税。第二类是多任务学习，例如把方言辨识与转写联合优化，在泰卢固语与日语方言中对低资源变体有效，希腊语方向则有混合多域自监督与多阶段域适应等工作。
第三类是课程学习，即不随机采样而按难度组织样本，自适应课程结合信号难度与学习者进度曾报告明显的相对词错误率下降。论文的判断是前两类各缺一块，多任务只并行优化目标而不控制适应轨迹，课程只按样本难度排序而不按监督类型排序，因此提出把两者结合成按阶段切换监督的结构化课程。需要区分的是，这些引用是背景陈述，不是本研究的同条件对照，类别差异不能直接当作胜负证据。
初学者容易误以为用了大模型方言问题就自然消失，论文引用的苏格兰英语、印度多变体与希腊接触变体的例子恰好说明大模型预训练后方言仍构成独立声学语言域，而非标准语的轻微扰动。
为什么希腊方言转写比标准希腊语难这么多？
困难来自三处叠加。声学上，克里特因地理隔离与历史接触形成独特音系，麦西尼亚有文献记录的音系偏离与内部变异，塞浦路斯虽活力最强但发音仍偏离标准语。文本上，塞浦路斯缺乏完全标准化的正字法，转录由母语者产生并做语言学 homogenize 处理，但方言特有词汇被有意保留而不映射到标准语，这意味着模型不能靠词典归一蒙混过关。数据上，3 种方言的可训练语音都很有限，与标准语播客语料的数量级完全不同。
论文聚焦南部方言区内的 3 个点，塞浦路斯用通用语音数据集的希腊塞浦路斯子集，克里特用地方电台档案转写的民间叙事，麦西尼亚用先前基准引入的小规模语料，三者领域也不同，自发语音、档案广播与文献型语料混杂。评价沿用词错误率与字错误率，英文分别为词错误率与字错误率，数值越低越好。例子：假设标准语模型把方言词听成发音相近的标准词，词级可能整词算错而字符级只错几个字母，这就是论文同时报告两项指标的动机。
理解这一点后，才能明白为什么后文既要看词级下降，也要看字符级是否同步下降。
四阶段课程的全景是什么，先翻译后转写的顺序有何用意？
论文的方法全景是一条从标准语翻译走向方言转写的流水线，共 4 个串行阶段，每个阶段从上 1 阶段的终点检查点初始化。阶段零只用标准希腊语到英语的翻译数据，目的是在高资源条件下建立稳定的声学语义表示，此时完全不引入方言变异。阶段一混合标准语转写与方言翻译，方言声音首次出现但监督仍是翻译，标准语转写保持激活，语义结构 supervision 仍在。阶段二完全进入方言域，混合方言转写与方言翻译，转写占比逐步提高而翻译保留作正则。
阶段三只用方言转写，完成向目标任务的收敛。任务轴从翻译滑向转写，领域轴从标准语滑向方言，两轴同时渐进就是论文所说的对角线课程。下面的示意图把上述顺序画成从左到右的 4 个方框，方框下标注了采样比例与域属性，适合对照文字逐段核对。
看图路径： 1. 从左到右跟随四个方框，确认监督从翻译逐步变为方言转写；2. 对照每个阶段下方标注的源域、混合域与目标域；3. 查看阶段 1 与阶段 2 标注的采样比例如何从翻译侧滑向转写侧；4. 注意箭头是单向串行，说明每阶段从上一阶段终点初始化
论文图 1。原论文 Figure 1：“Staged multitask curriculum for dialectal ASR.”。
从像素可见，第一框为标准英语翻译并标注源域与特征抽取全局对齐，第二框标注希腊转写与方言翻译的混合比例与跨语言知识迁移，第三框标注方言转写与方言翻译的混合比例与域适应正则，第四框为纯方言转写并标注目标域收敛，箭头单向连接说明训练是顺序推进而非并行多头。这种安排的原文理由是减少分布失配与稳定优化，避免早期直接做方言转写带来的不稳定。需要提醒的是，论文没有声称每一步都单调变好，阶段划分是监督调度设计，不是性能保证。
翻译监督与转写监督各自负责什么，为什么要混在一起？
先沿一个样本走完全程。输入是一段 16 kHz 采样的方言语音，最长截断到 30 秒。编码器把波形变成声学表示，解码器根据任务提示词决定输出英语翻译还是希腊方言转写。翻译样本的目标序列是英语，迫使解码器关注整句语义而不纠结方言拼写。转写样本的目标序列是方言文本，要求逐词还原发音与词汇细节。训练时按阶段规定的概率从不同任务域池中抽样，任务字段决定本次注入哪种解码器提示。
自动语音识别 × 语音翻译： 自动语音识别的分工是把方言语音逐词转写为方言文本，语音翻译的分工是把希腊语或方言语音映射为英语语义，两者搭配的理由是翻译迫使模型先学到跨语音的语义对齐而不急于记忆方言拼写，组合意义在于用翻译作稳定器，让转写在声学漂移下仍有语义锚点。
多任务学习 × 课程学习： 多任务学习分工是同时提供转写与翻译两种监督，课程学习分工是规定先上哪种监督、后上哪种监督的顺序，两者搭配的原因是只并行不排序仍会在早期引入方言转写的不稳定，组合后形成按任务轴与领域轴渐进的对角线课程，新增作用是把分布突变拆成多步小漂移。
具体到阶段一，抽样概率为标准语转写占阿尔法、方言翻译占一减阿尔法，原文主配置取 0.4 与 0.6。阶段二为方言转写占贝塔、方言翻译占一减贝塔，主配置取 0.6 与 0.4。阶段零与阶段三是纯任务端点，分别对应纯标准语翻译与纯方言转写。论文用希腊播客语料提供高资源标准语监督，用大型语言模型生成英语翻译再经人工检查修正来提供翻译监督，所有数据统一为音频、文本与任务三字段的格式以支持跨任务采样。初学者应把翻译理解为语义锚，把转写理解为细节刻度，课程的作用是先固定锚再收紧刻度。
源域数据与目标域数据如何衔接，采样比例控制什么？
源域指标准现代希腊语，目标域指待适应的方言。阶段零的域是源，阶段一与阶段二是混合，阶段三是目标。采样比例控制的是每一步见到哪种监督的频率，不是模型结构的变化。比例偏向翻译时，梯度更多来自语义对齐目标，对方言拼写噪声不敏感。比例偏向转写时，梯度更多来自逐词还原目标，能刻画方言细节但也更容易过拟合小数据。
论文还考察了从 0.4 比 0.6 到 0.6 比 0.4 的渐进、2 阶段都取 0.5 比 0.5 的对称、偏翻译与偏转写等多种调度，以及去掉翻译的 3 阶段纯转写变体。纯转写变体的阶段零为纯标准语转写，阶段一为一半标准语转写加一半方言转写，阶段二为纯方言转写，用来分离域调度本身与翻译监督各自的贡献。
源领域 × 目标领域： 源领域指数据相对充足的标准现代希腊语播客语音，目标领域指只有数小时甚至不足 1 小时的方言语音，二者搭配的理由是直接跳到目标领域会因声学与词汇差异过大而优化不稳，组合意义在于用混合采样阶段让模型先在翻译监督下见方言声音，再逐步提高方言转写的采样比例。
词错误率 × 字错误率： 词错误率分工是统计整词替换删除插入的比例，对方言拼写变体敏感，字错误率分工是统计字符级差异，更能反映发音接近但拼写漂移的情况，两者搭配的原因是希腊方言缺乏统一正字法，单看词级会夸大错误，组合报告可以同时看到词汇层面与拼写层面的适应程度。
实现上，基线微调冻结编码器而保持卷积特征抽取器可训练，课程训练则按阶段顺序推进并动态注入任务提示，最终阶段约束解码为希腊语转写。论文未报告逐层冻结与梯度停止的更细实现，缺失处应记为未报告，不从模型名称推定。
每个阶段实际抽多少样本，用什么学习率推进？
课程训练对塞浦路斯与克里特每个阶段固定抽取 8000 条样本，对麦西尼亚因数据有限每个阶段抽取 2000 条样本，样本来自标准语转写、标准语到英语翻译、方言转写与方言到英语翻译 4 个池。基线为每个方言单独做常规监督微调，最多 2048 个更新步，推理用贪心解码且最大生成长度为 225 个词元。课程训练的学习率按阶段递减，不同规模模型各有一组取值，阶段之间用上 1 阶段终点初始化，不重置到预训练权重。
下面的表格整理了原文明确给出的分阶段学习率，适合在复现前先对齐优化条件。表格之前的问题是，不同规模是否共用同一学习率调度，公平比较要求把模型规模与学习率对应起来，数值越小表示该阶段步长越保守。
| 模型规模 | 阶段 0 学习率 | 阶段 1 学习率 | 阶段 2 学习率 | 阶段 3 学习率 |
|---|---|---|---|---|
| 小规模 | 5 × 10−5 | 3 × 10−5 | 2 × 10−5 | 5 × 10−6 |
| 中规模 | 3×10−5 | 2×10−5 | 1.5×10−5 | 3×10−6 |
表格显示小规模与中规模都采用递减调度，且最终收敛阶段的学习率明显小于起始阶段，这与先大步建立对齐、后小步精调方言细节的课程意图一致。需要补充的是，原文还给出了大规模模型的第 3 组取值，但本表只整理了有完整逐字证据的两行，避免引入无源数字。训练中任务提示按样本任务字段动态注入，最终阶段约束为希腊语转写提示。论文未报告优化器类型、批量大小与硬件耗时，这些缺项在复现时需要自行记录，不能默认与基线相同。
三种方言的数据从哪里来，规模与处理有何不同？
塞浦路斯用通用语音数据集 23.0 版本中的希腊塞浦路斯子集，包含 1284 条已验证片段约 10.9 小时，来自 10 位说话人，音频经强制对齐切分为句子级，超过 30 秒的片段被移除以匹配模型的输入约束。转录经母语者产生并做同质化处理，再经小写、规范化、标点统一、去除非语言符号、单调转换与混合希腊拉丁拼写纠正的确定性流水线处理，方言特有词汇予以保留。
克里特用地方电台档案的民间叙事，原始时长 2 小时一分 35 秒，预处理后 1 小时二十一分 12 秒，共 2589 条话语 12921 词元，初始转录由大模型生成再与社区成员协作人工修正。麦西尼亚用先前基准引入的语料以保证可比性，原始三十九分 45 秒，预处理后三十七分 42 秒，共 590 条话语 4721 词元。翻译监督的英语译文先由特定希腊语大语言模型生成，再经人工检查修正语义与音频对齐。
高资源标准语监督另用希腊播客语料，原文实验取其中 4 个主题域每类 5 小时的子集。下面的地图有助于建立三地同属南部方言区但分属不同次群的空间概念，阅读时应先看图例再看位置。
看图路径： 1. 先看图例确认黄色、蓝色、红色分别对应塞浦路斯、克里特东部与麦西尼亚；2. 沿经纬度与比例尺确认三个采集区在东地中海的相对位置；3. 观察麦西尼亚位于伯罗奔尼撒西南而克里特位于南方海岛；4. 结合正文理解三者同属南部方言区但分属不同次群
论文图 2。原论文 Figure 2：“Geographical distribution of the dialectal data exam- ined in this work.”。
从像素可见，图例明确区分塞浦路斯、克里特东部与麦西尼亚 3 种颜色，麦西尼亚色块位于希腊本土西南，克里特色块位于南方海岛，塞浦路斯色块位于东侧海岛，底图带有经纬网与比例尺。这种分布解释了为什么论文强调同属南部但仍有声学与词汇距离，复现时不应把三者当作同一数据分布混合训练。
基线、课程变体与评价如何设置才算可比？
评价指标为在各自方言保留测试集上的词错误率与字错误率，方向均为越低越好。基线包括零样本不微调与每个方言单独常规微调，课程方法在相同模型规模下对比。模型规模覆盖小、中与大三档，以考察容量对适应效果的影响。课程变体包括不同采样比例调度、有无标准语 donor 数据、有无翻译监督 3 组消融，分别回答调度是否敏感、源域数据是否必要、翻译是否提供超出纯域调度的增益。
音频统一重采样到 16 kHz 并截断到 30 秒，基线编码器冻结而卷积特征抽取器可训练，课程训练按阶段预算抽样并递减学习率。翻译译文经过人工修正，意味着翻译监督的质量高于纯伪标签，但人工成本也是复现时必须考虑的条件。论文未报告多次随机种子的方差与显著性检验，因此后文数字应读作单次报告值，支持趋势判断但不做统计显著断言。
课程方法相对零样本与直接微调带来了多大变化？
论文报告课程训练在 3 种方言与 3 种规模上一致优于零样本与常规微调，小规模增益尤其大。理解表格前先明确比较问题：在相同方言与相同模型规模下，从零样本到课程的下降有多大，课程是否低于直接微调，指标方向均为越低越好。下面的表格只收录正文连续原句中逐字出现过的关键数字，避免把表格矩阵中无法逐字验证的数值混入。
| 方言与数据量 | 模型规模 | 零样本词错误率 | 课程学习词错误率 | 对应原文表述 |
|---|---|---|---|---|
| 塞浦路斯 | 小规模 | 81.27% WER | 35.61% with curriculum | 从零样本降至课程 |
| 麦西尼亚 | 小规模 | 67.49% | 30.25% for small | 低资源仍有效 |
表格显示塞浦路斯小规模从 80% 以上降至 35% 左右，大规模课程进一步降至 24% 左右，麦西尼亚小规模从 60% 以上降至 30% 左右。表后需要同时看到代价与限制，课程需要 4 阶段抽样与翻译人工修正，训练步数与数据准备成本高于单阶段微调。论文还报告克里特方向有类似下降，但在所选连续原句中没有同时给出可逐字覆盖的零样本与课程配对数字，因此本表未收录克里特行，这不是克里特无效，而是证据覆盖不足时的保守处理。完整多行对比应回到原文表格核对，本表仅承担可复述的核心证据链。
翻译、源域数据与采样比例哪一个更关键？
论文用 3 组消融分离设计选择。第一组是不同监督调度在塞浦路斯上的比较，所有变体共享纯翻译初始化，再经 2 阶段混合与最终方言转写，小规模下平衡的 0.5 比 0.5 表现最好，中规模对比例选择不敏感，大规模在原始渐进调度下最好。这支持调度与模型容量有关的判断，平衡课程可作为各类变体的起点，但不能推广为每种规模的最优。
第二组是有无标准语 donor 数据的比较，对塞浦路斯与克里特差异较小，课程在较高资源下保持稳定，但在低资源麦西尼亚下去掉播客数据后性能下降更明显，尤其小规模与大规模。第 3 组是有无翻译的比较，构造了去掉翻译的 3 阶段纯转写课程以隔离域调度的作用，结果是加入翻译在所有方言与规模上一致降低词错误率与字错误率，小规模增益超过 12 个绝对词错误率百分点，中规模与大规模也有系统性好处。这支持翻译提供了超出纯域调度的稳定作用。
反例同样重要，偏转写过重的调度在小规模上变差，说明过早加大方言转写比例会放大不稳定。未评测的边界包括北方希腊语与受土耳其语、意大利罗曼语影响的接触变体，论文明确列为未来工作，不能把南部三点的结论直接推广到这些更偏离的变体。
哪些结论是报告，哪些是推测，还有什么没有测？
直接报告的是在 3 种南部方言与三档模型上的词错误率与字错误率下降，以及 3 组消融的方向性结果，这些可以用报告或显示来表述。有限解释的是翻译提供正则、课程减少分布失配与稳定优化，这些机制与观察到的增益一致，但论文没有提供梯度方差或表示距离等直接测量，因此只能说结果支持该解释。待验证的是语言学距离是否预测课程增益、参数高效适配与音系感知正则是否进一步提升鲁棒性，这些属于未来工作。
未测量的量包括推理延迟、实时因子、训练能耗与人工修正翻译的成本，论文未声称这些量得到改善。数据局限也很具体，麦西尼亚不足 1 小时，克里特为档案广播，塞浦路斯仅 10 位说话人，领域与说话人覆盖都窄。评价局限是单次报告值而无方差与显著性，跨方言混合训练与跨年代泛化也未评测。初学者应避免把总体趋势读成每组每步都成立，也应避免把自动指标当作人工可懂度，拼写归 1 流水线本身会影响词级数字的可比性。
要复现这条课程流水线，第一步先对齐什么？
复现先做数据对齐。按原文准备 3 种方言的划分与预处理，保留方言特有词汇不映射到标准语，执行小写与标点统一等确定性归一，并记录测试集是否经过同样归一，因为归一直接改变词错误率。翻译部分需要生成英语译文并人工检查修正，不能跳过人工环节而期待相同质量。高资源标准语部分准备播客子集，课程每 1 阶段按预算抽样，塞浦路斯与克里特每阶段 8000 条，麦西尼亚每阶段 2000 条，主配置阿尔法取 0.4、贝塔取 0.6。
优化部分按模型规模设置分阶段递减学习率，小规模与中规模取值见前文表格，大规模取值回到原文核对，阶段间用上 1 阶段终点初始化，任务提示按样本任务字段动态注入，最终阶段约束为希腊语转写。基线部分复现零样本与单独直接微调，微调最多 2048 步，贪心解码最大长度二百二十五。验证时先跑通纯转写 3 阶段变体，再加入翻译形成完整对角线课程，这样才能分离域调度与翻译各自的贡献。
资源方面，本次未能确认代码与数据的可达状态，复现前应自行确认链接与版本，不把作者文字中的开源陈述当作本次已验证的可用性。
何时值得尝试这套方法，如何一句话记住它？
当目标方言只有几小时甚至不足 1 小时、直接微调不稳或方言税明显，而手头有相对充足的标准语语音与可人工校验的翻译能力时，这套先翻译后转写的课程值得尝试。它不适合无任何标准语近邻、无法承担翻译修正成本或需要严格流式低延迟的场景，论文也未在这些条件下验证。记住它可以是一句话，先在标准语翻译上固定语义锚，再在翻译监督下见方言声音，最后逐步把监督换成方言转写。
操作上从平衡采样起步，再按模型规模微调比例，低资源方言更应保留源域数据与翻译正则。收束时回到可核对的事实，课程在 3 种南部方言与多档规模上报告了优于常规微调的结果，小规模绝对增益最大，但代价是更长的阶段流水线与翻译准备，推广到北方与接触变体仍待验证。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses