听跟不上、说不准、开口难：AURORA 把影子跟读、重叠模仿和对话练习做进同一套网页课件

英文题目：AURORA: A Web-based Authoring System for Bridging Aural-Oral Language Training and Communicative Practice

会议身份：conference:interspeech:2026:conference-paper-id:minematsu26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#教育 #用户研究 #语音 #语音对话系统

评分：4.8/10 | 创新 1.2/2 | 技术严谨 0.9/1.5 | 实验充分 0.3/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：后50% | 文档类型：系统技术报告

👥 作者与机构

• Nobuaki Minematsu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作面向EMI过渡中听说协同不足难题，输入为教师登记的音视频教材与学习者录音，输出为可视化反馈与对话评估报告，难点在于教师难以自建随时随地的训练闭环。第一步听力训练负责暂存与组块感知，采集跟读等录音并以DTW比较学习者跟读与参考跟读计算听力失流畅度，可视化个人与全体平均曲线定位掉队位置。第二步口语训练承接听力定位的弱点片段负责可理解度模仿，用重叠跟读即时可视化时长、音节突显度与基频轮廓间隙，并以ASR词级得分加全体平均得分区分人与机器责任。第三步交际实践承接口语打磨后的产出能力负责任务迁移，用ChatGPT高级语音模式完成猜词等五项对话，话后切换评估提示词仅基于ASR转写打分，并将录音转为音素后验图检测易混音素对。相对已有CALL工具的差异在于将听力诊断、韵律模仿与生成式任务对话纳入同一编排平台，并以高变异语音转换扩展声学多样性。原文未提供可核对的关键定量结果。用该系统开发的STEAC部署于832名学习者每日约30分钟共8周的课程，暑期前后测LD与PD显著降低但跨水平外推尚未验证。该结论仅适用于日本大学生备考学术交流场景，未验证跨母语、跨水平与长期保持效果。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

学生在英语授课过渡期真正缺的是什么？

本文的输入是东京大学工学系研究生院在向英语授课过渡时遇到的教学缺口，目标是让教师自己能编写可在课外随时使用的听说与交际训练，输出是一套网页版编写系统与一套已部署的暑期与春季课程。本文必须保留的信息是系统名称来源、训练时长、注册规模、评价方式与资源可达状态。资源状态是本次未能确认可达，因此不能写代码或课件已公开，只能依据正文描述复述做法。

对于刚进入语音与语言学习领域的读者，先把白话讲清。听力训练指让耳朵跟上连续语音的能力训练，口语训练指让发音可理解的控制训练，交际练习指在有任务目标的对话中组织语言的练习。计算机辅助语言学习指用软件把这 3 类练习搬到课堂之外。英语授课指专业课程用英语讲授，学生既要听懂讲课也要能提问讨论。

作者同时教语音技术与英语，他的观察是课堂讲授解决不了课外开口机会少的问题，而多数教师有任务想法却做不出系统。于是作者选择做编写系统，而不是只做一套固定课件。这个选择决定了后文的结构：先讲系统能编哪些练习，再讲用它编出的一套八周课程如何运行，最后讲前后测与问卷看到了什么。学习时先抓住这条线，再去记每个可视化细节，才不会把工具截图当成方法本身。

已有路线解决了哪一段，没有解决哪一段？

与本文同输入、同目标的工作可以分成 3 段。第一段是跟读类听力训练，常用影子跟读、延迟复述、复述与总结来锻炼短时保持语音的能力，优点是直接暴露听辨断点，缺点是教师难以逐句定位学生卡在哪里。第二段是模仿类发音训练，常用重叠模仿让学习者与模特同步朗读，优点是节奏与语调有抓手，缺点是只靠耳朵判断进步不稳定。第 3 段是对话机器人练习，优点是随时可开口，缺点是聊完缺少与发音习惯挂钩的总结。

本文的继承关系是把 3 段放在同一系统里，并给每段配自动测量。听力侧用听力卡顿把跟读偏离画成曲线，口语侧用发音偏离把韵律差距与词级识别错误并排显示，交际侧用转写文本评估加易混音素对检测收尾。参考文献中作者 2023 年的统一框架是影子跟读与重叠模仿的起点，2025 年的会议摘要是本套课程可扩展性的阶段报告，第三篇关于日本教师语音课程的文献被用来支持可理解性与节奏语调相关性的教学取向。

对照时要注意运行阶段不同。跟读与重叠发生在练习中并即时给反馈，对话评估发生在对话结束后且只看文本。这种阶段差异决定了它们不能直接比谁更有效，只能看组合是否覆盖了从感知到产出再到运用的链条。初学者常误以为多一种技术就多一分效果，实际要看新增环节是否带来新的可执行信息，本文新增的正是定位到时刻与定位到词的反馈。

教师想布置好练习，难在哪三个具体动作？

第一个难是留住转瞬即逝的语音。文字停在纸上可以回看，语音播完就没有了，学生需要训练暂时记住刚听到的内容，并在延迟条件下复述或总结。没有工具时，教师只能口头要求多听多跟，无法知道学生在哪几秒掉队。

第二个难是按有意义的块处理输入。自发语音中词与词边界模糊，逐词切分很困难，学生需要按短语为单位复述与重叠。如果材料只有整段播放，学生容易从头滑到尾，抓不住短语节奏。

第三个难是应对说话人与环境的变异。口音、语速、连读都会改变词边界附近的语音实现，单一录音练熟不等于换人也能听懂。教师手工收集多样本成本高，对话练习又常因想不起词而冷场，需要改述策略与多样化输入共同支撑。

本文把问题收敛为编写系统要同时支持记忆导向活动、短语级处理与高变异输入，并在口语侧把可理解性作为首要目标。也就是说，不追求去掉口音，而是让节奏、重音与语调足够清楚，让自动语音识别少犯学习者特有的错误。例子是猜词游戏：学习者不能直接说出目标表达，必须换说法让系统猜，这就把改述从口号变成必须完成的动作。

AURORA 把一节练习拆成哪些可复用的部件？

先沿一个样本走完全程。教师注册班级、学习者与音视频材料，选一段模特音频布置跟读。学习者听并同步跟读，系统录下跟读语音，计算听力卡顿并画出本人曲线与全体平均曲线。同一段材料可切换为重叠模仿，学习者与模特同步朗读，系统叠加显示音节突显度与基频轮廓，并给出词级识别结果与平均识别率。学完后再进入任务型对话，例如先听 1 篇演讲再采访扮演演讲者的系统，结束后系统按评估提示词只看转写文本打分，并从音素后验概率中找出易混音素对。

全景上系统有两层。底层是班级管理、材料注册与行为日志，保证练习可布置、可追踪。上层是 3 类编写能力：听力训练、口语训练与交际练习。听力侧的输入是呈现音频与跟读录音，输出是卡顿曲线与理解卡顿提示；口语侧的输入是模特与学习者语音，输出是韵律差距图与词级识别对比；交际侧的输入是对话音频与转写，输出是文本评估与发音习惯小结。

需要固定的简称是听力卡顿即听辨跟读偏离的可视化指标，发音偏离即发音与模特在韵律与词可识别性上的差距，高变异训练即多声学条件下的重复训练。后续各节沿这条输入到表示到组件到目标再到输出的顺序展开，先讲听力组件，再讲口语组件，最后讲对话与评估如何衔接。

听力侧如何从一次跟读算出卡在哪几秒？

听力训练要解决的动作是暂时记住并同步复述。系统提供的活动包括影子跟读、延迟复述、复述与总结，并结合语音技术与对话模型。教师布置时可选整段跟读，也可选按短语复述与按短语重叠，后者虽然也是开口动作，但目的是帮学生按块抓住输入。

计算上原文明确给出的一条是实践中听力卡顿按影子跟读卡顿计算，做法是比较跟读录音与其参考文本跟读录音并使用动态时间规整对齐。白话解释是动态时间规整允许两段语音在时间轴上弹性对齐，从而把延迟、漏读与重复对应到同一语言内容的附近，再把对齐代价随时间展开成曲线。峰高的含义是该时刻偏离大，峰宽的含义是偏离持续久。系统同时显示全体参与者的平均表现，学习者可以把自己的峰与平均峰对比，判断是个人难点还是大家都难。

下面这张图是听力卡顿可视化的实际界面，阅读时先分清对象再看升降，避免把曲线向下直接当成变好或变差，要结合任务时刻一起看。

看图路径： 1. 先看上两条波形：上方为呈现音频，下方为学习者跟读录音，对比两者包络是否同步；2. 再看下方曲线：紫色为本人听力卡顿曲线，黄色为全体平均曲线，找紫色高峰位置；3. 注意横轴约为 0 到 30 秒，峰越高表示该时刻跟读偏离越大；4. 把波形稀疏段与曲线峰值对应起来，判断是没听到还是没跟上

论文图 1。原论文 Figure 1：“Visualization of listening disfluency”。

这张图的上方面板是模特音频波形与学习者跟读波形，下方面板是听力卡顿曲线，其中紫色为本人，黄色为平均。从像素可见本人曲线有多个明显尖峰而平均曲线相对平缓，说明该学习者在若干时刻的跟读偏离大于群体水平。教学用法是先听峰值对应的原音频，再做延迟复述或短语复述，而不是整段重听。原文还提到理解卡顿会自动检测，但未给出计算细节，因此复述时只能确认听力卡顿用了动态时间规整，不能推定理解卡顿的算法。

口语侧如何把节奏语调与词错误分开看？

口语训练的教学立场是口音可接受，目标是可理解性。系统把韵律偏离放在前面，特别是时长、音节突显度与语调控制，因为这些被报告与可理解性相关；把音段偏离放在后面，用词级自动语音识别错误来提示。学习者反复做重叠任务，每次都能看到更新后的差距，逐步调整说话行为。

关键的公平显示是平均识别率。学习者通常分不清识别错是机器问题还是自己发音问题，系统为每个词计算全体参与者的平均识别率。如果某词平均分很高而自己被识别错，更可能是自己的产出问题；如果平均分极低，则可能是识别技术本身的局限。这个设计把单次识别结果变成了可对照的证据，避免学生对着 1 次误识反复改口。

影子跟读 × 听力卡顿： 影子跟读负责制造一个可观测的听力行为，要求学习者几乎同步复述听到的语音；听力卡顿负责把这个行为转成可定位的分数，它比较跟读录音与参考文本跟读录音的偏离并随时间画出曲线。两者搭配的理由是只听不说难以留下痕迹，而只给对错无法指出卡在哪一句，组合后教师得到的是哪里跟丢、丢多久的连续证据。

重叠模仿 × 发音偏离： 重叠模仿负责让学习者与模特音频同步开口，强制对齐时长、重音与语调；发音偏离负责量化没有对齐的部分，包括韵律差距与词级自动语音识别错误。搭配的原因是单纯模仿缺少反馈，而单纯评分缺少动作抓手，组合后每 1 次重复都有明确的调整对象。

下面这张图是重叠表现的实际界面，阅读时注意深浅两色不是装饰，而是模特与学习者的对照。

看图路径： 1. 先看顶部模特音频波形，确认朗读句的起止与能量分布；2. 再看中部两层叠加：音节突显度与基频轮廓中深色为模特、浅色为学习者，找分叉处；3. 看自动语音识别转写行，留意被标出的词级错误与改写痕迹；4. 看底部词级识别率散点：青色为学习者二值结果，黄色为平均分，找本人低而平均高的词

论文图 2。原论文 Figure 2：“Visualization of overlapping performance”。

从像素可见顶部为模特音频，中部为转写文本与纠错痕迹，再往下是两层叠加的音节突显度与基频轮廓，深色与浅色曲线的走向大致相同但在局部存在明显分叉，底部是每个词的识别率散点，黄色为平均分，青色为学习者二值结果。教学动作是先看分叉最大的韵律段做跟读定型，再看本人低而平均高的词做音段定点练习。原文未报告韵律差距的具体数值公式，因此只能复述显示了哪些对照，不能写出阈值或权重。

对话与评估如何衔接而不变成闲聊？

交际练习使用对话模型的高级语音模式与精心设计的提示词，组织任务型互动对话。系统提供 5 个定制任务：猜词游戏、故事回忆游戏、谎言识别游戏、话题讨论与采访演讲者。其中猜词由系统当猜测者，学习者描述目标表达但不能直接说出它，用来练改述；采访任务要求学习者先听选定的演讲并把文本传给系统，系统扮演演讲者接受采访并讨论演讲话题。

评估发生在每次对话之后。系统把评估提示词交给模型，仅依据语音识别转写文本评价学习者的对话表现。与此同时，学习者录音被转成音素后验概率图，从中自动检测易混音素对，作为发音习惯的小结提供给学习者。白话解释是音素后验概率指每一时刻属于各个音素的可能性分布，混淆对指经常互相误判的两个音。

高变异训练 × 声音转换： 高变异训练负责提供多说话人、多风格、多口音的输入，目标是让学习者适应连读与边界变化；声音转换负责低成本生成这种变异，把单个语音样本转成多种声学变体并保持语言内容不变。搭配的意义是教师不必手工收集大量录音，也能布置覆盖面更广的听力与模仿材料。

任务型对话 × 提示词评估： 任务型对话负责制造真实的交际压力，例如猜词、复述故事、识别谎言、话题讨论和采访演讲者；提示词评估负责在对话结束后只依据语音识别文本给出评价，并附加易混音素对的总结。搭配的理由是对话本身不自动产生可复用的反馈，而评估需要对话文本作为输入，组合后练习与评价形成闭环。

初学者容易误以为对话得分越高发音越好，实际要分开看。文本评估反映的是任务完成与表达组织，混淆对小结反映的是发音习惯，两者输入不同。例子是学习者在对话中卡壳说不出词，文本评估可能扣分，但这恰好说明改述训练不到位，下 1 次应先练猜词任务再练话题讨论。原文未给出评估量表与分数分布，因此不能引用具体得分，只能复述评估依据是转写文本而非原始音频。

本研究训练了什么，没有训练什么？

本研究没有报告神经网络的训练阶段，没有给出优化器、损失函数、梯度路径、参数冻结或重置时机的信息，因此不能写训练了声学模型或语言模型。真实的计算过程是调用与转换已有能力：用动态时间规整做跟读对齐，用自动语音识别做转写与词级打分，用韵律分析做突显度与基频对照，用声音转换生成多变体音频，用对话模型做互动与文本评估，用音素后验概率做混淆对检测。

从可复现角度要区分 3 类信息条件。已明确的是听力卡顿用了跟读比较加动态时间规整，词级判断用了本人结果对照全体平均，交际评估只看转写文本。未明确的是韵律差距的量化公式、理解卡顿的检测方法、混淆对的阈值、声音转换的具体模型与提示词全文。这些缺项不是技术错误，而是原文未报告，复述时要明确指出缺项，不能从模型名称推定实现。

工作流上教师侧的动作是注册与编排，学生侧的动作是重复练习。重叠任务可按意愿重复多次，每次反馈都可能改变下 1 次的时长与语调控制。对话任务在每次结束后产生 1 次评估，评估不回写到对话中，只作为下 1 次练习的选题依据。这种安排的理由是把即时反馈留给感知与产出环节，把总结性反馈留给交际环节，避免在对话中频繁打断。

课程与评测在什么条件下运行？

课程名为学术英语交流特别训练，共 8 个每周训练项目，每个项目有自己的目标并在周一通过视频解释目标及其重要性，周二到周日是同一任务的重复练习，因此保持动机是完成率的关键。练习量级为每天约 30 分钟的两个月假期按需课程，目标是同时提高听力、口语与交际能力。听力材料覆盖通用美音、标准英音与世界英语，发音训练指向可理解性，对话练习放在实用场景中。

参试规模为 2025 学年夏季与春季课程共 832 名学习者注册。评测分客观与主观两路：客观用听力卡顿与发音偏离的前后测，主体用开放式问卷收集自由评论。另有一场面向教师的教程研讨会在 2026 年 2 月举办，说明系统在向其他教师推广前先做了使用培训。

指标方向需要先讲清。听力卡顿与发音偏离都是偏离越小越好，因此下降表示进步。问卷是满意度与体验方向，高积极评价表示接受度好，但不能代替能力进步。复现时要注意聚合对象：可视化中的平均曲线是全体参与者的平均，词级平均分也是全体平均，这意味着个体进步既要看自身前后变化，也要看与群体基准的相对位置。原文未报告划分、采样、统计检验方法与硬件预算，因此不能写显著性的检验名称或计算成本。

前后测与问卷实际显示了什么？

要回答的核心比较问题是：在每天约 30 分钟、持续两个月的按需训练后，听力卡顿与发音偏离是否下降，以及学习者是否愿意继续完成这类重复练习。公平条件是同一套课程与同一类前后测，指标方向是两项偏离越低越好，问卷方向是正面评价越多接受度越高。

原文报告夏季课程前后测显示听力卡顿与发音偏离显著下降，其中听力卡顿的下降尤其被学习者感知到，夏季课程后的开放式问卷总体高度积极，详细评论链接在正文中给出但本次按资源状态不认定为可达。主要收益是两项客观指标同向改善且主观接受度不低，代价是重复练习对动机要求高，需要周一视频与明确目标来维持。未胜出或未验证的边界是原文未给出下降幅度、效应量、对照组与长期保持，因此不能把下降解读为优于其他教学法，也不能推广到每组每周都成立。

哪些部件在起作用，缺少对照时能说什么？

严格的消融需要拿掉某个部件再比前后测，但原文没有提供这种对照，因此本节只能按证据展开论文特有的细节，说明每个部件的可验证信息与缺失的验证。比较问题是：如果只用其中一段练习，能否得到同样的下降，公平条件要求固定时长与材料并只改变反馈类型，但该条件在原文中不存在。

从机制上看，高变异输入解决了材料多样性，平均对照解决了误识归因，对话评估解决了练后总结，这些是各自新增的可执行信息。但由于缺少拿掉平均曲线、拿掉韵律叠加或拿掉对话评估的对比，不能写拿掉后必然怎样。至少要指出的未评测边界是理解卡顿的算法未公开、韵律差距无公式、混淆对阈值未报告、提示词未公开，这些都需要在复现前补做验证。

在什么边界外不应引用本文结论？

第一是测量边界。原文用听力卡顿与发音偏离作为客观指标，但未报告信度、误判率、延迟与成本，也未说明前后测材料是否与练习材料重叠。如果前后测用了练过的句子，下降可能包含熟悉效应，引用时必须限定为课程内前后变化，不能写成通用听力或口语能力提升。

第二是比较边界。没有对照组、没有其他教学法的同条件对比，也没有按口音、水平或完成度的分组结果。夏季课程的下降不能代替可部署收益，问卷积极不能当成能力证据。相关性不是因果，感知到的听力进步不等于发音同样进步，总体趋势不等于每个学习者每周都进步。

第三是可达边界。本次资源状态为未能确认可达，不得声称代码、模型、数据或课件已公开，也不能承诺推理开销与帧率得到改善。教师研讨会只说明系统在向外推广，不能当成独立验证。复述方法时凡是原文未给出的梯度、阈值与量表，都应写为待验证，而不是用常识补全。

要复现这套做法，先做什么再补什么？

先做最小可运行链条。准备一段模特音频与参考文本，让学习者做影子跟读并录音，用动态时间规整对齐跟读与参考，画出本人曲线；再找多名学习者算平均曲线，验证峰值是否稳定出现在难句处。然后做重叠模仿，叠加显示音节突显度与基频，输出词级识别结果与群体平均，验证本人低而平均高的词是否可重复出现。最后接一个猜词对话，对话后只用转写文本做 1 次结构化总结，并从音素后验概率中统计混淆对。

关键超参数与信息条件要如实记录。每天约 30 分钟、两个月、八周项目、周一讲解加周二到周日重复，这些是维持完成率的条件；通用美音、标准英音与世界英语是听力覆盖条件；832 人是规模条件，不是质量保证。生成式人工智能仅用于校对与语言润色的声明要保留，说明核心设计来自作者教学实践而非自动生成。

还需补的验证包括前后测材料是否独立、评分者是否盲测、统计方法与效应量、未完成者的脱落原因、声音转换变体的可懂度抽查，以及对话评估提示词与量表的公开版本。只有补完这些，才能把课程内下降推进为可迁移的教学证据。

何时值得尝试这条路线？

当教学目标是从听懂课堂过渡到能参与讨论，且教师有明确的任务想法但做不出系统时，这条路线值得尝试。它的价值不在某一个模型，而在把记忆保持、短语处理、高变异输入、韵律定型、误识归因与任务对话编成一条可布置的链条。每一步的反馈都指向下一个动作：卡顿峰指向复述材料，韵律分叉指向跟读段，低分词指向发音定点，混淆对指向后续选材。

不值得照搬的情况是只有零散课时、没有重复练习保障，或把问卷好评当成能力证据时。此时更应先做小规模前后测，确认偏离下降来自新反馈而非重复熟悉。对于研究生入门，建议先复述影子跟读加动态时间规整这一段，把输入到曲线讲到能手绘，再扩展到重叠与对话，这样既守住准确性，也守住学习依赖。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总