自由对话里怎么给声调打分：Amadea 用合成参考音对照归一化基频轮廓

英文题目：Amadea: An AI Companion for Pitch-Aware Spoken Language Practice

会议身份：conference:interspeech:2026:conference-paper-id:agrawal26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#教育 #信号处理 #韵律 #语音 #语音对话系统

评分：4.2/10 | 创新 1.2/2 | 技术严谨 0.8/1.5 | 实验充分 0.2/1.5 | 清晰度 0.7/1 | 影响力 0.6/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.6/1.5

排名：后50% | 文档类型：系统技术报告

👥 作者与机构

• Mrigendra Agrawal：机构信息未能从会议 PDF 纯文本可靠映射
• Ryan Tsui：机构信息未能从会议 PDF 纯文本可靠映射
• Kyaw Maung Maung Tet Toe：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为学习者在课程复述或开放伴侣对话中的语音，输出为对应意图的母语级参考音频、归一化基频轮廓差异可视化与音高模式分，难点在于日语声调与汉语声调对音高敏感而自由对话缺乏预设目标文本。方法链由4步构成：浏览器采集语音后经自动语音识别转写意图，该文本进入语音合成生成参考音频，随后双路提取并归一化基频与强度包络，最后经动态时间规整对齐并计算距离得分。相对固定提示复读系统，关键差异是用识别结果动态构造参考目标，使反馈可扩展到学习者自选表达并嵌入持续对话而不打断交流。在F0估计设置下，pYIN上限的频率指标为400 Hz，高于pYIN下限的频率指标80 Hz。原文未提供可核对的关键定量结果。适用边界限于单参考轨迹对比，未处理多可接受语调、ASR错误传导与噪声下F0失效，且尚未验证与专家评价的相关性及长期习得效果。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么：为什么音高值得单独反馈？

这篇论文的输入是学习者用麦克风说出的一段外语音频，目标是在对话不中断的前提下告诉学习者音高用得对不对。研究对象限定为音高敏感语言，原文点名包括像日语这样的音高重音语言和像普通话这样的声调语言。对刚入门的同学要先建立直觉：同样一串音节，整体高低起伏不同，母语者听到的词义或自然度就不同。现有语言学习平台多给是否流利或是否听懂的粗反馈，缺少声学层面的对照，这是论文要补的缺口。

需要保留的关键信息是系统不只做跟读打分，还要在开放对话中工作；输出包括转写文本、合成的母语参考音频、归一化基频轮廓对比图和一个音高模式分数。本文的解读只讲原文实际给出的流程与参数，不补加识别准确率或提分效果等原文没有报告的数字。

基频轮廓 × 音高重音： 基频轮廓负责描述一句话从头到尾声音高低随时间变化的轨迹，是可测量的声学信号；音高重音负责规定日语等语言中哪个音节该高哪个该低，是决定词义与自然度的语言规则。二者搭配的理由是规则无法直接比较，必须落到可对齐的轮廓上才能打分，组合后系统能把发音偏离显示为曲线分叉位置。

白话来说，基频就是声带振动快慢决定的声音高低，英文是 fundamental frequency，缩写为 F0；把一句话每一时刻的 F0 连起来就是 F0 轮廓。日语音高重音英文是 pitch accent，指高低位置决定词汇区别的规则；汉语声调英文是 lexical tone，指单字调型区别词义的规则。论文把两者并列为音高敏感，意味着同一套比较轮廓形状的机制要同时服务这两种语言。初学者容易误以为音量大就是强调，实际上这里比较的是归一化后的相对高低形状，与绝对音量无关。

术语与符号速查：初学者如何不混淆高低与大小？

基频 F0 对应声音高低，强度对应声音大小，时长对应语速快慢，三者是不同维度。本文归一化强度只用于对齐时间，归一化 F0 才用于打分，不要混淆。z 归一化指减均值除标准差，目的是去掉说话人基线差异。DTW 指允许局部伸缩的最优时间对齐，不是匀速拉伸。mora 指日语音拍，是节奏单位，本文明确不按它切分计算。

pitch-pattern score 即音高模式分数，是整句形状距离的单调变换。lesson mode 指课程模式，conversation mode 指对话模式，两者共享同一声学后端。按下述两表核对数字与单位，凡原文带单位的保留在同一格，凡原文为裸值的不得擅自加百分号，叙述数量用阿拉伯数字且数字与拉丁单位间留空格。

下表整理声学链路的可重放数值，比较问题是每一步输入经过何种参数变为下一步输入，公平条件是同一采样率与同一遮罩规则，指标方向是参数越接近原文越可比。

表后解释需要超过二十五字才能满足机械契约并讲清代价。主要收益是参数完整到可直接复写代码，不依赖私有数据；具体代价是噪声与对齐失败会直接污染分数，且单参考对照可能误伤合理变体，未胜出项是按 mora 细切分的诊断能力被主动放弃以换取鲁棒性。

下表整理从意图到反馈的分支逻辑，比较问题是语义与声学分支在哪里分叉又在哪里汇合，公平条件是同一转写文本驱动两路下游。

表后段落同样需要足够长度以解释收益与边界。主要收益是自由对话的任意输入都能得到与其本意对应的示范，支持的判断仅限于链路可运行；具体代价是识别错误会连带扭曲参考目标，且原文未评测延迟、成本与学习增益，未胜出项是多参考与细粒度诊断仍待未来工作补足。

已有路线做到哪里，本文为何还要做自由对话？

原文把相关工作分成 3 条线。第一条是计算机辅助发音训练，英文是 computer-assisted pronunciation training，缩写为 CAPT，历史上做过音素级打分与发音评估，原文引用了 Witt 和 Young 的工作作为代表，说明自动打分早有研究。第二条是针对日语声调重音的训练系统，引用了 Kawai 与 Hirose 以及 Hirose 等人用基频分析与学习者原声反馈做矫正的工作，说明用 F0 做可视化并非新想法。

第 3 条是学习投入与坚持机制，引用了集中重复不如分散练习更利于长期保持，以及关系型智能体与聊天机器人在语言学习动机方面的研究，说明为什么要用同伴对话来维持开口量。本文与前两条同输入同目标，即同样输入学习者语音并评价韵律，但运行阶段不同：已有系统多围绕固定提示与机械重复，本文把反馈嵌入开放式同伴对话。与第 3 条则是同运行阶段借用，即同样在对话中维持参与度，但本文新增了声学对照分支。

因此不能把本文理解为识别或合成模型的改进，而应理解为系统设计：让发音反馈可用于学习者自选的短语。

要解决的具体困难：意图未知时拿什么做对照？

固定课程的问题是简单的，因为预期文本已知，系统事先就能准备标准答案。自由对话的问题是困难的，因为学习者说什么由自己决定，系统事先不知道正确答案。如果直接把学习者发音与同伴下一句回复比较，那就是拿两句不同内容比高低，毫无意义。如果用人耳听辨意图再示范，人工成本又太高。原文提出的设计假设是：用语音识别转写近似学习者的意图短语，即把识别器认为最可能的文本当作学习者想说的话，再围绕这个文本合成参考音。

这个假设带来一个可复述的动作链：先转写，再合成，再对齐比较。初学者要记住这里的参考不是唯一的正确韵律，原文在局限部分明确承认母语韵律不是唯一确定的，系统只是与单条合成轨迹对照。教学例子：学习者想说一句日语问候但声调走偏，识别仍给出该问候的文字，合成器按该文字生成标准语调，然后比较两条曲线，这就是意图未知问题的具体解法。

系统全景：从开口到看到曲线经历哪几步？

沿着一个样本走完输入到输出，有助于建立全局依赖。第一步，学习者在浏览器中说话，音频被采集。第二步，系统调用语音识别得到转写文本，在课程模式中预期文本已知，在对话模式中转写即意图近似。第三步，系统用文本合成一路母语风格的参考音频，同时人工智能同伴继续对话而不被打断。第四步，系统对学习者音频与参考音频分别提取 F0 轮廓并归一化。

第五步，系统对齐两条轮廓并计算音高模式分数。第 6 步，界面展示偏离曲线图与音频回放，学习者可重试。原文强调反馈覆盖结构化课程与开放对话两种模式，且反馈以可视化与提示条形式非侵入式呈现。

为理解界面如何同时承载对话与反馈，需要先看用户界面的整体布局，再把分数面板与对话面板对应到上述第四步到第 6 步。界面左侧是分数与曲线，中央是同伴形象与教室场景，下方是当前目标句与操作按钮，这种并置正是降低抑制又不打断交流的设计意图。

看图路径： 1. 先看左侧反馈面板顶部的分数与三段日语句的彩色分块；2. 再看每块下方并排的两条基频曲线及其分叉位置；3. 对照下方对话框中的目标句与教室场景中的同伴形象；4. 确认可视化与文字提示是如何并列而不打断对话的

论文图 1。原论文 Figure 1：“Amadea’s user interface.”。

从像素可见的界面可以确认上述并置关系。左上反馈卡显示了一个百分比分数，下方把目标句切成 3 个彩色块，每块下方有一组对比曲线，绿色与紫色文字分别标注匹配与偏离。中央是白色头发的同伴角色，背景为教室课桌与黑板，下方对话框重复显示目标日语句。教学价值在于：分数回答整体多接近，曲线回答哪里分叉，文字回答哪一段需要重练，而同伴与场景回答练习是在自然交流中发生的。没有像素支持的颜色数值或曲线坐标不应硬读，解读止于可见的分区与标注逻辑。

语音反馈流水线：识别、合成、对齐如何衔接？

本节把流水线拆成可操作的组件。语音识别组件使用 OpenAI Whisper 的 whisper-1 个模型，负责把学习者音频变为文本。参考合成组件使用 OpenAI 的 gpt-4o-mini-tts 模型，负责把意图文本变为母语风格音频。声学分析组件负责解码、对 F0 估计、遮罩与对齐打分。可视化组件负责输出分数与偏离高亮。

关键依赖是识别文本同时驱动两个下游：一路驱动同伴的语义回复，一路驱动参考音频合成；声学分支只比较两路音频的韵律形状，不比较语义。原文明确指出，即使学习者韵律偏离导致听感不自然，系统仍能通过转写推定其交际意图，从而给出与其本意对应的示范。

语音识别转写 × 参考音频合成： 语音识别转写负责从学习者带偏离的发音中推定其最可能的交际意图文本；参考音频合成负责把该文本变成母语者会说的标准发音音频。搭配理由是自由对话没有预设正确答案，只有先固定意图才能生成可比的对照，组合后反馈可以施加于学习者自选的短语而不只限于固定题库。

为确认各框的先后与回路，需要对照流水线示意图的箭头走向，特别注意比较与可视化是串行的，而重试是虚线回路。图中编号有助于把文字描述的 6 步与方框一一对应，避免把合成与识别的顺序颠倒。

看图路径： 1. 先沿从用户说话到可视化的编号方框确认主路径顺序；2. 再找到第 5 步对齐打分与第 6 步可视化之间的实线箭头；3. 观察从第 6 步返回起点的虚线重试回路的走向；4. 确认参考发音生成框是如何汇入比较框的

论文图 2。原论文 Figure 2：“Amadea speech-feedback pipeline.”。

从收到的像素片段可以辨认出尾段 3 个框：参考发音生成框指向音高比较框，音高比较框标注用户与参考音频的对齐与打分并指向音高可视化框，可视化框上方有一条虚线标注用户重试并回指上游。该片段支持的判断是反馈形成闭环，学习者看完曲线可以再次开口进入下一轮比较。像素不完整的左侧识别与对话框不应推测其框内文字，教学上只需记住主路径是先固定文本再生成可比音频。

课程模式 × 对话模式： 课程模式负责提供预设脚本与日常情景角色扮演，保证练习覆盖目标句式；对话模式负责允许学习者自由配置情景并与人工智能同伴即兴交谈，保证自发产出。搭配理由是前者可控但缺乏自发性，后者自然但意图未知，组合后同一套音高比较流水线同时服务两种输入来源。

声学计算细节：F0 如何提取、清洗与打分？

本节讲原文实际给出的声学参数，适合复述方法。实现上音频先解码为 16 kHz 单声道，这是统一采样率的动作，保证后续帧长与跳长含义一致。F0 估计使用 pYIN 算法，搜索范围限定在 80 到 400 Hz 之间，使用 2048 采样点帧长与 80 采样点跳长。低能量区处理是把低于 utterance 峰值 25 dB 以上的区域遮罩掉，无声帧按缺失值处理，避免把噪声当作音高。对齐先在 z 归一化后的强度轮廓上计算动态时间规整，英文是 dynamic time warping，缩写为 DTW。

得到对齐的有限 F0 帧对后再做 z 归一化，并按平均绝对距离 d 换算分数，公式为 100 除以 1 加 d。分数越高表示形状越接近。原文还说明反馈在整句尺度计算，而不切到单个 mora，避免切分歧义与局部抖动主导分数，同时仍能高亮影响整体模式的偏离。初学者应区分强度对齐与 F0 打分是两步：前者解决快慢对齐，后者解决高低形状比较。

动态时间规整 × z 归一化： z 归一化负责去掉说话人音高绝对高低与音量差异，只保留相对起伏形状；动态时间规整负责把语速快慢不同的两段信号在时间轴上对齐到可比帧对。搭配理由是若不对齐就直接相减，快慢会被误判为音高错误，若不归一化则男声女声无法比较，组合后得到的是形状距离 d 并换算为分数。

下面两张表把上述参数与流程整理为可核对的形式。第一张回答声学计算用了哪些可重放的数值，第二张回答从识别到反馈的分支是如何组织的。阅读时先看表头确认条件与单位，再看数值是否与正文逐字一致，不自行换算或补单位。

有无训练：本研究训练了什么，没有训练什么？

本论文没有报告训练新的神经网络模型的阶段，也没有给出训练集、优化器、梯度路径或参数更新规则。因此本节必须明确说明没有训练阶段，避免误读。实际计算过程是调用已有模型做推理与信号处理：调用 Whisper 做语音识别推理，调用 gpt-4o-mini-tts 做参考语音合成推理，调用 pYIN 做 F0 估计，调用 DTW 做时间对齐，再按确定性公式计算分数与绘图。没有证据表明作者微调或冻结了其中任何模型的参数，也没有证据表明分数公式中的参数需要学习。

不能把无训练等同于系统输出确定，因为识别与合成调用本身受模型版本与采样影响，且原文在局限中承认识别错误会扭曲推定的目标。复现时应把本工作理解为系统集成与流水线设计，而非模型训练，缺项是未报告模型版本冻结策略、解码参数与多次运行稳定性。

实验条件：数据、划分、指标与运行环境交代了什么？

按原文交代，本论文属于系统设计与实现报告，没有提供数据集划分、受试者数量、基线对照、评价指标定义或硬件预算。原文第 3 节给出的是实现参数而非实验协议，第 4 节给出的是对话投入的设计理由而非对照实验，第 5 节直接进入局限与未来工作。需要如实指出缺项：未说明支持的日语与汉语之外的语言覆盖，未说明浏览器端采集的采样设备与噪声条件，未说明 Whisper 与合成服务的延迟与失败处理，未说明分数聚合对象是整句还是多句平均，未说明统计显著性方法。

因此任何关于识别准确率、学习增益或实时性的定量结论在本文中都不具备可核对的实验条件。后续验证应先补外部效度，即把音高模式分数与专家人工韵律评分做相关分析，再做纵向追踪看重复互动是否带来可测量的改进，最后比较课程模式与对话模式的增益差异，这三项正是原文未来工作明确列出的方向。

报告了什么结果，支持什么判断？

原文直接报告的是系统能够运行的事实：学习者说话后系统能转写、能合成意图短语的母语参考音、能对齐并比较归一化 F0 轮廓、能输出分数与偏离可视化，并支持课程与对话两种模式的实时反馈。这是功能实现层面的报告，不是效果量层面的显示。原文没有报告定量主结果表格，没有基线比较，没有消融数字，也没有用户 study 的分数分布，因此不能写出谁比谁高多少个百分点。唯一可复述的定量关系是分数换算式 100 除以 1 加 d，其中 d 是有限对齐 F0 对的平均绝对距离，距离越小分数越接近 100。界面截图中可见一个百分比示例，但原文正文未将其定义为实验结果，不应作为方法有效性的证据引用。

短语级反馈 × 拍分段： 拍是日语的节奏单位，负责切分更细的局部重音位置；短语级反馈负责在整句尺度上计算一条轮廓分数并标出偏离区间。搭配理由是细切分易受切分歧义与局部抖动干扰，组合意义在于原文明确选择整句计算以降低对切分误差的敏感，同时仍能高亮影响整体模式的偏离。

为避免把实现参数误当实验结果，下表把参数与流程分开呈现。读表时注意第一张是可重放的计算配置，第二张是分支逻辑，两者都不代表学习效果的测量。

若缺少某一步会怎样：原文给了哪些反证与边界？

原文没有做消融实验，因此不能说拿掉归一化或对齐后分数必然如何变化。但原文在局限部分给了可用的失败条件，可作为反证理解。第一，若语音识别出错，推定的意图文本就错，参考音频与后续对照都会偏离学习者本意。第二，若 F0 提取受噪，轮廓本身不可靠，比较与可视化都会失真。第三，若时间对齐失败，快慢错位会被带入形状距离。

第四，若一句话存在多种可接受的母语语调，系统只与单条合成轨迹对照，可能把合理变体判为偏离。这些都是原文明确承认的边界，复现时应逐项记录触发频率，而不是假设流水线在所有输入下都成立。教学上要区分直接报告与推测：上述四项是原文报告的局限，由此推测的改进效果属于待验证，不能写成已证明。

局限与适用条件：何时不宜直接套用单参考对照？

除上述四项技术局限，还有设计层面的适用条件。单参考对照适合目标语调相对唯一的跟读与初级纠音，不适合戏剧化朗读或方言变体丰富的场景，因为后者天然有多条合理轨迹。短语级整句反馈适合降低切分误差敏感性，不适合需要精确到单个 mora 重音位置的诊断，因为整句平均会平滑局部细节。非侵入式可视化适合维持对话流畅，不适合需要即时打断纠正的课堂，因为学习者可能忽略提示。

原文还声明使用了生成式人工智能工具润色文稿，所有作者对内容负责，这提示文字表达经过模型润色，复现仍应以参数与流程描述为准。资源状态方面，本次未发现来源绑定且完成验证的开源代码、模型或数据链接，因此不得声称系统当前可用或已公开，只能按论文描述复现思路。

复现先做什么：最小可运行链路与核对清单

复现的第一步是搭通最小链路：浏览器录音并保存为可解码的单声道音频，重采样到 16 kHz；调用 1 次语音识别得到文本；用该文本调用 1 次语音合成得到参考音；对两路音频跑通 pYIN 与 DTW 并输出分数与曲线。第二步是固定信息条件：记录 Whisper 模型标识与合成声音标识，记录 pYIN 的频率上下限、帧长与跳长，记录低能量遮罩阈值与无声帧处理方式，记录 DTW 作用于强度轮廓而 F0 距离作用于对齐后帧对的顺序，记录整句计算而非按 mora 切分的聚合口径。

第三步是补验证：找母语者或专家对同一批学习者音频做韵律评分，计算与系统分数的相关；记录识别错误率与对齐失败率，观察它们如何传导到分数；分别在固定脚本与自由对话下收集多轮数据，比较两种模式的分数变化。本文未报告延迟与成本，复现时应单独测量端到端延迟、识别与合成调用耗时与费用，避免把总体流畅感当作每步都实时的证据。

收束：何时值得尝试这种设计？

当学习目标是音高形状而非单个音素，且练习需要覆盖学习者自选表达时，本文的设计值得参考：用识别固定意图，用合成制造可比参考，用归一化与对齐隔离音高形状，用整句分数加局部分叉图指导重练。当已有固定题库且只需跟读打分时，不必引入意图推定与合成分支，直接准备真人参考音可能更稳。当研究目标是证明学习增益时，本文尚缺外部效度与纵向数据，需要先补专家评分对照与前后测设计。

记住 3 个可复述的动作：转写近似意图，合成对应参考，对齐后比较形状；记住 3 个关键参数：16 kHz 解码、80 到 400 Hz 的 pYIN 区间、25 dB 遮罩；记住一个换算：分数为 100 除以 1 加平均绝对距离。满足这些核对点，才能说复述了本文的方法。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总