手势能画出声调吗：哼唱与手指轨迹为何趋同而带词朗读却偏离

英文题目：Gestural-Based Production of Ambiguous Mandarin Tones: A Multimodal Comparison of Native and Non-native Speakers

会议身份：conference:speechprosody:2026:conference-paper-id:zhang26e_speechprosody

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#教育 #用户研究 #语言习得 #语音 #音频交互

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.7/1.5 | 清晰度 0.7/1 | 影响力 0.7/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Haohan Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Yedong Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Claire Pillot-Loiseau：机构信息未能从会议 PDF 纯文本可靠映射
• Xiao Xiao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为以第三声为锚点的双音节普通话最小对，输出为词汇复述、哼鸣与手指手势三种基频轮廓，难点在于非声调母语者受母语韵律干扰，且动态声调存在协同发音变体与声调2和声调3易混淆。方法链分三步：女性标准音录音派生出去噪归一化词汇音频、由Praat输出的纯基频音频与平滑视觉参考线并载入浏览器界面，上一步输出为下一步模仿加载直接可用的听觉与视觉目标。被试按词汇模仿、哼鸣模仿、引导描摹熟悉、不显示引导线的自由手势绘制固定顺序完成18个刺激，手势纵坐标映射为正弦音高并同步记录轨迹，再按音节兴趣区归一化采样后用广义加性混合模型比较整体高度与形状差异。与既有表演性嗓音合成相比，关键差异是用纯正弦输出替代嗓音合成并去掉专用硬件，使远程自主练习成为可能。在声调2模仿任务条件下，母语组词汇模仿的整体高度指标为-1.54，低于手势模仿的整体高度指标-0.09。结论适用边界仅限于无普通话经验的法国成人对特定混淆对的短期模仿，尚未验证长期习得或词汇整合效果。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://tone-canvas-frontend.vercel.app — 暂时无法访问 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

非声调母语者学普通话难在哪里？

输入是本研究的任务界定与目标读者需要保留的前提。目标是让刚进入语音与音乐音频领域的研究生能复述方法与实验条件。必须保留的信息包括被试构成、刺激来源、3 模态流程、半音转换方式与统计建模结构。输出是 1 篇可核对的技术解读，不做效果承诺。 普通话有 4 个词声调，一声高平、二声升调、三声降升、四声降调，声调在音节层面区分词义。

法语等非声调语言把韵律主要放在短语层面，音节本身没有词汇性音高对立，因此学习者容易把母语的短语语调策略搬到音节上。论文把困难归因于母语韵律干扰阻碍新的声调音系表征形成。 比单个声调更难的是连续语流中的变化。上下文声调协同发音会系统性改变声调形状，动态声调尤其是二声与三声因语音复杂与感知相似更难掌握，在有歧义或协同发音语境下错误更多。

研究因此不做孤立单音节，而是做双音节词的末音节对比，把重音位置与法语尾重音对齐的考虑也纳入刺激设计。

声调协同发音 × 三声变调： 声调协同发音指前后音节音高相互影响造成的系统性形状变化，三声变调指连续两个三声时前字变为低升调的规则性改写，前者是连续语音中普遍的过渡效应，后者是特定组合下的音系规则，搭配理由是解释为何刺激要排除 T3 加 T3 并聚焦 T1 加 T2 与 T1 加 T3 这对易混项。

三声连读变调是一个具体例子，两个三声连用时前一个实现为低升而非典型降升形。作者据此排除 T3 加 T3 组合，只保留 T1 加 T3、T2 加 T3、T4 加 T33 类框架，再在末音节上做 T3 与其他声调的最小对立。这样既避开规则性改写带来的形状混淆，又保留了协同发音造成的学习难点。

从表演性合成到平板练习：前人路线提供了什么对照？

应用语音学与语言教学的多模态研究主张把手势、视觉反馈与听觉线索结合起来支持韵律学习。在此路线下，表演性嗓音合成范式让用户通过图形板、触屏或特雷门等界面实时控制嗓音合成器，用手部灵巧性补偿自然嗓音在语调生成上的限制，并激活已知有助于感知的感觉运动耦合。已有面向法语与英语学习者的交互系统显示，手势生成的轮廓可懂且能改善非母语语调表现。 但早期系统依赖电脑加平板的组合，限制了可用性与纵向或远程练习。

论文的判断是短语级语调的原理可以迁移到词声调，因为二者都依赖连续音高运动，并共享轮廓跟踪与复现的听视运动机制。简化正弦音被先前研究证明能系统性帮助非母语者区分声调，因此被选为输出形式。

表演性嗓音合成 × ToneCanvas： 表演性嗓音合成指通过手势实时控制嗓音合成器的音高轮廓，ToneCanvas 是其面向词声调的轻量实现，前者提供感觉运动耦合与实时手势补偿的原理，后者把原来依赖电脑加平板与复杂软件的装置改为浏览器内纯正弦输出，搭配理由是保留实时视听觉反馈而去掉安装与硬件负担，使远程与纵向练习可行。

ToneCanvas 的定位是独立的、基于浏览器的平板界面，无需安装与专用硬件。用户可以听示例发音、听去音段的纯音高轮廓、录制并回放自己的嗓音模仿，还可以在触屏上用手指或触控笔纵向移动实时生成并听见正弦音高轮廓。视觉轨迹可显示或隐藏，画出的轮廓可保留或消失，取决于所选模式。与早期表演性系统相比，它输出纯正弦而非合成嗓音，去掉了复杂软件与外部硬件，使轻量自主与远程使用成为可能。

研究到底要回答哪两个可检验问题？

论文把探索目标写成两个问题。第一，母语者与非母语者能否通过平板手势产生可辨认的普通话声调。第二，手势模仿与嗓音模仿在组内与组间如何趋同或偏离。教学例子是：同一个 gāo-yuǎn 词，学生先跟读带辅音元音的整词，再只哼出高低走向，最后用手指在空白屏上画出同一走向并听见对应正弦音高。这里例子只说明流程，不代表论文报告了该词的识别率。

为聚焦最易混淆点，作者先对同一批非母语被试做 AX 辨别预试，发现 T1 后区分 T2 与 T3 最困难，因此生产分析聚焦 gāo-yuán 即 T1 加 T2 与 gāo-yuǎn 即 T1 加 T3。原文把该对称为最易混淆项，后续模态比较都围绕这两个双音节项的末音节展开。 研究采用探索性比较而非训练干预设计。它在每个被试内比较朗读、哼唱、手势 3 种模态的趋同与偏离，以刻画声调产生的多模态性质，并为手势练习的可行性提供初步证据。读者不要把 1 次模仿实验读成长期教学效果验证。

ToneCanvas 一次试验走完哪条输入到输出链路？

沿一个样本走完链路有助于复述。输入是界面中装载的双音节刺激，包含词汇示例音频、纯音高音频与平滑视觉参考轨迹。表示是 3 模态输出：词汇朗读的波形、哼唱的波形、手势的纵坐标序列。组件是浏览器端触屏映射与录音回放，正弦发生器把纵位置转为音高并同步绘制。目标是复现参考轮廓的形状，输出是可回放的声音与可见轨迹。

具体操作分 4 步。第一步听双音节词并带音段朗读，第二步听纯音高版本并哼唱，第三步在显示参考轨迹下描摹并获得实时视听反馈但不记录，第 4 步在空白屏上自由复现并保留轨迹，依靠连续正弦反馈完成。第三步是熟悉化，第二到第 4 步逐步去掉音段与视觉引导。 下面导读图 1 的界面布局，读者可按焦点顺序核对按钮分区、参考轨迹与用户轨迹、手指落点与进度信息，为理解后文数据分流做准备。

看图路径： 1. 先看左侧按钮列区分播放原词、播放纯音高、录音与显隐轨迹的功能分区；2. 再看中央灰色参考轨迹与红色用户轨迹的重叠方式判断临摹精度；3. 观察右侧手指落点处的蓝色与红色线条确认实时正弦反馈的绘制位置；4. 对照顶部文件名与进度条确认当前刺激与实验流程位置

论文图 1。原论文 Figure 1：“ToneCanvas interface with a visual guide for”。

图 1 显示一块平板上的 ToneCanvas 界面，左侧纵列为 Play Sound、Play Pitch、录音、显隐轨迹与下一词等按钮，中央有两段灰色宽带状参考轨迹，红色为用户手势复现轨迹，右侧手指正按在降升形轨迹的上升段，蓝色线与红色线在该处并行，顶部显示当前文件名与进度。这种布局对应方法链路：左侧控制听觉示例与录制，中央提供视觉引导与运动执行区，顶部标记刺激身份，右侧手指动作同时驱动听觉正弦与视觉描线，构成手势、听觉、视觉 3 通道闭环。

三种模态各自测什么？哼唱为何被选为基线？

词汇模仿测带音段的自然实现，哼唱模仿测去掉音段后的轮廓复现，手势模仿测用手部运动表达的轮廓复现。论文明确以哼唱为基线，因为正弦轮廓增强声调区分，而哼唱提供无言语、去音段的参考。词汇与手势都与该基线比较，判断偏离来自音段协同还是来自运动表达本身。

词汇模仿 × 哼唱模仿： 词汇模仿要求同时实现声母韵母的发音动作与声调目标，哼唱模仿只保留基频轮廓而去掉音段内容，二者搭配的理由是分离音段干扰与声调控制，组合意义在于判断偏离来自声调表征不稳还是来自发音协同约束。

词汇实现会与音段过渡和发音例程相互作用，可能引入局部音高扰动并改变整体音高范围。任务复杂度也是因素，词汇产生需协调音段处理、发音规划与声调目标，而哼唱与手势没有音段结构，更直接表达意图轮廓。论文强调当前分析聚焦整体轮廓趋势，微观局部效应留待探索。

手势模仿 × 正弦反馈： 手势模仿指用手指或触控笔在纵轴上画出轮廓，正弦反馈指纵坐标实时映射为纯正弦音高并同步显示轨迹，前者提供运动执行，后者提供听觉与视觉闭环，搭配理由是用连续可控的外部运动替代声带调节，组合后形成可在无音段条件下练习声调形状的回路。

界面提供两种听觉示例。点击 Play Sound 播放去噪并做幅度归一化的词示例波形，点击 Play Pitch 播放由 Praat 输出点文件生成的去音段纯音高示例，点击 Show Trace 显示平滑视觉参考轨迹。手势数据记录为纵坐标对应的正弦合成音高，保存在可扩展标记语言文件中，嗓音数据导出为波形文件后在 Praat 中做幅度归一化与 50 赫兹高通滤波，再提取基频并做说话人特定平滑。

本研究训练了什么、没有训练什么？计算如何完成？

本研究没有训练神经网络声调分类器或合成器，也没有更新任何模型权重，不存在梯度路径、参数冻结与重置时机的报告。真实计算是信号处理、归一化与统计拟合 3 段流程，不能把无训练等同于确定性求解，因为平滑、采样与模型选择仍引入分析自由度。 第一段是分音节与采样。嗓音与手势数据按音节切分感兴趣区，每个感兴趣区在归一化时间 0 到 1 上采样 10 个点，手势轨迹采用相同切分与采样。第二段是跨模态可比化，所有基频值转为半音，嗓音数据参照每位说话人的平均基频，手势数据对齐到每位被试每个条目正弦合成的平均音高，转换使用 R 包 hqmisc 中的 f2st 函数。

广义加性混合模型 × 时间归一化： 时间归一化指把每个音节感兴趣区采样为 0 到 1 之间的 10 个等距点，广义加性混合模型指用平滑函数拟合半音值随归一化时间的变化并加入被试随机效应，前者解决时长不等无法逐点比较的问题，后者解决轮廓非线性与个体差异的问题，组合后才能在统一时间轴上检验模态主效应与局部差异窗口。

第 3 段是轮廓比较，采用广义加性混合模型拟合基频轨迹随归一化时间的非线性变化并考虑个体变异。分析在 RStudio 中用 mgcv 与 itsadug 包完成，以贝叶斯因子与简化模型比较做模型选择。最终模型包含模态参数项、归一化时间的平滑项、时间与模态的交互平滑项以及被试随机项。原文未报告超参数网格或训练耗时，缺项应如实指出，不从模型名称推定实现细节。

被试、刺激与流程条件是否一致？

被试共 20 人。母语组 10 人，普通话为母语，5 女 5 男，年龄 22 到 27 岁，平均 24.2 岁。非母语组 10 人，法语为母语、无普通话基础的零起点水平，6 女 4 男，年龄 21 到 27 岁，平均 22.9 岁。两组都是 2 人现场、8 人远程。法语被选为对照母语的理由是其缺乏音节级词汇音高对立、韵律主要在短语层面，且音节定时节奏与普通话可比，有助于减小超音段差异。

所有被试签署知情同意并填写背景问卷。 刺激为包含末音节三声的双音节真词，覆盖 T1 加 T3、T2 加 T3、T4 加 T3。每种组合做 3 个最小对立，末音节在 T3 与 T1、T2、T4 之间变化而音段相同，共 18 个双音节刺激。录音由 1 位标准普通话女性母语者在隔音室用 AKG C414 XLS 话筒完成。每个录音派生 3 种格式，分别对应播放原词、播放纯音高与显示参考轨迹。

流程上所有被试在 ToneCanvas 上完成相同多模态模仿任务，指导语按组别用中文或法语。现场用提供的 Surface Book 触屏，远程用自有触屏设备。经 2 个练习试次后完成 18 个刺激，每个刺激依次经历词汇朗读、哼唱、有引导描摹、无引导自由手势 4 个条件。模态顺序固定为词汇、哼唱、手势，可能带来练习效应，这是后文必须记住的混淆因素。 比较被试构成与现场远程分布是否对齐，下表把两组人数、性别、年龄与测试方式放在同一口径下，指标方向是分布越一致组间比较越公平。

表后解释需同时给出收益与代价。该构成的收益是人数与测试方式对称，年龄接近，法语对照的语言学理由明确，支持把组间差异主要读为声调经验差异。代价是每组仅 10 人且远程设备不统一，触屏尺寸与采样可能引入变异。

听觉模型仅女性录音，可能对男性被试的基频模仿产生偏置；固定模态顺序使词汇条件的不稳定性难以与练习效应分离。这些限制决定了后文数字只能读为初步模式而非教学功效。

主结果显示了怎样的模态分离？

结果按声调与组别组织。先看母语组二声，时间主效应与被试随机效应显著，时间与模态交互显著，说明轮廓形状随时间演变且模态轨迹不同。以哼唱为基线，词汇显著低于哼唱，手势与哼唱无显著差异。逐点比较显示词汇与哼唱在全程分离，词汇与手势在几乎全程分离，而哼唱与手势仅在起始段短暂分离。 母语组三声的整体音高在模态间无显著差异，但词汇轨迹形状显著不同，哼唱与手势形状无差异。

逐点上词汇与哼唱仅在中段分离，词汇在该处下探更深；词汇与手势有两个短分离窗，词汇在下降段略高。作者的解释是母语者跨模态稳定且灵活适应，自然嗓音的更宽音域可能放大词汇中的降升幅度。 非母语组二声与母语组类似但偏置更大，哼唱与手势都显著高于口语，逐点上口语与哼唱、口语与手势在全程分离，哼唱与手势仅在末段分离且哼唱略高。

非母语组三声则模态差异弱而局限，口语仅在起始段略高于哼唱，手势与哼唱无差异，逐点上口语与哼唱只在起始段分离，其余几乎重合。 下表把关键可运行比较的估计值与显著性放在同一框架下，指标方向是估计值绝对值越大表示偏离哼唱基线越多，显著性越小表示证据越强。

表后解释要回答支持什么与限制什么。支持的判断是哼唱与手势在两组、两调上都高度重合，而词汇系统性偏离，反映言语特异约束与音段影响。

例外是非母语三声趋同，作者推测学习者在词汇中把三声后段上扬误作二声上扬，这是有文献记录的二三声混淆。限制是这些估计来自小样本与固定顺序设计，不能推广为每步都成立，也不能承诺误判率或延迟改善，未胜出项恰是词汇条件，它在多数比较中偏离基线，说明仅练手势不足以打磨词汇中的音高控制。

去掉音段或去掉视觉引导会发生什么？

论文没有做神经网络消融，但提供了功能性对照。去掉音段的对照是哼唱相对词汇，去掉视觉引导的对照是有引导描摹相对自由手势。分析聚焦自由手势与前两者的比较，有引导步骤不记录，仅作熟悉化。结果显示去掉音段后轮廓向参考靠拢，去掉视觉引导后手势仍能与哼唱保持重合，支持手势表达的是较抽象的运动表征。 反证来自三声的组间不对称。

母语者词汇中段下探更深，非母语者词汇曲线部下探不足且整体偏高。如果手势只是简单临摹视觉线条，不应出现这种与语言经验有关的反向偏离。作者据此提出有限解释：哼唱与手势调用较少受音系与音段编码影响的象似性运动表征，而词汇激活言语特异例程并在两组中都移动音高目标。该解释标记为支持而非证明，因果仍待验证。 另一类特有细节是设备与远程异质性。

研究在现场与远程同时实施以检验可及性，但触屏类型、手指与触控笔差异、网络与录音环境都未做分层建模。复现时应记录设备型号与输入方式，否则跨研究比较会混入硬件变异。

哪些缺项使结论只能停在初步阶段？

作者明确列出三项方法局限。第一，模态顺序固定为词汇、哼唱、手势，可能诱发训练效应并加剧词汇条件的不稳定。第二，性别效应未控制，听觉模型仅女性录音，可能偏置男性被试的基频模仿。第三，统计建模强调整体轮廓形状，平滑可能弱化细粒度局部变异。 从学习依赖看还有两项边界。

样本每组 10 人且为单次模仿，没有纵向课堂验证，不能回答保留与迁移。刺激聚焦 T1 后的二三声对比，未覆盖全部声调组合与变调语境，结论不能外推到所有三声环境。 原型可用性方面，演示链接在本次核查中未能确认可达，应写为本次未能确认可达，不写已公开可用。即使可访问，作者也说明需用桌面浏览器测试并可输入任意编号，这只是功能演示，不是与论文数据绑定的可运行实验包。

要复现这套流程先做什么、记什么？

复现先做三件事。第一，重建刺激集：按 T1 加 T3、T2 加 T3、T4 加 T3 各做 3 对末音节最小对立，保持音段相同且为真词，排除 T3 加 T3 以避开变调改写，用同一女性普通话说话人在隔音室录音，再派生去噪归一化词音频、Praat 纯音高音频与平滑参考轨迹。第二，固定设备与输入方式：记录触屏尺寸、手指或触控笔、浏览器版本，现场与远程分开标注，避免把硬件差异读成模态效应。

第三，锁定流程顺序与指导语语言：2 个练习试次后按词汇、哼唱、有引导描摹、自由手势执行 18 个刺激，母语组用中文、非母语组用法语指导。 数据处理需可重复记录。嗓音波形做幅度归一化与 50 赫兹高通，提取基频并做说话人特定平滑；手势纵坐标转为正弦合成音高后存档；按音节切分感兴趣区并在归一化时间采样 10 点。

用 f2st 转半音时分别参照说话人均值与条目正弦均值。统计用广义加性混合模型并报告参数项、平滑项、交互项与随机项，以及贝叶斯因子选模过程。 还需补两项验证才能谈教学。随机化模态顺序以分离练习效应，补充男性录音或按性别分层建模以控制音高偏置。若要检验学习，应做多日纵向设计并纳入词汇后测与泛化词，而不是只看单次模仿重合度。

何时值得尝试手势先行、又在何处止步？

当学习者卡在二三声区分且主要困难疑似来自音段协同与发音规划负荷时，值得尝试先用正弦哼唱稳定旋律，再用 ToneCanvas 类界面同步手势、听觉与视觉线索做象似性练习。这种安排的理论依据是二者共享连续音高跟踪与复现的听视运动机制，实证依据是本研究中哼唱与手势的高度重合。 止步点同样明确。声调最终要在词汇中实现， gesture 练习不能替代与音段发音及言语例程的整合。

论文的教学判断是手势界面可作为词汇训练前的初步工具，进阶阶段仍需回到带音段的言语练习。把单次模仿的重合读成长期发音改善，属于未验证推测，应表述为可能与待验证。 对初学者的误解需要澄清。曲线向下不等于性能变差，需先看纵轴是半音绝对值还是相对改变量；哼唱与手势重合不等于学会声调，只说明在去音段条件下能稳定复现形状。

母语者词汇下探更深不是错误，而是自然嗓音音域与发音例程带来的实现差异。记住这些条件，才能把这篇探索性研究的复述用在正确的复现与后续实验设计上。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 18 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 speechprosody-2026 论文汇总