干净语音能否替代扫描仪内语音做声道轮廓反演

英文题目：Acoustic-to-Articulatory Inversion of Clean Speech Using an MRI-Trained Model

会议身份：conference:interspeech:2026:conference-paper-id:azzouz26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#RNN #发声与构音 #语音 #语音属性识别

评分：5.7/10 | 创新 1.0/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Sofiane Azzouz：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

声学到发音反演需以语音波形为输入，重建从声门到唇部的8条发音器官轮廓，实际难点在于实时磁共振成像伴随音频含强扫描噪声且存在高频能量缺失、伦巴德效应与仰卧发音偏移，致使洁净录音与成像帧难以直接对应。本文先以句子级格式塔匹配加词级相对位置加音素内时间归一化，将洁净语音对齐到磁共振成像（magnetic resonance imaging， MRI）帧，得到与每帧对应的洁净目标时刻与帧索引，再用自监督学习（self-supervised learning， SSL）表示HuBERT-Base提取50 Hz嵌入，送入全连接加双向长短期记忆网络（bidirectional long short-term memory， Bi-LSTM）回归8×100轮廓坐标。与直接用动态时间规整（dynamic time warping， DTW）做声学对齐不同，该链条以音素边界约束对应帧，保留了音段结构。洁净训练洁净测试在MRI轮廓上达到均方根误差（root mean square error， RMSE）1.56 mm，中位数1.33 mm，接近去噪训练去噪测试的1.51 mm，明显优于跨条件测试的1.64 mm。在去噪与洁净跨条件评测设置下，洁净训练洁净测试条件的均方根误差为1.56 mm，低于跨条件测试的均方根误差1.64 mm。结论仅限单说话人法语、仰卧与伦巴德效应未校正的情形，外推至多说话人与真实噪声仍未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，什么信息必须保留？

这篇论文研究的输入是一段语音波形，目标是同一时刻声道的几何形状。具体来说，输入是采样率为 16 kHz 的单通道语音，输出是 8 个发音器官的轮廓坐标。8 个器官包括杓状软骨、会厌、下唇、咽后壁、软腭中线、舌体、上唇与声带。每个器官用 50 个点表示，每个点有横坐标与纵坐标，因此 1 帧输出是 8 乘 100 个数值。

必须保留的信息是时间对应关系与物理单位，也就是每 1 帧语音对应哪 1 帧磁共振图像，以及轮廓点的误差以毫米计量。原文说明面内像素尺寸为 1.62 mm，这意味着误差是否小于一个像素可以直接判断。研究的矛盾在于训练用的声音是在扫描仪内录制的，即使经过去噪仍然与安静房间的干净语音不同。

声学到发音反演 × 实时磁共振成像： 声学到发音反演负责从语音波形估计声道几何形状，实时磁共振成像负责同步给出语音与从声门到嘴唇的完整矢状面影像，二者搭配的理由是反演需要成对的声音与形状监督而磁共振是少数能提供全声道动态真值的方法，组合意义是把预测对象从传感器点位扩展到 8 条可解释的器官轮廓。

如果只在去噪语音上训练和测试，系统无法直接用于现实应用。如果直接把干净语音送入用去噪语音训练的模型，会出现训练测试不匹配。论文因此设置了 3 组可运行对照，分别对应两种声音都用去噪语音、训练用去噪测试用干净、两种都用干净。理解这个设置是后续所有方法与实验的基础。

下面先看噪声差异为何重要，论文用同一说话人说同一句法语的例子对比了 3 种信号。第一种是安静房间的正常语音，第二种是本研究数据库经去噪的磁共振语音，第 3 种是早期文献数据库的去噪语音。原文指出本研究的去噪质量明显更好，但在高频能量上仍然低于正常语音。

看图路径： 1. 先对比左列干净语音与中列本研究去噪语音的高频结构与背景底噪差异；2. 再对比中列与右列早期数据库去噪语音的噪声残留与谐波清晰度；3. 最后核对上排语谱图与下排波形的时间轴范围不同避免误读时长

论文图 2。原论文 Figure 1：“Comparison of normal speech, MRI-denoised speech from our dataset, and denoised speech from [9].”。

上图给出三列语谱图与波形对照，左列为干净语音，中列为本研究去噪语音，右列为早期数据库去噪语音。上排语谱图显示左列背景更干净且高频结构更清晰，中列虽经去噪但能量分布仍与左列不同，右列则残留更多宽带噪声。下排波形进一步显示包络与底噪的差异。该图的作用不是给出定量信噪比，而是建立直觉，训练与测试的声音条件不同，模型看到的输入分布已经变化。论文同时说明磁共振内的发声还存在隆巴德效应与仰卧姿势差异，但因缺乏垂直姿势数据而明确不处理。

已有路线如何从点位预测走到全声道轮廓？

声学到发音反演很早就存在，早期有电磁发音仪与 X 射线微束提供的点位数据。研究者用高斯混合模型与隐马尔可夫模型建立声音到点位的关系，后来神经网络带来明显提升，包括双向长短期记忆网络与时间卷积网络。这些方法多数预测少数传感器点的运动轨迹，而不是整个声道形状。

实时磁共振成像出现后，研究者可以直接看到从声门到嘴唇的完整矢状面。早期磁共振语料分辨率较低，例如 68 乘 68 像素，且音频受扫描仪噪声严重污染。有些工作直接预测磁共振图像像素，性能在像素级别评估。另一些工作用生成模型例如扩散模型生成视频。

还有一条路线是先自动分割图像得到发音器官轮廓，再对轮廓做反演。论文沿用的是这条轮廓路线，轮廓路线的好处是输出维度固定且具有发音解释性，坏处是依赖分割质量。本文使用的分割方法来自先前工作，能自动跟踪 8 个器官。输入特征方面，早期多用梅尔频率倒谱系数，近年自监督学习表征表现突出，其中 HuBERT 在多项对比中优于梅尔倒谱系数与 wav2vec 2.0。论文因此选择 HuBERT-Base 作为输入嵌入，而不是重新比较全部特征。

这是一个基于已有证据的选择，不是本文的创新点。本文真正要回答的不是哪种特征最好，而是在固定使用 HuBERT-Base 的前提下，干净语音能否替代去噪语音。

跨录音条件的问题如何形式化？

把问题写成可复述的形式有助于避免混淆。设有一组磁共振帧，每帧时间为 50 毫秒，对应一个去噪语音波形。同时有另一组干净语音波形，由同一说话人朗读相同句子集合，但在安静环境录制。两组语音的句子内容相同但语速与停顿不同，因此帧与帧之间没有天然对应。

目标是学习一个函数，把任意时刻的语音表征映射到同一时刻的 8 条轮廓。训练监督始终来自磁共振轮廓，因为只有磁共振能提供形状真值。困难在于干净语音没有对应的磁共振图像，必须通过对齐把干净语音的时间点挂到已有磁共振帧上。举例来说，假设磁共振中某音素持续时间较短而干净语音中同一音素持续时间较长，那么磁共振帧落在该音素中间位置时，应取干净语音中同一相对位置的特征作为输入，而真值仍是该磁共振帧的轮廓。这是一个教学例子，不是原文数值。

形式化后 3 种实验条件就很清晰。第一种训练与测试都用去噪语音，不需要跨域对齐。第二种训练用去噪语音，测试用对齐后的干净语音，考查直接跨域。第 3 种训练与测试都用对齐后的干净语音，考查在干净域内重新训练能否恢复性能。所有条件下的输出目标保持不变，都是磁共振轮廓。这种设计把声音条件变化与对齐方法的影响分离出来。

从波形到轮廓的完整链条如何走通？

沿着一个样本走完全程是最有效的学习方式。第一步是准备两套语音，磁共振语音用光学麦克风以 16 kHz 录制并经过去噪，干净语音最初以 48 kHz 录制再下采样到 16 kHz 以保持一致。两套语音都有音素切分，磁共振侧先用自动对齐再经专家手工校正，干净侧用蒙特利尔强制对齐器生成再经专家校正。

第二步是语音表征与轮廓真值，HuBERT-Base 处理 16 kHz 音频，输出 768 维嵌入，帧率为 50 Hz。这个帧率高于磁共振的每秒 20 帧，因此需要按时间映射取对应特征。自动轮廓跟踪把每帧 136 乘 136 像素的图像转换为 8 条轮廓，每条 50 个点。第三步是跨域时间对齐与回归，分层对齐使每个磁共振帧都能找到干净语音中的目标时间点，回归模型输入为语音嵌入，输出为 8 乘 100 的坐标。

下面先看轮廓目标的形态，这是理解输出维度的关键环节，左右 2 帧的舌体与唇形差异说明了逐帧变化的回归本质。

看图路径： 1. 先沿左右两帧确认矢状面朝向左侧为嘴唇右侧为咽壁与脊柱；2. 再逐条辨认舌体上下唇软腭会厌等八条彩色轮廓线的空间位置；3. 最后对比两帧之间舌体隆起与唇形变化理解逐帧回归目标

论文图 1。原论文 Figure 2：“Segmentation of articulators contour tracked in two images of the rt-MRI film:”。

上图并排显示 2 帧矢状面磁共振图像及其叠加的彩色轮廓线，灰度背景为声道正中矢状面，左侧为唇鼻区域，右侧为咽壁与颈椎。彩色曲线分别勾勒舌体、上下唇、软腭、会厌、杓状软骨、咽壁与声带。左右 2 帧的舌体隆起位置与唇形明显不同，说明轮廓随发音快速变化。教学要点是模型不是输出整幅图像，而是输出这些曲线的坐标序列。每个器官固定 50 个点保证了输出维度 1 致，也使得均方误差可以直接在点集上计算。

模型各层与对齐计算分别做什么？

模型结构继承自先前重建舌体与全声道的工作。输入为音频嵌入，经过两个各含 300 个单元的全连接层，再经过两个各含 300 个单元的双向长短期记忆层，最后经一个输出维度为 8 乘 100 的全连接层得到坐标。其中 100 表示每个器官 50 个横坐标与 50 个纵坐标。全连接层负责逐帧的非线性变换，双向长短期记忆层负责利用前后语境。

发音动作具有协同发音，前后音素会影响当前声道形状，因此时序建模是必要的。原文未报告激活函数与丢弃率等细节，也未说明 HuBERT 参数是否冻结或微调，复现时应把 HuBERT 视为固定特征提取器对待，不要自行假设进行了微调。损失函数为均方误差，对数据集中所有观测的预测值与真值差平方求平均。

HuBERT 表征 × 发音器官轮廓： HuBERT 表征负责把 16 kHz 语音转换为每秒 50 帧的 768 维声学嵌入，发音器官轮廓负责把每帧声道形状表示为 8 个器官各 50 个点的横纵坐标，二者搭配的理由是自监督表征对噪声更稳健而轮廓比原始像素更直接对应发音动作，组合意义是回归模型只需学习嵌入到坐标的映射而不必重建整幅图像。

对齐是本文区别于简单动态时间规整的关键。句子级先用格式塔模式匹配算法计算字符序列相似度，只有相似度达到 75% 及以上的句子才认为对应。由于磁共振语料中每句唯一，最多只有一个候选达标，从而保证 1 对一。词级先按文本相等找候选，若同一词在句中出现多次，则用词在句中的相对位置选择最连贯的匹配。

音素级再做局部时间归一化，对落在某磁共振音素内的帧，先算其在音素内的相对比例，再映射到干净语音对应音素的同一比例处，最后转换为干净信号的帧序号。计算中用极小值防止除零，这个做法保留了音素结构，并补偿了两遍朗读的语速差异。

音素级分层对齐 × 动态时间规整： 音素级分层对齐负责按句子到词再到音素的层级用音素边界把干净语音时间点映射到磁共振帧，动态时间规整负责仅按声学相似度拉伸对齐两段信号，二者分工不同在于前者受发音内容约束而后者受频谱距离驱动，搭配比较的意义是检验内容引导是否比纯声学相似更适合跨录音条件的发音监督对齐。

下面结合架构图确认数据流向，该图是理解模型容量分配与输出组织的最直接依据，建议先数清块数再拆解维度。

看图路径： 1. 先沿从左到右箭头数出输入全连接双向长短期记忆与输出层的顺序；2. 再确认每层方框内标注的 300 单元与 8 乘 100 输出维度的具体含义；3. 最后把末端横纵坐标框与八个器官各 50 点的轮廓目标对应起来

论文图 3。原论文 Figure 3：“Model architecture”。

上图为 5 段式前向流程示意，从左到右依次为输入椭圆、两个 300 单元全连接块、两个 300 单元双向长短期记忆块、8 乘 100 全连接块、横纵坐标输出块。箭头表示单一前向路径，没有额外的语义分支或多任务头。教学时应先数清块数，再把最后一块的维度拆解为 8 个器官乘以每器官 100 个数值，最后理解中部时序层是处理协同发音的主要容量来源。该图未给出训练时的梯度路径与损失位置，需要回到正文用均方误差补充理解。

数据如何划分，模型如何训练与早停？

训练流程按采集划分，而不是按帧随机打散。数据集共约 412000 幅图像，去除句子间静音段后，按采集随机分为 80% 训练、10% 验证、10% 测试。这种按采集划分的方式减少了同一采集内相邻帧同时出现在训练与测试的泄漏风险。原文全程为同一女性说话人，因此结论目前仅支持单说话人条件。

所有模型最多训练 300 个轮次，批量大小为 10，使用 Adam 优化器，学习率为 0.001。基于验证性能做早停，耐心值为 10 个轮次，若验证不再提升则停止。原文未报告验证指标是均方误差还是均方根误差，也未报告随机种子与硬件耗时，因此复现时应固定自己的种子并记录验证曲线。

均方误差 × 均方根误差： 均方误差负责在训练时对所有轮廓点预测值与参考值求平方差平均以提供可微的回归目标，均方根误差负责在评估时开方还原到毫米尺度以便与像素尺寸直接比较，二者搭配的理由是训练需要平滑梯度而评估需要可解释的物理距离，组合意义是同一距离概念贯穿优化与报告但单位含义不同。

需要明确的是 HuBERT 与轮廓分割器不是本研究训练的对象，本研究训练的是上述全连接加双向长短期记忆回归器。监督来源始终是磁共振轮廓坐标，即使输入换成干净语音，真值也不变。这意味着干净语音条件下的训练本质上是学习从另一种声学分布到同一发音形状的映射。训练与评估在静音处理上也有分工，训练前去除了句子间静音，评估时去归一化并删除包括词间在内的所有静音段。这一步很重要，因为静音段的声道形状不对应明确发音目标，若计入会稀释对语音段的评估。

实验条件如何保证可比，指标方向如何读？

实验围绕两个问题组织。第一个问题是干净语音能否替代去噪语音，设置 3 种可运行策略。记 M2M 为训练与评估都用去噪语音，M2C 为训练用去噪语音而评估用干净语音，C2C 为训练与评估都用干净语音。涉及干净语音的信号都先经过音素对齐。第二个问题是对齐方法是否重要，把后两种策略中的音素对齐替换为动态时间规整。

目标输出在所有设置中保持为磁共振轮廓，因此比较的是输入条件与对齐方式，不是不同的预测任务。指标为每条轮廓的均方根误差与中位数误差，单位毫米，数值越小越好。同时报告 8 个器官各自的均值加标准差与全局平均。显著性用 t 检验，阈值为 0.05。数据方面需要记住采集细节，否则无法判断误差的物理意义。

下表整理原文报告的采集与音频参数，本表不比较模型优劣，只核对数据底座是否一致。所有后续误差都以毫米为单位，而毫米与像素的换算依赖面内像素尺寸，音频帧率一致性依赖采样率是否统一到 16 kHz。若这些条件不一致，后续跨条件比较将失去意义。

上表说明复现时必须核对的底座，磁共振侧约 2.5 小时数据，105 次采集，每次 80 秒含 4000 帧。干净侧为同一说话人朗读相同句子集合，两套音素切分被核对为严格一致，这是分层对齐的前提。若复现者使用自己的干净录音，必须先保证句子与音素序列一致，否则句子相似度阈值与词相对位置匹配将失效。原文证据中未发现经验证的公开代码与数据，因此本解读不声称任何链接当前可用。

主结果显示干净语音能用吗，代价是多少？

主结果回答第一个问题。3 种条件下全局平均误差从小到大依次为 M2M、C2C、M2C。M2M 平均均方根误差与中位数最小，说明训练测试同分布仍是最优。C2C 明显优于 M2C，说明在干净域内重新训练可以挽回大部分跨域损失。关键数字是 C2C 与 M2M 非常接近，差距远小于一个像素尺寸。

分器官趋势也类似，舌体误差最大，咽后壁与上唇误差较小。这符合发音生理直觉，舌体运动幅度大且形状复杂，而咽后壁相对稳定。但总体趋势不等于每个器官都显著相同，需要看逐器官显著性标记。原文报告 M2C 多数器官显著差于 M2M，C2C 显著不同于 M2M 与 M2C。复述时不要把平均差距推广为每个器官差距相同。

下表比较 3 种可部署策略的全局误差，在目标同为磁共振轮廓、评估都去静音并以毫米计的公平条件下进行。指标方向为越小越好，M2M 为参考上限，M2C 为直接跨域部署，C2C 为经对齐后在干净域训练的现实方案。

上表显示 C2C 把跨域误差从 1.64 mm 拉回到 1.56 mm，中位数回到与 M2M 相同的 1.33 mm，报告支持干净语音经正确对齐后可有效支撑反演的判断。代价是仍比 M2M 高约 0.05 mm，且需要额外录制相同句子的干净语音并做手工校正的音素对齐。未胜出项是 M2C，它代表不做适配直接把干净语音送入旧模型，误差最大。这个负结果恰好说明不能忽略训练测试不匹配。限制是单说话人法语女性数据，是否推广到多说话人与其它语言待验证。

把音素对齐换成动态时间规整会怎样？

第二个实验是方法消融，检验对齐方式的影响。保持 M2C 与 C2C 的训练测试声音组合不变，只把音素分层对齐替换为基于声学相似度的动态时间规整。结果是两种 DTW 版本都显著差于对应的音素对齐版本。也就是说即使声音组合相同，对齐变差也会拉低性能。

这支持音素边界引导的对齐更接近发音真实对应的解释。机制上音素对齐把每 1 帧强制归属到对应音素，保留了发音内容结构，而动态时间规整只看频谱距离，容易在元音与噪声残留相似时错位。因此对齐质量是跨域反演成功的必要条件之一。

下表比较相同声音组合下两种对齐的可运行策略，指标仍为毫米，越小越好。若 DTW 更差，则说明内容约束带来了额外价值。本表比较的不是不同模型容量，而是对齐精度对同一回归任务的影响。

上表显示 DTW 版本不仅全局更差，分器官范围也更差，舌体在两种 DTW 下分别达到约 2.65 mm 量级附近的高误差。原文报告 DTW 结果显著差于对应非 DTW 版本，这个反证增强了主结论的可信度，即 C2C 的成功不只是因为用了干净语音，还因为对齐足够准确。但这不意味着动态时间规整在任何场景都无用，它只是在本研究的跨录音跨噪声条件下不如音素引导。未评测的边界是无音素标注时的全自动对齐效果，原文因有专家校正而未覆盖该条件。

哪些因素没有被测量与控制？

首先是说话人与语言单一，两套语料来自同一法语女性说话人，句子集合相同。这控制了内容变量，有利于分离声音条件的影响，但也限制了推广。跨说话人、跨口音、跨语言时声道形态与发音习惯都不同，1.56 mm 的数字不能直接外推。任何把单说话人结果当成通用性能的复述都是误读。

其次是磁共振环境特有的发音变化，原文明确提到隆巴德效应与仰卧姿势，并声明因无法获得垂直姿势磁共振数据而不处理。这意味着即使声学分布被对齐，发音动作本身仍可能与自然站立说话有系统差异。该边界是诚实的限定，也是后续需要新采集才能回答的问题。

第三是分割与标注依赖，轮廓真值来自自动跟踪，音素边界经过专家手工校正。若分割有偏，回归目标就有偏。若复现时用全自动切分，对齐精度可能下降。第四是未测量的量，原文未报告推理延迟、实时因子、模型参数量与训练耗时，也未报告可懂度或感知评估。均方根误差小不等于发音动画主观自然，更不等于能提升语音识别或治疗反馈的效果。

第五是统计口径，原文用 t 检验报告显著性，但未说明配对方式与多重比较校正，逐器官标准差较大，解读单个器官胜负时应谨慎。保留这些边界才能正确使用结论。

复现时先做什么，后做什么？

复现的第一步是重建数据底座。准备磁共振图像与去噪语音，确保图像为 136 乘 136 像素、每帧 50 毫秒、像素尺寸 1.62 毫米，音频统一到 16 kHz。录制同一说话人相同句子的干净语音，初始 48 kHz 亦可但必须下采样到 16 kHz。生成两套音素切分并手工核对为严格一致，这是分层对齐的前提。

不要跳过手工校正，否则句子相似度 75% 阈值与词相对位置匹配容易出错。第二步是生成监督，运行与原文相同的自动轮廓跟踪得到 8 个器官各 50 点的坐标，并按采集划分为 80% 训练、10% 验证、10% 测试，去除句子间静音。第三步是提取特征，使用 HuBERT-Base 得到 768 维、50 Hz 嵌入，不要自行更换为 Large 或其它自监督模型，除非作为额外对照。

第四步是实现分层对齐，先句子匹配，再词匹配处理重复词，最后音素内线性映射得到每个磁共振帧对应的干净语音帧序号。建议先用动态时间规整做一个基线，验证音素对齐是否在自己的数据上仍更优。第五步是训练回归器，按两个 300 单元全连接、两个 300 单元双向长短期记忆、8 乘 100 输出搭建，批量 10、Adam、学习率 0.001、最多 300 轮、耐心 10 轮早停。评估时去归一化并删除所有静音段，再算毫米单位的均方根误差与中位数。

资源状态方面，原文证据中未发现经验证的公开代码与数据，因此应按无公开资源规划复现，不要假设可下载权重。若只能复现部分链条，优先复现 M2M 与 C2C 的可比性，因为这是支撑现实应用判断的核心。

何时值得尝试干净语音反演？

当应用场景只能拿到安静房间语音，却拥有同一说话人的磁共振形状监督时，这条路线值得尝试。前提是能录制相同句子集合并获得可靠的音素边界，因为跨域监督完全依赖对齐把干净特征挂到磁共振帧上。若没有音素标注或说话人不一致，不应直接套用 1.56 mm 的数字。

部署策略上不要采用训练用去噪测试用干净的不适配做法，它的误差最大。应在干净域内重新训练，使训练测试同分布。若数据量有限，可考虑先在去噪语音上预训练再在干净语音上微调，但这属于原文未验证的推测，需要自己补充实验。评估时除了看全局平均，还应看舌体等难器官与中位数，因为平均数易受大误差帧拉动。

物理尺度上 1.56 毫米略小于 1.62 毫米像素，说明误差已接近成像分辨率极限，进一步降低误差可能需要更高分辨率成像或更精细的分割，而不是单纯增大模型。最终判断是报告级别的事实，干净语音支持发音反演且接近磁共振域性能，但这是在单说话人、有音素对齐、有形状监督的条件下成立，推广到多说话人与无标注场景仍待验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总