📄 隔着玻璃听清说话：毫米波雷达语音增强挑战赛 RASE 在做什么
英文题目：ICASSP 2026 Radar Acoustic Speech Enhancement (RASE) Challenge
评分：6.3/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Zhi-Wei Tan：机构信息未能在本次解析中与作者逐人可靠绑定
- V. G. Reju：机构信息未能在本次解析中与作者逐人可靠绑定
- Ritesh C. Tewari：机构信息未能在本次解析中与作者逐人可靠绑定
- Ruotong Ding：机构信息未能在本次解析中与作者逐人可靠绑定
- Patrick A. Naylor：机构信息未能在本次解析中与作者逐人可靠绑定
- Andy W. H. Khong：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
穿玻璃场景需要从毫米波雷达测到的表面振动中恢复可懂的全带宽语音，输入是雷达中频（Intermediate Frequency，IF）信号相位变化换算得到的振动语音，输出是与干净语音时间对齐的增强语音，难点在于雷达信号带宽受限、信噪比低，并受反射面材质和几何影响，失真与传统麦克风增强不同。本文介绍 ICASSP 2026 Radar Acoustic Speech Enhancement（RASE）挑战，组织了直接振膜振动和二次表面振动两种采集条件，训练与验证采用 LibriSpeech 播放录制，测试采用未公开语料以检验跨语料泛化，并通过 Codabench 在服务器端统一评分。参赛系统以振动语音为输入，输出 8 kHz 波形，再按感知语音质量评估、扩展短时客观可懂度、梅尔频率倒谱系数余弦相似度与深度噪声抑制平均意见分预测值组合计分，直接场景占 40%，二次表面场景占 60%。相对以往各自搭建硬件、缺乏配对参考的做法，该工作提供了配对数据、预处理、基线代码和可复现的提交流程。在隔离测试集上，第一名 WHU IASP 综合得分为 0.3431，超过基线的 0.2324，感知语音质量评估为 1.541，扩展短时客观可懂度为 0.248。结论适用于所采集的 77 GHz 雷达、玻璃隔离、扬声器播放条件，真实人声、其他材质和更复杂混响尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
第三方资源：https://github.com/RASE-Challenge/challenge_baseline2026 — 暂时无法访问
第三方资源：https://rase-challenge.github.io/RASE2026-Challenge/ — 链接可访问（HTTP 200）
第三方资源：https://www.codabench.org/competitions/10857/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
为什么要在玻璃外用雷达听声音
这篇论文要解决的不是普通降噪，而是麦克风不好用时的拾音问题。比如人关在玻璃房间里，麦克风不能放进去，或者现场需要保持距离、不能接触被测对象，这时传统麦克风就失效了。论文把这种场景明确为透过玻璃的语音采集，雷达放在玻璃房外面，采集室内说话引起的振动。
论文提出的思路是用毫米波雷达隔着玻璃测振动。说话声会让扬声器振膜或附近物体表面产生微小抖动，雷达发射电磁波并接收回波，从回波变化中估计这种抖动，再还原成可听的语音。这种方式是非接触的，能穿透玻璃，有较高的空间分辨力，适合麦克风无效或不便部署的场合。
但难点也很具体。雷达得到的信号往往带宽受限、信噪比低，而且失真方式和普通麦克风噪声不同，它还受反射面材料特性和传感几何的影响。也就是说，同样一句话，经过玻璃和振动环节后，高频丢失、幅度起伏、相位畸变都会出现，直接听会很闷、很糊，需要专门的语音增强模型来恢复成全带宽、可懂的语音。
以前的雷达语音工作缺了什么
论文回顾说，已有不少雷达语音处理研究，但大多各自搭建硬件原型，各自录数据、各自评价，没有统一的数据集和基准。这带来两个后果，一是别人很难复现，二是不同方法之间无法公平比较，研究成果难以在更广的语音增强社区里传播。
与同一封闭空间内的常规语音增强相比，透玻璃雷达增强的输入退化完全不同。常规增强处理的是麦克风录到的带噪或带混响语音，而这里处理的是由表面振动导出的语音信号，缺高频、低信噪比是常态，还叠加了表面机械特性的滤波作用。所以不能直接把普通增强榜单的结论搬过来，需要单独建立任务和评价。
这次挑战赛的目标就是补上这个缺口，提供配对的雷达与干净语音录音、标准预处理、基线系统和统一客观指标，形成第一个公开的雷达语音增强基准，让语音处理社区可以直接做模型开发，而不必先去搭雷达硬件。论文强调这是首次面向毫米波雷达振动测量的社区挑战赛。
比赛的输入输出和必须保留的信息
比赛任务可以这样理解。输入是毫米波调频连续波雷达测到的振动导出语音信号，已经转成标准音频波形文件。输出是增强后的全带宽语音，要求人能听、后续任务能用，必须保留的是原话的语言内容、音素序列和说话节奏，不能改变文本，也不能靠猜测补出另一句话。
举个例子，假如播放一句图书朗读，雷达在玻璃外测到的是闷而断续的抖动波形，模型要输出一句清晰完整的同内容语音，采样率与参考一致，时间上与输入对齐。例子只是帮助理解流程，不代表实测效果，实际能恢复多少要看评测指标。
评价不是只看一个指标，而是从可懂度、感知质量和频谱一致性几个角度一起看。测试包含两种传感条件，难度不同，最后要加权成一个总分来排名。训练和测试的语料来源还故意错开，以检验模型是否只记住了训练语料的特点，这是理解后续结论成立条件的关键。
挑战赛整体提供了什么
挑战赛不是只发一个数据集，它提供了一整套可复现的流程。包括预处理后的雷达转音频信号，让参赛者跳过雷达信号处理细节；基于 WaveVoiceNet 的基线架构和训练说明，作为参考系统；以及网站和 Codabench portal 上的评测框架，保证所有提交在同一保密测试集上运行。
数据划分上，训练和验证语句来自 LibriSpeech 语料，保证语言和声学多样性，而保留的测试集来自未公布的语料。这种跨语料设计是为了防止模型过拟合 LibriSpeech 的说话人或录音风格，更能反映鲁棒性。论文明确说，测试语料在比赛期间不公布。
规则上强调公平和聚焦模型本身。所有队伍必须从零训练，不允许用预训练权重，只能用提供的训练和开发数据，不允许用外部数据或增强。测试阶段每队最多提交三次，开发试用不限次数，验证阶段最多三十次用于代码校验，还提供模板和单行执行命令来打包提交，确保服务器端能可靠复跑。
雷达怎样把振动变成语音波形
具体传感过程是这样的。系统把语音通过扬声器经由玻璃面板播放，雷达放在玻璃房外面，采集语音引起的表面振动幅度。所用设备是 77 GHz 毫米波调频连续波雷达，型号为 TI AWR2243BOOST，chirp 率为 8 kHz。这个参数决定了振动采样的快慢和时间分辨能力。
对调频连续波雷达振动测量而言，语音是通过目标表面微位移编码在雷达中频信号中的。接收到的中频雷达信号通过估计中频相位变化，被映射为振动导出语音信号。参赛者拿到的就是这种振动导出语音信号和时间对齐的干净语音，都是 8 kHz 采样率的标准音频播放波形文件。
这意味着参赛模型看到的已经不是原始射频采样，而是经过相位解调的音频化波形。好处是语音研究者可以直接用音频模型处理，代价是雷达前端的带限和噪声已经被固化在波形里，模型必须学会补偿这种特殊的失真，而不是处理普通的加性噪声。
毫米波调频连续波雷达 × 雷达振动测量： 毫米波调频连续波雷达指发射频率随时间线性变化、通过回波频率差测距测微动的雷达体制，雷达振动测量指从回波中频信号相位变化反推表面微米级位移的过程，二者搭配才能把语音引起的玻璃或振膜抖动变成可处理的波形，组合后多了非接触、穿透玻璃的拾音能力。
两种录音条件各模拟什么困难
数据集包含两种场景。第一种是直接振膜振动，雷达测量扬声器振膜本身的振动，信号相对较强，相当于比较简单的透玻璃传感条件。第二种是二次表面振动，在扬声器附近放一层薄铝箔，铝箔被声波间接带动，雷达测的是这层箔的振动，信号更弱，失真更严重。
可以把前者想象成直接摸着音箱听，后者想象成隔着一张纸听余震。后者幅度小、高频损失大，对模型的补全能力要求更高。论文的数据采集系统被设计成能横跨这两种传感条件，生成适合人听和下游任务的增强语音。
最终排名时，给简单的直接振膜场景 40% 权重，给更难的二次表面场景 60% 权重，就是为了让总分更偏向考验严重失真下的表现。这个加权不是平均，难场景的下滑会对总分影响更大。
直接振膜振动 × 二次表面振动： 直接振膜振动指雷达直接照射发声的扬声器振膜，振动强、信噪比相对高，二次表面振动指雷达照射扬声器旁边的薄铝箔、靠声波间接带动的弱振动，二者分工是模拟由易到难的两种透玻璃传感条件，组合后可以检验模型在严重衰减下的泛化能力。
参赛模型拿到什么、要交出什么
沿着一个样本走一遍，流程是这样的。原始输入是一段 8 kHz 的振动导出语音波形，比如 2 秒长的含糊语音。模型对它做增强处理，输出一段同样长度、同样采样率的波形，内容不变但更清晰、频带更完整。输入输出都是波形文件，时间已经对齐，便于监督学习。
训练时，每段输入都有时间对齐的干净语音作为目标，模型可以逐样本学习映射关系。验证和测试时，只给输入，输出波形再由评测端计算 4 个客观指标。模型结构不限，但必须遵守只用提供数据、从零训练的规定。
基线实现基于 WaveVoiceNet，论文把架构和训练细节放在公开实现和文档中，作为可复现的参考。参赛者可以在此基础上替换自己的网络结构，但输入输出格式和采样率必须与模板一致，否则服务器端无法统一执行和打分。
振动导出语音信号 × 时间对齐的干净语音： 振动导出语音信号指由雷达中频相位估计得到的、带限且失真的音频波形，是模型的输入，时间对齐的干净语音指与之逐样本对齐的原始播放语音，是训练监督和评价参照，二者配对才让语音增强模型能学习从失真到全带宽可懂语音的映射。
训练规则和防作弊的评测流程
这一节没有新的网络训练技巧，讲的是比赛允许什么、不允许什么，以及评测如何执行。所有队伍必须从零训练，即不使用预训练权重，只用提供的训练和开发数据，不允许外部数据或增强，目的是避免靠大语料或大模型预训练获得不公平优势。
提交次数也被严格限制。测试阶段每队最多三次，防止对保密测试集反复试探；验证阶段最多三十次，用于代码校验；另有不限次数的开发试用入口。提交通过模板和单行执行命令打包，由 Codabench 平台在服务器端安全执行，保证标准化和防篡改。
保留的测试数据不公开，评测在服务器端完成。这种设计下，参赛者无法看到测试说话人和文本，只能靠模型本身的泛化能力。复现时第一步就是按模板把模型和推理脚本打包，确保在同样的 8 kHz 输入输出格式下能单命令运行，否则连验证关都过不了。
保密测试集 × Codabench 平台： 保密测试集指不公开、与训练不同语料来源的测试语音，用于防止针对测试集调参，Codabench 平台指在服务器端统一执行参赛模型并计算指标的评测系统，二者搭配实现防篡改、可复现的公平比较，组合后多了跨语料泛化能力的检验。
四个指标和总分是怎么算的
每条测试语音都会计算 4 个互补的客观指标。扩展短时客观可懂度衡量可懂度，PESQ 衡量感知质量，DNSMOS 是神经网络预测的平均意见分式质量，CS-MFCC 通过梅尔频率倒谱系数之间的余弦相似度来量化频谱和音素一致性，取值在负 1 到 1 之间。所有指标都是越大越好，这一点在比较时必须先确认。
挑战赛分数先把 PESQ 和 DNSMOS 线性归一化到 0 到 1 区间，记为归一化 PESQ 和归一化 DNSMOS，再与另外两个指标平均。公式要计算的是每个场景下的平均分，即 4 个归一化或原始指标的算术平均。
\[\text{Avg. Score}=\frac{\text{PESQ}_{n}+\text{ESTOI}+\text{CS-MFCC}+\text{DNSMOS}_{n}}{4},\]其中分子四项分别是归一化 PESQ、可懂度、频谱一致性和归一化 DNSMOS，分母 4 表示平均。得到直接振膜和二次表面各自的平均分后，再按 40% 和 60% 加权得到最终总分，二次表面占比更高，因此难场景的表现更能拉开差距。
PESQ × ESTOI： PESQ 衡量感知语音质量，与人耳听感的失真容忍相关，ESTOI 衡量短时客观可懂度，与音节和词语能否听辨相关，二者搭配是因为质量好不等于可懂度高，组合后从听感和信息保留两个角度约束增强结果。
DNSMOS × CS-MFCC： DNSMOS 是用神经网络预测的平均意见分式质量分，不需要参考语音即可打分，CS-MFCC 是增强语音与参考语音梅尔频率倒谱系数之间的余弦相似度，需要参考并反映频谱和音素一致性，二者搭配兼顾无参考感知评价和有参考频谱保真度。
八支队伍和基线的总分对比说明什么
下表要回答的比较问题是，在同一保密测试集和同一 4 个指标加权规则下，各参赛模型谁的总分更高，以及在直接振膜和二次表面两个场景下是否都稳定。公平条件是所有模型都从零训练、只用提供数据、测试集相同且跨语料，指标方向都是越大越好。
| Rank | Team | PESQ | ESTOI | DNSMOS | CS-MFCC | (a) Direct | (b) Secondary | Overall |
|---|---|---|---|---|---|---|---|---|
| 1st | WHU IASP | 1.541 | 0.248 | 2.650 | 0.598 | 0.4129 | 0.2966 | 0.3431 |
| 2nd | ZJU ShulinZhu | 1.478 | 0.262 | 2.338 | 0.624 | 0.3917 | 0.2895 | 0.3304 |
| 3rd | USTC NERCSLIP | 1.318 | 0.194 | 1.673 | 0.625 | 0.3176 | 0.2236 | 0.2612 |
| 4th | Team Quantz | 1.306 | 0.183 | 1.580 | 0.627 | 0.3086 | 0.2152 | 0.2526 |
| 5th | Origin Research | 1.301 | 0.183 | 1.642 | 0.608 | 0.3025 | 0.2183 | 0.2520 |
| 6th | SSSL | 1.317 | 0.157 | 2.040 | 0.518 | 0.3075 | 0.2074 | 0.2474 |
| 7th | Augm. Listen. Lab | 1.209 | 0.163 | 2.121 | 0.506 | 0.3224 | 0.1853 | 0.2401 |
| N/A | Baseline | 1.279 | 0.166 | 1.436 | 0.604 | 0.2820 | 0.1994 | 0.2324 |
| 8th | SRIB Language AI | 1.162 | 0.026 | 1.449 | 0.449 | 0.1698 | 0.1477 | 0.1565 |
原表报告了前 8 名和基线在 4 个客观指标以及两个场景平均分和总体加权分上的结果。第 1 名 WHU IASP 总体加权分最高，直接振膜和二次表面平均分也最高，PESQ 和 DNSMOS 占优；第 2 名 ZJU ShulinZhu 在可懂度上占优；第 4 名 Team Quantz 在频谱一致性上占优，但总分仍落后，说明单项高不等于综合高。本表数值与单位依据论文 PDF。
主要收益是前 7 名中有多队超过基线，说明针对这种振动退化专门设计的增强模型确实能带来提升。代价和限制是绝对分仍然很低，例如可懂度普遍在 0.2 左右，说明即使最好模型也远未恢复到清晰语音水平，且二次表面分数系统性低于直接振膜，证实了弱间接振动更难。排名第 8 的 SRIB Language AI 低于基线，提供了未胜出的反例，说明不适配这种失真的方法可能还不如基线。训练与验证用 LibriSpeech、测试用未公开语料的跨语料设置，也让这里的差距更能反映泛化能力而非对训练分布的过拟合。
传感与评测的硬性条件有多严格
下表要整理的比较问题是，传感参数、数据格式和提交规则是否对所有队伍一致，严格程度如何。比较的是原文明确给出的硬件、采样和评测预算，数值和单位来自原文连续句子，不做换算，条件相同才有可比性。
| 条件 | 原文数值 | 用途 |
|---|---|---|
| 雷达载频与型号 | 77 GHz，TI AWR2243BOOST | 透玻璃振动传感硬件 |
| 雷达 chirp 率 | 8 kHz | 振动采样快慢 |
| 音频文件采样率 | 8 kHz，.wav 格式 | 模型输入输出格式 |
| 测试阶段提交上限 | 3 次 | 防止对测试集过拟合 |
| 排名加权 | 直接振膜 40%，二次表面 60% | 难场景占比更高 |
上表说明，输入本身就是 8 kHz 窄带，模型输出上限也被限定，无法凭空变出超宽带细节；硬件和 chirp 率固定，意味着振动时间分辨率有限。提交次数限制和加权规则共同决定了结论成立条件，只有在同样窄带输入、同样跨语料测试和同样加权下，排名才有意义。把这里的提升直接推广到其他雷达型号或更高采样率是不成立的，还需要重新采集和评测才能下结论。
跨语料测试真正考验了什么
论文没有给出传统意义的消融，即去掉某个模块后性能掉多少，但用跨语料设计代替了泛化检验。训练验证用 LibriSpeech，测试用未公布语料，目的是防止模型记住 LibriSpeech 特有的说话人、文本或录音风格。如果只是在训练分布上拟合得好，换到新语料时 4 个指标会同时下滑。
从结果看，所有模型在二次表面下都下滑，说明振动强度变化带来的域偏移比文本变化更致命。尤其是依赖频谱细节的 CS-MFCC 和依赖感知的 DNSMOS，在弱信号下更容易掉分。这也解释了为什么总分要给二次表面更高权重，就是要放大这种泛化差距。
尚未评测的范围也很明确。论文没有报告不同玻璃厚度、不同距离角度、不同音量下的分条件结果，也没有报告噪声环境变化的影响。因此，现有结论只支持在本次采集几何和播放音量下，模型能部分恢复可懂度，不能回答换一个房间是否还成立，这部分仍待验证。
这些结论在什么条件下才成立
首先，输入是已经转成音频的振动导出信号，不是原始射频。结论只适用于这种预处理后的 8 kHz 波形增强，不涉及雷达前端相位估计算法本身的好坏。如果前端估计变了，输入分布也会变，榜单不能直接沿用。
其次，语音是扬声器经玻璃播放的，不是真人隔玻璃说话。扬声器振膜和铝箔的振动特性与人声带、皮肤不同，所以结果不能直接等同于人体语音采集效果。真人场景的振动更复杂，现有数字会高估还是低估都无法从本文得知。
第三，评价全是客观指标，没有主观听音和下游任务测试。PESQ、ESTOI、DNSMOS 和 CS-MFCC 方向一致时可以说综合更好，但自动指标不等于人工评价，低分段的差异是否能被人耳感知，原文没有测量。最后，训练资源、推理开销、延迟和帧率都没有报告，不能从总分高低推断哪个模型更快或更省，总体趋势也推不到每一句。
要复现第一步该做什么
复现的第一步是拿到数据和基线代码，按模板跑通单命令推理。论文给出了挑战网站和 Codabench portal 链接，基线基于 WaveVoiceNet，文档中有架构和训练细节。需要注意，代码开源、权重可下载、系统可运行是三件事，要分开确认，本篇只承诺了数据集、基线系统和评测框架通过网站和 portal 发布，没有承诺提供预训练权重直接下载。
第二步是检查数据格式。输入输出都是 8 kHz 的波形文件，时间已对齐，训练只能用提供数据且从零开始，不允许外部数据或增强。照着这个条件训练，才能与榜单公平对比。验证阶段有三十次机会调通打包，测试阶段只有三次，顺序不要搞反。
常见误解是把表中的 PESQ 1.5 左右当成普通增强任务的低分而忽视。实际上这里的输入起点极低，基线 PESQ 仅 1.279 左右，可懂度仅 0.166 左右，提升到第 1 名的水平已是相对明显的改善，但绝对质量仍属难懂水平。另一个误解是把加权总分当成两个场景的简单平均，实际上二次表面占 60%，难场景权重更大，直接平均会高估性能。
什么时候值得尝试还缺哪些验证
当你的场景确实是麦克风无法部署，比如需要隔玻璃、保持距离或非接触拾音，且能接受窄带、低信噪比起点时，这套雷达振动增强路线值得尝试。前提是有类似的配对数据做监督，且目标是提升可懂度和频谱一致性，而非追求高保真音质。如果已有干净麦克风信号，就不必绕到雷达这条路。
从证据看，专门针对振动失真训练的模型能超过通用基线，第 1 名在总分和两个场景上都领先，说明联合优化 4 个指标的方向是有效的。但支持的判断仅限于本次采集装置、播放方式和跨语料测试下，客观指标的相对排序成立，不能推广到其他硬件或采样率。
还缺的验证包括真人语音而非扬声器播放、不同玻璃和几何条件、主观听音和下游语音识别测试，以及计算成本和实时性测量。补上这些，才能回答该方法能否从榜单走向实际部署。对于刚入门的研究生，先跑通基线、复现两个场景的分数差距，再针对二次表面的弱信号设计补偿，会是更扎实的起点。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses