耳戴上省电采样、手机上重建宽带：CAPS 的次奈奎斯特级联重建

英文题目：CAPS: A Cascaded Reconstruction Model to Power Saving in Hearables Using Sub-Nyquist Sampling with Bandwidth Extension

会议身份：conference:interspeech:2026:conference-paper-id:islam26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #高效推理 #流式处理 #语音增强 #语音超分

评分：6.4/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.6/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Tarikul Islam：机构信息未能从会议 PDF 纯文本可靠映射
• Sajid F. Dipto：机构信息未能从会议 PDF 纯文本可靠映射
• Luke B. Baja-Ricketts：机构信息未能从会议 PDF 纯文本可靠映射
• David C. Vergano：机构信息未能从会议 PDF 纯文本可靠映射
• Anomadarshi Barua：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作面向助听式可穿戴设备噪声下语音通信任务，输入为经亚奈奎斯特采样与低比特量化的气导麦克风窄带噪声语音与骨传导麦克风振动信号，输出为移动端恢复的宽带干净语音，难点在于低采样与大量化误差叠加高噪声时相位失真严重。频谱增强网络先在时频域将低分辨率频谱映射为高分辨率表示以简化后续建模，其输出进入上采样网络经多级转置卷积与扩张残差块将频谱转换为波形并提升时间分辨率。幅相增强网络最后融合骨传导波形并在幅度与解缠相位域联合去噪去伪影，与已有单模态带宽扩展或多模态增强相比，该链路将采样率与比特分辨率联合降额与跨模态相位修复放在同一级联中，使助听端可工作于亚奈奎斯特区而由手机承担重建。在桌面端4-16kHz带宽扩展与多模态增强评测任务下，CAPS的PESQ为2.99，高于SEANet的PESQ 2.43。在Google Pixel7上的端到端推理耗时为55.11毫秒，低于国际电信联盟150毫秒单向时延要求，支持流式传输。该结论依赖自采的20人英语朗读与特定压电与加速度传感器组合，跨语言、跨器件与编解码器存在时的泛化尚未验证，手机端约瓦级功耗需由大电池承担。该级联在Pixel7硬件上验证的端到端延迟对应的推理开销仍需由手机端大电池承担。

🔗 开源与复现资源

• 第三方资源：https://github.com/openai/whisper — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文解读如何组织？

本文解读的输入是论文正文证据与两张官方原图像素，目标是让刚进入语音与音频方向的研究生能复述 CAPS 做了什么、在什么条件下测出什么、复现时先核对什么。解读必须保留的关键信息包括耳戴端与手机端的分工、采样率与比特分辨率的具体配置、3 个级联模块的输入输出、训练与部署流程、评价指标方向以及功耗数字的适用边界。

全文按学习依赖展开，先讲耳戴低功耗任务与已有路线的缺口，再走完一个样本从耳戴采样到手机重建的全链路，然后拆开每个组件的计算、训练构造与推理部署，最后按问题组织实验条件、主结果、消融与限制。论文实际研究的任务只有一个，就是在耳戴端用次奈奎斯特采样与低比特分辨率采集气导与骨导信号以省电，再在手机端联合做带宽扩展与多模态语音增强，把窄带低分辨率含噪语音恢复为宽带干净语音。

白话说，次奈奎斯特采样是指采样率低于按奈奎斯特准则重建宽带所需的速率，带宽扩展是指从窄带信号估计出缺失高频的宽带信号，多模态语音增强是指同时用气导麦克风与骨导麦克风两路信号去噪。教学用的例子是，一段本应按 24 kHz 与 12 比特采集的宽带语音，在耳戴端只按 4 kHz 与 8 比特采集，高频与细幅值都被丢掉，再由手机端模型补回高频并压住噪声，这个例子只是帮助理解流程，不代表论文承诺所有语音内容都能无损恢复。

已有路线在同输入同目标下缺了哪一块？

论文把相关工作按是否做带宽扩展、是否做单模态增强、是否做多模态增强来对照。同输入是指同样处理耳戴采集的语音，同目标是指同样希望得到宽带干净语音，同运行阶段是指同样考虑耳戴采集加手机处理的分工。第一类是带宽扩展加单模态增强路线，包括 ATS-UNet、TFiLM、AFiLM、EBEN、TRAMBA、HiFi++、AERO、NVSR 与 NU-Wave 等，论文报告它们具备带宽扩展与单模态增强能力，但不具备多模态增强能力。第二类是多模态增强路线，包括 ClearSpeech 与 VibVoice，论文报告它们不具备带宽扩展与单模态增强的完整组合，只做多模态增强。

第 3 类是 SEANet，论文报告它具备单模态与多模态增强，但不具备带宽扩展。论文用这张对照说明的缺口是，已有工作要么只用单路气导信号做带宽扩展，要么只用多路信号做增强，没有同时处理降低采样率加降低比特分辨率，也没有在次奈奎斯特条件下联合做带宽扩展与多模态增强。因此 CAPS 的定位不是在同条件下打败所有模型的通用增强器，而是在耳戴必须省电因而只能给出窄带低比特输入的条件下，补上从窄带到宽带的多模态重建能力。

理解这点才能正确看待后文与 TFiLM、VibVoice、SEANet、AERO、EBEN、HiFi++ 6 个基线的比较，它们被统一拉到 4 到 16 kHz 带宽扩展加含噪增强的任务下比较，而不是拿各自原论文的最优设置直接比较。

为什么降低采样率和比特数会同时影响功耗与质量？

问题来自耳戴的物理约束。气导麦克风采集的空气传导语音容易混入背景噪声，骨导麦克风采集的振动信号相对干净但带宽与音质有限，传统做法是两路都按 16 kHz 以上与 12 到 24 比特采样，再经音频编码压缩后传到手机做增强。论文给出的模数转换器功耗关系是功耗随采样率与分辨率增长，形式为功率等于常数乘采样率乘 2 的比特数次方。白话说，采样率决定每秒采多少点，比特分辨率决定每个点幅值分得多细，两者都直接推高转换与传输功耗。

论文用 B&K Type 4192 气导麦克风与 NRF52840 内置模数转换器做了相对省电实验，报告 16 kHz 与 12 比特对比 4 kHz 与 8 比特可获得 2.45 倍相对省电，并指出对 22 kHz 与 24 比特的高保真耳戴省电会更大。降低采样率的代价是高频直接丢失，出现混叠与带宽不足，降低比特数的代价是量化误差增大，弱细节被抹平且噪声相对更明显。

已有框架不能做次奈奎斯特采样的原因是缺少从窄带分量重建宽带信号的方法，CAPS 要解决的正是这个矛盾，即耳戴端故意欠采样以省电，手机端再用学习到的带宽扩展与多模态增强把质量补回来。复述时要记住功耗公式是趋势性解释，真正的省电倍数必须回到 NRF52840 实测表核对，不能把公式计算值当成实测值。

一个样本如何走完从耳戴欠采样到手机重建？

先沿一个样本走完全程。假设 1 位说话人的语音同时被耳戴上的气导麦克风与骨导麦克风拾取，耳戴端模数转换器按 4 kHz 与 8 比特等低配置采样，得到两路低分辨率含噪波形，再经蓝牙传到手机。

手机端 CAPS 先把气导低分辨率波形经短时傅里叶变换变为 2 维时频谱图，送入频谱增强网络得到高分辨率谱，再经上采样网络变为 1 维波形，接着把该波形与骨导低分辨率 1 维波形拼接，经短时傅里叶变换得到幅度谱与包裹相位谱，送入幅度相位增强网络同时净化幅度与相位，最后经逆短时傅里叶变换得到增强后的宽带音频。论文报告的总体目标配置是从 24 kHz 与 12 比特或 16 kHz 与 12 比特降到 4 kHz 与 8 比特以省电，再在手机端恢复到原宽带配置。

以下导读对应官方总览图，左侧是耳戴省电采样与手机重建的分工，中间与右侧是 3 个模块的级联与参数量时延标注。

次奈奎斯特采样 × 带宽扩展： 次奈奎斯特采样负责在耳戴端故意只保留 4 kHz 左右的窄带低分辨率波形以降低模数转换器功耗，带宽扩展负责在手机端把窄带频谱恢复为 16 kHz 或 22 kHz 的宽带波形，二者搭配的理由是省电必须丢弃高频而可用性必须恢复高频，组合意义是把功耗压力从耳戴转移到电池大得多的手机上。

看图路径： 1. 先沿左侧耳戴采样到手机重建的主箭头走一遍输入到输出；2. 再看中间频谱增强网络、上采样网络、幅度相位增强网络三块的串联顺序；3. 对比上方上采样网络中 8x、8x、2x、2x 四级放大的标注；4. 观察下方骨导波形在何处拼接到主链路作为条件输入

论文图 1。原论文 Figure 1：“(Left) Overview of our appraoch. (Middle & Right) Our proposed design and different modules – UN & APEN – of CAPS.”。

从像素看，左侧蓝色框明确画出骨导与气导两路在耳戴欠采样后传到手机再输出增强音频的上下两条路径，中间黑色框画出气导谱与骨导波形在拼接处汇合后进入后续网络，右上蓝色框画出卷积层加 4 级上采样层与残差堆叠交替连接并标注 256 倍上采样，右下橙色框画出幅度与相位两条平行的深度 1 维卷积加点卷积链路并在末端经逆变换输出增强幅度谱与包裹相位谱。图中还标注频谱处理约 900.2 k 参数与 0.41 ms、上采样约 1130.3 k 参数与 0.68 ms、谱处理约 828.6 k 参数与 0.27 ms 等 GPU 时延，这些是理解级联代价的直接依据。

三个模块各自算什么，为什么要这样串起来？

频谱增强网络是 2 维卷积 U-Net 结构，编码器与解码器各 5 个残差层，瓶颈放一个 Mamba 块。每层残差包含批归一化与泄漏修正线性单元激活，并用不同空洞率扩大感受野以捕捉音素间依赖。白话说，空洞卷积是指卷积核之间跳过若干点去看更宽的上下文，Mamba 是指一种线性时间复杂度的序列建模结构，论文把它从 1 维序列适配到 2 维瓶颈的做法是先把空间维度展平为序列，过 Mamba 后再 reshape 回去。选择 Mamba 的理由是相比 Transformer 的 2 次复杂度更适合低功耗快速推理。

上采样网络借鉴 HiFi-GAN 第二版，用转置卷积实现 8 倍、8 倍、2 倍、2 倍 4 级共 256 倍提升，每级后接含 3 个空洞卷积的残差块，空洞率为 1、3、9，核长为 3，有效感受野为 27 步，激活用泄漏修正线性单元。幅度相位增强网络先对上采样波形做短时傅里叶变换，得到 125 帧乘 513 频点的幅度谱与包裹相位谱，两条流用相同的级联结构，即大核深度卷积加 1 对先扩维再恢复维度的点卷积，层间穿插层归一化与高斯误差线性单元激活，末端加残差连接防梯度消失。

白话说，深度卷积是指每个通道独立做卷积以省参数，点卷积是指用 1 乘 1 卷积混合通道，包裹相位是指相位被折叠到有限区间因而直接回归困难。

气导麦克风 × 骨导麦克风： 气导麦克风负责采集常规空气传导语音但易受环境噪声污染，骨导麦克风负责采集经骨骼振动传导的语音且相对不那么受噪声影响，二者搭配的理由是在极 noisy 条件下单靠气导信号难以恢复干净相位，组合意义是用较干净的振动信号作为条件去校正气导信号的幅度和相位。

频谱增强网络 × 上采样网络： 频谱增强网络负责在 2 维时频谱图层面把低分辨率噪声谱变为高分辨率谱以简化后续任务，上采样网络负责把 2 维谱表示变为 1 维波形并做 256 倍分辨率提升，二者搭配的理由是直接从低采样波形生成高采样波形映射跨度太大，组合意义是先在帧级谱域做去噪和带宽粗恢复，再在波形域做细粒度时间上采样。

幅度谱 × 相位谱： 幅度谱负责表示各时频点的能量大小，相位谱负责表示波形重建所需的相位角度且存在卷绕问题，二者搭配的理由是只增强幅度会留下伪影和噪声相位导致的失真，组合意义是在幅度相位增强网络中用两个耦合的 1 维卷积流同时净化幅度和相位再经逆短时傅里叶变换合成波形。

串联的逻辑是分工递进，频谱增强网络把最难的窄带到宽带粗映射放在谱域完成，上采样网络只负责谱到波形的细粒度时间展开，幅度相位增强网络再用骨导干净先验纠正残留伪影与错误相位。消融证据支持这种分工，拿掉幅度相位增强网络后性能明显下降，说明低分辨率谱与相位信息在噪声下确实需要该模块纠正。

模型用什么损失训练，训练流程如何走到手机？

训练解决的是如何让重建波形在时域、频域与感知上都接近干净目标。论文报告了 3 类损失。第一类是多周期损失，把重建 1 维波形按周期 5 与 7 切分为 2 维表示，维度为 1 乘采样点数除周期乘周期，对干净音频做同样切分后算平均绝对误差，只用 2 个周期以保持网络小巧，区别于 HiFi-GAN 用 5 个周期加 6 层卷积的做法。

第二类是相位谱损失，针对相位卷绕问题提出瞬时相位与群延迟的去卷绕损失，形式是对干净与重建的瞬时相位差与群延迟差先过抗卷绕函数再平均，抗卷绕函数定义为差值减去 2π 乘其除以 2π 后的四舍五入再取绝对值，群延迟由时频谱沿频率轴差分得到。第 3 类是多尺度损失，借鉴 MelGAN，对干净与重建音频在 1 倍、2 倍、4 倍下采样下算平均绝对误差并按三分之一加权。

关键训练超参数按原文交代是批量 8、约 50 轮、Adam 优化器学习率 1 乘 10 的负 4 次方、权重衰减 1 乘 10 的负 5 次方、动量参数 0.5 与 0.999、余弦退火热重启调度初周期 10 与倍乘 1、梯度裁剪最大范数 10、累积 2 批。训练先在配 4090 GPU 与 Silver 4310 CPU 的台式机上用 PyTorch 完成，再导出为 ONNX，经 ONNX-TensorFlow 转为 TensorFlow Lite，接入安卓 API 并用 GPU 代理在 Pixel7 的 Mali GPU 上运行。论文未报告梯度在各分支的具体冻结与更新策略，也未报告各损失权重搜索过程，因此复述时只能说 3 类损失联合监督重建，不能推定某一模块被冻结或某一损失主导收敛。

训练与部署成本如何理解，资源边界在哪里？

训练成本按原文交代主要在台式机侧，批量 8、约 50 轮、Adam 加余弦退火与梯度裁剪，消融中完整 CAPS 每轮约 212 秒，换 Transformer 后约 369 秒。部署成本分内存与时延，论文报告内存占用 11.04 MB、计算量 10.01 G FLOPs、参数量 2.85 M，桌面推理 1.36 ms、Pixel7 上 55.11 ms。理解时要分开 3 个量，训练资源决定复现 1 次要多久，推理开销决定模型有多大，实际延迟决定能否流式，三者不能混为一谈。论文保持桌面与 Pixel7 量化一致再比时延，这个做法支持跨设备比较，但未报告不同量化位宽下的精度损失，因此不能推定 int8 量化后指标不变。

硬件预算方面，耳戴侧只测了 NRF52840 的模数转换功耗，未计入蓝牙重传、编码与传感器自身功耗，手机侧只测了 Pixel7 与 S21 的运行功率与时延，未测发热降频后的长时稳定性。复现时应先按 float32 复现论文时延，再单独评估量化与长时运行，这是论文未覆盖的边界。

数据、硬件与指标在什么条件下测得？

数据是论文自采的多模态同步数据，因为已有 VibraVox 等多模态语料没有同时给出振动与加速度计在不同比特分辨率下的数据。论文招募 20 人共 11 男 9 女年龄 18 到 36 岁，每人约 45 分钟，同时用气导麦克风与两路骨导传感器按 22 kHz 与 12、10、8 比特采集，文本选自 VCTK 并经 Whisper 转写为朗读材料，再用 5 Hz 高通滤除身体移动。噪声分非语音与语音两类，信噪比负 7 到 5 分贝，非语音选自 Freesound 类噪声库，语音噪声选自 Librispeech 不同说话人。

可穿戴端用压阻振动传感器 CEB-27032-L100 与加速度计 352C33 贴在耳骨附近镜架上，内置 NRF52840 模数转换器采样并经蓝牙传到手机，采样可在 4 到 22 kHz 与 8 到 12 比特间调节。手机端选 Google Pixel7 的 Tensor G2 加 Mali-G710 MP7，也在 Galaxy S21 上验证泛化。评价指标方向是日志谱距离越低越好，VISQOL、NISQA-MOS、信噪失真比、语音质量感知评估、短时客观可懂度越高越好。基线是 TFiLM、VibVoice、SEANet、AERO、EBEN、HiFi++ 6 个，其中 VibVoice 与 SEANet 默认多模态，其余单模态，为公平比较把 CAPS 去掉骨导输入变为 CAPS-single 单模态版本。以下导读对应可穿戴原型图，用于核对传感器形态与佩戴条件。

看图路径： 1. 先确认左右两张侧视佩戴图各标注的是哪一种骨导传感器；2. 再看箭头所指的传感器在镜腿耳后附近的大致佩戴位置；3. 注意图注中位置可变的说明并理解佩戴差异带来的评估意义

论文图 2。原论文 Figure 2：“A prototype of hearable. As our low-resolution audio sampled from BCMs will go through joint BWE and multimodal SE in a mobile platform, we choose Google Pixel7 having the Google…”。

从像素看，左右两张图都是蓝色镜架耳戴的侧视佩戴，左图标注压阻振动传感器位置可变并用双向箭头示意耳后镜腿附近，右图标注加速度计位置可变并指向耳后稍靠下处，人脸关键区域已打白块遮挡。结合正文可知两路骨导传感器都靠近耳骨但具体贴合点可调，这意味着后文振动传感器与加速度计两列结果的差异应理解为位置与器件差异共同作用，不能只归因于算法。

功耗数字在什么硬件与传输条件下测得？

功耗实验的问题是耳戴省多少、手机多花多少。耳戴侧用 NRF52840 在 4 到 24 kHz 与 8、10、12 比特下开 EasyDMA 实测电流与功率，手机侧在 Pixel7 上测不同传输码率下运行 CAPS 的功率。以下两张整理表分别承担宽表要求，第一张聚焦耳戴省电倍数的可重算关系，第二张聚焦手机端恢复代价与流式可行性，指标方向是耳戴功率越低越好、手机推理时延低于 150 ms 才算可流式。

表后解释是按 2.325 除以 0.702 得到 3.31 倍，论文据此说电池续航理想提升约 3.31 倍，但这是理想换算，实际续航还受蓝牙、编码与待机功耗影响。另一份证据还报告 16 kHz 与 12 比特对比 4 kHz 与 8 比特的相对省电为 2.45 倍，说明倍数随基准配置变化，不能把 3.31 倍当成所有基准下的通用值。

表后解释是手机端平均约 1.15 W 相对耳戴节省可忽略，因为手机电池大两个数量级，但这不等于手机功耗不重要，连续 13 小时耗尽的估算只是说明量级，实际还随传输码率从 64 到 256 kbps 略增。Galaxy S21 上推理约 84.3 ms 仍低于 150 ms 但比 Pixel7 慢 1.51 倍，论文归因于 Pixel7 张量处理单元，支持结论是流式可行但时延数字不可跨芯片直接移植。

主结果在公平条件下测出什么，谁没胜出？

主比较的问题是在 4 到 16 kHz 带宽扩展加含噪增强下，CAPS 与 6 个基线在相同 12 比特与台式机条件下谁的感知质量与可懂度更好、代价是什么。公平条件是同为噪声数据、同为振动传感器在桌面评估、同为 4 到 16 kHz 上采样。表后解释是 CAPS 在语音 VCTK 与音乐 MagnaTagATune 上都取得更好的感知质量与可懂度，同时参数量与推理时延最低，论文报告推理 1.36 ms 比 HiFi++ 低 4.63 倍、比 AERO 低 27 倍，参数量比 HiFi++ 少 25 倍、比 AERO 少 13 倍。

未胜出项是 AERO 与 HiFi++ 在部分信噪失真比上仍有竞争力，但它们的桌面推理分别为 36 ms 与 6.3 ms 量级，在 Pixel7 上分别膨胀到 1441 ms 与 258 ms，远超国际电信联盟 G.114 建议的 150 ms 单向时延，只有 CAPS 在桌面 1.36 ms 与 Pixel7 的 55.11 ms 都低于 150 ms 因而支持流式。需要强调的是总体趋势不等于每组都成立，例如在加速度计列或音乐集上个别指标差距收窄，复述时必须限定数据集、传感器与比特配置。

表后补充代价与反例，CAPS 的低时延依赖台式机 PyTorch 到 TFLite 的量化与 GPU 代理，Pixel7 与 S21 同为 float32 量化下 S21 慢 1.51 倍，说明时延数字与芯片张量加速单元强相关。

音乐集上的优势小于语音集，且 CAPS-single 单模态版本在部分表项上与完整 CAPS 接近，说明骨导增益在某些干净或高信噪比条件下会被稀释，不能把多模态增益推广到所有信噪比。

拿掉关键部件或换配置后性能如何变化？

消融要回答 3 个操作问题，换掉 Mamba 会怎样，拿掉幅度相位增强网络会怎样，拿掉多周期损失会怎样。论文在 4 到 16 kHz 与 12 比特下报告，把频谱增强网络瓶颈的 Mamba 换成 Transformer 后指标相近，但每轮训练时间从 212 秒增到 369 秒，参数量从 2.85 M 增到 2.98 M，因此保留 Mamba 的理由是同等性能下训练更快更小。拿掉幅度相位增强网络后所有指标明显退化，参数量降到约 2.02 M 但日志谱距离升到 1.32、可懂度跌到 0.79，支持该模块对噪声下谱与相位纠正的关键作用。

拿掉多周期损失后日志谱距离看似略好但信噪失真比与感知评估明显下降，说明时域多周期监督对高低分辨率映射有效。另一类消融是比特与采样率，论文在 4 到 16 kHz 与 4 到 22 kHz 上采样下把比特从 12 降到 8，报告性能随量化误差增大而下降，但 CAPS 仍优于最优基线。主观评价在 4 到 22 kHz 扩展与 8 比特下请 12 人打分，平均 4.3 分制 5 分，支持感知质量被广泛接受，但这只是小样本主观分，不能当成可懂度或误字率的证据。

复述消融时不能说拿掉后必然在所有数据上崩溃，只能说在论文报告的该配置下出现上述方向的变化。

哪些验证还没做，不能承诺什么？

论文结论是 CAPS 以低延迟联合做带宽扩展与多模态增强，使耳戴低功耗与手机可部署兼得，但以下边界必须明确。第一，未考虑从耳戴到手机传输前的音频加密，安全需求高的场景不能直接套用省电结论。第二，评估时未包含音频编解码器，实际链路中编码压缩会引入额外失真与时延，论文数字可能偏乐观。第三，数据来自 20 人约每人 45 分钟的自采语料加人工混入的 Freesound 与 Librispeech 噪声，虽覆盖负 7 到 5 分贝，但仍不等于真实街头、风噪与多说话人混叠的全部动态干扰。

第四，比特分辨率只测到 8 比特，采样最低到 4 kHz，更低配置或非均匀量化未验证。第五，主观分只有 12 人、5 分制下 4.3 分，且只在 4 到 22 kHz 与 8 比特扩展下测得，不能当成所有配置的人评证据。第六，省电倍数基于 NRF52840 特定芯片与 EasyDMA 条件，高保真 22 kHz 与 24 比特下的更大节省只是推论，用词是可能而非报告。

因此值得尝试的场景是耳戴电池极小、手机算力充足、允许轻微质量损失的实时通话增强，不值得直接承诺的场景是医疗级转写、低延迟音乐制作或强安全加密链路，这些都需要补测误字率、端到端延迟与编码后质量。

复现先做什么，需要保留哪些超参数与信息条件？

复现的第一步是重建数据条件，按 22 kHz 采集气导与两路骨导同步波形，保留 12、10、8 比特三档，用 5 Hz 高通去身体移动，按负 7 到 5 分贝混入非语音与语音噪声，并记录振动传感器与加速度计各自的位置，因为后文两列结果不可互换。第二步是按原文超参数训练，先在台式机 PyTorch 中用批量 8、约 50 轮、学习率 1 乘 10 的负 4 次方、权重衰减 1 乘 10 的负 5 次方、动量 0.5 与 0.999、余弦退火初周期 10、梯度裁剪 10、累积 2 批训练，再导出 ONNX 转 TFLite 并用 GPU 代理在 Pixel7 上运行，保持 float32 量化一致后再比 1.36 ms 与 55.11 ms。

第三步是核对评价口径，日志谱距离越低越好，其余五项越高越好，数据集要分开报告 VCTK 语音与 MagnaTagATune 音乐，传感器要分开报告振动与加速度计，比特要分开报告 8 到 12 比特。代码可用性方面，论文只给出 Whisper 第三方链接可用状态为 available 与 200，地址为开放 AI 的 Whisper 仓库，未声明 CAPS 本身代码与权重公开，因此只能写 CAPS 代码当前未在证据中公开，不能写已开源。还需补的验证是加入常用编码器后的质量与功耗、加密后的额外开销、跨佩戴位置的稳定性以及长时发热后的时延漂移。

如何一句话记住 CAPS，何时用何时不用？

记住 CAPS 就是耳戴欠采样省电、手机级联重建质量的 3 段式分工，频谱增强管谱域粗恢复，上采样管波形细展开，幅度相位增强管骨导条件下的去伪影与相位纠正。当耳戴功耗是主要矛盾、手机算力与电池相对充裕、任务是实时语音通话增强时值得尝试，可按 4 kHz 与 8 比特采集、手机端恢复到 16 或 22 kHz 的链路先复现。当任务要求逐字准确的转写、 studio 级音乐保真、端到端加密或必须经过重编码传输时暂不直接采用，需先补测误字率、编码后指标与安全开销。

重提结果时增加适用条件才有意义，例如 CAPS 在 12 比特桌面 4 到 16 kHz 上优于六基线且时延最低，但该结论限定在论文自采数据与噪声范围内，换到加速度计、音乐集或 8 比特时优势幅度会变化。最终收束是效率与省电的折中已被论文的实测数据部分支撑，但从实验室到产品仍缺编码、安全与长期佩戴三块验证，补上后才能判断真正的续航收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总