📄 MoBiMark:在说话时刻把身体特征绑进语音的水印系统
评分:6.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Guodong Liu:Nanjing University, Nanjing, Jiangsu, China
- Lei Wang:Soochow University, Suzhou, Jiangsu, China
- Dongxu Liu:Nanjing University, Nanjing, Jiangsu, China
- Qianran Qiao:Nanjing University, Nanjing, Jiangsu, China
- Haipeng Dai:Nanjing University, Nanjing, Jiangsu, China
- He Huang:Soochow University, Suzhou, Jiangsu, China
- Guihai Chen:Nanjing University, Nanjing, Jiangsu, China
📌 核心摘要
语音交互输入是一段待验证语音,期望输出是其是否来自已注册真人且内容未被改动,难点是克隆语音音色逼真、静态水印可被抹除或复用。手机在通话位置同时录下可听语音和听筒发出的多载频超声回波,前者表征说了什么,后者表征是谁的声道在动,两者须在同一时刻对齐。先由语音编码器和超声编码器分别提取特征并融合验证身份,输出的融合特征送入判决模块,超声与语音不一致则拒绝。再把用户编号与内容相关码组成双层水印嵌入语音,含水印语音送往云端,云端比对重新生成的水印与嵌入水印是否一致。与只做离线水印或只做活体判断的方法不同,该工作把生物证据固定在采集时刻并随语音传播,伪造须同时通过活体一致性和水印内容一致性。在50人、多款手机的评测中,来源级三类攻击平均检测准确率为99.59%,传播级多类攻击平均检测准确率为99.91%,后者高于前者。传播级中仅局部编辑的P1攻击下水印相似度降至76.59%±9.84%,低于真实样本的99.73%±0.84%,整数量化后模型总量约58.83 MB,最小端到端延迟约24.12 ms,结论适用于近距离、正面持机采集,超出有效距离或采集链被绕过时不成立。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
手机语音要防什么:输入目标与两类攻击
MoBiMark 处理的输入是手机麦克风同时收到的两路信号,一路是 16 kHz 的可听语音,另一路是经解调得到的超声回波。目标是在说话发生的时刻就确认说话人是注册本人,并且让这段语音之后被改动时能被发现。输出是带有 256 位水印的语音,以及检测端给出的是否可信的判断。
只用声纹的问题在于,生成模型用很短的注册录音就能克隆音色,检测伪造痕迹的方法又容易随合成器进步而失效。论文把威胁分成两段,源端是录音时刻的冒充,传播是录音之后的内容改动。源端例子包括直接重放或合成目标语音、再配上与内容无关的假超声,甚至模仿发音动作去骗超声。传播例子包括替换其中 0.5 到 1.0 秒、删掉一段、拼接多段、把别处提取的水印直接注回伪造语音。
源端攻击 × 传播攻击: 源端攻击指冒充本人发声,例如重放、克隆或伪造超声,传播攻击指拿到已认证语音后再编辑、拼接或复用水印,二者分工对应水印生命周期的两段,搭配双层水印后分别由跨模态验证和内容水印一致性来防范。
理解后续设计的关键是,水印必须同时绑定谁在说话和说了什么。如果只绑定内容,攻击者可以去掉水印再重加;如果只用静态编号,改了内容也发现不了。因此系统用稳定的用户编号加每句变化的内容编号,两者缺一不可。
与声纹、活体检测和旧水印有何不同
传统声纹验证只回答像不像目标音色,不保护传播后的内容,也不验证录音时刻是否有真人在场。语音活体检测补上了采集时刻的真人判断,但一般只在采集时刻做一次判断,之后语音被剪辑或转存就管不住了。传统音频水印则相反,它能在传播中携带信息,但在源头无法证明语音来自真人,而且多为离线静态水印。
下面的原表直接比较了这 3 条路线和 MoBiMark 在 6 个能力上的差异,比较问题是同一语音安全任务下谁覆盖源头和传播、谁有动态内容绑定、谁抗编辑和重放克隆。
| Method | Protects Speaker ID | Source-side Liveness | Protects Propagated Audio | Dynamic Speech Binding | Resistant to Speech Editing | Resistant to Replay / Clone |
|---|---|---|---|---|---|---|
| Speaker Verification (Voiceprint) (Shang and Stevenson, 2010; Wang et al., 2011; Wu et al., 2015; Kinnunen et al., 2017) | ✓ | ✗ | ✗ | ✗ | ✗ | Limited |
| Voice Liveness Detection (Schroff et al., 2015; Yan et al., 2026; Abdulkareem and Hassin, 2025; Shuwandy et al., 2025) | ✓ | ✓ | ✗ | ✗ | ✗ | Partial |
| Audio Watermarking (Uddin et al., 2024; Roman et al., 2024; Yao et al., 2025a; Yao et al., 2025b; Chen et al., 2023) | ✗ | ✗ | ✓ | Partial | Limited | ✗ |
| MoBiMark | ✓ | ✓ | ✓ | ✓ | ✓ | Strong |
这张表说明 MoBiMark 想同时占住两头,源头用超声活体加语音比对,传播用动态水印的内容一致性。但表格中的 Strong、Limited 属于定性标签,不是同一数据集上的实测对比,读时不能当成胜负证据。真正的证据要看后文在自采 50 人数据上的检出率和听感指标,以及它们成立的距离、角度和手机条件。
系统保证什么、不保证什么
论文给出两个安全目标,一是源真实性,即语音来自合法注册说话人,二是传播完整性,即之后听到的内容与生成时一致。为此它做了明确的信任假设,手机的麦克风、超声收发、操作系统和本地水印生成管线是可信未被攻破的,攻击者不能直接向传感器数据流注入伪造数字测量,也拿不到足以复刻该用户语音超声对应关系的大量配对观测。
攻击者被设得很强,知道系统大致原理,能拿到已公开的语音和带水印语音,还能接触静态检测器实现。但静态检测器只能查静态编号,动态编号的检测只在可信云端进行且机制不公开。自适应攻击者可以尝试同步伪造语音和超声、边放假语音边放假超声,但仍受上述可信采集边界约束。
这意味着结论是有条件的,如果手机系统被提权篡改、传感器驱动被改、注册环节被冒名,或者攻击者真能长期窃听目标的配对超声语音,都不在本文的威胁模型内。论文也说明云端验证服务可信、传输用常规安全通道、注册在可信环境完成。因此文中报告的高检出率只在上述可信采集边界内成立,对超出该边界的物理攻击并不直接适用。
从说话到验真要走哪几步
先看整体流程再拆部件,会更容易跟上。一个注册用户先用任意一句话注册,系统压缩成特征向量并分配 64 位稳定编号 UID。每次说话时手机一边录语音一边发超声探测,超声由顶部听筒发出,经面部和发音器官反射后被邻近麦克风以 48 kHz 记录。两路信号送入水印生成器,先验证是不是本人,通过才生成 192 位随内容变化的 SID,与 UID 拼成 256 位水印。
请按这个任务看图,重点是注册、分配、生成、检测四步与左右两路信号如何汇合。
看图路径: 1. 先看左侧从语音和超声到水印再到加锁波形的箭头;2. 再看顶部云端注册、分配 UID、生成 SID、检测的四个步骤;3. 对比右侧三种应用场景下底部比特串的颜色和表情含义
论文图 1。原论文 Figure 1.:“MoBiMark for speech security in different scenarios.”。
这张图左侧显示说话人和超声信号进入 MoBiMark,中间输出 UID 和 SID 并加锁到波形,顶部虚线标出用户注册到云端数据库、UID 分配、SID 生成、水印检测 4 个步骤。右侧 3 个应用场景分别对应智能交互、会议记录为通过,伪造编辑为不通过,底部比特串颜色变化直观表达了水印一致与不一致的区别。它帮助理解水印不是事后盖章,而是在采集时刻绑定身体证据后嵌入的。
之后嵌入器把水印藏进语音,检测器在端侧可只查 UID,在高安全场景把语音传云端重算水印再比对嵌入的水印。稳定器是可选的去噪增强模块,分别放在生成前和云端复算前,用来容忍良性噪声和降采样。整个加水印过程在本地完成,论文称检测端如需上云可用经典混合加密处理,但这部分未在本实验中测量。
语音和超声如何变成可比的向量
水印生成器的第一阶段要解决新用户泛化问题。语音编码器直接沿用在大规模说话人数据上预训练的 CAM++ 编码器,输出 512 维向量。论文的解释是,高维空间既能拉开不同人,又能让同一个人的不同语句不塌到一点,这种类内分散正好为动态水印提供语句差异。超声编码器则需要从零训练,但只用有限采集数据会让新用户特征与老用户重叠,因此用余弦相似损失把它对齐到语音特征空间,再加一个弱解码器的均方重构损失保留语句细节。
\[\mathcal{L}_{\text{s1}}=\lambda_{c}\mathcal{L}_{\text{c}}+\lambda_{u}\mathcal{L}_{\text{u}}\]上式是第一阶段损失,由对齐损失和重构损失加权组成,原文权重为 1.0 和 0.2。它约束的是什么很明确,对齐项让同一用户的超声和语音聚拢、不同用户分开,重构项迫使编码器保留原始超声的时间结构,避免类内塌缩。超声输入是 32 通道波形,16 个频率乘以同相与正交两路,时间长度与语音同步。
语音编码器 × 超声编码器: 语音编码器负责把可听语音变成区分用户和区分语句的向量,超声编码器负责把声道运动引起的超声回波变成同空间的向量,二者分工是提供可比的两种证据,搭配后才能做跨模态一致性验证,组合起来多出活体来源判断能力。
请结合总览图理解信号走向与损失回路,左侧是生成与嵌入检测主路,右侧是稳定器展开。
看图路径: 1. 沿超声和语音两路输入找到水印生成器的是否本人判断分支;2. 看嵌入器编码器加水印再解码与感知损失、检测损失的回路;3. 注意右侧稳定器展开图中多尺度卷积与跳跃连接的位置
论文图 2。原论文 Figure 2.:“Overall architecture of MoBiMark.”。
这张总览图左侧可见超声和语音分别进入水印生成器和嵌入器编码器,水印生成器下接是否目标用户的判断分支,通过才输出 UID 和 SID 比特串并与嵌入器编码器输出相加,再经嵌入器解码器变成带锁波形送入检测器输出比特串,图中有感知损失与检测损失回路。右侧是稳定器的展开结构,可见 MT(3)/MT(7)/MT(15)/MSS/RB/DU/CB/TC1D/Conv1D 与跳跃输入等模块。它把感知损失、检测损失和稳定器的位置一次讲清,避免把嵌入听感和检出能力混为一谈。2 阶段编码器对齐与适配融合的内容在另一张水印生成器架构图中,不在这张总览图内。
超声编码器本体先用卷积茎与 4 个多核残差块做 300 倍时间下采样,再用两个时序 Transformer 建模全局依赖,最后池化投影到 512 维。解码器用 4 级反卷积恢复分辨率。这种设计同时照顾身份区分和时间结构保真,但具体卷积核 3、9、17 与注意力头数的选择是原文给定结构,没有提供逐项消融。
如何判断是本人并生成随内容变化的水印
第二阶段把两路 512 维特征经对称适配器转到 192 维,再用双向多头交叉注意力融合。融合时超声查语音上下文、语音查超声上下文,之后用门控抑制跨模态噪声,再把全局语音向量、全局超声向量及其相乘、相减、取最大 3 种关系特征拼成 960 维,经度量头投影回 192 维融合向量。三元组损失让同一人靠近、不同人远离,边界参数为 1.0。
\[\mathcal{L}_{\text{t}}=\max\left(\|\mathbf{x}_{a}-\mathbf{x}_{p}\|_{2}^{2}-\|\mathbf{x}_{a}-\mathbf{x}_{n}\|_{2}^{2}+\alpha,0\right)\]上式是三元组损失,锚点与正样本距离减去锚点与负样本距离再加边界,取与零的最大值。它约束的是融合空间的度量结构,为后续验证提供可比距离。适配器是轻量线性层加归一化与激活,保持时序长度不变,好处是改水印位数时不用重训其他模块。
验证逻辑是分层的,先用语音特征找最像的注册人,若最高相似低于注册阈值则当新用户,若低于语音阈值则拒绝,再同时要求超声相似和融合相似都过阈值才通过。原文实验取语音、超声、融合阈值均为 0.5,注册阈值为 0.1。通过才允许嵌入,否则没有有效水印的语音在下游都被视为无效。
通过后的 SID 生成把当前语音特征减去注册语音特征、归一化后与注册融合特征逐元相乘,再经双曲正切与符号函数二值化。
\[SID_{i}^{j}=\text{sign}\big(\tanh\big(\text{norm}(\hat{\mathbf{s}}_{i}^{j}-\mathbf{s}_{i}^{0})\odot\text{norm}(\mathbf{f}_{i}^{0})\big)\big)\]上式说明 SID 同时依赖当前语句与注册时的身体融合特征,语句被改则差值变化,二值码也变化。最终水印是 UID 与 SID 拼接。云端动态检测就是用待验语音重算一次 SID,再与语音里读出的 SID 比对,一致为真。
UID × SID: UID 是系统分配的 64 位稳定用户编号,用于轻量身份核对,SID 是每句话动态生成的 192 位内容相关编号,用于发现改动,二者拼接成 256 位水印,搭配后同时支持查是谁说的和查内容是否被改。
请看 2 阶段训练与二值化输出的关系,理解验证与生成共用同一套特征。
看图路径: 1. 对比第一阶段冻结语音编码器与训练超声编码器的损失箭头;2. 看第二阶段适配器、融合模块与三元组损失的作用位置;3. 注意右侧二进制转换输出与初始融合特征的连接关系
论文图 4。原论文 Figure 4.:“Overall architecture of the Watermark Generator.”。
这张图左侧第一阶段显示语音编码器冻结、超声编码器与解码器用余弦损失和均方损失训练,右侧第二阶段显示两路经适配器进入融合模块,用三元组损失训练并输出融合向量再二值化。虚线标出的初始融合特征对应注册模板。它说明论文将一句话注册的设计归因于语音编码器的区分性与超声对齐策略,本文不声称相关代码、模型或数据当前已公开可用。
水印如何藏进语音又能被读出
嵌入沿用 AudioSeal 思路并扩展到 256 位动态水印。按时间分帧把水印切成 16 帧,每帧 16 比特。直接把 16 帧连续放在每个块里称为按块排列,但均匀降采样会每次丢掉相同相对位置的帧,造成系统性丢失。论文改用按组排列,连续 16 个块为一组,每块重复放其中一段 16 比特、持续 16 帧,256 帧内通过时间交织放完整个水印。原文明确说这只是期望提高容忍,不能保证所有降采样下每比特都恢复。
嵌入器 × 检测器: 嵌入器负责把 256 位水印藏进语音波形且保持听感,检测器负责从波形中把水印读出来,二者联合训练以平衡听感、容忍良性处理和对恶意改动的敏感,组合后形成从加水印到验水印的闭环。
感知损失与检测损失共同控制听感、容忍良性处理和对恶意改动的敏感,论文沿用 AudioSeal 与 SpeechVerifier 的损失设计来联合支持这些目标。检测分两端,端侧静态检测只查 UID,适用于简单实时场景,用汉明距离衡量读出码与真码的差异。云端动态检测用待验语音重算 SID 再比对,中间会经过稳定器恢复被良性改动过的语音。
稳定器本身是类 U-Net 编码解码结构,多尺度卷积提取局部声学特征,空洞可分离残差下采样,瓶颈用 4 个轻量 Conformer 块,解码用反卷积加跳跃连接做残差增强。训练用波形均方与 Mel 谱均方加权,权重取 10 和 1。注意去噪只用于送入水印生成与检测的复制,不改动原始语音以保留真实性。
稳定器 × 水印生成器: 水印生成器依赖语音特征生成 SID 因而对噪声和降采样敏感,稳定器是在生成前和云端复算前对语音去噪增强的预处理模块,二者搭配后在容忍良性变化的同时保留对语义篡改的敏感。
理解组帧时注意横轴是帧序号,纵轴是比特位置,颜色代表不同水印段。
看图路径: 1. 先看左侧按块连续排列 16 帧水印的帧编号走向;2. 再看右侧按组把同一 16 比特段重复 16 帧的分组方式;3. 对比均匀降采样时会丢掉哪些相对位置的帧
论文图 7。原论文 Figure 7.:“Chunk-based vs. group-based watermark framing.”。
这张图左侧按块排列显示每个块内 1 到 256 比特连续出现,右侧按组排列显示组 1 内块 1 三列全为深蓝、块 2 三列全为浅绿、仍属组 1 的块 16 三列为灰色,而组 2 下的块 17 三列又回到深蓝,箭头表示从前者改到后者。它直观说明交织如何把信息摊到多个块上,从而避免固定相对位置被整体删掉,但也不能推出对任意剪辑都免疫。
模型分几步训练、量化如何做
训练分阶段进行。超声编码器训练 400 轮,批量 32,AdamW 学习率 3 乘 10 的负 4 次方,权重衰减 1 乘 10 的负 4 次方,余弦退火。融合模块训练 400 轮,批量 128,AdamW 学习率 5 乘 10 的负 4 次方,第一阶段权重冻结,学习率按余弦退火每 10 轮调整。嵌入器与检测器是在开源 AudioSeal 上用按组帧策略联合微调。稳定器用 AdamW 学习率 2 乘 10 的负 4 次方,批量 24,400 轮,混合精度与梯度裁剪。
轻量化用 INT8 量化,权重对称量化、激活非对称量化,并用训练时模拟 INT8 的量化感知训练缓解精度损失,前向加伪量化,反向用直截估计器近似梯度,不支持 INT8 的层保留 FP16。量化后端用面向移动端的 QNNPACK。原文称总大小从 170.66 MB 降到 58.83 MB,降幅 65.53%,后续实验默认用端侧量化模型,并与 FP32 对比。
下面的原表比较各模块量化前后的大小,比较问题是量化压缩了多少、代价由谁承担。
| Module | FP32 (MB) | INT8 (MB) |
|---|---|---|
| Watermark Generator | 81.37 | 24.97 |
| Embedder | 56.17 | 21.57 |
| Detector | 33.12 | 12.29 |
| Stabilizer (Optional) | 84.00 | 23.88 |
| Total | 170.66 (+84.00) | 58.83 (+23.88) |
表中可见水印生成器与可选稳定器是压缩大头,总量下降约三分之二。但大小不等于延迟与功耗,实际实时性要看后文在三款手机上的延迟与续航测量,且稳定器在端侧可选、在云端可不用量化。
数据怎么采、攻击怎么造、指标看什么
采集用顶部听筒发 16 个正交子载波的连续波,频率从 17.15 kHz 到 22.4 kHz 间隔 350 Hz,麦克风以 48 kHz 记录。用同相与正交载波相干解调,加 50 Hz 低通提取发音器官运动成分,再 16 倍降采样到 3 kHz,得到 16 频率乘以两路共 32 通道的基带信号。可听语音用 6 阶巴特沃斯低通 16 kHz 截止提取,两路来自同一段记录因而天然时间对齐,按 48 kHz 每 512 点块打硬件时间戳。
数据来自 50 人男女各半,40 人训练、10 人测试,每人约 0.5 小时配对数据,采集时手机距脸 20 到 25 厘米,语音 16 kHz 切 5 秒窗。正样本约 25 小时,源端负样本包括无超声的伪造语音 25 小时、配假超声约 250 小时、模仿发音的自适应攻击超 2 小时,传播负样本包括编辑、裁剪、拼接、复用水印、语音伪造各 2 到 3.5 小时。稳定器另用 20 小时干净语音加 5% 到 20% 强度环境噪声,按 8 比 2 划分。
评价用水印生成与检测的真阳性率、假阳性率、真阴性率、假阴性率,以及假阳性等于假阴性时的等错误率、ROC 曲线下面积和准确率。嵌入听感用尺度不变信噪比、语音质量感知评价、虚拟语音质量客观听众和短时客观可懂度,这些都是数值越大表示失真越小的客观感知指标。影响因素部分只看水印生成器对正样本的准确率。
源端和传播攻击各能检出多少
总体上随机选注册样本 20 次平均,ROC 曲线下面积为 0.9630 正负 0.0092,等错误率为 0.0558,正样本准确率 93.15%。论文称即使量化后整体准确率仍高,这为部署提供基础,但要记住正样本准确率与攻击检出率是不同分母,不能混读。
源端 3 类攻击平均防御准确率 99.59%,前两类因伪造语音与超声无一致对应而被拒,自适应模仿因回波模式仍与本人不同而被拒,同时保持对合法用户低误拒。传播 5 类攻击平均检出 99.91%,两者综合即摘要中的平均 99.79%。最难的是只改或删一小段并试图保留原水印的编辑与裁剪,此时水印相似度分别降到 76.59% 正负 9.84% 和 81.02% 正负 8.95%,而真样本为 99.73% 正负 0.84%,拼接、复用与伪造因语义与嵌入水印不一致更大而更易检出。
这些数字成立的条件是测试集来自同一采集流程、距离角度受控、攻击者不能注入传感器数据流也不能获得大量配对观测。若换成更强的自适应超声伪造或跨信道压缩通话,检出率需要重新测量,不能直接外推。
加水印后声音变差吗、检测稳吗
听感比较问题是同一批语音在 FP32 与 INT8 下加水印后的客观质量差异,数值越大越好。
| Level | SI-SNR↑ (dB) | PESQ↑ | STOI↑ | ViSQOL↑ |
|---|---|---|---|---|
| FP32 | 23.88 | 4.43 | 0.997 | 4.81 |
| INT8 | 20.01 | 4.26 | 0.981 | 4.67 |
表中 INT8 比 FP32 略降,但仍处高位,论文称听感与可懂度影响可忽略。注意这是客观指标,不是人工听音,压缩与重编码下的稳健性要看下一张检测表。
检测比较问题是在良性处理与恶意操作下 FP32 与 INT8 的检出稳定性,良性看真阳性与假阳性,恶意看真阴性与假阴性。
| Operation | TPR | FPR | TNR | FNR |
|---|---|---|---|---|
| Compression | 1.00/1.00 | 0.03/0.03 | – | – |
| Reencoding | 1.00/1.00 | 0.02/0.03 | – | – |
| Resampling | 0.98/0.98 | 0.01/0.01 | – | – |
| Noise suppression | 0.98/0.98 | 0.01/0.01 | – | – |
| Simple deletion | – | – | 0.99/0.99 | 0.01/0.01 |
| Simple splicing | – | – | 0.99/0.99 | 0.09/0.09 |
| Silencing | – | – | 0.98/0.97 | 0.02/0.02 |
| Substitution | – | – | 0.99/0.99 | 0.00/0.00 |
| Reordering | – | – | 0.98/0.97 | 0.00/0.00 |
| Text-to-speech | – | – | 1.00/1.00 | 0.00/0.00 |
| Voice conversion | – | – | 0.98/0.98 | 0.01/0.01 |
表中两种精度表现接近,说明 INT8 部署有效。未胜出的一项是简单拼接的假阴性为 0.09,高于其他恶意操作,说明小段拼接仍是最易漏检的类型。稳定器方面,量化版处理含噪语音后,语音特征与干净语音的相似及水印码相似分别提升 33.15% 和 24.06%,水印码相似达到 95.33%,但这是含噪测试集上的结果,不代表对语义篡改也提升。
哪些因素会让识别变好或变差
本节只看水印生成器对正样本的识别准确率。双模态联合最高 93.15%,说明融合向量学到深层对应而非简单拼接,且语音信息未干扰超声判别。时间窗越大准确率越高,1 秒短窗仍有约 89.57%,且架构与窗长无关,可不重训直接调窗,在延迟与性能间权衡。
手机泛化用三星 S10、S22 Ultra、vivo X200 Pro 和一加 15 测试,均不低于 92.50%,原因是只依赖普通麦克风硬件。距离 10 到 25 厘米每 5 厘米测试,总体不低于 87.54%、平均 91.67%。角度以屏幕与脸平行 0 度为基线、垂直正负 20 度内测试,不低于 92.89%。
限制同样清楚,距离拉远回波变弱会降质,有效范围既是局限也是近场存在性约束。推理延迟在 INT8 下水印生成加嵌入最小为 10.32 加 13.80 等于 24.12 毫秒,满足实时通信要求,量化延迟最多降 71.9%、功耗最多降 19.35%,新手机续航最长达 18.47 小时。测试用 1 秒窗、20 毫秒滑步、100 样本,这些延迟与功耗数字只在所测三款手机与该配置下成立。
结论在什么边界内才成立
首先是物理边界,超声依赖近场反射,需要用户主动配合、保持有效距离与朝向,远了弱、偏了差,论文用距离与角度实验量化了这点,日常通话距离多在该范围内才可用。其次是信任边界,硬件与传感管线、注册环境、云端服务都被假设可信,针对可信采集路径的直接注入、驱动篡改、提权攻破都不在范围。
再是攻击边界,评估的克隆、编辑、复用水印都在给定构造下进行,攻击者没有目标的大量配对语音超声观测。若攻击者能长期近距离窃听或破解对应关系,自适应攻击效果需重估。最后是传输边界,当前实时处理不等于实时通话可用,语音编码器可能破坏水印,论文提出未来把水印融入神经语音编码潜表示,但尚未验证。
读结果时还要分清指标,正样本准确率、攻击检出率、水印相似度、听感客观分各有分母与方向,不能互相替代。定性表中的 Strong 不能当实测提升,续航与延迟不能推广到未测机型。
想复现第一步做什么、需要补什么验证
值得尝试的场景是近距离手机语音交互且能控制采集流程,例如智能助手唤醒后短指令验证、会议录音存档备查,这时源端活体加传播水印正好补上声纹的短板。若是远场、跨设备、强压缩通话或不便正对手机的场景,应先做小规模可行性测试。
复现第一步是搭同步采集,按原文用听筒发 16 载波超声、麦克风 48 kHz 同录,再做相干解调、50 Hz 低通、降采样到 3 kHz 得到 32 通道基带,同时低通提取 16 kHz 语音并按硬件时间戳对齐。接着用预训练语音编码器提 512 维向量,按余弦对齐训练超声编码器,再训适配融合与三元组度量,最后按组帧微调嵌入检测。关键超参数包括对齐与重构权重 1.0 和 0.2、三元组边界 1.0、验证阈值 0.5 与注册阈值 0.1、稳定器损失权重 10 和 1。
本次未发现来源绑定且完成验证的资源,不得声称代码模型数据已公开,复现应按自采数据与开源 AudioSeal 重做。还需补的验证包括跨人群与口音、嘈杂与移动伪影、不同编码压缩、长时漂移下的误拒误纳,以及人工听音与语音识别影响,这些在原文中尚未充分测量。
一句话总结与行动清单
MoBiMark 把超声身体证据与语音内容在采集时刻绑成 UID 加 SID 的动态水印,用嵌入检测与可选稳定器兼顾听感与稳健,再用量化做到端侧实时。证据支持在 50 人受控采集与给定攻击构造下源端 99.59%、传播 99.91% 量级的检出,以及量化后听感客观分小幅下降。
行动清单很具体,能近场配合时可试点注册一句话加端侧 UID 快验,高安全再走云端 SID 复算。部署前先测目标机型的距离角度包线与 1 秒窗延迟功耗,定好汉明距离阈值与是否启用稳定器。上线后持续记录误拒、压缩失配与新型克隆的漏检,特别是小段拼接这类假阴性较高的情况,再决定是否扩大到实时通话。
📎 论文与评分元数据
排名:前50% | 文档类型:系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses



