标签：#全双工语音交互 | #数据增强 | #对抗鲁棒性 | #形式化分析
评分：7.4/10 | 创新 1.6/2 | 技术严谨 1.3/1.5 | 实验充分 1.1/1.5 | 清晰度 0.9/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 0.9/1.5
👥 作者与机构
- Kian Shamsaie：机构信息未在 arXiv HTML 中可靠披露
- Iman Modarressi：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
全双工语音到语音对话模型以常开麦克风同时收听与说话，攻击者可在载体语音掩蔽阈值之下注入不可闻加性扰动，并毒化持久对话状态，直接将音频转为口语动作而无可审查文本，防御需兼顾不可闻预算与实时对话质量。先以载体对话语音为输入移植掩蔽阈值威胁模型，负责形式化目标语义劫持、静音拒绝服务与可复用前缀越狱三类目标，输出的感知球扰动约束与攻击目标直接作为后一步噪声成形的预算进入防御设计。再以原始波形与该感知球约束为输入，在波形域注入掩蔽阈值成形噪声训练编码器，并在残差向量量化瓶颈处注入局部码本协方差成形的各向异性高斯噪声后重量化，输出的双重增强码流与干净码流一同进入下一步一致性训练。最后以干净码流与增强码流为输入，用KL一致性项绑定输出分布联合优化对话模型，输出共享权重的PALS-Train部署算子与经蒙特卡罗投票给出椭球半径证书的PALS-Certify认证变体。与高斯增强、输入平滑、PGD对抗训练及Demucs前端等已有方法相比，关键差异在于噪声协方差同时由码本几何与掩蔽阈值决定并作用于潜空间，使防御随机化与攻击者感知约束对齐而非各向同性加噪。在攻击预算Δ=0 dB的评测条件下，PALS的UTMOS为3.82，低于未防御智能体的UTMOS 3.91。该结果的适用边界受限于英语双人对话与数字及模拟混响语音条件，输入端约负26分贝的认证半径远弱于实测攻击区间且尚未验证跨语种与强自适应攻击外推，失败条件包括超出潜空间认证椭球的大预算扰动。训练成本约为1.4倍壁钟时间，PALS-Train推理开销为零而PALS-Certify需千次采样的推理开销。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么？为什么全双工比识别更容易被持续操纵？
本文的输入是用户通道的连续语音波形，采样率为 24 千赫兹，研究对象是边听边说的端到端语音到语音对话智能体。这类智能体用流式卷积编码器把波形压成每秒 12.5 帧的连续潜变量，再经残差向量量化变成离散码，对话模型同时消费用户流与智能体自发流并以亚秒延迟说话。初学者需要先建立的白话图像是：麦克风从不关闭，对话状态一直在累积，音频直接变成 spoken 动作而没有可检查的文字中转。
论文要解决的矛盾是，自动语音识别已经被证明可用听不见的扰动欺骗，而全双工把这种单次欺骗放大为可持续投毒与延迟利用，早期埋入的扰动可以在多轮之后才改变回复。输出是智能体的语音回复，其语义被外部裁判映射为有限决策集合中的一类，后续的劫持、静默与越狱都是在这个语义决策层定义的。本文默认从原文独立写作，不引入外部评价，所有事实回到原文证据核对，当前没有验证通过的开源代码与模型资源，因此不声称代码模型数据已公开。
同输入同目标的前人路线与本文缺口在哪里？
在同输入同目标上，语音对抗样本路线从波形优化的定向攻击开始，发展出把扰动藏在动态声学掩蔽阈值之下的做法，并加入房间变换期望以保证空中播放仍有效，通用扰动与物理回放进一步说明威胁不限于数字域。语音大模型路线把文本域的对抗后缀搬到音频域，报道了接近九成的白盒越狱成功率，并有自适应目标优化与叙事诱导等变体，评测基准也在标准化。
但原文指出这些工作针对的是半双工音频大模型或专有助手，没有为流式全双工语音到语音模型形式化掩蔽扰动攻击者，也没有在编码器潜变量接口给出可证明防御。在同运行阶段的防御路线上，对抗训练与其改进仍是最强经验防御，但训练成本成倍增加且需要自适应评估，感知变换与扩散纯化等前端可能被可微分的攻击者绕过。
认证路线来自随机平滑及其在差分隐私中的先驱，有对抗训练的平滑分类器与去噪平滑等加强，也有针对不可闻噪声预算的序列随机平滑，但代价是字错率上升。数据依赖与各向异性噪声已是既有方向，包括逐样本优化方差、拟合椭球证书与结构化输出证书，以及用已知利普希茨编码器把潜变量证书传回输入。
本文的证书机械属于该各向异性潜变量家族，真正的差别是平滑分布本身与不可感知威胁模型匹配，一侧由码本几何导出，另一侧由掩蔽阈值协方差下的最大熵论证导出。
攻击者被允许动哪里？三种目标如何写成优化？
论文把系统记为编码器、量化器与对话模型的串联。用户波形进入编码器得到维度为 512 的连续帧，再经 8 个码本、每个大小为 2048 的残差量化器变成码，对话模型以这些码与历史为条件输出智能体回复的分布。攻击者拥有白盒权限，知道编码器、量化器、模型参数与防御细节，用带投影的亚当优化器求解，梯度经过量化器时用直通估计器，这是自适应评估的要求。下面的导读先讲威胁图，再给出感知球与劫持目标的原始形式。
威胁图把攻击流程画成从左到右的 3 段：攻击者先生成受掩蔽曲线约束的扰动，再与载体语音相加，最后分别以数字方式或经房间混响与麦克风以空中方式送入全双工智能体，右侧分出劫持、静默与越狱 3 个目标，说明同一约束机制可以承载 3 种语义后果。
看图路径： 1. 先从左侧红色攻击者出发，沿箭头看到扰动如何进入掩蔽阈值圆圈再与载体语音相加；2. 区分相加节点后数字直达与经过房间混响再进入全双工智能体的两条投递路径；3. 最后核对右侧三个并列输出框，确认劫持、静默与越狱是同一扰动机制下的三种目标
论文图 1。原论文 Fig. 1:：“Threat model. The attacker optimizes a perturbation confined beneath the masking threshold of the carrier speech, delivers it digitally or over the air, and pursues hijack, mute,…”。
图 1 的教学价值在于把约束、投递与目标分开。约束部分用一条包络曲线压住红色抖动波形，表示扰动能量必须处处低于掩蔽阈值；投递部分用加号节点分出数字直达与房间回放两条箭头，表示评估同时覆盖数字白盒与空中条件；目标部分用 3 个并列框表示 1 次成功的扰动可以按攻击者意图改变回复内容、压制发声或打开策略限制。读图时不要把房间图标当成装饰，它对应后文用房间脉冲响应与 babble 噪声做的期望变换评估。
\[\mathcal{P}_{x}(\eta)=\bigl\{\delta\in\mathbb{R}^{T}:\lvert(D\delta)_{f,k}\rvert^{2}\leq\eta^{2}\,\theta_{x}(f,k)\;\;\forall(f,k)\bigr\},\]上式是感知球的定义。符号中大写字母表示短时傅里叶变换，f 与 k 分别表示帧与频格，西塔表示载体语音的全局掩蔽阈值，德尔塔表示待求的加性波形扰动。计算目标是要求扰动在每个时频格的幅度平方都不超过缩放后的阈值，等价于在掩蔽加权的上确界范数下半径为伊塔的球。论文用分贝报告预算，零分贝表示触及可闻阈值，负分贝表示留出余量，投影到该凸球的操作是逐格幅度裁剪后再做逆变换。
\[\min_{\delta\in\mathcal{P}_{x}(\eta)}\;-\log p_{\vartheta}\bigl(y^{\star}\mid Q(E_{c}(x+\delta)),h\bigr),\]上式是定向语义劫持的目标。符号中星号上标表示攻击者指定的目标回复，p 表示对话模型在量化码与历史条件下的回复分布。计算目标是在感知球内最小化目标回复的负对数似然，也就是最大化模型说出指定内容的概率。静默攻击把目标换成自然停顿对应的静音码，要求智能体流在 10 秒内活跃帧比例低于 5%；越狱攻击优化一段可复用的 3 秒音频前缀，把它拼到有害语音请求之前，目标是让模型以肯定性开头回答。空中变体在目标外层再包一层对房间脉冲响应与噪声的期望。
心理声学掩蔽阈值 × 感知球： 心理声学掩蔽阈值负责给出每个时频格点上人耳可容忍的能量上限，分工是把载体语音的听觉特性转成逐格功率预算；感知球负责把所有满足逐格幅度约束的波形扰动集合成攻击者的可行域，分工是给出优化与投影的硬约束；二者搭配的原因是阈值本身是随载体变化的预算表，必须有一个集合语言才能做投影优化，组合后攻击既被限制在听不见范围内，又可以在该范围内用梯度寻找最有效的扰动形状。
防御全景：噪声加在哪里？一个旋钮如何管住两处？
防御的核心判断是攻击必须经过编码器的潜变量瓶颈，因此平滑也加在该瓶颈处。方法全景可以沿一个样本走完：用户语音先走干净支路，经编码器与量化得到干净码并生成干净回复；同一语音再走增强支路，先在波形域叠加掩蔽成形噪声，再经编码器得到潜变量并叠加各向异性高斯噪声，随后重整量化得到增强码并生成增强回复；两个回复的分布用一致性项拉近。
整个防御只有一个自由标量西格玛，它同时缩放潜变量噪声强度与输入噪声增益，输入增益经 1 次校准使两处引起的中位潜变量位移相当。训练时不运行任何攻击，只做 1 次额外前向，推理时部署的算子不做采样，因此没有推理成本。需要严格区分的第二算子是认证变体，它在推理时做 1000 次噪声采样的多数投票，付出采样成本以换取可证明半径，二者共享权重但推理行为不同。下面的导读对应管线图，帮助初学者把两条支路与一致性节点的位置固定下来。
看图路径： 1. 沿上方干净支路走完用户语音到残差量化编码器再到干净回复的主路径；2. 沿下方增强支路确认掩蔽成形噪声先加到波形、各向异性噪声再加到潜变量后重整量化的顺序；3. 找到右侧菱形一致性节点，确认它比较的是干净回复与增强回复两个分布
论文图 2。原论文 Fig. 2:：“The PALS post-training pipeline. The augmented path adds masking-shaped noise in the waveform domain and anisotropic codebook-covariance noise in the latent domain, re-quantizes…”。
图 2 从左到右的主路径是用户语音分叉为上下两路，上路经残差量化编码器到潜变量令牌再到干净回复，下路先经过掩蔽成形噪声的加号、再经编码器、各向异性潜变量噪声与重整量化后到增强回复，中间竖直的对话语言模型同时接收两路令牌，右侧菱形节点比较两个回复分布。图中虚线标注的一个旋钮同时连向两处噪声，表示西格玛是唯一的控制量。读图时注意重整量化框的位置，它保证模型在训练时始终消费离散支持上有效的码，而不是连续噪声本身，这与推理时看到的码分布一致。
两处噪声的形状从何而来？为什么不是各向同性高斯？
潜变量增强的形状来自码本单元的局部几何。校准阶段把每一潜变量帧指派到最近的第一码本条目，并在每个单元内累积残差的经验协方差，再做收缩与迹归一化以保证正定。直观例子是：某个单元内编码器输出沿某个方向抖动很大，该方向的协方差就大，平滑噪声在该方向也更大；攻击若想在量化后仍有效，必须沿该方向跨越单元边界，因此防御的随机化方向与危险方向一致。
输入增强的形状来自掩蔽阈值，每一时频格的噪声是独立零均值圆对称复高斯，方差正比于该格阈值，再经逆变换合成波形。论文用引理说明，在跨格独立、零均值且满足期望功率约束的所有分布中，该高斯分布唯一地最大化微分熵，因此它是只知道功率预算时的最小假设选择。
需要强调的边界是，该约束是协方差意义的期望功率约束，不是感知球的逐点上确界约束，高斯样本以接近一的概率落在球外，论文用显式的尾部惩罚项处理该差距，而不是假装高斯支持在球内。
\[\Sigma(z_{t})=\tfrac{d}{\operatorname{tr}(\Sigma^{\prime}_{t})}\Sigma^{\prime}_{t},\qquad\Sigma^{\prime}_{t}=(1-\rho)\,\widehat{\Sigma}_{v(z_{t})}+\rho I_{d},\]上式是潜变量平滑协方差的构造。符号中帽子西格玛表示单元经验协方差，柔表示收缩系数取 0.1，d 表示潜变量维度，迹归一化使协方差的迹固定为维度。计算目标是为处在某单元的帧给出正定的成形矩阵，增强帧等于原帧加西格玛乘以该协方差下的高斯向量，模型消费重整量化后的码并用直通梯度回传。输入侧增益记为输入噪声强度等于常数乘以西格玛，该常数 1 次性校准，不作为新的超参数。
残差向量量化 × 各向异性潜变量噪声： 残差向量量化负责把编码器输出的连续帧映射为离散码本序号，分工是形成对话模型实际消费的离散接口，也是攻击必须穿过的瓶颈；各向异性潜变量噪声负责在量化前沿码本单元内残差协方差大的方向注入更大扰动，分工是让平滑尊重量化几何而不是均匀抖动；搭配的原因是能存活到量化后的攻击必然沿高方差方向跨越单元边界，组合后训练看到的扰动分布与真正危险的扰动方向对齐。
掩蔽匹配输入增强 × 最大熵分布： 掩蔽匹配输入增强负责在波形域按掩蔽阈值成形的谱包络加噪声，分工是锻炼编码器对阈值形状能量的耐受性；最大熵分布负责在只知道逐格期望功率约束时给出最不预设的随机化选择，分工是为该增强提供信息论依据；搭配的原因是防御者只知道攻击者被限制在感知球的功率预算内而不知道其具体形状，组合后高斯成形噪声成为覆盖该预算的最小假设选择。
训练目标如何把干净路径与增强路径绑在一起？证书半径如何算出？
训练目标在标准后训练交叉熵之外加一项贝塔加权的散度一致性，贝塔取 4，按每个生成令牌计算后平均。记干净码为编码量化原波形所得，增强码为编码量化加噪波形再加潜变量噪声并重整量化所得，目标是最小化后训练损失加上干净分布到增强分布的散度。开销约为 1.4 倍 wall-clock，而 10 步投影梯度对抗训练约为 3.4 倍。训练细节包括 80000 步优化、余弦衰减、西格玛在前 10000 步内爬升、协方差在 20 小时留出音频上校准。
后训练数据为三千多小时双通道英语对话，覆盖多个来源，音频重采样到 24 千赫兹、每通道 1 位说话人。部署算子是训练后权重直接运行，认证算子是固定协方差下的蒙特卡洛平滑，证书要求在干净点与扰动点使用同一平滑分布，因此训练时每帧重选单元相关协方差的做法不能直接用于证明，必须冻结协方差。
\[\mathcal{L}(\vartheta)=\mathbb{E}\Bigl[\mathcal{L}_{\mathrm{post}}(\vartheta;x)+\beta\,\mathrm{KL}\bigl(p_{\vartheta}(\cdot\mid\hat{z},h)\,\|\,p_{\vartheta}(\cdot\mid\tilde{z},h)\bigr)\Bigr],\]上式中期望是对数据与增强噪声取的，散度项比较的是以干净码与增强码为条件的输出分布。原始目标是后训练的下一个令牌交叉熵，近似是单样本增强下的散度，优化步骤是普通的后训练梯度，没有内层对抗优化。原文未给出逐层梯度路径的额外假设，不从模型名称推定实现，重整量化处的梯度按直通估计器处理是原文明确写出的唯一特殊路径。
\[\lVert\Sigma^{-1/2}\delta_{z}\rVert_{2}\leq\tfrac{\sigma}{2}\bigl(\Phi^{-1}(\underline{p_{A}})-\Phi^{-1}(\overline{p_{B}})\bigr)=:R_{\Sigma}.\]上式是各向异性平滑证书的椭球形式。符号中大写字母表示获胜类别，下划线与上划线概率分别表示多数类概率下界与次大类概率上界，Phi 为标准正态分布函数。计算目标是当平滑后多数类的领先裕量足够大时，认证算子在马氏范数定义的椭球内决策不变，欧氏球是其内接球，只能作为标量摘要。证明经白化把各向异性化为各向同性后调用标准随机平滑的似然比论证，不需要基函数连续，因此硬量化器可整体吸入基函数而免费获得证书。
协议用 100 次候选与 1000 次估计给出单侧下界，显著性为千分之一，弃权条件是下界不大于二分之一，最大马氏半径受估计上限与迹归一化共同封顶，在西格玛为 0.25 时为 0.616。
PALS-Train × PALS-Certify： PALS-Train 负责以后训练得到的权重直接部署，分工是承担所有经验攻击成功率数字，推理时不做多次采样、不增加成本；PALS-Certify 负责在固定协方差下做 1000 次蒙特卡洛采样的多数投票决策，分工是承担所有可证明半径数字，推理时付出采样成本；搭配的原因是经验证明鲁棒与可证明保底需要不同的推理算子但可共享权重，组合后论文能同时回答部署效果与理论下限而不把二者混为一谈。
KL 一致性项 × TRADES 分解： KL 一致性项负责把干净码与双重增强码下的输出分布拉近，分工是训练目标中除标准后训练交叉熵之外的正则项；TRADES 分解负责把平滑损失下的对抗风险拆成干净风险、一致性项、覆盖差距与尾部惩罚，分工是解释每一项设计对应的风险来源；搭配的原因是一致性训练需要理论说明它控制的是哪一部分风险，组合后去掉一致性或去掉成形几何的消融都有明确的分解位置可对照。
用什么数据、什么攻击流程、什么指标判断好坏？
被防御系统是类 Moshi 智能体，含 7000000000 参数的时间变换器与深度变换器、12.5 赫兹八码本编码器与内心独白文本流，从预训练检查点开始后训练。攻击流程固定为 1000 步亚当、学习率千分之一、投影到感知球、5 次重启，预算取 -20 分贝到零分贝五档，掩蔽阈值用 2048 点汉恩窗、跳 512 的动态声学模型一计算。劫持用 1000 条留出载体上的 200 个指定回复，静默用纯机械的音频活跃度判定而不经语言模型裁判，越狱用 520 条有害请求与每类 3 秒通用前缀。
语义判定用大模型裁判零温度 3 次多数投票，并在 200 条上做人工审计得到较高的一致性系数。空中评估用房间声学脉冲响应在 120 个房间上卷积，混响时间从 0.2 秒到 0.9 秒，并加不同信噪比的 babble 噪声且在变换上取期望。干净指标包括语音质量、降噪质量、字错率、轮流分数与主观听音标准，区间用 10000 次自助法给出。基线包括未防御、高斯增强、解混前端、输入随机平滑与投影梯度对抗训练，且全部被自适应攻击，即攻击者对防御可微分并穿过纯化器求梯度。
主结果：在相同可感知预算下谁真正压住了攻击？
比较问题是：在零分贝的满预算白盒攻击下，各防御是否在相同感知约束与相同裁判口径下降低劫持、静默与越狱，同时保持干净语音质量与轮流能力。公平条件是所有基线都被自适应攻击，指标方向是攻击成功率越低越好，质量与轮流分数越高越好，字错率越低越好。下图展示认证曲线、预算曲线与鲁棒质量折中，读图时先确认面板 a 的横轴是潜变量半径、面板 b 的横轴是分贝预算、面板 c 的横轴是干净质量，避免把曲线下降直接当成同一含义。
看图路径： 1. 在面板 a 中沿横轴潜变量半径增大方向看各条曲线的认证准确率下降与截断位置；2. 在面板 b 中沿攻击预算从负分贝到零分贝方向比较未防御曲线与防御曲线的劫持成功率高低；3. 在面板 c 中沿横轴干净质量增大方向看鲁棒性与质量的折中点落在哪个参数附近
论文图 3。原论文 Fig. 3:：“(a) PALS-Certify: certified semantic accuracy versus latent \ell_2 radius (isotropic ablation dashed; n=1,000 draws, \alpha=10^-3).”。
图 3 的可见内容分为三块。面板 a 中认证准确率随半径增大而下降，每条西格玛曲线在各自上限处截断，西格玛为 0.25 的曲线截断在 0.616 附近，各向同性虚线在大部分区间低约 10 个点；面板 b 中未防御曲线随预算增大快速上升，而防御曲线在 -20 分贝到零分贝之间始终压在低位且置信带较窄；面板 c 中西格玛扫描曲线在鲁棒性与质量平面上位于所有基线外侧，拐点在 0.25 附近。像素不能精确辨别的中间步数值不硬读，具体数字以正文与表格为准。
| 策略 | 劫持成功率 | 静默成功率 | 越狱成功率 | 空中劫持 | 干净 UTMOS |
|---|---|---|---|---|---|
| 未防御智能体 | 91.7% | 88.4% | 76.2% | 46.3% | 3.91 |
| 对抗训练 | 19.4% | 未在连续正文中报告 | 未在连续正文中报告 | 未在连续正文中报告 | 未在连续正文中报告 |
| 本方法部署版 | 8.3% | 11.2% | 9.1% | 未单独列出 | 3.82 |
上表提出的主收益是部署版把劫持压到 8.3%，静默压到 11.2%，越狱压到 9.1%，约为对抗训练的二分之一到三分之一，而干净质量从 3.91 降到 3.82，绝对下降 0.09 个平均意见分，相对在 2.3% 以内，字错率仅升到 7.7%，轮流分数不变。具体代价与反例是：输入随机平滑虽有一定防御但质量与轮流损失更大，解混前端在自适应攻击下崩溃，对抗训练虽次强但训练成本约为 3 倍。认证列是另一算子的数字，在半径 0.5 处为 47.0%，上限 0.616 对应约 -26 分贝，远低于零分贝攻击，因此它是保底下限而非对强攻击的保证。静默指标是纯机械判定，说明约 10 倍的下降不是裁判偏置的产物。
拿掉哪一块最疼？混响与噪声会帮谁？
比较问题是：在相同的零分贝预算下，码本协方差、各向异性、输入掩蔽对偶、一致性项与重整量化各自贡献多少，以及房间与 babble 是否更多地削弱攻击而非防御。公平条件是消融保持西格玛与其他训练设置不变，切片保持攻击预算与裁判口径不变。下表把消融与切片放在同一宽表中，指标方向仍是攻击成功率越低越好，质量越高越好，表中未报告项明确标注而不编造。
| 配置或条件 | 劫持成功率 | 空中或困难条件 | 干净 UTMOS | 证据含义 |
|---|---|---|---|---|
| 完整方法 | 8.3% | 最难条件下 2.9% | 3.82 | 部署拐点 |
| 去掉一致性项 | 12.7% | 未在连续正文中报告 | 未在连续正文中报告 | 通用一致性贡献 |
| 各向同性协方差 | 13.6% | 未在连续正文中报告 | 未在连续正文中报告 | 几何形状贡献 |
| 去掉输入掩蔽对偶 | 14.9% | 空中成功翻倍 | 未在连续正文中报告 | 输入侧覆盖贡献 |
| 去掉重整量化 | 未在连续正文中报告 | 未在连续正文中报告 | 3.69 | 离散支持贡献 |
表后解释需要同时讲收益与代价。去掉一致性项使劫持从 8.3% 升到 12.7%，说明通用一致性有帮助但不是主要驱动；换成各向同性协方差得到 13.6%，去掉输入掩蔽对偶得到 14.9% 且空中成功翻倍，而对抗训练为 19.4%，因此心理声学形状的输入对偶与码本协方差几何是主要驱动。去掉重整量化使干净质量降到 3.69，说明让训练始终消费有效码对质量重要。切片上混响与 babble 使攻击下降快于防御，最难条件下防御低至 2.9%，性别与语料差异可忽略。
未胜出项是各向同性平滑与纯一致性，它们都不如完整方法，认证上各向同性也少约 10 个点。限制是消融只报告了劫持主指标与部分质量数字，没有给出每种消融的完整静默与越狱矩阵，因此不能把单项结论推广到所有攻击类型。
证书的边界在哪里？哪些量本文没有承诺？
论文直接报告的是潜变量空间的硬证书，输入空间的回拉是启发式的。硬证书活在马氏椭球内，欧氏球只是内接球，加权范数转移说明感知球包含在掩蔽加权欧氏球内，但仍是加权平方和意义而非逐点上确界意义。输入预算约 -26 分贝是通过估计的局部编码器利普希茨常数换算的，该常数用幂迭代在留出 5 秒片段上估计，中位 2.4、九十五分位 3.7 并取后者，但它仍是经验分位而非 certified 全局界，谱范数约束的编码器被留作未来工作。
原文还明确三点局限：证书经加权范数转移、输入半径启发式、语料为英语双人对话。缺失证据不是技术错误，但不能承诺未测量的量：延迟、每步实时性、误判率与大规模部署成本未被证明改善，训练资源、推理开销、输出帧率与实际延迟应分开讨论。总体趋势不等于每组每步成立，认证曲线的截断是协议上限而非模型拐点，经验鲁棒远超证书下限是正常现象，不应把保底读成对零分贝攻击的保证。
若要复述与复现，先固定哪些信息条件？
复现先固定攻击侧：载体划分、掩蔽阈值参数、预算分贝组、亚当步数与重启数、投影为逐格裁剪加逆变换、梯度经直通估计器、自适应攻击穿过防御。防御侧固定西格玛为 0.25、贝塔为 4、收缩为 0.1、协方差校准用 20 小时留出音频、增益 1 次性校准使两处中位潜变量位移相当、西格玛前 10000 步爬升。训练侧固定 80000 步、学习率、批量与硬件量级，评估侧固定裁判模型、温度与投票、审计一致性、房间数与混响区间、自助次数。
认证侧固定候选 100 次、估计 1000 次、显著性千分之一、弃权阈二分之一，并强制执行上限 0.616。关键超参数只有一个西格玛，扫描时注意拐点在 0.25 附近，更小的值质量更高但劫持回升，更大的值半径更远但质量下降。信息条件上，当前没有通过可用性验证的资源，不得声称代码模型数据已公开，复现应从 masked 威胁的投影算子与双路一致性训练开始自写管线，并把部署算子与认证算子的推理路径严格分开。
何时值得尝试这种平滑？一句话收束
当系统满足 3 个条件时值得尝试：输入是持续开放的声学通道且攻击必须经过离散编码瓶颈；威胁模型可用掩蔽阈值写成逐格功率预算；可以接受后训练阶段的 1 次额外前向但不接受推理时的多次采样。此时用码本协方差成形的潜变量噪声加掩蔽成形输入噪声，并以一致性项绑定干净与增强分布，是比均匀高斯与通用纯化更对齐威胁的最小假设选择。
若需要可证明数字，则冻结协方差并切换到蒙特卡洛投票算子，但要接受半径只到 0.616 且对应 -26 分贝左右的保底现实。还需要补的验证是谱范数约束编码器下的输入级硬保证、非英语与多人重叠语音的泛化、以及长对话状态投毒的延迟利用评估。收束是：经验防御把强攻击压低一个数量级且质量损失在 2.3% 以内，证书给出诚实的小半径下限，二者分属不同算子，共同回答了全双工语音对话在不可闻攻击下的廉价防护问题。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses