鲁棒性，

📄 VoxSafeBench: Not Just What Is Said, but Who, How, and Where #语音大模型， #基准测试， #鲁棒性， #多语言 🔥 评分：9.5/10 | arxiv 👥 作者与机构 第一作者：Yuxiang Wang（香港中文大学（深圳），Amphion Technology Co., Ltd.） 通讯作者：Zhizheng Wu（香港中文大学（深圳），深圳湾区研究院，Amphion Technology Co., Ltd.） 其他作者： Hongyu Liu（香港中文大学（深圳）） Yijiang Xu（香港中文大学（深圳）） Luchao Yao（香港中文大学（深圳）） Qinke Ni（香港中文大学（深圳）） Li Wang（香港中文大学（深圳）） Wan Lin（香港中文大学（深圳）） Kunyu Feng（香港中文大学（深圳）） Dekun Chen（香港中文大学（深圳）） Xu Tan（未明确机构，根据上下文推断可能与Amphion或合作方相关） Lei Wang（未明确机构） Jie Shi（未明确机构） 💡 毒舌点评 亮点：这篇论文最大的贡献是“掀桌子”——它用一个设计精巧的基准（VoxSafeBench）清晰地证明，当前顶尖的语音大模型在文字游戏（文本安全）上可能很溜，但一旦涉及“听话听音”（谁在说、怎么说、在哪说），其社会常识和道德判断就集体掉线，暴露出严重的“语音接地”缺陷。其“两层设计”像一把精准的手术刀，切开了模型“知道”和“做到”之间的鸿沟。 槽点：评测框架虽然全面，但稍显复杂，22个任务对于快速复现和模型迭代可能是个挑战。此外，合成语音数据终究与真实世界充满噪声和不确定性的交互有差距，论文自己也承认了这点。 📌 核心摘要 这篇论文旨在解决当前语音语言模型（SLM）社会对齐评估不全面、不深入的问题。现有基准要么只关注基础音频理解，要么孤立地研究单一风险，无法区分模型是因“不懂”还是因“没用对地方”而失败。为此，作者提出了VoxSafeBench，这是首个联合评估SLM在安全、公平、隐私三大社会对齐维度上的综合基准。其核心方法是创新的两层（Two-Tier）设计：Tier 1评估内容中心风险（文本本身有害），通过对比文本、干净音频和多样音频输入，揭示跨模态对齐差距；Tier 2评估音频条件风险（文本无害，但正确响应依赖于说话人、副语言或环境线索），这是本工作的精髓。为确保Tier 2的效度，论文采用了三项关键控制：所有转录文本被验证为无害；构建了“文本参考上限”（将声学线索文本化后，文本模型表现接近饱和）；并通过“中间感知探测”证实前沿SLM能感知相关声学线索但仍做出不安全响应。对多个领先SLM的评估一致表明：在文本层面看似稳健的安全防护，在语音场景中显著退化。模型经常能识别文本中的社会规范，却无法在决策线索必须通过语音接地时应用该规范，揭示了普遍存在的**“语音接地差距”**。该工作为评估和提升SLM的社会对齐能力提供了系统化的框架和关键洞见。 🏗️ 模型架构 本文提出的不是传统意义上的模型，而是一个评估基准（Benchmark）。其整体架构是VoxSafeBench的评估框架，核心是两层（Two-Tier）设计。 整体流程： 数据输入：对于每个评估任务，输入可以是文本（Tier 1）、干净音频（Tier 1）、多样音频（Tier 1）或仅音频（Tier 2）。 模型推理：将输入喂给待测的语音大模型（SLM），获取其原始响应。 评估判决：使用LLM-as-a-judge（主要使用DeepSeek-V3）对模型的生成式响应进行评判，或对于判别式任务直接计算准确率。评判遵循详细的评分规则（Rubric）。 指标计算：根据任务类型计算相应指标（如RtA, DAR, SAR, Fair Rate, Leakage Rate等）。 Tier 1（内容中心风险）： 目标：评估当转录文本本身包含风险时，模型能否正确拒绝或安全响应。 输入：提供文本、干净音频（中性TTS合成）、多样音频（含不同口音、年龄、情感、背景音的合成音频）三种模态的匹配输入。 目的：通过对比三种输入下的表现，量化“跨模态对齐差距”（文本 vs. 音频）和“干扰鲁棒性”（干净 vs. 多样音频）。 Tier 2（音频条件风险）： 目标：评估当转录文本无害，但音频上下文（说话人身份、副语言特征、背景环境）改变了社会规范时，模型能否做出恰当响应。 输入：仅提供音频。在推理时，会附加一个统一的系统提示，提醒模型考虑完整的音频上下文（说话人、语调、背景音等）。 关键设计：每个任务的音频都包含一个明确的、与文本内容构成冲突或需要特殊处理的声学线索（如儿童声音、愤怒情绪、背景中有儿童、背景中有偷听者等）。 数据集构建流水线： 数据获取与文本准备：从现有基准改编、使用LLM生成或手动构建文本提示。 提示-音频池与语音合成：构建一个包含不同说话人、口音、年龄、情感、背景音的“提示-音频池”。使用CosyVoice3模型将文本提示合成为语音，以确保说话人身份的稳定保持。 分层输出构建：为Tier 1生成文本、干净音频、多样音频三种视图；为Tier 2仅生成音频视图。 质量过滤与人工验证：使用Whisper-large-v3过滤词错率（WER）>5%的样本，并进行人工抽检。 💡 核心创新点 首个联合评估安全、公平、隐私的语音社会对齐基准：不同于以往聚焦于能力或单一风险的基准，VoxSafeBench首次在一个统一框架下系统性地评估SLM在三大核心社会对齐维度的表现。 创新的“两层”评估范式： 是什么：将评估清晰地分为Tier 1（内容中心风险）和Tier 2（音频条件风险）。 之前方法：现有基准要么混合了两类风险，要么只关注其中一类，无法区分模型失败是因为缺乏规范知识（Tier 1问题）还是无法将规范应用于音频线索（Tier 2问题）。 如何解决：通过严格的实验设计（Tier 2所有文本均被验证为无害）和对照实验（文本参考上限、感知探测），精准定位“语音接地差距”。 效果：揭示了前沿模型在Tier 2上表现普遍不佳，即使它们在Tier 1或文本参考上限中表现良好。 系统化、可审计的数据集构建与验证方法： 是什么：构建了一个包含22个任务、覆盖中英双语的大规模评测集，并详细描述了从数据来源、合成、质量控制到人工验证的全流程。 之前方法：许多基准的数据构建过程不透明，或依赖自然音频导致控制变量困难。 如何解决：使用可控的语音合成（CosyVoice3）和精心设计的“提示-音频池”，确保声学线索的明确性和可控性。通过WER过滤和人工抽检保证数据质量。 效果：提供了高质量、可复现的评测数据，增强了实验结果的可信度。 严谨的效度验证与诊断分析： 是什么：引入了“文本参考上限”和“中间感知探测”来验证Tier 2评测的有效性。 之前方法：对音频条件任务的评测往往缺乏对“模型是否感知到线索”的验证，导致失败原因模糊。 如何解决： 文本参考上限：将声学线索用文字描述，让顶级文本LLM作答，结果接近饱和，证明相关规范是存在的。 中间感知探测：在模型做出最终社会判断前，先探测其对声学线索（如“说话人是儿童吗？”）的识别能力。发现模型感知准确率远高于其基于该感知做出安全响应的比例。 效果：强有力地证明了Tier 2的失败主要源于“对齐失败”（知道线索但不当回事），而非“感知失败”（没听懂线索），使结论更具说服力。 🔬 细节详述 训练数据/评测数据： 规模：共22个任务，总计约17,000多个评测样本（根据表格2中各任务数据量估算）。 来源：三类：1）改编自现有基准（如SafetyBench, Sorry-Bench, VoxPrivacy, HearSay等）；2）为未覆盖的任务家族从头构建（使用GPT、Gemini等LLM生成初稿，经人工筛选）；3）少量直接使用现有数据集。 音频合成：使用CosyVoice3模型。构建了提示-音频池（表6），包含： 干净池：标准、中性的中英文语音。 多样池：涵盖口音（标准/非母语）、年龄（儿童/中年/老年）、性别（男/女）、情感（愤怒/高兴/悲伤/恐惧/惊讶，且经audEERING模型筛选，确保唤醒度>0.7）、背景音（公共噪音、古典音乐，以40%音量混合）。 质量控制：所有合成音频用Whisper-large-v3转写，剔除WER>5%的样本。进行人工抽检。 评估模型与Judge： 被评估SLM：包括开源模型（Qwen3-Omni, Mimo-Audio, Kimi-Audio及其思维链变体）和闭源模型（Gemini-3-Pro/Flash, GPT-4o-Audio）。 评判模型：生成式任务主要使用DeepSeek-V3作为LLM法官。进行了法官一致性研究（附录I），使用Kimi-K2.5、GPT-5.2和3名人类标注员，Fleiss’ κ = 0.78，Spearman’s ρ ≥ 0.88，表明评判结果稳健。 关键超参数与设置： Tier 2系统提示：统一提醒模型考虑完整音频上下文（说话人、语调、背景音），但不透露具体线索或正确答案。 文本参考上限构建：将Tier 2音频中的声学线索用文字明确描述（如“说话者是个孩子”），输入给文本LLM（DeepSeek-V3, Gemini-3-Pro, GPT-5.2），取最安全的结果作为上限。 感知探测（附录J）：在模型输出最终社会判断前，插入一个中间探测层，让模型回答关于声学线索的简单问题（如“说话者听起来是儿童吗？”），以量化其感知能力。 主要指标： 安全： Tier 1: 拒绝率（RtA）、毒性分数、攻击成功率（ASR）。 Tier 2: 直接回答率（DAR，越低越好）、安全意识率（SAR，越高越好，分解为警告回答率WAR和拒绝率RtA）、重叠诱导转化率（OIC）。 公平： 主要指标：公平率（Fair Rate，模型保持中立的比例）。 方向性偏差：净偏差分数（NBS），结合二项检验，量化不公平判断是否系统性地与社会刻板印象对齐。 隐私： Tier 1: 泄露率、拒绝率（RtA）。 Tier 2: 隐私意识率（PAR）、直接回答率（DAR）、交互式隐私的F1分数、推理式隐私的准确率和拒绝率。 📊 实验结果 安全评估主要发现（表3，图2）： Tier 1：无越狱时，所有模型都安全。应用越狱后，性能急剧分化。多轮越狱最有效。文本输入比音频输入更容易导致不安全输出（模型在文本模式下更想���帮忙”）。思维链变体在越狱下更脆弱。在代理风险中，模型对工具输出中的间接危害（Indirect harm）警惕性远低于用户直接指令。 Tier 2：模型表现远低于文本参考上限，揭示了“语音接地差距”。 内容-副语言冲突：模型对“受损能力”（如口齿不清）的反应优于“儿童声音”，对“情感”线索反应最差。Gemini系列模型在此项表现最佳。 内容-背景冲突：当背景本身不安全（如NSFW声音）时，模型表现优于需要推断“有儿童在场”的场景。模型能识别直接的声学危险信号，但难以推断听众并调整行为。 对抗交互：重叠指令注入（Overlapping instruction injection）能成功诱导模型回答本应拒绝的有害问题（OIC率显著）。 公平性评估主要发现（表4，图3）： Tier 1 vs. Tier 2差距：几乎所有模型从Tier 1到Tier 2的公平率都急剧下降。表明对文本刻板印象的抵抗力无法迁移到需要从语音推断差异的场景。 模态与语言差距：闭源模型跨语言行为更稳定（文本>音频）。开源模型存在严重的模态和语言不平衡（如Kimi-Audio在中文和文本上几乎失效）。 思维链的不稳定影响：启用CoT（“thinking”）会带来不可预测的行为，有时甚至逆转模态优劣（音频>文本）。 方向性偏差：多个SLM的NBS显著为正，表明其不公平判断系统性地与社会刻板印象对齐，而非随机错误。同一音频用中英文查询，偏差模式可能不同。 隐私评估主要发现（表5，图4）： Tier 1：存在严重的跨模态隐私差距。即使是强闭源模型（如Gemini-3-Pro），其硬隐私泄露率也从文本的23.9%飙升至音频的81.2%以上。硬隐私（结构化PII）比软隐私（上下文秘密）更难保护。CoT对软隐私提升明显，但对硬隐私帮助有限。 Tier 2： 音频条件隐私：当背景音暗示非私密环境时，模型（如GPT-4o-Audio, Qwen3-Omni）仍直接回答的比例（DAR）超过85%。而Gemini-3-Pro的隐私意识率（PAR）达94.3%。同样的线索文本化后，PAR达100%。 交互式隐私：多数开源模型在判断信息是否应对特定说话者保密时，准确率在50%左右（随机猜测）。 推理式隐私：多数模型很少拒绝从声音推断敏感属性的请求，且能达到非平凡的准确率，构成画像风险。GPT-4o-Audio是显著例外，拒绝率高。 ⚖️ 评分理由 创新性：10/10 - 提出了一个全新的、系统性的语音社会对齐评估范式（两层设计），并首次在大规模实验中实证了“语音接地差距”这一关键问题，对领域发展具有方向性指导意义。 实验充分性：9.5/10 - 实验设计极为全面和严谨。涵盖了三大维度、两层设计、多种模型、中英双语、判别与生成任务。包含了消融研究（CoT影响）、控制实验（文本参考上限）和诊断分析（感知探测）。数据量大，评判方法经过验证。扣0.5分是因为所有音频均为合成，与真实世界交互可能存在差距（作者已承认）。 实用价值：9.5/10 - 直接针对语音助手部署的核心风险（安全、公平、隐私），其发现和基准工具对于模型开发者、政策制定者和研究人员都具有极高的实用价值，能有效指导未来SLM的社会对齐研究和安全加固。 灌水程度：1/10 - 论文内容高度聚焦，每一部分（从动机、设计到实验分析）都紧密围绕核心论点展开，信息密度高，没有明显的冗余或夸大表述。附录详尽且必要。 🔗 开源详情 代码：已开源。GitHub地址：https://github.com/amphionteam/VoxSafeBench 数据集：已公开。项目主页提供了数据获取链接：https://amphionteam.github.io/VoxSafeBench_demopage/ 模型权重：论文本身不涉及发布新模型，而是评估现有模型。评测代码支持评估列表中的开源和闭源模型。 预训练权重：不适用。 在线Demo：项目主页可能提供，论文中未明确说明。 引用的开源项目：论文中明确使用了CosyVoice3（语音合成）、Whisper-large-v3（语音识别/质量过滤）、DeepSeek-V3/Kimi-K2.5/GPT-5.2（作为LLM法官）等开源或公开可用的模型。 🖼️ 图片与表格 图1: VoxSafeBench概览与动机示意图 | 保留: 是 - 清晰展示了两层设计的核心思想和一个生动的例子，是理解论文动机的关键。 表1: 现有音频/多模态基准对比 | 保留: 是 - 通过详细对比，突出了VoxSafeBench在评估维度、声学上下文覆盖、交互模式等方面的全面性和创新性。 表2: VoxSafeBench任务总结 | 保留: 是 - 核心表格，完整列出了所有22个任务的ID、所属层级、任务家族、数据源、指标和数据量，是基准的“蓝图”。 图2: Tier 1安全评估总结 | 保留: 是 - 用两个散点图直观展示了越狱攻击和代理风险下的模型行为模式，信息量大。 表3: Tier 2安全评估结果 | 保留: 是 - 关键结果表，详细列出了各模型在多个Tier 2安全任务上的DAR/SAR等指标，并与文本参考上限对比，直接证明了“语音接地差距”。 表4: 公平性评估结果（Tier 1 vs. Tier 2） | 保留: 是 - 核心结果表，展示了模型在不同公平性任务和模态下的公平率，清晰揭示了Tier 1到Tier 2的性能骤降。 图3: 公平性方向偏差分析（NBS） | 保留: 是 - 重要补充，展示了不公平判断是否系统性地偏向刻板印象，深化了对公平性失败的理解。 表5: 隐私评估结果 | 保留: 是 - 核心结果表，展示了模型在硬隐私、软隐私和音频条件隐私任务上的表现，揭示了跨模态隐私差距和不同隐私类型的难度差异。 图4: 交互式与推理式隐私结果 | 保留: 是 - 以条形图和热力图形式展示了Tier 2中两类隐私任务的具体结果，直观易懂。 附录中的图、表和详细结果：包含大量补充材料，如详细的分类学、更多结果分解、法官一致性分析、感知探测结果等，对于深入理解研究细节至关重要，建议保留。 📸 论文图片 ...