📄 先别让模型开口：当语音大模型需要学会拒绝

英文题目：SURE-Challenge: Evaluating Speech Evidence Before Speech-LLM Generation

一句话：SURE-Challenge 把评测点从生成后的答案质量前移到生成前的准入判定，用冻结的能量底座加 Whisper 置信度阈值在 474 行筛查集上把无支撑拒绝从 15/204 拉到 196/204 且不损失支撑准确率，代价是重叠与语义不可答等归因问题仍需额外建模。

标签：#语音识别 #音频分类 #语音活动检测

评分：8.3/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

• Mengzhe Geng：机构信息未在 arXiv HTML 中可靠披露

💬 毒舌点评

亮点在于把语音大模型评测从答案正确性前移到准入决策，定义了语音证据过滤任务并用能量加 Whisper 置信度冻结阈值打出 196/204 的拦截效果，工程洞察清晰且跨 6 个骨干可复放。短板是核心贡献是阈值工程而非建模突破，重叠语音与语义不可答等困难归因问题仅被划为边界而未解决，外部泛化高度依赖阈值与解码语言选择，合成主导的分布让主数值好看但真实重叠上迅速失效。

📌 核心摘要

语音大模型部署中需先判断波形是否包含足以支撑转录或问答的语音证据，但现有评测仅在生成后打分，对无支撑输入的流畅幻觉缺乏度量。本文定义语音无支撑拒绝评测挑战（Speech-Unsupported Rejection Evaluation Challenge, SURE-Challenge），将任务形式化为基于音频 \(x\) 与提示 \(q\) 的准入判定，并在源不相交的 SURE-Core 与 SURE-Extended 上对比轻量声学与自动语音识别（Automatic Speech Recognition, ASR）置信度前端。方法核心是冻结的能量底座加 Whisper-small 平均最大词元概率阈值规则 \(s(x)=T^{-1}\sum_t p_t\)，阈值 \(\tau=0.70\) 在干净 SURE-Extended 开发集上以零支撑误拒约束下最大化无支撑拒绝率选定，并在 6 个语音/音频大模型前复放同一决策。在 474 行泄漏筛查后的 SURE-Extended 测试集上，该规则将 Qwen2-Audio 的无支撑拒绝从 15/204 提升至 196/204，支撑准确率保持 0.930 不变，下游调用数下降约 41%。外部检验划定该数值的适用边界：通用语音保留率随阈值收紧而下降，无变速 babble 在不同随机种子下仅 18 至 24/54 被拒，语义不可答 60 条过滤前后拒绝率均为 0.767，表明重叠与声源歧义需归因建模而非单纯置信度过滤。

🔗 开源与复现资源

• 代码：https://github.com/MENGZHEGENG/sure-challenge
• 模型权重：论文中未提及具体权重下载链接
• 数据集：SURE-Challenge 数据集通过 GitHub 仓库发布并基于 LibriSpeech 构建，外部验证使用 Common Voice、FLEURS、ESC-50、FSD50K、VocalSound、MUSAN、LibriCSS，论文中未提供独立下载链接或协议说明
• Demo：论文中未提及在线演示链接
• 复现材料：论文通过 GitHub 仓库提供数据与脚本。正文说明 Whisper small 评分阈值 \(\tau\) 为 0.70 等复现参数。论文中未提及训练配置或检查点独立链接
• 论文中引用的开源项目：Qwen2-Audio、Qwen2.5-Omni、Qwen-Audio-Chat、Audio Flamingo Next、Audio Flamingo 3、MiniCPM-o、Whisper small、Silero VAD、AST、LibriSpeech、Common Voice、FLEURS、ESC-50、FSD50K、VocalSound、MUSAN、LibriCSS、AudioSet，论文中仅通过文献引用提及上述项目名称，未提供对应链接

🧭 深度解读

为什么把声音丢给模型，不等于完成了任务？

想象你把 1 段纯噪声、1 段音乐前奏，或者几个人同时说话的嘈杂片段丢给一个会听的语音大模型，它却用流利的中文给你“转录”出一句根本不存在的话。文字很通顺，答案却完全没有波形支撑，这就是部署时会遇到的第一类错误：模型不该开口时开口了。

过去的评测大多在模型说完话之后打分，看转录准不准、问答对不对。但如果输入本身就不包含足以回答问题的语音证据，事后打分已经晚了。错误发生在调用之前，而不是生成之后。SURE-Challenge 要解决的正是这个前置问题：波形进来时，先判断有没有支撑证据，再决定要不要调用下游那个昂贵的语音大模型。

这和我们熟悉的语音识别（Automatic Speech Recognition, ASR）不一样。ASR 关心的是有语音时怎么听得更准，而这里关心的是无语音或语音不可归因时怎么敢于说“我不能答”。前者是识别，后者是准入。

这条路和哪些已有工作相邻？

如果把地图展开，会看到 3 条相邻的路。第一条是选择性预测（selective prediction），它允许模型在不确定时弃权，用覆盖率和风险的权衡来度量“知道自己不知道”的能力。第二条是语音活动检测（Voice Activity Detection, VAD）和音频标签，比如 Silero VAD 和音频频谱变换器（Audio Spectrogram Transformer, AST），它们能判断片段里有没有人声，但通常不回答“这段人声是否足以支撑当前提示”。

第 3 条是 ASR 置信度估计。Whisper 这类模型在解码时会给出每个词元的概率，有人用无语音概率（no-speech probability）或平均概率来判断解码是否可信。SURE-Challenge 的位置，恰好在 3 条路的交叉口：它借用了 VAD 和置信度的信号，但把任务重新定义为提示相关的准入判定，而不仅是“有没有声音”。

更关键的是区分。论文把三件事拆开：波形里有没有可用的语音证据、这段语音在语义上能否回答提示、以及说话人身份能否归因到提示所指。现有幻觉研究多在生成后标记无支撑内容，而 SURE 要度量的是生成前就该拦截的错误。

SURE-Challenge 到底在考什么？

任务可以写成一个二分类。输入是 1 段原始波形 x 和一条文本提示 q，输出只有两个：放行（admit）或弃权（abstain）。放行时把 q 原样透传给骨干语音大模型做转录或首词问答；弃权时不调用下游模型，要求以弃权或澄清请求回应，通用的[Music] 这类标签不算完成转录任务。误拒 1 段有支撑的语音，算错；放行 1 段无支撑的输入，也算错。

为了让“有支撑”和“无支撑”可度量，数据被刻意分成两个家族。支撑族来自 LibriSpeech 的干净语音，叠加噪声、滤波、混响、变速等扰动，提示是转录或首词问答；无支撑族则包含等长静音、有色噪声、合成纯音，以及最难的 babble——把 2 到 4 段非源话语混在一起，却问“主说话人是谁”。由于源话语根本不在音频里，且提示没有给出目标身份，任何单说话人选择都判为错误，这专门考验声源归因。

评分也围绕准入展开。支撑转录以归一化词错误率（Word Error Rate, WER）≤0.25 为正确，首词问答以归一化精确包含为正确；无支撑行只有弃权才算对。报告的主指标是支撑准确率、无支撑拒绝率、已回答支撑行的 WER 和下游调用数。

两段式流水线：先做门卫，再让模型说话

整体架构像一个 2 段式流水线。前端准入模块只看音频侧证据，对波形和提示做二分类，决定是否放行；只有被判定为有支撑的片段，才会进入 Qwen2-Audio、Qwen2.5-Omni 等 6 个语音/音频大模型之一执行解码。弃权路径直接结束，不产生下游调用。这个设计的动机很直接：运行态的流畅幻觉在生成前就已注定，事后打分拦不住。

前端不依赖提示的语义，是一族固定的信号阈值分类器，不在 SURE 训练集上拟合。主规则叫能量加 Whisper 分数（Energy+Score）融合，串联了 2 个组件：能量底座负责把极短或近静音的片段直接判为无支撑，对应合成静音和极低能量噪声；剩下的片段交给 Whisper-small 做解码，用解码置信度做 2 次判断。

这种“先便宜后昂贵”的分工也体现在延迟上。论文在 H100 上实测，支撑门控约 0.012 秒，Whisper 路径约 0.080 秒，而 Qwen2-Audio 路径约 0.949 秒每片段。把大量无支撑调用挡在门外，既是正确性问题，也是成本问题。

冻结的阈值规则如何算分？

主规则的核心是一个极简的置信度公式。对输入波形 x，用 Whisper-small 解码，取每一步最大词元概率为 p_t，时均得到片段分数：

其中 T 是解码步数，p_t 是第 t 步的最大词元概率，s(x) 就是该片段的平均解码置信度。决策是阈值比较：当

时弃权，否则放行。阈值

不是在测试集上挑的，而是在干净的 SURE-Extended 开发集上，以零支撑误拒为约束，最大化无支撑拒绝率选定，选定后冻结。

能量底座在它之前工作：如果时长过短或能量过低，直接判无支撑，不再走 Whisper 解码。对照前端包括 Silero VAD、AST 的 AudioSet 语音标签、Whisper 无语音概率及其与分数的简单融合，所有阈值都在开发集冻结后在测试集复放，确保骨干无关。

为了处理声源歧义，论文还另设了一个仅音频的重叠分类器。它基于均方根能量、频谱、过零率和梅尔频率倒谱系数（Mel-Frequency Cepstral Coefficients, MFCC）统计量训练逻辑回归，阈值在开发集说话人上以支撑误拒率 0.05 为限选定后冻结。这个分类器不计入主指标，用来探明置信度过滤的边界。

论文图 1。这张图来自原论文 Figure 1:，图示内容为“Real-audio operating points. The line sweeps the Whisper-score threshold; markers show fixed front ends.”。请结合“冻结的阈值规则如何算分？”的正文，按图例、坐标轴或模块连线核对；图中没有呈现的内容不作外推。

没有训练阶段，什么被冻结、什么被复用？

这篇工作没有训练新的神经网络，也就没有损失函数、优化器和训练轮次。所有可学习模型都是复用的现成骨干：Qwen2-Audio、Qwen2.5-Omni、Qwen-Audio-Chat、Audio Flamingo Next、Audio Flamingo 3、MiniCPM-o，以及用于打分的 Whisper-small、Silero VAD 和 AST。论文的“学习”发生在阈值选择上，且是确定性求解。

具体过程是：在 SURE-Extended 的干净开发集上扫描 Whisper 分数阈值，要求支撑语音零误拒，在此约束下挑无支撑拒绝率最高的点，得到 τ=0.70 后冻结。重叠逻辑回归的阈值也在开发集说话人上按支撑误拒 0.05 选定后冻结。之后在测试集和外部语料上只做推理复放，不再调参。

推理时流程固定：先过能量底座，再对剩余片段做 Whisper-small 解码算 s(x) 并与 τ 比较，决定放行或弃权；放行才调用骨干模型并透传提示 q。解码温度、束宽等细节论文未披露，硬件仅报告了推理延迟，未披露训练硬件，因为本就无训练。

数据怎么搭、实验怎么比、指标往哪看？

数据构造围绕证据充分性展开，且严格按源划分以避免泄漏。SURE-Core 取 LibriSpeech validation-clean 的 40 条话语，SURE-Extended 取 train-clean-100 的 120 条话语，按源顺序划分，前端参数不在训练集上拟合。同源衍生的行被视为相关样本，计数不视为独立样本。主测试集在移除 6 行跨划分 babble 及其对应开发集行后为 474 行。

根据论文正文与图中报告值整理，基准构成与外部探针如下：

对比设计是骨干无关复放：同一冻结的 Energy+Score 决策在 6 个骨干前重放，对比无前端的原始行为；前端消融对比能量、Silero、AST、Whisper 无语音概率、Whisper 分数及融合。外部检验则看同一阈值在真实语料上的操作点是否漂移。论文未报告置信区间或统计检验，外部语料仅按配方引用不重分发。

下图要回答的问题是：当 Whisper 分数阈值从宽松扫到收紧，支撑保留率与无支撑拒绝率如何权衡，以及固定的 Silero、AST 等前端落在权衡曲线的什么位置。读图时看横轴支撑保留率与纵轴无支撑拒绝率的折中，曲线是阈值扫描，标记点是固定前端。

主结果：便宜的门卫挡住了大部分空调用

在泄漏筛查后的 474 行 SURE-Extended 测试集上，无前端时模型几乎不拒绝。Qwen2-Audio 原始仅拒绝 15/204 个无支撑输入，无支撑拒绝率 0.074，支撑准确率 0.930，WER 0.043，调用数 474。叠加冻结的 Energy+Score 后，拒绝数升至 196/204，无支撑拒绝率 0.961，支撑准确率仍保持 0.930，WER 仍为 0.043，调用数降至 278，约下降 41%。

根据论文正文与图中报告值整理，关键结果如下：

不能推出的是：主数值的“好看”高度依赖合成非语音与变速 babble 的分布。无变速 babble 在不同随机种子下仅 18 至 24/54 被拒，原始 Qwen2-Audio 在无变速非循环重生成上仅 2/54；阈值收紧至 0.90 时全量无支撑拒绝升至 0.964，但支撑英语保留率从 0.923 跌至 0.505，说明更严的阈值会显著牺牲真实语音。

另一处边界是语义。60 条语义不可答语音提示在过滤前后拒绝率均为 0.767，无提升；FLEURS 多语言 200 条在英语固定解码下保留仅 0.235，切换为自动解码后回升至 1.000。这表明纯音频准入管不住“语音可懂但提示不可答”的情况，也受解码语言选择影响。

信号从哪来：能量、VAD 与 Whisper 分数的分工

前端消融把 196/204 的增量拆开了。Whisper 无语音概率表现与原始 Qwen2-Audio 一致，几乎不拒；Silero 与 AST 都能拒掉全部 150 个合成非语音，但对 babble 无作用；Whisper 分数单独拒掉 120/150 非语音与 46/54 babble；叠加能量底座或 VAD 后达到相同的 196/204，增量全部来自剩余合成非语音，babble 拦截完全依赖分数阈值。

这说明两件事。第一，合成非语音的拦截可以靠能量或 VAD 这类廉价声学信号完成；第二，声源歧义的 babble 需要解码置信度才能触及，但也最不稳定。变速 babble 在重生成种子下稳定在 40 至 43/54，无变速 babble 则掉到 18 至 24/54，置信度过滤的证据边界就在这里。

外部操作点的分化进一步印证了分工。SURE 规则在 ESC-50 上拒绝 0.874，而 VAD+Score 拒绝 0.992；在 VocalSound 上 Silero 仅 0.489 而 SURE 为 0.858；在 LibriCSS 重叠上 SURE 与 VAD+Score 均为 0.092，Silero 与 AST 为 0.000。分数相等的规则在 SURE 上等价，在真实域上行为分化，部署时必须按错误代价选操作点，而不是只看合成集上的单一数值。

边界在哪里：哪些错误靠阈值解决不了？

论文明确承认，纯音频准入无法判定识别出的语音是否回答特定提示。语义不可答与 LibriCSS 重叠检验正是为此设置的边界探针：前者在过滤前后拒绝率不变，后者重叠拒绝率仅 0.092，说明“有语音”不等于“有答案”，“有混合语音”不等于“能归因到主说话人”。

阈值选择本身就是代价权衡。把 τ 从 0.70 收紧到 0.90，无支撑拒绝整体升至 0.964，ESC-50 到 0.974、VocalSound 到 0.983、LibriCSS 到 0.842，但支撑英语保留从 0.923 跌至 0.505，Common Voice 保留也会随之下降。多语言场景更敏感，FLEURS 多语言在英语固定解码下保留仅 0.235，切自动解码才回到 1.000，说明阈值与解码语言耦合。

还有未覆盖与统计功效的局限。未评估构音障碍或儿童语音；LibriCSS 仅 120 条、VocalSound 360 条，外推结论样本偏小且未报告置信区间；重叠分类器在 60 行预筛查集上报告高 AUC 但被排除在主指标外，存在过拟合风险；AST 与 Silero 在外部集上的近域偏置未被消融，难以区分是模型能力还是数据重叠导致的分化。

能复现吗：公开了什么、缺了什么？

可复现的部分是清晰的。代码与数据通过 GitHub 仓库发布，基于 LibriSpeech 构建，SURE-Core 与 SURE-Extended 的按源划分、474 行筛查集的构成、能量加 Whisper 分数的公式与 τ=0.70 的冻结方法、WER≤0.25 的判定都在正文中说明，6 个骨干的复放协议也完整。

缺失的部分也很具体。能量底座的具体阈值、Silero VAD 阈值、解码温度与束宽、训练硬件、重叠分类器的 MFCC 与 ECAPA 探针细节未披露；外部语料仅配方引用不重分发，未提供独立下载链接或协议说明；未提供模型权重独立下载与在线演示。正因如此，论文强调同源衍生行相关、计数不视为独立样本，提醒读者不要把每行当作独立同分布样本来做统计推断。

对想复用的读者，实操建议是：先在自己的干净开发集上按零支撑误拒约束重标 τ，再在目标域上扫阈值画保留-拒绝曲线，而不是直接照搬 0.70。推理延迟的实测值提供了部署参考，但多语言与重叠场景需额外校准。

收束：把评测前移一步，代价与下一步

把评测从“答案对不对”前移到“该不该让模型开口”，是这篇工作的核心判断。它用一个冻结的、骨干无关的便宜门卫，证明了运行态幻觉可以在生成前被大幅削减：调用数下降约 41%，支撑准确率不掉，无支撑拒绝从接近 0 拉到 0.96，且在 6 个骨干上复现。

但门卫不是万能。合成非语音好挡，重叠与声源歧义难挡；声学置信度能筛不稳定混合，却给不出“这段语音是否回答了你的问题”的语义判决。阈值越严，挡得越多，也误伤越多真实语音，多语言解码的选择会进一步放大这种权衡。

对刚进入语音与音频大模型方向的研究生，这篇论文提供了一个可操作的起点：先为你的系统加一个可冻结、可复放的准入模块，用保留-拒绝曲线而非单一准确率来选操作点；再把重叠与语义可答性当作独立的归因问题去建模，而不是指望把阈值调得更高就能解决。

⚖️ 评分依据与证据（展开查看）

← 返回 2026-08-31 语音/音乐/音频论文速递