📄 听声直接判：AudioJev 让候选概率跟随含义而非排序

英文题目：AudioJev: Direct Audio Decisions with Order-Calibrated Probabilities

标签：#音频问答 | #正则化 | #鲁棒性 | #音频大模型

评分：7.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Sihan Lv：机构信息未在 arXiv HTML 中可靠披露
  • Zhen Li：机构信息未在 arXiv HTML 中可靠披露
  • Zhiqi Cao：机构信息未在 arXiv HTML 中可靠披露
  • Jinshan Zhang：机构信息未在 arXiv HTML 中可靠披露
  • Ying Li：Innovation and Management Center of the School of Software (Ningbo), Zhejiang University, Ningbo, China
  • Meng Xi：Innovation and Management Center of the School of Software (Ningbo), Zhejiang University, Ningbo, China；Binjiang Institute of Zhejiang University, Hangzhou, China；Zhejiang Key Laboratory of Digital-Intelligence Service Technology, Hangzhou, China
  • Jianwei Yin：Innovation and Management Center of the School of Software (Ningbo), Zhejiang University, Ningbo, China；Binjiang Institute of Zhejiang University, Hangzhou, China

📌 核心摘要

音频决策需将波形、问题与候选描述直接映射为闭集候选上的概率分布，难点在于转写会丢失环境声与音乐证据且候选呈现顺序会扰动语言模型的概率估计。AudioJev将波形、问题与候选送入共享全参数音频语言模型，只在候选位置标签对应下一Token对数几率上做Softmax，得到与调用方顺序绑定的单次前向决策分布。训练时为每条样本构造每个候选都改变位置的无不动点随机错位视图并对双视图同时做候选监督，该双视图输出进入下一步的语义对齐。随后将错位分布按语义身份对齐后施加对称KL约束，使概率跟随语义而非位置，推理时仅保留单次候选打分而不做排序包装或多顺序集成。与转写级联及冻结直连模型的关键差异在于把呈现一致性作为以候选身份对齐的分布正则学习目标，而非依赖后处理校准，其实质是让校准作用于候选含义。在完整MMAU基准下，AudioJev的准确率为68.88%，高于Whisper large-v3加Qwen3.5-4B管线的准确率60.74%。推理开销方面固定波形输入面板上AudioJev的延迟为62.4ms，远低于含新鲜转写的级联延迟，训练采用三阶段固定步数与三个随机种子取均值。该结论适用边界限于调用方给出正确闭集的分类式问答，位置相关问题已从顺序偏差指标剔除，开放生成与置信度可靠性等外推尚未验证。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么要直接听？

这篇论文研究的输入是三元组：一段波形、一个自然语言问题，以及调用方本次给出的候选答案描述列表。输出不是转录文本，也不是生成的解释句子，而是恰好支撑在这组候选上的概率分布。调用方按原顺序拿回每个答案的概率，取最大概率者即为决策。

论文强调先转录再分类把分类器限制在词法中间结果上，当证据是环境声、音乐结构或对话时序时，转录文本保留不下这些信息。直接波形分类则让分类器同时看到声学与语义证据，这是本文选择直接路线的原因。另一处差异是候选集必须序列化给语言模型，位置标签与序列上下文会分走概率质量。

直接波形分类 × 转录后分类： 直接波形分类分工是保留转录会丢失的环境声、音乐结构与对话时序等声学证据，转录后分类分工是先把语音变成文字再用文本分类器判断，搭配理由是前者提供证据完备性而后者提供文本可复用性，组合意义是 AudioJev 选择前者让同一模型同时吃到语义与声学信息。

需要保留的关键信息是任务为闭集决策，调用方必须先给出容许答案。概率的支撑集恰好是该列表，没有隐含的其他类。布尔判断用假与真两个候选，普通选择用任务定义的描述。准确率用原生给定顺序度量，而顺序校准用语义对齐后的分布差异度量。

初学者容易把顺序校准误解为置信度校准，论文明确区分二者。前者管展示一致性，后者管置信度与经验正确率的关系。本研究只优化前者，并说明后者仍可用温度缩放等事后方法叠加。

同输入同目标的相关路线如何对照？

在类型化决策接口一侧，论文把自身放在 Jev、Laya 与 Jeff 这类向软件暴露类型化决策的工作之后。区别是把接口从文本扩展到音频，候选条件概率跨语义、声学、音乐与对话任务共享参数而不设任务专用头。相关第三方资源状态以本次核验为准，类型化决策文档当前可用，Laya 与 Jeff 代码当前可用。

在音频理解一侧，CLAP 用音频文本相似度做分类，Pengi 用语言统一任务，Qwen2.5-Omni 提供波形语言主干。AudioJev 的主干是 Qwen2.5-Omni 3B，训练更新其音频分类通路上的活跃参数。冻结的 Omni 模型、CLAP、Silero 语音活动检测与 Smart Turn 则作为主干与专家参照。

在选项顺序敏感一侧，已有工作报告选项排序会改变语言模型决策与概率。PriDe 在推理时估计选项编号先验去偏，AudioJev 则在全参数音频适配期间监督配对呈现。论文说明冻结直接音频模型与语音转文本级联度量的是带各自训练历史的完整系统能力。

在一致性目标一侧，R-Drop 惩罚丢弃引起的双视图双向 KL，常规校准讨论置信度与正确率关系。本文的操作目标是顺序校准，同时报告预测准确率与分布锐度。附带说明推理代码当前可用，模型权重本次未能确认可达，数据集 TUT2018 记录当前可用而语音活动检测数据集本次未能确认可达。

要解决的呈现偏差具体长什么样？

问题可以沿一个样本走一遍。假设输入是同一段音频、同一问题与同一组候选含义，只是候选列表的顺序与位置标签绑定变了。理想情况下每个答案的概率应当跟随含义走，而不是跟随它被放在第几个位置。若不做处理，模型对位置标签的偏好会让概率跟随位置走。

论文把这种抖动拆成两个可测现象。一是分布层面的概率质量重新分配，用对称 KL 与总变差度量。二是决策层面的语义答案翻转，即取最大概率对应的描述发生变化，用翻转百分比度量。两者分别对应应用消费分布与消费决策的稳定性。

论文还划定了含义保持的边界。位置相关描述在置换后可能改变语义，固定保守措辞筛查在完整 MMAU 中标记 32 题、在 MMAR 中标记 9 题。这些题保留在完整准确率分母中，但排除在顺序偏差分母之外。完全重复的描述在语义比较前合并为一个事件，避免相同文本间的概率搬运被误读为含义变化。

初学者应注意均匀预测可以做到零顺序分歧，胜者不变也可能概率大幅变化。因此分布稳定性与预测正确性必须一起报告，任何单一指标都不能单独证明应用层正确。这也是后文同时报告熵、最大概率、TV、SKL 与翻转的原因。

全景：一次前向如何同时管判别与稳定？

AudioJev 的方法全景是共享模型加配对训练。训练时每个原始问题配一个随机错排视图，两视图共享波形、问题与候选内容，只改变候选顺序与位置标签绑定。2 分支都接受标签监督，再把两分布恢复到同一答案身份后加对称 KL 约束。推理时只保留单次候选打分前向，没有校准头也不做顺序集成。

下图是论文总览，上半为训练的双视图、身份对齐与损失，下半为推理的单次前向。阅读时先走主路径再看分支汇合处，有助于建立从输入经共享分类器到分布与损失的依赖关系。

看图路径： 1. 先沿顶部训练带从左侧音频与问题出发，确认同一音频分出视图一与视图二两条候选列表；2. 再看中间共享分类器输出的两组 logits 如何进入按身份对齐框完成答案对应；3. 然后检查右侧损失框中两个候选损失与双向 KL 项如何汇入训练目标并更新参数

原论文 Figure 1：AudioJev overview. A waveform, question and caller-supplied alternatives define a decision for…

论文图 1。原论文 Figure 1:：“AudioJev overview. A waveform, question and caller-supplied alternatives define a decision for one shared audio classifier.”。

该图训练侧把同一音频与问题分给视图一与视图二，视图二中每个候选都不在原位置，两组 logits 经身份对齐后进入候选损失与双向 KL。推理侧把候选、共享分类器、logits 与预测连成一条直线，预测示例中狗吠等 4 个答案按调用方顺序拿回概率。该图只表达接口与训练目标的组织方式，具体损失权重与训练步数见后文实验条件。

组件与计算：候选读出、对齐与错排如何配合？

先沿一个样本走完输入到输出。输入波形记为 x，问题记为 q，给定答案描述列表记为 O，输出是对这 K 个备选之一的估计。位置标签取自数字与大写字母，每个都是不同单 token，标签编码位置而不编码全局类别身份。提示要求输出一个标签，推理读取其下一个 token 的 logits。

候选读出把标签 logits 做组内归一，支撑集恰好是本次列表，公式符号与计算目标如下，s 为标签 logit，分母只在 K 个候选中求和。

\[p_{\theta}(i\mid x,q,O)=\frac{\exp s_{i}}{\sum_{j=1}^{K}\exp s_{j}}.\]

该式说明概率来自候选内部归一，没有隐含回退类，监督来源是语义答案对应的标签。目标随语义答案走，这是候选条件决策的计算落点。

候选条件决策 × 顺序校准： 候选条件决策分工是把输出支撑集限定为本次给出的 K 个答案并在其位置标签上做归一，顺序校准分工是要求同一答案在含义不变重排下保持相近概率，搭配理由是序列化候选必然引入位置干扰，组合意义是形成含义决定概率而位置不决定概率的接口。

语义对齐把重排视图的分布映射回原身份。设重排为置换，重排分布为对应条件分布，则对齐分布取逆置换位置的概率，公式如下。

\[\widetilde{p}^{\pi}_{i}=p^{\pi}_{\pi^{-1}(i)}.\]

该式目标是让概率跟随答案含义而非显示位置。若直接比较相同标签位置就会比到不同答案，这是必须先对齐再算分歧的原因。

语义对齐 × 位置对齐： 语义对齐分工是把重排分布按逆置换映射回原答案身份再比较，位置对齐是直接比较相同标签位置而会比到不同答案，搭配理由是训练与评估都必须先回答在比谁，组合意义是 AudioJev 只采用语义对齐让 SKL 与翻转率都度量含义层稳定性。

错排要求每个候选都移动位置，其集合定义如下，K 为候选数，二元问题的第二视图是唯一交换。

\[\mathcal{D}_{K}=\{\pi\in S_{K}:\ \pi(i)\neq i\ \forall i\}.\]

训练时每条记录抽一个无不动点的置换，抽样由记录与训练种子决定并在重复曝光时复用。两视图共享音频预处理，损失是两视图候选交叉熵平均加权对称 KL，权重默认 0.5。2 分支都保留梯度，标签监督负责判别，对称 KL 负责耦合两呈现下的概率。

随机错排 × 对称 KL： 随机错排分工是为每条记录生成每个候选都离开原位置的第二视图，只改变顺序与标签绑定而不改变音频与内容，对称 KL 分工是在按身份对齐后惩罚双向分布差异，搭配理由是仅监督重排不约束分布而不对齐比较会比错答案，组合成 RD-SKL 后同时实现可判别性与跨呈现一致性。

需要指出原文未给出的不猜，例如具体注意力之外的梯度细节以附录实现为准。视觉与语音合成旁路不在训练路径内，优化器在阶段边界重置而阶段从固定末步继续。这些按原文交代保留，不从模型名称推定额外实现。

训练分哪三段走，每段吃什么数据？

训练分语义、联合与通用 3 段，原始问题数分别为 4096、4096 与 8192，候选数跨 2 至 36。更新步数分别为 1024、1024 与 2048，全局批量为 4 个原始问题即 8 个视图。学习率沿用开发集选定的百万分之一，每阶段 32 步热身，报告检查点均为固定末步。

下表是通用阶段原始问题构成，每个原始问题有两个训练视图，同一录音的重复提问不计为独立音频源。表中数字即训练配方的可复述依据，复现时先核对该构成再核对阶段预算。

CapabilityDatasetTraining questions
EventESC-501,024
SceneTUT20181,024
ActivityOration512
TransitionSpokenWOZ1,024
IntentSLURP512
Sound questionsClotho-AQA2,048
Note propertiesNSynth2,048

该表说明最终混合覆盖事件、场景、语音活动、说话人转换、意图、声音问答与音符属性七族。事件用 ESC-50 前三折训练，场景用录音位置不相交划分，语音活动关心 1 秒过去历史末尾，转换在用户词偏移后查询且至多看过去 5 秒。训练把因果状态投影到监督标签之前，裁剪先于重采样以防未来样本泄漏。

下表是 3 阶段的原始样本、更新与开发量，复现时先按此核对预算，再核对种子与错排复用规则。种子改变训练顺序与每记录固定错排，每种配置一个模型做 1 次预测。

StageOriginal examplesUpdatesDev.
Semantic4,0961,024256
Joint4,0961,024320
General8,1922,048576

该表之后还需记住实现细节，三默认权重运行把两视图打包进 1 次左填充前向与反向。用分片与半精度训练并保留优化器与随机数状态以便续跑，基准答案从不进入训练与模型选择。同一评估置换面板固定用于所有种子，这是保证比较对象一致的条件。

评测条件如何保证比的是同一件事？

评测按问题组织，测什么分为三块：能否吃到波形证据，能否跨任务覆盖，以及重排候选时概率是否稳定。与谁比分为冻结直接音频主干与专家、共享转录的文本分类器级联，以及移除配对训练的单视图消融。单视图消融匹配原始样本、种子、更新预算与末步，只去掉第二视图与 KL。

数据与协议按原文交代：672 条 MINDS 多语言录音、3931 题短音频 MMSU、完整 10000 题 MMAU 与 1000 题 MMAR。MMAU 由公开与隐藏官方计分相加，MMAR 用发布方词集打分，完整波形与原始选项按原样保留。每题 6 个评估视图固定为原生、单步循环、半周循环、固定非循环随机、逆序与内容规范。

下表是各种子固定末步的原生顺序准确率，复现先核对种子缩写与步数，再核对均值聚合方式。3 个复制均完整，报告对每基准的逐种子分数取平均。

SeedGeneral stepMMAUMMSUMMAR
01204869.4162.4556.30
02204868.6661.1354.80
03204868.5661.5154.90

该表显示评估用同一六视图面板并做语义对齐，重复描述合并、位置相关题保留准确率但排除偏差分母。时延面板含各基准 20 题共 100 个不同录音问题，批量为 1 并做设备同步。论文还说明隐藏 MMAU 主要驱动完整结果，熵与最大概率等指标互补，均匀预测的零分歧不代表决策有用。

下表是 MMAU 公开、隐藏与完整划分的准确率，完整准确率先加总正确数再除以 10000。隐藏提交含每个发布方编号恰 1 次，每视图有 9000 题官方回执与零缺失预测。

SeedPublic (1k)Hidden (9k)Full (10k)
0171.1069.2269.41
0271.1068.3968.66
0370.5068.3468.56

该表用于核对完整套件结果不是仅由公开子集驱动。填充、重复描述与非单答案引用按原样保留，不从金答案合成候选。条件是否一致方面，文本管线共享同一转录输出，时延含新鲜转录，活动用宏 F1 而转换加报平衡准确率与 AUROC。

主结果：波形证据在哪些任务上兑现？

比较问题是直接波形模型相对同转录文本管线是否有系统级优势。公平条件是文本侧共享同一 Whisper large-v3 转录并尝试多种读者，指标方向是准确率越高越好、时延越低越好。下表整理论文连续正文实际出现的关键数字与单位，支撑集与比较对象以原句为准。

条件指标基线本方法比较对象
完整 MMAU平均准确率超最强管线前水平68.88%Whisper 加文本读者
完整 MMAR平均准确率超最强管线前水平55.33%Whisper 加文本读者
SLURP 八候选准确率文本读者水平95.14%Omni-text 7B
MMSU准确率60.77%61.70%Qwen3.5-4B
场景准确率29.50%58.83%冻结 Omni 3B
音符属性准确率45.70%67.90%冻结 Omni 3B
转换AUROC0.855/0.8040.895/0.900Smart Turn
固定面板单请求时延1206.9 ms62.4 ms语音转文本加英语 Laya

上表的主要收益是通用音频套件上直接模型保留优势，论文报告完整 MMAU 为 68.88%、MMAR 为 55.33%，SLURP 八候选 95.14% 与 MMSU61.70% 连接了通用理解与意图路由。共享训练把场景从 29.50% 带到 58.83%、音符属性从 45.70% 带到 67.90%，转换 AUROC 达到 0.895 与 0.900。时延上 62.4 ms 相对 1206.9 ms 显著降低，级联中转录占主导阶段。

原生顺序准确率 × 规范顺序诊断： 原生顺序准确率分工是度量调用方给定顺序下主接口性能，规范顺序诊断分工是把候选按文本排序后再推理作为确定性包装器对照，搭配理由是排序包装本身能带来表面一致而不能证明学到校准，组合意义是区分模型内在稳定性与外部排序技巧的贡献。

具体代价与反例是 MINDS 上部分文本读者在语义任务仍强，说明直接证据的价值集中在声音与音乐等词法不完备的设置。未评测边界包括开放生成与缺失正确答案的接口干预，总体趋势不等于每组每步都成立。原生与规范顺序的对照显示规范包装不能代替已学习的校准，评估必须把准确率与稳定性并列。

反证：拿掉配对错排后稳定性的哪部分消失？

反证问题是概率稳定性中有多少来自配对错排训练。公平条件是原始样本、种子、更新与末步全匹配，消融去掉第二视图与 KL。评估用与训练伙伴独立的非循环随机重排并做语义对齐，指标方向是 SKL 与翻转越低越好。下表用论文连续原句中的数字组织，准确率为原生顺序百分比。

条件指标消融本方法变化
3 基准乱序 SKL降幅单视图移除消融配对错排训练43.8% 与 48.9% 与 60.5% 降幅
完整 3 基准准确率未单独列68.88%/61.70%/55.33%保留可用决策
MMAR相对降幅单视图移除消融60.5%降低
MMAR 翻转翻转率18.20%15.44%降低
完整 2 基准相对降幅单视图移除消融43.8%/60.5%降低

上表的主要判断是配对错排在 3 基准上分别降低乱序 SKL 达 43.8%、48.9% 与 60.5%，并在三者上都降低答案翻转。最终模型保留 68.88% 与 61.70% 与 55.33% 的准确率，说明分布一致性与有用音频决策相连。MMAR 翻转从 18.20% 降到 15.44%，支持分布与决策两层的收益。

未胜出项是消融在原生准确率上并不更差，说明校准收益不在原生准确率上。权重从 0.5 加倍到 1.0 时变化有限，单种子扫描中不同权重各有所长，这分离了分布一致与答案稳定两个性质。跨单步旋转、半周旋转、随机非循环与逆序的条件下每种子都降低 SKL 与 TV，才支持分布级收益。

边界：哪些结论不能从这些数字推出？

论文明确的接口边界是闭集决策，调用方必须给出容许答案。训练对按候选身份对齐，因此目标可直接扩展到选项改写等含义保持编辑。但序数选项、缺失正确答案与改写候选是不同干预，本文只研究固定内容置换。有限对训练提供经验一致性而不证明对所有列表的等式成立。

顺序校准与置信度相对经验正确率的可靠性是互补性质。RD-SKL 不加推理时部件，标准温度缩放等事后校准可原样叠加。不能把顺序稳定当成置信可靠，也不能把分布抖动小当成应用层正确保证。熵、最大概率、TV、SKL 与翻转互补，任何单一指标都不充分。

对话部署边界是离线因果评估，在提议暂停处至多看过去 5 秒，不等待完整转录。度量的是观察到的下一说话人行为而非连续端点发现或理想回复时机，驱动流式全双工智能体时的打断代价与等待阈值由部署决定。伦理与许可方面，音频可能含可识别信息，基准分数不验证个人属性或身份决策。

研究使用现有数据集与模型而未招募被试，数据集与模型许可各异含研究与非商业限制。转载需核对条款，手稿不含波形与权重，且 AudioJev 独立于 TypeSafe。未测量误判率细节、其他硬件延迟或成本时，不承诺这些量同步改善，这是使用结论时必须守住的边界。

复现先做什么，需要哪些信息条件？

复现先固定信息条件：主干为 Qwen2.5-Omni 3B 并更新音频分类通路活跃参数。目标为两视图候选交叉熵平均加 0.5 倍对称 KL，批量 4 个原始问题即 8 视图。3 段更新 1024 加 1024 加 2048，学习率百万分之一，每阶段 32 步热身。阶段边界重置优化器并从固定末步继续，种子改变训练顺序与每记录固定错排。

评估用同一六视图面板并做语义对齐，重复描述合并、位置相关题保留准确率但排除偏差分母。先跑通单种子末步的原生准确率与乱序 SKL，再扩展 3 种子均值与样本标准差，最后做单视图消融与权重加倍对照。隐藏 MMAU 需经官方接口计分并保留每视图回执与零缺失预测。

可用性以本次核验为准：推理代码当前可用，模型权重本次未能确认可达。TUT2018 记录当前可用而语音活动检测数据集本次未能确认可达，类型化决策文档、Laya、Jeff、Silero 语音活动检测与 Smart Turn 当前可用。复现应先拉取可用代码与数据，权重不可达时先用主干与配方重训。

公开题与 MMAR 用发布方词集规则，填充、重复描述与非单答案引用按原样保留。不从金答案合成候选，不把代码可用等同于系统可运行。开发分数只监视优化，不挑选报告检查点，这是复现时最容易误用的环节。

何时值得尝试这种顺序校准？

当应用以音频到达、问题与候选由调用方给出、且下游直接消费概率时值得尝试。意图路由、环境事件与场景、语音活动、音符属性、声音问答与因果对话转换在同一参数下切换任务。无需任务专用头，推理保持单次前向并在固定面板上显著低于含新鲜转录的级联。尝试前应确认任务确为闭集且容许答案完备。

若需开放生成或答案可能缺失，则本文接口与结论不适用。采用时把原生准确率与乱序 SKL、总变差与语义翻转一起作为验收门槛。权重默认 0.5，加倍至 1.0 在 3 基准上变化有限，可按分布一致与答案稳定的侧重扫描，但单种子最优不代替可部署收益，需 3 种子复核。

还需补的验证是更多置换族与改写候选的迁移、长音频与新会话的覆盖，以及目标硬件与并发下的端到端延迟。只有在这些条件下仍保持准确率可用且分布抖动小，顺序校准才算真正把候选含义从训练带到了推理。这也是把论文结论转为工程决策前必须完成的闭环。

📎 论文与评分元数据

排名：前25% | 文档类型：方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-10-02 语音/音乐/音频论文速递