英文题目：Mizar: A 159M-Parameter Audio-Language Model for Audio Understanding
标签：#音频问答 | #多模态学习 | #音频大模型 | #端侧运行
评分：7.7/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Kaiyang Li：机构信息未在 arXiv HTML 中可靠披露
- Shaobo Han：机构信息未在 arXiv HTML 中可靠披露
- Yue Tian：机构信息未在 arXiv HTML 中可靠披露
- Shihao Ji：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
音频语言模型需以单段录音加文本问题为输入并生成依赖声学证据的答案，难点在于紧凑解码器易忽略音频而退化为语言猜测。本文先以大规模指令混合建立音频与文本对齐，再以强音频依赖子集迫使模型利用声学信息，最后以后训练同时纠正选项位置偏好并补齐弱项。前者提供可推理基座，中者筛选难例改变依赖，后者以平衡重排与师生分区实现保留与补强。相对同规模前作的关键机制差异在于频率合并映射与教师辅助四象限采样，前者保留频带差异后融合，后者针对性排练弱点。跨五个后训练随机种子，在MMAU测试集上平均准确率达到52.92%，在MMAR上为42.42%，在ADQA-clean上为36.02%，相对同协议复评的Mellow分别提升11.45、8.02和5.77个百分点，对应相对增益27.61%、23.31%和19.07%。在单CPU四线程上从打开音频到完整回答的平均时延为1.094秒，峰值进程内存为1.66 GiB。该结论仅适用于英文环境声问答与相近多选题分布，对长音频、重叠声与分布外口音尚未验证。
🔗 开源与复现资源
代码相关资源：https://github.com/KaiyangLi1992/Mizar_159M — 链接可访问（HTTP 200）
模型相关资源：https://github.com/KaiyangLi1992/Mizar_159M — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要解决什么限制？
本文的输入是一段录音加一个自然语言问题，问题常带有多个选项，输出是用语言生成的完整答案。目标是在内存、算力和能耗受限的设备上直接理解环境声、事件关系与上下文，而不是把录音传到云端。作者把研究范围限定在参数少于 200M 的音频语言模型，原因是这类模型才能装进普通中央处理器和低成本边缘处理器，并在无可靠网络时保持连续工作，同时把敏感录音留在本地。
必须保留的关键信息是模型规模 159.3M 参数、3 阶段训练流程、监督来源组合，以及在 3 个基准上的评测条件与本地推理条件。输出是 1 篇可核对的方法复述，重点讲一个样本如何从 20 秒音频走到答案、每阶段用什么数据练什么能力、评测时与谁比且条件是否一致。本文只讲论文实际做的音频理解任务，教学中举的例子会明确标为例子，不补充无来源的数值。
代码与权重可得性按本次资源核验写：资源状态为可用，代码与检查点当前已公开，地址为论文给出的仓库链接。本解读不评价仓库现状，只转述论文的开源声明与实验设置。
同输入同目标的相关路线处在什么位置？
同输入同目标的路线是音频语言模型，即用音频编码器感知声音，再用预训练语言模型的知识做推理与回答。论文把 Mellow 作为同规模起点，Mellow 用 167M 参数展示了小模型也能与大得多的模型竞争，但原文指出其在数据集筛选、训练策略与架构上仍有系统优化空间。更大规模的对照包括 7B 到 13B 量级的问答与对话模型，它们在 MMAU 上的分数被放在同一张榜单中比较，但参数量与运行条件完全不同，不能当作同等预算下的胜负。
同监督与同运行阶段的对照包括 ReasonAQA、AudioMCQ 与 AVQA 3 类监督，以及编码器候选 HTS-AT 与 BEATs。论文的思路不是换一个更大的语言模型，而是保持小解码器 SmolLM2-135M，改进前端压缩方式与数据组合，再用强音频依赖筛选与教师辅助精修补弱点。这种定位决定了后文消融必须分开看数据、编码器加映射器组合、映射器本身与训练阶段各自的作用。
小模型做音频问答难在哪里？
第一个难点是模态对齐。声音是连续时频信号，问题是离散词序列，模型必须把可变长的声学证据变成语言模型能读的前缀。如果直接把时频网格铺平，token 数量与计算量会上升；如果粗暴平均，又会丢掉频率细节。第二个难点是文字捷径。
很多问题仅凭常识或选项文字就能猜中，模型可能学会忽略音频，导致换一段声音答案不变。第 3 个难点是位置偏好。训练后模型可能偏爱某个选项序号，调换选项顺序就会改变答案，这属于没有真正理解内容。
举一个教学例子：假设输入是一段 20 秒的街道录音，问题问中间出现了什么事件并给出 4 个选项。理想行为是模型先定位时间与频率线索，再结合问题选出对应选项；失败行为包括只看选项文字选最常见的答案，或把正确选项从 B 移到 D 就答错。论文的方法全景正是围绕这三件事展开：用频率合并压缩而不丢权重，用强音频依赖数据逼模型听声音，用位置平衡与弱点复习纠正偏好。
Mizar 的方法全景如何串起架构与三阶段？
Mizar 由三块组成：冻结的 CED-Small 音频编码器、作者设计的音频语言映射器、可全量微调的 SmolLM2-135M 语言解码器。处理一个样本时，先取前 20 秒音频，不足则补齐，过长则截断，编码器输出 126 个时间位置乘 4 个频率位置的特征网格，映射器把频率轴合并为 126 个音频 token，再与分隔符和问题选项的文本 token 拼接，解码器自回归生成完整答案。训练全程编码器冻结，只训练随机初始化的映射器并全量微调语言模型，损失是对答案 token 的交叉熵。
训练分 3 段。第 1 阶段做音频指令学习，对齐音频与语言并让解码器适应音频任务。第二阶段做音频依赖微调，只用强音频依赖例子加强对声音证据的依靠。第 3 阶段做精修，用答案位置平衡与教师辅助的四象限采样，针对弱点补练并复习已学技能。图 1 把这两条线画在一起，上面是数据流，下面是训练流。
下段是图 1 的导读，帮你按输入到输出的顺序读图，而不是先跳到结论。
看图路径： 1. 沿上方面板从左侧音频波形经编码器到映射器再到语言模型的箭头走一遍主路径；2. 观察时频网格如何先变为时间序列再变为 126 个音频 token 并与文本 token 拼接；3. 对照下面板三个阶段方框确认每阶段的数据来源与示例数量变化；4. 核对总参数 159.3M 与各模块参数标注的加和关系
论文图 1。原论文 Figure 1:：“(a) Mizar architecture. Blue blocks denote model components; gray grids and tokens represent intermediate features.”。
图 1 上面板显示音频先经 CED-Small 得到时频网格，再经频率合并变为时间序列，经映射器变为 126 个音频 token，然后与问题选项文本拼接进入 SmolLM2 输出完整答案，图中还标出各模块参数与总参数 159.3M。下面板显示 3 个阶段的数据与目标从对齐到加强音频依据再到精修与降低选项偏好，示例数量逐段减少。读图时应把架构面板的 token 数量变化与训练面板的数据量变化分开看，前者是单样本的表示压缩，后者是跨阶段的课程安排。
编码器、映射器与解码器各自做什么？
编码器采用 CED-Small，一个经一致集成蒸馏预训练做音频标注的视觉 Transformer。它把对数梅尔谱切成不重叠块，加上时间与频率位置嵌入，再经 12 层 Transformer 输出 384 维块特征。论文丢掉原分类头，只保留 21.4M 参数的编码器并在整个音频语言模型训练中保持冻结。对 20 秒录音，连续谱段分别编码再按时间拼接，得到 126 乘 4 乘 384 的特征网格。冻结的含义是该部分参数不更新，梯度只流经映射器与语言模型。
音频编码器 × 语言解码器： 音频编码器负责把 20 秒录音的对数梅尔谱切块并提取时频特征，语言解码器负责读懂问题与选项并生成答案，二者搭配的原因是声音特征不在语言词表空间，必须经映射器对齐到 576 维输入嵌入后才能拼接为前缀，组合意义是让解码器在自回归生成时同时看到 126 个音频 token 和文本 token。
映射器先在每个时间位置把 4 个频率特征拼成 1536 维向量，再经两层多层感知机投影到 576 维，中间用激活与丢弃。为了补充整段录音的上下文，对原始编码器特征在时间与频率上平均得到 384 维全局摘要，再投影到 576 维并加到每个时间位置，同时加上可学习的时间位置嵌入与所有位置共享的音频类型嵌入。最后经带层归一化的残差多层感知机精修，得到 126 个 576 维音频 token。映射器共 3.37M 参数。解码器采用 SmolLM2-135M，30 层、隐宽 576、分组查询注意力，负责把音频 token、分隔符与文本 token 一起读入并生成答案。
频率合并 × 音频 token： 频率合并指在每个时间位置把 4 个 384 维频率位置特征拼成 1536 维再投影，音频 token 指投影并加入全局上下文与位置嵌入后得到的 126 个 576 维向量，前者分工是保留不同频率权重并压缩频率轴，后者分工是作为语言模型的输入前缀，组合意义是把 126 乘 4 的时频网格变为 126 长度的时间序列。
关键投影的符号与计算目标如下：输入是同一时刻 4 个频率位置的 384 维特征，目标是得到该时刻的 576 维局部表示，原文实现是拼接后送入两层投影。
\[\displaystyle\mathbf{x}_{t}=[\mathbf{H}_{t,1};\ldots;\mathbf{H}_{t,4}],\quad\mathbf{u}_{t}=f_{\mathrm{proj}}(\mathbf{x}_{t}).\]该公式只描述局部投影一步，不包括后文的全局摘要相加、位置嵌入相加与残差精修，原文未给出这几步之外的额外梯度截断说明，因此按常规理解梯度可经映射器回传到其自身参数，但不更新冻结的编码器。
三阶段训练每步练什么，用多少数据？
第 1 阶段混合 756968 条 ReasonAQA 样本与 571008 条 AudioMCQ 直接回答样本，再随机抽 150000 条 AudioMCQ 思维链样本，鼓励模型学习显式推理步骤，总计 1477976 个监督行，同一录音可对应多条样本，训练 3 轮。ReasonAQA 覆盖选择、开放回答、描述与二分类任务，AudioMCQ 提供直接回答与推理过程。这 1 阶段的目标是建立音频与语言的对齐，并让解码器适应音频任务。
第二阶段用强音频依赖数据。strongAC 是 AudioMCQ 中把音频换成静音后参考模型答对率低的子集，AVQA 只保留声音子集与音画都有子集，去掉纯视觉问题。两者提供 256077 条 strongAC 与 33875 条 AVQA 样本，组成 289952 行的数据池，实际用其中 57984 条配对音频与问题选项文本做微调，目标是生成完整答案。做法是不用视频，只用音频加文字，仍用答案 token 交叉熵。
音频指令学习 × 音频依赖微调： 音频指令学习负责用大规模混合问答把音频与语言对齐并让解码器适应音频任务，音频依赖微调负责用强音频依赖子集强化对声音证据的依靠，二者搭配的原因是先学广覆盖再聚焦难例可避免一开始就过拟合小集合，组合意义是第 1 阶段建基础、第二阶段纠正只看文字就能答题的捷径。
第 3 阶段用第二阶段的数据池做精修。先循环重排选项使正确答案在 4 个位置上平衡，同时保持问题与答案身份不变，以降低第二阶段检查点表现出的特定位置偏好。再用教师辅助的四象限采样：教师是 AudioMCQ 微调过的 Qwen2.5-Omni，学生是第二阶段的 Mizar，两者在 4 种循环排序下全对才算稳定答对，按教师与学生是否稳定答对划分 4 组并按比例抽样，共 12800 条做后训练。
答案位置平衡 × 四象限采样： 答案位置平衡负责把正确选项循环重排到 A 到 D 均匀分布以削弱位置偏好，四象限采样负责按教师与学生是否在 4 种排序下都答对来划分保留比例，前者分工是消除选项顺序敏感，后者分工是多练教师会对而学生错的弱点并复习已会技能，组合意义是在同一强音频依赖池上做有针对性的精修。
下表把 3 阶段的数据来源与抽样规模放在一起，便于复现时核对每阶段实际用了多少监督行，而不是只记混合名称。表前的问题是：每阶段的数据池有多大，实际训练用了多少，目标有何不同。指标方向是数量越大一般覆盖越广，但第二三阶段更强调难度与针对性。
| 阶段 | 数据来源 | 关键组成数量 | 实际训练用量 | 阶段目标 |
|---|---|---|---|---|
| 第 1 个阶段 | ReasonAQA 加 AudioMCQ 直接回答 | 756968 加 571008 | 1477976 监督行含思维链 | 对齐音频与语言 |
| 第 1 阶段补充 | AudioMCQ 思维链抽样 | 150000 | 计入 1477976 总量 | 学习显式推理步骤 |
| 第二阶段 | strongAC 加 AVQA 声音与音画子集 | 256077 加 33875 | 57984 来自 289952 行池 | 加强音频依据 |
| 第 3 个阶段 | 第二阶段池重排与四象限抽样 | 循环平衡 4 个位置 | 12800 后训练 | 补弱点并复习 |
上表的主要收益是把总量与实际用量分开：第 1 阶段总量大、训练 3 轮，第二阶段池大但只用一部分难例，第 3 阶段只用很少的精修样本。代价是阶段越多，选择检查点与超参数的验证成本越高，且第 3 阶段依赖教师模型的判断，复现时需先准备同一教师或明确替换条件。未胜出或需注意的边界是随机延续在原文中并未带来提升，说明不是任何延续训练都有效。
在什么数据、协议与统计下评测？
评测用 MMAU 测试集 9000 题、MMAR1000 题与 ADQA-clean1577 题，其中 ADQA-clean 排除了 30 道与验证集共用音频的题目。超参数与检查点选择用 MMAU 测试迷你集 1000 题做验证集，原文经音频级核查确认训练、验证与测试集无重叠。生成用贪心解码、单精度、300 个 token 上限。MMAU 测试预测在本地生成并送官方服务打分，其余基准用各自官方评测器。主指标是准确率，另有 3 基准的无加权平均。后训练结果报告 5 个随机种子的均值与样本标准差，这 5 个种子共享同一个第一二阶段初始化。
比较条件需要逐项核对。Mellow 的官方检查点用 MMAU 官方解析与打分重评，原文明确其发表的 52.11% 是更早的测试结果，与当前修订版与打分协议不可直接比较。声学依赖诊断中 Mellow 用发布检查点并把相关长度设为 256 以匹配 Mizar 设置。计算量比较用 20 秒输入的单独输入协议，与 Mellow 的基准评测输入协议不同。中央处理器推理用单 CPU 四线程、单精度、无量化，在 100 道分层抽样的 MMAU 测试题上每题重复 3 次并预热，统计从打开音频文件到首 token 与完整答案的时间，以及峰值进程内存。
主结果在什么条件下成立，声音到底起了多大作用？
主结果的问题是：在相同本地生成加官方打分的条件下，159.3M 的 Mizar 是否在三项基准上超过 200M 以下此前的最优同规模模型。指标方向是准确率越高越好。下表选自原文 MMAU 榜单，保留大模型背景、Mizar 与 Mellow 的直接对照，说明 Mizar 处在什么分数段。表中 Mizar 与 Mellow 为本地预测加官方服务打分，其余行用官方榜单解析结果。
| Model | Parameters | MMAU Test (%) |
|---|---|---|
| Mizar (ours) | 159.3M | 52.92 |
| Mellow* [6] | 167.0M | 41.47 |
| M2UGen [13] | 7B | 39.76 |
| SALMONN [14] | 13B | 36.23 |
上表显示 Mizar 的 MMAU 测试分数为 52.92%，高于重评后的 Mellow 的 41.47%，同时榜单中仍有 8.2B 与 7B 等更大模型排在其前。收益是小参数达到可比的分数段，代价是与榜首仍有近 20 个百分点的差距，且跨榜单比较时参数与打分协议并不一致，不能理解为同等部署成本下的全面超越。未胜出项是榜单中排在 Mizar 之前的多个大模型，它们提醒读者分数优势只限于 200M 以下区间。
声学依赖诊断的问题是：把问题选项固定，把录音换成静音或同领域无关录音，准确率掉多少。指标方向是下降越多，说明原音频的贡献越大，但同时也要看替换后绝对分数。下表保留原音频、静音与替换音频三列及变化量，Mizar 为 5 种子均值，Mellow 为发布检查点在同一诊断协议下的重算值。
| Benchmark | Model | Original | Silence | Silence | Replacement | Replacement |
|---|---|---|---|---|---|---|
| MMAU-9k | Mellow | 41.47 | 35.67 | (−5.80)(-5.80) | 34.96 | (−6.51)(-6.51) |
| Mizar | 52.92 | 44.69 | (−8.23)(-8.23) | 43.68 | (−9.24)(-9.24) | |
| MMAR | Mellow | 35.60 | 33.60 | (−2.00)(-2.00) | 32.10 | (−3.50)(-3.50) |
| Mizar | 42.42 | 36.30 | (−6.12)(-6.12) | 36.32 | (−6.10)(-6.10) | |
| ADQA-cl. | Mellow | 29.61 | 26.32 | (−3.29)(-3.29) | 26.70 | (−2.91)(-2.91) |
| Mizar | 36.02 | 28.00 | (−8.02)(-8.02) | 28.07 | (−7.95)(-7.95) |
上表显示两种替换在每项基准上都降低准确率，且 Mizar 的下降幅度大于 Mellow，例如 MMAU 上静音使 Mizar 降 8.23 个百分点、替换降 9.24 个百分点，而 Mellow 对应降 5.80 与 6.51 个百分点，MMAR 与 ADQA 上也有同样模式。论文据此报告原音频对 Mizar 答案的贡献更大。代价与限制是 Mizar 在替换后仍高于 Mellow，说明其优势同时包括更强的声学利用与在原音频缺失时仍有用的能力，不能把全部差距都归因于听觉。
静音替换 × 无关音频替换： 静音替换指把原录音换成静音而问题选项不变，无关音频替换指换成同领域另一段录音，前者分工是测去掉声音后还能剩多少文字先验，后者分工是测模型是否被错误声音带偏，组合意义是共同判断准确率中有多大份额真正来自当前音频。
计算与推理成本放在同一节是因为它们决定结果能否落地。下表比较 2 模型在 MMAU 测试迷你集上按 20 秒输入估计的平均计算量，区分编码器、音频语言接口、解码器输入处理与带缓存的答案生成。
| Component | Mellow | Mizar |
|---|---|---|
| Audio encoder | 23.94 | 23.84 |
| Audio–language interface | 4.83 | 0.64 |
| Decoder input processing | 87.90 | 86.46 |
| Answer generation (with KV cache) | 2.28 | 2.27 |
| Total | 118.95 | 113.22 |
上表显示总计算从 118.95 降到 113.22 吉浮点运算，降幅 4.82%，其中音频语言接口从 4.83 降到 0.64 吉浮点运算，贡献了总节省的 73.06%。主要收益在接口部分，代价是编码器与解码器输入处理仍占大头，所以整体节省小于接口本身的降幅。中央处理器实测报告平均从打开音频到首 token0.636 秒、到完整答案 1.094 秒，95 分位 1.366 秒，峰值进程内存 1.66 吉字节，含框架初始化，支持单 CPU 四线程本地推理的判断，但这是在 100 题抽样与预热后的测量，不等于所有音频长度与硬件下的延迟承诺。
哪些组件与数据选择真正带来了提升？
消融按问题组织：去掉某部分后，在相同训练终点与单种子下 3 基准平均分如何变化。原文报告去掉 150000 条思维链样本使 3 基准均值降 2.19 分，只用 ReasonAQA 降 6.79 分，完整第 1 阶段混合在 MMAU 与 ADQA 上更好，但在 MMAR 上略低于去掉思维链的版本。编码器比较中 CED-Small 的均值高于 HTS-AT 与 BEATs，但原文明确后两者同时改了映射器，因此只能理解为编码器加映射器组合的比较，不能当作孤立编码器效应。映射器比较固定编码器、数据与 20 秒预处理，作者的 3.37M 映射器均值 40.01%，高于拼接版 39.27% 与平均版 39.10%，最大差距在 MMAU 上。用作者扩展数据与流程重训 Mellow 原生架构，单种子均值从发布检查点的 35.37% 升到 39.04%，其中 MMAU 从 41.47% 升到 48.21%，MMAR 从 34.40% 升到 38.60%，ADQA 几乎不变。
第二阶段比较随机抽样与音频依赖微调，后者把 3 基准均值从 40.10% 提高到 42.38%，三项基准全部提高。第 3 阶段比较 4 种延续：随机延续、象限选择、平衡随机、象限加平衡的 Mizar。随机延续均值 42.10%，略低于第二阶段的 42.38%；在相同问题与训练顺序下只平衡答案位置，均值升到 43.04%；在平衡呈现下再加教师辅助象限选择，均值升到 43.78%，在三项上分别超过平衡随机 0.51、0.86 与 0.88 个百分点。原文据此支持位置平衡与教师辅助选择都是第 3 阶段的有用成分，但也明确象限前后两版同时改了筛选规则与选项呈现，不能只归因于单一改动。
教师辅助采样的配比是理解精修的关键。下表的问题是：按教师与学生在 4 种循环排序下是否稳定答对，如何划分复习与补弱的比例。是否指稳定答对的严格标准，份额指每组的抽样占比。
| Teacher | Student | Role | Share |
|---|---|---|---|
| Yes | No | Target teacher-solvable weaknesses | 50% |
| Yes | Yes | Rehearse shared strengths | 35% |
| No | Yes | Retain student-specific strengths | 10% |
| No | No | Sample challenging cases sparingly | 5% |
上表显示 50% 用于教师会对而学生错的弱点，35% 用于双方都对的共享强项，10% 用于只有学生对的特有强项，5% 用于双方都不稳定答对的难题。主要收益是把一半预算放在可学会的弱点上，同时用超过四成的预算复习已会技能以防遗忘。代价是仍有 5% 的极难样本与 10% 的特有强项需要权衡，比例本身是设计选择，不是搜索最优，换比例或换教师可能改变结果。未胜出项是随机延续，它说明不做平衡与筛选时额外训练并不能保证提升。
还有哪些边界、冲突与未验证的推测？
第一个边界是评测协议。Mellow 发表时的 52.11% 与重评后的 41.47% 来自不同基准修订与打分协议，原文已标注不可直接比较，读者复述时必须保留重评条件，不能用旧分数计算相对提升。第二个边界是编码器消融的混杂。HTS-AT 与 BEATs 版本同时改了映射器，其中 BEATs 版本还超过 200M 参数，因此不能说单独换编码器一定更好，只能说在各自编码器加映射器组合下 CED-Small 的均值更高。第 3 个边界是第 3 阶段对照的耦合。象限选择前后两版同时改变筛选规则与选项呈现，平衡随机与象限加平衡共享正确位置序列但问题选择不同，解释时应按原文保留这些条件。
未验证的推测包括比例与泛化。50%、35%、10%、5% 的四象限配比是作者的设计，原文没有报告遍历所有配比的最优搜索，因此不能当作最优配比。中央处理器延迟只在特定服务器 CPU、四线程、单精度、无量化与 100 题抽样下测得，不能推广为所有边缘处理器的延迟。总体趋势不等于每组都成立，例如去掉思维链后 MMAR 反而略高，ADQA 在重训 Mellow 原生架构时几乎不变，这些反例提醒读者平均提升不代表每项基准都同等受益。
要复现方法，先做什么，需要哪些超参数与信息条件？
先按样本走通一条可运行链：取前 20 秒音频并补齐或截断，提取对数梅尔谱，用冻结的 CED-Small 得到 126 乘 4 乘 384 网格，经频率合并映射为 126 个 576 维音频 token，与分隔符及问题选项文本拼接，送入 SmolLM2-135M 生成完整答案，损失只对答案 token 计算。核对映射器结构为拼接加两层投影、全局平均摘要相加、可学习时间位置嵌入与音频类型嵌入、残差精修，参数量 3.37M，总参数 159.3M。编码器保持冻结，映射器随机初始化，语言模型全量微调，这些冻结与更新关系必须按原文实现，不能从模型名称推定。
再按阶段准备数据。第 1 阶段按 756968、571008、150000 与 1477976 的规模组织混合并训练 3 轮；第二阶段按 256077 与 33875 组成 289952 行池并用其中 57984 条微调，AVQA 去掉纯视觉问题且训练时不使用视频；第 3 阶段循环重排使正确答案在 4 个位置平衡，再按教师与学生四排序全对标准划分 4 组并按 50%、35%、10%、5% 抽 12800 条精修，教师为 AudioMCQ 微调过的 Qwen2.5-Omni。验证集用 MMAU 测试迷你集 1000 题，测试用 MMAU9000 题、MMAR1000 题与排除重叠音频后的 ADQA-clean1577 题，生成用贪心解码、单精度、300 token 上限。
还需补的验证是教师替换、配比敏感性与更多硬件下的延迟。区分代码开源、权重下载与系统可运行：论文声明代码与检查点已公开，本次资源核验显示链接可用，但本地能否运行还取决于依赖、内存与音频预处理是否与原文一致，计算量估计不含音频预处理与运行时开销，复现时应单独记录这部分时间。
何时值得尝试这种小模型路线，还缺哪项验证？
当部署要求是单 CPU、四线程、无量化即可在 1 秒量级给出答案，且任务是音频问答而非开放式长音频理解时，这种冻结小编码器加轻映射器与小解码器的路线值得尝试。它的可取之处在于把计算节省集中在音频语言接口，同时用强音频依赖数据与位置平衡精修纠正文字捷径与位置偏好，原文在三项基准上报告了超过同规模 Mellow 的结果，并给出静音与替换音频下的下降幅度作为声音贡献的证据。
不适合直接套用的情况包括音频很长且关键事件在 20 秒之后、问题高度依赖视频、或硬件与线程数远弱于报告的服务器 CPU。此时应先验证截断策略、是否需要视频分支，以及在目标设备上的真实延迟与内存。还缺的验证是教师模型更换后的稳定性、不同答案位置配比的效果、以及除准确率外的误判模式分析。复现时建议先重跑第 1 阶段混合与第二阶段难例筛选，再做小预算的第 3 阶段精修，每步都用同一验证集选检查点，避免把搜索最优或事后最优当作可部署收益。
📎 论文与评分元数据
排名：前25% | 文档类型：模型报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses