英文题目：Reward-Tilted On-Policy Distillation for Acoustic Grounding in Audio-Language Models

标签：#音频问答 | #知识蒸馏 | #音频大模型 | #后训练

评分：8.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Kaiyang Li：机构信息未在 arXiv HTML 中可靠披露
  • Shaobo Han：机构信息未在 arXiv HTML 中可靠披露
  • Yue Tian：机构信息未在 arXiv HTML 中可靠披露
  • Shihao Ji：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

音频问答以录音与文本问题为输入并输出答案，难点是模型可仅凭语言先验猜对选项而忽视声学证据。奖励倾斜在策略蒸馏沿学生自生成前缀送入冻结教师，分别计算有音频上下文\(\xi_t^M=(x^M,a,y_{\lt t})\)与无音频参考上下文\(\xi_t^{\varnothing}=(x^{\varnothing},a,y_{\lt t})\)下的下一词分布，以二者对数概率差\(r_t(v)=\log p_{T,t}^M(v)-\log p_{T,t}^{\varnothing}(v)\)为奖励，对原教师分布做指数加权归一化得到\(q_{\alpha,t}(v)\propto p_{T,t}^M(v)\exp(\alpha r_t(v))\)，再用逆向KL让学生拟合该目标并辅以金答案交叉熵。与直接拟合教师分布的普通在策略蒸馏相比，该机制在词表层面放大音频带来增益的候选，而非整体锐化分布。训练时仅更新学生并以教师答对为门控保留蒸馏监督，无音频教师分支只在训练时计算而不进入部署解码。在9,000样本MMAU测试集上，由Ke-Omni-R-3B后训练得到的Mizar-3B达72.72%准确率，为所比较3B模型最高，接近7B教师73.86%水平。该结论在两类3B学生与MMAU、MMAR、ADQA-clean三项多选基准上成立，对开放式问答与分布外音频的外推尚未证明。原文未披露训练成本与推理延迟。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么文本捷径值得担心？

这篇论文的输入是三元组：一段音频、一个文字问题、以及模型已生成的回答前缀。输出是下一词的概率分布，最终拼成对多选题的推理与选项。目标读者是刚接触语音、音乐、环境声问答的研究生，需要先建立一个直觉：音频语言模型同时有两只耳朵，一只是声学感知，另一只是语言先验。

当问题问狗在叫吗，模型即使没听清录音，也可能因为叫 a dog is 后面常跟 barking 而答对，这种答对不证明它听到了叫声。论文开篇举的正是这个例子，说明只看准确率会掩盖听觉短板。教学例子仅用于理解捷径，不附加任何数值主张。

本文解读的输入是论文原文证据与官方代码可用性声明，目标是把方法讲到可复述，输出是一套按学习依赖展开的中文技术说明。必须保留的信息包括教师与学生的具体模型名、冻结与更新关系、有音频与无音频 2 次教师前向、奖励定义、重塑公式、反向 KL 训练目标、门控与超参数、数据划分与评测条件。解读不做营销式判断，所有效果表述回到原文数字与条件。

为方便核对，先固定简称：音频语言模型简称 ALM，同策略蒸馏简称 OPD，普通同策略蒸馏称 Vanilla OPD，本文方法称 RT-OPD。冻结教师指参数不更新、只提供目标分布的 7B 模型；学生指需要更新的 3B 模型。音频条件用上标 M 表示匹配，无音频用空集符号表示。词汇表记为全词表，下一候选词记为 v。

同输入同目标的相关路线如何分工？

第一条路线是音频推理与蒸馏。Ke-Omni-R 与 CESAR 用强化学习强化链式推理，CORD 把加权反向 KL 与序列级强化结合，X3-OPD 沿学生自身轨迹做推理蒸馏。这些工作主要解决推理能力如何迁移或优化，不显式强调哪些预测有录音支撑。RT-OPD 与它们同输入、同蒸馏运行阶段，但监督目标不同，它在词表层面重塑教师分布。

第二条路线是音频感知的对比监督。Audio-aware decoding 在推理时对比有无音频的预测以减少幻听，CAAD 把同类对比带入蒸馏，但在事先生成的教师回答上用前向 KL 训练，不用金答案交叉熵。RT-OPD 与 CAAD 同目标即增强声学依据，但运行阶段不同：RT-OPD 的对比发生在学生生成的在线轨迹上，且用对比重塑下一词分布后再做反向 KL。

第三条路线是相近的模态对比 OPD。Visual-Advantage OPD 把模态对比用于加权整条轨迹或词组，而非直接重塑词表分布；G-OPD 在数学形式上相近，但参考模型是独立的初始学生，而 RT-OPD 的参考是同一冻结教师去掉音频后的预测。因此 RT-OPD 的对比直接度量同一教师因听到音频而改变的支持度，这是理解后文奖励定义的关键。

要解决的具体问题与评判标准是什么？

问题是紧凑 ALM 在问答中可能利用文本捷径，绕过声学证据。标准 OPD 让学生匹配教师的音频条件分布，但不区分其中多少来自语言可预测性，多少来自录音增量。论文要解决的是如何在蒸馏目标中显式放大录音增量。

举例说明：同样是 barking 这个词，如果无音频时教师已给高概率，说明语言先验已能猜到；如果有音频时概率大幅抬升，才说明录音提供了额外支持。方法是第二种情况给更大奖励。该例子只讲机制方向，不代表真实概率值。

评判标准分两层。第一层是常规准确率：在 MMAU、MMAR 和清洗后的 ADQA-cl 3 个基准上是否超过 Vanilla OPD，指标方向是越高越好，Macro-3 是 3 基准准确率的算术平均。第二层是接地检验：把音频换成静音或另一段录音，看准确率掉多少，掉得更多支持更依赖声学证据，但这只是支持性证据，不是因果证明，因为扰动也改变了输入分布。论文未报告延迟、误判率分解或人工听感评测，这些边界后文明确标出。

RT-OPD 沿一个样本走完的全景是什么？

先沿一个样本走一遍。给定一段匹配音频、一个问题和学生已生成的回答前缀，学生先采样出完整回答，长度记为 L。训练时对该回答的每个位置，冻结教师做 2 次前向：1 次看音频、问题和前缀，得到音频条件分布；1 次去掉音频、只看问题和前缀，得到无音频参考分布。

2 次分布相减取对数差得到每个候选词的奖励，再用奖励对原始教师分布加权归一，得到倾斜后的目标分布。学生只在有音频的条件下学习，用反向 KL 贴近这个倾斜目标，同时用交叉熵学金答案。教师全程冻结，只有学生的适配参数更新，部署前合并。

图注层面的全景可归因引用如下：原文图 1 说明灰、白、黑 3 组示意条分别表示有音频教师分布、无音频教师分布和倾斜后目标，奖励是两者对数概率差，候选词的音频有无概率比越大，被放大的幅度越大，学生通过反向 KL 学习该目标。本次未收到图像像素，因此不描述坐标、颜色深浅或模块位置，只按图注与正文转述数据流。无音频教师只在训练时使用，推理时学生只看正常音频输入。

下面先看标准 OPD 的目标，再看对比奖励与重塑，这是后文公式的阅读顺序。官方代码资源状态为 available，本次校验可达，因此可写代码当前已公开，复现细节以仓库实现为准。

教师的两次预测如何变成一个可学的目标？

标准 OPD 的安排是学生在自己生成的前缀上，请教师给出下一词分布并贴近它。符号上，上下文记为音频、问题、前缀三元组，教师分布与学生分布分别以此为条件，损失是对生成回答逐词求反向 KL 平均。该目标保留了教师的全部偏好，但不标记哪些偏好来自录音。

\[\mathcal{L}_{\mathrm{OPD}}=\frac{1}{L}\sum_{t=1}^{L}D_{\mathrm{KL}}\!\left(p_{S,t}^{M}\,\|\,p_{T,t}^{M}\right).\vskip-1.0pt\]

上式中 L 是回答长度，反向 KL 的方向是学生为前、教师为后，意味着学生把概率质量放在教师认为重要的词上会受鼓励。原文用该式定义 Vanilla OPD，后文 RT-OPD 只替换其中的教师目标为倾斜目标，训练位置仍是学生轨迹。

为度量音频增量，同一冻结教师在去掉音频后重算 1 次分布，问题与前缀保持不变，两者的对数概率差即奖励。

\[r_{t}(v)=\log p_{T,t}^{M}(v)-\log p_{T,t}^{\varnothing}(v).\]

该式对词表中每个候选计算奖励，奖励大表示有音频时教师支持度成比例抬升多。注意这是教师自身的对比，不是学生与教师的对比，也不是不同录音之间的对比，消融中的 Unmatched 变体才会换成另一段同类型录音作参考。

用奖励重塑原始教师分布并归一，得到蒸馏用的新目标，强度由非负系数控制，为零时退回标准 OPD。

\[q_{\alpha,t}(v)=\frac{p_{T,t}^{M}(v)\exp\!\left(\alpha r_{t}(v)\right)}{\sum_{u\in\mathcal{V}}p_{T,t}^{M}(u)\exp\!\left(\alpha r_{t}(u)\right)},\quad\alpha\geq 0.\]

该式分子是原始教师概率乘以奖励的指数加权，分母是全词表求和的归一常数。等价写法更直观：倾斜目标正比于有音频概率的 1 加 α 次方除以无音频概率的 α 次方，α 越大，音频有无概率比高的候选被放大得越厉害。论文实现取 α 为 1。

同策略蒸馏 × 奖励倾斜目标： 同策略蒸馏负责沿学生自己生成的回答前缀逐词请教教师，避免只在教师文本上训练带来的暴露偏差；奖励倾斜目标负责把教师原始音频条件分布按音频有无对比奖励重新加权归一，分工是前者定在何处学，后者定学什么，二者搭配使学生在自己会走到的前缀上更偏向获得音频支持的候选词。

音频条件分布 × 无音频参考分布： 音频条件分布是冻结教师在给定音频、问题和学生前缀下对下一词的预测，代表听后判断；无音频参考分布是同一教师在去掉音频但保留问题和前缀时的预测，代表纯语言可预测性，二者相减得到奖励，搭配理由是只有对比才能分离出音频带来的增量证据，组合意义是把语言捷径可预测的词降权。

学生真正优化的损失由哪几项组成？

学生学习的逐词损失是把上节倾斜目标代入反向 KL，并对回答中有效补全词取平均。每条回答的有效长度记为 Li，只计补全词，不计提示词。教师提供目标但不传梯度给教师，梯度只更新学生。

\[\mathcal{L}_{\mathrm{RT},i}=\frac{1}{L_{i}}\sum_{t=1}^{L_{i}}D_{\mathrm{KL}}\!\left(p_{S,t}^{M}\,\|\,q_{\alpha,t}\right).\vskip-2.0pt\]

展开后可看到三项分工：贴近原始教师分布、鼓励高奖励词、归一常数项，其中归一常数在前缀固定时与学生无关，不影响梯度。原文明确给出该分解，说明 RT-OPD 既保留教师整体知识，又把学生概率推向音频支持度高的词。

最终批量损失是交叉熵加门控蒸馏。预计算门在教师用原始音频答对时才开启该样本的蒸馏，否则只保留交叉熵。权重与适配秩按原文实现固定，学生用低秩适配训练。

\[\mathcal{L}=\frac{1}{B}\sum_{i=1}^{B}\left[\mathcal{L}_{\mathrm{ce},i}+\lambda g_{i}\mathcal{L}_{\mathrm{RT},i}\right],\]

上式中 B 是全局批量，交叉熵负责金答案，倾斜蒸馏损失负责推理与接地偏好。门控的作用是避免从答错的教师目标中学推理，保持答案锚定。需要补的缺项是原文未报告门控的具体判定细节如选项抽取规则与阈值，只说预计算且教师答对才开启，复现时需按代码实现核对。

反向 KL × 交叉熵金答案损失： 反向 KL 负责让学生的音频条件下分布去贴近重塑后的教师目标，对学生概率质量放在高奖励词上敏感；交叉熵金答案损失负责让学生直接预测正确选项，保证任务正确性，分工是前者传递推理与接地偏好，后者锚定答案，搭配原因是蒸馏门控只在教师答对时开启反向 KL，而交叉熵始终保留。

数据、模型、采样与评测条件如何固定？

本节的比较问题是：在相同教师、学生起点和数据子集下，倾斜目标是否带来可复现的增益。公平条件是各在策略方法共享金答案交叉熵与学生采样轨迹，区别只在蒸馏目标是否为音频对比倾斜。指标方向是基准准确率越高越好，扰动实验则看下降百分点。

下表整理训练配置的可重放条件，数字与单位来自原文连续句，裸数值不擅自添百分号。

条件指标基线本方法比较对象
训练来源样本数固定子集10000 条音频多选题AudioMCQ 来源
训练时长步数批量两轮训练626 步全局批量 32同教师同学生
蒸馏强度超参数秩交叉熵锚定λ0.25 α1 秩 64教师冻结学生更新

表后说明该表的复现意义：训练子集固定为 10,000 条音频多选题，训练跑两轮共 626 步全局批量 32，蒸馏权重与倾斜强度分别取 0.25 与 1，学生用 64 阶低秩适配。教师是冻结的 7B 模型，学生是两个 3B 模型，教师全程不更新。该表只解决可复现性，不证明效果，真正的收益要看主结果与消融。原文未报告训练时长与显存，复现时需自行测量。

采样与评测的固定条件同样关键，决定了验证与测试是否可比。下表用原文连续句覆盖采样温度与解码长度。

条件指标基线本方法比较对象
验证划分样本数调参用1000 条测试迷你集与训练音频不相交
评测解码搜索长度贪心解码最大 256 新词3 基准准确率

表后需要说明代价与边界：学生回答采样用温度 1.0 与截断参数，评测用贪心解码，验证集用于调参，训练验证测试在音频层面不相交。训练方法报告 5 种子均值，蒸馏前师生只跑单次。CAAD 在预生成教师回答上训练且无金答案交叉熵，条件不完全一致，解读胜负时需保留该差异。

主结果在什么条件下支持倾斜目标？

主结果的比较问题是：同样沿学生轨迹学习，倾斜后的教师目标是否在 3 个基准上都超过原始教师目标。公平条件是共享教师、学生起点、训练子集与金答案交叉熵，区别仅是蒸馏目标。指标是各基准准确率与三者平均，方向越高越好。原文报告训练方法取 5 种子均值。

排行榜层面的定位需单独核对。以下原表按官方榜单口径列出 MMAU，不同模型协议与参数计数口径不一，不能当严格同条件排名。

ModelReported sizeMMAU
Step-Audio-2 [11]—73.86
Mizar-3B (ours)3B72.72
MiMo-Audio [12]7B72.59

表后解读主要收益与限制：该表显示本文 3B 模型与部分 7B 与 8B 模型接近，并高于表中其他 3B 模型，但外部得分来自官方榜单，解码、提示与评测版本可能不同。论文用此表表达竞争力，而非证明 3B 在所有条件下超越 7B。结合正文，支持的判断是倾斜目标在固定教师与数据下带来一致增益，待验证的是跨教师与跨评测版本的稳定性。未胜出项是蒸馏前教师在多数基准仍强，说明 3B 尚未全面追平 7B。

原文正文进一步报告 RT-OPD 在两个学生上对 Vanilla OPD 与 CAAD 实现 3 基准全胜，相对 Vanilla OPD 的最大增益发生在 MMAR，Mizar-3B 即 Ke 经 RT-OPD 后训练的模型 Macro-3 接近 7B 教师并在部分基准超过教师。这些是均值比较，未给出显著性检验，且 CAAD 条件与 RT-OPD 不完全一致，不能把对 CAAD 的胜负简单等同于同条件胜负。

哪些对照说明增益不是单纯锐化或换条轨迹？

消融的比较问题是：若把无音频参考换成其他形式，或把在策略轨迹换成离策略，平均准确率是否还保持。原文设 4 个变体：Unmatched 用同类型另一段录音作参考，直接锐化用低温锐化教师分布而无音频对比，模型参考用冻结初始学生在原始音频下的预测作参考，离策略用预生成教师回答但保留音频对比目标。指标仍是 3 基准准确率与平均值。

原文报告 RT-OPD 的平均值高于 Unmatched，支持用缺省无音频作参考而无需找参考录音；RT-OPD 在 3 基准上都高于直接锐化，支持增益不只来自把分布变尖；RT-OPD 高于模型参考，支持在这些实验中音频对比比模型对比更有效；RT-OPD 比离策略高出约 1 个百分点上下，支持在策略优于离策略。锐化对照的意义在于排除一种误解：倾斜也可能让分布变尖，但同样变尖却效果差，说明方向比尖锐度更重要。

在策略轨迹 × 离策略教师轨迹： 在策略轨迹是学生按当前参数采样出的回答，代表部署时会走到的前缀分布；离策略教师轨迹是事先由教师生成的回答，代表更干净但与学生不一致的路径，前者负责覆盖学生真实错误与犹豫点，后者负责稳定但有分布错位，论文用对照说明沿在策略轨迹做音频对比重塑更有效。

还有哪些不能从现有证据推出？

第一，相关性不等于因果。扰动下降大支持声学依赖更强，但未测量词级奖励与听觉注意的对应，也未做反事实标注，不能推出每个正确预测都听到了关键声事件。第二，总体趋势不等于每步成立。倾斜目标在词表层面放大高奖励词，但原文未报告逐位置奖励分布、归一常数稳定性或长回答中的漂移，复现时需监控这些量。

第三，成本证据缺失。训练多 1 次无音频教师前向必然增加训练开销，但原文未报告时间、显存、吞吐，推理延迟与输出帧率也未报告，不能承诺延迟改善。第四，评测边界有限。只覆盖多选题准确率，未报告开放问答人工评测、幻听率、音乐与语音子域分解，跨榜单比较存在协议差异。

需要明确标注的冲突是没有的：公式、表头与正文在关键定义上一致，α 为 0 退回标准 OPD 等均有交代。缺项是门控判定实现、无音频输入的具体填充方式如静音向量还是空序列，这些需以开源代码为准，不从模型名推定。

要复现应先准备什么，按什么顺序跑？

先确认资源状态：官方资源状态为 available，链接本次可达，因此可写代码与检查点当前已公开，按仓库说明获取，不要仅凭论文文字猜超参数。接着准备数据：固定抽取 10,000 条子集，保留测试迷你集作验证，评测用独立测试集与清洗后开发集，并在音频层面检查不相交。模型准备冻结 7B 作教师，学生从两个 3B 出发，学生挂低秩适配，教师全程冻结。

训练顺序是：学生按温度采样回答，教师对同一前缀做有音频与无音频 2 次前向，算奖励并按倾斜强度重塑目标，交叉熵加门控反向 KL 更新学生，跑两轮全局批量训练。评测用贪心解码，报告 5 种子均值与平均值标准差。先复现 Vanilla OPD 基线，再开倾斜，最后跑静音与替换扰动。若门控、填充或采样细节与论文排版不一致，以代码实现为准并记录差异。

以下原表是在 Ke 系 3B 模型 MMAU 条件下分别测原始音频、静音、替换录音的 5 种子平均准确率，括号是相对原始音频的百分点变化。

MMAUMMAUMMAUMMAU
Vanilla OPD72.2152.20 (−-20.01)48.56 (−-23.65)
RT-OPD72.7252.03 (−-20.69)47.07 (−-25.65)

表后解释主要现象与反例：该 MMAU 切片显示倾斜模型在替换条件下下降更多，支持更依赖当前录音内容。但单一切片不能推广全程，ADQA 部分条件下倾斜模型下降略少，构成反例，说明总体趋势不等于每组都成立。限制是扰动改变了输入分布，下降大也可能反映对分布外更敏感，而非纯粹接地更好。

以下原表是同一组模型在 MMAR 条件下的对应切片，用于检验趋势是否跨基准成立。

MMARMMARMMARMMAR
Vanilla OPD57.7838.62 (−-19.16)38.74 (−-19.04)
RT-OPD60.0837.62 (−-22.46)38.44 (−-21.64)

表后需要说明跨基准一致性与待补验证：该 MMAR 切片显示倾斜模型在静音下下降更多，与 MMAU 替换趋势同向，共同支持声学依赖增强。但扰动证据仍是相关性，未做词级对齐与噪声、截断、重叠声等细粒度扰动，这些是后续可补的验证。复现时至少补两项：逐词奖励与关键声事件的对齐检查，以及噪声与替换扰动下的下降曲线。

静音扰动 × 替换音频扰动： 静音扰动负责去掉全部声学信息，检验模型是否还靠文本答对；替换音频扰动负责保留音频形式但换成另一段录音，检验模型是否绑定到当前这段录音的内容，分工是前者测有无依赖，后者测是否对号入座，二者搭配才能区分真接地与泛泛的音频存在效应。

何时值得尝试 RT-OPD，何时先别用？

当你的紧凑 ALM 在多选题上准确率尚可，但怀疑靠语言先验猜选项，或在静音下仍答对很多时，值得尝试 RT-OPD。它不换教师、不换数据，只在蒸馏目标里加入同一教师的音频有无对比，沿学生轨迹把学习推向录音增量大的词。论文在两个 3B 学生与 3 基准上给出一致增益，这是支持尝试的最强证据。

当训练预算只够单次教师前向，或教师本身听觉弱、无音频与有音频分布几乎相同时，先别急着用。因为每步多 1 次教师前向，且奖励依赖教师能听出差异，若教师听不见，倾斜只会放大噪声。同样，若任务是开放生成且更关心流畅性而非接地，需先补幻听率与人工评测，再决定倾斜与蒸馏权重。

复现后若要在新领域推广，至少补两项验证：逐词奖励与关键声事件的对齐检查，以及噪声与替换扰动下的下降曲线，只有两者同向，才更可信地说接地增强。白话总结是：先确认教师真能听见，再让学生学教师因听见而改口的部分。

📎 论文与评分元数据

排名：前25% | 文档类型：方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-09-25 语音/音乐/音频论文速递