把多次采样的分歧变成可靠性：面向音频问答的置信度加权聚合

📄 把多次采样的分歧变成可靠性：面向音频问答的置信度加权聚合

英文题目：Confidence-Aware Aggregation for Multimodal Audio Reasoning

评分：7.3/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Michel Olvera：机构信息未能从 arXiv PDF 文本可靠映射
• Paraskevas Stamatiadis：机构信息未能从 arXiv PDF 文本可靠映射
• Gaël Richard：机构信息未能从 arXiv PDF 文本可靠映射

📌 核心摘要

音频问答的输入是一段音频和一个自然语言问题，输出是从给定选项中选出的简短答案，难点在于音频信号在时间上交叠、定位模糊，感知错误会进入推理链并导致同一次提问多次解码结果不同。论文对同一个输入独立采样多条包含推理过程和最终答案的序列，用整条序列在给定音频和问题下的对数似然除以长度作为自置信分数，再按五种规则聚合得到最终答案。多数投票只计票数，最高置信选择只取分数最高者，而 Borda 投票按置信排序加权、Log-Sum-Exp 投票对同答案分数做平滑累加，从而兼顾分歧覆盖和可靠加权。与只做多数投票的已有音频链式思考做法相比，关键差异是不再把每条样本看作等权，而是让模型似然参与聚合且无需额外训练。在 MMAR 基准上采样数从 3 增加到 16 时，Borda 投票平均准确率提升 3.50 个百分点，期望校准误差平均下降 7.76 个百分点，多数投票的对应变化为准确率提升 2.77 个百分点和误差下降 7.69 个百分点。结论适用于多选题形式的推理型音频问答，在高度一致样本上增益很小，且原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/michelolzam/lalm-self-consistency — 链接可访问（HTTP 200）

• 第三方资源：https://arxiv.org/abs/2602.14224 — 链接可访问（HTTP 200）

• 第三方资源：https://arxiv.org/abs/2509.17765 — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

音频问答要解决什么输入输出问题

这篇论文研究的任务是音频问答。输入是一段音频和一个自然语言问题，输出是一个简短答案。在 MMAR 这个评测里，问题是选择题形式，每个题目有固定的选项，模型需要从选项中选出一个。音频来自真实世界的视频，内容覆盖一般声音、音乐、语音以及它们的混合，题目还涉及信号、感知、语义和文化 4 个层面的推理。

对刚进入音频领域的读者，关键是要理解音频输入的特点。音频是随时间展开的信号，经常有多个声源重叠，事件的起点和边界不清晰，证据在时间上分布得很散。模型需要先听出发生了什么，再把听到的内容和问题的要求对齐，最后生成推理过程和答案。这种听觉感知错误很容易进入后面的文字推理，例如把某个 onset 归因错了，或者把重叠的声源混淆了，整条推理轨迹就会被带偏。

论文强调 large audio language model 把音频编码器和大语言模型主干连在一起，能做生成式推理，但单次解码很不稳定。同一个模型对同一个音频问题，在解码温度或提示的微小变化下可能给出不同答案。这种不稳定性背后既有证据不足带来的认知不确定性，也有信号本身模糊带来的偶然不确定性。论文的问题意识就是，既然不稳定不可避免，能不能在推理时利用多次输出的分歧，反而得到更准确、更校准的答案。

已有路线为什么只做到多数投票

在文本大语言模型里，利用输出多样性已经有一条成熟路线，叫做自洽性。做法是对同一个问题采样多条推理路径，然后聚合，常见的是多数投票，用来抵消偶然的错误步骤和过度自信的单条路径。后续还有一些变体，考虑推理轨迹质量不一样，不做额外训练也不更新参数，而是改进聚合方式。还有一类置信度感知的自洽性，用词级别似然作为认知不确定性的代理，给不同候选加权。

把这套想法搬到多模态，视觉语言模型已经开始尝试，但多数做法停留在表面的多数投票，或者用外部奖励模型重排。音频推理的代表是 Audio-CoT，它把多数投票用于多条采样推理路径。论文指出，一个开放问题是模型对每个候选自身的置信度是否能用来区分推理路径，并在均匀投票之上带来改进。这与语音处理里的第二遍重打分有相近之处，例如对识别的 N-best 假设用辅助语言模型分数重排，但对象和分数来源不同。

论文把自己的位置放在音频问答的推理时聚合。它不做任何训练和模型适配，只在解码后用模型自身的对数似然做置信度，并比较 5 种选择与聚合规则。理解这一定位很重要，后文所有提升都是推理时计算换来的，不是新训练的模型能力，也不能直接理解为单次解码能力的提升。

单次预测不可靠具体难在哪里

论文把困难拆成两层。第一层是感知与推理耦合。文本自洽性隐含假设各条推理路径近似独立，且词级别对数概率是正确性的校准代理。但在音频里，感知错误会直接污染推理轨迹本身，而不是停留在语言推理步骤里。不同采样可能共享同一个听错的前提，因此样本之间并非严格独立，对数概率是否还能反映正确性也没有保证。

第二层是聚合方式的假设。均匀的多数投票假设每条样本同样可靠，只要票数多就对。但当样本高度分歧时，共识本身就很弱，均匀投票容易被偶然多数带偏。而只选置信度最高的一条的极值选择，又把全部希望押在一个样本上，一旦最高置信度的样本恰好是高自信错误，就会直接失败。论文因此设置了 3 种概念上的聚合几何：极值选择、均匀共识和置信度加权的加性聚合，要看哪种更适合音频这种感知模糊、证据重叠的场景。

整体流程如何把多次输出变成一个答案

方法对每个音频问题执行 3 个步骤。第一步是采样，对同一个音频和问题重复解码 N 次，得到 N 个完整序列，每个序列包含推理轨迹和最终答案，再把答案抽取并归一化为选项中的字符串。第二步是打分，对每个样本计算自置信度分数，也就是完整序列在给定音频和问题条件下的长度归一化对数似然。第三步是聚合，把答案和分数放在一起，用确定性规则产生最终预测。

这里的 N 在实验里取 3、4、8、16。采样时不是固定一个温度，而是为每次推理预先从 0.1 到 1 均匀抽一组解码温度，并在所有音频问题上复用这组温度。论文解释这样做是为了暴露更广的认知多样性，固定温度会约束词分布，可能低估置信度加权的好处。为了区分采样本身的随机波动和聚合带来的改进，还设置了一个随机挑选基线，从候选池里均匀随机选一个答案，代表平均随机解码水平。

多次采样 × 自洽性： 多次采样指对同一个音频问题重复解码得到多个推理轨迹和答案，自洽性指利用这些轨迹之间的多样性和一致性来做更可靠的决策；两者搭配的意义在于，单次采样可能受感知错误或偶然解码影响，而把多个样本放在一起比较和合并，可以暴露分歧并用共识或置信度加以裁决。

置信度分数处理什么对象并解决什么偏差

自置信度处理的对象是每条生成的完整序列，包括推理轨迹加最终答案。它要解决的困难是不同样本长短不一，直接用对数似然总和会偏向短序列或长序列。论文采用长度归一化，也就是把条件对数似然除以序列长度，避免冗长序列人为获得更高或更低分数。计算上就是把每个词在给定音频、问题和前文条件下的对数概率累加，再除以词数。

需要提醒初学者，这个分数完全来自模型自身的词概率，没有外部监督，也没有人工标注。它衡量的是模型自己觉得这条序列有多顺、多可能，而不是客观正确性。在音频任务里，这种自我确定性是否对应正确性正是要验证的问题。论文后续用准确率和校准误差来检验，而不是默认它一定有效。

自置信度 × 对数似然： 自置信度指模型对自己生成的某条完整序列有多确定，对数似然指该序列在给定音频和问题条件下逐词条件概率的对数和再做长度归一化；论文用后者作为前者的可计算代理，搭配的理由是不需要额外训练或外部打分器，直接复用解码时已有的词概率来区分样本的可靠程度。

五种聚合规则各自怎么用分数和票数

第一种是 Best-of-N，属于极值选择。它直接找自置信度分数最高的那条样本，把它的答案作为最终答案。它优先相信高置信度输出，但只用了一条样本的信息。

第二种是多数投票，属于均匀共识。它统计每个不同答案出现了多少次，选出现次数最多的答案。每个样本贡献相等，完全忽略置信度。它捕捉的是推理轨迹之间的共识。

第 3 种是 Borda 投票，属于按排序加权的加性聚合。先按自置信度从高到低给样本排序，再给幂加权分数，排序越靠前权重越大，幂指数大于零。支持同一答案的所有样本权重相加，得分最高的答案获胜。当指数趋于零时它退化为均匀多数投票，当指数趋于无穷时趋于极值选择，因此可以在两者之间平滑插值。

第四种和第 5 种是 Soft Log-Sum-Exp 与标准 Log-Sum-Exp。它们对支持同一答案的样本做温度控制的柔和累加，温度为 1 时是标准形式，温度趋于零时回到极值选择。直观上，它们不是只数票数，而是让高置信度样本对总分贡献更大，同时保留多个样本的证据。

多数投票 × Borda 投票： 多数投票指每个有效样本投一票，得票最多的答案获胜，完全忽略置信度差异；Borda 投票指先按自置信度给样本排序，再按幂加权给分并按答案累加，得分最高的答案获胜；两者搭配比较的意义在于，前者只利用共识，后者在共识之上引入置信度排序，能在分歧大时让更可信的少数意见获得更大权重。

Best-of-N × 加性聚合： Best-of-N 指只选自置信度最高的那一个样本的答案，属于极值选择；加性聚合指把支持同一答案的多个样本的置信度分数累加起来再比较，包括 Borda 和对数和指数形式；搭配的意义在于检验置信度更适合做挑选还是做加权，论文证据支持后者，因为单一样本即使置信度高也可能出错，而累加能同时利用多样性和置信度。

没有训练时实际执行了哪些计算

这篇论文没有训练任何模型，也没有做模型适配和参数更新。4 个被评测的模型都是现成的音频语言基础模型，包括 Qwen3-Omni-Thinking、Qwen3-Omni-Instruct、Qwen2-Audio 和 Audio Flamingo 3。所有改进都来自推理时的采样、打分和聚合，不涉及梯度、优化器或监督信号。

实际执行的计算包括四部分。一是用不同温度多次调用模型生成候选，得到原始文本。二是对格式不规范的输出做解析，对 Qwen2-Audio 和 Audio Flamingo 3 用一个确定性的 LLaMA 3.1 8B-Instruct 解析器只从原始文本抽取答案跨度，该解析器看不到音频和置信度分数，也不生成或修改答案内容。三是有效性过滤，把抽取结果归一化后与本题固定选项精确匹配，只保留非空且恰好匹配一个选项的回答，聚合只在有效答案上进行。四是按公式计算自置信度并做网格搜索选 Borda 和 SoftLSE 的温度与缩放参数，搜索范围是 0 到 4、步长 0.25。

理解无训练的含义很重要。它不等于确定性求解，因为解码本身是随机的，温度不同结果不同。参数冻结也不推出输出确定，多次运行仍会有波动。论文用随机挑选基线和多预算对比来隔离这种随机性。

数据模型与评测条件是怎样设定的

数据集是 MMAR，包含 1000 个音频问题答案三元组，来自真实世界视频，每题是固定选项的选择题。内容覆盖一般声音、音乐、语音及其混合，并按信号、感知、语义和文化 4 级分类组织。模型是 4 个音频语言模型，其中 Qwen3-Omni 的两个变体标注为 30B 总量、3B 激活参数，Qwen2-Audio 为 8.4B 参数，Audio Flamingo 3 基于 7B 主干。

评测指标有 3 类。答案率指过滤前后有效可解析回答的比例，用来衡量过滤对可用样本池的影响。准确率是在 MMAR 上的答对比例，方向越高越好。校准用期望校准误差，在有效回答池上按 10 个分箱计算，方向越低越好。为了计算校准，每种聚合方法需要为最终答案定义一个置信度：Best-of-N 用选中样本分数的指数形式，多数投票用获胜票数比例，Borda 用获胜答案的归一化权重，LSE 和 SoftLSE 用跨候选答案的柔和最大值概率。

为分析分歧的影响，论文在 N 为 16 时按一致率分组。一致率定义为与众数答案一致的样本比例，分为高度共识、高分歧和中等一致三档。报告的是相对多数投票的绝对准确率提升，以百分点计。这种分组能回答置信度加权在什么时候更值得用。

准确率 × 期望校准误差： 准确率指聚合后答案与参考答案一致的比例，方向是越高越好；期望校准误差指按置信度分箱后平均置信与实际正确率之间的差异，方向是越低越好；两者搭配的意义在于，只看准确率不知道模型是否过度自信，而校准衡量了给出的置信度是否诚实，论文同时报告两者来说明合并证据既提高答对率也改善可靠性表达。

采样预算增大时准确率和校准如何变化

先看总体趋势。论文报告随着采样预算 N 增大，所有方法准确率都有所提高，但幅度不同。加性聚合方法提高最多，多数投票次之，极值选择和随机挑选基线提高最少。校准趋势与准确率镜像对应，随机挑选始终校准较差，而所有聚合方法都能降低期望校准误差，其中加性方法和多数投票降低较多，极值选择改善有限。论文还指出改进在 N 超过 8 后趋于饱和，且跨架构表现一致，更像是随机解码的一般性质而非某个模型的特例。

下面这张表整理的是从 N 为 3 增加到 16 时的总体增益，比较问题是同样增加采样预算，哪类聚合能把额外样本更有效地转化为准确率和校准收益。指标方向是准确率变化越高越好，校准误差变化是降低越多越好。需要强调 Qwen2-Audio 上聚合相对多数投票只有边际增益，论文将其归因于架构限制，但仍保留它参与平均，因此平均数会受到该模型拖累。

从收益与代价看，把预算从 3 加到 16，加性聚合多拿约 3 个百分点以上的准确率，同时校准误差下降约 7 到 9 个百分点，说明合并证据既答对更多也更诚实。代价是解码次数成倍增加，推理成本随 N 线性增长，且超过 8 后边际收益变小。未胜出项是 Best-of-N，它始终不如 Borda、LSE 和 SoftLSE，说明置信度更适合做加权信号而不是只选最高一条。论文引用已有工作解释，回答质量随置信度下降先升后降，极值选择容易押错单一样本。本表数值与单位依据论文 PDF。

分歧越大时置信度加权是否更有用

第二个关键结果按一致率分组。在 N 为 16 时，多数投票在高度共识下准确率最高，在中等一致和高分歧下明显下降。这正是要检验的场景：当投票本身很分散，均匀计票的依据就变弱，置信度能否帮我们挑出更可靠的回答。

下表比较的是同一分歧水平下，置信度感知聚合相对多数投票的额外收益。比较条件是 N 固定为 16、只用有效答案、跨模型平均。指标是准确率，多数投票的绝对水平作为参照，加性方法的增益以百分点计。

结果呈现两点规律。第一，收益随分歧增大而增大。在高度共识时样本已经给出强共识，重加权几乎没有空间，各方法收敛。在中等和高分歧下，自置信度聚合分别高出约 1 到 2 个百分点和高出约 2 到 3 个百分点，说明置信度在预测冲突时能识别更可靠的回答。第二，这些增益恰好出现在多数投票变弱的地方，因此不是锦上添花，而是弥补了均匀投票把每条回答同等对待的缺陷。限制是高分歧下的绝对准确率仍然很低，多数投票只有 30% 左右，加两三个百分点也不能说问题已解决，只能说相对更好。本表数值与单位依据论文 PDF。

初学者容易误以为分歧大时应该直接相信最高置信度样本，但论文显示 Best-of-N 在高分歧下并没有同等增益，甚至在部分对比中相对多数投票为负或接近零。真正有效的是把置信度分散到多个样本上累加，而不是押注单条。

过滤和模型差异带来什么对照信息

论文还报告了有效性过滤的影响。做法是比较过滤前包含所有解析答案跨度与过滤后只保留非空且精确匹配选项的回答，在答案率和准确率上的变化，平均跨越不同 N 和多种聚合方法。结论是过滤一致提高了答案率，对 Audio Flamingo 3 和 Qwen3-Omni-Instruct 提升较大，对本来已接近上限的 Qwen3-Omni-Thinking 提升很小。准确率也随之提高，初始答案率越低的模型获益越大。

这个对照的意义在于保证聚合只在有效答案上进行，去掉无法对应选项的回答，避免无效样本污染投票和加权。所有后续分析都只用有效回答，因此前文的准确率和校准结论都以过滤为前提。如果复现时不做同样的归一化和精确匹配，数字会直接受到无效样本的影响。

另一个对照是模型差异。对 Qwen3-Omni 的两个变体和 Audio Flamingo 3，置信度感知方法一致优于随机挑选，并通常高于多数投票，且差距随 N 增大而拉大。但 Qwen2-Audio 上聚合只带来边际增益。这提醒读者不要把平均结论推广到每个模型，在该模型上置信度信号可能较弱或架构限制了多样性的利用。论文没有进一步拆解该模型失败的原因，因此不能断言是置信度本身无效。

结论在什么条件下才成立还有哪些缺口

结论成立的条件需要讲清楚。第一，数据集限定为 MMAR 的 1000 个选择题，音频来自真实视频并覆盖声音、音乐、语音及混合。换到开放式问答、其他基准或强噪声场景，置信度是否仍然有效尚未验证。第二，采样协议限定为从 0.1 到 1 预抽一组温度并复用，N 只做到 16，且 Borda 与 SoftLSE 的参数是在 0 到 4 网格搜索选的。固定温度采样可能低估加权好处，更大预算或不同温度分布下的表现未知。第三，聚合只在有效过滤后的答案上进行，解析器只处理文本格式，不接触音频和分数，过滤规则不同会改变样本池。

方法本身也有缺口。样本不是严格独立的，感知错误可能在多条轨迹间共享，对数概率作为正确性代理的校准性在音频里没有保证。论文用经验结果说明它总体有用，但没有证明它在每条样本上都可靠。校准误差的定义依赖每种方法自定义的置信度，不同方法的置信度量纲不同，跨方法比较校准时要意识到定义并不完全同质。

还没有评测的范围包括推理延迟、计算成本与误判率的权衡。论文没有测量延迟或成本，不能承诺增加采样一定划算。超过 8 后收益饱和，实际部署需要权衡多解码的开销。音频特有的不确定性信号，例如声源重叠程度或时间定位置信度，也没有被利用，论文在结尾将其列为开放方向。

复现第一步要做什么并保留哪些关键设置

复现第一步是跑通采样与过滤流水线，而不是直接调聚合公式。按论文设置，对每个音频问题用 N 为 3、4、8、16 生成候选，温度从 0.1 到 1 预先均匀抽取并在所有题目上复用。记录每条序列的逐词对数概率，计算长度归一化的完整序列分数，覆盖推理轨迹加最终答案。然后做文本归一化和选项精确匹配，只保留非空且恰好匹配一个选项的回答，聚合只在这些有效答案上进行。

关键超参数和信息条件要保留。Borda 的幂指数和 SoftLSE 的温度在 0 到 4 以 0.25 步长网格搜索，不能直接抄最优值当作默认。随机挑选基线要保留，用来确认提升来自结构化合并而非采样运气。一致率按众数比例计算，分组阈值与论文一致，才能复现分歧越大增益越大的模式。

关于资源，论文正文给出项目代码链接，本次收到的资源校验显示该代码链接当前可用，可以说作者资源当前可用。但代码可用不等于权重可下载，也不等于系统可一键运行，复现仍需按模型各自要求准备权重和音频解码环境。第三方链接只证明论文提到该文献，不证明作者已开源其他内容。

什么时候值得尝试这种推理时聚合

当你的音频问答系统单次解码不稳定，但多次解码能给出不同且部分合理的答案时，这种方法值得尝试。特别是样本分歧较大、均匀投票拿不准时，按自置信度加权能多挽回约 1.2–2.8 个百分点（pp），同时改善校准。如果样本已经高度一致，就不必指望加权带来额外提升，直接用多数投票即可。

需要补的验证是换基准和换采样设置的稳健性。在新的数据集、开放式答案、固定温度或更大采样预算下，是否仍是加性聚合最好、Best-of-N 最弱，需要重新测量。同时要结合你的任务复核采样预算 N 从 3 次增加到 16 次时的准确率增益变化（以百分点 pp 计），以及超过 8 次后增益饱和的现象是否同样出现。

一句话总结，论文把输出 variability 从负担变成信号，用无需训练的对数似然加权在 MMAR 上证明了合并证据的价值，但价值集中在分歧场景和足够预算下，并以多次解码为代价。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-11-04 语音/音乐/音频论文速递