把多次采样的分歧变成可靠性:面向音频问答的置信度加权聚合
针对单次解码不稳定的音频问答,论文用同一音频问题多次采样再按对数似然置信度加权聚合,在 MMAR 上随采样预算增大提升准确率与校准,尤其在样本分歧大时优于多数投票,代价是需要多次解码与有效性过滤。
针对单次解码不稳定的音频问答,论文用同一音频问题多次采样再按对数似然置信度加权聚合,在 MMAR 上随采样预算增大提升准确率与校准,尤其在样本分歧大时优于多数投票,代价是需要多次解码与有效性过滤。
ReListen 用冻结的音频语言模型对短窗口逐个打分找证据再回答,在 VoiceGiraffe 上找准证据并提升答题准确率,但结论依赖单一样本模型与三套评测条件且长尾问题仍需更大预算。
论文要解决用一阶 Ambisonic 录音把声音身份和方向关联并回答关系问题,方法是冻结双路音频编码加小规模投影与适配器并生成先推理后结构化描述再回答的对话轨迹,在包含真实与仿真场景的 MASU 上得到 44.9% 单轮总分,主要代价是 5.50M 对话的仿真与大模型生成和约八卡四天的微调。
论文把给定输入下的预测风险拆成规格不确定性、残余偶然不确定性和认知不确定性,说明只有第一项对应追问澄清的收益,并用文本、图像和音频问答证明三者在检测欠规格输入和预测错误时各有分工,但估计质量依赖澄清生成器和集成近似。
论文用保留目标音频只改无关历史的对照和分层干预,证明无关历史值会定向拉偏答案,且问谁的信号不能独自关断竞争值的影响,选择题干扰还会留在问题-候选项状态中。
共分析 28 篇语音/AI 论文
MedAstra 把冻结 WavLM 语音表示经轻量适配器映射到冻结 E5 文本空间做首轮语音稠密检索,再用文本证据与实体、诊断、关系启发做回答,报告的检索与问答数值只在输入来源与评测条件受限下成立。
论文构造同时含口语主张与环境声证据的冲突音频,测五款音频语言模型能否坚持环境声答案,发现无语音时能听对不等于冲突时不跟错话语,而改提示词有时能拉回、有时只换错法。
共分析 48 篇语音/AI 论文
针对长音频中与问题相关的证据分散且全量输入代价过高的问题,AudioHelix 为每段录音离线构建文本与声学双通道三层图并做跨块相关性传播,在三个长音频基准上用少量音频片段提升问答效果,但离线建图仍需数百秒。
共分析 21 篇语音/AI 论文
本文用同一位置、同一编辑流程的同类替换做对照,检验音频语言模型在局部事件类别被换掉时是否改答案并指向新类,三模型上异类比同类多 49.7 到 60.9 个百分点的答案改变,但结论只在 600 条合成声景和给定声学条件下成立。
共分析 25 篇语音/AI 论文
HobbyLM 用细粒度稀疏混合专家加稳定路由与归一化,在 40B 与 100B 词元预算下做出 500M 与 1B 基座,并延伸出对话、扩散语言模型、多模态智能体与 1024px 文生图,但多项能力仍受小词元量与单次训练的限制。
论文要解决音频语言模型能否按特定人的背景、观点、性格、文风和音乐反应来回答文本与音乐刺激的问题,采用人物摘要加个人记忆加共享模型三路分工与四类训练目标,在十个留出人物上用人物保真度与通用音乐理解联合评估,最强证据是音乐反应组合分提升而通用理解未明显遗忘,代价是古典音乐为主且人物被当作静态。
共分析 80 篇语音/AI 论文
针对全局相似度把多属性压成一分而看不清缺了什么的问题,论文把标题拆成五个维度的原子概念并用大音频语言模型回答是否支持来打分,在替换检验和专家成对比较上显示更可靠且可解释,但使用维度仍最难且依赖大模型抽取与替换质量。
DuplexLedger 用 1094 个中英持久会话把打断、停顿、旁人说话和附和与 Write、Update、Ignore、Retain 四种记忆操作对齐,发现现有全双工模型都无法兼顾交互边界与最终记忆状态,而 8.92M 参数的 ACT-Mem 外挂模块把最新值准确率从 4.11% 提升到 8.68%,但完整状态重建仍很困难且打断停止变慢。
长音频会产生过密的音频令牌并推高解码代价,AudioScorer 用问题感知的打分器学习每个令牌的保留优先级并做 Top-K 剪枝,在 10% 保留率下保住了语音内容任务,额外打分开销约占预填充计算的 0.4 到 0.9%。
共分析 57 篇语音/AI 论文