把多次采样的分歧变成可靠性:面向音频问答的置信度加权聚合
针对单次解码不稳定的音频问答,论文用同一音频问题多次采样再按对数似然置信度加权聚合,在 MMAR 上随采样预算增大提升准确率与校准,尤其在样本分歧大时优于多数投票,代价是需要多次解码与有效性过滤。
针对单次解码不稳定的音频问答,论文用同一音频问题多次采样再按对数似然置信度加权聚合,在 MMAR 上随采样预算增大提升准确率与校准,尤其在样本分歧大时优于多数投票,代价是需要多次解码与有效性过滤。
论文比较同一批学习者英语回答上的声音分类器与文本零样本分类,完整文本下音频总体更准但优势随水平和输入量变化,而两者融合明显更好,但结论只在六种母语、A1 到 C1 的平衡评测条件下成立。
论文用低秩适配加轻量读出适配多模态大模型做脑编码,在 Algonauts 2025 上以约 5% 可训练参数超过冻结骨干加超大读出的前最好成绩,并用单次因果前向和多适配器并行核把计算做便宜。
针对生成视频难以靠生成痕迹区分的问题,该工作用音频与卷帘快门视频中的电网频率漂移一致性来认证拍摄真实性,并在参考匹配与双轴编排下验证了其条件与代价。
论文用冻结 Whisper 加 LoRA 适配器这一套做法处理 NADI 2026 三个阿拉伯语识别子任务,证明国家级任务靠方言专家、混合方言任务靠换大底座、突尼斯语码切换任务靠免训练的权重平均与投票组合最有效,并给出全部统计检验与八个失败方向。
用两个外域模拟咨询数据预测未见过第三个项目的专家总体印象,基于专家量表构念的本地小模型文本打分达到嵌套留一域 Spearman 0.54,超过域内训练,代价是需要一批无标签目标会话做按域特征校准且输出只支持排序。
该论文在 4 GB Jetson Nano 上用 Whisper 加 Opus-MT 加多语言 BERT 门限加 MBR 二遍修正研究英西语音翻译,在 tau 为 0.90 时 N 为 10 带来 BLEU 加 0.67 的显著词汇提升而 N 为 3 带来 COMET 加 0.0020 的语义提升,代价是常驻约 3.6 GB 和数十秒级延迟。
针对阿拉伯语方言泛化和声学信道鲁棒两类偏移,论文冻结 W2V-BERT-2.0 并用小波提示微调加跨层聚合得到多个检测器,再按赛道分别做多窗口大融合与中心截断小融合,在官方终测上取得 Track1 1.96% 和 Track2 1.04% 的等错误率,代价是融合分数依赖整个评测集做标准化因而不能逐文件独立复现。
针对 MOS 预测器跨域排序不稳的问题,论文用小规模已有人工评分拟合逐句自适应路由以合并四个教师并在 807k 无标注语音上蒸馏出单个 wav2vec 2.0 学生,在 URGENT 上 Spearman 达到 0.802、在 mos260 上达到 0.636,代价是目标上限仍受教师集成约束且绝对分值向中间压缩。
该文研究精神科双人对话中按角色删除一方语音后的漏删核验问题,用四种开源权重模型在推理模式下扫描删减后音频与转写文本,最强证据是 14 个转写引导配置的或集成达到合并 F1 0.478,代价是精度仅 0.330 而召回 0.870。
该研究用时间定位解释截出影响判定的音频段,再用大音频语言模型描述并用大语言模型聚成类级别概念,在受控的干净与虚假相关数据集上报告出对掌声加笑声等三组明确捷径的检出与一组模糊检出,代价是依赖解释阈值与模型集成来压制幻觉。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对现代标准阿拉伯语学习者语音少、合成错音与真实错音分布不一致的问题,该研究用预训练编码器加因果空洞时序卷积做音素识别,先在大规模母语加合成数据上学通用映射再在约 2 小时真实学习者数据上适应,并用 6 个检查点混淆网络融合加 N 元重打分稳定输出,在 QuranMB.v2 盲测上音素级 F1 达到 0.7201,相对基线 0.4414 提升 63.1%,代 …
针对只有受试者级标签的周级颈表加速度日常嗓音监测,该研究用日级分布统计的 CatBoost 分支捕捉长期低效、用 12 秒窗口门控注意力多实例分支定位短时高强度事件,再经分位数校准的逻辑回归堆叠融合,在官方测试上报告 PVH 的 AUC 为 0.891 与 NPVH 的 AUC 为 0.861,而消融显示深度分支增益很小且 NPVH 存在明显欠置信。
针对音频深度推理中单模型听觉视角单一与对称投票被弱智能体拖累的问题,提出按能力分配角色与反馈的非对称多智能体框架 AsymAudio,在 MMAR 平均 74.80% 与 MMAU-mini 平均 79.10% 上报告最优,代价是最多三轮的多模型重复调用与大语言模型主持开销。
论文针对固定隐私变换在不同语句和说话人上泄漏差异大的问题,提出只用变换后音频计算异构 ASR 文本分歧的 CLEAR 方法,在 100 条语音乘 13 个 Kirigami 工作点上与留出强攻击者的音素错误率达到 Spearman 0.8 的跟踪能力,而三模型集成以约 0.30 s 延迟实现可部署的运行时反馈。
针对整句标注掩盖帧级情感动态的问题,该文只用声学信号做协同推理与冲突回填的多粒度监督,在 IEMOCAP、EmoDB 和 MELD 上报告了 78.10% WA、97.30% WA 和 55.48% WF1,代价是需要先训练 K 组上游子模型并调平衡系数。
针对注册与测试语言不一致时说话人确认性能下降的问题,该工作用 w2v-BERT 2.0 做冻结前端加多层聚合与三阶段训练,在 tv26 eval-A 上报告等错误率 2.21%、eval-U 上报告 2.99%,代价是 580M 级前端带来的计算开销与对域内微调数据的依赖。
针对音频推理中大模型幻觉与工具误差并存的问题,该工作用双语音大模型独立观察加 25 个分级声学工具交叉验证做音频问答,在 MMAR 上以推理质量 69.8 分居首,代价是单样本 8 到 10 分钟的流水线延迟。
针对无源数据的多源声场景适配中设备异质导致的预测偏置问题,论文提出先做后验校准再按标签一致性加权的 FASOLA,在 DCASE 2020 六个仿真目标设备上平均准确率报告为 54.43%,代价是需要遍历目标集估计全局统计量且依赖多模型间的一致性假设。