选项一换就变脸:大音频语言模型的选择题高分有多稳
该研究固定音频只改文字,量化选择题评测中的语言偏置与措辞敏感性,最强证据是干扰项改写可带来高达 13.7% 的准确率标准差,而代价是需要多版本扰动与全对才算对的严格统计。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该研究固定音频只改文字,量化选择题评测中的语言偏置与措辞敏感性,最强证据是干扰项改写可带来高达 13.7% 的准确率标准差,而代价是需要多版本扰动与全对才算对的严格统计。
该挑战针对音频问答只看最终答案而掩盖推理虚假的问题,用单模型轨与智能体轨对比内化推理与工具编排两条路线,最强证据是智能体冠军 69.83% 对单模型冠军 65.29% 的细则分领先及实例级评分 0.7921 的一致性优势,代价是工具系统复杂且单模型仍依赖高质量数据与强化学习调优。
该研究用 CMU LEGO 电话对话比较系统相关与系统无关两套交换级交互质量分类路线,最强证据是端到端微调后系统无关模型与系统相关模型差异不再显著,但代价是可训练参数从 2.29M 增至 135.73M、延迟从 0.16 ms 增至 17.98 ms。
论文以 CosyVoice 2 与 MaskGCT 为案例研究口音-情感纠缠问题,用口音 SMOS 听辨、GenAID 嵌入的 UMAP 与质心余弦距离证明前者随情感指令大幅漂移而后者稳定,代价是单一声纹相似度指标无法反映口音错误。
该研究用无音频与音频分片两轴诊断三套基准与八个大音频语言模型,发现无音频仍保留六至七成满音频准确率,且音频需求项中仅约百分之三至四需跨片段信息,代价是现有分数更多反映文本先验与局部线索而非整体听觉理解。
论文发现语音大模型的推理差距集中在需跟踪实体的逻辑任务上,用推理时强制枚举实体并绑定的提示把语音准确率拉回接近文本水平,代价是生成长度从 256 增至 1024 词元带来的延迟增加。
该研究在 42 种语言的替换错误上直接测量语音、形态、句法和词义相似度,用混合效应贝塔回归证明句子语义保留来自跨维度交互而非单维度叠加,最强证据是形态句法联合保留的增益和系统差异,但代价是对插入删除不建模且依赖现有工具链的标注噪声。
该研究以性别延展与非性别延展两组嗓音对比六个零样本语音合成模型,发现人耳相似度上两模型对性别延展组显著更差而三模型反向更好,且说话人相似度和自动平均意见分预测与人耳判断多处不一致,代价是现有自动评测难以替代人工听辨。
针对音频描述中声学证据不足却被语言先验补足的幻觉问题,论文用检索到的宽带噪声保守描述做上下文校准,在 Clotho-1K 上把 Qwen2.5-Omni-7B 的幻觉率从 26.53% 降到 16.98%,代价是依赖人工修订基准与检索编码器且未验证延迟与开放场景覆盖。
该研究在四种音频语言模型和五个音频问答基准上比较概率、采样、自验证、证据冲突与对比信号,发现选择题下首词 top-1 概率以平均 AUROC .740 超过十次采样的离散语义熵.708 且无需额外调用,而移除音频比移除问题使误差识别 AUROC 平均多下降.101 对.010。
论文在乌尔都语、旁遮普语、普什图语和信德语上零样本评测五种多语言模型并用 11 维误差分类拆解总词错率,最强证据是转写后处理不重训可恢复最高 25 个百分点词错率,代价是最佳结果仍远高于可部署阈值且短句、稀有词和命名实体持续失效。
论文指出按频率选词 n 元组会混入主题词而高估证据强度,改用显式定义的 156 个功能词集并以 ANOVA F 值筛选到 50 维,在 104 名澳大利亚男性说话人电话对话上从 Cllr 0.83 改进到 0.78,但仍弱于含主题词基线的 0.60。
论文用双耳掩蔽级差检验 9 个冻结模型的微秒级耳间相位编码,发现通用双耳模型靠谱-时干扰纹理而非跨通道相位计算,专用相位感知模型才获得实质但未达解析上限的释放量,而宽带语音中的高检出率是包络混淆。
该研究用语音克隆固定文本后比较三种语音大模型对六种口音与两种性别呈现的回答,发现在礼貌一致下东欧口音女性帮助性最低,人评比机器评更敏感,但受限于合成音色与小规模人评。
针对朗读式干净评测与单参考词错误率高估误差的问题,该研究用 15 种语言 139 个区域簇的 536 小时无脚本电话对话与多变体转写格构建封闭评测,报告显示最优系统仍在方言与低质短语音上超过 20% 词错误率且地区差异可达约 4% 到 44%。
针对五人以上拥挤录音中端到端 diarization 系统性少计低话量说话人的问题,论文在 EEND-TA 上加训练期门控耦合正则与按说话人加权的归约,最终系统把拥挤子集精确计数从 32.9% 提到 41.6%,代价是 CallHome 这类吸收型错误为主的域精确计数下降且需多调存在门指数。
论文研究无异常标签时能否预测 kNN 异常检测性能,推导 AUC 下界并用局部尺度分解内点分数方差,再用嵌入空间伪异常估计分离度,在 DCASE 2022-2025 共 208 个候选系统上显示 Diverse 伪异常的 Pseudo AUC 可超越有异常开发集选择,但代价是依赖语义元数据与伪异常构造质量。
该文研究用振膜集成光波导马赫-曾德尔干涉仪把声压转成光程差再转成光电流的传声器,以解析模型评估信噪比、声过载与动态范围上限,结论是在常规微机电与测量传声器应用中无总体优势,可能价值在高温等恶劣环境。
该文用 1000 组英文转写偏好标注比较词错率、字错率与多配置语义指标,发现词错率与人判断一致度最低而最优语义距离略优但未显著超过字错率,因此主张默认报告字错率并辅以语义指标。
AVTrace 把音画时间能力拆成七类可复算的定位与排序任务,用固定测试集显示现有全模态模型语义描述尚可但时间定位与同步判断偏弱,而针对 Gemma4-E4B 的时间后训练能在部分指标上提升但伴随外部任务的涨跌。