推理能自圆其说,却不一定在听:大音频语言模型忠实性的双向检验
该文用音频干预检验推理是否扎根于声音、用思维链干预检验答案是否跟随推理,在 Audio Flamingo 3 与 Qwen2.5-Omni 上发现文本侧多半忠实而音频侧常出现幻听与对抗带偏,代价是强退化下接地显著下降。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该文用音频干预检验推理是否扎根于声音、用思维链干预检验答案是否跟随推理,在 Audio Flamingo 3 与 Qwen2.5-Omni 上发现文本侧多半忠实而音频侧常出现幻听与对抗带偏,代价是强退化下接地显著下降。
论文用冻结编码器的逐层探测研究非裔美国英语词尾辅音丛弱化,证明两种模型都能区分弱读与完整形式且弱读仍保留底层塞音身份,代价是二分类准确率受协同发音和丛类型制约而只能达到七到八成。
该研究固定音频只改文字,量化选择题评测中的语言偏置与措辞敏感性,最强证据是干扰项改写可带来高达 13.7% 的准确率标准差,而代价是需要多版本扰动与全对才算对的严格统计。
该文针对一阶 Ambisonics 生成评估缺乏空间灵敏度理解的问题,沿可控方位角与俯仰角轨迹检验分布型与样本型指标,报告显示定位嵌入的 F-PSELD 与声学图 MVDR-AM 响应度最高且较稳健,而强度矢量在对称多源下退化,相位与幅度类指标响应不足。
该挑战针对音频问答只看最终答案而掩盖推理虚假的问题,用单模型轨与智能体轨对比内化推理与工具编排两条路线,最强证据是智能体冠军 69.83% 对单模型冠军 65.29% 的细则分领先及实例级评分 0.7921 的一致性优势,代价是工具系统复杂且单模型仍依赖高质量数据与强化学习调优。
该研究用冻结线性探测在 26 个语料、49 层表示上做跨语料迁移,发现第 15 层跨语料 F1 最高为 0.392 而 45 层下降 24.6%,均值池化 wav2vec2 比 27 维声学特征高 41% 但后者保留 71% 性能且复杂度低 3.7×10 的 7 次方倍。
该文把证据、可用性与质量信号拆开,用训练后冻结并打乱质量对齐的诊断检验决策层依赖,在 StressID 与 CMU-MOSEI 上发现原生质量打乱几乎不改变平衡准确率,而与损坏或单模态正确性对齐的质量则产生约 0.07 与 0.35 的正向置换间隔,代价是需要全观测子集与标签才能计算结构诊断。
该研究用无音频与音频分片两轴诊断三套基准与八个大音频语言模型,发现无音频仍保留六至七成满音频准确率,且音频需求项中仅约百分之三至四需跨片段信息,代价是现有分数更多反映文本先验与局部线索而非整体听觉理解。
针对声学传送编码器的语音与声学分区,该工作用冻结编码器加轻量探针分别回归房间参数与分类说话人,以分区间的性能差距度量解耦,发现说话人基本被锁在语音分区而房间信息仍泄漏进语音分区,且声学嵌入的盲估 T60 与全监督基线差距仅 0.02 s 量级。
该文把语音编码器表示聚成系统发生树并与 Glottolog 标准树比较,报告词典统计上限仍明显优于所有神经表示,而 Whisper-LID 相对最好、XEUS 最差,且多数模型在未见语言上反而重建得更好。
针对孟加拉语语音情感识别,该工作用 80 维谱特征走 DNN、51 维多尺度韵律描述子走轻量 KAN,再经双向交叉注意力和情绪自适应门控融合,在说话人无关评测下以 1.1M 参数在 SUBESCO 取得 92.12%、在 BanglaSER 取得 82.79%,代价是跨库与会话语音泛化仍受语料差异限制。
论文发现语音大模型的推理差距集中在需跟踪实体的逻辑任务上,用推理时强制枚举实体并绑定的提示把语音准确率拉回接近文本水平,代价是生成长度从 256 增至 1024 词元带来的延迟增加。
论文用 1.6 到 100 Hz 的 DAC 受控消融追问低帧率劣化原因,用固定序列长度训练把 6.25 Hz 的词错误率从 107.40% 拉回到 15.37%,代价是更低帧率下随音素负载平滑上升的可预期信息损失。
针对噪声下自信但错误的强制转写问题,该研究用片段级弃权占位符 PH 与经人偏好校准的可靠性分数 RAS 组织评价与训练,并在 LibriSpeech 与 TALCS 上以两阶段监督加强化学习提升可靠性,同时保留了可用转写内容。
针对开放式音频问答评价与人类判断不一致的问题,论文构建带多人标注的 AQEval 基准并提出结合大语言模型推理与音频蕴含检查的 AURA 分数,在 AQEval 上与人类评分的相关性显著高于 BLEU 等基线,但音频蕴含项带来的增益较小且依赖较弱的零样本蕴含模型。
该研究在四种音频语言模型和五个音频问答基准上比较概率、采样、自验证、证据冲突与对比信号,发现选择题下首词 top-1 概率以平均 AUROC .740 超过十次采样的离散语义熵.708 且无需额外调用,而移除音频比移除问题使误差识别 AUROC 平均多下降.101 对.010。
该文把静音替换作为破坏基线,用干净隐藏状态回填来测量恢复率,在四个听觉属性上追踪五个模型,发现融合深度分化与末 token 瓶颈,但未给出可部署精度的数值增益与开销测量。
针对越南语—英语语码切换在语音助手链路中字错率与意图损失不一致的问题,该研究提出经大模型修复与问答探针计算的代码切换语义错误率并用商用与自研系统四集基准验证,显示音译策略虽推高词错率仍能保留意图,但语义评测带来更高的计算开销。
该文把低资源与非标准变体的识别失败界定为语言政策问题,提出七层处境模型与误识、错位、失信三害分类及参与式审计修复闭环,代价是未做新架构实验且验证仍待后续多社区审计完成。
论文在乌尔都语、旁遮普语、普什图语和信德语上零样本评测五种多语言模型并用 11 维误差分类拆解总词错率,最强证据是转写后处理不重训可恢复最高 25 个百分点词错率,代价是最佳结果仍远高于可部署阈值且短句、稀有词和命名实体持续失效。