交替听与读才能检准:ATIR 把音频文本交织序列当作一等检索对象
针对音频与文本交替出现的多轮上下文检索,论文构造统一 ATIR 基准并训练带音频令牌选择器的双编码器 ATIR-Qwen-3B,报告平均 78.86% Recall@1 和 85.09% nDCG@5,最强对照下仍保留打乱交织结构即下降的反证,代价是两阶段微调与选择器阈值调节。
针对音频与文本交替出现的多轮上下文检索,论文构造统一 ATIR 基准并训练带音频令牌选择器的双编码器 ATIR-Qwen-3B,报告平均 78.86% Recall@1 和 85.09% nDCG@5,最强对照下仍保留打乱交织结构即下降的反证,代价是两阶段微调与选择器阈值调节。
针对大音频语言模型越狱评测只做文本转语音的问题,该工作先建 1495 条 10 类音频基线集,再用语义一致约束加贝叶斯优化组合时域频域混合扰动生成更强攻击,并在 7 个模型上报告攻击成功率等五项指标显示微小保义扰动仍显著降低安全性,同时以严格拒绝换可用性为代价。
该研究把多轮语音交互拆成记忆、指令、一致性和语音改口四个轴,用 452 段无脚本真人录音和 1712 条原子细则做固定上下文评测,报告最高模型仅 54.65% 通过率且语音改口最难,同时付出长音频一致性下降与声音线索记忆明显弱于语义记忆的代价。
该文用每幕重采样的九任务诊断音频任务学习,显示最强模型在非语音模式绑定上可学、但在时长测量与多规则组合上崩溃,而代价是人工构造任务与小样本精确匹配评估的生态距离。
针对音频问答依赖短线索和文本捷径的问题,AUDITA 用 9690 个人类撰写的真实音频 trivia 题加项目反应理论分析,显示人类自由作答 32.13% 而模型平均仅 8.86%,代价是题源偏英语 trivia 且人类基线为非专家抽样而非能力上限。
该研究把希腊音频数据集扩展为片段对齐的歌词转写基准,在同一协议下对比 Whisper 三种规模与转写翻译配比及先语音后歌声的两阶段适配,报告 Large-v3 两阶段词错误率 27.2%,代价是翻译辅助只在小容量模型上为正且增强与复调训练均未获益。
该研究在 2000 句共享英语-约鲁巴语码切换集上对比 6 个专用语音识别系统与 5 个音频语言模型,报告 Parakeet 与 Kimi-Audio 总词错率几乎相同但后者在切换边界显著更好,代价是约鲁巴语词错误普遍超过 97% 且生成式模型存在提示依赖的过度生成。
BoYaEval 用 3175 张原貌古谱图像把考题分成认符号、译指法、推旋律三层,报告显示 21 个主流多模态大模型在基础识别尚可但在旋律推理仅约 27% 到 30%,而把示例从零增至多示例也不能打通跨谱式推理瓶颈。
论文用固定文字、只改声音的合成对照测音频语言模型能否把可听症状用于分诊,最强证据是高风险声音配安心文字时多数模型仍跟文字走,而代价是大量平局与无效输出且声学敏感度随疾病和模型剧烈波动。
针对长语音与对话生成的评测缺口,该工作构建 1101 样本、17 场景的 SwanBench-Speech 并提出 7 个解耦指标,用人类一致性验证支撑其发现的混响一致性与表现力层次短板,但高表现力场景与多说话人声场统一仍代价明显。
该挑战用阻尼 Kirchhoff-Love 板仿真器生成全部脉冲响应,要求从波形倒推 6 个物理量或数千个模态三元组,结果是任务 A 可用大样本网络或大量正演搜索做到机器精度而任务 B 连模态增益都难以逐个恢复且频域复评会改变排名。
论文把多通道回放检测定义为按声学环境逐个学习的域增量问题,用 ReMASC 全部 24 种顺序对比朴素微调、EWC、GPM 与任务专用波束形成器,最强证据是 TSB 显著降低平均错误率但未减少遗忘,而最后出现的环境主导最终性能。
针对纯文本盈利预测依赖商业数据的问题,该研究构造 2688 场带逐词转录、全程音频和幻灯片的多模态基准并评测 26 个模型,最强证据是高准确率多为类别不平衡造成的假象而多模态增益有限,代价是长文本截断、采样幻灯片与类别严重偏斜。
论文用真实法语对话构造 CALLFC-FDB 与 MEDIA-FDB 并复用 FDB v1.0 四类任务,显示基于语音活动的计时指标跨语言基本稳定,而用户打断评分等内容指标在语言失配时明显下降,人-人对话则说明一味优化指标会损失自然度。
针对全双工语音智能体多轮一致性缺乏可复现评测的问题,该文用合成语音自动考官加分阶段语义目标与快慢两种节奏做流式多轮交互,并以轮换流畅度、多轮指令遵循和任务专属三维打分报告了三系统随时间下滑且修正与实体跟踪最难的证据,代价是仅覆盖英语四类任务并依赖转写加模型打分。
论文提出只用声纹推断八类隐私属性的 HearSay 基准,用 22,064 段真实音频证明模型在性别上平均达到 92.89% 准确率且几乎不拒绝,而思维链推理在强模型上进一步放大泄露,轻量提示防御难以根治生理属性泄露。
针对神经音频编解码器重合成的印度语伪造语音检测难泛化问题,论文构建多语言多编解码器基准并提出双阶段双曲对齐的检测框架,在域内与跨库迁移上报告更低等错误率,但以双编码器与大语言模型解码器开销为代价。
针对单轨音乐问答无法考察跨轨比较的问题,该研究用四阶段流水线构造每对三问的比较问答集,并用统一评测显示句子级比较解释是当前模型的主要瓶颈,而其代价是严格过滤后保留高精度子集与依赖文本中间表示。
论文针对以人为中心的长视频多模态理解,构建约 1001 个视频与 4781 个问答的 LongInsightBench,用六类事件内与事件间任务测出 Gemini3-Pro 总体 80.04% 领先而跨事件因果仍偏低,并以模态替换对照揭示融合 deficit,代价是依赖专有模型与约 250 GPU 小时加 700 美元 API 成本。
论文针对多人对话音视频生成中身份漂移与轮转混乱难以被感知质量指标发现的问题,构建覆盖四层九维度的失败诊断问答基准,用 12 个全模态模型的诊断得分与三类生成器的人评成功率显示交互层是主要瓶颈,但诊断高度依赖音频输入与提示对齐条件。