基准测试

📄 EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents #语音对话系统 #基准测试 #语音质量评估 #端到端 #语音合成 🔥 8.0/10 | 前25% | #语音对话系统 | #基准测试 | #语音质量评估 #端到端 | arxiv 学术质量 7.2/8 | 影响力 0.8/2 | 可复现性 0.9/1 | 置信度 高 👥 作者与机构 第一作者：Tara Bogavelli（ServiceNow） 通讯作者：Tara Bogavelli（ServiceNow，tara.bogavelli@servicenow.com） 作者列表：Tara Bogavelli（ServiceNow）、Gabrielle Gauthier Melançon（ServiceNow）、Katrina Stankiewicz（ServiceNow）、Oluwanifemi Bamgbose（ServiceNow）、Fanny Riols（ServiceNow）、Hoang H. Nguyen（ServiceNow）、Raghav Mehndiratta（ServiceNow）、Lindsay Devon Brin（ServiceNow）、Joseph Marinier（ServiceNow）、Hari Subramani（ServiceNow）、Anil Madamala（ServiceNow）、Sridhar Krishna Nemala（ServiceNow）、Srinivas Sunkara（ServiceNow） 💡 毒舌点评 论文提出了一个极其详尽且工程上完备的端到端语音智能体评估框架，其模拟验证闭环和双维度指标设计直击当前领域评估不全面的痛点；然而，具有讽刺意味的是，如此严谨的评估工具揭示了一个尴尬的现实：即便是最顶尖的商业语音模型，在可靠性（pass^k）和鲁棒性上依然表现拙劣，且评估成本高昂。这使得该框架短期内更像一面照妖镜，而非即插即用的优化指南。 📌 核心摘要 本文提出了EVA-Bench，一个针对企业级语音智能体的端到端评估框架，旨在解决现有基准测试在生成逼真对话模拟和全面测量语音特定故障模式方面的不足。 方法核心在于一个模拟验证闭环：框架通过一个用户模拟器与被测智能体进行实时bot-to-bot音频多轮对话，并包含一个自动化验证机制，在评分前检测并再生模拟器行为漂移的对话。评估指标方面，引入了两个复合分数：EVA-A（准确性，涵盖任务完成、策略忠实度、语音内容保真）和EVA-X（体验感，涵盖对话推进、口语化简洁度、轮次时机），两者均被设计为适用于级联和端到端架构，支持直接比较。 与已有方法（如τ-Voice, FDB-v3）相比，EVA-Bench的新颖性体现在：1）同时整合了带验证的实时多轮模拟、控制变量的声学扰动套件和架构无关的综合度量体系；2）借鉴了代码生成领域的概念，提出了基于多试次一致性的pass@1, pass@k, pass^k度量，明确区分峰值性能与可靠性能；3）首次包含了对智能体语音输出内容保真度的音频级评估（Speech Fidelity）。 主要实验结果表明：1）在评估的12个系统中，没有一个系统能在EVA-A和EVA-X的pass@1指标上同时超过0.5；2）峰值性能（pass@k）与可靠性能（pass^k）差距巨大，中位数在EVA-A上达到0.44；3）声学扰动（如法语口音、咖啡店噪声）会显著降低性能，且对级联架构的准确性和对端到端架构的体验感影响不同。例如，法语口音导致级联系统任务完成率平均下降10个百分点，而对端到端系统影响甚微。 该工作的实际意义在于为语音智能体提供了首个标准化、全面且公平的跨架构评估工具，其开源发布有望推动该领域研究从孤立组件优化转向端到端系统质量提升。 主要局限性包括：评估依赖于模拟用户，其行为可能无法完全代表真实人类呼叫者；评估成本高昂；当前仅覆盖英语和特定企业领域；LLM裁判可能存在偏差，尤其是对同家族模型；评估框架未涵盖有害内容、隐私泄露等安全维度，也不支持复杂架构（如多智能体）。 ...

📄 GeoBuildBench: A Benchmark for Interactive and Executable Geometry Construction from Natural Language #基准测试 #几何推理 #多模态模型 ✅ 7.0/10 | 前25% | #几何推理 | #基准测试 | #多模态模型 | arxiv 学术质量 6.9/8 | 影响力 0.7/2 | 可复现性 0.8/1 | 置信度 高 👥 作者与机构 第一作者：Jinwoong Kim（北京大学，王选计算机技术研究所） 通讯作者：未说明 作者列表：Jinwoong Kim（北京大学，王选计算机技术研究所）、Rui Yang（北京大学，王选计算机技术研究所）、Huishuai Zhang（北京大学，王选计算机技术研究所） 💡 毒舌点评 亮点：论文提出了一个极具价值的新评估范式——将几何推理的焦点从“答案正确性”或“视觉相似度”转移到“可执行性”和“几何约束满足”上。通过设计一个支持迭代修复的交互式环境（GeoBuildBench），为严格评估模型的结构化推理、规则遵循和错误修正能力提供了一个创新的测试床。这对于理解和改进智能体（Agent）的具身推理能力有重要意义。 短板：论文的“方法”部分更多是环境构建与评估框架设计，而非提出新的模型架构或学习算法。此外，虽然评估了多个前沿模型，但对模型在迭代过程中具体修正策略的分析（如面对特定约束反馈时的推理路径）仍停留在统计层面，缺乏更深入的定性案例研究来揭示“为什么”某些模型修正能力更强。 📌 核心摘要 问题：现有的几何推理基准主要关注文本答案的正确性或生成图像的视觉相似度，忽略了将自然语言描述转化为几何一致、可执行的构造图这一关键且具有挑战性的步骤。这导致模型可能产生“结构性幻觉”——输出看似合理，但内部的几何关系（如平行、相切）或对象引用是错误的。 方法核心：提出GeoBuildBench，一个用于评估几何构造能力的交互式基准和环境。核心任务是：模型根据中文几何题文本，生成一个领域特定语言（DSL）程序来构造几何图形。环境执行程序、渲染图形，并通过一个验证模块检查对象覆盖（所有必需对象是否创建）和几何约束满足（如角度值、距离相等、平行等），随后将结构化反馈（错误、缺失对象、违反的约束）返回给模型，形成“生成-执行-验证-修复”的闭环交互。 创新点：其新意在于：(1) 定义了可执行几何构造这一新的评估任务，而非静态问答或图像生成；(2) 设计了基于几何约束满足（数值验证）而非视觉相似度的客观评估体系；(3) 构建了支持迭代修复的交互式环境，评估模型的闭环推理能力；(4) 通过严格流程构建了一个文本完整、几何可构造的高质量数据集（489个问题）。 实验结果：对GPT-5.1、Gemini-3-Flash、Qwen3-VL-235B和LLaMA-3.2-90B-Vision四个模型进行了评估，最大迭代预算为5步。前沿闭源模型（GPT-5.1, Gemini-3-Flash）成功率较高（78.9%， 75.3%），但开源模型（Qwen3-VL, LLaMA-3.2-Vision）表现显著较差（42.2%， 21.3%）。所有模型普遍存在结构幻觉（如引用未定义对象）和约束违反问题，且利用反馈进行自我修正的能力有限，表现为修复速度慢或幻觉持续。关键数据见下表： 模型 成功率(%) 平均步数(↓) 幻觉数/问题(↓) 缺失对象数(↓) 违反约束数(↓) GPT-5.1 78.9 1.87 0.40 939 1119 Gemini-3-Flash 75.3 1.55 0.34 329 932 Qwen3-VL-235B 42.2 2.30 2.30 2042 1817 LLaMA-3.2-90B-Vision 21.3 2.23 2.38 1823 1584 补充关键细节：Gemini-3-Flash的平均幻觉恢复步数最短（1.17步），表明其从错误中学习的效率最高。在难度分析（Table 18）中，即使是最强的GPT-5.1，在最高难度（Level 4）问题上的成功率也降至65.7%。 实际意义：该基准为评估和理解大模型的结构化输出能力、规则遵循能力和闭环错误修复能力提供了严格框架，揭示了当前多模态模型在将语言精确映射到符号化构造步骤并维持状态一致性方面的弱点，对发展更可靠的几何推理智能体和具身AI有直接启发。 局限性：基准范围限于中国平面几何问题和预定义的DSL及验证条件集；评估结果依赖于固定的交互协议（如5步预算、特定提示模板）；对模型如何利用反馈的深层机制分析不足。 🔗 开源详情 代码：https://github.com/ooongs/GeoBuildBench 模型权重：论文中未提及。论文评估了多个第三方模型，但未发布自研模型权重。 数据集：GeoBuildBench 数据集（包含489个中文平面几何问题及标注）。论文未提供独立的数据集下载链接，但代码仓库很可能包含数据集。 Demo：论文中未提及。 复现材料：论文附录（Appendix A-H）提供了详细的复现材料，包括： GeoDSL 快速参考：完整的语法、命令和执行语义（附录A）。 验证语义与失败模式：支持的验证条件类型、对象覆盖检查和数值容差的详细定义（附录B）。 完整系统提示词：用于代理（agent）的完整系统提示词（附录C）。 任务解析与标注提示词：用于数据过滤、清洗和标注几何问题的具体提示词（附录D）。 数据集统计与标注细节：类别分布、构建难度分布及解释（附录E）。 可视化构造示例：一个可构造问题和一个不可构造问题的详细GeoDSL代码与渲染图（附录F）。 详细评估诊断：模型性能的整体诊断、幻觉类型分析、缺失对象分析、验证条件失败分析、反馈利用率指标等（附录G）。 附加评估结果：跨语言评估和按难度分级的成功率分析（附录H）。 论文中引用的开源项目：论文中提到了多个相关工作，包括GeoQA, Geometry3K, Inter-GPS, GMB/GMBL, MagicGeo/MagicGeoBench, GeoUni, AlphaGeometry, GEOS，但未提供其具体开源链接。 🏗️ 方法概述和架构 GeoBuildBench构建了一个代理-环境交互循环，用于评估几何构造能力。核心流程为：输入自然语言几何问题 → 代理生成一个GeoDSL程序 → 几何内核执行程序并更新几何状态 → 渲染器基于状态生成图像 → 验证模块根据任务定义（必需对象和验证条件）检查执行结果，生成通过/失败的结构化反馈 → 将图像与反馈一起返回给代理 → 代理根据反馈迭代修改程序，直到验证通过或达到预算上限。 ...

📄 PresentAgent-2: Towards Generalist Multimodal Presentation Agents #生成模型 #多模态模型 #大语言模型 #视频生成 #基准测试 #智能体 ✅ 6.5/10 | 前25% | #生成模型 | #多模态模型 | #大语言模型 #视频生成 | arxiv 学术质量 5.5/8 | 影响力 0.7/2 | 可复现性 0.3/1 | 置信度 高 👥 作者与机构 第一作者：Wei Wu（北京大学） 通讯作者：Hao Tang（北京大学，邮箱：bjdxtanghao@gmail.com） 作者列表：Wei Wu（北京大学），Ziyang Xu（北京大学），Zeyu Zhang（北京大学，项目负责人），Yang Zhao（La Trobe University），Hao Tang（北京大学） 注：论文明确标注前三位作者（Wei Wu, Ziyang Xu, Zeyu Zhang）贡献相等（Equal contribution）。 💡 毒舌点评 本文的亮点在于清晰地将演示生成任务从“文档到演示”拓展到更具挑战性的“查询到演示”，并设计了一个涵盖“深度研究”、内容生成和三种独立演示模式（单人演讲、多人讨论、交互问答）的完整框架。系统设计的完整性和对动态媒体处理的重视值得肯定。然而，其主要弱点在于核心贡献更偏向系统集成而非底层技术创新，关键模块（如视频合成、语音生成）的技术细节几乎完全依赖于未说明的外部模型，使得论文的“技术深度”存疑。同时，评估体系严重依赖于可能同源的VLM评判者，缺乏人类评估数据的校准，使得其高分结果的说服力大打折扣。 📌 核心摘要 解决的问题：现有演示视频生成系统大多依赖用户提供完整的源文档（如论文、报告），无法处理简短、开放式的用户查询，并主动获取内容和视觉资源来生成演示视频。 方法核心：提出PresentAgent-2，一个端到端的智能体框架。系统接收用户查询和选定的演示模式，首先将查询提炼为主题，并通过“深度研究”主动从互联网检索和筛选适合演示的多模态资源（文本、图片、GIF、视频）。随后，基于这些资源规划演示结构、生成幻灯片和对应模式的脚本（单人演讲为叙述脚本，多人讨论为角色对话脚本，交互问答为基于上下文的回答），合成音频，并将幻灯片、音频和动态媒体（保持GIF/视频的可播放性）合成为最终的演示视频。 与已有方法相比的新颖之处：a) 任务设定开放：首次系统性地研究从开放查询到演示视频的生成，而非从给定文档转换。b) 内容获取主动：集成了针对演示场景优化的“深度研究”模块，主动收集多模态资源。c) 输出模式丰富：在统一框架下支持单人演讲、多人讨论和交互问答三种独立的演示模式。d) 动态媒体处理：在视频合成中保留了检索到的GIF和视频的动态特性，而非将其转换为静态截图。 主要实验结果：论文构建了名为PresentEval的多模态演示基准测试集，包含60个查询-参考视频对（每种模式20对）。使用不同骨干模型（如Qwen3.5-VL-Plus）进行评估，结果显示系统在客观测验（满分5）和主观评估（满分5）上均取得较高分数（例如，使用Qwen3.5-VL-Plus时，客观测验得分均>4.8，主观评估均分均>4.3）。消融实验证明了多模态检索、动态媒体保留、角色感知的对话生成以及交互上下文接地等模块的有效性。 实际意义：为教育、技术讲解、知识传播等场景提供了一种新的内容创作范式，降低了从问题到结构化多媒体演示视频的制作门槛。 主要局限性：a) 生成质量高度依赖检索到的公开网络资源的质量。b) 交互模块的错误可能受上游检索和生成错误的影响。c) 当前基准测试规模有限（60例）。d) 论文中多个关键技术的实现细节未公开说明。 🔗 开源详情 代码：https://github.com/AIGeeksGroup/PresentAgent-2 模型权重：论文中未提及模型权重的具体下载链接（如HuggingFace/ModelScope）。 数据集：论文中未提及公开数据集的下载链接。论文中描述了自行构建的PresentEval基准数据集（60个查询-参考视频对），但未提供其公开获取地址。 Demo：https://aigeeksgroup.github.io/PresentAgent-2 复现材料：论文中未提及提供训练配置、模型检查点、提示模板、评测脚本等复现材料的具体下载链接。 论文中引用的开源项目： Paper2Video、PresentAgent、Paper2Poster、VideoAgent、Doc2PPT, SlideGen, VideoDirectorGPT, VideoStudio, LVD：论文中仅在相关工作或表格中提及项目名称和引用，未提供具体项目链接。 🏗️ 方法概述和架构 PresentAgent-2是一个多阶段、模块化的智能体系统，旨在完成从自然语言查询到演示视频的端到端生成。其核心流程如图4所示：接收用户的自然语言查询q和选定的演示模式m，首先将查询提炼为主题t并执行“深度研究”以检索多模态资源集ℛ，随后基于(q, t, ℛ, m)生成最终的演示视频V_m。整个过程可形式化为两步：q → (t, ℛ) 和 (q, t, ℛ, m) → V_m。演示模式m主要决定了生成的脚本结构和交付风格。 ...

📄 Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs #模型评估 #音频问答 #跨模态 #基准测试 #多模态模型 🔥 8.0/10 | 前50% | #模型评估 | #基准测试 | #音频问答 #跨模态 | arxiv 学术质量 6.5/8 | 影响力 1.3/2 | 可复现性 0.9/1 | 置信度 高 👥 作者与机构 第一作者：Nguyen Quang Trung（南洋理工大学，LMMs-Lab） 通讯作者：未说明 作者列表：Nguyen Quang Trung（南洋理工大学，LMMs-Lab），Yiming Gao（南洋理工大学，LMMs-Lab），Fanyi Pu（南洋理工大学，LMMs-Lab），Kaichen Zhang（南洋理工大学，LMMs-Lab），Shuo Sun（约翰霍普金斯大学），Ziwei Liu（南洋理工大学，LMMs-Lab） 💡 毒舌点评 这篇论文精准地定义并量化了全模态LLM中一个核心但被忽视的“感知-行动鸿沟”问题，其IMAVB基准测试的2×2设计堪称教科书式的诊断工具；然而，作为“干预”的PGLA本质上是一个依赖于同一数据集训练探针的诊断性调整，其在真实、开放世界场景中的泛化能力和实际部署价值被高估了，诊断本身很彻底，但治疗方案可能只是止痛药。 📌 核心摘要 要解决什么问题：当全模态大语言模型（LLM）遇到与其自身感官输入（视觉、音频）相矛盾的文本前提时，其失败究竟是源于感知层面（未能检测到矛盾）还是行动层面（检测到了但未能在输出中拒绝）？现有的协同性基准测试无法揭示这种失败模式。 方法核心是什么：论文提出了IMAVB（一个500个电影片段的2×2设计基准测试），通过保持视频和音频不变，仅交换问题文本中的一个前提细节来创建“标准”和“误导性”问题。结合线性探针（分析隐藏状态）和引导对数调整（PGLA，一种推理时干预方法），来诊断模型内部表示与外部行为之间的脱节。 与已有方法相比新在哪里：与现有的跨模态基准测试（如AVHBench）相比，IMAVB使用隐含的虚假前提（而非明确验证提示）、长视频（1-5分钟），并保留所有模态同时竞争注意力。这是首次系统性地将“内部-外部脱节”现象从纯文本LLM扩展到跨模态感知领域，并量化了其模态不对称性（音频接地弱于视觉）。 主要实验结果如何：在8个开源全模态LLM和Gemini 3.1 Pro上，论文发现了显著的“表示-行动鸿沟”：线性探针可以从隐藏状态中以高达86%的准确率解码出误导性前提，但模型的实际拒绝率极低（多数开源模型在音频误导性检测上为0%）。PGLA通过将内部信号反馈至输出，在所有8个开源模型上平均提升了15.0个百分点的平衡准确率。 模型 基线平衡准确率 (%) PGLA后平衡准确率 (%) 提升 (pp) Uni-MoE-2.0-Omni 38.2 57.0 +18.8 MiniCPM-o 2.6 31.6 49.2 +17.6 OLA 37.4 54.9 +17.5 Video-SALMONN-2 38.2 55.1 +16.9 Qwen2.5-Omni 37.5 53.4 +15.9 OmniVinci 38.4 53.0 +14.6 Qwen3-Omni 45.9 57.7 +11.8 Baichuan-Omni-1.5 36.8 43.5 +6.7 平均 38.0 53.0 +15.0 实际意义是什么：研究结果表明，提升全模态LLM的感知接地能力，瓶颈可能不在于更大的编码器或更丰富的表示，而在于训练目标未能将内部检测到的矛盾信号与最终输出对齐。这为未来针对“诚实”或“接地”的训练改进指明了方向。 主要局限性是什么：基准测试局限于电影领域，可能无法推广到所有视频类型；误导性前提是单次细节交换；PGLA的干预是基于同一基准测试数据训练的，其跨域泛化能力未经验证；对商用模型（Gemini）的分析仅限于行为层面，缺乏表示分析。 🔗 开源详情 代码：论文中未提供明确的代码仓库链接。论文中提及“all code will be publicly released”以及“code is included in the supplementary material”，但未给出具体的GitHub等仓库地址。 模型权重：论文中未提及提供预训练或微调的模型权重链接。 数据集：IMAVB数据集。论文中提及一个匿名访问链接：https://huggingface.co/datasets/anonymousneurips/IMAVB。论文还承诺在接收后将与lmms-eval集成并公开发布。 Demo：论文中未提及在线演示链接。 复现材料：论文中提供了详细的实验设置、评估协议和实现细节，主要包含在附录中（如Appendix J, L, G）。评估使用了开源框架lmms-eval（链接：https://github.com/EvolvingLMMs-Org/lmms-eval）。所有实验使用温度0、top-p和top-k为1的设置，并报告95%的bootstrap置信区间。开放源代码模型的评估在8块NVIDIA H100 80GB GPU上进行。 论文中引用的开源项目： lmms-eval：开源多模态评估框架。论文中引用为lmms-eval，链接：https://github.com/EvolvingLMMs-Org/lmms-eval。 评估的开源全模态LLM（论文中未提供其官方权重或代码链接，仅列出名称）：OLA, OmniVinci, Qwen2.5-Omni, MiniCPM-o 2.6, Uni-MoE-2.0-Omni, Baichuan-Omni-1.5, Video-SALMONN-2, Qwen3-Omni。 商业模型：Gemini 3.1 Pro（通过API评估，未开源）。 数据生成与标注中使用的模型：Qwen3.5-27B, Qwen3-Omni-30B-A3B-Captioner, Qwen3-Omni-30B-A3B-Thinking, GPT-4o（论文中未提供这些模型的具体链接）。 其他方法（论文中提及但未提供实现链接）：Inference-Time Intervention (ITI), Representation Engineering (RepE), Visual Contrastive Decoding (VCD), Instruction Contrastive Decoding (ICD), AVCD, Fork-Merge Decoding, OPERA, Self-Introspective Decoding, DoLa。 🏗️ 方法概述和架构 本文的核心方法框架是一个用于诊断和量化全模态LLM中“表示-行动鸿沟”的系统流程，包含基准测试构建、多维度分析与诊断干预三个主要阶段。 ...

语音/音频论文速递 2026-05-14 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 2篇 ██ #音频分类 2篇 ██ #语音对话系统 1篇 █ #模型评估 1篇 █ #多智能体协同 1篇 █ #音频事件检测 1篇 █ #乐谱生成 1篇 █ #音频生成 1篇 █ 📊 论文评分排行榜（16 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 EVA-Bench: A New End-to-end Framework for Evaluating Vo 8.0分 前25% #语音对话系统 🥈 Senses Wide Shut: A Representation-Action Gap in Omnimo 8.0分 前50% #模型评估 🥉 EVOCHAMBER: Test-Time Co-evolution of Multi-Agent Syste 8.0分 前25% #多智能体协同 4. NAACA: Training-Free NeuroAuditory Attentive Cognitive 7.0分 前25% #音频事件检测 5. Text2Score: Generating Sheet Music From Textual Prompts 7.0分 前25% #乐谱生成 6. Seconds-Aligned PCA-DAC Latent Diffusion for Symbolic-t 7.0分 前50% #音频生成 7. Bypassing Direct Reconstruction: Speech Detection from 7.0分 前25% #语音活动检测 8. Decoupled Azimuth Elevation AoA Estimation Exploiting K 7.0分 前25% #声源定位 9. WARDEN: Endangered Indigenous Language Transcription an 7.0分 前25% #语音识别 10. Vividh-ASR: A Complexity-Tiered Benchmark and Optimizat 7.0分 前50% #语音识别 11. Scaling few-shot spoken word classification with genera 7.0分 前50% #音频分类 12. GeoBuildBench: A Benchmark for Interactive and Executab 7.0分 前25% #几何推理 13. Keep What Audio Cannot Say: Context-Preserving Token Pr 7.0分 前25% #音视频 14. PresentAgent-2: Towards Generalist Multimodal Presentat 6.5分 前25% #生成模型 15. Does language matter for spoken word classification? A 6.0分 前50% #音频分类 16. Leveraging Multimodal Self-Consistency Reasoning in Cod 6.0分 前50% #动机访谈编码 📋 论文列表 🥇 EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents 🔥 8.0/10 | 前25% | #语音对话系统 | #基准测试 | #语音质量评估 #端到端 | arxiv ...

📄 Boosting Omni-Modal Language Models: Staged Post-Training with Visually Debiased Evaluation #多模态模型 #基准测试 #数据清洗 #后训练 #评测协议 📝 5.5/10 | 前50% | #多模态模型评估 | #后训练 #自蒸馏 | #多模态模型 #基准测试 | arxiv 学术质量 5.0/8 | 影响力 0.7/2 | 可复现性 0.1/1 | 置信度 中 👥 作者与机构 第一作者：Che Liu (根据作者列表顺序推断) 通讯作者：Fei Tian (tianfei@stepfun.com， StepFun) 作者列表：Che Liu (StepFun, Imperial College London)， Lichao Ma (StepFun, Peking University)， Xiangyu Tony Zhang (StepFun, The University of New South Wales)， Yuxin Zhang (StepFun, Shanghai Jiao Tong University)， Haoyang Zhang (StepFun, Peking University)， Xuerui Yang (StepFun)， Fei Tian (StepFun， 通讯作者) 💡 毒舌点评 论文直击全模态模型评测的核心痛点——视觉捷径导致的性能虚高，并为此提出了系统化的去偏评测协议(OmniClean)，这为社区提供了急需的、更干净的评估工具，具有明确的实用价值；然而，作为核心方法贡献的OmniBoost方案，本质上是将现有的SFT、RLVR和自蒸馏技术按固定顺序进行组合与调优，缺乏在算法或模型架构层面的根本性创新，且整个实证研究被严格限制在一个特定模型家族(Qwen2.5-Omni-3B)上，极大地削弱了其结论的普适性与指导意义。 ...

📄 MMTB: Evaluating Terminal Agents on Multimedia-File Tasks #基准测试 #音视频 #系统设计 🔥 60/10 | 前25% | #基准测试 | #系统设计 | #音视频 | arxiv 学术质量 6.7/8 | 影响力 0.8/2 | 可复现性 0.8/1 | 置信度 高 👥 作者与机构 第一作者：Chiyeong Heo（POSTECH GSAI） 通讯作者：Jungseul Ok（POSTECH GSAI, POSTECH CSE） 作者列表：Chiyeong Heo（POSTECH GSAI）、Jaechang Kim（POSTECH GSAI）、Junhyuk Kwon（POSTECH GSAI）、Hoyoung Kim（National AI Research Lab）、Dongmin Park（Krafton AI）、Jonghyun Lee（Krafton AI）、Jungseul Ok（POSTECH GSAI, POSTECH CSE） 💡 毒舌点评 本文定义了一个重要的评估缺口（多媒体文件工作流），并提出了对应的基准（MMTB）和评估框架（Terminus-MM）。核心贡献在于填补空白和提供系统性的消融证据。然而，论文的“现实世界”代表性存在根本性缺陷：1）所有任务均在受控、自包含的沙箱中完成，与真实工作流中充满干扰、网络依赖和复杂交互的环境相去甚远；2）声称的“付费工作流”来源仅体现在任务描述的灵感上，但实际任务经过了高度简化和包装，例如，105个任务中60个（57%）被最佳系统同时解决失败，这强烈暗示任务难度或现实性不足。此外，Terminus-MM的“原生感知”工具（listen_audio, watch_video）被严重黑箱化，其内部调用的模型（例如是Gemini的原生能力还是独立的ASR/VLM模型）未做任何说明，这使得“原生访问”与“命令行工具”的对比在公平性上存疑，因为前者的计算成本和延迟可能已被外部化。 📌 核心摘要 要解决什么问题：现有的终端代理基准主要关注文本、代码和结构化文件，缺乏对现实世界中广泛存在的、需要直接操作音频/视频文件的多媒体文件工作流（Multimedia-File Tasks）的评估。 方法核心是什么：本文提出了一个多模态终端代理基准MMTB（包含105个来自真实付费工作流的任务）和一个多媒体终端代理框架Terminus-MM。Terminus-MM扩展了Terminus-2和Terminus-KIRA，增加了原生音频感知工具listen_audio和原生视频感知工具watch_video。其关键设计是“工作空间感知的工具路由”或“模态掩码”机制：在任务开始时，框架扫描工作空间的文件扩展名，动态确定存在的媒体模态（音频、视频、图像），并只向代理的LLM后端暴露与之对应的感知工具。 与已有方法相比新在哪里：首次在终端代理评估中引入内容感知（Content-aware）和跨文件工作流（Cross-file workflow）的多媒体任务。系统性地证明了原生多模态访问（直接理解音频/视频内容）相较于通过命令行工具（如ffmpeg、ASR）进行间接转换和处理，在效率和成本上的显著优势。 主要实验结果如何：在Gemini-3.1-Pro模型上，提供完整原生模态访问（文本+图像+音频+视频）的Terminus-MM取得了最高成功率（二元成功率0.371，部分成功率0.469），显著优于仅文本访问的Terminus-2（0.124， 0.162）。消融实验表明，原生音频和视频访问是性能提升的主要贡献。当原生模态缺失时，依赖命令行工具转换会导致API成本平均增加1.63x至7.72x，最差情况超过30x。移除动态工具路由（模态掩码）会导致性能下降（如Gemini-3.1-Pro上二元成功率从0.371降至0.324）。失败分析显示，Terminus-MM的主要失败原因是模型推理错误（47%），而商用CLI工具Codex CLI则有更高比例的工具操作相关失败（尤其是超时，39%）。 实际意义是什么：为开发和评估能够处理现实世界多媒体文件工作流的AI代理提供了标准化基准；揭示了原生多模态感知对于提升代理效率、降低成本和可靠性的关键作用；为未来多媒体代理系统的设计指明了方向。 主要局限性是什么：未提供与人类专家基线的直接比较；基准任务规模（105个）和多样性可能不足以完全覆盖所有现实场景；所有评估均在固定10分钟预算内进行，未探索更长预算下的行为；“原生感知”工具的内部实现细节未公开。 🔗 开源详情 代码：https://github.com/mm-tbench/multimedia-terminal-bench 模型权重：论文中未提及提供模型权重下载链接。论文中使用的Qwen3.5-122B、GPT-5.2、Gemini-2.5-Flash、Gemini-3.1-Pro、Sonnet-4.6等均为第三方闭源模型或需通过API/订阅服务访问。Terminus-MM作为工具框架，其本身不包含模型权重。 数据集：MultiMedia-TerminalBench (MMTB) 数据集。获取链接：https://huggingface.co/datasets/mm-tbench/mmtb-media。数据集包含Per-asset media licenses记录在各任务的media.toml中，以CC-BY, CC0, 和 public-domain为主，并包含一个符合Croissant 1.0标准的元数据文件。 Demo：论文中未提及在线演示链接。项目主页为：https://mm-tbench.github.io/multimedia-terminal-bench/ 复现材料：论文详细描述了评估设置，包括任务格式（Harbor任务）、评估协议、代码仓库和附录中的实现细节。完整的复现需要代码仓库、任务数据集以及访问所使用的模型API。 论文中引用的开源项目： Terminal-Bench：论文中的基准测试格式和部分任务设计参考自此项目。链接：https://github.com/terminal-bench/terminal-bench Terminus-2：作为基础的文本终端代理框架。链接：https://github.com/terminal-bench/terminal-bench (Terminal-Bench项目的一部分) Terminus-KIRA：增加了原生图像感知的终端代理框架，采用Apache-2.0许可。链接：https://github.com/terminal-bench/terminus-kira ffmpeg：广泛使用的音视频处理命令行工具。链接：https://ffmpeg.org/ LilyPond：用于乐谱排版的音乐记谱语言和程序。链接：https://lilypond.org/ FluidSynth：软件合成器，用于将MIDI转换为音频。链接：https://www.fluidsynth.org/ Kokoro-82M：论文中提及的一个采用Apache-2.0许可的语音合成模型，用于生成实验中的合成语音。 Godot：开源游戏引擎，用于生成游戏QA任务的视频素材。链接：https://godotengine.org/ Wav2Lip：用于口型同步的视频合成工具。链接：https://github.com/Rudrabha/Wav2Lip reportlab / wkhtmltopdf：用于PDF文档生成的工具。链接：https://www.reportlab.com/ 和 https://wkhtmltopdf.org/ matplotlib：用于生成图表和示意图的Python库。链接：https://matplotlib.org/ music21：用于分析和处理音乐表示的Python工具包。链接：https://web.mit.edu/music21/ 相关基准测试与框架（未直接提供代码链接，但在论文中被引用比较）： WebArena / VisualWebArena OSWorld OmniBench JointAVBench AVTrustBench OmniPlay VideoWebArena Claude Code Codex CLI SWE-bench / MLE-bench / AppWorld 🏗️ 方法概述和架构 本文的核心工作是设计并构建一个名为MMTB（MultiMedia-TerminalBench）的评估基准，以及一个用于在该基准上评估的多媒体终端代理框架Terminus-MM。该系统旨在评估终端代理在处理以音视频文件为核心对象的复杂工作流时的能力。 ...

📄 The Deepfakes We Missed: We Built Detectors for a Threat That Didn’t Arrive #深度伪造检测 #音频深度伪造检测 #基准测试 #评测协议 #内容审核 #立场论文 #文献计量 ✅ 6.5/10 | 前50% | #深度伪造检测 | #基准测试 | #音频深度伪造检测 #评测协议 | arxiv 学术质量 7.0/8 | 影响力 1.5/2 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Shaina Raza（Vector Institute for Artificial Intelligence, Toronto, Canada; 多伦多城市大学） 通讯作者：论文未明确标注通讯作者。 作者列表：Shaina Raza（Vector Institute for Artificial Intelligence, Toronto, Canada；多伦多城市大学） 💡 毒舌点评 这篇立场论文以文献计量为刃，精准解剖了深度伪造检测领域近十年的“错位”症候群。其核心价值不在于技术突破，而在于以无可辩驳的实证数据揭示了研究议程与社会危害之间的巨大鸿沟，并尖锐地指出这种错位已成为部署有效防御的主要瓶颈。然而，其“威胁未以预测形式到来”的核心论断在力度上稍显不足，且对“威慑论”的反驳主要依赖间接证据。论文的警示意义远大于其提供的技术解决方案。 📌 核心摘要 问题：本文指出，自2017年以来，深度伪造检测研究一直围绕一个继承自2017-2019年、以“公众人物换脸/说话头视频”（T1）为主的威胁模型，但该威胁模型预测的大规模政治灾难并未在2024年全球选举周期中如期出现。与此同时，非自愿亲密图像（NCII）、语音克隆诈骗等实际危害已大规模爆发，研究重心与实际危害分布存在严重错位。 方法核心：本文是一篇立场论文，其核心方法是一个四阶段分析框架：(1) 威胁模型考古，追溯当前研究主流威胁模型的起源；(2) 实证错位分析，通过文献计量（438篇论文）和危害数据综合（来自IC3， IWF等），量化研究努力与实际危害的分布差异；(3) 机制诊断，分析基准继承、数据伦理不对称、显著性驱动关注等导致错位持续的原因；(4) 提出三个面向被忽视危害类别的具体技术研究议程。 创新点：提出了清晰的五类威胁分类法（T1-T5），并通过大规模实证分析系统性地量化了领域内资源与社会危害之间的错位。超越现象描述，深入诊断了维持这种错位的结构性原因，并勾勒了针对现实危害的研究路线图。 主要结果： 研究分布：在389篇检测方法论文中，71.0%（276篇）针对T1（公众人物视频），28.5%（111篇）针对T3（音频），而T2（1篇）、T4（0篇）、T5（1篇）几乎为零。 危害趋势：IWF评估的AI生成CSAM视频在2024-2025年间增长260倍（从13个到3,443个）；IC3报告的合成媒体相关投诉呈数量级增长。相比之下，2024年全球选举周期中未有记录证明合成政治视频根本性地改变了选举结果，相关事件多由人类而非ML系统识别。 错位加剧：在对数刻度下，T1论文数量呈线性增长，而危害指标呈指数增长，差距在持续扩大。 实际意义：论文明确呼吁ML社区、会议、资助机构和平台将研究议程重新平衡，投向危害真实增长的领域（如实时语音克隆检测、隐私保护的NCII检测、消息层防御），并提出了具体的行动建议。 主要局限性：论文明确承认其文献语料库可能低估了安全、HCI等领域的工作；危害数据依赖公开报告，存在漏报偏差；对论文和基准的分类涉及主观判断；且无法通过反事实分析证明现有研究未对政治deepfake产生威慑。 🔗 开源详情 代码：论文提及在补充材料中包含了用于构建438篇论文语料库的收集脚本和关键词列表（见附录A），但未提供具体的代码仓库链接（如GitHub）。这与“has_code: 是”的机器摘要判断一致。 模型权重：论文未提出新模型，故无模型权重。 数据集：论文引用了多个用于研究和基准测试的公开数据集（如FaceForensics++, Celeb-DF, DFDC等，见附录C Table 2），但并未提供新的数据集。 Demo：未提及。 复现材料：论文详细描述了其文献收集、分类的方法论（附录A, B），并表示在补充材料中包含了收集脚本和关键词规则。这为复现其核心文献分析提供了基础。危害数据综合部分属于定性研究，复现性较低。 论文中引用的开源项目：论文作为一篇立场论文，主要引用学术研究和数据集作为论据。文中提到的实体如StopNCII.org、IWF、IC3是报告和处理危害的组织或数据库，而非供研究者使用的开源软件项目。 🏗️ 方法概述和架构 本文是一篇立场与观点论文（Position Paper），其核心方法并非提出一个新的检测模型，而是通过一套系统性的分析框架来论证其核心主张。该框架旨在诊断研究与危害的错位并提出新的研究方向，具体流程与架构如下： ...

📄 Too Good to Be True: A Study on Modern Automatic Speech Recognition for the Evaluation of Speech Enhancement #语音增强 #模型评估 #语音识别 #基准测试 ✅ 6.6/10 | 前50% | #语音增强 | #模型评估 | #语音识别 #基准测试 | arxiv 学术质量 6.2/8 | 影响力 0.7/2 | 可复现性 0.8/1 | 置信度 高 👥 作者与机构 第一作者：Danilo de Oliveira (University of Hamburg, Signal Processing Group) 通讯作者：未明确说明（论文中未提供明确的通讯作者标识） 作者列表：Danilo de Oliveira (University of Hamburg, Signal Processing Group)、Tal Peer (University of Hamburg, Signal Processing Group)、Timo Gerkmann (University of Hamburg, Signal Processing Group) 💡 毒舌点评 本文像一面精准的棱镜，折射出使用现代ASR评估语音增强时存在的“评估偏移”现象：强大的ASR模型（特别是基于大规模数据训练的Transducer和Attention模型）因噪声鲁棒性和语言先验，其WER指标已无法敏感地区分不同SE系统在声学伪影上的细微差异，甚至可能误导系统排名。然而，这篇系统性的实证研究更像是一个严谨的“症状报告”，它清晰地诊断了问题（WER作为指标的失效、流水线敏感性），并量化了症状（与人类排名的相关性、排名差异），但并未开出有效的“处方”（如何修正指标或提出新范式）。其贡献在于警示和基础性分析，而非解决方案的革新。 ...

📄 Towards Fine-Grained Multi-Dimensional Speech Understanding: Data Pipeline, Benchmark, and Model #语音理解 #渐进式课程学习 #基准测试 #数据集 #多语言 前25% | #语音理解 | #渐进式课程学习 | #基准测试 #数据集 | arxiv 学术质量 6.0/8 | 影响力 1.6/2 | 可复现性 0.7/1 | 置信度 高 👥 作者与机构 第一作者：Guojian Li（论文未明确标注，按列表顺序推断） 通讯作者：未说明（论文仅标注“*Corresponding authors”，但未指明具体作者） 作者列表：Guojian Li, Zhixian Zhao, Zhennan Lin, Jingbin Hu, Qirui Zhan, Yuang Cao, Pengyuan Xie, Chuan Xie, Jie Liu, Qiang Zhang, Zhonghua Fu, Lei Xie。 所有作者所属机构：未在论文中提供。 💡 毒舌点评 这篇工作的核心价值在于其“三位一体”的系统性贡献——试图为“细粒度多维语音理解”这一新兴方向同时定义问题、提供评测工具和提出模型方案���其构建的FMSU-Bench基准，特别是引入“语义陷阱”干扰项，对评估模型是否真正“听声”而非“读文”具有重要启发意义。然而，整套方案的基石——数据生产流水线，严重依赖黑箱商业模型（Gemini 2.5 Pro）进行核心标注，这使得后续所有工作的数据源都建立在一个不可控、可能引入系统性偏差且难以复现的基础上。本质上，这更像是一次利用强大工具进行的数据工程和系统集成，而非提出新的感知原理。此外，模型在部分关键微细声学任务（如音高）上性能的显著下降，暴露了当前方法在触及问题本质上的不足。 ...