基准测试

📄 CRAFT: Critic-Refined Adaptive Key-Frame Targeting for Multimodal Video Question Answering #多模态问答 #多模态模型 #大语言模型 #基准测试 #视频理解 ✅ 6.6/10 | 前50% | #多模态问答 | #多模态模型 | #大语言模型 #基准测试 | arxiv 学术质量 5.0/7 | 影响力 0.3/2 | 可复现性 1.3/2 | 置信度 高 👥 作者与机构 第一作者：Mahesh Bhosale（University at Buffalo） 通讯作者：Mahesh Bhosale（University at Buffalo） 作者列表：Mahesh Bhosale（University at Buffalo）， Abdul Wasi（University at Buffalo）， Vishvesh Trivedi（New York University）， Pengyu Yan（University at Buffalo）， Akhil Gorugantu（University at Buffalo）， David Doermann（University at Buffalo） 📌 核心摘要 这篇论文旨在解决真实世界新闻事件背景下，基于多视频的问答与报告生成任务，要求生成的内容不仅事实准确，还需精确引用视频证据。其核心方法CRAFT是一个多阶段流水线，包含动态关键帧选择（DKS）、ASR转录增强、基于原子声明的提取，以及一个由UNLI、DeBERTa-NLI和小型LLM构成的混合评论循环，用于迭代地验证和修复声明，最终通过引用合并生成报告。与之前方法相比，CRAFT的新颖之处在于将声明级别的验证循环深度集成到证据提取阶段，而非仅用于最终答案聚合，并强调了原子声明格式对引用对齐的重要性。实验在MAGMaR 2026（19个查询）和自建的WikiVideo转换集（52个查询）上进行，CRAFT在MAGMaR-Test上取得了最佳整体平均分（0.739）、参考召回率（0.810）和引用F1（0.635），在WikiVideo上也表现强劲（Avg 0.823）。消融研究证明了原子声明、ASR和评论循环的关键作用。该工作的实际意义是为需要高证据密度的多源视频问答（如事实核查、事件报道）提供了一个可行的系统架构。主要局限性是其评估数据集规模较小（19和52个查询），且系统流程复杂，依赖多个外部模型和组件，推理成本较高。 ...

📄 Cross-Talk Speech Reduction, by Separation, for Separation #语音分离 #伪标签学习 #多通道 #长音频处理 #基准测试 #盲解卷积 🔥 9.1/10 | 前25% | #语音分离 | #伪标签学习 | #多通道 #长音频处理 | arxiv 学术质量 6.4/7 | 影响力 2.0/2 | 可复现性 0.8/2 | 置信度 高 👥 作者与机构 第一作者：未明确说明（论文中两位作者并列，但根据投稿标注，Z.-Q. Wang为通讯作者） 通讯作者：Zhong-Qiu Wang（南方科技大学计算机科学与工程系） 作者列表：Zhong-Qiu Wang（南方科技大学计算机科学与工程系）、Samuele Cornell（卡内基梅隆大学语言技术研究所） 💡 毒舌点评 亮点：论文精准地抓住了“近场混合信号作为伪标签不干净”这个核心痛点，并用一个优雅的、物理模型驱动的盲解卷积框架（CTRnet）解决它，进而在极具挑战性的CHiME-6数据集上取得了SOTA，首次让神经网络方法在真实对话场景显著超越了统治性的GSS。其核心创新在于将“利用近场信号”这一模糊想法系统化为可解的“交叉串扰抑制”任务，并端到端地在真实数据上训练。短板：整个框架严重依赖部署场景必须同时存在近场和远场麦克风，且假设最大说话人数固定，这在某些实际应用（如纯远场部署或人数极多的会议）中可能不成立，限制了其普适性。此外，论文仅在一个数据集（CHiME-6）上进行了验证，尽管它极具代表性，但缺乏多数据集的泛化性证明。 📌 核心摘要 问题：在对话语音分离任务中，训练数据常通过为每个说话者佩戴近场麦克风采集。这些近场信号能量高，是训练远场分离模型的天然监督信号，但它们含有严重的串扰噪声和环境噪音，不能直接作为伪标签。 方法核心：提出一个两阶段框架。首先，训练CTRnet，将其视为一个盲解卷积问题，直接从真实的近场/远场混合信号对中，估计出每个说话者的干净近场语音。然后，用CTRnet的估计结果作为伪标签，训练一个监督式的远场语音分离模型（PuLSS）。PuLSS在训练时创新性地使用说话者活动时间戳作为输入特征，以解决置换不变问题。 新意：与现有方法不同，该方法不依赖干净的模拟数据或假设近场信号足够干净。CTRnet和PuLSS均可直接在目标域的真实录制数据上训练，有效解决了模拟训练带来的域不匹配问题。其核心物理模型（混合约束）和引入的弱监督（时间戳）是关键。 主要结果：在极具挑战性的CHiME-6对话数据集上，PuLSS框架取得了SOTA性能。在使用微调的Parakeet ASR模型时，其tcpWER达到28.5%，显著优于所有CHiME-7/8挑战赛提交系统及基线GSS方法（33.5%）。在oracle日志下，cpWER达到19.5%，也优于GSS（29.7%）。 系统 (Diarization: Estimated) CHiME-7/8 挑战 验证集 tcpWER (%) 测试集 tcpWER (%) ESPnet baseline CHiME-7 65.7 85.2 NVIDIA NeMo CHiME-7 45.9 63.8 BUT-FIT CHiME-7 61.4 77.6 NPU CHiME-7 57.4 76.9 U. of Cambridge CHiME-7 44.5 55.4 USTC CHiME-7 35.7 44.8 IACAS-Thinkit CHiME-7 30.5 33.5 NTT CHiME-8 25.5 35.3 STCON CHiME-8 22.8 33.6 GSS (24-channel) + USTC diar. – 29.4 33.5 PuLSS + USTC diar. – 26.4 28.5 意义：为在真实对话场景（“野外”语音）中训练高性能分离模型提供了一条切实可行的路径，摆脱了对模拟数据的依赖。PuLSS是首个在真实对话数据上显著超越GSS的神经分离方法，具有里程碑意义。 ...

📄 DuplexSLA: A Full-Duplex Spoken Language Model with Synchronized Speech, Language, and Action #语音对话系统 #多模态模型 #大语言模型 #端到端 #基准测试 ✅ 7.8/10 | 前25% | #语音对话系统 | #多模态模型 | #大语言模型 #端到端 | arxiv 学术质量 5.2/7 | 影响力 1.6/2 | 可复现性 1.0/2 | 置信度 高 👥 作者与机构 第一作者：Haoyang Zhang (StepFun, Peking University, Nanyang Technological University) 通讯作者：Fei Tian (StepFun) 作者列表：Haoyang Zhang*（StepFun，北京大学，南洋理工大学），Jun Chen*（StepFun），Donghang Wu（南洋理工大学），Yuxin Li（StepFun，南洋理工大学），Yuxin Zhang（StepFun，上海交通大学），Xiangyu Tony Zhang（StepFun，新南威尔士大学），Che Liu（StepFun，帝国理工学院），Qingjian Lin（StepFun），Yizhou Peng（南洋理工大学），Hexin Liu（南洋理工大学），Eng Siong Chng（南洋理工大学），Chao Yan（StepFun），Boyong Wu（StepFun），Yechang Huang（StepFun），Xuerui Yang（StepFun），Fei Tian†（StepFun）（*表示同等贡献，†表示通讯作者） 💡 毒舌点评 亮点：论文的“双流三通道”架构设计优雅，通过引入速率受限的文本动作通道，将规划、工具调用与语音生成解耦到独立的时钟同步通道，直观地解决了全双工对话中“边说边做”的核心矛盾。同时，构建了专用的DuplexSLA-Bench基准，弥补了现有评测体系对联合评估轮次控制和在线工具调用能力的空白。短板：尽管系统设计完整，但关键的训练细节（如损失权重、硬件、解码策略）和部分超参数（如优化器、学习率）缺失，使得一个77B参数大模型的复现门槛极高。此外，所有评估均在自建的合成基准上进行，缺乏在真实世界或通用对话基准上的验证，结论的泛化性存疑。 ...

📄 Executable Boundary Contracts for Sound Event Traces #音频事件检测 #基准测试 #评测协议 #鲁棒性 #开源工具 🔥 8.5/10 | 前25% | #音频事件检测 | #基准测试 | #评测协议 #鲁棒性 | arxiv 学术质量 5.7/7 | 影响力 1.2/2 | 可复现性 1.6/2 | 置信度 高 👥 作者与机构 第一作者：Faruk Alpay（Bahcesehir University, Istanbul, Turkey 计算机工程系） 通讯作者：Faruk Alpay（alpay@bahcesehir.edu.tr） 作者列表：Faruk Alpay（Bahcesehir University, Istanbul, Turkey 计算机工程系）、Hamdi Alakkad（Bahcesehir University, Istanbul, Turkey 人工智能工程系） 💡 毒舌点评 这篇论文将“评估”这件事做得像编译器前端一样严谨，用形式化的“合约”将声音事件追踪的边界错误（如晚触发、尾泄漏、静默污染、持续时间扭曲）分门别类，直接戳中了当前声音事件检测评测中“一个F1分数掩盖所有问题”的痛点。然而，这种严谨的代价是引入了一个比许多被评估的检测器本身还要复杂的评估框架和领域特定语言，可能让习惯传统评测的研究者望而却步。其核心价值在于提供了一个可审计、可复现、可诊断的评估协议，而非提出一个新的、性能更优的检测模型。框架的复杂性与它提供的诊断粒度之间的权衡，是它能否被社区广泛采用的关键。 📌 核心摘要 解决问题：现有声音事件检测（SED）评估依赖帧F1、事件F1等标量分数，这些分数将不同的边界错误（如晚触发、尾泄漏、静默污染、持续时间扭曲、事件分块）压缩在一起，无法为下游系统提供可操作的诊断信息。 方法核心：提出“可执行边界合约”框架，这是一个领域特定的评估语言和监控系统。它包含两层：帧片段层（使用可嵌入信号时序逻辑的有界布尔片段，在帧网格上评估帧级行为）和事件层（通过声明的区间匹配规则，评估事件的持续时间、分块等形状属性）。所有评估策略被解析为可执行的公式和子句，最终输出一个“守卫向量”作为结构化诊断结果。 新颖之处：不同于提出新的检测模型或通用时序逻辑，本文将评估策略本身形式化、可执行化和透明化。它分离了帧逻辑和区间事件逻辑，引入了“义务约束评分”以避免蕴含式的空洞满足问题，并将区间匹配策略作为合约的一部分显式声明。 主要实验结果：在可控场景、MAESTRO Real真实声景、冻结编码器探测和DCASE 2024基线四个轨道上进行了测试。关键发现包括：（1）标准分数与合约坐标存在可解释的差异；（2）在MAESTRO Real上，联合活动的高分（边界F1=0.961）隐藏了类型索引上的严重边界失败（边界F1=0.304）；（3）不同的守卫坐标（如起始误差、静默守卫）会选择不同的最优检测器；（4）不同的风险配置文件（如平衡、支持率、边缘计时）会基于同一基准输出选择不同的最优检测器。 实际意义：为SED任务提供了一个更透明、可审计的评估框架，有助于诊断检测器的具体边界缺陷，指导模型改进（如针对“释放尾部”或“静默泄漏”进行优化），并为不同应用场景（如语音门控、检索分段、神经解码对齐）定制评估权重。 主要局限性：框架的复杂性和引入的领域特定语言可能成为应用门槛；评估结论依赖于声明的“风险序”和“校准集”，具有一定主观性；论文中的本地检测器（除合约感知模型外）性能有限，框架的诊断价值更多体现在对比和分析上，而非提升绝对性能；与领域内顶尖SED模型的直接对比缺失。 🔗 开源详情 代码：论文中声明“Code, generated tables, manifests, and Lean checks for the finite frame core are supplied as ancillary material.”（代码、生成的表格、清单和用于有限帧核心的 Lean 检查作为辅助材料提供），但未在正文给出具体的代码仓库URL。需通过arXiv页面链接跳转查找。 ...

📄 MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation #基准测试 #模型评估 #音视频生成 #多模态模型 #评测协议 🔥 8.1/10 | 前25% | #基准测试 | #模型评估 | #音视频生成 #多模态模型 | arxiv 学术质量 5.5/7 | 影响力 1.5/2 | 可复现性 1.1/2 | 置信度 高 👥 作者与机构 第一作者：Yujie Wei（复旦大学） 通讯作者：Hongming Shan（复旦大学），Xihui Liu（香港大学） 作者列表：Yujie Wei（复旦大学），Yujin Han（香港大学），Zhekai Chen（香港大学），Yongming Li（复旦大学），Kaixun Jiang（复旦大学），Zhihang Liu（阿里巴巴通义实验室），Quanhao Li（复旦大学），Zhiwu Qing（阿里巴巴通义实验室），Xiang Wang（阿里巴巴通义实验室），Zhen Xing（阿里巴巴通义实验室），Ruihang Chu（阿里巴巴通义实验室），Lingyi Hong（复旦大学），Yefei He（浙江大学），Junjie Zhou（阿里巴巴通义实验室），Junqiu Yu（复旦大学），Yang Shi（北京大学），Difan Zou（香港大学），Kai Zhu（阿里巴巴通义实验室），Shiwei Zhang（阿里巴巴通义实验室），Yingya Zhang（阿里巴巴通义实验室），Yu Liu（阿里巴巴通义实验室），Xihui Liu（香港大学），Hongming Shan（复旦大学） 💡 毒舌点评 这篇工作精准切入了多镜头音视频（MSAV）生成这一前沿任务的核心评估痛点——现有工具链在范围、多样性和评估流程上的全面缺失。其贡献在于首次构建了覆盖四维数据（视频、音频、镜头、参考条件）的系统基准，并设计了一套旨在提升鲁棒性的自适应混合评估框架，成果扎实。然而，其本质是为一个新兴领域制定“考试大纲”和“评分标准”，而非提出新的“解题思路”或“知识”，在推动生成模型核心架构创新上作用间接。更关键的是，整套评估体系严重依赖多个强大的商业/闭源基础模型（如GPT-5.4, Qwen3.5, Gemini）作为裁判或工具，这不仅抬高了使用门槛，更引入了难以量化和复现的系统性偏差风险，其评估的“元可靠性”值得商榷。 ...

📄 Raon-OpenTTS: Open Models and Data for Robust Text-to-Speech #语音合成 #扩散模型 #数据集 #基准测试 #开源 🔥 9.5/10 | 前25% | #语音合成 | #扩散模型 | #数据集 #基准测试 | arxiv 学术质量 5.5/7 | 影响力 2.0/2 | 可复现性 2.0/2 | 置信度 高 👥 作者与机构 第一作者：Semin Kim（首尔国立大学；KRAFTON） 通讯作者：未说明 作者列表：Semin Kim（首尔国立大学；KRAFTON），Seungjun Chung（KRAFTON），Taehong Moon（KRAFTON），Sangheon Lee（KRAFTON；韩国科学技术院），Minyoung Ahn（KRAFTON；首尔国立大学），Keon Lee（KRAFTON），Nam Soo Kim（首尔国立大学），Jaewoong Cho（KRAFTON），Ludwig Schmidt（斯坦福大学），Kangwook Lee（KRAFTON；Ludo Robotics；威斯康星大学麦迪逊分校），Dongmin Park（KRAFTON）。 💡 毒舌点评 亮点：论文在推动TTS研究开源化和可复现性方面堪称典范，提供了从数据、模型到评估基准的完整开源工具链。其构建的超大规模、多来源数据池（Raon-OpenTTS-Pool）和有效的数据过滤策略，为社区提供了宝贵的研究资源。 短板：模型架构方面毫无创新，完全沿用F5-TTS的DiT框架，核心贡献高度依赖于“数据工程”和规模效应，技术深度有限。这在一定程度上削弱了其在算法层面的贡献。 📌 核心摘要 问题：当前顶尖的TTS模型（如Qwen3-TTS， CosyVoice 3）性能卓越，但其训练数据和处理流程不公开，阻碍了研究的可复现性和系统性进步。现有开源TTS模型（如基于Emilia训练的F5-TTS、MaskGCT）与闭源SOTA模型在性能上仍有差距。 方法核心：构建了Raon-OpenTTS-Pool（615K小时英语语音数据池，整合自11个公开数据源），并通过一个基于DNSMOS、WER和语音活动比例的模型化过滤管线，从中衍生出一个510K小时的高质量子集Raon-OpenTTS-Core。基于此数据集，作者沿用F5-TTS的扩散Transformer（DiT）架构（不作修改），训练了0.3B和1B参数的模型系列Raon-OpenTTS。此外，提出了一套名为Raon-OpenTTS-Eval的结构化鲁棒性评估基准（涵盖Clean、Noisy、Wild、Expressive四种条件）。 新意：其核心新颖性在于系统性地解决开源TTS研究中的“数据”和“可复现性”瓶颈。与以往仅在单一大数据集上训练的开源模型不同，本文证明了通过精心构建、过滤的大规模多源开源数据，可以显著提升现有TTS架构的性能，并建立了完整的开源研究基础设施（数据、模型、评估）。 结果：在Seed-TTS-Eval上，Raon-OpenTTS-1B的WER为1.78%，SIM为0.749，在开源模型中分别排名第二和第一。在CV3-Hard-EN上，其WER（6.15%）和SIM（0.775）均为最佳。在自建的Raon-OpenTTS-Eval上，Raon-OpenTTS-1B在Clean、Noisy、Wild和Expressive四个条件下的平均WER和SIM均为最佳，并在人工评估中取得第二好的CMOS分数。 意义：证明了使用大规模、经过筛选的开源数据，可以训练出性能与依赖海量私有数据的SOTA模型相媲美的TTS模型，极大地促进了该领域的透明化、可复现研究。 局限：模型架构本身无创新；当前研究仅限于英语；数据过滤策略可能较为保守，未来可探索数据修正；多源数据混合策略有优化空间。 🔗 开源详情 代码：https://github.com/krafton-ai/RAON-OpenTTS 模型权重：论文明确承诺公开“训练代码和检查点”，因此模型权重可通过上述GitHub仓库获取。 数据集： 数据集名称：Raon-OpenTTS-Pool，一个包含61.5万小时英语语音的大型开放数据池，聚合自11个公开语料库和网络录制。 数据集名称：Raon-OpenTTS-Core，是从Raon-OpenTTS-Pool中筛选出的高质量子集（51万小时，1.94亿语音片段）。 获取方式：论文明确承诺公开“数据池和过滤流程”，因此数据集及其构建信息可能通过上述GitHub仓库提供。论文中未提及数据集的单独下载链接。 Demo：论文中未提及。 复现材料：论文中提到了公开的“训练代码和检查点”，因此具体的训练配置、模型检查点等信息应可通过上述GitHub仓库获取。 论文中引用的开源项目： UVR-MDX（用于音源分离）：https://github.com/Anjok07/ultimatevocalremovergui PyAnnote 3.1（用于说话人分割）：https://huggingface.co/pyannote/speaker-diarization-3.1 Silero VAD（用于语音活动检测）：https://github.com/snakers4/silero-vad Whisper-large-v3（用于自动转录）：https://huggingface.co/openai/whisper-large-v3 HiFi-GAN（用于波形合成）：https://huggingface.co/speechbrain/tts-hifigan-libritts-16kHz 🏗️ 方法概述和架构 本文的贡献是一个端到端的“数据构建-模型训练-鲁棒评估”流水线，其核心流程为：聚合多源数据 → 质量过滤 → 模型训练 → 结构化评估。 ...

📄 Executable Boundary Contracts for Sound Event Traces #音频事件检测 #基准测试 #形式化验证 #数据增强 🔥 8.4/10 | 前25% | #音频事件检测 | #基准测试 | #形式化验证 #数据增强 | arxiv 学术质量 6.8/8 | 影响力 0.7/1 | 可复现性 0.9/1 | 置信度 高 👥 作者与机构 第一作者：Faruk Alpay（Bahcesehir University, Department of Computer Engineering） 通讯作者：Hamdi Alakkad（Bahcesehir University, Department of Artificial Intelligence Engineering） 作者列表：Faruk Alpay（Bahcesehir University, Department of Computer Engineering）、Hamdi Alakkad（Bahcesehir University, Department of Artificial Intelligence Engineering） 💡 毒舌点评 本文的核心亮点在于将形式化逻辑与可执行契约的思想引入声音事件检测（SED）的评估框架，旨在提供比传统F1分数更细粒度的边界行为度量。其形式化定义和Lean验证体现了工程严谨性。然而，潜在短板在于：1）框架的复杂性（如义务掩码、两排序设计）可能使其难以被社区快速采纳；2）该框架更偏向一个元评估或诊断工具，而非能直接提升检测性能的核心算法，影响力受限；3）其评估的“契约”选择依赖于特定的校准集和风险顺序，普适性存疑。 📌 核心摘要 问题：传统的SED评估指标（如帧F1、事件F1）将边界行为压缩成单一标量，掩盖了具体的失败模式（如onset/offset位移、静音泄漏、事件碎片化等），无法满足下游系统对精确边界语义的需求。 方法核心：提出一种“可执行边界契约”框架。该框架定义了一个两排序（帧排序和事件排序）的、有限的、可解析的形式化语言，用于明确声明对声音事件迹线（trace）的边界义务。契约通过一个“监控器”进行评估，输出一个包含多个义务满足度的守卫向量（guard vector），而非单一分数。 与已有方法相比新在哪里：不同于传统指标事后计算，本方法事前声明边界策略。它引入了“义务受限评分”（obligation-restricted scoring）来避免空虚性问题，将区间匹配策略（贪婪 vs 最优）作为契约的一部分进行审计，并通过校准集和风险顺序选择最相关的契约坐标。此外，将形式化方法（包括Lean定理证明器验证核心逻辑）与音频评估紧密结合。 主要实验结果：在受控场景（Mini LibriSpeech种子）、MAESTRO Real真实声景、冻结的预训练编码器探针以及DCASE 2024 Task 4官方基线四个赛道上进行了评估。关键发现包括： 契约向量能揭示被标准分数掩盖的失败。例如，在MAESTRO Real上，联合活动（union activity）的分数很高（边界F1：0.961），但类别索引分数很低（边界F1：0.304），表明联合迹线隐藏了类型边界失败。 不同的契约坐标（如onset_guard, silence_guard, fragmentation_guard）会选择不同的“最佳”检测器，证明了评估的多维度性。 所提出的契约感知检测器（contract_tcn_aug）在受控基准上的平均边界F1为0.829，逻辑得分为0.802，显著优于传统基线（如dilated_cnn的边界F1为0.408）。 实际意义：为音频评估提供了一个更透明、可审计、可定制的元评估框架。它有助于开发者诊断模型具体弱点（如尾部泄漏、事件碎片化），并为挑战赛或下游应用（如语音门控、检索分割）提供更贴近实际需求的评估协议。 主要局限性：契约是任务相关的，其坐标集由校准集和风险顺序定义，非普适。论文承认受控场景相对简单，而真实世界的多声源、非平稳环境更具挑战性。框架的复杂性可能带来使用门槛。Lean验证覆盖有限。 🔗 开源详情 代码：论文指出代码、生成的表格、清单和有限帧核心的Lean检查作为附属材料提供，但未在正文中给出具体的GitHub或代码仓库URL。提供了详细的复现命令表（表40）。 ...

📄 GroupAffect-4: A Multimodal Dataset of Four-Person Collaborative Interaction #数据集 #多模态模型 #情感识别 #基准测试 #协作交互 #过程建模 ✅ 6.8/10 | 前50% | #数据集 | #多模态模型 | #情感识别 #基准测试 | arxiv 学术质量 5.3/8 | 影响力 0.6/1 | 可复现性 0.9/1 | 置信度 高 👥 作者与机构 第一作者：Meisam Jamshidi Seikavandi（1GN Advanced Science, GN Group, Ballerup, Denmark；2IT University of Copenhagen, brAIn lab, Copenhagen, Denmark）。根据论文脚注“These authors contributed equally.”，Meisam Jamshidi Seikavandi、Alice Modica和Anna Obara为共同第一作者。 通讯作者：未明确指定，但论文中将Meisam Jamshidi Seikavandi标注为“corresponding author”。 作者列表：Meisam Jamshidi Seikavandi, Alice Modica, Anna Obara, Shan Ahmed Shaffi, Fabricio Batista Narcizo, Tanya Ignatenko, Ted Vucurevich, Karim Haddad, Daniel Barratt, Daniel Overholt, Jesper Bünsow Boldt, Paolo Burelli, Andrew Burke Dittberner。机构涉及GN Advanced Science (GN Group), IT University of Copenhagen, Copenhagen Business School, Aalborg University。 💡 毒舌点评 这篇论文是一个扎实的“基础设施”工作。亮点在于其对数据集构建和发布的极高透明度要求：BIDS-inspired结构、Croissant元数据、详细的数据表、每会话质量报告，这为后续研究设立了一个可审计的标杆。它精准定位了多人、多模态、多层次（个体内/个体间/群体）情感分析数据集的空白，并通过精心设计的四个协作任务和同步的多传感器采集来填补。然而，短板也同样明显且根本：10组40人的样本量使得许多定义的“基准测试”在统计上形同虚设。论文中大量基准任务（特别是涉及个体间特质和群体动态的）的性能接近随机，其置信区间宽到无法得出任何稳健结论。这使得论文更像是一份“问题定义书”和“数据发布说明书”，而非一份能产出可靠科学发现的实验报告。基线模型的“失败”（如群体不平等性预测）更多暴露了数据量不足导致的过拟合，而非方法本身的缺陷。 ...

📄 MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation #基准测试 #模型评估 #音视频 #生成模型 #多模态模型 ✅ 6.5/10 | 前40% | #基准测试 | #模型评估 | #音视频 #生成模型 | arxiv 学术质量 5.5/8 | 影响力 0.5/1 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 共同第一作者：Yujie Wei（复旦大学），Yujin Han（香港大学），Zhekai Chen（香港大学），Yongming Li（复旦大学） 项目负责人：Shiwei Zhang（阿里巴巴通义实验室） 通讯作者：Hongming Shan（复旦大学），Xihui Liu（香港大学） 作者列表（按原文顺序）： Yujie Wei (1，复旦大学) Yujin Han (2*，香港大学) Zhekai Chen (2*，香港大学) Yongming Li (1*，复旦大学) Kaixun Jiang (1，复旦大学) Zhihang Liu (3，阿里巴巴通义实验室) Quanhao Li (1，复旦大学) Zhiwu Qing (3，阿里巴巴通义实验室) Xiang Wang (3，阿里巴巴通义实验室) Zhen Xing (3，阿里巴巴通义实验室) Ruihang Chu (3，阿里巴巴通义实验室) Lingyi Hong (1，复旦大学) Yefei He (4，浙江大学) Junjie Zhou (3，阿里巴巴通义实验室) Junqiu Yu (1，复旦大学) Yang Shi (5，北京大学) Difan Zou (2，香港大学) Kai Zhu (3，阿里巴巴通义实验室) Shiwei Zhang (3†，阿里巴巴通义实验室，项目负责人) Yingya Zhang (3，阿里巴巴通义实验室) Yu Liu (3，阿里巴巴通义实验室) Xihui Liu (2🖂，香港大学，通讯作者) Hongming Shan (1🖂，复旦大学，通讯作者) 💡 毒舌点评 亮点：论文精准切入“多镜头音视频（MSAV）生成”这一前沿评测空白，提出了首个综合性基准MSAVBench。其数据设计（四维度：视频、音频、镜头、参考）和评估框架（自校正、分层评分、工具增强代理）的系统性与前瞻性值得肯定，对19个模型的评估也提供了有价值的生态诊断。短板：论文的核心贡献在于构建一个评测“系统”和“报告”，而非提出新的生成模型或基础算法。其创新性更偏向工程设计和方法论集成，在追求算法理论突破的顶会中，原创性“硬度”不足。同时，对评估框架自身的深入分析（如不同VLM的影响、成本分析）略显仓促，对评测结果的解读存在过度泛化的风险。 ...

📄 OmniPro: A Comprehensive Benchmark for Omni-Proactive Streaming Video Understanding #视频理解 #基准测试 #多模态模型 #流式处理 #大语言模型 ✅ 7.3/10 | 前25% | #视频理解 | #基准测试 | #多模态模型 #流式处理 | arxiv 学术质量 6/8 | 影响力 0.8/1 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Ruixiang Zhao（中国人民大学） 通讯作者：Xirong Li（中国人民大学），Jie Yang（腾讯微信视觉） 作者列表：Ruixiang Zhao（中国人民大学）、Jie Yang（腾讯微信视觉）、Zijie Xin（中国人民大学）、Tianyi Wang（腾讯微信视觉）、Fengyun Rao（腾讯微信视觉）、Jing LYU（腾讯微信视觉）、Xirong Li（中国人民大学） 💡 毒舌点评 该工作系统性地指出了现有主动流式视频理解基准在全模态、主动性和任务多样性上的不足，并提出了一个整合性的评估框架（任务分类法、双模式协议）。其核心贡献在于定义了“好的全模态主动流式模型”的三个标准，并将它们放入统一的评估标尺中，对社区具有明确的指引价值。然而，作为一项基准测试工作，其自身价值高度依赖于数据质量与评估设计的严谨性。数据完全由单一大模型（Gemini）生成且无人工标注的多样性，这一关键决策可能引入系统性偏差，严重影响基准的长期可靠性。此外，在线评估仅涵盖三个模型，且其F1指标的具体实现细节（如开放任务由LLM裁判评分）的稳定性与公平性有待更深入的验证。 📌 核心摘要 问题：现有流式视频理解基准存在三大缺陷：主要依赖视觉信号、采用轮询或固定时间戳的被动评估方式、覆盖任务有限，无法可靠地区分和评估具备“主动”能力的全模态大模型。 方法核心：提出首个联合评估全模态感知、主动响应和多样化任务能力的基准 OmniPro。核心包括一个包含3级认知水平、9个子任务的任务分类法；一个结合密集描述、大模型生成和两轮人工审核的数据构建流程；以及一个包含Probe（评估内容理解）和Online（评估流式主动能力）的双模式评估协议。 新意：首次在统一框架下，系统性地评估模型在全模态感知（音频至关重要）、主动决策何时响应以及广泛任务理解这三方面的能力。特别强调了非语音音频的作用，并设计了支持多次响应和惩罚误触发的在线评估F1指标。 主要实验结果：评估了11个代表性模型。主要发现：(1) 音频带来一致性增益但模型利用率差异巨大（AV输入比V输入平均提升+2.4至+11.1分）；(2) 性能随触发时间推后严重衰减，模型仅能保持早期性能的37%；(3) 非语音音频感知是所有模型的共同短板。最强闭源模型（Gemini-3-Flash，Probe模式40.4%准确率）与最强开源模型（Qwen3-Omni，22.6%）存在巨大差距。 实际意义：为快速发展的全模态主动流式大模型提供了首个全面的评估标准和测试平台，明确了当前模型在长期感知、音频理解等方面的具体短板，指导未来模型研发方向。 主要局限性：所有问答和标注均为英文，限制了多语言评估；在线评估仅测试了3个模型，对流式架构能力的揭示可能不足；数据构建完全依赖单一大模型生成，可能引入分布偏差且无人工标注的多样性。 🔗 开源详情 代码：论文中承诺开源评估代码和数据生成提示模板，并在附录中提供了完整示例。项目主页为 https://ruixiangzhao.github.io/OmniPro ，但论文中未直接给出代码仓库的具体URL（如GitHub链接）。 模型权重：论文中未提及模型权重的具体下载链接。论文评估了多个开源模型（如Qwen2.5-Omni、Qwen3-Omni、video-SALMONN 2+、VideoLLaMA2.1-AV、Phi-4-multimodal、InternVL3.5、Qwen3-VL、MiniCPM-o 4.5、MMDuet2、LiveStar），但未提供OmniPro基准或评估用模型的权重链接。 数据集： 数据集名称：OmniPro 开源协议：CC BY-NC 4.0（见附录C.3） 获取链接：论文中未提及具体下载链接。项目主页可能包含数据访问方式。 数据来源：视频来自 LongVALE (CC-BY-NC-SA-4.0) 和 COIN (CC BY-NC 4.0) 数据集的测试集（见附录C.3）。 Demo：论文中未提及在线演示链接。 复现材料：论文附录提供了用于数据生成的提示词模板（Dense Captioning Prompt和各子任务的QA Generation Prompts）。评估代码承诺开源但未提供链接。未提供训练配置或检查点（因本工作不涉及模型训练）。 论文中引用的开源项目：论文中评估了多个开源模型及其各自资源，但未明确引用除评估模型外的其他特定开源项目或工具。 🏗️ 方法概述和架构 本论文是一项基准测试构建工作，其核心“方法”是定义了一个全新的评估框架和数据集，而非一个可训练的模型架构。其流程是：源视频收集 → 自动化密集描述与QA生成 → 人工质量控制 → 双模式评估协议执行。 ...