音视频

📄 Instilling an Active Mind in Avatars via Cognitive Simulation #数字人生成 #扩散模型 #多模态模型 #音视频 #大语言模型 🔥 8.0/10 | 前25% | #数字人生成 | #扩散模型 | #多模态模型 #音视频 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jianwen Jiang（字节跳动） 通讯作者：Jianwen Jiang（字节跳动） 作者列表：Jianwen Jiang（字节跳动）、Weihong Zeng（字节跳动）、Zerong Zheng（字节跳动）、Jiaqi Yang（字节跳动）、Chao Liang（字节跳动）、Wang Liao（字节跳动）、Han Liang（字节跳动）、Weifeng Chen（字节跳动）、Xing Wang（字节跳动）、Yuan Zhang（字节跳动）、Mingyuan Gao（字节跳动） 💡 毒舌点评 亮点：首次系统地将认知科学的“双系统理论”引入数字人生成框架，通过LLM模拟“慢思考”来规划语义动作，显著提升了生成动画的上下文一致性和表现力，思路新颖且实验验证充分。 短板：框架依赖一个可能产生20-30秒延迟的LLM推理模块，且生成模型本身基于现有MMDiT架构改进，核心创新更偏向系统级整合而非底层模型架构突破；此外，所有实验在闭源环境下进行，代码和模型的缺失严重影响了结果的可独立验证性。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：论文中详细描述了数据筛选流程，但未提及是否公开数据集。 Demo：未提供在线演示链接。 复现材料：论文附录中提供了详细的实现细节（超参数、训练阶段）、数据筛选工具、评估指标和MLLM使用的提示词模板，复现材料在文本层面较为充分。 引用的开源项目：依赖Whisper（音频特征提取）、SyncNet（数据筛选）、RAFT（光流计算）、Q-align（质量评估）、PySceneDetect和PaddleOCR（视频预处理）。 📌 核心摘要 问题：当前数字人视频生成模型虽然能生成流畅动画，但主要基于低层音频线索（如口型）进行反应式同步，缺乏对高层语义（如情感、意图、语境）的理解，导致生成的动作缺乏逻辑一致性和丰富性。 方法核心：提出一个模拟人类“双系统”认知的框架。系统2：利用多模态大语言模型（MLLM）对输入（图像、音频、文本）进行推理，生成结构化的高层动作计划（推理文本）。系统1：设计一个专门的多模态扩散变换器（MMDiT），其核心是伪最后帧（PLF） 策略和对称的音频分支融合，以鲁棒地整合MLLM生成的文本指导与音频等反应式信号，同时避免模态冲突。 创新点：a) 首个将数字人问题置于认知科学双系统理论下建模的工作；b) 使用MLLM进行显式的语义规划；c) 提出伪最后帧（PLF）策略，通过时序外推能力维持身份一致性，避免了传统参考图条件带来的运动伪影；d) 设计了多模态预热训练策略以优化多分支融合。 实验结果：在多项指标上达到SOTA。在CelebV-HQ肖像任务上，FID（31.320）和FVD（45.771）优于或接近OmniHuman-1；在CyberHost全身任务上，HKV（72.113）显著高于OmniHuman-1（47.561），表明手势动态性更强。用户研究（40人）显示，在整体质量、上下文自然度上显著优于多个学术和商业基线。消融研究证明，去除系统2推理会降低动作丰富度（HKV从168.9降至122.4），而PLF和多模态预热对图像质量、运动和身份一致性至关重要。 实际意义：为创建具有“主动心智”、能根据语境进行逻辑反应的智能数字人提供了新范式，有望应用于虚拟伴侣、交互式娱乐、影视制作等领域。 主要局限性：a) 引入LLM推理带来约20-30秒的额外延迟；b) 框架的有效性部分依赖所选用的特定MLLM；c) 当前评估主要在单人或简单多人场景，复杂交互场景的鲁棒性有待进一步验证；d) 模型和代码未开源。 🏗️ 模型架构 整体框架模拟“双系统”认知，流程如图2所示。 系统2（审慎控制）：由MLLM智能体驱动，包含分析器和规划器两个阶段。输入角色的参考图像、音频片段和可选文本提示。分析器通过逐步引导式提问，推断语音内容、情感状态和意图，并输出结构化的JSON总结。规划器基于此总结，制定一个详细、连贯的动作计划（作为“时间表”），以推理文本形式输出。该模块为下游生成提供高层语义指导。 系统1（反应渲染）：基于多模态扩散变换器（MMDiT）骨干网络，用于最终视频合成。其关键设计包括： ...

📄 InterActHuman: Multi-Concept Human Animation with Layout-Aligned Audio Conditions #视频生成 #扩散模型 #音视频 #多模态模型 #流匹配 🔥 9.0/10 | 前25% | #视频生成 | #扩散模型 | #音视频 #多模态模型 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Zhenzhi Wang（香港中文大学，与Jiaqi Yang、Jianwen Jiang贡献相等，按署名顺序列为第一） 通讯作者：Jianwen Jiang（字节跳动） 作者列表：Zhenzhi Wang（香港中文大学）、Jiaqi Yang（字节跳动）、Jianwen Jiang（字节跳动）、Chao Liang（字节跳动）、Gaojie Lin（字节跳动）、Zerong Zheng（字节跳动）、Ceyuan Yang（字节跳动）、Yuan Zhang（字节跳动）、Mingyuan Gao（字节跳动）、Dahua Lin（香港中文大学） 💡 毒舌点评 亮点在于它优雅地解决了多人动画中“条件应该给谁”这个棘手问题，通过一个轻量级的掩码预测器在扩散去噪过程中动态地为每个身份划分“领地”，并据此注入音频，设计精巧且实用。短板是尽管方法强大，但其核心依赖高质量的参考图像和清晰的身份边界，对于重叠严重、遮挡复杂或风格高度抽象的场景，其掩码预测器的鲁棒性和最终生成质量可能面临挑战，论文对此讨论有限。 🔗 开源详情 代码：提供了代码仓库链接（基于Wan2.1重新实现），并包含了数据处理和模型推理的伪代码。 模型权重：提到了公开的预训练模型权重。 数据集：论文中提及的数据集“OpenHumanVid”及其处理管线代码已开源，但完整的训练数据集本身未提及公开下载方式。 Demo：论文提供了视频演示链接：https://zhenzhiwang.github.io/interacthuman/ 复现材料：提供了详细的训练细节（硬件、批大小、学习率）、模型架构说明、消融实验设置以及完整的算法伪代码，复现信息非常充分。 引用的开源项目：基础模型Wan2.1；wav2vec 2.0；Qwen2.5-VL / Qwen2-VL；Grounding-SAM2；Florence-2；PySceneDetect；PaddleOCR；Q-align；RAFT；RTMpose；SyncNet；PyTorch FSDP。 📌 核心摘要 问题：现有音频驱动或图像定制的视频生成方法大多基于单一主体假设，将条件信息全局注入，无法处理多人对话、人与物体交互等需要为不同身份独立控制外观和声音的多概念复杂场景。 方法核心：提出了InterActHuman框架。核心是在预训练的DiT视频生成模型中集成一个轻量级的掩码预测器，该预测器通过交叉注意力机制，从噪声视频特征和参考图像特征中显式预测每个参考身份在视频帧中的时空布局（掩码）。在推理时，采用迭代缓存策略：用前一去噪步骤预测的掩码作为先验，指导当前步骤的局部音频条件注入，将每个身份对应的音频特征仅注入到其掩码区域内。 创新点：与依赖隐式特征融合的现有方法不同，本工作首次为多概念人类动画引入了显式、布局对齐的局部条件注入范式。这打破了单一实体假设，实现了对多个身份外观和声音的精确、独立控制。 主要实验结果：在多人音频驱动视频生成任务上，本文方法在唇形同步精度（Sync-D↓：6.670 vs OmniHuman的9.482）、视频整体质量（FVD↓：22.881 vs 33.895）和运动多样性（HKV↑：59.635）等关键指标上显著优于所有基线。在多概念定制任务上，也在概念保真度（CLIP-I↑：0.744）和视频质量（IQA↑：4.903）上达到最优。用户研究也显示其在唇形同步和主体一致性方面最受青睐。 方法 Sync-D↓ FVD↓ IQA↑ AES↑ OmniHuman (全局音频) 9.482 33.895 4.768 3.466 OmniHuman (固定掩码) 7.068 40.239 4.690 3.369 Ours (预测掩码) 6.670 22.881 4.757 3.467 实际意义：为多模态、多概念的人类动画生成建立了有效基线，可直接应用于多人视频对话、虚拟角色互动、基于多张图片的视频定制等场景。 主要局限性：训练数据主要集中于2-3人的场景，可能限制其向更多人（>3）场景的泛化能力；生成能力受限于人类中心领域，对复杂多样的文本提示遵循能力弱于通用视频生成模型。 🏗️ 模型架构 模型整体是一个基于MMDiT（Multi-Modal Diffusion Transformer）的视频生成框架，其核心创新在于加入了掩码预测与局部条件注入机制。 ...

📄 JointAVBench: A Benchmark for Joint Audio-Visual Reasoning Evaluation #基准测试 #多模态模型 #音视频 #模型评估 ✅ 7.5/10 | 前25% | #基准测试 | #多模态模型 | #音视频 #模型评估 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jianghan Chao (中国人民大学 高瓴人工智能学院) 通讯作者：Ruihua Song (中国人民大学 高瓴人工智能学院) 作者列表：Jianghan Chao (中国人民大学 高瓴人工智能学院)、Jianzhang Gao (未说明，仅提供邮箱)、Wenhui Tan (未说明，仅提供邮箱)、Yuchong Sun (未说明，仅提供邮箱)、Ruihua Song (中国人民大学 高瓴人工智能学院)、Liyun Ru (百川智能) 💡 毒舌点评 这篇论文像一个精心设计的“多模态AI体能测试仪”，它系统化地定义了音视频联合推理的“考试范围”（5认知维度、4音频类型、3场景跨度）和“出题规则”（严格关联、半自动生成），并逼出了当前最强模型的“真实分数”（最高仅62.6%）。其最大亮点是提供了首个结构严谨、维度全面的评估体系，直指当前全模态模型“感知割裂、融合不深”的痛点。短板则在于，这个“测试仪”本身只生产考卷，不制造“应试技巧”——论文对模型失败原因的分析相对宏观，未能深入模型内部机制，且数据来源单一，可能让这个“考场”代表性打了折扣。 🔗 开源详情 代码：论文提供了项目主页链接 (https://jointavbench.github.io)，但论文中未提及是否有公开的数据生成或评估代码仓库。 模型权重：未提及。本论文为评测工作，未提出新模型。 数据集：已公开。JointAVBench数据集在项目主页提供，采用CC BY-NC-SA 4.0许可证。 Demo：未提及。 复现材料：论文附录提供了非常详尽的生成流水线提示词模板（图10-图16），以及实验设置细节（如模型参数、帧采样、API设置），为复现其评测流程提供了充分信息。 论文中引用的开源项目：PySceneDetect（用于场景分割），Whisper-v3（用于语音转录），以及大量被评测的开源模型（如Qwen系列、VideoLLaMA系列、SALMONN系列等）。 📌 核心摘要 问题：现有基准在评估全模态大语言模型（Omni-LLMs）的音视频联合推理能力时，存在音频-视频关联不严格、音频类型覆盖不全、缺乏对多场景推理能力评估等关键缺陷，无法全面、严格地评估模型的真实联合理解水平。 ...

📄 OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs #基准测试 #模型评估 #多模态模型 #音频问答 #音视频 ✅ 7.8/10 | 前25% | #基准测试 | #模型评估 | #多模态模型 #音频问答 学术质量 6.3/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Caorui Li (南京大学, 东南大学) 通讯作者：Jiaheng Liu (南京大学) 作者列表：Caorui Li (南京大学, 东南大学), Yu Chen (南京大学, 东南大学), Yiyan Ji (南京大学), Jin Xu (阿里巴巴集团), Zhenyu Cui (东南大学), Shihao Li (南京大学), Yuanxing Zhang (快手科技), Zhenghao Song (M-A-P), Dingling Zhang (南京大学), Ying He (北京科技大学), Haoxiang Liu (北京科技大学), Yuxuan Wang (阿里巴巴集团), Qiufeng Wang (东南大学), Jiafu Tang (南京大学), Zhenhe Wu (M-A-P), Jiehui Luo (中央音乐学院), Zhiyu Pan (南京大学), Weihao Xie (华中科技大学), Chenchen Zhang (M-A-P), Zhaohui Wang (南京大学), Jiayi Tian (阿里巴巴集团), Yanghai Wang (南京大学), Zhe Cao (南京大学), Minxin Dai (南京大学), Ke Wang (M-A-P), Runzhe Wen (南京大学), Yinghao Ma (伦敦玛丽女王大学), Yaning Pan (复旦大学), Sungkyun Chang (伦敦玛丽女王大学), Termeh Taheri (伦敦玛丽女王大学), Haiwen Xia (北京大学), Christos Plachouras (伦敦玛丽女王大学), Emmanouil Benetos (伦敦玛丽女王大学), Yizhi Li (曼彻斯特大学), Ge Zhang (M-A-P), Jian Yang (M-A-P), Tianhao Peng (M-A-P), Zili Wang (M-A-P), Minghao Liu (2077AI), Junran Peng (北京科技大学), Zhaoxiang Zhang (中国科学院), Jiaheng Liu (南京大学)。 💡 毒舌点评 这篇论文的亮点在于其极其严谨和“反作弊”的基准设计理念（如强调音视频必须协同、设计原子推理链、多阶段质量过滤），为评估“真·多模态推理”设立了高标准。然而，短板在于其本质是一个“裁判”而非“运动员”——它精准地指出了当前模型的短板（音乐理解差、长视频融合弱），但并未提出任何解决这些问题的新模型或新方法，创新性停留在了评估体系的设计层面。 ...

📄 OmniVinci: Enhancing Architecture and Data for Omni-Modal Understanding LLM #多模态模型 #音视频 #大语言模型 #对比学习 #音频问答 🔥 8.0/10 | 前25% | #音频问答 | #多模态模型 | #音视频 #大语言模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Hanrong Ye（NVIDIA） 通讯作者：Hongxu Yin (§†∗)， Pavlo Molchanov (§) （§ Equal Advisory, † Corresponding Authors， 均在NVIDIA） 作者列表：Hanrong Ye（NVIDIA）， Chao-Han Huck Yang（NVIDIA）， Arushi Goel（NVIDIA）， Wei Huang（NVIDIA）， Ligeng Zhu（NVIDIA）， Yuanhang Su（NVIDIA）， Sean Lin（NVIDIA）， An-Chieh Cheng（NVIDIA）， Zhen Wan（NVIDIA）， Jinchuan Tian（NVIDIA）， Yuming Lou（NVIDIA）， Dong Yang（NVIDIA）， Zhijian Liu（NVIDIA）， Yukang Chen（NVIDIA）， Ambrish Dantrey（NVIDIA）， Ehsan Jahangiri（NVIDIA）， Sreyan Ghosh（NVIDIA）， Daguang Xu（NVIDIA）， Ehsan Hosseini-Asl（NVIDIA）， Danial Mohseni Taheri（NVIDIA）， Vidya Murali（NVIDIA）， Sifei Liu（NVIDIA）， Yao Lu（NVIDIA）， Oluwatobi Olabiyi（NVIDIA）， Yu-Chiang Frank Wang（未说明）， Rafael Valle（NVIDIA）， Bryan Catanzaro（NVIDIA）， Andrew Tao（NVIDIA）， Song Han（NVIDIA）， Jan Kautz（NVIDIA）， Hongxu Yin§†∗（NVIDIA）， Pavlo Molchanov§（NVIDIA）。所有作者均隶属于NVIDIA。 💡 毒舌点评 这篇论文的亮点在于其对“全模态对齐”问题的系统性工程化拆解：提出的三个模块（OmniAlignNet, TEG, CRTE）在消融实验中表现出清晰的递进效果，且“隐式+显式”数据合成策略为解决稀缺全模态数据提供了一个可复用的思路。短板则在于，作为一篇声称“开源”的旗舰工作，其论文中对模型具体参数、训练超参数（如学习率、优化器设置）、以及核心代码仓库的链接均未明确给出，极大地影响了其声称的可复现性承诺。 ...

📄 Pay Attention to CTC: Fast and Robust Pseudo-Labelling for Unified Speech Recognition #语音识别 #音视频 #自回归模型 #低资源 #预训练 🔥 8.5/10 | 前25% | #语音识别 | #自回归模型 | #音视频 #低资源 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Alexandros Haliassos（NatWest AI Research & Imperial College London） 通讯作者：未明确说明 作者列表：Alexandros Haliassos（NatWest AI Research & Imperial College London），Rodrigo Mira（NatWest AI Research），Stavros Petridis（NatWest AI Research & Imperial College London） 💡 毒舌点评 这篇论文把CTC这个“老实人”的稳健和注意力“艺术家”的表达力在伪标签阶段强行撮合，用“老师傅带路”的方式训练学生，既省了计算又抗了噪，想法相当机灵。但可惜的是，这种“撮合”在分布外场景下也暴露了局限性，当CTC预测本身出错时，错误的传导依然存在，且论文对更极端的分布偏移（如完全不同的语言或方言）验证不足。 ...

📄 SpeakerVid-5M: A Large-Scale High-Quality Dataset for Audio-Visual Dyadic Interactive Human Generation #数据集 #自回归模型 #音视频 #多模态模型 ✅ 7.5/10 | 前25% | #数据集 | #自回归模型 | #音视频 #多模态模型 学术质量 5.5/7 | 选题价值 1.8/2 | 复现加成 0.7 | 置信度 高 👥 作者与机构 第一作者：Youliang Zhang（清华大学，邮箱：zhangyou24@mails.tsinghua.edu.cn） 通讯作者：Duomin Wang (wangduomin@gmail.com), Xiu Li (li.xiu@sz.tsinghua.edu.cn) （论文中标注了†和‡，通常表示通讯作者） 作者列表： Youliang Zhang（清华大学） Zhaoyang Li（StepFun） Duomin Wang†（StepFun） Jiahe Zhang（未说明） Deyu Zhou（StepFun；香港科技大学（广州）） Zixin Yin（StepFun；香港科技大学） Xili Dai（StepFun；香港科技大学） Gang Yu（StepFun） Xiu Li‡（清华大学（深圳）） 💡 毒舌点评 本文最大的亮点在于其填补了“音频-视觉双人交互虚拟人生成”这一关键任务的数据空白，以工业级的系统性和透明度构建了一个规模（520万片段）和质量（1080P+）俱佳的专用数据集，为后续研究铺平了道路。然而，其短板在于“新瓶装旧酒”感略强——基线模型采用的自回归+扩散架构并非全新，且在绝对视频生成质量上并未超越更庞大的级联扩散模型（如Hallo3），其主要优势更多体现在端到端带来的推理速度与情感保持上。 ...

📄 Syncphony: Synchronized Audio-to-Video Generation with Diffusion Transformers #音频生成 #视频生成 #扩散模型 #Transformer #音视频 ✅ 7.5/10 | 前25% | #音频生成 | #扩散模型 | #视频生成 #Transformer 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jibin Song（延世大学人工智能系， CineLingo） 通讯作者：未说明（论文未明确指定通讯作者，根据邮箱格式推测 Youngjung Uh 为资深作者） 作者列表：Jibin Song（延世大学人工智能系， CineLingo）、Mingi Kwon（延世大学人工智能系， CineLingo）、Jaeseok Jeong（延世大学人工智能系， CineLingo）、Youngjung Uh（延世大学人工智能系， CineLingo） 💡 毒舌点评 本文的亮点在于巧妙地解决了音频驱动视频生成中“精细同步”这一核心难题，其提出的 Motion-aware Loss 和 Audio Sync Guidance 机制设计简洁、逻辑清晰，实验设计（特别是新指标 CycleSync）有力地支撑了其主张。然而，短板在于其应用场景目前仍聚焦于非语音声音驱动的通用视觉运动，在需要高度语义理解的复杂场景（如音乐视频、对口型）中的泛化能力未被充分验证，且“Motion-aware Loss”并未显式区分音频相关运动与背景运动，鲁棒性存疑。 🔗 开源详情 代码：论文中未提及具体代码链接，但承诺“will release our code”。 模型权重：论文中未提及具体权重链接，但承诺“will release… trained models”。 数据集：使用的AVSync15和TheGreatestHits是公开数据集，论文中提供了获取说明。 Demo：论文提供了一个项目页面链接 (https://jibin86.github.io/syncphony_project_page)，但未明确说明是否有在线Demo。 复现材料：论文提供了非常详细的补充材料，包括架构细节（D节）、损失函数说明（A节）、训练策略（I节）、超参数、消融实验设置、用户研究细节等，复现信息较为充分。 论文中引用的开源项目：Pyramid Flow（视频骨干）、DenseAV（音频编码器）、CLIP/T5（文本编码器）、V-AURA（用于CycleSync的V2A模型）、librosa（用于峰值检测）。 📌 核心摘要 问题：现有音频到视频（A2V）生成模型由于间接的条件注入机制或有限的时间建模能力，难以实现音频与视频运动之间精细的时间同步。 方法核心：提出 Syncphony，一个基于预训练视频骨干（DiT架构）的 A2V 生成框架。其核心包括两个新组件：(1) Motion-aware Loss，通过在训练中赋予高运动区域更高的损失权重，强化模型对关键动作时机的学习；(2) Audio Sync Guidance，在推理时，通过一个禁用了音频层的“Off-sync模型”与完整模型进行引导插值，增强音频信号对运动的影响，同时保持视觉质量。 创新：直接将音频特征通过交叉注意力注入视觉生成过程；在时间维度上使用 Audio RoPE 注入精确的相对位置信息；提出首个面向高帧率视频的、基于重建的同步评估指标 CycleSync。 主要实验：在 AVSync15 和 The Greatest Hits 数据集上，Syncphony 在同步准确性（CycleSync 指标）和视觉质量（FID/FVD）上均优于现有方法。例如，在 TheGreatestHits 数据集上，CycleSync 分数达到 16.18±1.26，接近甚至超过真实视频的 15.99±1.5。 实际意义：为生成高质量、音画精确同步的视频内容（如自动配乐动画、虚拟主播、多媒体创作）提供了有效技术路径。 主要局限性：Motion-aware Loss 的加权基于真实运动幅度，并未显式过滤与音频无关的运动（如相机移动、背景晃动）；模型在非语音声音场景下验证，对语音或更复杂语义场景的泛化能力未展示；CycleSync 指标依赖于外部 V2A 模型的质量，可能存在偏差。 🏗️ 模型架构 Syncphony 基于一个预训练的自回归扩散 Transformer（DiT）视频骨干（Pyramid Flow）。整体流程如下： ...

📄 Tell me Habibi, is it Real or Fake? #音频深度伪造检测 #数据集 #多语言 #语音克隆 #音视频 🔥 8.0/10 | 前25% | #音频深度伪造检测 | #数据集 | #多语言 #语音克隆 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kartik Kuckreja (MBZUAI) 通讯作者：未说明 作者列表：Kartik Kuckreja (MBZUAI), Parul Gupta (Monash University), Injy Hamed (MBZUAI), Thamar Solorio (MBZUAI), Muhammad Haris Khan (MBZUAI), Abhinav Dhall (Monash University) 💡 毒舌点评 这篇论文精准地抓住了现有深度伪造检测数据集在多语言（尤其是阿拉伯语-英语语码转换）场景下的巨大空白，并提供了一个规模空前的数据集（387k视频），填补了这一重要缺口。然而，其数据生成管道高度依赖多个前沿但复杂的TTS/唇同步模型组合以及GPT-4的文本编辑，虽然保证了多样性，但也使得“伪造”样本的生成过程本身成为一个“黑盒”集成，其质量的上限和下限都极大程度地受限于这些商业/开源模型的能力，而非论文提出的统一框架。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及。 数据集：论文明确表示将公开数据集，并提供了获取所需的EULA表单（图7）。访问需通过机构IRB批准和签署EULA。 Demo：未提及在线演示。 复现材料：论文提供了数据生成管道的详细描述、关键工具（Whisper-v2, GPT-4.1-mini, XTTS-v2, OpenVoice-v2, Fairseq, Diff2Lip, LatentSync）以及评估脚本的开源承诺。附录中提供了详细的文本操作提示（图6）、数据分布、扰动列表和身份重叠分析等复现相关信息。 论文中引用的开源项目：Whisper, wav2vec 2.0, XTTS-v2, OpenVoice-v2, Fairseq, Diff2Lip, LatentSync, XLSR-Mamba, Jais-3B, Qwen2.5等。 📌 核心摘要 问题：现有的深度伪造检测研究主要针对单语内容，忽略了全球普遍存在的多语言，特别是阿拉伯语-英语语码转换（CSW）场景下的检测挑战。 方法核心：提出了ArEnAV，首个大规模阿拉伯-英语音视频深度伪造数据集，并设计了一个三阶段数据生成流程：利用GPT-4.1-mini进行受控的文本（语码转换）操纵，使用4种TTS和2种唇同步模型组合生成伪造的音频和视频。 创新点：数据集首次系统性地包含了句内语码转换、方言变体和纯阿拉伯语内容；生成流程专门针对阿拉伯语-英语混合内容设计；提供了多维度的基准测试，包括与现有单语/多语言数据集的对比、SOTA模型评估及用户研究。 主要实验结果： 数据集对比：ArEnAV是目前最大的多语言音视频深度伪造数据集（387k视频，765小时），远超PolyGlotFake（15k）和Illusion（1.37M但非重点CSW）。伪造片段更长，检测更难。 检测性能：现有SOTA模型（如BA-TFD+）在ArEnAV上性能大幅下降。在测试集上，BA-TFD+（AV-1M预训练）的AP@0.5仅为3.74，而微调后AUC可达79.97%。 跨数据集泛化：在DFDC, FF++, CelebDF上表现良好的模型（如Face-X-Ray, LipForensics），在ArEnAV上AUC接近随机猜测（~50%）。 用户研究：人类参与者的检测准确率仅为60.00%，定位精度（AP@0.5）仅0.79，证明该任务极具挑战性。85%的失败案例发生在语码转换中的英语单词部分。 实际意义：为构建更具鲁棒性、能应对真实世界多语言语码转换场景的深度伪造检测模型提供了关键资源和基准，推动了该领域向全球化、多样化方向发展。 主要局限性：生成管道复杂，依赖外部模型（Whisper, GPT-4, TTS，唇同步模型），其质量和特性直接影响数据集质量；“含义+翻译”模式下，LLM有时未能充分改变语义；数据集目前仅限于阿拉伯语和英语。 🏗️ 模型架构 本文的主要贡献是数据集而非一个新的检测模型架构。论文的核心是ArEnAV数据生成管道，其架构如图1所示： 整个流程分为三个主要阶段： ...

📄 WorldSense: Evaluating Real-world Omnimodal Understanding for Multimodal LLMs #基准测试 #多模态模型 #音视频 #模型评估 #模型比较 🔥 8.5/10 | 前25% | #基准测试 | #多模态模型 | #音视频 #模型评估 学术质量 6.0/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jack Hong（小红书） 通讯作者：Shilin Yan（小红书） 作者列表：Jack Hong（小红书）、Shilin Yan†（小红书）、Jiayin Cai（小红书）、Xiaolong Jiang（小红书）、Yao Hu（小红书）、Weidi Xie‡（上海交通大学） 💡 毒舌点评 这篇论文的价值在于它像一盆冷水，明确指出了当前多模态大模型在“听懂并看懂真实世界”这件事上还差得很远（最佳开源模型约25%，最强商用模型仅65.1%），而音频模态是普遍短板。不过，其评估形式局限于多选题，可能无法完全评估模型生成式理解和复杂推理的真实水平。 🔗 开源详情 代码：论文提供了项目主页链接（https://jaaackhongggg.github.io/WorldSense），但未明确提及评估代码或数据处理脚本的开源仓库。 模型权重：未提及。本文为评估基准，未提出新模型。 数据集：已公开。WorldSense数据集可通过项目主页获取，采用CC BY-NC-SA 4.0许可证。 Demo：论文中未提及在线演示。 复现材料：论文提供了详细的评估提示词模板（附录A.4）、标注协议描述（3.3节和附录A.2）以及模型评估设置说明（4.1节和附录A.3），为复现评估结果提供了充分信息。 论文中引用的开源项目：主要引用了作为数据源的FineVideo和MusicAVQA数据集，以及用于数据质量控制的Qwen2-VL、VideoLLaMA2和OneLLM等模型。 论文中未提及开源计划：评估代码、质量控制自动化脚本。 📌 核心摘要 问题：现有针对多模态大语言模型的评估基准大多忽略音频模态，或仅处理弱耦合的音视频信息，无法全面评估模型在真实世界中同时理解和推理视觉与听觉信息的能力。 方法核心：提出了WorldSense，首个专注于评估多模态视频理解中音视频模态强耦合能力的基准。该基准包含1,662个音视频同步视频，设计了3,172个多选问答对，覆盖8大领域、67个子类和26种任务。 新在哪里：与已有基准相比，WorldSense的创新在于：(i) 强调音视频模态的强耦合性，回答问题必须同时依赖两者；(ii) 覆盖真实世界多样化场景和音频类型（语音、环境声、音乐）；(iii) 采用高质量人工标注和严格的多重质量控制流程。 主要实验结果：实验评估了多种主流多模态模型。结果显示，最佳开源多模态视频模型准确率仅为54.0%（Qwen3-Omni），而多数开源音视频模型表现接近随机猜测（约25%）。最强商用模型Gemini 2.5 Pro准确率也仅为65.1%。消融实验表明，加入原始音频相比仅用字幕能带来更大性能提升。 实际意义：该基准为评估和推动多模态模型向更鲁棒、更接近人类的真实世界理解能力发展提供了重要平台，并揭示了当前模型在音频理解、跨模态融合和复杂推理方面的关键不足。 主要局限性：基准采用多选题形式，在一定程度上限制了对模型生成式能力和开放性推理的评估；此外，尽管覆盖广泛，但视频和问题的分布可能仍无法完全代表所有真实世界场景。 🏗️ 模型架构 本文的核心贡献是提出了一个评估基准（Benchmark），而非一个新的模型。因此，其“架构”指的是基准的设计框架。该框架主要由两部分构成：数据构建流水线和评估范式。 ...