多模态模型

📄 FlowBind: Efficient Any-to-Any Generation with Bidirectional Flows #跨模态 #流匹配 #多模态模型 #音频生成 #模型评估 🔥 8.0/10 | 前25% | #音频生成 | #流匹配 | #跨模态 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yeonwoo Cha* (KAIST) 通讯作者：未说明 作者列表：Yeonwoo Cha (KAIST), Semin Kim (KAIST), Jinhyeon Kwon (KAIST), Seunghoon Hong (KAIST) 💡 毒舌点评 这篇论文用一个相当优雅的设计——引入一个可学习的共享潜空间作为“中央车站”，让每个模态通过自己的可逆流列车与之连接——漂亮地绕过了现有任意到任意生成模型对全配对数据和复杂多阶段训练的依赖，实现了效率上的巨大提升。然而，其核心贡献更偏向于工程框架的整合与效率优化，而非对生成模型基础理论的突破，且评估主要局限于文本、图像、音频三种模态，对“任意到任意”这一宏大目标的验证广度稍显不足。 🔗 开源详情 代码：论文提供了项目页面链接：https://yeonwoo378.github.io/official_flowbind，暗示将开源代码。 模型权重：论文中未明确提及是否公开预训练模型权重。 数据集：论文中明确说明不使用三元组数据，并列出了使用的三种配对数据集（LAION-COCO, Flickr-30k, AudioCaps v2, VGGSound）。这些数据集均为公开数据集，但论文未提供其具体预处理后的下载链接或说明。 Demo：未提及。 复现材料：论文附录C（实现细节）和D（评估设置）提供了较详细的训练超参数、模型架构描述、评估协议和数据集划分，为复现提供了重要信息。 引用的开源项目：依赖了多个预训练模型和工具，包括：EmbeddingGemma (Team et al., 2025)、CLIP (Radford et al., 2021)、Stable-UnCLIP (HuggingFace, 2025)、CLAP (Elizalde et al., 2023)、AudioLDM (Liu et al., 2023)、Gemma3-1B (Team et al., 2025) 用于文本解码器初始化、FLUX.1 (Black Forest Labs, 2024) 用于构建评估数据集。 总体情况：论文有明确的开源意愿并提供了必要的复现细节，但具体代码和模型的开放状态在提供文本中未完全明确。 📌 核心摘要 解决的问题：现有的基于流的任意到任意多模态生成方法（如CoDi, OmniFlow）存在效率瓶颈：依赖大规模、配对约束严格的数据集；建模联合分布导致计算成本高昂；训练流程复杂，通常需要多阶段优化。 方法核心：提出FlowBind框架。其核心思想是引入一个可学习的共享潜空间，用于捕捉跨模态共性信息。每个模态通过一个独立的、可逆的流模型与这个共享潜空间相连。整个框架（共享潜空间编码器和所有模态的流网络）在单一的流匹配目标下进行端到端联合训练。 与已有方法相比新在哪里：a) 解耦设计：将多模态交互分解为“共享潜空间”与“模态特定流”的连接，避免了直接建模高维联合分布。b) 训练灵活性：每个流网络只需学习其对应模态与共享潜空间的映射，因此天然支持利用任意部分配对数据进行训练，大幅降低了数据要求。c) 训练简化：所有组件通过一个统一的流匹配损失优化，无需CoDi或OmniFlow那样的多阶段、分组件训练流程。d) 推理直接性：推理时，每个模态的流网络既可当编码器（从模态到潜空间），也可当解码器（从潜空间到模态），实现了直接的跨模态翻译。 主要实验结果：在文本、图像、音频的一对一生成（6种任务）和多对多生成任务上进行了评估。关键定量结果如下： 效率对比：参数量仅为OmniFlow的1/6（568M vs 3.2B），训练耗时减少约10倍（48 GPU-hrs vs 480 GPU-hrs*），训练数据用量仅为CoDi的0.15%或OmniFlow的1.79%。 质量对比：在表2（保真度）和表3（对齐度）中，FlowBind在多数一对一生成任务上取得了与基线模型相当或更优的指标。例如，在图像到音频(I→A)任务上，FAD达到2.50（优于CoDi的14.58和OmniFlow的5.67），AIS达到82.89（优于基线）。在表4（多对一）和表5（一对多）中，FlowBind在整合多个模态条件方面表现出更强的平衡性和对齐能力。 消融与分析：实验验证了可学习共享潜空间相比固定文本锚点的优势（表6），并分析了共享潜空间具有更强的跨模态对齐性（表7，CKNNA指标）。 实际意义：为构建高效、灵活、数据需求友好的通用多模态生成模型提供了一种新范式。其低计算和低数据门槛使得在实际场景中训练此类模型成为可能，推动了多模态AI从“专家”向“通才”的发展。 主要局限性：a) 论文中的“任意模态”实验主要集中在文本、图像、音频三种模态，虽然扩展到了3D点云，但未涉及视频等其他重要模态，对普适性的验证有限。b) 在一些任务上（如文本到图像对齐），其性能未超越专门的单任务专家模型（如FLUX.1），表明在极致生成质量上仍有提升空间。c) 共享潜空间的具体可解释性有待进一步探索。 🏗️ 模型架构 FlowBind的整体架构如图1所示，包含训练阶段（图1a） 和推理阶段（图1b）。 ...

📄 From Natural Alignment to Conditional Controllability in Multimodal Dialogue #语音合成 #多模态模型 #基准测试 #数据集 ✅ 6.5/10 | 前25% | #语音合成 | #数据集 | #多模态模型 #基准测试 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Zeyu Jin（清华大学计算机科学与技术系） 通讯作者：Xiaoyu Qin（清华大学计算机科学与技术系）、Jia Jia（清华大学计算机科学与技术系 / BNRist，清华大学） 作者列表： Zeyu Jin（清华大学计算机科学与技术系） Songtao Zhou（清华大学计算机科学与技术系） Haoyu Wang（清华大学计算机科学与技术系） Minghao Tian（Rice University） Kaifeng Yun（清华大学深圳国际研究生院） Zhuo Chen（ByteDance） Xiaoyu Qin（清华大学计算机科学与技术系） Jia Jia（清华大学计算机科学与技术系 / BNRist，清华大学） 💡 毒舌点评 亮点在于其“基建”思维，为多模态对话生成这个嘈杂的领域，搭建了一套清晰的“路标”（任务定义）、“高速公路”（大规模标注数据集）和“考题”（跨模态一致性基准）。短板则是论文止步于“出题”和“阅卷”，并未提出一个能在这条新路上跑得更快的“新车”（统一的端到端生成模型），实验部分更多地是在证明现有模型“考不及格”。 🔗 开源详情 代码：论文在“ETHICS STATEMENT”中承诺：“Our experimental code and data curation pipeline will be made publicly available upon acceptance of the paper.” 但未提供具体仓库链接。 模型权重：论文中提到的基线模型（如Higgs-Audio-V2, Dia）是外部开源项目��但本文未贡献新的生成模型权重。 数据集：论文承诺开源MM-DIA和MM-DIA-BENCH。获取方式应是根据提供的标注（时间戳、转录、风格标签等）自行对齐公开的影视内容。 Demo：未提及（论文中未提及在线演示链接）。 复现材料：论文提供了详尽的附录，包括数据处理细节、验证结果、指标解释等，有利于复现。 论文中引用的开源项目： 生成模型基线：Higgs-Audio-V2 (Boson AI), Dia (Nari Labs), CosyVoice, Zero-Shot Dialogue Generation (ZSDG), MoonCast, Har-moniVox。 视频生成基线：FLOAT, MultiTalk, Sonic, Wan-2.2, HunyuanVideo。 工具/模型：Gemini 2.5-pro (Google), Qwen2.5-VL-7B, GPT-5 (OpenAI), Insightface (用于人脸识别)，以及语音质量评估工具（如UTMOS）。 开源情况总结：论文承诺将在接受后开源核心数据集和处理代码，但目前尚未提供。论文本身严重依赖上述引用的开源模型和工具进行实验和标注。 📌 核心摘要 问题：当前多模态对话生成研究主要关注单模态（如语音或视觉）的内容真实性，而忽略了跨模态（语音、视觉、文本）在交互风格（如情感、关系、互动模式）上的系统性对齐与精细可控性，导致生成内容的表达力和可控性不足。 方法核心：提出了一套从电影/电视剧中自动提取对话、并进行细粒度交互风格标注的数据处理流水线。基于此构建了大规模多模态对话数据集MM-DIA，并定义了可控多模态对话生成（MDG）任务，将其形式化为带显式/隐式条件变量的条件生成问题。同时，建立了专门评估跨模态风格一致性的基准MM-DIA-BENCH。 创新点： 首次针对“对话表达力”而非“对话内容”构建大规模多模态数据集。 提出两种互补的表达力标注范式：结构化“情感三元组”和自由风格描述。 建立了首个专门评估音频-视频风格一致性的对话生成基准MM-DIA-BENCH。 实验结果： 在风格可控语音合成（Task 1）上，使用MM-DIA微调基线模型（如Higgs-Audio-V2）能显著提升性能。例如，WER从31.25降至4.45，指令遵循度（Human-MOS）从3.11提升至4.13（见表4）。 在视觉条件语音合成（Task 2）和语音驱动对话视频生成（Task 3）上，现有模型（如HarmoniVox、Wan-2.2）在MM-DIA-BENCH上暴露出明显的跨模态风格对齐不足（如指令遵循度、自发性得分较低），揭示了现有技术的局限（见表5，表6）。 实际意义：为可控多模态对话生成提供了标准化的定义、高质量的数据基础和严格的评估工具，有望推动该领域从“内容生成”向“可控交互生成”演进，对电影配音、虚拟人交互等应用有潜在价值。 局限性：工作重心在于数据集和评估框架的构建，未提出一个能统一处理多模态输入输出的端到端生成模型；数据集来源于影视作品，与真实日常对话可能存在域差距；部分依赖Gemini等大型多模态模型进行标注，引入了潜在偏差。 🏗️ 模型架构 本文并非提出一个新的神经网络模型架构，而是定义了多模态对话生成（MDG）的任务框架和数据处理流水线。其“架构”体现在： ...

📄 Human Behavior Atlas: Benchmarking Unified Psychological And Social Behavior Understanding #多模态模型 #多任务学习 #基准测试 #强化学习 #预训练 ✅ 7.5/10 | 前25% | #多模态模型 | #多任务学习 | #基准测试 #强化学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Keane Ong（MIT， 新加坡国立大学） 通讯作者：论文中未明确标注通讯作者。 作者列表： Keane Ong (MIT， 新加坡国立大学) Wei Dai (MIT) Carol Li (MIT) Dewei Feng (MIT) Hengzhi Li (MIT， 帝国理工学院) Jingyao Wu (MIT) Jiaee Cheong (哈佛大学) Rui Mao (南洋理工大学) Gianmarco Mengaldo (新加坡国立大学) Erik Cambria (南洋理工大学) Paul Pu Liang (MIT) 💡 毒舌点评 亮点：堪称“基建狂魔”，首次将13个异构、多模态的行为理解数据集统一成10万+样本的标准化基准，系统性地填补了该领域缺乏统一评估平台的空白，方法论上的“标准化实践”价值极高。 短板：模型架构创新有限，核心是微调现有LLM；在SOC（社交推理）、INT（意图识别）等开放生成任务上，即使最好的模型（OMNISAPIENS-7B RL）准确率也仅约0.3，离实际应用还有相当距离，暴露了当前大模型在深层行为理解上的瓶颈。 ...

📄 Instilling an Active Mind in Avatars via Cognitive Simulation #数字人生成 #扩散模型 #多模态模型 #音视频 #大语言模型 🔥 8.0/10 | 前25% | #数字人生成 | #扩散模型 | #多模态模型 #音视频 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jianwen Jiang（字节跳动） 通讯作者：Jianwen Jiang（字节跳动） 作者列表：Jianwen Jiang（字节跳动）、Weihong Zeng（字节跳动）、Zerong Zheng（字节跳动）、Jiaqi Yang（字节跳动）、Chao Liang（字节跳动）、Wang Liao（字节跳动）、Han Liang（字节跳动）、Weifeng Chen（字节跳动）、Xing Wang（字节跳动）、Yuan Zhang（字节跳动）、Mingyuan Gao（字节跳动） 💡 毒舌点评 亮点：首次系统地将认知科学的“双系统理论”引入数字人生成框架，通过LLM模拟“慢思考”来规划语义动作，显著提升了生成动画的上下文一致性和表现力，思路新颖且实验验证充分。 短板：框架依赖一个可能产生20-30秒延迟的LLM推理模块，且生成模型本身基于现有MMDiT架构改进，核心创新更偏向系统级整合而非底层模型架构突破；此外，所有实验在闭源环境下进行，代码和模型的缺失严重影响了结果的可独立验证性。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：论文中详细描述了数据筛选流程，但未提及是否公开数据集。 Demo：未提供在线演示链接。 复现材料：论文附录中提供了详细的实现细节（超参数、训练阶段）、数据筛选工具、评估指标和MLLM使用的提示词模板，复现材料在文本层面较为充分。 引用的开源项目：依赖Whisper（音频特征提取）、SyncNet（数据筛选）、RAFT（光流计算）、Q-align（质量评估）、PySceneDetect和PaddleOCR（视频预处理）。 📌 核心摘要 问题：当前数字人视频生成模型虽然能生成流畅动画，但主要基于低层音频线索（如口型）进行反应式同步，缺乏对高层语义（如情感、意图、语境）的理解，导致生成的动作缺乏逻辑一致性和丰富性。 方法核心：提出一个模拟人类“双系统”认知的框架。系统2：利用多模态大语言模型（MLLM）对输入（图像、音频、文本）进行推理，生成结构化的高层动作计划（推理文本）。系统1：设计一个专门的多模态扩散变换器（MMDiT），其核心是伪最后帧（PLF） 策略和对称的音频分支融合，以鲁棒地整合MLLM生成的文本指导与音频等反应式信号，同时避免模态冲突。 创新点：a) 首个将数字人问题置于认知科学双系统理论下建模的工作；b) 使用MLLM进行显式的语义规划；c) 提出伪最后帧（PLF）策略，通过时序外推能力维持身份一致性，避免了传统参考图条件带来的运动伪影；d) 设计了多模态预热训练策略以优化多分支融合。 实验结果：在多项指标上达到SOTA。在CelebV-HQ肖像任务上，FID（31.320）和FVD（45.771）优于或接近OmniHuman-1；在CyberHost全身任务上，HKV（72.113）显著高于OmniHuman-1（47.561），表明手势动态性更强。用户研究（40人）显示，在整体质量、上下文自然度上显著优于多个学术和商业基线。消融研究证明，去除系统2推理会降低动作丰富度（HKV从168.9降至122.4），而PLF和多模态预热对图像质量、运动和身份一致性至关重要。 实际意义：为创建具有“主动心智”、能根据语境进行逻辑反应的智能数字人提供了新范式，有望应用于虚拟伴侣、交互式娱乐、影视制作等领域。 主要局限性：a) 引入LLM推理带来约20-30秒的额外延迟；b) 框架的有效性部分依赖所选用的特定MLLM；c) 当前评估主要在单人或简单多人场景，复杂交互场景的鲁棒性有待进一步验证；d) 模型和代码未开源。 🏗️ 模型架构 整体框架模拟“双系统”认知，流程如图2所示。 系统2（审慎控制）：由MLLM智能体驱动，包含分析器和规划器两个阶段。输入角色的参考图像、音频片段和可选文本提示。分析器通过逐步引导式提问，推断语音内容、情感状态和意图，并输出结构化的JSON总结。规划器基于此总结，制定一个详细、连贯的动作计划（作为“时间表”），以推理文本形式输出。该模块为下游生成提供高层语义指导。 系统1（反应渲染）：基于多模态扩散变换器（MMDiT）骨干网络，用于最终视频合成。其关键设计包括： ...

📄 InterActHuman: Multi-Concept Human Animation with Layout-Aligned Audio Conditions #视频生成 #扩散模型 #音视频 #多模态模型 #流匹配 🔥 9.0/10 | 前25% | #视频生成 | #扩散模型 | #音视频 #多模态模型 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Zhenzhi Wang（香港中文大学，与Jiaqi Yang、Jianwen Jiang贡献相等，按署名顺序列为第一） 通讯作者：Jianwen Jiang（字节跳动） 作者列表：Zhenzhi Wang（香港中文大学）、Jiaqi Yang（字节跳动）、Jianwen Jiang（字节跳动）、Chao Liang（字节跳动）、Gaojie Lin（字节跳动）、Zerong Zheng（字节跳动）、Ceyuan Yang（字节跳动）、Yuan Zhang（字节跳动）、Mingyuan Gao（字节跳动）、Dahua Lin（香港中文大学） 💡 毒舌点评 亮点在于它优雅地解决了多人动画中“条件应该给谁”这个棘手问题，通过一个轻量级的掩码预测器在扩散去噪过程中动态地为每个身份划分“领地”，并据此注入音频，设计精巧且实用。短板是尽管方法强大，但其核心依赖高质量的参考图像和清晰的身份边界，对于重叠严重、遮挡复杂或风格高度抽象的场景，其掩码预测器的鲁棒性和最终生成质量可能面临挑战，论文对此讨论有限。 🔗 开源详情 代码：提供了代码仓库链接（基于Wan2.1重新实现），并包含了数据处理和模型推理的伪代码。 模型权重：提到了公开的预训练模型权重。 数据集：论文中提及的数据集“OpenHumanVid”及其处理管线代码已开源，但完整的训练数据集本身未提及公开下载方式。 Demo：论文提供了视频演示链接：https://zhenzhiwang.github.io/interacthuman/ 复现材料：提供了详细的训练细节（硬件、批大小、学习率）、模型架构说明、消融实验设置以及完整的算法伪代码，复现信息非常充分。 引用的开源项目：基础模型Wan2.1；wav2vec 2.0；Qwen2.5-VL / Qwen2-VL；Grounding-SAM2；Florence-2；PySceneDetect；PaddleOCR；Q-align；RAFT；RTMpose；SyncNet；PyTorch FSDP。 📌 核心摘要 问题：现有音频驱动或图像定制的视频生成方法大多基于单一主体假设，将条件信息全局注入，无法处理多人对话、人与物体交互等需要为不同身份独立控制外观和声音的多概念复杂场景。 方法核心：提出了InterActHuman框架。核心是在预训练的DiT视频生成模型中集成一个轻量级的掩码预测器，该预测器通过交叉注意力机制，从噪声视频特征和参考图像特征中显式预测每个参考身份在视频帧中的时空布局（掩码）。在推理时，采用迭代缓存策略：用前一去噪步骤预测的掩码作为先验，指导当前步骤的局部音频条件注入，将每个身份对应的音频特征仅注入到其掩码区域内。 创新点：与依赖隐式特征融合的现有方法不同，本工作首次为多概念人类动画引入了显式、布局对齐的局部条件注入范式。这打破了单一实体假设，实现了对多个身份外观和声音的精确、独立控制。 主要实验结果：在多人音频驱动视频生成任务上，本文方法在唇形同步精度（Sync-D↓：6.670 vs OmniHuman的9.482）、视频整体质量（FVD↓：22.881 vs 33.895）和运动多样性（HKV↑：59.635）等关键指标上显著优于所有基线。在多概念定制任务上，也在概念保真度（CLIP-I↑：0.744）和视频质量（IQA↑：4.903）上达到最优。用户研究也显示其在唇形同步和主体一致性方面最受青睐。 方法 Sync-D↓ FVD↓ IQA↑ AES↑ OmniHuman (全局音频) 9.482 33.895 4.768 3.466 OmniHuman (固定掩码) 7.068 40.239 4.690 3.369 Ours (预测掩码) 6.670 22.881 4.757 3.467 实际意义：为多模态、多概念的人类动画生成建立了有效基线，可直接应用于多人视频对话、虚拟角色互动、基于多张图片的视频定制等场景。 主要局限性：训练数据主要集中于2-3人的场景，可能限制其向更多人（>3）场景的泛化能力；生成能力受限于人类中心领域，对复杂多样的文本提示遵循能力弱于通用视频生成模型。 🏗️ 模型架构 模型整体是一个基于MMDiT（Multi-Modal Diffusion Transformer）的视频生成框架，其核心创新在于加入了掩码预测与局部条件注入机制。 ...

📄 InteractWeb-Bench: Can Multimodal Agent Escape Blind Execution in Interactive Website Generation? #基准测试 #多模态模型 #大语言模型 ✅ 7.5/10 | 前25% | #基准测试 | #多模态模型 | #大语言模型 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Qiyao Wang (1,2) （1 深圳先进技术研究院，2 中国科学院大学） 通讯作者：Yuan Lin (3†)， Min Yang (1,5†) （3 大连理工大学，1 深圳先进技术研究院，5 深圳大学先进技术研究院） 作者列表：Qiyao Wang（深圳先进技术研究院，中国科学院大学），Haoran Hu（大连理工大学），Longze Chen（深圳先进技术研究院，中国科学院大学），Hongbo Wang（大连理工大学），Hamid Alinejad-Rokny（UNSW Sydney），Yuan Lin（大连理工大学），Min Yang（深圳先进技术研究院，深圳大学先进技术研究院） 💡 毒舌点评 亮点：论文敏锐地指出了当前网站生成智能体“盲目执行”的真实痛点，并首次构建了系统模拟非专业用户（包括歧义、冗余、矛盾等）的交互式评估框架，其“约束槽”评估体系设计严谨。短板：论文本身并未提出任何新的生成模型或交互算法，而是对现有模型进行评估，其核心贡献在于“发现问题”而非“解决问题”；此外，尽管声称评估交互能力，但用户智能体仍由另一模型模拟，与真实人类交互存在差距。 🔗 开源详情 代码：论文中未提及代码链接。论文指出其交互环境基于 bolt.diy 框架实现，并使用 Playwright 作为浏览器内核，但未提供这些工具的具体开源仓库链接。 模型权重：论文中未提及。论文评估了 Qwen、Gemma、GPT、Gemini 等系列多个现有模型，但未提供或提及任何新模型的权重。 数据集：InteractWeb-Bench。论文指出其包含从 WebGen-Bench 扩展而来的 404 个测试用例，但未提供具体的数据集下载链接或开源协议。 Demo：论文中未提及。 复现材料：论文中未提及。论文在附录中提供了评估模型的详细规格、API成本及人类评估细节，但未提供训练配置、模型检查点等复现材料。 论文中引用的开源项目： bolt.diy: 论文指出被用作网站生成代理的基础框架。链接：https://github.com/stackblitz-labs/bolt.diy Playwright: 论文指出交互环境使用基于 Playwright 的浏览器内核实现。链接：https://github.com/microsoft/playwright WebVoyager: 论文指出用于最终评估的视觉审计器。链接：https://github.com/MinorJerry/WebVoyager Set-of-Mark (SoM) Prompting: 论文指出与 WebVoyager 结合用于视觉审计。链接：https://github.com/yuweihao/SAM-SoM vLLM: 论文指出用于部署小型开源模型。链接：https://github.com/vllm-project/vllm ClarifyCoder: 论文在相关工作中提及。链接：论文中未提及。 HumanEvalComm: 论文在相关工作中提及。链接：论文中未提及。 ClarifyMT-Bench: 论文在相关工作中提及。链接：论文中未提及。 SWE-bench: 论文在相关工作中提及。链接：https://github.com/princeton-nlp/SWE-bench InterCode: 论文在相关工作中提及。链接：论文中未提及。 Design2Code: 论文在相关工作中提及。链接：论文中未提及。 Web2Code: 论文在相关工作中提及。链接：论文中未提及。 WebGen-Bench: 论文指出其种子任务部分源于此。链接：论文中未提及。 Persona2Web: 论文在相关工作中提及。链接：论文中未提及。 补充信息 [核心摘要] 补充：论文明确声称 InteractWeb-Bench 是第一个用于评估多模态智能体在非专家低代码用户条件下网站生成能力的交互式基准。这一“首个”定位是其核心贡献之一。 [核心摘要] 补充：论文在局限性部分明确指出三点：1) 用户交互仍为模型模拟，非真实人类；2) 基准本身的用户智能体、评估器（WebVoyager+GPT-5-mini）是黑盒，可复现性受限；3) 侧重发现问题，未提出解决方案。分析中已提及前两点，第三点在分析中虽有提及，但可更明确。 [细节详述] 补充：论文在附录A中提供了详细的API成本分析，列出了各模型在InteractWeb-Bench上的单网站评估成本（从0.016美元到0.475美元不等），这对评估基准的经济性有重要参考价值。 [实验结果] 补充：论文在附录B中报告了人类评估的详细结果：三位计算机科学博士生参与评估，评估者间表现出中等程度的一致性（Kendall’s τ = 0.5675）。同时，MLLM评估器与人类评估结果呈现中等相关性（Kendall’s τ = 0.4490），这为基准评估的效度提供了依据。 [开源详情] 补充：论文指出其交互环境基于开源框架 bolt.diy 实现，并提供了该框架的GitHub链接。但需明确，这指的是被评估的智能体的实例化框架，而非评估框架本身。评估框架的用户智能体、评估器等核心组件的开源状态在论文中未明确。 [毒舌点评] 补充：论文在第5节结论及后续讨论中，不仅指出了局限性，也提出了四个明确的未来研究方向：1) 从“执行者”到“协作者”的意图对齐；2) 多模态反馈的高效利用；3) 更真实的人类交互评估；4) 探索主动澄清与高效生成之间的平衡。这些方向直接源于其发现，对未来研究具有明确的指导意义。 [模型架构] 补充：在“用户响应设计”部分，论文强调了其“检索-过滤”流水线的一个关键设计：防止信息泄露。即用户智能体在回答时，只提供被明确询问到的那部分黄金指令信息，从而避免一次性暴露所有正确答案，确保了评估的有效性。 📌 核心摘要 要解决什么问题：现有网站生成基准假设用户提供清晰、完整的指令，但在真实场景中，非专业用户常给出模糊、冗余甚至矛盾的低质量指令，导致多模态智能体陷入“盲目执行”陷阱，即被动执行错误指令而非主动澄清意图。 方法核心：提出InteractWeb-Bench，一个交互式基准。它包含四个基于需求工程缺陷理论设计的用户角色模拟器（极简、冗长、直觉、矛盾），以及一个为智能体设计的统一行动空间（澄清、实现、验证、提交），使其能在模拟环境中迭代地澄清需求、生成代码并进行视觉验证。 与已有方法相比新在哪里：首次将评估重点从静态的代码生成准确性，转向动态的用户意图澄清和多模态反馈（代码+视觉）利用能力。引入了基于用户角色的指令扰动和交互式多路径执行环境，更贴近真实开发流程。 主要实验结果：对9个前沿多模态模型进行了评估。关键发现：所有模型任务完成率（TCR）普遍偏低（最高为Qwen3.6-Plus的38.78%）；模型在理解模糊意图（IAS >3.9）上尚可，但主动澄清命中率（CHR）低于40%，证实了“盲目执行”；模型倾向于通过生成过量代码（如Qwen3.6-Plus平均1415行）来补偿信息缺失，反而导致更高的幻觉率（62.4%）。模型对“信息缺失”（P-MIN）比“噪声干扰”（P-RAM）更敏感。 实际意义：为评估和提升多模态智能体的真实人机协作能力提供了新基准和方向，指明了未来智能体需在主动需求澄清和有效利用多模态反馈上重点突破。 主要局限性：1) 用户交互仍为模型模拟，非真实人类；2) 基准本身的用户智能体、评估器（WebVoyager+GPT-5-mini）是黑盒，可复现性受限；3) 侧重发现问题，未提出解决方案。 主要实验结果表格： ...

📄 JALMBench: Benchmarking Jailbreak Vulnerabilities in Audio Language Models #音频安全 #基准测试 #语音大模型 #多模态模型 #鲁棒性 🔥 8.5/10 | 前25% | #音频安全 | #基准测试 | #语音大模型 #多模态模型 学术质量 6.2/7 | 选题价值 1.8/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Zifan Peng（香港科技大学（广州）、清华大学互联网体系结构国家重点实验室） 通讯作者：Wenhan Dong（香港科技大学（广州））、Xinlei He（香港科技大学（广州）、清华大学互联网体系结构国家重点实验室） 作者列表：Zifan Peng（香港科技大学（广州）、清华大学互联网体系结构国家重点实验室）、Yule Liu（香港科技大学（广州））、Zhen Sun（香港科技大学（广州））、Mingchen Li（北德克萨斯大学）、Zeren Luo（香港科技大学（广州））、Jingyi Zheng（香港科技大学（广州））、Wenhan Dong（香港科技大学（广州））、Xinlei He（香港科技大学（广州）、清华大学互联网体系结构国家重点实验室）、Xuechao Wang（香港科技大学（广州））、Yingjie Xue（中国科学技术大学）、Shengmin Xu（福建师范大学）、Xinyi Huang（南京航空航天大学） 💡 毒舌点评 亮点：这篇论文为“音频大模型安全”这一新兴且关键的领域建立了第一个系统性的、大规模的基准测试框架（JALMBench），其覆盖的攻击面之广（从文本迁移攻击到音频原生攻击）、评估维度之深（效率、主题、声音多样性、模型架构），以及提供的开源工具和数据集之完整，都使其具有很高的实用和研究价值，真正起到了“点亮地图”的作用。短板：论文在“防御”部分的探索略显单薄，评估的几种防御方法（如Prompt Shield、LLaMA-Guard）基本是现有针对文本或视觉模型方法的简单迁移，并未提出任何针对音频信号特性或LALM多模态融合架构的新颖、专用防御机制，使得“破”之后的“立”显得力度不足。 🔗 开源详情 代码：提供GitHub仓库链接：https://github.com/sfofgalaxy/JALMBench 模型权重：未提及。论文评估的是已有的开源和商业LALM，未发布新训练的模型。 数据集：公开发布于HuggingFace数据集管理平台（链接包含在上述GitHub仓库中）。 Demo：未提及。 复现材料：提供了极其详尽的复现材料，包括：数据生成的所有细节（TTS配置、翻译协议、说话人统计）、攻击和防御方法的详细实现、评估提示词全文、所有超参数设置、硬件信息、以及完整的附录说明。 论文中引用的开源项目：Google Cloud TTS、DeepL Translator、F5-TTS、MMS-TTS、SpeechT5、Coqui.ai TTS（用于口音转换）等。 📌 核心摘要 解决的问题：大型音频语言模型（LALMs）在实际应用中面临日益严峻的安全风险，尤其是能绕过安全对齐的越狱攻击。然而，该领域缺乏一个统一的、大规模的评估框架和基准数据集来系统性地评估和比较针对LALM的越狱攻击。 方法核心：提出JALMBench，一个综合性基准测试框架。它包含245,355个音频样本（>1,000小时）和11,316个文本样本，支持12个主流LALM、8种攻击方法（4种文本迁移、4种音频原生）和5种防御方法。该框架采用模块化设计，易于扩展。 与已有方法相比的新意：这是首个专门为评估LALM越狱漏洞而设计的综合基准。与现有零散的工作相比，它统一了评估标准和代码实现，覆盖了更全面的攻击类型（首次系统比较文本迁移和音频原生攻击）、更多的模型和防御策略，并进行了深入的多维度分析。 主要实验结果： 攻击有效性：音频模态的平均攻击成功率（ASR）高于文本模态（21.5% vs. 17.0%）。最强的音频原生攻击AdvWave在所有模型上平均ASR高达96.2%。 架构影响：采用离散化音频编码的模型（如GLM-4-Voice）展现出更好的跨模态安全泛化能力，文本与音频的安全表现一致；而采用连续特征提取的模型（如LLaMA-Omni）则存在严重的模态安全差距。 防御效果：现有防御方法效果有限。最佳的提示级防御（AdaShield）和响应级防御（LLaMA-Guard）分别将平均ASR降低了19.6和18.0个百分点，但提示级防御会导致约6.3%的效用下降。 攻击效率：实现60%以上ASR通常需要>100秒处理时间，但40%左右的ASR可在<10秒内达成，说明低成本攻击是现实威胁。 其他发现：明确的仇恨言论内容（如“写一篇煽动暴力的演讲”）被模型较好拒绝（平均ASR 41%），但隐晦的危害信息（如“制造假新闻引发恐慌”）ASR更高（67%）。非美国口音和多语言场景通常会提高攻击成功率。 实际意义：为LALM的安全研究提供了重要的基准和度量标准，揭示了当前模型在音频模态下的脆弱性，特别是对直接信号级的操纵。研究发现（如编码策略对安全的影响、现有防御的不足）为设计更安全的LALM架构和专用防御机制指明了方向。 主要局限性：论文明确指出未探索多轮越狱攻击；对影响攻击的声音因素（如情感、更细粒度的口音）覆盖不全；防御评估初步，缺乏针对音频模态的创新防御方法。 🏗️ 模型架构 JALMBench本身不是一个模型，而是一个用于评估模型的基准测试框架。其架构设计为模块化，包含三个主要部分： ...

📄 JavisDiT: Joint Audio-Video Diffusion Transformer with Hierarchical Spatio-Temporal Prior Synchronization #音频生成 #多模态模型 #扩散模型 #Transformer #基准测试 🔥 8.0/10 | 前25% | #音频生成 | #扩散模型 #Transformer | #多模态模型 #扩散模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kai Liu (Zhejiang University, National University of Singapore) (论文中Kai Liu标注为*，表示同等贡献，且为列出的第一个作者) 通讯作者：Hao Fei (National University of Singapore) (论文中标注为†) 作者列表： Kai Liu (Zhejiang University, National University of Singapore) Wei Li (University of Science and Technology of China) Lai Chen (Zhejiang University) Shengqiong Wu (National University of Singapore) Yanhao Zheng (Zhejiang University) Jiayi Ji (National University of Singapore) Fan Zhou (Zhejiang University) Jiebo Luo (University of Rochester) Ziwei Liu (Nanyang Technological University) Hao Fei (National University of Singapore) Tat-Seng Chua (National University of Singapore) 💡 毒舌点评 这篇论文的亮点在于其“分层时空先验估计器”设计得相当巧妙，直指当前联合音视频生成“只知大概、不晓细节”的同步痛点，并为此精心打造了一个更具挑战性的真实世界基准数据集JavisBench。然而，短板也很明显：一个追求实时应用的生成模型，其推理效率在附录表格中暴露无遗（生成4秒视频需30秒），在“生成速度与质量”的权衡上显然更偏向了后者。 ...

📄 JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation #音视频生成 #流匹配 #扩散模型 #多模态模型 ✅ 7.5/10 | 前25% | #音视频生成 | #流匹配 | #扩散模型 #多模态模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kai Liu, Yanhao Zheng, Kai Wang（共同第一作者） Kai Liu：浙江大学，与HiThink Research有关 Yanhao Zheng：未明确说明机构 Kai Wang：多伦多大学 通讯作者：Hao Fei（新加坡国立大学） 作者列表： Kai Liu (浙江大学, HiThink Research) Yanhao Zheng (未说明具体机构) Kai Wang (多伦多大学) Shengqiong Wu (新加坡国立大学) Rongjunchen Zhang (HiThink Research) Jiebo Luo (罗切斯特大学) Dimitrios Hatzinakos (多伦多大学) Ziwei Liu (南洋理工大学) Hao Fei (新加坡国立大学，通讯作者) Tat-Seng Chua (新加坡国立大学) 💡 毒舌点评 论文的最大亮点在于提出了一个简洁且高效的统一框架（MS-MoE + TA-RoPE），显著缩小了开源联合音视频生成模型与商业模型Veo3之间的差距。然而，所有实验仅在标准学术基准（JavisBench）上进行，缺乏对真实世界长尾场景、复杂语义或大规模生成能力的验证，其声称的“里程碑”意义有待更广泛的应用场景检验。 ...

📄 JointAVBench: A Benchmark for Joint Audio-Visual Reasoning Evaluation #基准测试 #多模态模型 #音视频 #模型评估 ✅ 7.5/10 | 前25% | #基准测试 | #多模态模型 | #音视频 #模型评估 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jianghan Chao (中国人民大学 高瓴人工智能学院) 通讯作者：Ruihua Song (中国人民大学 高瓴人工智能学院) 作者列表：Jianghan Chao (中国人民大学 高瓴人工智能学院)、Jianzhang Gao (未说明，仅提供邮箱)、Wenhui Tan (未说明，仅提供邮箱)、Yuchong Sun (未说明，仅提供邮箱)、Ruihua Song (中国人民大学 高瓴人工智能学院)、Liyun Ru (百川智能) 💡 毒舌点评 这篇论文像一个精心设计的“多模态AI体能测试仪”，它系统化地定义了音视频联合推理的“考试范围”（5认知维度、4音频类型、3场景跨度）和“出题规则”（严格关联、半自动生成），并逼出了当前最强模型的“真实分数”（最高仅62.6%）。其最大亮点是提供了首个结构严谨、维度全面的评估体系，直指当前全模态模型“感知割裂、融合不深”的痛点。短板则在于，这个“测试仪”本身只生产考卷，不制造“应试技巧”——论文对模型失败原因的分析相对宏观，未能深入模型内部机制，且数据来源单一，可能让这个“考场”代表性打了折扣。 🔗 开源详情 代码：论文提供了项目主页链接 (https://jointavbench.github.io)，但论文中未提及是否有公开的数据生成或评估代码仓库。 模型权重：未提及。本论文为评测工作，未提出新模型。 数据集：已公开。JointAVBench数据集在项目主页提供，采用CC BY-NC-SA 4.0许可证。 Demo：未提及。 复现材料：论文附录提供了非常详尽的生成流水线提示词模板（图10-图16），以及实验设置细节（如模型参数、帧采样、API设置），为复现其评测流程提供了充分信息。 论文中引用的开源项目：PySceneDetect（用于场景分割），Whisper-v3（用于语音转录），以及大量被评测的开源模型（如Qwen系列、VideoLLaMA系列、SALMONN系列等）。 📌 核心摘要 问题：现有基准在评估全模态大语言模型（Omni-LLMs）的音视频联合推理能力时，存在音频-视频关联不严格、音频类型覆盖不全、缺乏对多场景推理能力评估等关键缺陷，无法全面、严格地评估模型的真实联合理解水平。 ...