多模态模型

📄 Beyond Face Swapping: A Diffusion-Based Digital Human Benchmark for Multimodal Deepfake Detection #音频深度伪造检测 #多模态模型 #基准测试 #扩散模型 #数据集 🔥 8.1/10 | 前25% | #音频深度伪造检测 | #多模态模型 | #基准测试 #扩散模型 学术质量 6.0/7 | 选题价值 1.8/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：未说明（论文标注Jiaxin Liu†和Jia Wang†贡献相等，未明确谁为第一） 通讯作者：Saihui Hou⋆， Zhaofeng He⋆ 作者列表：Jiaxin Liu（北京邮电大学，BUPT）、Jia Wang（北京师范大学，BNU）、Saihui Hou（未说明具体机构，可能来自BUPT或BNU）、Min Ren（滴滴出行，Didi Chuxing）、Huijia Wu（滴滴出行，Didi Chuxing）、Long Ma（未说明）、Renwang Pei（未说明）、Zhaofeng He（未说明具体机构，可能来自BUPT或BNU） 💡 毒舌点评 亮点在于构建了第一个专门为评估“扩散模型驱动的数字人”伪造而设计的大规模多模态数据集（DigiFakeAV），数据生成流程严谨，有效暴露了现有检测器的脆弱性，为领域提供了急需的试金石。短板则是提出的检测方法DigiShield虽然有效，但更像一个验证多模态融合有效性的“基线”而非一个具有颠覆性的新架构，且其在DigiFakeAV上80.1%的AUC也说明“道高一尺，魔高一丈”，真正的安全挑战远未解决。 🔗 开源详情 代码：论文中提及项目主页 https://hubeiwuhanliu.github.io/DigiFakeAV.github.io/，但未明确是否提供代码仓库链接。 模型权重：未提及是否公开DigiShield或其他模型的权重。 数据集：通过项目主页 https://hubeiwuhanliu.github.io/DigiFakeAV.github.io/ 提供获取信息，表明将开源。 Demo：未提及在线演示。 复现材料：给出了部分实现细节（如预处理、骨干网络ResNet-50、采样30帧、数据增强），但缺乏关键训练超参数（优化器、学习率等），复现材料不完整。 论文中引用的开源项目：引用了多个作为数据生成和对比的方法/模型，如Sonic [8], Hallo [5], EchoMimic [4], CosyVoice 2 [16], 以及基线检测器如Meso4 [19], Xception [2]等。 📌 核心摘要 要解决什么问题：现有深度伪造检测数据集和技术主要针对过时的面交换方法，无法有效评估和应对由扩散模型生成的、具有高度真实性和多模态一致性的新一代数字人伪造，导致现有检测器性能在现实威胁面前大幅下降。 ...

📄 Beyond Isolated Utterances: Cue-Guided Interaction for Context-Dependent Conversational Multimodal Understanding #多模态模型 #讽刺检测 #对话理解 #跨模态 ✅ 7.5/10 | 前25% | #多模态模型 | #多模态模型 | #讽刺检测 #对话理解 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Zhaoyan Pan（浙江大学） 通讯作者：Wei Zhang（浙江大学） 作者列表：Zhaoyan Pan（浙江大学），Hengyang Zhou（南京大学），Xiangdong Li（浙江大学），Yuning Wang（浙江大学），Ye Lou（浙江大学），Jiatong Pan（浙江大学），Ji Zhou（浙江大学），Wei Zhang（浙江大学） 💡 毒舌点评 论文的核心亮点在于将模糊的“上下文如何影响当前话语”这一问题，显式地提炼为一个“解释性线索”，并以此引导后续的多模态推理，这种三阶段解耦设计思路清晰且有一定启发性。然而，其短板也相当明显：代码未开源，使得这个强调“结构与引导”的精巧设计难以被直接复用和验证；另外，尽管在讽刺数据集上表现亮眼，但在更通用的CMU-MOSEI/MOSI数据集上，其优势相对有限，说明其对复杂对话依赖的建模普适性有待更多考察。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开模型权重。 数据集：使用了公开的基准数据集（MUStARD, MUStARD++, CMU-MOSEI/MOSI, UR-FUNNY）。论文中未提及对数据集本身进行修改或创建新数据集。 Demo：未提及。 复现材料：附录A（Implementation Details）和附录B（Cross-Dataset Experiment）提供了相当详细的实现细节，包括特征提取方式、输入构造过程、优化器设置、具体超参数值（学习率、Dropout率、隐藏维度、各编码器层数、λ_gate值等），以及跨数据集实验的设置。这些信息对于理解模型和进行复现有重要帮助。 论文中引用的开源项目：论文依赖的开源项目/工具包括：ALBERT（用于文本编码）、COVAREP（用于声学特征提取）、OpenFace 2.0（用于视觉特征提取）。 📌 核心摘要 要解决什么问题：现有的多模态对话理解方法通常将上下文与当前话语混合编码或融合，难以显式捕捉和利用“上下文如何具体约束或改变当前话语的解释”这一关键依赖关系，导致模型在处理依赖上下文语义反转的任务（如讽刺检测）时性能受限。 方法核心是什么：提出CUCI-Net，一个三阶段线索引导框架。首先，在编码阶段保持上下文与话语的结构分离，并学习文本锚定的关联表征来引导声学/视觉编码。其次，构建一个包含全局上下文证据和局部模态成对线索的“解释性线索”。最后，将该线索作为条件信号注入多模态交互层，引导最终的上下文条件推理。 与已有方法相比新在哪里：不同于以往通过隐式编码、图传播或对比学习来增强上下文感知的方法，CUCI-Net首次将“上下文-话语依赖”显式抽象为一个紧凑的“解释性线索”，并将其作为独立模块直接介入并指导后续的多模态推理过程，实现了从“被动编码上下文”到“主动利用线索引导推理”的转变。 主要实验结果如何：在MUStARD和MUStARD++两个主流对话讽刺检测基准上，CUCI-Net在整体集和特定子集（讽刺/非讽刺样本）上的F1分数均优于所有对比基线。例如，在MUStARD++的隐式情感标签预测任务中，CUCI-Net的整体F1为28.50%，比次优的MFMB-Net高出4.53个百分点。消融实验证实了三个阶段设计的有效性。在更通用的CMU-MOSEI/MOSI情感分析任务上也展示了竞争力。 实际意义是什么：该工作为对话级多模态理解提供了一个新的建模范式，即通过显式建模和利用上下文依赖线索来提升模型在复杂语用场景下的推理准确性和可解释性，对提升人机对话系统的情商和语境理解能力有参考价值。 主要局限性是什么：1）模型架构相对复杂，涉及双分支、双专家、多阶段构建，计算开销可能较高；2）虽然在特定讽刺检测任务上效果显著，但在更广泛的对话理解任务上的泛化能力需进一步验证；3）论文未开源代码，限制了研究的可复现性和后续跟进。 🏗️ 模型架构 CUCI-Net是一个三阶段、多分支的框架，旨在显式建模并利用上下文-话语依赖来引导多模态推理。 ...

📄 Bimodal Fusion Framework for Dynamic Facial Expression Recognition In-The-Wild #语音情感识别 #多模态模型 #跨模态 #音视频 #预训练 ✅ 7.0/10 | 前25% | #语音情感识别 | #多模态模型 | #跨模态 #音视频 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Bohui Yang（东南大学计算机科学与工程学院） 通讯作者：Chunfeng Yang（东南大学计算机科学与工程学院）， Wentao Xiang（南京医科大学生物医学工程与信息学院） 作者列表：Bohui Yang（东南大学计算机科学与工程学院）， Luo Lilin（未说明具体单位，仅在作者列表中）， Xiaojia Wang（未说明具体单位，仅在作者列表中）， Chunfeng Yang（东南大学计算机科学与工程学院）， Wentao Xiang（南京医科大学生物医学工程与信息学院） 💡 毒舌点评 这篇论文的框架设计精巧，将视觉Transformer的参数高效微调（PEFT）思想成功移植到音频-视觉双模态动态表情识别任务中，三个模块（MSA、BFA、CMTM）分工明确，消融实验设计得当，有力支撑了其有效性。然而，其核心创新——在预训练模型中插入适配器（Adapter）进行轻量微调——并非全新概念，论文在探索更深层或更具解释性的跨模态交互机制上着墨不多，主要贡献是工程上的有效整合与验证。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开的预训练或微调后模型权重。 数据集：提供了DFEW和MAFW数据集的官方主页链接，表明数据集是公开可获取的。 Demo：未提及。 复现材料：论文给出了主要的训练设置（优化器、调度器、轮数、采样率），但缺少超参数的具体数值（如学习率、批次大小、适配器维度）和训练硬件信息。 引用的开源项目：论文中引用的预训练模型（MAE-Face [18]， MAE-AST [19]）本身是开源的项目。 📌 核心摘要 该论文针对野外动态表情识别（DFER）中单模态方法难以捕捉跨模态关联的问题，提出了一个名为BFF-DFER的双模态融合框架。该框架的核心思想是利用预训练的音视频Transformer模型作为骨干网络，冻结其大部分参数，仅通过训练三个轻量级模块来实现高效适配：1) 模态特定适配（MSA）用于增强单模态特征；2) 双模态融合适配器（BFA）用于融合跨模态特征；3) 跨模态时序建模（CMTM）用于建模时间动态。与先前单模态微调或直接融合的方法相比，本工作强调在保持预训练模型完整性的前提下，设计专门的模块来显式建模模态内与时序/跨模态关系。在DFEW和MAFW两个大规模野外基准数据集上，BFF-DFER取得了具有竞争力的性能（DFEW: 67.52% UAR, 78.28% WAR; MAFW: 44.46% UAR, 58.41% WAR），超越了多数现有方法。消融实验证实了各模块的贡献，可视化显示其学习的特征具有更好的类内紧凑性和类间可分性。该工作展示了在资源受限条件下，通过参数高效方法整合多模态预训练知识的有效路径。其主要局限性可能在于框架的复杂性（多个适配器模块）以及未探讨更极端的数据或计算受限场景。 ...

📄 Bone-Conduction Guided Multimodal Speech Enhancement with Conditional Diffusion Models #语音增强 #扩散模型 #骨传导 #多模态模型 ✅ 7.5/10 | 前25% | #语音增强 | #扩散模型 | #骨传导 #多模态模型 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Sina Khanagha（汉堡大学信号处理组） 通讯作者：未说明 作者列表：Sina Khanagha（汉堡大学信号处理组）、Bunlong Lay（汉堡大学信号处理组）、Timo Gerkmann（汉堡大学信号处理组） 💡 毒舌点评 本文的亮点在于将扩散模型这一强大的生成范式引入骨传导引导的多模态语音增强任务，并通过设计精巧的条件注入策略（IC/DC），在极低信噪比下实现了显著的性能飞跃（例如在-10dB SNR下POLQA提升超过1分）。然而，其核心短板在于扩散模型固有的多步迭代采样带来的推理速度瓶颈（论文仅简要提及需要数十步，未量化延迟），这使其在助听器、实时通信等需要低延迟的应用场景中面临严峻挑战，论文对此缺乏深入探讨和解决方案。 🔗 开源详情 代码：提供了GitHub代码仓库链接：https://github.com/sp-uhh/bcdm 模型权重：论文中未提及是否公开预训练模型权重。 数据集：使用了公开数据集ABCS（用于骨传导与空气传导语音）和CHiME3（用于噪声）。论文未说明其是否有独家数据。 Demo：论文中未提及在线演示。 复现材料：提供了详尽的训练细节（数据集划分、预处理、优化器、学习率、Batch Size、EMA设置）、模型架构描述（包括IC/DC两种策略的细节）以及关键超参数（如σ范围、扩散步数）。未提供详细的训练脚本或配置文件。 论文中引用的开源项目：依赖NCSN++作为主干网络，并引用了其代码。条件编码器部分参考了BigGAN的残差块。 📌 核心摘要 问题：传统单通道语音增强模型在极端噪声环境（低信噪比）下性能严重下降。虽然骨传导信号（通过颅骨振动采集）对声学噪声免疫，但其带宽有限、清晰度差，如何有效融合这两种互补模态是一个挑战。 方法核心：提出了骨传导条件扩散模型（BCDM），一个基于复数域条件扩散模型的多模态语音增强框架。模型将干净语音作为生成目标，以带噪的空气传导语音为条件引导扩散过程，并创新性地引入骨传导信号作为额外条件。论文比较了两种将骨传导信号注入主网络的条件化策略：输入拼接（IC） 和 解码器条件化（DC）。 创新点：首次将条件扩散模型框架应用于骨传导引导的语音增强；提出了IC和DC两种有效的跨模态条件注入方法；在广泛的声学条件（SNR从-10dB到15dB）下进行了全面实验验证。 实验结果：在ABCS+CHiME3数据集上，所有BCDM变体在所有SNR条件下均优于基线模型（包括单模态扩散模型SGMSE+和多种多模态预测模型）。例如，在极具挑战性的-10dB SNR下，BCDM-DC-L的POLQA分数为2.37±0.45，而最强基线BiNet为2.35±0.40，SGMSE+仅为1.30±0.35。关键对比数据见下表。 模型 SNR=-10dB POLQA SNR=-10dB PESQ SNR=-10dB ESTOI SNR=5dB POLQA SNR=15dB POLQA Noisy Mixture 1.09 1.08 0.21 1.55 2.42 SGMSE+ 1.30 1.15 0.36 2.83 3.55 BiNet 2.35 1.80 0.63 2.62 2.78 BCDM-IC-S 2.36 1.86 0.75 3.00 3.53 BCDM-DC-L 2.44 2.02 0.76 3.20 3.70 实际意义：为助听器、可穿戴通信设备等在极端嘈杂环境下（如工厂、战场）保持清晰语音通信提供了新的技术路径，证明了多模态生成模型的潜力。 ...

📄 Brainprint-Modulated Target Speaker Extraction #语音分离 #语音增强 #多任务学习 #多模态模型 #鲁棒性 🔥 8.0/10 | 前25% | #语音分离 | #多任务学习 | #语音增强 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Qiushi Han（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院） 通讯作者：Liya Huang（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院） 作者列表： Qiushi Han（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院）（†共同第一作者） Yuan Liao（香港中文大学（深圳）人工智能与数据科学学院 & 研究生院）（†共同第一作者） Youhao Si（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院） Liya Huang（南京邮电大学电子与光学工程学院 & 柔性电子（未来技术）学院）（⋆通讯作者） 💡 毒舌点评 本文最大的亮点在于“脑印调制”这一概念的提出，巧妙地将通常被视为噪声的个体EEG差异转化为可用的生物特征信号来指导音频分离，思路新颖且实验验证充分。不过，论文的短板在于对“个性化”的论证稍显单一，主要依赖于SID和AAD任务的监督，缺乏对脑印嵌入空间本身可解释性、跨会话稳定性以及在真实助听器设备上实时性、功耗等方面的深入讨论，使得这项工作的工程化前景存在不确定性。 🔗 开源详情 代码：论文中提供了GitHub代码仓库链接：https://github.com/rosshan-orz/BM-TSE。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：评估使用的是公开的KUL和Cocktail Party数据集，论文中提供了数据集的引用。 Demo：论文中未提及在线演示。 复现材料：论文在“实现细节”部分提供了较为详细的训练配置（优化器、学习率、调度器、Batch Size、轮数、硬件），并建议参考GitHub仓库获取更多细节。 论文中引用的开源项目：论文在方法部分引用了TasNet [15]和Sandglasset [16]作为其音频编码和分离网络的基础组件。 📌 核心摘要 要解决的问题：当前基于脑电图（EEG）的目标说话人提取（TSE）系统面临两个核心挑战：EEG信号的非平稳性导致跨会话性能不稳定，以及显著的个体间差异限制了通用模型的泛化能力。 方法核心：本文提出了脑印调制目标说话人提取（BM-TSE）框架。该框架首先使用一个带有自适应频谱增益（ASG）模块的时空EEG编码器，从非平稳信号中提取稳定特征。其核心是一个“个性化脑印调制”机制：通过联合优化说话人识别（SID）和听觉注意解码（AAD）任务，学习一个统一的“脑图”嵌入（brainmap embedding），该嵌入同时编码用户的静态身份和动态注意状态，并用它主动调制和优化音频分离过程，实现个性化输出。 与已有方法相比新在哪里：传统TSE方法通常将EEG中的身份特异性信息视为需要抑制的统计噪声。BM-TSE则创新地利用这些“脑印”信息，将其作为个性化的调制信号，直接作用于语音分离网络，从“被动解码注意力”转向“主动利用身份特征进行定制化增强”。 主要实验结果：在KUL和Cocktail Party两个公开数据集上的实验表明，BM-TSE在语音质量（SI-SDR）和可懂度（STOI, ESTOI）上均达到了当前最优（SOTA）。例如，在Cocktail Party数据集上，BM-TSE的SI-SDR为14.02 dB，优于之前的SOTA方法MSFNet（12.89 dB）。消融研究证实了LS-TConv、ASG、SConv模块以及LSID损失的关键作用。 实际意义：该研究为开发新一代真正个性化、高保真的神经调制助听设备提供了有力的技术路径，证明了将用户独特的神经特征融入核心音频处理管线的巨大潜力。 主要局限性：论文未深入探讨该框架在真实实时助听器设备上的计算复杂度、功耗及延迟；对于脑印嵌入在更长时间跨度（如数月或数年）下的稳定性验证不足；此外，实验数据集均为健康被试在实验室环境下录制，模型在听力损失患者及真实嘈杂场景中的泛化能力有待进一步验证。 🏗️ 模型架构 BM-TSE是一个端到端的多模态（EEG+音频）系统，整体架构如图1所示。 ...

📄 CaMoD: Causal-Aware Modality Denoising for Multimodal Dialogue Intent Recognition #多模态对话意图识别 #因果推理 #多模态模型 #音频事件检测 #鲁棒性 ✅ 7.5/10 | 前25% | #多模态对话意图识别 | #因果推理 | #多模态模型 #音频事件检测 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Jinlong Zhang（北京航空航天大学计算机科学与工程学院） 通讯作者：Bo Li（北京航空航天大学计算机科学与工程学院），Xudong Liu（北京航空航天大学计算机科学与工程学院） 作者列表：Jinlong Zhang（北京航空航天大学计算机科学与工程学院），Bo Li（北京航空航天大学计算机科学与工程学院），Xudong Liu（北京航空航天大学计算机科学与工程学院） 💡 毒舌点评 亮点：将“不是所有模态都可信”这一朴素认知，包装成了一套严谨的因果路由与反事实学习框架，解决了多模态融合中“盲目融合”的真实痛点，逻辑自洽且实验完整。 短板：创新本质是现有技术（MoE门控、反事实增强）在特定任务上的精巧组合，缺乏底层理论或架构上的突破；且实验仅限于一个数据集，对极端噪声或模态缺失的鲁棒性验证不足。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开预训练或训练好的模型权重。 数据集：使用公开的MIntRec数据集，论文中给出了标准划分比例。 Demo：未提及。 复现材料：提供了部分训练细节（优化器、学习率、Batch Size、训练轮数），但关键超参数（如共享维度H）、代码实现和完整配置缺失。 引用的开源项目：论文依赖并引用了BERT、Swin-Transformer、Wav2Vec 2.0、AdamW等开源模型和优化器。 开源计划：论文中未提及任何开源计划。 📌 核心摘要 要解决的问题：现有方法在多模态对话意图识别中，盲目融合所有模态（文本、视频、音频）信息，忽略了模态本身可能存在的噪声或与意图无关的情况，导致模型对噪声敏感且泛化能力差。 方法核心：提出CaMoD框架，其核心是一个动态因果路由机制。该机制通过两个门控函数评估视频和音频模态对意图的“因果影响”，将所有可能的模态组合（如纯文本、文本+视频等）视为专家路径，并动态选择最相关的路径进行融合，从而抑制噪声模态。 与已有方法相比新在哪里：a) 引入因果评估：不再平等对待所有模态，而是显式建模每个模态的因果贡献。b) 动态路径选择：借鉴MoE思想，实现细粒度、可解释的模态级去噪。c) 配套的训练框架：设计了包括因果一致性损失、多样性正则化器和反事实样本生成策略的多目标训练方法，在没有真实因果标签的情况下有效训练路由模块。 主要实验结果：在MIntRec基准数据集上，CaMoD在所有指标上超越现有最强基线。例如，准确率（ACC）达到74.83%，比最强基线SDIF-DA（73.90%）高出0.93%；加权F1值（WF1）为74.91%，提升0.98%。消融实验证明，移除因果路由（CRM）、一致性损失（CCL）、多样性正则化（CDR）或反事实生成策略（CSGS）均会导致性能显著下降（ACC下降1.27%至2.36%不等），验证了各组件的必要性。 实际意义：提升了多模态对话系统在真实噪声环境（如嘈杂语音、无关背景画面）下的鲁棒性和可靠性，同时其路由决策提供了一定的可解释性，有助于理解模型融合决策的依据。 主要局限性：a) 实验仅在单一数据集MIntRec上进行，缺乏在更多样、更具挑战性场景（如模态严重缺失、噪声强度动态变化）下的验证。b) 训练策略较为复杂，多个损失项的权重（如λ1=0.3, λ2=0.7）需要精细调优，论文未提供超参数敏感性分析。c) 推理时采用argmax硬选择一条路径，可能损失部分不确定性信息，且训练时的加权求和与推理时的硬选择存在差异。 🏗️ 模型架构 ![CaMoD整体框架图](https://ieeexplore.ieee.org/secondary/xpl/global/similarpaper.jsp?tp=&arnumber=11462418&ref= 注：此处应为论文中“pdf-image-page3-idx0”对应的架构图URL。由于提供的文本中仅有图片标识“pdf-image-page3-idx0”而无具体URL，根据规则，此处无法插入图片，仅用文字描述。 ...

📄 Can Hierarchical Cross-Modal Fusion Predict Human Perception of AI Dubbed Content? #模型评估 #多模态模型 #音频分类 #音视频 ✅ 6.0/10 | 前25% | #模型评估 | #多模态模型 | #音频分类 #音视频 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文作者列表中未明确标注顺序） 通讯作者：未说明 作者列表：Ashwini Dasare（Sony Research India）、Nirmesh Shah（Sony Research India，邮箱已提供）、Ashishkumar Gudmalwar（Sony Research India，邮箱已提供）、Pankaj Wasnik（Sony Research India，邮箱已提供） 💡 毒舌点评 亮点：论文提出的“代理MOS+主动学习”框架，巧妙地将多种客观指标融合成弱监督标签，为解决昂贵的人工标注瓶颈提供了一个实用且可扩展的工程化方案。短板：其核心的“层级多模态融合”架构本质上是几种成熟模块（预训练编码器、LoRA、注意力门控、Transformer）的拼装，创新深度有限；且所有实验仅基于Hindi-English双向配音的特定数据集，结论的普适性有待验证。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开的模型权重。 数据集：实验使用了公开数据集MELD和M2H2，但论文中未提供其定制化配音数据（12k片段）的获取方式。 Demo：未提供在线演示。 复现材料：提供了模型架构描述、超参数设置（LoRA rank, learning rate, batch size等）和训练流程概述，但缺乏完整的配置文件、检查点或详细的实验代码。 引用的开源项目：论文引用了多个作为编码器基础的预训练模型（TimeSformer, Wav2Vec2.0, ECAPA-TDNN, Emo2Vec, Sentence-BERT, LoRA），以及用于生成数据的Gemini-9B, F5-TTS等，但未明确说明是否计划开源其贡献的部分。 📌 核心摘要 要解决的问题：评估AI配音质量高度依赖昂贵且难以规模化的人工评分（MOS），现有的单一维度客观指标无法全面反映人类的整体感知。 方法核心：提出一种层级化多模态融合架构，分别提取音频（说话人、韵律、情感）、视频（全局上下文、面部表情）和文本（语义）的特征，并通过模态内融合和跨模态融合层进行整合，最终预测一个综合的“配音分数”（DubScore）。为解决训练数据不足，设计了一个两阶段训练流程：先使用由多个客观指标加权聚合而成的“代理MOS”进行弱监督预训练（权重通过主动学习优化），再用少量人工MOS数据进行微调。 新意：新意在于将主动学习应用于优化代理MOS的权重，并将该弱监督策略与参数高效（LoRA）的多模态层级融合网络相结合，形成一个从弱监督到强监督的完整训练pipeline。 主要实验结果：在12k Hindi-English配音片段上训练后，最终模型预测的DubScore与人工MOS的皮尔逊相关系数（PCC）达到0.76，斯皮尔曼秩相关系数（SRCC）为0.77。消融实验表明，全模态（A+V+T）性能显著优于单模态或双模态；主动学习策略在权重学习上全面优于随机采样；“代理MOS+微调”的组合效果最佳（PCC从0.68提升到0.76）。关键实验数据见表2、表4、表5。 实际意义：提供了一种可扩展的AI配音质量自动化评估方案，可用于指导配音系统优化、内容批量质检，降低对人工评估的依赖。 主要局限性：1）模型和评估完全依赖于预训练特征提取器的质量；2）实验数据集规模（12k）和语言对（仅Hindi-English）有限，未在更多语言、更复杂的配音场景中验证；3）缺乏与最新配音评估方法（如基于LLM的评估）的直接对比；4）开源性不足，难以复现和扩展。 🏗️ 模型架构 论文提出的架构如图1所示，其核心思想是模拟人类对配音质量的多层次感知过程，采用“先模态内融合，再跨模态融合”的层级设计。 ...

📄 Caption and Audio-Guided Video Representation Learning with Gated Attention for Partially Relevant Video Retrieval #视频检索 #多模态模型 #注意力机制 #视觉语言模型 #对比学习 ✅ 7.0/10 | 前25% | #视频检索 | #多模态模型 | #注意力机制 #视觉语言模型 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Dan Jiang（湖南大学计算机科学与电子工程学院） 通讯作者：Bin Jiang（湖南大学计算机科学与电子工程学院，标注可能为通讯作者） 作者列表：Dan Jiang（湖南大学计算机科学与电子工程学院），Bin Jiang*（湖南大学计算机科学与电子工程学院），Chao Yang（湖南大学计算机科学与电子工程学院），Jianbo Zheng（湖南大学计算机科学与电子工程学院） 💡 毒舌点评 论文的亮点在于将视觉大语言模型（VLLM）生成的帧级字幕作为一种“语义高亮”工具，并与音频信号一起，通过一个精心设计的门控融合模块整合进视频表示学习，思路清晰且有效。短板在于，其核心创新——利用现成VLLM生成字幕作为辅助模态——更像是一种巧妙的工程应用，而非根本性的方法论突破，且在音频模态的利用上相对浅层，未能深入挖掘其时序动态特性。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/LexingtonJd/CAVIGATE 模型权重：论文中未提及是否公开预训练模型权重。 数据集：使用的是公开数据集（ActivityNet Captions, TVR），未提供自制数据集。 Demo：未提及在线演示。 复现材料：论文给出了主要超参数（推理时的α, β）、使用的VLLM（BLIP）和硬件信息（NVIDIA 4070 Ti Super），但未提供完整的训练脚本、配置文件或检查点。 引用的开源项目：主要依赖的开源工具/模型包括：CLIP, Wav2Vec2, BLIP（作为VLLM），以及相关的基线方法代码（如GMMFormer等）。 📌 核心摘要 问题：部分相关视频检索（PRVR）中，长视频包含大量冗余的视觉和听觉语义，而只有与查询相关的显著子集决定了相关性。现有方法平等对待所有视觉内容，且忽略音频线索，导致视频表示冗余且不全面。 核心方法：提出了CAVIGATE框架，包含两个对称分支：视频-字幕（VC）分支和视频-音频（VA）分支。每个分支通过一个模态门控融合（MGF）Transformer，利用可学习的门控函数动态调节字幕或音频特征对视频帧特征的贡献，以突出显著视觉语义并融合互补音频信息，同时抑制噪声。此外，引入了一种衰减的查询多样化损失，防止同一视频的不同查询在嵌入空间中过度聚集。 新意：首次将VLLM生成的帧级描述性字幕作为指导信号，显式地用于突出视频帧中的显著语义；设计了MGF模块自适应融合多模态信息；提出的衰减查询损失旨在缓解语义坍塌，鼓励模型捕获时序演变的语义。 实验结果：在ActivityNet Captions和TVR两个基准测试上，CAVIGATE在大多数指标上达到了当时的最先进水平。例如，使用CLIP-ViT-B/32骨干网络时，在ActivityNet Captions上取得了R@1=15.0， SumR=184.5；在TVR上取得了R@1=26.4， SumR=231.2，显著超越了AMDNet等基线方法。消融实验验证了每个组件（VC/VA分支、MGF、查询损失）的有效性。 实际意义：为从长、无剪辑视频中进行精准文本检索提供了更鲁棒的视频表示学习方案，可应用于视频内容理解、视频数据库搜索等场景。 主要局限性：方法的性能部分依赖于VLLM（如BLIP）生成字幕的质量，引入了额外的计算开销；对音频的利用相对直接（Wav2Vec2编码+简单融合），未充分探索更复杂的音视频交互建模。 🏗️ 模型架构 CAVIGATE是一个双分支（VC和VA）的多模态视频表示学习框架，整体流程如图2左所示。 ...

📄 CASTELLA: Long Audio Dataset with Captions and Temporal Boundaries #音频检索 #多模态模型 #预训练 #迁移学习 #数据集 🔥 8.5/10 | 前25% | #音频检索 | #迁移学习 | #多模态模型 #预训练 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Hokuto Munakata（LY Corporation） 通讯作者：未说明（论文中通讯作者符号*对应作者列表第二位Takehiro Imamura，但未明确其通讯作者身份） 作者列表：Hokuto Munakata（LY Corporation）、Takehiro Imamura（名古屋大学）、Taichi Nishimura（LY Corporation）、Tatsuya Komatsu（LY Corporation） 💡 毒舌点评 本文最大的贡献是为音频时刻检索任务“修桥铺路”，用一个规模空前（相比前作大24倍）且质量可控的真实世界数据集，终结了该任务依赖合成数据或极小测试集的尴尬历史，让后续研究得以立足于可靠地基之上。然而，它也清晰地揭示了一个残酷现实：即便有了优质数据，当前模型在检索短时刻（<10秒）时依然表现糟糕，这恐怕是未来比数据规模更难啃的骨头。 🔗 开源详情 代码：论文未直接提供代码仓库链接，但承诺“Upon paper acceptance, we will provide the recipe for this experiment”，并提及实验基于开源库 Lighthouse。因此，复现所需的训练脚本、配置文件等预计将在论文接收后开源。 模型权重：未提及公开预训练或微调后的模型权重。 数据集：是，CASTELLA数据集已公开。获取地址：https://h-munakata.github.io/CASTELLA-demo/。 Demo：是，提供了数据集的在线演示页面（同上链接）。 复现材料：提供了实验的超参数设置（优化器、学习率、批大小）、使用的特征提取器（MS-CLAP）、以及训练框架（Lighthouse）。 论文中引用的开源项目： 特征提取器：MS-CLAP [14] (https://github.com/LAION-AI/CLAP) 实验框架：Lighthouse [30] (https://github.com/taichi-m108/lighthouse) DETR网络：引用了QD-DETR [24], Moment-DETR [25], UVCOM [26] 的原始论文。 优化器：AdamW [29]。 📌 核心摘要 要解决什么问题：音频时刻检索（AMR）任务长期缺乏大规模、真实世界的人工标注基准数据集，导致现有模型性能评估不可靠，且训练严重依赖合成数据。 方法核心是什么：构建了CASTELLA数据集。它包含1862个1-5分钟的YouTube音频，每个音频配有全局摘要描述、多个局部关键事件描述及其精确的起止时间边界。同时，基于该数据集，采用预训练音频-文本模型（CLAP）结合检测Transformer（DETR）架构建立了基线模型。 与已有方法相比新在哪里：CASTELLA是首个满足AMR任务三大核心需求（长音频、自由格式描述、时间边界）的大规模真实世界数据集。其标注规模（约1.9k音频）是此前人工标注数据集（UnAV-100子集）的24倍以上。此外，论文首次系统验证了“在合成数据上预训练，再在真实数据集上微调”的两阶段训练策略的有效性。 主要实验结果如何：实验证明，使用CASTELLA进行微调能显著提升性能。仅在合成数据集（Clotho-Moment）上训练的模型Recall1@0.7为5.8；仅在CASTELLA上训练为9.7；而在合成数据预训练后于CASTELLA微调的模型达到16.2，提升10.4点。不同架构对比中，UVCOM模型表现最优（Recall1@0.7: 20.3）。实验还发现，模型对短时刻（<10秒）的检索能力明显较弱（见图3）。 索引 DETR网络 训练数据 R1@0.5 R1@0.7 mAP@0.5 mAP@0.75 mAP@avg. 1 QD-DETR Clotho-Moment 10.3 5.8 9.9 4.7 5.3 2 - CASTELLA 19.8 9.7 17.6 5.9 7.7 3 - 两者 30.6 16.2 26.5 12.2 13.7 4 Moment-DETR 两者 19.3 10.8 17.2 7.0 8.2 5 UVCOM 两者 31.7 20.3 28.4 15.2 15.9 实际意义是什么：为音频理解领域，特别是音频时刻检索任务，提供了一个可靠的评估基准和训练资源，推动了该任务从合成数据走向真实应用。 主要局限性：1）数据集规模虽相对前作巨大，但对于深度学习而言仍属中等；2）音频均来自YouTube，可能存在领域偏差；3）短时刻检索仍是巨大挑战；4）论文未探索更先进的音频表示学习模型或更复杂的检索架构。 🏗️ 模型架构 论文中的基线模型基于 AM-DETR 架构，该架构受视频时刻检索（VMR）模型启发。 ...

📄 ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents #基准测试 #模型评估 #多模态模型 #大语言模型 #动态环境 ✅ 7.0/10 | 前25% | #基准测试 | #模型评估 | #多模态模型 #大语言模型 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Fanqing Meng (Evolvent AI, National University of Singapore) - 根据论文附录，其有*号标记为共同贡献者。 通讯作者：Mengkang Hu†, Michael Qizhe Shieh† (Evolvent AI, National University of Singapore) - 根据论文附录，其有†号标记为通讯作者。 作者列表：Fanqing Meng (Evolvent AI, National University of Singapore), Lingxiao Du (National University of Singapore), Zijian Wu (National University of Singapore), Guanzheng Chen (National University of Singapore), Xiangyan Liu (National University of Singapore), Jiaqi Liao (Independent Researcher), Chonghe Jiang (Massachusetts Institute of Technology), Zhenglin Wan (National University of Singapore), Jiawei Gu (University of Washington), Pengfei Zhou (National University of Singapore), Rui Huang (The University of Hong Kong), Ziqi Zhao (The Hong Kong Polytechnic University), Shengyuan Ding (Fudan University), Ailing Yu (Independent Researcher), Bo Peng (Shanghai Jiao Tong University), Bowei Xia (University of Electronic Science and Technology of China), Hao Sun (Peking University), Haotian Liang (University of Science and Technology of China), Ji Xie (Zhejiang University), Jiajun Chen (National University of Singapore), Jiajun Song (Renmin University of China), Liu Yang (The Hong Kong Polytechnic University), Ming Xu (National University of Singapore), Qionglin Qiu (Hunan University), Runhao Fu (Anhui University), Shengfang Zhai (National University of Singapore), Shijian Wang (Southeast University), Tengfei Ma (The Chinese University of Hong Kong), Tianyi Wu (National University of Singapore), Weiyang Jin (The University of Hong Kong), Yan Wang (Tongji University), Yang Dai (National University of Singapore), Yao Lai (The University of Hong Kong), Youwei Shu (National University of Singapore), Yue Liu (National University of Singapore), Yunzhuo Hao (Zhejiang University), Yuwei Niu (Peking University), Jinkai Huang (Evolvent AI, National University of Singapore), Jiayuan Zhuo (Evolvent AI, National University of Singapore), Zhennan Shen (The Hong Kong University of Science and Technology), Linyu Wu (National University of Singapore), Cihang Xie (University of California, Santa Cruz), Yuyin Zhou (University of California, Santa Cruz), Jiaheng Zhang (National University of Singapore), Zeyu Zheng (University of California, Berkeley), Mengkang Hu (Evolvent AI, National University of Singapore), Michael Qizhe Shieh (Evolvent AI, National University of Singapore)。 💡 毒舌点评 亮点：提出了一个设计极其严谨、评估维度（多天、动态环境、全模态）全面且完全杜绝“LLM当裁判”评分模糊性的智能体基准测试，填补了重要空白。短板：作为基准测试，其本身不产出新的模型或算法，对推动模型能力提升的作用是间接的；且100个任务的规模对于构建稳健的排行榜可能稍显不足。 ...