音视频

📄 PerformSinger: Multimodal Singing Voice Synthesis Leveraging Synchronized Lip Cues from Singing Performance Videos #歌唱语音合成 #多模态模型 #音视频 📝 4.5/10 | 后50% | #歌唱语音合成 | #多模态模型 | #音视频 学术质量 3.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 低 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表：未说明 💡 毒舌点评 用唱歌视频的唇部动态来指导歌唱合成，这个多模态想法确实新颖，理论上能提升口型同步和表现力。但问题在于，仅凭标题我们对方法实现一无所知，更不知道实验效果是否真的‘Perform’了，这种‘黑箱’分析风险很高。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：未提及 数据集：未提及 Demo：未提及 复现材料：论文中未提及 论文中引用的开源项目：未说明 📌 核心摘要 这篇论文旨在解决传统歌唱语音合成（SVS）方法大多依赖音频或文本输入，缺乏对真实演唱中视觉动态（如唇部动作）的利用，可能导致合成结果在口型同步和表现力上存在不足的问题。其方法核心是提出一个多模态框架，直接从歌手表演视频中提取并利用同步的唇部线索（Lip Cues）作为条件来引导歌唱语音的生成。与已有方法相比，其新意在于将视觉模态（特别是唇部动态）作为一种强条件信号引入SVS任务，而不仅仅依赖于音频特征或乐谱。论文中未提供具体的实验结果数值和对比数据。该研究的实际意义在于可能为虚拟歌手、数字人演唱、歌曲创作等应用场景提供更自然、更具表现力的合成技术。由于提供的文本信息极其有限，论文的主要局限性完全未知，包括方法细节、实验设计、性能表现、数据规模及通用性等均未说明。 🏗️ 模型架构 论文中未提供具体架构描述。基于标题推断，模型可能包含以下组件：一个视觉编码器（用于从输入视频中提取唇部区域特征）、一个音频/声学编码器（用于处理参考歌声或目标音高/时长）、以及一个跨模态融合与解码模块（用于综合视觉唇部线索和其他条件生成最终的歌唱语音波形或梅尔频谱）。组件之间的数据流可能为：视频帧 -> 视觉特征；乐谱/文本/参考音频 -> 音声特征 -> 与视觉特征融合 -> 解码器 -> 合成语音。关键设计选择在于如何有效、同步地融合视觉与声学信息。由于未看到论文中的架构图，无法进行图片说明。 ...

📄 Prototype-Guided Cross-Modal Contrastive Learning for Continual Audio-Visual Sound Separation #语音分离 #对比学习 #持续学习 #多模态模型 #音视频 ✅ 7.5/10 | 前25% | #语音分离 | #对比学习 | #持续学习 #多模态模型 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Wanrong Ma (国防科技大学计算机科学与技术学院，2. 国防科技大学并行与分布式计算国家重点实验室) （注：论文标注为共同第一作者） 通讯作者：Kele Xu (国防科技大学计算机科学与技术学院，2. 国防科技大学并行与分布式计算国家重点实验室) 作者列表：Wanrong Ma（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Hongyu Wen（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Zijian Gao（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Qisheng Xu（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室）、Kele Xu（国防科技大学计算机科学与技术学院；国防科技大学并行与分布式计算国家重点实验室） 💡 毒舌点评 该工作在持续学习与多模态声音分离的交叉领域做得扎实，用原型和对比学习“框住”特征空间的想法巧妙且实验效果显著。但任务场景较为细分，且论文完全没提代码开源，对于想快速复现或在其他多模态任务上借鉴的读者不太友好。 🔗 开源详情 论文中未提及代码链接。 论文中未提及模型权重公开。 数据集MUSIC-21是公开的，但论文未说明具体获取方式或是否修改。 论文中未提及Demo。 论文提供了一定的训练细节（优化器、学习率、批大小、部分超参数），但缺少完整配置、检查点和代码，复现材料不充分。 论文中引用的开源项目/工具包括：iQuery [5] (用于特征提取流程参考)、Video-MAE [15] (预训练视频编码器)、CLIP [16] (预训练视觉编码器)。 论文中未提及开源计划。 ...

📄 PSTalker: Realistic 3D Talking Head Synthesis via a Semantic-Aware Audio-Driven Point-Based Shape #语音合成 #音视频 #3D音频 #生成模型 #实时处理 ✅ 7.5/10 | 前25% | #说话人合成 | #3D音频 | #语音合成 #音视频 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Zhongyuan Zhao（北京大学电子与计算机工程学院，鹏城实验室） 通讯作者：Kanglin Liu（鹏城实验室） 作者列表：Zhongyuan Zhao（北京大学电子与计算机工程学院，鹏城实验室）、Qing Li（鹏城实验室）、Kanglin Liu（鹏城实验室） 💡 毒舌点评 论文巧妙地将语义先验融入点基形状表示，有效解决了头颈接合处的“断裂”伪影，这是当前3DGS方法的一个显著痛点，体现了其工程洞察力。然而，其对非刚性形变（如头发细节）的建模能力、以及在多人种、复杂表情下的泛化能力验证略显不足，且“高保真”渲染的细节处理（如动态光照、微表情）仍有提升空间。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：论文中提及使用的数据来源于之前的公开工作（ER-NeRF, TalkingGaussian, GaussianTalker），但并未明确声明自己收集的数据集是否开源或如何获取。 Demo：未提及在线演示。 复现材料：论文提供了一些训练细节，如两阶段训练、损失函数组成、使用HuBERT提取特征、以及大致的优化器类型（SparseAdam, AdamW）和推理硬件（RTX 3090），但缺少学习率、批次大小、训练轮次等关键超参数。 引用的开源项目：论文依赖并引用��多个开源工作，包括FLAME模型、3D Gaussian Splatting、HuBERT（用于音频特征提取）等。 总结：论文中未提及开源计划。 📌 核心摘要 问题：现有的音频驱动3D说话头生成方法（基于NeRF或3DGS）存在唇同步不准确、在头部转动时头颈接合处产生伪影、以及合成结果缺乏参数化可控性三大挑战。 核心方法：提出PSTalker框架，包含两大核心：语义感知点基形状模型——在FLAME网格上基于语义标签采样点，并沿法线方向偏移，以统一建模面部与非面部（如头发、躯干）结构；刚柔耦合合成模型——将音频驱动的灵活面部变形与基于线性混合蒙皮的头部刚体运动显式耦合，增强运动稳定性。 创新性：1）提出SAPS模型，首次用统一的点基表示解决了头颈几何连贯性问题；2）设计RFC模型，将高自由度的音频到运动映射锚定在稳定的几何先验上，提升了唇同步精度和运动自然性；3）继承了FLAME的参数化控制能力，实现了对合成结果的姿态编辑。 主要实验结果：在四个说话人数据集上进行自驱动和跨驱动测试。在跨驱动设置下，本文方法（Sync-C: 6.9982, Sync-D: 7.9911）显著优于最强基线TalkingGaussian（Sync-C: 6.4075, Sync-D: 8.4689）。消融实验表明，移除SAPS或RFC均导致唇同步指标（Sync-C）和运动自然度指标（AUE）明显下降。 实际意义：为生成可控、逼真、无伪影的3D说话头像提供了高效方案，可应用于虚拟社交、数字人直播、影视配音等场景。 主要局限性：方法依赖于针对特定说话人的短视频进行训练，限制了其对高度发散音频模式（如歌唱）的泛化能力；论文未提供代码和模型，开源信息不足。 🏗️ 模型架构 PSTalker是一个两阶段的框架，旨在从音频和参考视频生成逼真的、可控制的3D说话头像。 ...

📄 Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition #音视频 #语音识别 #语音增强 #多任务学习 #端到端 ✅ 7.5/10 | 前25% | #语音识别 | #多任务学习 | #音视频 #语音增强 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Linzhi Wu (University of Electronic Science and Technology of China, Chengdu, China) 通讯作者：Xingyu Zhang (Defense Innovation Institute, Academy of Military Sciences, Beijing, China) 作者列表： Linzhi Wu (电子科技大学) Xingyu Zhang* (军事科学院国防创新研究院) Hao Yuan (北京大学) Yakun Zhang (军事科学院国防创新研究院) Changyan Zheng (High-tech Institute, Weifang, China) Liang Xie (军事科学院国防创新研究院) Tiejun Liu (电子科技大学) Erwei Yin (军事科学院国防创新研究院) 💡 毒舌点评 这篇论文提出了一个清晰的“先净化再融合”新范式，用端到端学习替代了脆弱的显式掩码生成，想法简洁有效，在LRS3数据集上也取得了不错的性能提升。然而，其最大的短板在于完全的“闭源”状态，没有提供代码、模型或训练细节，对于希望跟进或复现的读者来说，这意味着需要从零开始摸索架构细节和训练策略，极大增加了实践门槛。 ...

📄 RAP: Real-Time Audio-Driven Portrait Animation with Video Diffusion Transformer #音视频 #扩散模型 #流匹配 #DiT ✅ 7.0/10 | 前25% | #音视频 | #扩散模型 | #流匹配 #DiT 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Fangyu Du (Soul AI, Xi’an Jiaotong University), Taiqing Li (Soul AI, Dalian University of Technology) （论文标注为共同第一作者） 通讯作者：Shunshun Yin (Soul AI), Siyuan Liu (Soul AI) （论文标注为共同通讯作者，且Siyuan Liu为项目负责人） 作者列表：Fangyu Du (Soul AI, Xi’an Jiaotong University), Taiqing Li (Soul AI, Dalian University of Technology), Qian Qiao (Soul AI), Tan Yu (Soul AI), Dingcheng Zhen (Soul AI), Ziwei Zhang (Soul AI), Xu Jia (Dalian University of Technology), Yang Yang (Xi’an Jiaotong University), Shunshun Yin (Soul AI), Siyuan Liu (Soul AI) 💡 毒舌点评 这篇论文在“实时”这个硬约束下，非常工程化地解决了高压缩潜在空间中的唇形同步和长视频生成漂移这两个核心痛点，展现了不错的系统设计能力。但其核心创新（混合注意力和训练策略）更多是针对特定问题的有效工程组合，而非开辟新范式；此外，虽然强调实时，但高压缩率（LTX-VAE）对图像纹理细节的潜在损失并未被深入讨论，这可能是其实时性与质量权衡中一个未被充分审视的代价。 ...

📄 Rethinking Entity Disambiguation in Complex Modalities #多模态模型 #实体消歧 #对比学习 #音视频 #数据集 🔥 8.0/10 | 前25% | #实体消歧 | #多模态模型 | #对比学习 #音视频 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yingyao Ma（东南大学计算机科学与工程学院） 通讯作者：Jiasong Wu（*，东南大学计算机科学与工程学院） 作者列表：Yingyao Ma（东南大学计算机科学与工程学院），Yifan Xue（东南大学计算机科学与工程学院），Wanqiang Cai（东南大学计算机科学与工程学院），Yuanyuan Zhou（东南大学计算机科学与工程学院），Jiasong Wu（东南大学计算机科学与工程学院），Lotfi Senhadji（法国雷恩大学，INSERM，LTSI-UMR 1099），Huazhong Shu（东南大学计算机科学与工程学院） 💡 毒舌点评 亮点：论文系统性地将实体消歧任务从传统文本/静态图像扩展到动态的视频、音频等“复杂模态”，并为此构建了一个专用的多模态数据集，填补了特定场景下的研究空白。短板：音频模态的处理略显“工具化”，主要通过ASR转文本再匹配来利用，对音频波形本身的声学特征（如音色、韵律）利用不足，可能限制了其在语音主导场景下的性能上限。 🔗 开源详情 代码：提供了一个匿名代码仓库链接：https://anonymous.open.science/r/CMED-code-B0E8。 模型权重：未提及是否公开预训练或最终模型的权重。 数据集：构建并公开了Focus数据集（包括Focus-H和Focus-A两个版本），论文中未说明具体获取方式，通常需联系作者或通过提供链接下载。 Demo：未提供在线演示。 复现材料：在论文的“Implementation Details”部分提供了训练所用的优化器（Adam）、学习率（1e-3）、batch size（64）、训练轮数（50 epochs）、GPU型号（NVIDIA GTX A6000）以及超参数调优方法（网格搜索）。 论文中引用的开源项目：依赖的开源工具/模型包括：CLIP（特征提取）、SBERT（句子编码）、BERT（基线）、BLINK（基线）以及多个多模态基线模型（ALBEF, MaPLe, ClipBERT等）。 📌 核心摘要 问题：传统实体消歧方法主要依赖静态的文本或图像信息，难以处理真实世界中日益复杂的、包含动态视频和音频信息的多模态场景。 方法核心：提出CMED（Complex-Modality Entity Disambiguation）框架，包含两个关键模块：提及中心特征定位与提取模块（通过关键帧采样、音频定位网络等定位与提及相关的多模态信息）和多级相似度计算模块（计算文本、全局视频、局部视频等多个层面的提及-实体相似度）。框架利用对比学习进行联合训练。 新意：与现有仅处理文本或图文的方法相比，CMED首次统一处理文本、视频、音频三种模态。创新点在于设计了针对复杂模态的特征定位机制（如视频帧采样、音频上下文定位）以及多层次（全局/局部）的多模态特征融合与匹配策略。 实验结果：论文构建了包含中文新闻视频、音频和文本的Focus数据集。在Focus-H（标题作为上下文）和Focus-A（音频转写作为上下文）两个版本上，CMED显著超越所有基线。例如，在Focus-H数据集上，CMED的Hits@1为74.41%，相比最强视频基线（CLIP4Clip）的64.49%提升近10个百分点，MRR从75.30提升至81.69。消融实验表明，全局特征、局部特征、视频帧采样网络、音频定位网络和上下文增强等所有组件对性能均有贡献。 实际意义：为动态、复杂的多模态信息环境（如新闻视频分析）提供了更鲁棒的实体消歧解决方案，有助于提升下游任务（如信息抽取、问答）的准确性。 主要局限性：1) Focus数据集规模中等（约7k样本），且来源于特定领域的中文新闻视频��模型的跨领域、跨语言泛化能力有待验证；2) 音频模态的利用方式相对间接（ASR转文本），未深度挖掘原始音频信号的特性；3) 实时性或流式处理能力未被讨论。 🏗️ 模型架构 CMED框架（如图2所示）旨在处理一个包含视频、提及词和辅助上下文（标题或音频转写）的样本，并将其与知识库中的实体进行匹配。整体流程可分为两个核心模块： ...

📄 Semantic-Guided Pseudo-Feature Attention Network for Audio-Visual Zero-Shot Learning #音频分类 #零样本学习 #多模态模型 #对比学习 #音视频 ✅ 7.0/10 | 前25% | #音频分类 #零样本学习 | #多模态模型 #对比学习 | #音频分类 #零样本学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Siteng Ma（苏州大学） 通讯作者：Wenrui Li（哈尔滨工业大学） 作者列表：Siteng Ma（苏州大学）、Wenrui Li（哈尔滨工业大学）、Haocheng Tang（北京大学）、Yeyu Chai（哈尔滨工业大学）、Jisheng Chu（哈尔滨工业大学）、Xingtao Wang（哈尔滨工业大学） 💡 毒舌点评 本文的亮点在于将自适应模态加权、语义引导的变分生成与语义对齐的对比学习巧妙融合，形成了一个逻辑自洽的统一框架来解决GZSL中的核心矛盾，并在两个基准数据集上取得了SOTA。然而，其短板在于对SVG模块中具体网络结构的描述较为简略，且未提供任何开源代码或详细的超参数搜索过程，使得完全复现该工作的细节变得困难。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了ActivityNet, VGGSound, UCF等公开基准数据集，但论文中未提供具体获取方式。 Demo：未提及。 复现材料：论文中提及了部分超参数（损失函数权重λ1-λ5），但缺乏训练细节（如学习率、batch size、优化器、训练轮数）、模型具体配置（如编码器/解码器结构、隐藏维度）以及预训练骨干网络信息。 论文中引用的开源项目：论文引用了多个相关工作，但未明确说明其SGPAN实现依赖了哪些具体的开源代码库或工具。 总结：论文中未提及开源计划。 📌 核心摘要 这篇论文旨在解决音频-视觉广义零样本学习（GZSL）中因模态竞争和类间分布重叠导致的对可见类过度偏置问题。核心方法是提出一个名为SGPAN的多模态框架，它集成了三个关键组件：1）自适应模态重加权（AMR），动态调整音频和视觉分支的损失权重以平衡学习；2）语义引导变分生成（SVG），利用文本语义条件化的VAE生成伪特征，以扩大类内覆盖并缓解类别混淆；3）语义对齐对比损失（SACL），在投影空间中对齐跨模态特征并扩大类间距。与已有方法相比，新在将特征生成、动态模态平衡与对比学习在同一个端到端框架内协同优化。实验表明，SGPAN在UCF-GZSL和VGGSound-GZSL数据集上的调和平均精度（HM）上取得了当时最优的结果。该工作的实际意义在于为开放世界下的多模态视频理解提供了一个更鲁棒的零样本识别方案。主要局限性包括模型性能对语义标签的质量以及batch统计量的依赖。 🏗️ 模型架构 模型的整体架构如图1所示。SGPAN是一个基于交叉注意力的多模态框架，其输入是来自预训练骨干网络的音频和视觉特征。 ...

📄 SightSound-R1: Cross-Modal Reasoning Distillation from Vision to Audio Language Models #音频问答 #知识蒸馏 #多模态模型 #迁移学习 #音视频 ✅ 7.5/10 | 前25% | #音频问答 | #知识蒸馏 | #多模态模型 #迁移学习 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文中作者列表排序未明确指定第一作者） 通讯作者：未说明 作者列表：Qiaolin Wang（Columbia University, New York, NY, USA）、Xilin Jiang（Columbia University, New York, NY, USA）、Linyang He（Columbia University, New York, NY, USA）、Junkai Wu（University of Washington, Seattle, WA, USA）、Nima Mesgarani（Columbia University, New York, NY, USA） 💡 毒舌点评 亮点在于巧妙地利用“视觉可听”的假设，将强大的视觉语言模型（LVLM）作为“免费的”教师来生成音频推理数据，从而绕过了音频链式思考（CoT）数据稀缺的瓶颈，思路清晰且实用。短板则是这一核心假设存在天然局限，导致生成的推理链可能基于视觉臆测而非真实音频内容（论文中也承认了语音、音乐任务性能下降），且方法的最终效果高度依赖外部强大LVLM和验证模型的能力，并非完全独立。 ...

📄 SIREN: Spatially-Informed Reconstruction of Binaural Audio with Vision #空间音频 #音视频 #Transformer ✅ 7.0/10 | 前25% | #空间音频 | #音视频 | #Transformer 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Mingyeong Song (Ewha Womans University, Seoul, Korea)，Seoyeon Ko (Ewha Womans University, Seoul, Korea) （论文标注两人贡献相等） 通讯作者：未说明 作者列表：Mingyeong Song (Ewha Womans University, Seoul, Korea), Seoyeon Ko (Ewha Womans University, Seoul, Korea), Junhyug Noh (Ewha Womans University, Seoul, Korea) 💡 毒舌点评 SIREN巧妙地将Transformer的注意力机制“一分为二”，用作左右声道的空间特征调制器，思路清晰且免去了手工设计掩模的麻烦，是本文最亮眼的工程巧思。然而，论文的论证主要停留在客观指标的“分数游戏”上，缺乏一个关键环节：听众到底能不能真的听出区别？没有主观MOS测试，很难断言那些STFT或相位距离的提升能带来感知上的空间感增强。此外，方法的“自信融合”听起来很美，但其核心假设（单声道一致性和相位一致性）在复杂动态场景下的鲁棒性未见深入讨论。 ...

📄 Sounding Highlights: Dual-Pathway Audio Encoders for Audio-Visual Video Highlight Detection #视频高光检测 #音视频 #多模态融合 #自适应模型 #精细音频处理 🔥 8.5/10 | 前10% | #视频高光检测 | #多模态融合 | #音视频 #自适应模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Seohyun Joo（GIST电气工程与计算机科学学院） 通讯作者：论文中未明确说明通讯作者。 作者列表：Seohyun Joo（GIST电气工程与计算机科学学院）、Yoori Oh（首尔国立大学音乐与音频研究组） 💡 毒舌点评 亮点在于其“双通路”音频编码器的设计非常精巧，通过一个动态通路显式捕获频谱动态（如突变声音事件），并与语义通路进行门控式融合，有效解决了以往音频特征利用不足的痛点，在大规模数据集上效果显著。短板是其在较小规模、类别更多样的TVSum数据集上优势不明显，可能暗示模型的泛化能力或对不同视频风格的适应性仍有提升空间。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及。 数据集：使用了Mr.HiSum和TVSum公开数据集，但未在文中提供获取方式链接（假设读者已知）。 Demo：提供了在线演示链接：https://seohyj.github.io/soundhd.github.io/。 复现材料：提供了详细的训练细节（优化器、学习率、批量大小、训练轮数、权重衰减、梯度裁剪）、关键超参数（K值、特征维度、频谱图参数）和模型架构描述，便于复现。 论文中引用的开源项目：引用了多个预训练模型作为基线或组件，包括PANNs (用于音频语义编码器)、ResNet-34、Inception-v3 (用于视觉编码器)，以及作为基线比较的PGL-SUM, Joint-VA, UMT, CSTA等。 总结：论文中未提及开源计划，但提供了Demo和详细的复现参数。 📌 核心摘要 要解决什么问题：现有音视频视频高光检测模型对音频模态的利用过于简单，通常只提取高层语义特征，忽略了声音丰富的、动态的声学特性（如瞬态事件、能量突变），而这些特性对于识别视频中的亮点时刻至关重要。 方法核心是什么：提出名为DAViHD的框架，其核心是双通路音频编码器。它包含两个并行路径：1）语义通路（基于PANNs）处理原始波形，提取“听到了什么”的高层语义信息；2）动态通路（基于频率自适应卷积）处理对数梅尔频谱图，捕获“声音如何变化”的低层、时变动态特性。两条通路的输出经过自注意力后，通过元素级乘法进行融合（动态特征作为门控调制语义特征）。最终融合后的音频表征与视觉表征进行双向跨模态注意力融合，预测高光分数。 与已有方法相比新在哪里：主要创新在于显式地、并行地建模音频的语义内容与谱时动态，并通过精心设计的“早期自注意力+乘法融合”策略将两者结合。这与以往将音频视为单一流或仅使用通用预训练特征（如PANNs）的方法有本质区别。 主要实验结果如何：在大规模Mr.HiSum数据集上取得全面SOTA，例如在F1、mAP_50、ρ、τ等指标上均显著超越最强基线UMT。在TVSum数据集上部分指标也达到最优。消融实验证明，仅使用双通路音频（V+A_s+A_d）的性能已接近甚至超过一些传统音视频模型（V+A_s），凸显了精细音频表征的关键作用。 模型 Mr.HiSum F1 ↑ Mr.HiSum ρ ↑ TVSum F1 ↑ TVSum ρ ↑ UMT (强基线) 58.18±0.29 0.239±0.006 57.54±0.87 0.175±0.022 DAViHD (本文) 59.73±0.41 0.299±0.012 57.67±1.27 0.200±0.032 实际意义是什么：证明了在音视频理解任务中，对音频信号进行更物理、更精细的建模（如考虑其动态变化）能带来巨大性能提升。为视频摘要、检索等应用提供了更准确的技术基础。 主要局限性是什么：1）模型复杂度有所增加（双通路）；2）在数据量较小、视频类别多样的TVSum上提升幅度相对有限，表明其优势在大规模、风格可能更统一的互联网视频数据上更为突出；3）论文未讨论模型的计算开销与推理速度。 🏗️ 模型架构 DAViHD的整体框架（图2(a)）是一个端到端的音视频高光检测模型，输入是视频帧序列和对应的音频波形，输出是每1秒片段的高光分数。 ...