多模态模型

📄 SVHighlights: Towards Extremely Long Sport Video Highlight Detection #多模态模型 7/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7/10 | 前50% | #多模态模型 | #多模态模型 | arxiv 👥 作者与机构 作者：Donggyu Lee, Youngbin Ki, Jeonghun Kang, Taehwan Kim 机构：Ulsan National Institute of Science and Technology (UNIST), Ulsan, Republic of Korea 💡 毒舌点评 这是一篇典型的“数据集驱动”工作，核心贡献是搭台（SVHighlights数据集）和给出一个免训练的强基线（TF-SELECTOR）。优点是问题定义清晰，直指当前长视频理解的一个空白点，数据集构建流程考虑周全，消融实验也比较扎实。然而，作为一篇顶会论文，其技术深度略显不足。TF-SELECTOR本质上是一个工程化的Pipeline（分割-描述-打分），创新点主要在于组合策略和如何适应长视频，而非提出新的算法模型。数据集的“免人工标注”依赖官方高光视频，这在一定程度上限制了其泛化到非体育领域的能力。实验结果中，TF-SELECTOR在HIT@1等指标上显著领先，但在mAP上不及TRACE，论文对此的解释有说服力（TRACE的稀疏预测策略）。总体而言，这是一篇扎实的系统性工作，为长视频高光检测领域提供了一个急需的基础设施和强力基线，但若期望看到颠覆性的算法创新可能会有些失望。 📌 核心摘要 本文致力于解决视频高光检测领域向小时级长视频扩展的挑战。现有研究因缺乏合适基准而主要局限于短视频。为此，作者构建了首个超长体育视频高光检测基准SVHighlights，包含320个平均时长2小时的视频，总时长超过640小时。该基准通过创新的数据集生成流水线构建，利用官方高光视频与完整比赛视频进行对齐，自动生成标注，避免了昂贵的人工逐片段标注。为在长视频上提供有效基线，作者提出了TF-SELECTOR，一个免训练的框架。其核心思想是将长视频分割为基于转写文本的上下文感知语义片段，利用VLM为每个片段生成文字描述，再结合转写文本和音频音量，由LLM预测片段的高光显著性分数。在SVHighlights基准上的实验表明，TF-SELECTOR在HIT@1、HIT@K和IoU等关键指标上显著优于在短视频数据集上微调的视频时序定位模型。消融研究证实了多模态输入（尤其是转写文本）的重要性。该工作为长视频高光检测领域建立了首个标准化评测平台和强基线。 ...

📄 Watch, Remember, Reason: Human-View Video Understanding with MLLMs #多模态模型 #流式处理 6.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1/1.5 ✅ 6.4/10 | 前50% | #多模态模型 | #流式处理 | arxiv 👥 作者与机构 作者：Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang 机构：J. Meng, Y. Tan, Y. Tong 隶属于北京大学智能科学与技术学院；Q. Xu, L. Qi 隶属于武汉大学；K. Gao, Y. Li 隶属于上海交通大学；J. Li 隶属于南洋理工大学；H. Wang, W. Liu 隶属于中国科学院自动化研究所（CASIA）；Q. Zhou 隶属于东京大学；G. Cheng 隶属于利物浦大学；J. Zhang 隶属于浙江大学；L. Kong 隶属于新加坡国立大学；M. Yang 隶属于加州大学默塞德分校。 ...

语音/音乐/音频论文速递 2026-06-08 共分析 38 篇论文 ⚡ 今日概览 📥 抓取 38 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 7篇 ███████ #语音识别 6篇 ██████ #音频生成 3篇 ███ #数据增强 3篇 ███ #多模态模型 3篇 ███ #语音情感识别 2篇 ██ #音乐生成 2篇 ██ #音乐信息检索 1篇 █ 📊 论文评分排行榜（38 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Audio-Oscar: A Multi-Agent System for Complex Audio Sce 9.9分 前10% #音频生成 🥈 Assessing True Generalisability of Audio-Visual Speech 9.5分 前10% #语音识别 🥉 VoxCPM2 Technical Report 9.5分 前50% #语音合成 4. Beyond Semantic Dominance: Cognitive Affective Reasonin 9.2分 前10% #语音合成 5. Hearing the Unspoken: Language Model Priors for Acousti 9.2分 前25% #语音识别 6. dots.tts Technical Report 9.0分 前25% #语音合成 7. How Far Can Chord-Symbol Time-Series Adaptation Carry G 8.8分 前50% #音乐信息检索 8. Where Rectified Flows Leak: Characterising Membership S 8.7分 前25% #音频生成 9. BiEAR: A Human Auditory-Inspired Adaptive Binaural Fron 8.5分 前25% #声源定位 10. Mitigating Proxy-to-Wild Domain Gap in Deepfake Speech 8.4分 前25% #数据增强 11. Multilingual Multi-Speaker Unit Vocoders: A Systematic 8.4分 前25% #语音合成 12. Geometric Second-Order Feature Correlation Learning for 7.9分 前50% #语音情感识别 13. Whisper Hallucination Detection and Mitigation via Hidd 7.9分 前50% #语音识别 14. Acoustic Cue Alignment in Audio Language Models for Spe 7.8分 前50% #语音情感识别 15. Towards Unified Song Generation and Singing Voice Conve 7.7分 前25% #语音合成 16. Phonetic Error Analysis of Raw Waveform Acoustic Models 7.6分 前50% #语音识别 17. SEAM: Shortcut-Aware Real-Time Detection of Scripted vs 7.5分 前25% #语音增强 18. DirectAudioEdit: Inversion-Free Text-Guided Audio Editi 7.5分 前25% #扩散模型 19. MMAE: A Massive Multitask Audio Editing Benchmark 7.5分 前50% #语音编辑 20. Leveraging Soft Distributions of SSL-Derived Discrete S 7.4分 前50% #语音识别 21. MyGardenBird: A Machine-Learning-Ready Bird Sound Datas 7.2分 前50% #音频事件检测 22. FIGMA: Towards FIne-Grained Music retrievAl 7.2分 前50% #对比学习 23. KIT's Submission to Cross-Lingual Voice Cloning in 7.2分 前50% #语音合成 24. Contrastive Training with LLM-generated Near-Misses for 7.1分 前50% #语音识别 25. A Large-Scale Per-Speaker Analysis of Re-identification 7.1分 前50% #语音匿名化 26. SVHighlights: Towards Extremely Long Sport Video Highli 7.0分 前50% #多模态模型 27. TargetSEC: Plug-and-Play In-the-Wild Speech Emotion Con 6.8分 前50% #语音转换 28. Making the Most of Limited Data: Score-Aware Training f 6.7分 前50% #音乐生成 29. IRAF: Interference-Resilient Adaptive Fusion for Noise- 6.5分 前50% #语音对话系统 30. Towards Event-Robust Acoustic Scene Classification 6.5分 前50% #数据增强 31. FSC-Net: Integrating Fast Fourier Convolutions and Prog 6.4分 前50% #音频质量评估 32. Watch, Remember, Reason: Human-View Video Understanding 6.4分 前50% #多模态模型 33. Hierarchical Semantic-Constrained Heterogeneous Graph f 6.2分 前50% #多模态模型 34. Audio Imitator: Controlling Timbre and Tempo in Video2A 6.0分 前50% #音频生成 35. HybridCodec: Fast Dual-Stream, Semantically Enhanced Ne 5.7分 前50% #语音合成 36. SpectCount: Spectrotemporal Counting via Synthetic Sign 5.5分 前50% #数据增强 37. Entropy as a Structural Prior: How a Log-Barrier on DiT 4.2分 后50% #音乐生成 38. VISA: A Visual Information Strengthened Audio-Reasoning 3.9分 前50% #音频问答 📋 论文列表 🥇 Audio-Oscar: A Multi-Agent System for Complex Audio Scene Generation, Orchestration, and Refinement 9.9/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.4/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 ...

📄 Automatic Labelling of Speech Translation Errors #语音识别 #多模态模型 #模型评估 #低资源 6.1/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.1/10 | 前50% | #语音识别 | #多模态模型 | #模型评估 #低资源 | arxiv 👥 作者与机构 Dominik Macháček (Charles University, University of Edinburgh), Maike Züfle (Karlsruhe Institute of Technology), Ondrej Klejch (University of Edinburgh) 💡 毒舌点评 这篇工作像一个精心准备的“开胃菜”：它正确地识别了ST评估领域一个鲜有人触碰的细分方向（错误跨度标注），并为此设计了一套完整的“菜单”（标注协议、数据集、基准系统）。然而，这终究不是一场盛宴。其核心贡献在于定义问题和提供初步基线，而非给出强有力的解决方案。数据集规模极小（仅约30分钟音频），且仅来自两个文档，这严重限制了结论的普适性。所谓的“自动化系统”评估，本质上只是对XCOMET和Qwen两个现有模型进行了非常浅层的“试用”，缺乏针对性的优化或深入的架构分析。最令人失望的是，论文虽然指出了语音处理的重要性，但并未真正提出或评估一个端到端的、为STEL任务设计的新模型。它更像是一份“可行性报告”或“任务说明书”，离解决所提出的问题还有很长的路要走。其最大的价值在于为后续研究铺平了道路并设立了基础基准，但就其自身而言，贡献的深度和广度有限。 ...

📄 Beyond Generative Decoding: Discriminative Hidden-State Readout from a Native Omni-Modal LLM for Multimodal Sentiment Analysis #多模态模型 #参数高效微调 #低资源 5.3/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 📝 5.3/10 | 前50% | #多模态模型 | #参数高效微调 | #低资源 | arxiv 👥 作者与机构 作者：Bin Wen, Tien-Ping Tan。 机构：School of Computer Sciences, Universiti Sains Malaysia, Penang, Malaysia。 ...

📄 Beyond Text Following: Repairable Arbitration Reversals in Audio-Language Models #音频问答 #多模态模型 6.4/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.4/10 | 前50% | #音频问答 | #多模态模型 | arxiv 👥 作者与机构 Yichen Gao, Yiqun Zhang, Zijing Wang, Yujia Li, Heng Guo, Xi Wu, Xiaocui Yang, Shi Feng, Yifei Zhang, Daling Wang 东北大学（Northeastern University, China）；上海人工智能实验室（Shanghai Artificial Intelligence Laboratory, China） ...

📄 Forgive or forget: Understanding the context of hate in audio retrieval systems #多模态模型 7.4/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.4/10 | 前50% | #音频检索 | #多模态模型 | arxiv 👥 作者与机构 论文未在提供的正文中明确提及作者及机构信息。根据arXiv元数据，需查阅论文首页确认。 💡 毒舌点评 这篇论文处理了一个重要但尴尬的问题：你正用音频检索系统找个安静的雨声白噪音助眠，结果它热情地给你推送了一段充满人身攻击的“雨声”——因为那音频里恰好有人在暴雨中激烈争吵。文章提出的“忘掉”（Forget）和“原谅”（Forgive）双管齐下的后处理框架，试图让检索系统在“记住”语义的同时“忘掉”毒性，思路清晰且有实用价值。然而，正如审稿人总会怀疑“后处理是不是万能膏药”一样，其因果框架的简化（假设模型M是唯一混杂因子）和依赖第三方组件（LLM生成提示、ASR转录、毒性分类器）的鲁棒性，在当前实验中未得到充分压力测试。更关键的是，论文如同“自产自销”的闭环：用自己的新指标，在有限的两个数据集上，评估自己提出的方法。虽然结果“一致提升”，但缺乏在更复杂、更真实的有毒音频场景（如隐蔽的讽刺、跨语言仇恨）下的验证。对于一篇旨在解决实际安全问题的论文，这种实验的“温室”感，让人对其声称的广泛影响力打个问号。总分给到7.0，因为它确实提出了解决新问题的完整框架，但距离经得起推敲的顶会标准论文，实验的硬度和理论的深度还需捶打。 📌 核心摘要 本文针对文本到音频检索系统中可能无意返回有害/仇恨音频的问题，提出了一个新颖的后处理因果去偏框架。该框架包含两个互补策略：“Forget”策略通过生成六类反事实有毒提示并应用基于Noise2Noise原理的对数平均，从模型层面系统性抑制有毒偏置；“Forgive”策略则对检索到的音频进行转录和毒性分类，通过softmax重新归一化对有毒音频进行降级，同时保留语义相关但无害的内容。为评估效果，论文提出了成功率（Success Rate）、准确性（Accuracy）和敏感度（Sensitivity）三个新指标。在AUDIOCAPS和CLOTHO数据集上，针对ATNLL、TUAR和WavCaps三个基线模型的实验表明，结合“Forget+Forgive”的方法在所有评估设置下均显著提升了成功率（即毒性抑制效果），同时保持了较高的检索准确性和敏感性。论文的消融研究显示，“Forget”在抑制毒性方面更强，而“Forgive”在保持准确性上更优。此外，音频质量分析表明处理后音频与原始参考高度相似。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。 数据集： AUDIOCAPS: 论文使用了AUDIOCAPS的测试集。该数据集由一篇论文介绍，可通过其官方渠道获取。获取详情请参考原始论文：AUDIOCAPS: Creating a Data Set for Descriptive Video Description and Training。 CLOTHO: 论文使用了CLOTHO的测试集。该数据集的获取方式请参考其论文及官方发布渠道：CLOTHO: An Audio Captioning Dataset。 Demo：论文中未提及。 复现材料：论文中未提及。 论文中引用的开源项目： Silero Speech-to-Text (ASR) Model: 用于将检索到的音频转换为文本。项目地址：https://github.com/snakers4/silero-vad (论文中引用为 [14])。 Detoxify: 用于对转录文本进行毒性分类。项目地址：https://github.com/unitaryai/detoxify (论文中引用为 [6])。 Noise2Noise: 论文中的Forget策略应用了其原理来平均化对数概率。相关论文：Image-to-Image Translation via Conditional Adversarial Networks (Noise2Noise) (论文中引用为 [8])。 NOMAD (Non-Matching Audio Distance): 用于评估过滤后音频质量的指标。相关论文：NOMAD: A Metric for Evaluating Generative Audio Models (论文中引用为 [12])。 基准模型 (论文中作为对比基线，但未提供其官方代码链接): ATNLL: 引用文献 [15]。 TUAR: 引用文献 [11]。 WavCaps: 引用文献 [9]。 🏗️ 方法概述和架构 本文提出一个后处理（post hoc）因果去偏框架，旨在不修改原有检索模型参数的前提下，集成到任何文本到音频检索系统中，以抑制有害音频的返回。该框架的核心是应用“前门调整”（front-door adjustment）来处理未观测的混杂因子（即检索模型M）。框架包含两个互补的策略模块：“Forget”和“Forgive”，其整体架构如论文图1所示。 ...

📄 M2S-AVSR: Modality-aware Multi-view Self-supervised Representation for Robust Audio-Visual Speech Recognition #多模态模型 #自监督学习 #语音识别 #音视频 9/10 | 创新 1.6/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 9/10 | 前25% | #语音识别 | #自监督学习 | #多模态模型 #音视频 | arxiv 👥 作者与机构 作者：Fei Su, Cancan Li, Ming Li, Juan Liu。 机构：武汉大学人工智能学院与计算机科学学院；香港中文大学（深圳）人工智能学院；武汉大学人工智能学院。 💡 毒舌点评 这篇论文工作扎实，动机明确，旨在解决真实世界AVSR中视角变化和模态退化的核心痛点。方法上，将多视角自监督学习（MVL编码器）与细粒度的模态感知融合（同时考虑质量和同步性）相结合，思路清晰且有新意。新发布的AISHELL8-RealScene数据集（室外、多视角）填补了部分空白，实验也较为全面。主要问题在于：1）部分实验对比可能受限于特定设置（如LLM基线未完全对齐训练数据规模），使得“最优”结论需谨慎解读；2）模态感知模块的计算开销和实际部署时的延迟未充分讨论；3）合成多视角数据的真实性和多样性可能限制MVL编码器的泛化上限。总体是一篇达到顶会门槛的工作，但部分细节的论证和工程实践考量有待加强。 📌 核心摘要 本文提出了M2S-AVSR，一个用于鲁棒音视觉语音识别（AVSR）的模态感知多视角自监督表征框架。该框架针对真实场景下常见的视角变化、音频失真和视觉遮挡等问题，主要包含两个核心创新：1）一个多视角表征学习（MVL）编码器，通过结合真实与合成视角的多视角自监督学习策略，学习视角不变的视觉表征；2）一个模态感知融合机制，在解码时显式建模视觉模态质量与跨模态同步性，实现细粒度的自适应信息注入。此外，论文发布了新的公开数据集AISHELL8-RealScene，包含多场景（室内/室外）、多视角的真实世界对话数据，用于建立更贴近现实的基准。在LRS3、MISP2021-AVSR和AISHELL8-RealScene上的实验表明，M2S-AVSR在应对视角扰动和视觉退化时显著优于现有方法，并在MISP2021-AVSR测试集上取得了新的最先进性能。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重链接。 数据集：AISHELL8-RealScene。论文中明确声明该数据集公开可用，并提供了具体链接和开源协议。 名称：AISHELL8-RealScene 获取链接：https://huggingface.co/datasets/SMIIP-lab/AISHELL8-RealScene 开源协议：CC BY-NC-SA 4.0 Demo：论文中未提及在线演示链接。 复现材料：论文中未提及完整的复现配置包或检查点下载链接，但提供了详细的实验设置（如网络配置、学习率、批大小、GPU型号等）。 论文中引用的开源项目： Whisper：OpenAI的开源语音识别模型。GitHub: https://github.com/openai/whisper；HuggingFace模型库: https://huggingface.co/openai/whisper-large-v3 AV-HuBERT：Facebook AI Research的音视频自监督表征学习模型。GitHub: https://github.com/facebookresearch/av_hubert LRS3：大规模的视听语音识别数据集。项目主页: https://www.robots.ox.ac.uk/~vgg/data/lip_reading/lrs3.html VoxCeleb2：大规模的视听人物识别数据集。项目主页: https://www.robots.ox.ac.uk/~vgg/data/voxceleb/vox2.html MISP2021-AVSR：多模态远场语音识别挑战赛数据集。项目主页: https://mispchallenge.github.io/ OuluVS2：多视角视听语音数据集。论文中未提供具体链接，但为已知公开数据集。 MUSAN：用于噪声增强的开源噪声数据集。论文中未提供具体链接，但为已知公开数据集。 WPE：加权预测误差法（盲解混响算法）。论文中未提供具体链接，但为已知公开工具。 GSS：引导源分离法。论文中未提供具体链接，但为已知公开工具。 ResNet-18：深度残差网络模型，广泛使用。论文中未提供具体链接，但为已知开源模型。 LLaMA：Meta的大语言模型系列。论文中未提供具体链接，但为已知开源模型。 Fun-ASR：阿里云达摩院的开源语音识别框架。GitHub: https://github.com/modelscope/FunASR FireRed-ASR：论文中提及为LLM-based ASR模型。论文中未提供具体链接。 Qwen3-ASR：论文中提及为LLM-based ASR模型。论文中未提供具体链接。 🏗️ 方法概述和架构 M2S-AVSR的整体框架如图2所示。其核心思想是分别从音频和视觉模态中提取鲁棒表征，并通过模态感知机制在解码器中进行融合。 ...

📄 MCBench: A Multicontext Safety Assessment Benchmark for Omni Large Language Models #语音识别 #多模态模型 #语音合成 8.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.4/10 | 后50% | #语音识别 | #多模态模型 | #语音合成 | arxiv 👥 作者与机构 论文标题：MCBench: A Multicontext Safety Assessment Benchmark for Omni Large Language Models 作者：Luong Tien, Abraham Tamas, Kim Junae, Kaur Amar, Omari Rollin, Haffari Gholamreza, Vu Trang, Qu Lizhen, Phung Dinh 机构：1 Monash University, Australia; 2 Defence Science and Technology Group, Australia ...

📄 To Be Multimodal or Not to Be: Query-Adaptive Audio-Visual Person Retrieval via Active Modality Detection #多模态模型 #说话人识别 6.8/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 6.8/10 | 前50% | #说话人识别 | #多模态模型 | arxiv 👥 作者与机构 作者: Erfan Loweimi, Mengjie Qian, Kate Knill, Guanfeng Wu, Chi-Ho Chan, Abbas Awan, Muhammad Kittler, Josef Kittler, Hui Wang, Mark Gales 机构: 1University of Cambridge, UK; 2Queen’s University Belfast, UK; 3University of Surrey, UK; †Cisco, UK; ‡Southwest Jiaotong University, China; ◆Teesside University, UK ...