音视频

📄 Cross-Modal Bottleneck Fusion for Noise Robust Audio-Visual Speech Recognition #语音识别 #多模态模型 #跨模态 #鲁棒性 #音视频 ✅ 7.5/10 | 前25% | #语音识别 | #多模态模型 | #跨模态 #鲁棒性 学术质量 6.0/7 | 选题价值 7.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Seaone Ok（首尔大学IPAI、首尔大学智能信息学系） 通讯作者：Kyogu Lee（首尔大学IPAI、首尔大学智能信息学系、首尔大学AIIS） 作者列表：Seaone Ok（首尔大学IPAI、首尔大学智能信息学系）、Min Jun Choi（首尔大学IPAI、首尔大学智能信息学系）、Eungbeom Kim（首尔大学IPAI）、Seungu Han（首尔大学智能信息学系）、Kyogu Lee（首尔大学IPAI、首尔大学智能信息学系、首尔大学AIIS） 💡 毒舌点评 该工作的核心亮点在于将“注意力瓶颈”这一高效范式巧妙移植到音视频语音识别中，通过一组可学习的紧凑令牌来调节跨模态信息流，在数据效率和噪声鲁棒性上展现出明显优势，尤其是在极端噪声（-7.5dB）下性能提升显著。然而，其最终性能天花板仍被使用海量数据预训练的模型（如Auto-AVSR）牢牢压制，表明瓶颈融合本身并不能解决AVSR对大规模数据的根本依赖，创新性更多体现在工程优化而非原理突破。 📌 核心摘要 要解决的问题：传统的音频语音识别在噪声下性能严重下降。现有的音频-视觉语音识别融合方法要么融合效果不佳，要么计算开销过大。核心挑战是如何设计一种机制，让模型在音频信号退化时能有效利用视觉信息，同时在干净语音下保持高性能。 方法核心：提出CoBRA框架，采用双流（音频/视频）Conformer编码器，并在其中层引入一组紧凑的可学习“瓶颈令牌”。音频和视频流不直接交互，而是通过这组令牌进行信息交换，从而高效且可控地融合跨模态信息。 与已有方法相比新在哪里：与传统的拼接或全注意力交叉融合相比，CoBRA通过瓶颈令牌严格调节信息流，减少了冗余和计算量。与应用于视频分类的MBT不同，本文专门针对AVSR的时序和解码特性进行了适配和深入研究，特别是系统地探索了融合层位置的影响。 主要实验结果：在LRS3数据集上，使用664小时训练数据，干净语音WER为1.6%，在-7.5dB的babble噪声下WER为11.79%，相比基线（18.58%）相对提升约36.6%。在LRS2上取得2.8% WER。消融实验表明，中层融合（第4层）和32个瓶颈令牌是最优配置。注意力分析显示，随着噪声增强，模型更多地依赖视觉线索。 数据集 方法 训练小时数 干净WER (%) -7.5dB Babble WER (%) LRS3 CM-seq2seq (基线) 596 2.30 18.58 LRS3 CoBRA (Ours) 664 1.6 (主结果表) / 1.96 (消融表) 11.79 LRS2 CM-seq2seq (基线) 381 3.7 未提供 LRS2 CoBRA (Ours) 664 2.8 未提供 注：主结果表与消融表中的基线和CoBRA数值存在细微差异，可能源于不同的实验设置或数据子集，此处一并列出。 ...

📄 DepthTalk: Few-Shot Talking Head Generation with Depth-Aware 3D Gaussian Field Motion #说话人生成 #3D高斯溅射 #少样本学习 #音视频 ✅ 7.0/10 | 前25% | #说话人生成 | #3D高斯溅射 | #少样本学习 #音视频 学术质量 5.8/7 | 选题价值 1.2/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Shucheng Ji（澳门理工大学应用科学学院） 通讯作者：Xiaochen Yuan（澳门理工大学应用科学学院） 作者列表：Shucheng Ji（澳门理工大学应用科学学院）、Junqing Huang（澳门理工大学应用科学学院）、Yang Lian（澳门理工大学应用科学学院）、Xiaochen Yuan（澳门理工大学应用科学学院） 💡 毒舌点评 亮点在于其“深度梯度损失”设计很巧妙，通过监督深度图的梯度而非绝对值来防止尺度不一致导致的深度崩塌，这是一个对实际工程问题有深刻洞察的解决方案。短板是其整体框架建立在强大的预训练深度先验模型（Sapiens）之上，这在一定程度上限制了方法的通用性和在无此类先验场景下的可用性，且论文未提供代码，复现门槛较高。 📌 核心摘要 问题：基于3D高斯溅射（3DGS）的说话人生成模型在优化时存在深度歧义，导致在渲染新视角（尤其是大角度偏转）时产生模糊、暗区等视觉伪影。现有方法仅在训练阶段引入深度监督，缺乏重建时的深度感知机制。 方法核心：提出DepthTalk框架。其核心是深度感知高斯运动网络（DAGM），采用双管道架构：一个“深度感知管道”整合深度先验、表情和音频特征预测深度相关的高斯场变换；另一个“几何感知管道”专注于利用表情和音频预测面部运动变换。两者通过自适应运动融合（MF） 模块结合。此外，提出了深度梯度损失（DGL），通过Sobel算子计算并比较渲染深度图与先验深度图的梯度幅度来施加监督，避免因绝对尺度差异造成的深度崩塌。 新意：将深度感知直接嵌入到高斯场的重建（变换预测）过程中，而非仅用于训练正则化；解耦了深度对齐与面部运动建模；提出基于梯度的深度损失函数。 实验：在仅5秒视频的少样本设定下进行实验。定量结果：DepthTalk在图像质量指标（PSNR: 29.8974, LPIPS: 0.0530, SSIM: 0.9226）上优于所有对比方法（包括InsTaG），唇部运动精度（LMD: 3.0836）也达到最佳。消融研究表明，DAGM、MF和DGL三个组件共同作用才能达到最佳性能。定性结果（图3）显示，DepthTalk在生成新视角面部时，光照更真实，伪影更少。 意义：在数据受限（少样本）场景下，实现了更高质量、更几何一致的说话人头部视频合成，对数字人、虚拟现实等应用有潜在价值。 局限性：依赖外部预训练的深度先验模型（Sapiens）；实验数据集（HDTF等）的规模和多样性有限；推理速度（32.66 FPS）虽实时但略低于InsTaG。 🏗️ 模型架构 论文的整体架构如图2所示。输入是音频特征、上半脸表情控制信号和头部姿态（相机位姿）。核心流程如下： ...

📄 Efficient Audio-Visual Inference Via Token Clustering And Modality Fusion #音频问答 #音视频 #多模态模型 #预训练 #模型评估 ✅ 7.5/10 | 前25% | #音频问答 | #音频大模型 #多模态模型 | #音视频 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Chenjie Pan（华南师范大学） 通讯作者：Chenyou Fan（华南师范大学） 作者列表：Chenjie Pan（华南师范大学）、Yi Zhu（华南师范大学）、Songkai Ning（华南师范大学）、Xiangyang Liu（华南师范大学）、Weiping Zheng（华南师范大学）、Chenyou Fan（华南师范大学） 💡 毒舌点评 亮点：论文精准地抓住了当前音视频LLM中音频模态token冗余这一关键痛点，提出的无参动态聚类压缩策略（ATCC）在大幅削减token数量（96%）和计算量（54%）的同时，性能不降反升，这证明其压缩确实保留了有效信息，而非简单丢弃。 短板：创新性更多体现在“组合”与“针对特定场景的优化”上，其核心的聚类算法和双向交叉注意力融合均为成熟技术的直接应用；此外，论文声称的性能提升幅度（0.6%-3.7%）相对有限，且绝对数值并未显著超越表中列出的所有最强基线（如PAVE在Music-AVQA上仍略高）。 📌 核心摘要 解决的问题：多模态大语言模型在处理音视频问答任务时，因音频和视觉token数量庞大导致计算和内存开销高，且现有的融合方法往往忽略了音频token的冗余问题，影响了效率和跨模态对齐效果。 方法核心：提出高效音视频推理框架（EAVI），包含两个核心组件：(1) 音频token聚类压缩（ATCC），通过动态阈值聚类在保留时序结构的前提下压缩音频token；(2) 双向模态融合模块，通过交叉注意力让压缩后的音频特征与视觉特征相互增强。 与已有方法的新颖之处：不同于以往工作主要压缩视觉token或进行简单拼接，EAVI首次专门针对音频模态设计了一种无需额外训练参数的动态聚类压缩方法，并引入了双向的跨模态注意力机制，使融合更加充分。 主要实验结果：在三个AVQA基准数据集上，EAVI相比强基线VideoLLaMA2，准确率提升了0.6%-3.7%。效率方面，音频token数量平均减少96%，总token减少66%，导致FLOPs降低54%，KV缓存使用减少65%，推理延迟降低15%。 主要对比结果： 模型 Music-AVQA VGGSound AVSD CREMA (2025) 75.6 67 - VideoLLaMA2 (2024) 80.9 71.4 57.2 PAVE (2025) 82.3 - 42.5 EAVI (Ours) 81.5 (+0.6) 75.1 (+3.7) 58.7 (+1.5) 效率对比： 模型 Tokens (Audio / Total) FLOPs (T) Latency (S) KV cache (MB) VideoLLaMA2 1496 / 2172 40.3 1.13 120 EAVI (Ours) 66 / 742 15.4 0.96 42 实际意义：为在资源受限的设备上部署实时、高效的音视频问答模型提供了可行的技术路径，通过压缩减少了对计算和内存资源的需求。 主要局限性：聚类压缩可能导致细微语义信息的丢失；模型的最终性能仍强依赖于底层预训练的视觉和音频编码器；在对话理解（AVSD）等任务上的提升幅度相对较小。 🏗️ 模型架构 EAVI框架的整体架构如图2（左）所示。它建立在类似VideoLLaMA2的架构之上，主要改进了音频处理和跨模态融合部分。 ...

📄 FastAV: Efficient Token Pruning for Audio-Visual Large Language Model Inference #音频问答 #大语言模型的压缩与加速 #音视频 #多模态模型 ✅ 7.0/10 | 前25% | #音频问答 | #大语言模型的压缩与加速 | #音视频 #多模态模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Chaeyoung Jung（韩国科学技术院，Korea Advanced Institute of Science and Technology, South Korea） 通讯作者：未说明 作者列表：Chaeyoung Jung（韩国科学技术院）、Youngjoon Jang（韩国科学技术院）、Seungwoo Lee（韩国科学技术院）、Joon Son Chung（韩国科学技术院） 💡 毒舌点评 亮点：本文敏锐地发现了现有token剪枝研究在音视频大语言模型领域的空白，并首次提出了系统性的解决方案，其两阶段剪枝策略（全局剪枝+精细剪枝）在实验上取得了显著且一致的效率提升（>40% FLOPs降低），且不损害甚至能提升性能，这对于推动此类昂贵模型的实际部署具有明确的工程价��。 短板：技术路线本质上是对视觉token剪枝方法的“移植”和“拼接”（全局剪枝基于视觉工作常见的注意力回溯，精细剪枝基于LLM剪枝中常见的最后token分析），在剪枝机制本身上创新有限。此外，实验对比集中在自身设定的不同剪枝策略上，缺乏与更多元、更强的基线方法（如其他可能适用于多模态的剪枝或加速技术）的横向比较。 📌 核心摘要 要解决的问题：音视频大语言模型在处理包含音频、视频、文本的多模态输入时，token数量巨大，导致推理时内存消耗和计算成本剧增，限制了其实际应用。 方法核心：提出FastAV，一个两阶段的推理时token剪枝框架。第一阶段在中间层进行“全局剪枝”，利用注意力回溯机制分析token重要性，移除位置靠后、影响力较弱的大部分token（如2/3）；第二阶段在后续层进行“精细剪枝”，基于最后一个查询token的注意力权重，逐层迭代移除最不重要的20% token。 与已有方法相比新在哪里：这是首个专门为音视频大语言模型设计的token剪枝框架。不同于直接应用在纯文本LLM或视觉-语言模型上的方法，FastAV综合考虑了音视频模态的特点，并通过注意力回溯揭示了此类模型在中间层后注意力集中于早期token的“锚定”模式，从而设计了针对性的剪枝策略。 主要实验结果：在VideoLLaMA2和video-SALMONN2两个模型上，FastAV将理论FLOPs降低了40%以上（见表1），同时推理速度提升约30%，内存占用降低。在AVQA, MUSIC-AVQA, AVHBench三个基准测试上，性能保持持平甚至有所提升（例如在AVHBench的AV匹配任务上，VideoLLaMA2的准确率从57.8%提升至69.0%）。消融实验表明，基于注意力回溯的全局剪枝策略优于随机剪枝和基于原始注意力权重的策略（表2），精细剪枝的剪枝比例P=20%为最优（表4）。 实际意义：使音视频大语言模型能够更高效地处理长视频、复杂音频等多模态长上下文输入，降低了部署的硬件门槛和延迟，有助于推动其在实时交互、边缘设备等场景的应用。 主要局限性：剪枝策略的有效性依赖于“注意力在中间层后集中于早期token”这一观察，该模式是否在所有音视频大语言模型和任务中普遍存在尚不明确。此外，论文未探讨该剪枝框架对模型训练或微调阶段的影响，也未提供理论保证证明性能不会在更极端的压缩下下降。 🏗️ 模型架构 FastAV本身并非一个独立的音视频大语言模型，而是一个应用于现有模型（如VideoLLaMA2、video-SALMONN2）推理阶段的加速框架。其整体流程如图3所示。 图3：FastAV框架概览。输入序列包含视频（X_vis）、音频（X_aud）和文本（X_lang）token。整体推理过程（a）在中间层（L/2）进行全局剪枝，在后续层进行精细剪枝。剪枝机制（b）展示了全局剪枝依据注意力回溯，精细剪枝依据最后查询token的注意力分析。 ...

📄 FoleyBench: A Benchmark for Video-to-Audio Models #音频生成 #基准测试 #音视频 #多模态模型 ✅ 7.5/10 | 前25% | #音频生成 | #基准测试 | #音视频 #多模态模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Satvik Dixit（Carnegie Mellon University） 通讯作者：未说明 作者列表：Satvik Dixit (Carnegie Mellon University), Koichi Saito (Sony AI), Zhi Zhong (Sony AI), Yuki Mitsufuji (Sony AI, Sony Group Corporation), Chris Donahue (Carnegie Mellon University) 💡 毒舌点评 论文精准地指出了现有V2A评估基准（如VGGSound）在Foley场景下的核心缺陷（74%样本音画对应差），并针对性地提出了首个专用基准，分析深入且实用。然而，其数据集构建管道严重依赖商业模型（Gemini 2.5 Pro）进行质量过滤，这不仅增加了复现成本，也使得“可扩展自动化”的宣称打了一定折扣。 📌 核心摘要 要解决什么问题：现有的视频到音频（V2A）生成模型评估基准（如VGGSound）与Foley（音效）等实际下游应用严重脱节。分析发现，VGGSound中74%的视频音画对应关系差，且内容被语音和音乐主导，无法有效评估专为视觉事件生成同步音效的模型。 方法核心是什么：提出FoleyBench，首个大规模、专门针对Foley场景的V2A评估基准。它包含5000个经过自动筛选的高质量（视频、真实音频、文本描述）三元组。其核心是一个自动化的多阶段数据集构建管道：收集网络视频 -> 场景检测与裁剪 -> 通过YAMNet过滤语音/音乐 -> 使用Gemini 2.5 Pro筛选确保音画因果关系。 与已有方法相比新在哪里：（1）定义并专注于Foley场景（非语音、非音乐、音源可见且同步），填补了专用基准的空白；（2）设计了包含AudioSet和UCS标签、声源复杂度、声音包络类型等丰富元数据的标注体系，支持细粒度分析；（3）提供了包含650个30秒长视频的子集FoleyBench-Long，以评估长音频生成能力。 主要实验结果如何： 基准对比：与VGGSound相比，FoleyBench的Foley类别覆盖更广（Shannon熵5.35 vs 4.73），且评估结果相关性在音频保真度指标上较弱，说明其能提供不同的评估视角。 模型评估：在对11个SotA V2A模型的评估中，MMAudio在多数指标上表现最佳，Seeing & Hearing在语义对齐(IB)上最优，V-AURA在时序同步(DS)上次优。主要发现包括：模型在生成离散事件音时，同步变好但质量变差；在处理背景音和多源声音时性能显著下降；文本条件能提供关键的语义先验。 长视频评估：在FoleyBench-Long上，所有模型性能普遍下降，MMAudio仍保持同步优势，但音频质量大幅下滑；而专为长视频设计的LOVA在音频质量上表现相对较好。 关键数据表格： 方法 VGGSound IB↑ FoleyBench IB↑ FoleyBench DS↓ FoleyBench FAD↓ FoleyBench IS↑ V-AURA 0.276 0.237 0.716 27.2 6.44 Seeing&Hearing 0.339 0.371 1.08 25.0 4.80 MMAudio^T 0.332 0.306 0.447 8.76 11.2 实际意义是什么：为V2A研究社区，特别是Foley合成方向，提供了一个更可靠、更贴近应用的评估标准，有助于更准确地衡量模型进展，并指明未来改进方向（如提升离散事件音保真度、处理多源/背景音、长时生成）。 主要局限性是什么：（1）数据集构建核心环节依赖商业黑箱模型（Gemini），可复现性和透明度受限；（2）虽然分析了失败模式，但并未提出解决这些核心挑战（如多源声音混合、长时一致性）的新模型或算法。 🏗️ 模型架构 本文并未提出一个新的V2A生成模型，而是提出了一个用于评估现有模型的基准测试框架。因此，其核心“架构”是数据集构建管道与评估体系。 ...

📄 GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Constrative and Generative Pretraining #音视频 #对比学习 #扩散模型 #音频生成 #多尺度模型 ✅ 7.5/10 | 前25% | #音频生成 | #扩散模型 | #音视频 #对比学习 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：未说明（论文作者列表为“Shentong Mo1,2,3, Zehua Chen3, Jun Zhu3”，未明确标注第一作者） 通讯作者：未说明 作者列表：Shentong Mo（卡内基梅隆大学，MBZUAI，清华大学），Zehua Chen（清华大学），Jun Zhu（清华大学） 💡 毒舌点评 亮点在于将多尺度对比学习和多尺度扩散生成统一在一个框架内，为音视频预训练提供了新范式，实验结果在多个指标上刷新了SOTA；短板是论文对于模型具体架构细节（如扩散模型中噪声预测网络的具体设计）、训练硬件和完整超参数列表描述不足，且未提及开源计划，这使得严格的复现存在挑战。 📌 核心摘要 本文旨在解决现有对比音视频预训练方法在捕捉细粒度、多层次跨模态对应关系以及直接支持生成任务方面的不足。方法核心是提出GMS-CAVP框架，它统一了多尺度视频-音频对齐（MSA）的对比学习目标与多尺度空间-时间扩散（MSD）的生成预训练目标。与之前仅使用单尺度全局对比学习的方法相比，GMS-CAVP能捕获从细到粗的时空依赖关系，并直接建模模态间的转换映射。主要实验结果表明，在VGGSound等数据集上，GMS-CAVP在视频到音频生成任务（KLD: 1.63, FAD: 0.75, Align Acc: 95.87）和检索任务（如视频到音频R@1: 28.90）上均大幅超越了现有方法。其实际意义是为音视频理解与生成提供了更强大、统一的预训练基础。主要局限性可能包括模型复杂度增加带来的计算开销，以及对扩散模型采样速度的潜在影响（论文未深入讨论）。 关键实验数据对比： 方法 KLD ↓ FAD ↓ Align Acc ↑ SpecVQGAN 3.78 6.63 48.79 Im2Wav 2.54 6.32 74.31 Diff-Foley 3.15 6.40 82.47 FoleyGen 2.89 2.59 73.83 V2A-Mapper 2.78 0.99 74.37 Seeing & Hearing 2.62 2.63 78.95 MaskVAT 2.65 1.51 63.87 VAB 2.58 2.69 76.83 VATT 2.25 2.35 82.81 GMS-CAVP (ours) 1.63 0.75 95.87 🏗️ 模型架构 GMS-CAVP是一个统一的判别-生成预训练框架，旨在学习鲁棒的音视频对应表示。 ...

ICASSP 2026 - 音视频 共 6 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Uncertainty-Aware 3D Emotional Talking Face Synthesis with E 8.0分 前25% 🥈 RAP: Real-Time Audio-Driven Portrait Animation with Video Di 7.0分 前25% 🥉 Attentive AV-Fusionnet: Audio-Visual Quality Prediction with 7.0分 前25% 4. Look, Listen and Segment: Towards Weakly Supervised Audio-Vi 7.0分 前25% 5. Teacher-Guided Pseudo Supervision and Cross-Modal Alignment 7.0分 前25% 6. AVO-65: A Large-Scale Hierarchical Audio-Visual Object Datas 7.0分 前50% 📋 论文详情 🥇 Uncertainty-Aware 3D Emotional Talking Face Synthesis with Emotion Prior Distillation 🔥 8.0/10 | 前25% | #音视频 | #生成模型 | #不确定性估计 #多模态模型 ...

📄 Meanflow-Accelerated Multimodal Video-to-Audio Synthesis Via One-Step Generation #音频生成 #流匹配 #音视频 #实时处理 ✅ 7.5/10 | 前25% | #音频生成 | #流匹配 | #音视频 #实时处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Xiaoran Yang（武汉大学电子信息学院） 通讯作者：Gongping Huang（武汉大学电子信息学院） 作者列表：Xiaoran Yang（武汉大学电子信息学院）、Jianxuan Yang（小米MiLM Plus，武汉）、Xinyue Guo（小米MiLM Plus，武汉）、Haoyu Wang（西南财经大学计算机与人工智能学院）、Ningning Pan（西南财经大学计算机与人工智能学院）、Gongping Huang（武汉大学电子信息学院） 💡 毒舌点评 这篇论文的核心亮点是将MeanFlow的一步生成能力成功“移植”到多模态VTA合成任务上，实现了推理速度的数量级提升，这在实际应用中极具吸引力。然而，其短板也相当明显：核心创新组件（MeanFlow和CFG-scaled）均非作者首次提出，论文更偏向于一项有价值的工程集成与任务适配，且消融实验仅探讨了CFG强度和训练配对比例，对于MeanFlow框架如何具体适配多模态条件融合的机制剖析不够深入。 📌 核心摘要 要解决什么问题：现有的基于流匹配的视频到音频（VTA）合成方法依赖多步迭代采样，导致推理速度慢，难以满足实时应用需求。同时，一步生成场景下应用分类器引导（CFG）容易因缺乏迭代修正而产生过冲和失真。 方法核心是什么：提出MeanFlow加速的多模态联合训练框架（MF-MJT）。核心是在多模态联合训练的骨干网络（基于MMAudio）上，采用MeanFlow公式建模平均速度场，从而支持原生一步生成。为稳定CFG，引入标量缩放机制（CFG-scaled），动态调整无条件预测的权重。 与已有方法相比新在哪里：相比之前建模瞬时速度的方法（需多步积分），MF-MJT建模平均速度，实现了原生一步生成。相比其他一步生成方法（如Frieren依赖多阶段蒸馏），MF-MJT通过MeanFlow公式直接支持一步推理。同时，针对一步生成场景提出了CFG-scaled机制来平衡引导质量。 主要实验结果如何：在VGGSound测试集的VTA任务上，MF-MJT一步生成（RTF=0.007）相比Frieren（RTF=0.015）在分布匹配（FAD↓1.46 vs 1.87）、音频质量（IS↑9.39 vs 9.14）等指标上均更优，速度提升一倍以上。在AudioCaps测试集的TTA任务上，MF-MJT一步生成（RTF=0.007）在FAD（↓2.29）、FD（↓21.32）等指标上优于AudioLCM（RTF=0.016）。关键结果见下表： 表1：VGGSound测试集VTA合成结果（一步生成） 方法 FAD ↓ FD ↓ KL ↓ IS ↑ IB ↑ DeSync ↓ RTF ↓ Frieren (1-step) 1.87 16.64 2.56 9.14 21.92 0.85 0.015 MF-MJT (ours) 1.46 11.14 1.87 9.39 21.78 0.86 0.007 表2：AudioCaps测试集TTA合成结果（一步生成） ...

📄 Mitigating Attention Sinks and Massive Activations in Audio-Visual Speech Recognition with LLMs #语音识别 #语音大模型 #多模态模型 #音视频 #预训练 ✅ 7.0/10 | 前25% | #语音识别 | #语音大模型 | #多模态模型 #音视频 学术质量 7.0/7 | 选题价值 6.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Anand（不列颠哥伦比亚大学） 通讯作者：未说明 作者列表：Anand（不列颠哥伦比亚大学，加拿大）、Umberto Cappellazzo（伦敦帝国学院，英国）、Stavros Petridis（伦敦帝国学院，英国）、Maja Pantic（伦敦帝国学院，英国） 💡 毒舌点评 亮点在于从现象观察到机理分析（余弦相似度对齐）再到解决方法（去相关损失）形成了一个完整闭环，且控制旋转实验的验证相当漂亮。短板则是实验仅在单一的Llama 3.2-3B模型和有限的设置下进行，对于“该现象是否普遍存在于所有音视频LLM”以及“去相关损失是否会对模型其他能力产生副作用”这两个关键问题，论文缺乏更深入的探讨。 📌 核心摘要 本文首次研究了音视频语音识别（AVSR）大型语言模型（LLM）中存在的“注意力沉降”和“大规模激活”现象。论文发现，在微调过程中，除BOS token外，一些语义信息弱的中间token也会成为注意力沉降点，并且与BOS token在隐层空间中具有高余弦相似度，这导致了特征索引相同的大规模激活。基于此发现，作者提出了一种简单的去相关损失，通过惩罚BOS与其他token的余弦相似度来缓解这些问题。实验表明，该方法在Llama-AVSR模型上，在高音频-视频特征下采样率下能有效降低词错率（WER），例如在AVSR（16，5）设置下WER从4.15降至3.72。该方法的贡献在于为理解多模态LLM内部机制提供了新视角，并提供了一种轻量、有效的训练技巧以提升模型在压缩场景下的鲁棒性。局限性在于实验验证的LLM模型较为单一。 主要实验结果（摘自表1与表2）： 任务 压缩率 基线WER(%) 本方法WER(%) 改进(∆) ASR (32) 12.92 11.50 +1.42 VSR (5) 45.19 34.08 +11.11 AVSR (16,5) 4.15 3.72 +0.43 任务 压缩率 基线WER(%) ACT方法WER(%) 本方法WER(%) ASR (32) 12.92 12.81 11.50 AVSR (16,5) 4.15 4.08 3.72 （注：表1显示，在低压缩率下性能提升微小，高压缩率下改善显著，尤其VSR任务。表2表明本方法优于现有的注意力校准（ACT）方法。） ...

📄 Motionbeat: Motion-Aligned Music Representation via Embodied Contrastive Learning and Bar-Equivariant Contact-Aware Encoding #音频表征学习 #对比学习 #音乐生成 #音视频 #跨模态 ✅ 7.5/10 | 前25% | #舞蹈生成 | #对比学习 | #音频表征学习 #音乐生成 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Xuanchen Wang（悉尼大学计算机科学学院） 通讯作者：未说明 作者列表：Xuanchen Wang（悉尼大学计算机科学学院）、Heng Wang（悉尼大学计算机科学学院）、Weidong Cai（悉尼大学计算机科学学院） 💡 毒舌点评 亮点： 论文巧妙地将“运动”作为监督信号引入音乐表征学习，提出的ECL和SRAL损失函数以及相位旋转、接触注意力等架构模块，从理论和实践上系统地弥补了现有音频模型在节奏感知上的短板，思路新颖且有效。 短板： 核心验证任务（舞蹈生成）的数据集（AIST++）风格相对单一，论文未探讨该表征在更广泛、更多样的音乐风格或非舞蹈类动作（如手势、体育）中的泛化能力，其“具身”的普适性有待进一步验证。 📌 核心摘要 要解决什么问题： 现有音频表征学习模型（如基于音频-文本或音频-视觉）忽略了音乐与人类动作（尤其是舞蹈）之间内在的、本能的“具身”联系，导致学到的表征在节奏和结构信息上与运动脱节，限制了其在音乐到舞蹈生成等任务上的效果。 方法核心是什么： 提出MotionBeat框架，通过两个新训练目标和两个新架构模块来学习运动对齐的音乐表征。训练目标是：具身对比损失（ECL），通过引入“节奏相似但不同步”的困难负样本来增强对比学习的细粒度辨别能力；结构节奏对齐损失（SRAL），通过Soft-DTW和最优传输分别在节拍和小节级别强制对齐音频事件与运动事件。架构模块是：小节等变相位旋转，使模型对节奏的周期性变化具有等变性；接触引导注意力，让模型关注与音乐重音同步的运动瞬间。 与已有方法相比新在哪里： 首次将“人类运动”作为关键监督信号用于通用音乐表征学习，并针对性地设计了能捕捉周期性节奏（相位旋转）和强调关键动作（接触注意力）的架构。ECL损失也超越了标准对比学习，引入了任务相关的困难负样本。 主要实验结果如何： 在AIST++数据集上，MotionBeat在音乐到舞蹈生成任务上全面超越wav2vec 2.0, CLAP, Wav2CLIP, Jukebox等基线。例如，在舞蹈生成任务上，其物理合理性得分（PFC）为1.545（越低越好），节拍对齐得分（BAS）为0.27（越高越好），均优于最强基线Jukebox（PFC=1.598, BAS=0.24）。在下游任务如节拍跟踪、音乐标记、分类、情感识别和跨模态检索中也均取得最佳或具有竞争力的性能。消融实验证实了ECL、SRAL、相位旋转和接触注意力各组件的有效性。 实际意义是什么： 为音乐信息检索、舞蹈自动生成、音乐驱动的人机交互、音乐理解（尤其是节奏和情感层面）等领域提供了更高质量、更具“动作感”的基础音频表征，可能催生更自然、更同步的多媒体应用。 主要局限性是什么： 论文未讨论该框架在非舞蹈动作（如日常手势、体育运动）或更多样化音乐风格（如古典、爵士）上的泛化能力；训练依赖于高质量的配对音乐-运动数据（AIST++），数据获取门槛较高。 🏗️ 模型架构 MotionBeat是一个双流编码器框架，旨在学习与人类运动对齐的音乐嵌入表示。其整体架构如图1所示。 ...