ICLR 2026 语音/音频论文详细分析

ICLR 2026 语音/音频论文详细分析 共分析 133 篇 ICLR 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文: 语音合成(10篇) 音频生成(9篇) 语音识别(9篇) 基准测试(9篇) 音乐生成(9篇) 语音对话系统(8篇) 音频分类(6篇) 音频问答(6篇) 语音情感识别(5篇) 多模态模型(5篇) 音视频(4篇) 音频检索(4篇) 语音分离(3篇) 模型评估(2篇) 语音翻译(2篇) 音乐信息检索(2篇) 生成模型(2篇) 音乐理解(2篇) 视频生成(2篇) 跨模态生成(1篇) 脑编码(1篇) 模型可解释性(1篇) 音视频深度伪造检测(1篇) 图像生成(1篇) 数据集(1篇) 语音增强 #对抗样本(1篇) 语音大模型(1篇) 音频编辑(1篇) 音视频事件检测(1篇) 生态计算(1篇) 视频描述生成(1篇) 视频摘要(1篇) 语音问答(1篇) 基准测试 #数据集(1篇) 音频安全(1篇) 神经网络架构(1篇) 语音转换 #语音匿名化(1篇) 声源定位(1篇) 序列解耦(1篇) 空间音频(1篇) 音频分离(1篇) 机器人操作(1篇) 动作生成(1篇) 音频场景理解(1篇) 跨模态检索(1篇) 语音增强(1篇) 多模态推理(1篇) 语音合成评估(1篇) 语音生成(1篇) 生物声学(1篇) 模型比较(1篇) 音视频联合推理(1篇) 语音识别 #语音合成(1篇) ⚡ 今日概览 📥 133 篇 → 🔬 深度分析完成 ...

2026-05-01 · 更新于 2026-05-19 · 72 min · 15177 words

SAME: A Semantically-Aligned Music Autoencoder

📄 SAME: A Semantically-Aligned Music Autoencoder #音频编码 #Transformer #生成模型 #对比学习 #自监督学习 #开源模型 🔥 8.5/10 | 前25% | #音频编码 | #音频大模型 | #Transformer #生成模型 | arxiv 学术质量 6.8/8 | 影响力 0.8/1 | 可复现性 0.9/1 | 置信度 高 👥 作者与机构 第一作者:Julian D. Parker(Stability AI) 通讯作者:未说明 作者列表:Julian D. Parker(Stability AI), Zach Evans(Stability AI), CJ Carr(Stability AI), Zachary Zukowski(Stability AI), Josiah Taylor(Stability AI), Matthew Rice(Stability AI), Jordi Pons(Stability AI) 💡 毒舌点评 亮点:在实现高达4096倍时域压缩比的同时,通过一系列精心设计的语义对齐损失和改进的架构,在主观听感(MUSHRA)上取得了SOTA,并显著提升了推理速度,展示了在压缩效率与重建质量之间新的平衡点。 短板:消融实验在固定的低预算设置下进行(仅50k步),可能无法完全代表全规模训练下各组件的真实贡献;尽管声称适用于“通用音频”,但评估数据集(SDD)高度偏向音乐,对语音、环境声等其他音频类型的泛化能力验证不足。 📌 核心摘要 要解决什么问题:传统的神经音频编解码器(NACs)通常在较高的时域压缩比下难以兼顾重建音频质量和下游生成模型的性能。现有方法多采用卷积结构,在推理速度和压缩极限上存在瓶颈。 方法核心是什么:提出了SAME,一个基于Transformer的音乐和音频自编码器。核心在于结合了基于查询的Transformer重采样块(TRB) 实现高效时域压缩,一个软归一化瓶颈配合多种辅助损失(生成对齐、语义回归、对比对齐)以优化潜空间几何结构,以及改进的多分辨率STFT损失和判别器设计。 与已有方法相比新在哪里:a) 使用Transformer通过查询机制而非卷积/池化进行时域重采样,实现了极高的压缩比(4096×)和更快的推理速度;b) 提出了一套新颖的语义正则化框架,包括双轴KL约束的软归一化瓶颈、用于流匹配的生成对齐损失(\(\mathcal{L}_{\text{diff}}\))、多属性语义回归损失(\(\mathcal{L}_{\text{sem}}\))和跨模态对比对齐损失(\(\mathcal{L}_{\text{con}}\)),共同塑造了更适合生成的潜空间;c) 改进了频谱重构损失(如对称的光谱对比损失、自适应对数幅度损失、基于相量器的IF/GD损失)和判别器架构(引入了Transformer判别器)。 主要实验结果如何: 主实验:在Song Describer Dataset上,SAME-L(852M参数)在MUSHRA主观听感测试中得分最高(82.2),超越了所有基线;同时其推理速度(RTF 561)显著快于其他大模型基线。SAME-S(108M参数)在保持可比质量的同时,RTF达到2069,是速度最快的模型。 消融实验:在固定50k步的轻量级设置下,添加\(\mathcal{L}_{\text{diff}}\)显著提升了生成质量(FAD-CLAP从1.061降至0.593),而加入\(\mathcal{L}_{\text{sem}}\)和\(\mathcal{L}_{\text{con}}\)进一步将FAD-CLAP降至0.576,并将音乐质量评分(MuQEval)从3.340提升至3.870,证明了这些辅助损失对改善下游生成性能的有效性。 主要结果表格(表1): 模型 \(D_t\) \(d\) RTF ↑ SI-SDR ↑ STFT\(_{\text{log1p}}\) ↓ MEL\(_{\text{log1p}}\) ↓ CCPC ↑ MUSHRA ↑ \(\epsilon\)ar-VAE 1024 64 325 12.0 ±3.9 0.080 ±0.053 0.070 ±0.042 97.2 ±2.2 77.6 ±21.0 ACE-Step 1.5 1920 64 284 7.0 ±3.3 0.084 ±0.051 0.069 ±0.034 93.2 ±4.7 76.5 ±20.0 SAO VAE 2048 64 300 6.2 ±3.3 0.092 ±0.055 0.079 ±0.039 92.2 ±5.2 73.3 ±19.5 CoDiCodec† 4096 64 47 -0.3 ±3.1 0.096 ±0.057 0.096 ±0.044 81.7 ±10.6 — SAME-S 4096 256 2069 9.6 ±3.4 0.088 ±0.055 0.071 ±0.035 95.5 ±3.3 66.1 ±20.5 SAME-L 4096 256 561 11.9 ±4.2 0.081 ±0.053 0.057 ±0.031 96.6 ±3.0 82.2 ±16.6 实际意义是什么:为音乐和通用音频生成提供了一个高效(高压缩比、低延迟)且质量上乘的连续潜空间表示。开源的模型权重(SAME-L和SAME-S)可直接用于后续的音乐/音频生成、编辑或理解任务,降低了相关研究的门槛。 主要局限性是什么:a) 训练和评估主要基于特定的音乐数据集(Audiosparx, SDD),对非音乐类音频(如语音、环境声)的性能验证不充分;b) 消融实验的训练预算(50k步)较小,可能无法完全揭示各模块在完整训练流程中的真实作用;c) 对比基线中缺少一些最新的、同样采用Transformer架构的NAC模型(如Tango等)。 🔗 开源详情 代码:论文中未提及代码仓库链接,但提供了项目主页 https://stability-ai.github.io/SAME,代码信息可能包含其中。 模型权重:模型权重通过项目主页发布:https://stability-ai.github.io/SAME。论文中未提及具体的 HuggingFace 或 ModelScope 链接。 数据集: 训练数据:使用商业数据集 Audiosparx (https://www.audiosparx.com),论文中未提及公开获取方式。 评估数据:使用了 Song Describer Dataset (SDD) [19] 进行评估。 Demo:在线演示链接为:https://stability-ai.github.io/SAME。 复现材料:论文中提供了详细的模型配置、训练流程和损失函数描述,但未单独提供配置文件或检查点。具体复现信息需参考论文内容。 论文中引用的开源项目: fadtk (用于计算 FAD-CLAP):https://github.com/sony/sony-audio-eval-tools T5Gemma:论文中提及但未提供具体链接。 论文中作为基线对比提到的开源模型(如 epsilon-ar-VAE、Stable Audio Open、CoDiCodec、ACE-Step 1.5)均为已发表工作,论文中未提供其具体开源仓库链接。 🏗️ 方法概述和架构 整体流程概述 SAME是一个端到端的音频自编码器,遵循经典的编码器-瓶颈-解码器架构。输入为立体声音频波形,首先经过一个无参数的“分块预变换”进行初步的时域下采样,然后通过编码器中的Transformer重采样块(TRB)进一步压缩时间维度,得到一个潜表示序列。该潜表示经过一个轻度约束的“软归一化瓶颈”后,送入解码器。解码器中的TRB负责上采样,最后通过逆分块操作恢复原始波形。整个过程旨在实现极高的时域压缩比(4096×),同时通过大量辅助损失来保持重建质量和优化潜空间。 ...

2026-05-19 · 更新于 2026-05-19 · 3 min · 607 words

语音/音频论文速递 2026-05-19

语音/音频论文速递 2026-05-19 共分析 34 篇论文 ⚡ 今日概览 📥 抓取 34 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 4篇 ████ #音频深度伪造检测 2篇 ██ #音频生成 2篇 ██ #音频安全 1篇 █ #多模态模型 1篇 █ #音频编码 1篇 █ #音频修复 1篇 █ #医疗音频 1篇 █ 📊 论文评分排行榜(34 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 Acoustic Interference: A New Paradigm Weaponizing Acous 8.7分 前25% #音频安全 🥈 CodeBind: Decoupled Representation Learning for Multimo 8.6分 前15% #多模态模型 🥉 SAME: A Semantically-Aligned Music Autoencoder 8.5分 前25% #音频编码 4. A Survey of Advancing Audio Super-Resolution and Bandwi 8.1分 前25% #音频修复 5. MedASR: An Open-Source Model for High-Accuracy Medical 7.9分 前30% #语音识别 6. Speaker-Disentangled Remote Speech Detection of Asthma 7.5分 前50% #医疗音频 7. MusicDET: Zero-Shot AI-Generated Music Detection 7.4分 前25% #音频深度伪造检测 8. VISAFF: Speaker-Centered Visual Affective Feature Learn 7.4分 前25% #对话情感识别 9. Robust Audio Tagging under Class-wise Supervision Unrel 7.3分 前25% #音频分类 10. SIREM: Speech-Informed MRI Reconstruction with Learned 7.3分 前40% #医学图像重建 11. Sonalyzer-Moz: A Framework for Analyzing the Structure 7.3分 前50% #音乐结构分析 12. Omni-Customizer: End-to-End MultiModal Customization fo 7.3分 前25% #音视频 13. Contextual Biasing for Streaming ASR via CTC-based Word 7.2分 前50% #语音识别 14. Beyond Transcripts: Iterative Peer-Editing with Audio U 7.2分 前50% #语音摘要 15. UrduSpeech: A 156-Hour Urdu Speech Corpus with 12-Dimen 7.0分 前25% #语音识别 16. Audio-Image Cross-Modal Retrieval with Onomatopoeic Ima 7.0分 前50% #音频检索 17. Profiling the Voice: Speaker-Specific Phoneme Fingerpri 7.0分 前50% #语音伪造检测 18. Voice ‘‘Cloning’’ is Style Transfer 7.0分 前25% #语音克隆 19. SemaVoice: Semantic-Aware Continuous Autoregressive Spe 6.8分 前50% #语音合成 20. Stable Audio 3 6.8分 前25% #音频生成 21. Taming Audio VAEs via Target-KL Regularization 6.7分 前50% #音频生成 #语音合成 22. WavFlow: Audio Generation in Waveform Space 6.7分 前25% #音频生成 23. Can Large Audio Language Models Ignore Multilingual Dis 6.5分 前50% #音频问答 24. PAREDA: A Multi-Accent Speech Dataset of Natural Langua 6.5分 前50% #语音数据集 25. Flexible Multi-Channel Target Speaker Extraction Using 6.3分 中等偏上 #说话人提取 26. Sometin Beta Pass Notin (SBPN): Improving Multilingual 6.2分 前50% #语音识别 27. A Fast Robust Adaptive filter using Improved Data-Reuse 6.2分 前50% #声学回声消除 28. Robust Soft-Constrained Spatially Selective Active Nois 5.7分 前25% #音频增强 29. Analyzing Error Propagation in Korean Spoken QA with AS 5.6分 前50% #语音问答 30. S2Accompanist: A Semantic-Aware and Structure-Guided Di 5.6分 前50% #音乐生成 31. A Distribution Matching Approach to Neural Piano Transc 5.5分 前50% #音乐转录 32. EnvTriCascade: An Environment-Aware Tri-Stage Cascaded 5.3分 前50% #音频深度伪造检测 33. Fractional-Order Subband p-Norm Adaptive Filter via Tra 5.0分 前50% #自适应滤波 34. Bridging the Gap: Converting Read Text to Conversationa 3.1分 后50% #语音转换 📋 论文列表 🥇 Acoustic Interference: A New Paradigm Weaponizing Acoustic Latent Semantic for Universal Jailbreak against Large Audio Language Models 🔥 8.7/10 | 前25% | #音频安全 | #对抗样本 | #多模态模型 #基准测试 | arxiv ...

2026-05-19 · 更新于 2026-05-19 · 23 min · 4805 words

Towards Open World Sound Event Detection

📄 Towards Open World Sound Event Detection #音频事件检测 #Transformer #开放世界学习 #增量学习 🔥 8.5/10 | 前25% | #音频事件检测 | #Transformer | #开放世界学习 #增量学习 | arxiv 学术质量 8.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Pham Hoang Hai(越南河内国家大学工程与技术学院) 通讯作者:Le Hoang Son(越南河内国家大学工程与技术学院) 作者列表:Pham Hoang Hai(越南河内国家大学工程与技术学院)、Le Trong Minh(越南河内国家大学工程与技术学院)、Le Hoang Son(越南河内国家大学工程与技术学院,人工智能研究中心) 💡 毒舌点评 亮点:论文真正做到了“从0到1”,首次在音频领域定义并系统研究开放世界事件检测问题,并给出了一个技术细节扎实、模块设计合理的完整框架,为后续研究奠定了基础。短板:作为一篇方法论论文,代码与模型权重的缺失严重影响了社区的验证与跟进;此外,论文假设存在“人工Oracle”标注未知事件,在真实部署链条中的可行性与成本分析稍显不足。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:论文中未提及。 数据集:论文中使用了两个数据集进行实验: URBAN-SED:论文中引用了该数据集,但未提供直接下载链接或开源协议。根据论文引用 [27],这是一个用于城市环境声音事件检测的数据集。 DESED:论文中引用了该数据集,但未提供直接下载链接或开源协议。根据论文引用 [30],这是一个用于家庭环境声音事件检测的数据集。 Demo:论文中未提及。 复现材料:论文中未提及训练配置、检查点或附录等具体复现材料。论文的实验设置和超参数细节已在“5.2 Implementation Details”部分提供。 论文中引用的开源项目:论文在相关工作和方法部分引用了多个开源项目作为基线或灵感来源,但未提供这些项目的具体代码链接。引用的项目包括: Open World Object Detector (ORE) [15] OW-DETR [11] PROB [39] CAT [18] SS OW-DETR [20] Sound Event Detection Transformer (SEDT) [32] ResNet-50 [13] Deformable DETR [38] Detection Transformer (DETR) [6] 论文中仅提供了这些工作的文献引用编号,未附上GitHub或其他代码仓库的URL。 补充信息 经对比,分析报告已覆盖论文核心内容,但以下细节信息在原文中存在,而在分析中未明确提及或可进一步强调: ...

2026-05-06 · 更新于 2026-05-19 · 3 min · 475 words

语音/音频论文速递 2026-05-06

语音/音频论文速递 2026-05-06 共分析 23 篇论文 ⚡ 今日概览 📥 抓取 23 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 5篇 █████ #音乐信息检索 3篇 ███ #生物声学 3篇 ███ #音频深度伪造检测 2篇 ██ #音频事件检测 1篇 █ #音乐理解 1篇 █ #语音生物标志物 1篇 █ #语音对话系统 1篇 █ 📊 论文评分排行榜(23 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 Towards Open World Sound Event Detection 8.5分 前25% #音频事件检测 🥈 The TTS-STT Flywheel: Synthetic Entity-Dense Audio Clos 8.5分 前25% #语音识别 🥉 PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前10% #音乐信息检索 4. Ecologically-Constrained Task Arithmetic for Multi-Taxa 8.0分 前25% #生物声学 5. AfriVox-v2: A Domain-Verticalized Benchmark for In-the- 8.0分 前25% #语音识别 6. APEX: Large-scale Multi-task Aesthetic-Informed Popular 8.0分 前25% #音乐理解 7. Mixed-Precision Information Bottlenecks for On-Device T 8.0分 前25% #语音生物标志物 8. MiniMind-O Technical Report: An Open Small-Scale Speech 7.5分 前25% #语音对话系统 9. Deepfake Audio Detection Using Self-supervised Fusion R 7.5分 前25% #音频深度伪造检测 10. Smart Passive Acoustic Monitoring: Embedding a Classifi 7.5分 前25% #生物声学 11. DECKER: Domain-invariant Embedding for Cross-Keyboard E 7.5分 前25% #音频安全 12. Contrastive Regularization for Accent-Robust ASR 7.5分 前25% #语音识别 13. AsymK-Talker: Real-Time and Long-Horizon Talking Head G 7.5分 前25% #语音合成 14. Learning Generalizable Action Representations via Pre-t 7.5分 前25% #生物声学 15. Stage Light is Sequence$^2$: Multi-Light Control via Im 7.5分 前25% #音乐信息检索 16. Enhancing Self-Supervised Talking Head Forgery Detectio 7.5分 前25% #说话头伪造检测 17. ReasonAudio: A Benchmark for Evaluating Reasoning Beyon 7.5分 前25% #音频检索 18. Assessing the Impact of Noise and Speech Enhancement on 7.0分 前25% #模型评估 19. Phoneme-Level Deepfake Detection Across Emotional Condi 7.0分 前50% #音频深度伪造检测 20. A Comprehensive Analysis of Tokenization and Self-Super 7.0分 前50% #语音识别 21. Toward Structural Multimodal Representations: Specializ 7.0分 前25% #多模态模型 22. Cosmodoit: A Python Package for Adaptive, Efficient Pip 6.5分 前50% #音乐信息检索 23. A Paradigm for Interpreting Metrics and Identifying Cri 6.0分 前50% #语音识别 📋 论文列表 🥇 Towards Open World Sound Event Detection 🔥 8.5/10 | 前25% | #音频事件检测 | #Transformer | #开放世界学习 #增量学习 | arxiv ...

2026-05-06 · 更新于 2026-05-19 · 15 min · 3158 words

MG-Former: A Transformer-Based Framework for Music-Driven 3D Conducting Gesture Generation

📄 MG-Former: A Transformer-Based Framework for Music-Driven 3D Conducting Gesture Generation #音乐生成 #Transformer #对比学习 #跨模态 #数据集 ✅ 7.5/10 | 前25% | #音乐生成 | #Transformer | #对比学习 #跨模态 | arxiv 学术质量 0.7/7 | 选题价值 0.7/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者:Ke Qiu (Malou Tech Inc) 通讯作者:未说明(论文中两位作者标注为“Contribute equally”,未明确通讯作者) 作者列表:Ke Qiu (Malou Tech Inc)、Yawen Qin (South-Central Minzu University)、Tianzhi Jia (Beijing Jiotong University)、Xiaole Yang (ADVANCE.AI)、Kaimin Wang (Fudan University)、Kaixing Yang (Renmin University of China) 💡 毒舌点评 亮点在于为指挥手势生成这一小众但高表现力的任务构建了从SMPL数据管线到检索评估的完整技术栈,体现了系统工程思维;短板是作为新提出的方法,仅与两个基线对比,且关键的数据集规模等细节模糊,使得“SOTA”宣称的分量稍显不足。 ...

2026-05-05 · 更新于 2026-05-19 · 2 min · 312 words

语音/音频论文速递 2026-05-05

语音/音频论文速递 2026-05-05 共分析 33 篇论文 ⚡ 今日概览 📥 抓取 33 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音乐生成 5篇 █████ #音频分类 3篇 ███ #语音识别 2篇 ██ #音视频 2篇 ██ #大语言模型 1篇 █ #多模态讽刺检测 1篇 █ #多模态幻觉缓解 1篇 █ #模型评估 1篇 █ 📊 论文评分排行榜(33 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 Flexi-LoRA with Input-Adaptive Ranks: Efficient Finetun 8.5分 前25% #大语言模型 🥈 Dimensionality-Aware Anomaly Detection in Learned Repre 8.0分 前25% #语音识别 🥉 PC-MNet: Dual-Level Congruity Modeling for Multimodal S 8.0分 前25% #多模态讽刺检测 4. HARMES: A Multi-Modal Dataset for Wearable Human Activi 8.0分 前25% #音频分类 5. When Audio-Language Models Fail to Leverage Multimodal 7.5分 前50% #语音识别 6. Mitigating Multimodal LLMs Hallucinations via Relevance 7.5分 前25% #多模态幻觉缓解 7. Toward Fair Speech Technologies: A Comprehensive Survey 7.5分 前25% #模型评估 8. Virtual Speech Therapist: A Clinician-in-the-Loop AI Sp 7.5分 前25% #语音治疗系统 9. Toward Fine-Grained Speech Inpainting Forensics:A Datas 7.5分 前25% #音频深度伪造检测 10. RenCon 2025: Revival of the Expressive Performance Rend 7.5分 前25% #音乐生成 11. Spoken Language Identification with Pre-trained Models 7.5分 前25% #说话人识别 12. TMD-Bench: A Multi-Level Evaluation Paradigm for Music- 7.5分 前25% #音乐生成 13. Khala: Scaling Acoustic Token Language Models Toward Hi 7.5分 前25% #音乐生成 14. Delayed Commitment for Representation Readiness in Stag 7.5分 前25% #音视频 15. MG-Former: A Transformer-Based Framework for Music-Driv 7.5分 前25% #音乐生成 16. Integrating acoustic tapping with a UAV platform for ti 7.5分 前25% #音频分类 17. NH-CROP: Robust Pricing for Governed Language Data Asse 7.5分 前25% #强化学习 18. When Attention Collapses: Residual Evidence Modeling fo 7.5分 前25% #音频分离 19. BRITE: A Benchmark for Reliable and Interpretable T2V E 7.5分 前25% #基准测试 20. Neck-Learn: Attention-Based Multiple Instance Learning 7.0分 前25% #语音生物标志物 21. Tibetan-TTS:Low-Resource Tibetan Speech Synthesis with 7.0分 前50% #语音合成 22. MelShield: Robust Mel-Domain Audio Watermarking for Pro 7.0分 前25% #音频安全 23. MindMelody: A Closed-Loop EEG-Driven System for Persona 7.0分 前50% #音乐生成 24. Multimodal Confidence Modeling in Audio-Visual Quality 7.0分 前25% #音视频 25. The AECM Algorithm for Deterministic Maximum Likelihood 7.0分 前50% #声源定位 26. The 2026 ACII Dyadic Conversations (DaiKon) Workshop &a 7.0分 前50% #语音情感识别 27. Period-conscious Time-series Reconstruction under Local 7.0分 前25% #时间序列重构 28. OceanPile: A Large-Scale Multimodal Ocean Corpus for Fo 7.0分 前25% #数据集 29. Private Speech Classification without Collapse: Stabili 6.5分 前25% #音频分类 30. MedMosaic: A Challenging Large Scale Benchmark of Diver 6.5分 前25% #音频问答 31. Artificial intelligence language technologies in multil 6.5分 前50% #多语言健康沟通 32. MultiSense-Pneumo: A Multimodal Learning Framework for 6.5分 前50% #肺炎筛查 33. Multi-Axis Speech Similarity via Factor-Partitioned Emb 6.0分 前50% #音频检索 📋 论文列表 🥇 Flexi-LoRA with Input-Adaptive Ranks: Efficient Finetuning for Speech and Reasoning Tasks 🔥 8.5/10 | 前25% | #大语言模型 | #参数高效微调 | #问答 #数学推理 | arxiv ...

2026-05-05 · 更新于 2026-05-19 · 19 min · 3988 words

JavisDiT: Joint Audio-Video Diffusion Transformer with Hierarchical Spatio-Temporal Prior Synchronization

📄 JavisDiT: Joint Audio-Video Diffusion Transformer with Hierarchical Spatio-Temporal Prior Synchronization #音视频 #扩散模型 #Transformer #基准测试 🔥 8.5/10 | 前25% | #音视频 | #扩散模型 #Transformer | #扩散模型 #Transformer 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Kai Liu (浙江大学, 新加坡国立大学) (*共同第一作者) 通讯作者:Hao Fei (新加坡国立大学) 作者列表: Kai Liu (浙江大学,新加坡国立大学) (*共同第一作者) Wei Li (中国科学技术大学) (*共同第一作者) Lai Chen (浙江大学) Shengqiong Wu (新加坡国立大学) Yanhao Zheng (浙江大学) Jiayi Ji (新加坡国立大学) Fan Zhou (浙江大学) Jiebo Luo (罗切斯特大学) Ziwei Liu (南洋理工大学) Hao Fei (新加坡国立大学) (†通讯作者) Tat-Seng Chua (新加坡国立大学) 💡 毒舌点评 论文提出了一个架构设计完整、实验验证充分的端到端音视频生成模型,其“分层时空先验估计”的思路有效提升了生成内容的同步性,配套的JavisBench基准和JavisScore指标也直指现有评估的痛点。然而,该模型的计算开销庞大(生成4秒240P视频在H100上耗时30秒),且其在更复杂、更高分辨率或更长时长场景下的泛化能力仍待验证。 ...

2026-05-04 · 更新于 2026-05-19 · 2 min · 370 words

Transformer-based End-to-End Control Filter Generation for Active Noise Control

📄 Transformer-based End-to-End Control Filter Generation for Active Noise Control #主动噪声控制 #Transformer #无监督学习 #实时处理 #模型比较 ✅ 7.0/10 | 前25% | #主动噪声控制 | #Transformer | #无监督学习 #实时处理 | arxiv 学术质量 6.2/7 | 选题价值 1.3/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Ziyi Yang(论文未说明其具体所属机构) 通讯作者:未说明 作者列表:Ziyi Yang(未说明)、Zhengding Luo(未说明)、Yisong Zou(未说明)、Boxiang Wang(未说明)、Qirui Huang(未说明)、Woon-Seng Gan(未说明) 💡 毒舌点评 这篇论文的核心工作是将Transformer“嫁接”到了固定滤波器主动噪声控制的框架中,并且通过巧妙的端到端可微设计,绕开了监督学习需要“标签”的难题,在真实噪声上取得了不错的改进,思路清晰,实验扎实。不过,模型参数量和计算量相比基线方法(CNN)显著增加,这对于追求低延迟、低功耗的嵌入式ANC设备来说是个不小的挑战,论文对此权衡的讨论略显不足,且未提供任何开源代码。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:论文中未提及模型权重链接。 数据集:论文中提及了训练和测试所用数据集的具体描述(83,977个合成带限噪声样本,用于测试的真实噪声类型包括飞机、压缩机等),但未提供公开下载链接或开源协议。 Demo:论文中未提及Demo链接。 复现材料:论文中提供了详细的训练配置、超参数、模型架构及评估结果,具体信息如下,但未提供额外的检查点文件或附录文档链接。 数据集:83,977个1秒时长、13kHz采样率的合成带限噪声(覆盖20-1900 Hz)。划分:79,977训练样本,2,000验证样本,2,000测试样本。训练时在参考信号上添加了SNR 10dB的高斯噪声。测试用到真实噪声和合成噪声。 声学路径:使用一个覆盖10-3000 Hz的合成声学路径,训练和测试中保持一致。 模型配置: 输入帧长度 L=13,000 样本,控制滤波器长度 N=512。 Conv1d前端:1输入通道,256输出通道,卷积核64,步长4,填充30;后接BatchNorm、ReLU、最大池化(步长4)。 Transformer编码器:d_model=256,8个注意力头,1层编码器,前馈维度1024,dropout 0.1,使用Pre-Norm。 输出头:Linear(256->512),ReLU,Dropout(0.1),Linear(512->512)。 总可训练参数:1,201,152。 训练超参数:优化器Adam,权重衰减10⁻⁴,初始学习率5×10⁻⁴,批大小128,训练40轮。使用StepLR调度器(步长5,衰减因子0.5)。 评估指标:噪声降低(NR)分贝数。每个测试噪声运行5秒,在最后1秒计算NR,报告平均NR。 基线模型:FxNLMS(滤波器长度512,步长0.001);GFANC(CNN co-processor,参数211,215,详见论文)。 论文中引用的开源项目:未提及。 补充信息 [模型架构] 补充:论文明确指出,Transformer编码器采用Pre-Norm(预归一化)设计。这是影响训练稳定性的关键设计选择,但未在分析中强调。同时,分析中提到输入帧L=13,000采样点,但未点明这对应于约1秒的音频(采样率13kHz),这是理解系统实时性的关键。 ...

2026-05-04 · 更新于 2026-05-19 · 2 min · 316 words

TRIBE: TRImodal Brain Encoder for whole-brain fMRI response prediction

📄 TRIBE: TRImodal Brain Encoder for whole-brain fMRI response prediction #多模态模型 #预训练 #Transformer #脑编码 #跨模态 🔥 9.5/10 | 前10% | #脑编码 | #预训练 | #多模态模型 #Transformer 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者:Stéphane d‘Ascoli(Meta AI) 通讯作者:未说明 作者列表:Stéphane d‘Ascoli(Meta AI)、Jérémy Rapin(Meta AI)、Yohann Benchetrit(Meta AI)、Hubert Banville(Meta AI)、Jean-Rémi King(Meta AI) 💡 毒舌点评 亮点在于其工程与科学的完美结合:它不仅是竞赛刷榜利器,更通过严谨的消融实验证明了“多模态整合”在高级联合皮层的关键作用,为构建统一认知模型提供了方法论和实证支持。短板则是其对数据和算力的极度依赖(80小时/被试fMRI,128 GPU特征提取)以及仅在4名被试上验证的结论,这在一定程度上限制了其普适性的即时说服力。 🔗 开源详情 代码:提供了代码仓库链接:https://github.com/facebookresearch/algonauts-2025。 模型权重:论文中未提及是否公开TRIBE模型或特征提取模型的权重。 数据集:使用了公开的Courtois NeuroMod数据集(CC0许可),并说明为Algonauts 2025竞赛选择了4名被试的子集。 Demo:论文中未提及在线演示。 复现材料:提供了极其详尽的复现信息,包括完整的超参数表(表3)、数据处理流程、评估指标定义、训练细节(优化器、学习率调度、SWA、模态丢弃等),以及硬件规格。 论文中引用的开源项目:明确列出了使用的开源模型和工具,包括:Llama 3.2(Meta)、Wav2Vec-Bert 2.0(Hugging Face)、V-JEPA 2(Meta, Apache协议)、x-transformers包(MIT协议)、nilearn(BSD协议)、PyTorch。 📌 核心摘要 要解决的问题:传统神经科学研究局限于单模态、单脑区的碎片化模型,而现有的脑编码模型存在线性映射假设过强、仅支持单主体训练、且大多局限于单模态刺激输入三大限制,阻碍了构建统一的全脑认知模型。 方法核心:提出TRIBE,一种深度神经网络,它将文本(Llama 3.2)、音频(Wav2Vec-Bert)和视频(V-JEPA 2)基础模型的预训练表征作为输入,通过一个Transformer编码器来建模其时间动态和跨模态整合,最终预测全脑的fMRI反应。 新在哪里:与之前工作相比,TRIBE首次实现了同时是非线性的、多主体的、多模态的端到端脑编码。它超越了简单的线性映射,并允许在多个被试的数据上联合训练一个共享模型。 主要实验结果:TRIBE在Algonauts 2025脑编码竞赛中获得第一名(267个团队),平均Pearson相关系数为0.2146,显著领先第二名(见表1)。消融实验表明,多模态模型(0.31)显著优于最佳单模态模型(视频0.25),且这种优势在前额叶、顶叶等高级联合皮层最为明显(见图4)。模型能够预测所有1000个脑区,并在多种高度分布外的电影上展现出鲁棒性(见表2)。 实际意义:为神经科学提供了一个统一的建模框架,使得从多模态自然刺激预测全脑活动成为可能,有望推动对知觉、理解等认知过程的整体性研究,并为“计算机实验”提供新工具。 主要局限性:当前模型基于粗粒度的脑区分割(1000个区域),损失了精细的空间信息;仅使用了fMRI数据,无法捕捉快速的神经电活动;目前仅在4名被试上进行训练和验证。 🏗️ 模型架构 TRIBE的整体架构旨在将三种模态的刺激信息融合,并预测全脑的BOLD响应。其流程可概括为:特征提取 -> 多模态融合 -> 时序建模 -> 全脑预测。 ...

2026-05-04 · 更新于 2026-05-19 · 2 min · 348 words