多任务学习

语音/音乐/音频论文速递 2026-05-07 共分析 22 篇论文 ⚡ 今日概览 📥 抓取 22 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频分类 3篇 ███ #音乐信息检索 2篇 ██ #音乐生成 2篇 ██ #音频质量评估 1篇 █ #语音识别 1篇 █ #语音情感识别 1篇 █ #标签分布学习 1篇 █ #视频编辑 1篇 █ 📊 论文评分排行榜（22 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Ev 8.5分 前10% #音频质量评估 🥈 PHALAR: Phasors for Learned Musical Audio Representatio 8.5分 前10% #音乐信息检索 🥉 The TTS-STT Flywheel: Synthetic Entity-Dense Audio Clos 8.5分 前25% #语音识别 4. To Fuse or to Drop? Dual-Path Learning for Resolving Mo 8.0分 前25% #语音情感识别 5. Trustworthy Federated Label Distribution Learning under 8.0分 前25% #标签分布学习 6. AVI-Edit: Audio-sync Video Instance Editing with Granul 8.0分 前25% #视频编辑 7. Empirical Study of Pop and Jazz Mix Ratios for Genre-Ad 7.5分 前50% #音乐生成 8. Hearing the Ocean: Bio-inspired Gammatone-CNN framework 7.5分 前25% #音频分类 9. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 7.5分 前25% #音频安全 10. SEI-SHIELD: Robust Specific Emitter Identification Unde 7.5分 前25% #信号处理 11. OceanPile: A Large-Scale Multimodal Ocean Corpus for Fo 7.5分 前25% #音频分类 12. MiniMind-O Technical Report: An Open Small-Scale Speech 7.5分 前25% #语音对话系统 13. APEX: Large-scale Multi-task Aesthetic-Informed Popular 7.5分 前25% #音乐评估 14. Spatial-Magnifier: Spatial upsampling for multichannel 7.0分 前25% #语音增强 15. VocalParse: Towards Unified and Scalable Singing Voice 7.0分 前25% #音乐转录 16. Benchmarking LLMs on the Massive Sound Embedding Benchm 7.0分 前50% #音频分类 17. Stage-adaptive audio diffusion modeling 7.0分 前25% #音频生成 18. Adaptive Diagonal Loading for Norm Constrained Beamform 7.0分 前25% #波束成形 19. RenCon 2025: Revival of the Expressive Performance Rend 7.0分 前50% #音乐生成 20. Beyond Seeing Is Believing: On Crowdsourced Detection o 7.0分 前25% #音频深度伪造检测 21. Stage Light is Sequence^2: Multi-Light Control via Imit 7.0分 前25% #舞台技术 22. Library learning with e-graphs on jazz harmony 6.5分 前50% #音乐信息检索 📋 论文列表 🥇 JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Evaluation via Natural Language Instructions 🔥 8.5/10 | 前10% | #音频质量评估 | #大语言模型 | #多模态模型 #零样本 | arxiv ...

📄 APEX: Large-scale Multi-task Aesthetic-Informed Popularity Prediction for AI-Generated Music #音乐理解 #多任务学习 #自监督学习 #音乐生成 🔥 8.0/10 | 前25% | #音乐理解 | #多任务学习 | #自监督学习 #音乐生成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.7 | 置信度 高 👥 作者与机构 第一作者：Jaavid Aktar Husain（AMAAI Lab, Singapore University of Technology and Design） 通讯作者：Dorien Herremans（AMAAI Lab, Singapore University of Technology and Design） 作者列表：Jaavid Aktar Husain（AMAAI Lab, Singapore University of Technology and Design）、Dorien Herremans（AMAAI Lab, Singapore University of Technology and Design） 💡 毒舌点评 论文的最大亮点是首次为AI生成音乐构建了流行度与美学质量的联合预测框架，并用严谨的跨架构泛化实验证明了美学特征的有效性，为这一新兴领域提供了有价值的分析视角。短板在于其核心的多任务学习框架在技术上相对常规，且实验结果显示美学辅助任务对主流行度任务的提升有限，这使得“联合预测”带来的增益不够突出。 ...

📄 Toward Structural Multimodal Representations: Specialization, Selection, and Sparsification via Mixture-of-Experts #多模态模型 #自监督学习 #对比学习 #多任务学习 #模型评估 ✅ 7.0/10 | 前25% | #多模态模型 | #自监督学习 | #对比学习 #多任务学习 | arxiv 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Hahyeon Choi（未说明具体机构） 通讯作者：Nojun Kwak（未说明具体机构） 作者列表：Hahyeon Choi（未说明具体机构），Nojun Kwak（未说明具体机构） （注：论文作者列表仅提供姓名，未在正文中明确标注所属大学、实验室或公司。根据致谢部分，研究由韩国政府资助，但作者具体机构未在文中说明。） 💡 毒舌点评 论文最大的亮点在于它没有陷入“目标函数炼丹”，而是从“表示结构”的角度为多模态学习提出了一个清晰、模块化的三阶段框架（S3），理论分析也挺到位，尤其是对对比学习和InfoMax方法缺陷的剖析。不过，短板也很明显：它把一个通用的多模态框架牢牢焊死在了“视频情感分析”这个应用场景上，实验完全基于MultiBench里的四个情感任务，既没碰音频，也没展示在更广泛任务（如检索、生成）上的威力，让人怀疑这“结构化”的优势到底有多通用。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：论文中未提及 数据集：论文中提及使用了 MultiBench 基准套件中的四个数据集：MOSEI、MOSI、UR-FUNNY 和 MUStARD。论文中未提供这些数据集的具体获取链接。 Demo：论文中未提及 复现材料：论文中未提及训练配置、检查点等具体复现材料。文中提供了实验细节（如附录 G.2）和部分消融研究结果（如表 3， 表 4），但未提供完整的代码或模型文件。 论文中引用的开源项目： MultiBench：论文中提及的多模态基准套件，但未提供链接。 CLIP：论文中作为对比方法提及，但未提供链接。 FactorCL：论文中作为对比方法提及，但未提供链接。 FOCAL：论文中作为对比方法提及，但未提供链接。 JointOpt：论文中作为对比方法提及，但未提供链接。 DisentangledSSL：论文中作为对比方法提及，但未提供链接。 补充信息 细节详述 补充：论文未在正文中提供具体的训练超参数（如学习率、优化器、训练轮数），但在附录G.2中说明其设置遵循先前工作（Liang et al., 2023; Wang et al., 2025）以进行公平对比。 实验结果 补充：论文Table 1提供了不同粒度χ和稀疏化比例p下的完整性能数据，更清晰地展示了“反U型”曲线。以χ=8在MOSEI上的结果为例，完整S3性能随p值从1.0降至0.1的变化为：75.78% (Special.) → 77.36% (p=1.0) → 77.95% (p=0.7) → 77.01% (p=0.1)。论文Table 2显示，与最强基线DisentangledSSL相比，S3在MOSI上的提升约为1.0%（65.16% vs 66.13%），在MUStARD上的提升约为1.0%（61.60% vs 62.56%）。 细节详述 补充：论文附录H.3的Table 4提供了“选择”阶段可训练参数的比例，显示仅更新路由器参数，其占比在0.0984%（χ=2）到1.0708%（χ=8）之间，强调了该阶段的高效性。 模型架构 补充：论文4.4节详细解释了超参数“粒度χ”与“扩展比ρ”的关系和设计动机。χ决定了专家隐藏维度（D_expert = D_ffn / χ），ρ决定了参数增加量（ρ = P_moe / P_ffn），总专家数N_expert = χ * ρ。论文固定ρ=8，并说明将激活专家数k设为等于χ，以保证与原始FFN的公平比较。 核心摘要 补充：论文在结论部分明确列出了未来研究方向，包括：(1) 针对关键任务的模态自适应信息保留；(2) 对模型深度中语义抽象的层自适应建模；(3) 减少标签依赖的自监督路由适应；(4) 更精确语义分解的增强专家特化；(5) 自适应粒度和剪枝策略的稀疏化。这反映了作者对框架局限性的认识和未来拓展路径。 作者与机构 补充：论文致谢部分明确说明研究由韩国政府通过IITP的三个基金（RS-2021-II211343, RS-2022-II220953, RS-2025-25442338）资助。 📌 核心摘要 解决的问题：现有主流多模态表示学习方法存在根本矛盾——对比学习（Contrastive Learning）倾向于对齐共享信息但丢失模态独特信息，而信息最大化（InfoMax）方法试图保留所有信息却引入大量任务无关冗余。论文指出，这种矛盾部分源于缺乏将表示结构化的归纳偏置。 方法核心：提出S3（特化、选择、稀疏化）框架，基于混合专家（MoE）模型构建结构化的多模态表示。 特化（Specialization）：使用MoE编码器将多模态输入分解为概念级的“专家”表示，并通过信息最大化损失和分布语义一致性（DSC）约束进行自监督预训练。 选择（Selection）：冻结编码器，仅微调路由网络，通过监督对比损失（促进任务充分性）和基于vMF分布的紧致性损失（促进信息最小性）来选择性激活任务相关专家。 稀疏化（Sparsification）：在推理时，根据路由分数剪枝低贡献的专家路径，无需额外训练，得到更简洁的表示。 创新之处：核心创新是从“结构”视角重新设计MMRL，将信息显式分解为可选择的语义组件，而非优化单一损失函数。这提供了理论上的“任务充分性”与“信息最小性”的统一框架，并发现了性能随稀疏度呈“反U型”曲线的关键现象。 实验结果：在MultiBench的四个情感分析基准（MOSEI, MOSI, UR-FUNNY, MUStARD）上，S3框架在多个细粒度设置（χ=8）下取得了最优的线性探测准确率。例如，在MOSEI上，完整S3框架（χ=8，剪枝后）达到77.95% 的准确率，超过了之前最好的DisentangledSSL（77.45%）和CLIP（76.87%）。关键消融实验表明，三阶段流程是必要的，单独使用稀疏化效果不佳。 实际意义：该框架为构建更可控、高效的多模态模型提供了新思路，其“选择-稀疏”机制允许在推理时动态权衡性能与计算效率，对边缘部署等场景有潜在价值。所提出的“结构化”理念可能启发其他领域表示学习的设计。 主要局限：实验范围局限于视觉-文本模态和情感分析任务，未验证在其他模态（如音频）或任务（如检索、生成）上的通用性。评估仅使用线性探测，未与端到端微调或其他评估方式对比。理论上的“分布语义一致性”在实际模型中如何精确实现和验证仍需深入探讨。 🏗️ 模型架构 S3框架是一个三阶段的模块化流程，其核心架构基于混合专家（Mixture-of-Experts, MoE） 构建。 ...

语音/音乐/音频论文速递 2026-05-06 共分析 23 篇论文 ⚡ 今日概览 📥 抓取 23 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 5篇 █████ #音乐信息检索 3篇 ███ #生物声学 3篇 ███ #音频深度伪造检测 2篇 ██ #音频事件检测 1篇 █ #音乐理解 1篇 █ #语音生物标志物 1篇 █ #语音对话系统 1篇 █ 📊 论文评分排行榜（23 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Towards Open World Sound Event Detection 8.5分 前25% #音频事件检测 🥈 The TTS-STT Flywheel: Synthetic Entity-Dense Audio Clos 8.5分 前25% #语音识别 🥉 PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前10% #音乐信息检索 4. Ecologically-Constrained Task Arithmetic for Multi-Taxa 8.0分 前25% #生物声学 5. AfriVox-v2: A Domain-Verticalized Benchmark for In-the- 8.0分 前25% #语音识别 6. APEX: Large-scale Multi-task Aesthetic-Informed Popular 8.0分 前25% #音乐理解 7. Mixed-Precision Information Bottlenecks for On-Device T 8.0分 前25% #语音生物标志物 8. MiniMind-O Technical Report: An Open Small-Scale Speech 7.5分 前25% #语音对话系统 9. Deepfake Audio Detection Using Self-supervised Fusion R 7.5分 前25% #音频深度伪造检测 10. Smart Passive Acoustic Monitoring: Embedding a Classifi 7.5分 前25% #生物声学 11. DECKER: Domain-invariant Embedding for Cross-Keyboard E 7.5分 前25% #音频安全 12. Contrastive Regularization for Accent-Robust ASR 7.5分 前25% #语音识别 13. AsymK-Talker: Real-Time and Long-Horizon Talking Head G 7.5分 前25% #语音合成 14. Learning Generalizable Action Representations via Pre-t 7.5分 前25% #生物声学 15. Stage Light is Sequence$^2$: Multi-Light Control via Im 7.5分 前25% #音乐信息检索 16. Enhancing Self-Supervised Talking Head Forgery Detectio 7.5分 前25% #说话头伪造检测 17. ReasonAudio: A Benchmark for Evaluating Reasoning Beyon 7.5分 前25% #音频检索 18. Assessing the Impact of Noise and Speech Enhancement on 7.0分 前25% #模型评估 19. Phoneme-Level Deepfake Detection Across Emotional Condi 7.0分 前50% #音频深度伪造检测 20. A Comprehensive Analysis of Tokenization and Self-Super 7.0分 前50% #语音识别 21. Toward Structural Multimodal Representations: Specializ 7.0分 前25% #多模态模型 22. Cosmodoit: A Python Package for Adaptive, Efficient Pip 6.5分 前50% #音乐信息检索 23. A Paradigm for Interpreting Metrics and Identifying Cri 6.0分 前50% #语音识别 📋 论文列表 🥇 Towards Open World Sound Event Detection 🔥 8.5/10 | 前25% | #音频事件检测 | #Transformer | #开放世界学习 #增量学习 | arxiv ...

📄 Multi-Axis Speech Similarity via Factor-Partitioned Embeddings #音频检索 #多任务学习 #对比学习 #说话人识别 ✅ 6.0/10 | 前50% | #音频检索 | #多任务学习 | #对比学习 #说话人识别 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -1 | 置信度 中 👥 作者与机构 第一作者：Jim O‘Regan（KTH Royal Institute of Technology， Department of Speech, Music & Hearing） 通讯作者：未说明（论文中仅列出两位作者的邮箱，未明确标注通讯作者） 作者列表：Jim O’Regan（KTH Royal Institute of Technology， Department of Speech, Music & Hearing）、Jens Edlund（KTH Royal Institute of Technology， Department of Speech, Music & Hearing） 💡 毒舌点评 亮点：概念非常新颖，首次提出用带符号的加权组合在语音嵌入的多个子空间中实现可控检索（如用负权重“讨厌”某个说话人），并通过精心设计的“偏好翻转”实验证实了这一机制的可行性。短板：最引人深思的发现——语义投影头在没有说话人监督时会完全“摆烂”——恰恰揭示了该方法目前最大的脆弱性，它更像是一个对训练技巧敏感的“特例”，而非一个稳健的通用框架，且极小的实验规模和完全缺失的开源信息让说服力大打折扣。 ...

📄 A Hidden Semantic Bottleneck in Conditional Embeddings of Diffusion Transformers #扩散模型 #图像生成 #多任务学习 #模型评估 #基准测试 🔥 8.5/10 | 前25% | #图像生成 | #扩散模型 | #多任务学习 #模型评估 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Trung X. Pham（韩国科学技术院，KAIST） 通讯作者：Chang D. Yoo（韩国科学技术院，KAIST） 作者列表：Trung X. Pham（KAIST）、Kang Zhang（KAIST）、Ji Woo Hong（KAIST）、Chang D. Yoo（KAIST） 💡 毒舌点评 本文首次系统性地揭示了扩散Transformer条件嵌入中高达99%的角相似性和超过66%的维度冗余，这是一个反直觉且重要的发现，为模型压缩和条件机制设计指明了新方向。但遗憾的是，论文对“为何如此”的理论解释仍停留在假设阶段（如“训练动态导致稳定信号”），缺乏更深入的数学分析或机制性验证，使得这个精彩观察的理论深度打了折扣。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文分析基于多个公开发布的预训练模型检查点（DiT， MDT， SiT， REPA， LightningDiT， MG， X-MDPT， MDSGen等），并指明使用其官方发布的XL/Large/B-Size模型。 数据集：分析所用数据集为公开的ImageNet-1K， DeepFashion， VGGSound。 Demo：未提及。 复现材料：论文提供了详细的实验设置（如生成5000个样本，使用特定评估代码），关键超参数（剪枝阈值τ），以及大量的附录图表，为复现分析提供了充分信息。 论文中引用的开源项目：引用了被分析模型的官方代码仓库（如Peebles & Xie 2023对应DiT， Yu et al. 2025对应REPA等），以及评估工具（LightningDiT的评估代码）。 📌 核心摘要 这篇论文旨在解决对Transformer基扩散模型中条件嵌入（conditional embedding）结构理解不足的问题。方法核心是对多个SOTA扩散Transformer（如DiT， REPA等）的条件向量进行系统分析，揭示其普遍存在的“语义瓶颈”现象。与已有方法相比，本文是首个聚焦于条件嵌入内部结构（而非模型架构或训练目标）的系统性研究。主要实验结果表明：在ImageNet-1K类条件任务中，不同类别的条件向量余弦相似度超过99%；在连续条件任务（如姿态引导图像生成）中，相似度超过99.9%。同时，语义信息集中在约1-2%的高幅度维度（“头部”），其余维度（“尾部”）贡献极小。即使剪枝掉多达66%的尾部维度，生成质量（FID）和语义一致性（CLIP）也能保持甚至略有提升。实际意义在于揭示了当前条件编码方案存在巨大冗余，为设计更高效、更轻量的条件注入机制（如稀疏条件、更紧凑的嵌入）提供了实证依据和设计启示。主要局限性是论文提出的解释（如“AdaLN放大头部维度”、“抑制尾部噪声”）主要是假设和定性分析，缺乏定量验证或理论证明。 ...

📄 Bridging Piano Transcription and Rendering via Disentangled Score Content and Style #音乐信息检索 #音乐生成 #多任务学习 #扩散模型 #解耦表示学习 🔥 8.0/10 | 前25% | #音乐信息检索 | #多任务学习 | #音乐生成 #扩散模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Wei Zeng (National University of Singapore, Integrative Sciences and Engineering Programme, NUS Graduate School; School of Computing) 通讯作者：Ye Wang (National University of Singapore, Integrative Sciences and Engineering Programme, NUS Graduate School; School of Singapore, Email: dcswangy@nus.edu.sg) 作者列表：Wei Zeng (National University of Singapore, Integrative Sciences and Engineering Programme, NUS Graduate School; School of Computing), Junchuan Zhao (National University of Singapore, School of Computing), Ye Wang (National University of Singapore, Integrative Sciences and Engineering Programme, NUS Graduate School; School of Computing) 💡 毒舌点评 亮点：巧妙地将演奏渲染（EPR）和乐谱转录（APT）这两个互逆任务统一到一个解耦表示学习的框架中，不仅提升了两个任务的性能，还为可控的音乐表达（风格迁移、自动推荐）开辟了新路径，理论动机清晰，工程实现完整。 短板：模型本身规模较大（188M参数），且PSR模块需要单独训练和推理，增加了部署复杂性；实验数据主要局限于古典钢琴音乐，其在更广泛音乐流派（如爵士、流行）上的泛化能力未得到验证。 ...

📄 From Natural Alignment to Conditional Controllability in Multimodal Dialogue #语音合成 #多模态模型 #预训练 #多任务学习 #基准测试 🔥 8.0/10 | 前25% | #语音合成 | #多任务学习 | #多模态模型 #预训练 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zeyu Jin（清华大学计算机科学与技术系）（论文标注共同贡献） 通讯作者：Xiaoyu Qin（清华大学计算机科学与技术系）、Jia Jia（清华大学计算机科学与技术系/BNRist） 作者列表： Zeyu Jin（清华大学计算机科学与技术系） Songtao Zhou（清华大学计算机科学与技术系）（共同贡献） Haoyu Wang（清华大学计算机科学与技术系） Minghao Tian（Rice University） Kaifeng Yun（清华大学深圳国际研究生院） Zhuo Chen（字节跳动） Xiaoyu Qin（清华大学计算机科学与技术系） Jia Jia（清华大学计算机科学与技术系/BNRist） 💡 毒舌点评 论文在数据集构建和任务定义上表现出色，其提出的数据整理管道和“情感三元组”标注范式为可控多模态对话研究提供了坚实基础，但核心模型创新有限，且部分实验局限于验证数据集有效性，未能充分探索更先进的生成架构。 🔗 开源详情 代码：论文在摘要和结论中明确提到将公开代码和数据整理管道，GitHub仓库链接已在论文中给出（https://github.com/jessyjinzy/MM-Dia）。 模型权重：论文未提及将公开其微调后的模型（如Higgs-Audio-V2-SFT）权重。 数据集：MM-DIA和MM-DIA-BENCH已承诺开源，但具体获取方式需联系作者或等待发布。 Demo：论文提到了一个演示页面（https://mmdiaiclr26.github.io/mmdiaiclr26/），展示了不同控制变量下的语音合成样本。 复现材料：论文在“Reproducibility Statement”中承诺提供数据集、代码、模型配置、训练过程和评估协议的细节。附录包含了管道实现的部分算法和消融实验，但完整的训练超参数和硬件信息缺失。 引用的开源项目：论文中提到了多个依赖的开源工具和模型，包括：Higgs-Audio-V2 (Boson AI)、Dia-1.6B (Nari Labs)、Gemini-2.5系列、Qwen2.5-VL、InsightFace工具包、多个基线模型（HarmoniVox, FLOAT, MultiTalk, Sonic, Wan-2.2, HunyuanVideo）以及UTMOS、WER等评估工具。 📌 核心摘要 这篇论文旨在解决可控多模态对话生成中面临的三个核心挑战：高质量原生多模态对话数据稀缺、交互级语义的可扩展标注方法缺失，以及系统性评估基准不足。 其核心方法是构建了一个从电影和电视剧中自动提取、标注对话的“数据整理管道”，并据此创建了大规模多模态对话数据集 MM-DIA（360+小时，54,700段对话）。该数据集首次专注于跨模态的对话表达力，提供了句子级和对话级的细粒度交互标注，包括说话人身份、非语言声音和两种表达力标注范式：“情感三元组”（关系、互动模式、情感基调）和“自由描述”。同时，论文提出了 MM-DIA-BENCH 作为评估跨模态风格一致性的基准。 论文正式定义了多模态对话生成（MDG）任务，并将其应用于三个具体任务：1）风格可控对话语音合成（显式控制），2）视觉条件对话语音合成（隐式控制），3）语音驱动对话视频生成（隐式控制）。 主要实验结果显示：在MM-DIA上微调预训练模型（如Higgs-Audio-V2）后，风格可控对话语音合成任务在可懂度（WER从31.25降至4.45）和指令遵循度上显著提升。然而，在MM-DIA-BENCH上的测试表明，现有模型在维持隐式跨模态风格一致性方面存在明显不足，特别是在音视频对齐和对话级表达力方面。 这项工作的实际意义在于为可控、富有表现力的多模态对话生成研究建立了首个大规模数据集、统一任务框架和评估基准，指明了未来需要加强跨模态语义对齐和长程推理的研究方向。主要局限性是MDG任务仍处于初步定义阶段，且现有基线模型在隐式控制任务上表现不佳，表明这是一个开放且具挑战性的领域。 ...

📄 Group Cognition Learning: Making Everything Better Through Governed Two-Stage Agents Collaboration #多模态模型 #跨模态 #多任务学习 #鲁棒性 ✅ 7.5/10 | 前25% | #多模态模型 | #多任务学习 | #跨模态 #鲁棒性 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Chunlei Meng 通讯作者：Chun Ouyang* 作者列表：Chunlei Meng、Pengbin Feng、Rong Fu、Hoi Leong Lee、Xiaojing Du、Zhaolu Kang、Zeyu Zhang、Weilin Zhou、Chun Ouyang*、Zhongxue Gan（所有作者所属机构均未在提供的论文文本中说明） 💡 毒舌点评 亮点：论文最大的亮点在于提出了一个完整且逻辑严密的“治理”范式来规范多模态交互，将“选择性交互”和“共识形成”拆分为两个有明确监督信号的阶段，这比单纯堆叠融合模块或依赖隐式梯度的学习方式更具可解释性和可控性。 短板：尽管效率分析显示其计算量低于部分近期基线，但引入多个代理模块（路由、审计、公共因子、聚合）不可避免地增加了系统设计的复杂度和训练的不确定性（例如多个辅助损失的平衡），其“复杂治理”是否是解决该问题的最优路径，而非一个工程上可行的解，值得商榷。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：论文中未提及 数据集：论文中提及的公开标准数据集，未提供具体链接：CMU-MOSI， CMU-MOSEI， MIntRec Demo：论文中未提及 复现材料：论文中提供了部分实现细节（如使用PyTorch， Adam优化器，批量大小128， NVIDIA A100 GPU，早停耐心值6，5折交叉验证用于模型选择），但未提供具体的配置文件、检查点或附录材料的链接。 论文中引用的开源项目：未提及 补充信息 [实验结果] 补充：论文表1中，GCL在CMU-MOSI上的相关系数(Corr)为0.812，F1分数为86.40%；在CMU-MOSEI上的相关系数(Corr)为0.785，F1分数为86.55%。这些指标在已有分析的表格中未列出。 [实验结果] 补充：论文表4提供了详细的效率对比数据。GCL的参数量为117.56M，平均每个epoch的训练时间为20.06秒。对比基线包括MISA (114.2M, 24.18s)、FDMER (118.5M, 29.5s)、ConFede (256.98M, 40.12s)和EMOE (143.5M, 26.8s)。 [细节详述] 补充：论文在4.1节“Implementation Details”中明确列出了关键训练参数：学习率未在文中明确说明，但提到了使用Adam优化器、批量大小128、权重衰减1×10^{-4}，并在单张NVIDIA A100 GPU (32GB)上训练。 [模型架构] 补充：论文在“Auditing Agent”部分（公式4）强调，最终的准入门控 α^{m→n} 是路由概率（softmax归一化）与基于增益的sigmoid门控值的乘积。这种乘法组合确保了交互必须同时满足“路由意图”和“预测增益”两个条件。 [核心摘要/毒舌点评] 补充：论文在引言和结论中隐含了一个关键局限性：审计代理在训练时依赖“教师增益”（公式2），该增益通过临时融合消息计算得到，引入了训练与推理时的不一致性（推理时使用学习到的增益预测器，公式3）。这种设计虽然有效，但可能带来训练不稳定性或泛化误差，分析中未明确点出这一机制固有的挑战。 [消融实验] 补充：论文表3的消融实验还包括“模态配置”的消融。例如，仅使用语言模态(only Language)在CMU-MOSI上的MAE为0.714，Acc-7为47.10%；完全移除语言模态(w/o Language)则性能急剧下降，MAE升至0.905，Acc-7降至38.60%。这凸显了语言模态的主导作用，而GCL通过治理机制有效融合了其他弱模态。 [评分理由] 补充：论文在4.5节“Efficiency Analysis”中自我声明了效率优势，并与近期基线ConFede和EMOE进行了量化对比（见补充的实验结果部分）。这是其学术质量的一个重要支撑点。 📌 核心摘要 要解决的问题：多模态学习中普遍存在的“模态主导”（优化倾向于利用简单模态，忽略弱但有用模态）和“虚假耦合”（模型过拟合于跨模态间偶然的、与标签无关的关联）两大问题。 方法核心：提出群组认知学习（GCL），一种受协议治理的协作范式。它采用两阶段架构：阶段一（选择性交互） 由路由代理提议模态间信息交换路径，审计代理基于预测增益进行采样级门控筛选；阶段二（共识形成） 由公共因子代理提取显式共享语义，聚合代理根据贡献度加权融合，同时保留模态专有通道。 新在何处：与以往依赖隐式融合或静态解耦的方法不同，GCL首次将多模态交互过程形式化为一个受监督、可审计的动态协议。它显式地调控“谁与谁交流”（路由）以及“交流是否被允许”（基于边际增益的审计），从而在过程层面抑制冗余耦合。 主要实验结果：在CMU-MOSI、CMU-MOSEI（情感分析）和MIntRec（意图识别）三个基准上达到SOTA。例如，在CMU-MOSI上，GCL的MAE降至0.685（相比最佳基线TSDA的0.695），二分类准确率提升至86.79%（相比TSDA的86.3%）。消融实验验证了每个组件（如审计代理、公共因子、冗余损失）的有效性。鲁棒性分析显示，GCL在注入高斯噪声或进行消息置换扰动时，性能下降更平缓，表现出更强的稳定性。 实际意义：为构建更鲁棒、可解释的多模态系统提供了一种新思路，其治理机制可推广至任何需要动态、可控协作的复杂智能体系统，有助于模型在现实噪声环境下稳定工作。 主要局限性：框架复杂度增加，引入了多个需要协同训练的代理和辅助损失项，可能带来调参困难。其效率优势是相对于特定基线而言，绝对计算成本仍高于单模态模型。未提供开源代码，影响验证与应用。 🏗️ 模型架构 GCL的整体架构是一个两阶段协议驱动的系统，其输入是语言、声学、视觉三种模态的特征（\(h^l, h^a, h^v\)），最终输出一个预测值 \(\hat{o}\)。核心在于在编码器后增加了一个治理层，将学习过程从“隐式融合”转变为“显式协作”。 ...

📄 MMAudio-LABEL: Audio Event Labeling via Audio Generation for Silent Video #音频生成 #流匹配 #音频事件检测 #多任务学习 #多模态模型 ✅ 7.5/10 | 前25% | #音频生成 | #流匹配 | #音频事件检测 #多任务学习 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Kazuya Tateishi（索尼集团，日本） 通讯作者：未说明 作者列表：Kazuya Tateishi（索尼集团，日本）、Akira Takahashi（索尼集团，日本）、Atsuo Hiroe（索尼集团，日本）、Hirofumi Takeda（索尼集团，日本）、Shusuke Takahashi（索尼集团，日本）、Yuki Mitsufuji（索尼集团，日本 & 索尼AI，美国） 💡 毒舌点评 这篇论文的亮点在于它巧妙地利用视频到音频生成任务作为“桥梁”，将音频事件检测任务“融入”生成过程本身，通过联合建模显著提升了事件预测的准确性和生成音频的质量，这是一个思路清晰且实用的改进。但其短板也很明显：所有实验仅在一个高度受控、类别单一的“敲击”数据集（Greatest Hits）上进行，结论对于更复杂、声学环境多样的真实世界场景（如电影、自然录音）的泛化能力未经检验，显得说服力不足。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及预训练或微调后模型权重的下载链接。 数据集：论文中未提及具体的数据集下载链接或开源协议，仅说明使用了Greatest Hits dataset。 Demo：论文中未提及在线演示链接。 复现材料：论文中未提及训练配置文件、检查点文件或代码附录等具体复现材料的下载链接。但文中提供了详细的实现细节（3.2节），包括硬件环境、优化器、学习率策略、训练步数等超参数信息。 论文中引用的开源项目： MMAudio：论文中作为基础模型引用，但未提供其开源仓库链接。 MMAudioSep：论文中作为下游任务应用引用，但未提供链接。 VGGish：论文中作为基线模型引用，但未提供链接。 论文中引用的其他方法（如CondFoley等）也均未提供具体开源链接。 补充信息 [细节详述] 补充：论文明确指出，对于材质分类任务中官方测试集未涵盖的材料类别，评估时使用了验证集中的样本（“For materials not present in the test split, we used samples from the validation split.”）。这一做法可能影响评估结果的严格性与公平性，值得在复现和理解其性能数据时加以注意。 [实验结果] 补充：在材质分类任务的讨论中，论文具体指出了即使经过微调，模型在识别地毯、石膏板和玻璃等形状特征不明显的材质时仍面临挑战（“recognizing materials with less distinctive shapes, such as carpet, drywall, and glass remains a challenge”）。这指出了当前方法在细粒度视觉-声音关联建模上的局限性。 [实验结果] 补充：为确保测试时输入时长（2秒）与训练时（8秒）匹配，论文采用了循环拼接（loop and concatenate）策略（“we looped and concatenated each clip to 8 s before running inference. We used the predictions corresponding to the first 2 s for evaluation.”）。这是一种常见的处理方式，但可能引入不自然的重复内容，论文未讨论其对生成音频质量或事件检测的潜在影响。 [细节详述] 补充：论文在讨论联合头架构时指出，为将事件逻辑值（logits）与音频潜变量拼接，需要扩展潜变量维度。具体地，起始点检测任务为21维（20维音频+1维事件），材质分类任务为37维（20维音频+17维事件），并在流预测头输出后进行拆分（“we augmented the audio latent dimensionality with the number of event classes… and split them into audio and event components after the flow head.”）。 📌 核心摘要 这篇论文针对从静音视频生成音频的实用化需求，提出了MMAudio-LABEL框架。其要解决的问题是，现有方法要么只生成音频而缺乏事件级信息，要么采用“生成后检测”的流水线，易受误差累积影响且丢失视觉上下文。方法核心是构建一个“事件感知”的生成框架，联合学习音频生成和帧级声音事件预测，而不是后接独立的分类器。与已有方法相比，新在提出了“联合头”（Joint Heads）架构，将事件逻辑值视为连续变量并加入噪声，与音频潜变量拼接后，由统一的流匹配生成头在同一个生成轨迹内联合预测音频和事件，从而在共享的潜空间中更好地融合视觉、音频和事件信息。主要实验结果显示，在Greatest Hits数据集上，该方法在起始点检测（Onset Detection）的准确率从基线的46.7%提升至75.0%，材料分类（Material Classification）的准确率从40.6%提升至61.0%，同时生成音频的质量（MCD指标）也得到提升。实际意义在于，该方法为视频到音频合成提供了更可解释和实用的输出（音频+对齐的事件标签），有助于音视频内容创作。主要局限性是评估局限于特定的打击类动作数据集，缺乏更广泛音频事件和复杂场景的验证；此外，论文未提供开源代码或模型权重，影响了可复现性。 ...

📄 OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging #多模态模型 #模型评估 #模型比较 #迁移学习 #多任务学习 ✅ 7.0/10 | 前25% | #模型比较 | #迁移学习 | #多模态模型 #模型评估 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yongxian Wei (清华大学) 通讯作者：Chun Yuan (清华大学) 作者列表：Yongxian Wei (清华大学)， Runxi Cheng (清华大学)， Weike Jin (华为诺亚方舟实验室)， Enneng Yang (中山大学)， Li Shen (中山大学)， Lu Hou (华为诺亚方舟实验室)， Sinan Du (清华大学)， Chun Yuan (清华大学)， Xiaochun Cao (中山大学)， Dacheng Tao (南洋理工大学) 💡 毒舌点评 亮点在于提出了首个系统性的MLLM能力融合基准和“无数据”的模态融合思路，为社区提供了重要的评估框架和基线。短板是论文标题中的“Omni-language model”在实验中仅限于简单的音视频问答融合，与真正意义上的通用全能模型差距较大，且核心方法OptMerge在理论层面更像是对现有技术的巧妙组合。 ...

📄 OWL : Geometry-Aware Spatial Reasoning for Audio Large Language Models #音频大模型 #空间音频 #声源定位 #多任务学习 #数据集 🔥 8.0/10 | 前25% | #空间音频 | #音频大模型 | #声源定位 #多任务学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：未说明（论文标注Subrata Biswas和Mohammad Nur Hossain Khan为共同第一作者） 通讯作者：未说明 作者列表：Subrata Biswas（Worcester Polytechnic Institute电气与计算机工程系）、Mohammad Nur Hossain Khan（Worcester Polytechnic Institute电气与计算机工程系）、Bashima Islam（Worcester Polytechnic Institute电气与计算机工程系） 💡 毒舌点评 这篇论文为音频大模型装上了“空间几何眼睛”，通过“模拟训练-纯音频推理”的巧思和详实的课程学习，确实把空间定位和推理精度提升了一个台阶；但美中不足的是，其所有辉煌战绩（包括新建的百万级数据集）均建立在精心构建的合成世界里，在真实嘈杂、反射复杂的声学环境中，这套“几何内功”的实战效果还有待“出关”检验。 🔗 开源详情 代码：论文明确提供代码仓库链接：https://github.com/BASHLab/OWL。表明将在该仓库发布代码。 模型权重：未明确提及是否公开预训练模型权重，但根据“our dataset and code are available”的表述，模型权重可能包含在开源计划内。 数据集：论文明确表示将发布BiDepth数据集（“we construct and release BiDepth”），包含约110万QA对。 Demo：未提及在线演示。 复现材料：附录提供了完整的训练超参数（表10，表11）、特征提取公式（B.1）、模型架构细节（B.2， B.3）和数据集生成细节（A节），复现指引非常充分。 论文中引用的开源项目：依赖SoundSpaces v2.0和Matterport3D进行模拟；音频编码器初始化自AudioMAE；语言模型使用LLaMA-2-7B；投影模块参考Q-Former；微调使用LoRA。 📌 核心摘要 要解决什么问题：现有的音频大语言模型（ALLMs）在空间推理方面能力薄弱，主要依赖粗糙的双耳线索和单步推理，导致在声源方向（DoA）和距离估计上精度不足，且推理过程缺乏可解释性。 方法核心是什么：提出OWL框架，其核心是创新的几何感知音频编码器SAGE。SAGE在训练时利用全景深度图和模拟房间脉冲响应（RIR）作为监督信号，让编码器学会将声学特征与3D空间几何结构对齐，但在推理时只需音频输入。OWL进一步将SAGE与空间接地的链式思维（CoT） 推理相结合，支持从感知到多步推理的课程学习。 与已有方法相比新在哪里：首次将显式的几何监督（通过RIR预测任务）引入音频编码器训练；构建了首个大规模（约110万QA对）耦合双耳音频、RIR和深度图的数据集BiDepth用于几何感知训练；引入了针对音频空间推理的多阶段课程学习和CoT监督机制，使模型能生成可解释的推理路径。 主要实验结果如何：在BiDepth和SpatialSoundQA两个基准上，OWL显著超越了现有方法。SAGE相比SOTA（Spatial-AST），在BiDepth数据集上平均角度误差（MAE）降低25.52%，距离错误率（DER）降低31.34%。OWL相比BAT，在BiDepth上的空间推理二分类准确率（BA）提升24.9%（77.89% vs. 69.46%），在SpatialSoundQA上的推理平均准确率达79.06%（BAT为76.89%）。OWL在真实世界音频场景分类和声源定位任务上也展现出良好的泛化能力。 实际意义是什么：该工作推动了音频大模型从“听到什么”向“声音在哪里、如何关联”的空间理解迈进，为构建更接近人类听觉感知的智能系统（如机器人、智能家居助手、助听设备）提供了关键技术组件和评估基准。 主要局限性是什么：训练和评估严重依赖合成数据（BiDepth），而真实世界声学环境更为复杂多变，模型的鲁棒性有待验证；目前的推理任务限于单轮问答，尚未扩展到多轮对话式空间推理；几何监督依赖于预先生成的深度图和RIR，限制了其在完全未知环境中的应用。 🏗️ 模型架构 OWL是一个完整的空间音频问答系统，其架构（如图4所示）由三个主要部分串联而成，旨在将原始双耳波形转化为带有空间推理的文本输出。 ...

📄 SpeechOp: Inference-Time Task Composition for Generative Speech Processing #语音增强 #语音分离 #扩散模型 #多任务学习 #零样本 ✅ 7.5/10 | 前25% | #语音增强 | #扩散模型 | #语音分离 #多任务学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Justin Lovelace（Cornell University） 通讯作者：未明确说明（论文作者来自Cornell University和Adobe Research，从贡献描述看，Adobe Research团队的Rithesh Kumar, Jiaqi Su, Ke Chen, Zeyu Jin可能承担更多指导角色，但论文未明确标注通讯作者） 作者列表： Justin Lovelace（Cornell University） Rithesh Kumar（Adobe Research） Jiaqi Su（Adobe Research） Ke Chen（Adobe Research） Kilian Q Weinberger（Cornell University） Zeyu Jin（Adobe Research） 💡 毒舌点评 本文巧妙地将“资源过剩”的TTS模型改造为“资源匮乏”S2S任务的处理器，其提出的TC-CFG推理组合策略从原理上解释了如何优雅地融合不同生成任务的信号，避免了简单的分数平均带来的先验冲突。然而，论文的核心扩散架构（DiT+VAE）和多任务训练范式本身并无颠覆性创新，其真正亮点在于系统整合与工程设计，且在代码和模型开源方面显得较为吝啬，限制了社区的快速跟进与验证。 ...

📄 WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM #多模态模型 #对比学习 #音频检索 #视频检索 #多任务学习 🔥 8.0/10 | 前25% | #音频检索 | #对比学习 | #多模态模型 #视频检索 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Changli Tang (清华大学) 通讯作者：Chao Zhang (清华大学) 作者列表：Changli Tang (清华大学), Qinfan Xiao (清华大学), Ke Mei (腾讯微信视觉), Tianyi Wang (腾讯微信视觉), Fengyun Rao (腾讯微信视觉), Chao Zhang (清华大学) 💡 毒舌点评 这篇论文最大的亮点在于“敢为人先”，首次将文本、音频、视频统一到同一个LLM嵌入空间，打破了传统双编码器的限制，其联合训练策略带来的跨模态性能提升也令人印象深刻。然而，其创新性更多体现在对现有技术（LLM backbone，分层融合，多任务训练）的精巧集成与验证，而非提出颠覆性的新概念，因此对于追求“首个”或“全新范式”的读者而言可能略显不足。 🔗 开源详情 代码：论文中提到代码和检查点将在 https://github.com/TCL606/WAVE 发布。但当前论文PDF中未提供该链接。 模型权重：论文承诺将发布模型检查点（checkpoints）。 数据集：论文使用了多个公开数据集（如Panda-70M, MSR-VTT, AudioCaps等），但未提及发布新的数据集。 Demo：论文中未提及在线演示。 复现材料：论文在Section 3.1, 3.2, 4.1, 4.2中详细描述了模型架构、训练流程、训练数据和超参数，提供了足够的复现信息。 论文中引用的开源项目： 基础模型：Qwen2.5-Omni (Xu et al., 2025) 音频编码器：BEATs (Chen et al., 2022b) 训练数据：WavCaps, AudioCaps, Clotho, Panda-70M等。 其他工具/模型：LoRA (Hu et al., 2022), InternVL-2.5-8B (Chen et al., 2024c) 用于重新标注。 📌 核心摘要 要解决的问题：现有的多模态嵌入模型多基于独立编码器，缺乏一个能同时处理文本、音频、视频，并将它们统一到同一语义空间的通用模型。这对于需要动态模态（如音视频）深度理解的跨模态检索和生成任务是一个瓶颈。 方法核心：提出了WAVE，一个基于Qwen2.5-Omni多模态大语言模型的统一音视频嵌入模型。其核心设计包括：1) 双音频编码器（语音+音频事件）全面捕获音频信息；2) 一种分层特征融合策略，聚合LLM多层隐藏状态以获得更鲁棒的表示；3) 联合多模态多任务训练策略，同时优化检索与问答任务。 与已有方法相比新在哪里：WAVE是首个能够为文本、静音视频、音频以及同步音视频输入生成统一嵌入的LLM-based模型。与现有双编码器模型（如CLIP系列）或专注图像的LLM嵌入模型（如VLM2Vec）不同，WAVE真正实现了对动态音视频模态的统一建模，并具备生成提示感知（prompt-aware）嵌入的能力。 主要实验结果： 视频理解：在MMEB-v2视频基准整体得分59.9%，全面超越LamRA、GME等开源模型，甚至优于工业级模型Seed-1.6-Embedding（55.3%）。 音频/音视频检索：在AudioCaps（文本到音频R@1: 44.2%）、Clotho（25.6%）、VGGSound（视频到音频R@1: 25.0%）等任务上达到SOTA。 提示感知能力：在视频问答任务中，使用单独问题作为提示时平均准确率达72.5%，远超使用通用提示（51.8%），显著优于其他嵌入模型。 消融实验：联合训练优于分别训练（7/8任务上提升）；分层特征融合（All-layer MLP）优于单层池化（如在MSR-VTT上，视频检索R@1从54.7%提升至56.1%）。 主要实验结果见下表： 任务类别 基准 指标 WAVE 7B 最强基线/参考模型 参考值 视频嵌入 MMEB-v2-Video Overall Acc% 59.9 Seed-1.6-Embedding 55.3 MMEB-v2-Video RET R@1 72.5 Seed-1.6-Embedding 60.9 LoVR (theme-to-clip) R@25 66.0 LamRA 7B 60.2 音频检索 AudioCaps R@1 44.2 Reference Model 42.2 Clotho R@1 25.6 Reference Model 21.5 音视频检索 VGGSound R@1 25.0 encoder-only 10.3 音频问答 MMAU Acc% 76.6 Qwen2.5-Omni 7B 71.5 视频问答 MMEB-v2-Video QA (w/ questions) Acc% 72.5 Seed-1.6-Embedding 60.9 实际意义：WAVE提供了一个强大的基线模型，使得在单一模型中处理任意模态组合的检索、分类和问答成为可能，极大地推动了跨模态应用（如通用多模态搜索、内容理解）的发展。 主要局限性：论文未详细讨论模型在面对更复杂、更长或噪声更大的真实世界音视频场景下的鲁棒性。此外，其统一的嵌入空间是否能无缝支持所有下游生成任务（如图像生成）也未验证。 🏗️ 模型架构 WAVE的整体架构如图1所示，其核心是将多种模态的输入通过各自编码器转换为LLM可处理的token序列，再由LLM统一处理并生成统一的嵌入。 ...

语音/音乐/音频论文速递 2026-05-04 共分析 14 篇论文 ⚡ 今日概览 📥 抓取 14 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频生成 2篇 ██ #说话人验证 1篇 █ #声源定位 1篇 █ #音频深度伪造检测 1篇 █ #模型评估 1篇 █ #多模态模型 1篇 █ #主动噪声控制 1篇 █ #音乐理解 1篇 █ 📊 论文评分排行榜（14 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 LASE: Language-Adversarial Speaker Encoding for Indic C 8.5分 前25% #说话人验证 🥈 Towards Improving Speaker Distance Estimation through G 8.5分 前25% #声源定位 🥉 Alethia: A Foundational Encoder for Voice Deepfakes 8.0分 前25% #音频深度伪造检测 4. Beyond Decodability: Reconstructing Language Model Repr 7.5分 前25% #模型评估 5. Fast Text-to-Audio Generation with One-Step Sampling vi 7.5分 前25% #音频生成 6. MMAudio-LABEL: Audio Event Labeling via Audio Generatio 7.5分 前25% #音频生成 7. Group Cognition Learning: Making Everything Better Thro 7.5分 前25% #多模态模型 8. Transformer-based End-to-End Control Filter Generation 7.0分 前25% #主动噪声控制 9. GaMMA: Towards Joint Global-Temporal Music Understandin 7.0分 前25% #音乐理解 10. RoboKA: KAN Informed Multimodal Learning for RoboCall S 7.0分 前25% #语音伪造检测 11. From Birdsong to Rumbles: Classifying Elephant Calls wi 6.5分 前50% #音频分类 12. Timing is Everything: Temporal Scaffolding of Semantic 6.5分 前50% #音频事件检测 13. CustomDancer: Customized Dance Recommendation by Text-D 6.5分 前50% #音频检索 #音乐理解 14. MMAudioReverbs: Video-Guided Acoustic Modeling for Dere 6.0分 前50% #语音增强 📋 论文列表 🥇 LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation 🔥 8.5/10 | 前25% | #说话人验证 | #领域适应 | #多语言 #开源工具 | arxiv ...

📄 Bridging Piano Transcription and Rendering via Disentangled Score Content and Style #音乐信息检索 #多任务学习 #解耦表示学习 #扩散模型 #钢琴转录 🔥 8.0/10 | 前25% | #音乐信息检索 | #多任务学习 #解耦表示学习 | #多任务学习 #解耦表示学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Wei Zeng（新加坡国立大学，综合科学与工程项目，计算学院） 通讯作者：Ye Wang（新加坡国立大学，综合科学与工程项目，计算学院） 作者列表：Wei Zeng（新加坡国立大学，综合科学与工程项目，计算学院）、Junchuan Zhao（新加坡国立大学，计算学院）、Ye Wang（新加坡国立大学，综合科学与工程项目，计算学院） 💡 毒舌点评 亮点在于其统一的框架设计与“内容-风格”解耦的清晰思路，巧妙地利用了EPR和APT的互逆性进行联合训练，并无需繁琐的音符级对齐数据，这在方法论上颇具启发性。短板是，虽然框架通用，但实验主要基于古典钢琴音乐，其对于更丰富多变的流行音乐等风格的泛化能力未被验证；此外，模型参数量（188M）显著高于一些基线，计算成本是一个需要考虑的实际问题。 🔗 开源详情 代码：论文明确表示“代码将在论文被接受后发布”，提供了项目主页链接（https://wei-zeng98.github.io/joint-apt-epr/），表明有开源计划。 模型权重：未提及是否公开预训练模型权重。 数据集：使用了公开的ASAP和ATEPP数据集，以及从MuseScore收集并过滤的公开乐谱数据。论文未提及是否提供已处理的未配对演奏MIDI数据。 Demo：提供了在线演示页面（https://wei-zeng98.github.io/joint-apt-epr/），包含EPR渲染和风格迁移的示例。 复现材料：附录B提供了极其详细的模型实现细节（PyTorch Lightning、多任务训练设置、优化器、掩码策略等），是高质量的复现指南。 论文中引用的开源项目：提到了MidiTok（用于MIDI分词）、Aria-AMT（用于音频转MIDI）和Partitura（用于音乐处理）。 总体开源情况：论文有明确的开源承诺和详尽的复现材料，开源状态积极，但代码和权重尚未发布。 📌 核心摘要 这篇论文旨在解决钢琴演奏渲染（EPR）和自动钢琴转录（APT）两个基础但互逆的任务长期被独立研究的问题。其核心方法是构建一个基于Transformer的统一序列到序列（Seq2Seq）框架，通过解耦“音符级乐谱内容”和“全局演奏风格”两种表示，来联合学习这两个任务。与已有方法相比，其新意在于：1）首次将EPR和APT统一建模，实现双向监督；2）提出无需音符级对齐的Seq2Seq训练范式，降低了数据标注门槛；3）设计了一个独立的、基于扩散模型的演奏风格推荐（PSR）模块，能够仅从乐谱内容生成合适的风格嵌入。实验表明，该联合模型在ASAP数据集的APT任务上，达到了与最先进端到端模型（Beyer & Dai, 2024）可比的性能（例如，ScoreSimilarity平均误差Eavg从14.10降至12.48）。在EPR任务上，其客观指标（如速度MAE为0.37）和主观评价均优于或接近现有基线。消融实验验证了联合训练和无对齐数据的重要性。该工作的实际意义在于实现了音乐模态间转换的双向建模，并支持风格可控的演奏生成；主要局限性在于计算开销较大，且实验验证局限于古典钢琴音乐。 🏗️ 模型架构 本文提出一个统一的、模块化的框架，用于联合处理EPR和APT任务，并支持独立的风格推荐。 ...

📄 Human Behavior Atlas: Benchmarking Unified Psychological And Social Behavior Understanding #多模态模型 #多任务学习 #基准测试 #强化学习 #预训练 ✅ 7.5/10 | 前25% | #多模态模型 | #多任务学习 | #基准测试 #强化学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Keane Ong（MIT， 新加坡国立大学） 通讯作者：论文中未明确标注通讯作者。 作者列表： Keane Ong (MIT， 新加坡国立大学) Wei Dai (MIT) Carol Li (MIT) Dewei Feng (MIT) Hengzhi Li (MIT， 帝国理工学院) Jingyao Wu (MIT) Jiaee Cheong (哈佛大学) Rui Mao (南洋理工大学) Gianmarco Mengaldo (新加坡国立大学) Erik Cambria (南洋理工大学) Paul Pu Liang (MIT) 💡 毒舌点评 亮点：堪称“基建狂魔”，首次将13个异构、多模态的行为理解数据集统一成10万+样本的标准化基准，系统性地填补了该领域缺乏统一评估平台的空白，方法论上的“标准化实践”价值极高。 短板：模型架构创新有限，核心是微调现有LLM；在SOC（社交推理）、INT（意图识别）等开放生成任务上，即使最好的模型（OMNISAPIENS-7B RL）准确率也仅约0.3，离实际应用还有相当距离，暴露了当前大模型在深层行为理解上的瓶颈。 ...

📄 Speech World Model: Causal State–Action Planning with Explicit Reasoning for Speech #语音情感识别 #语音对话系统 #大语言模型 #多任务学习 #语音大模型 🔥 9.0/10 | 前25% | #语音情感识别 #语音对话系统 | #多任务学习 #大语言模型 | #语音情感识别 #语音对话系统 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xuanru Zhou（Zhejiang University， 浙江大学） 通讯作者：未说明 作者列表：Xuanru Zhou（Zhejiang University）、Jiachen Lian（UC Berkeley， 加州大学伯克利分校）、Henry Hong（UC Berkeley）、Xinyi Yang（Zhejiang University）、Gopala Anumanchipalli（UC Berkeley） 💡 毒舌点评 亮点在于其将认知科学的世界模型概念和模块化思维（如心智理论ToM、言语行为SA）严谨地工程化为一个可学习的因果图结构，为语音模型提供了迄今最清晰、最可解释的“思考路径”，这比无脑堆数据和参数要高级得多。短板则是在“标签生成”环节重度依赖LLM（Vicuna-13b）作为教师模型，这不可避免地会引入教师模型的偏差和错误，论文中对此风险的缓解措施描述有限。 🔗 开源详情 代码：论文中提供了代码仓库链接：https://github.com/eureka235/eureka235.github.io。承诺开源实现、训练和评估脚本。 模型权重：论文中提到“we will open source the model”，承诺开源模型权重。 数据集：论文使用了四个公开数据集（MELD, IEMOCAP, SLURP, VoxCeleb），未提供新数据集。未提及是否提供经过处理的特定数据版本。 Demo：提供了演示音频链接：http://bit.ly/4pBJuWP。 复现材料：论文提供了极其详尽的复现材料，包括：模型架构细节（A.7）、训练设置与超参数（A.5）、评估指标计算方法（A.8）、用于标签生成和指令微调的完整系统提示（A.4.2, A.5.2）、以及所有消融实验的结果（A.6）。 引用的开源项目：论文中引用并依赖的主要开源项目/工具包括：DistilBERT、WavLM、opensmile、Vicuna-13b（用于标签生成）、Llama-3.1-8B、Qwen2-Audio、LoRA。 开源计划：论文明确表述了开源意图，并提供了代码链接和详尽的复现文档。 📌 核心摘要 解决的问题：当前语音语言模型（SLMs）在语音理解上表现良好，但在需要深层推理（如情感归因、意图推断、反事实分析）的任务上表现薄弱，尤其在监督数据稀疏时，其推理过程不透明且易产生幻觉。 方法核心：提出语音世界模型（SWM），其核心是一个预定义的因果图，将语音理解分解为四个认知模块：场景激活（WMA）、心智理论（ToM）、言语行为（SA）和语用意图（Prag）。该图建模了模块间的因果依赖关系。训练分两阶段：1）训练因果图以学习稳定的结构化状态表示；2）将图的输出作为显式提示，用于指令微调大语言模型（LLM或SLM），生成推理链和响应。 创新之处：首次将基于认知科学的因果图结构作为语音理解的先验框架，取代了传统黑盒编码器或启发式CoT。它实现了模块化、可解释的推理，并利用因果结构实现了高效的半监督学习和更紧凑的搜索空间。 主要实验结果： 因果图验证：所提出的因果图比随机连接图收敛快约5倍，且在半监督设置下能有效推断未标注模块（如在无WMA标签时，其下游SA模块准确率仍达70.7%）。 推理性能对比：在基于GPT-4o的模型评分中，SWM（Llama3.1-8B）的总体得分（7.81）大幅超越Qwen2-Audio-CoT基线（5.18），并在情感提及率（EM）和情感分类准确率（EA）上超越所有基线，包括GPT-4o（EM: 68.20%， EA: 45.16%），EA达66.26%。 训练效率：整个训练过程仅需约20 GPU小时，远低于训练大型商业模型。 实际意义：为构建可解释、高效且推理能力强的语音理解系统提供了新范式。该框架降低了训练成本，并为在部分标注数据下进行有效学习提供了解决方案，有望加速语音AI在需要复杂理解的交互场景（如智能助手、情感计算）中的应用。 主要局限性：当前仅使用了四个预定义的认知模块，可能无法涵盖所有复杂的语音动态；因果图结构是预定义的，缺乏对新依赖关系的自适应学习能力；模型性能在一定程度上受限于其依赖的LLM生成的训练数据的质量。 🏗️ 模型架构 SWM的架构分为两个主要阶段：因果图训练与指令微调。 ...

📄 SpeechOp: Inference-Time Task Composition for Generative Speech Processing #语音增强 #语音分离 #扩散模型 #多任务学习 #语音合成 ✅ 7.5/10 | 前25% | #语音增强 | #扩散模型 | #语音分离 #多任务学习 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Justin Lovelace（Cornell University） 通讯作者：未明确说明，但Zeyu Jin（Adobe Research）和Kilian Q. Weinberger（Cornell University）可能为共同通讯作者（论文未明确标注）。 作者列表： Justin Lovelace（Cornell University） Rithesh Kumar（Adobe Research） Jiaqi Su（Adobe Research） Ke Chen（Adobe Research） Kilian Q. Weinberger（Cornell University） Zeyu Jin（Adobe Research） 💡 毒舌点评 亮点在于将预训练TTS模型“逆向适配”为通用语音处理器，并提出了一种理论上更严谨的推理时任务组合方法（TC-CFG），为融合生成模型和判别模型知识提供了新思路。短板是，在作为核心评估场景的语音增强任务上，其使用Whisper转录本引导的ITC管线在内容保持（WER）上确实优异，但感知质量（MOS）与HiFi-GAN-2等强基线持平，并未形成决定性优势，且在一些客观信号保真度指标上表现平平。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及。 数据集：使用了多个公开数据集（MLS, Libri-TTS, LibriTTS-R, WHAMR!, WSJ0-2Mix, DNS Challenge, EchoThief等），并提供了详细的模拟退化流程描述。 Demo：未提供在线演示链接。 复现材料：论文在附录和正文中提供了非常详细的模型架构（表8）、训练配置（超参数、优化器、两阶段训练细节）、采样配置和评估方法，复现指引充分。 论文中引用的开源项目：DAC (Kumar et al., 2023), ByT5, WhisperX, SDE-DPM-Solver++ (Lu et al., 2022), HiFi-GAN-2, SGMSE+, StoRm, SepFormer等。 📌 核心摘要 解决的问题：文本到语音（TTS）模型因使用海量“野外”数据而性能优越，但语音到语音（S2S）处理任务（如增强、分离）受限于配对数据稀缺，导致生成式方法易扭曲语音内容和说话人身份。 方法核心：提出SpeechOp，一个基于潜在扩散的多任务模型。它通过适配一个预训练的TTS模型，并在其上进行多任务微调（包括TTS、增强、分离等），将其转化为一个通用语音处理器。核心创新是提出任务组合分类器自由引导（TC-CFG），用于在推理时原则性地组合不同任务（如增强+文本引导），以及隐式任务组合（ITC）管线，利用ASR模型（如Whisper）的转录本指导增强过程。 新在哪里：不同于直接从头训练多任务模型，SpeechOp充分利用了TTS预训练中学习到的丰富语音表示。TC-CFG方法避免了传统得分平均混合生成先验的缺陷，而是将TTS模型用作判别引导。ITC管线无需配对转录数据，即可在推理时利用ASR知识提升内容保持。 主要实验结果：SpeechOp在零样本TTS和语音编辑上表现与当前SOTA相当或更优。在语音增强上，使用Whisper转录本的ITC管线将WER从基线的5.4-8.1%大幅降低至2.9%，实现SOTA内容保持，同时主观质量（MOS）与HiFi-GAN-2相当。在说话人分离上，其MOS显著优于SepFormer基线，但信号失真指标（如SI-SDRi）较低。消融实验证明TC-CFG在组合任务时优于得分平均方法。关键结果见下表： 表3: 语音增强结果（部分） 模型 PESQ ↑ WER ↓ MOS ↑ HiFi-GAN-2 2.23 5.4 3.90 ± 0.04 SpeechOp (无转录本) 2.00 8.1 3.93 ± 0.04 SpeechOp-ITC (WhisperX) 2.05 2.9 3.89 ± 0.04 表6: 任务组合消融（使用黄金转录本） 模型 PESQ ↑ WER ↓ :— :— :— SpeechOp (无转录本) 2.00 8.1 SpeechOp (TC-Avg) 1.88 3.4 SpeechOp (TC-CFG) 2.06 2.1 实际意义：该工作为利用丰富的TTS数据解决数据受限的S2S任务提供了有效范式，并为需要同时考虑声学质量和内容恢复的场景（如嘈杂录音修复）提供了灵活可控的解决方案。 主要局限性：1) 在信号保真度指标上，尤其在语音分离任务中，与专门优化这些指标的传统方法存在差距。2) ITC管线依赖外部ASR模型的质量和鲁棒性。3) 论文未明确提供代码和模型，限制了直接复现与应用。 🏗️ 模型架构 SpeechOp是一个基于潜在扩散模型的多任务模型，其架构如图3所示。整体包含两个主要输入路径和核心生成组件。 ...

📄 WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM #多模态模型 #音频检索 #视频检索 #对比学习 #多任务学习 🔥 8.5/10 | 前10% | #音频检索 #视频检索 | #对比学习 #多任务学习 | #多模态模型 #音频检索 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Changli Tang (清华大学) 通讯作者：Chao Zhang (清华大学) 作者列表：Changli Tang (清华大学)， Qinfan Xiao (清华大学)， Ke Mei (腾讯微信视觉)， Tianyi Wang (腾讯微信视觉)， Fengyun Rao (腾讯微信视觉)， Chao Zhang (清华大学) 💡 毒舌点评 亮点：该工作勇敢地填补了基于LLM的统一音频-视觉嵌入的空白，其提出的分层特征融合与联合训练策略在多项检索和QA任务上取得了令人信服的SOTA结果，显示了强大的跨模态理解与对齐能力。 短板：模型的通用性在一定程度上受限于其基础架构（Qwen2.5-Omni），且论文中提出的“versatile audio-visual learning”新基准未在附录或实验部分详细说明其构成与评估方式，略显缺失。 ...