多模态模型

语音/音乐/音频论文速递 2026-04-24 共分析 21 篇论文 ⚡ 今日概览 📥 抓取 21 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 3篇 ███ #语音合成 3篇 ███ #语音情感识别 2篇 ██ #音频生成 1篇 █ #音频安全 1篇 █ #语音翻译 1篇 █ #音乐理解 1篇 █ #语音生物标志物 1篇 █ 📊 论文评分排行榜（20 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Prosody as Supervision: Bridging the Non-Verbal–Verbal 8.0分 前25% #语音情感识别 🥈 Do LLM Decoders Listen Fairly? Benchmarking How Languag 7.5分 前25% #语音识别 🥉 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis w 7.5分 前25% #语音合成 4. Materialistic RIR: Material Conditioned Realistic RIR G 7.5分 前25% #音频生成 5. Evaluation of Automatic Speech Recognition Using Genera 7.5分 前25% #语音识别 6. Misinformation Span Detection in Videos via Audio Trans 7.5分 前25% #音频安全 7. Preferences of a Voice-First Nation: Large-Scale Pairwi 7.5分 前25% #语音合成 8. Hierarchical Policy Optimization for Simultaneous Trans 7.5分 前25% #语音翻译 9. Beyond Rules: Towards Basso Continuo Personal Style Ide 7.0分 前50% #音乐理解 10. Time vs. Layer: Locating Predictive Cues for Dysarthric 7.0分 前25% #语音生物标志物 11. ATRIE: Adaptive Tuning for Robust Inference and Emotion 7.0分 前25% #语音合成 12. Video-Robin: Autoregressive Diffusion Planning for Inte 7.0分 前25% #音乐生成 13. “This Wasn’t Made for Me”: Recentering User Experience 7.0分 前50% #语音识别 14. Dilated CNNs for Periodic Signal Processing: A Low-Comp 6.5分 前50% #语音增强 15. DiariZen Explained: A Tutorial for the Open Source Stat 6.5分 前50% #说话人分离 16. Full-Duplex Interaction in Spoken Dialogue Systems: A C 6.5分 前25% #语音对话系统 17. Sema: Semantic Transport for Real-Time Multimodal Agent 6.5分 前50% #实时处理 18. AUDITA: A New Dataset to Audit Humans vs. AI Skill at A 6.5分 前50% #音频问答 19. MER 2026: From Discriminative Emotion Recognition to Ge 6.0分 前50% #语音情感识别 20. Low-Rank Adaptation Redux for Large Models 5.5分 前50% #大语言模型 21 Phonological Subspace Collapse Is Aetiology-Specific an N/A - - 📋 论文列表 🥇 Prosody as Supervision: Bridging the Non-Verbal–Verbal for Multilingual Speech Emotion Recognition 🔥 8.0/10 | 前25% | #语音情感识别 | #领域适应 | #双曲神经网络 #自监督学习 | arxiv ...

📄 ATIR: Towards Audio-Text Interleaved Contextual Retrieval #音频检索 #多模态模型 #基准测试 #对比学习 ✅ 7.5/10 | 前25% | #音频检索 | #多模态模型 | #基准测试 #对比学习 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Tong Zhao（中国人民大学高瓴人工智能学院） 通讯作者：Zhicheng Dou（中国人民大学高瓴人工智能学院） 作者列表： Tong Zhao（中国人民大学高瓴人工智能学院） Chenghao Zhang（中国人民大学高瓴人工智能学院） Yutao Zhu（中国人民大学高瓴人工智能学院） Zhicheng Dou（中国人民大学高瓴人工智能学院） 💡 毒舌点评 这篇论文为“音频-文本交错检索”这一新兴场景建立了首个标准化基准和评估框架，这种“开山立派”的工作本身具有重要价值。然而，其提出的模型（ATIR-Qwen-3B）本质上是现有强大MLLM（Qwen2.5-Omni）的一个检索适配版本，核心创新（ATIR Selector）更像是一个工程优化模块，理论深度有限。实验虽然充分，但所有基线在交错检索任务上表现都很差，这固然凸显了新任务的难度，但也使得“显著提升”的结论说服力打了一点折扣。 🔗 开源详情 代码：论文中提及“GitHub Issue”，但未提供具体的代码仓库链接。是否开源及代码状态未说明。 模型权重：论文提到训练了ATIR-Qwen-3B模型，但未提及是否公开模型权重。 数据集：论文构建了ATIR基准，但未说明是否公开数据集及获取方式。 Demo：论文中未提及在线演示。 复现材料：附录B提供了极其详细的实现细节，包括模型架构、LoRA配置、训练超参数（学习率、优化器、轮数）、硬件环境（8xA100）和训练时长（约24小时），复现信息充分。 论文中引用的开源项目：依赖Qwen2.5-Omni-3B、Qwen3-0.6B作为骨干和选择器基础；使用LoRA进行参数高效微调；使用DeepSpeed进行分布式训练。 📌 核心摘要 这篇论文旨在解决现有音频-文本检索方法无法处理查询和文档中音频与文本交错出现（如多轮对话、混合输入）的局限性。为此，作者定义了音频-文本交错上下文检索（ATIR）任务，并构建了一个包含约8.8万对样本的大规模基准。为解决直接应用多模态大语言模型（MLLM）时音频token冗余导致的效率和精度问题，论文提出了一种基于MLLM的检索框架，其核心是引入一个轻量级的ATIR Selector模块，用于自适应地筛选关键音频token。此外，采用了两阶段训练策略（先激活嵌入能力，再激发交错模态能力）。实验表明，所提出的ATIR-Qwen-3B模型在各项指标上显著优于文本模态、跨模态和融合模态的基线模型（例如，在交错检索任务上，Recall@1比最强基线高出约10%）。该工作为复杂的多模态信息检索场景提供了新的研究方向和基准，但其局限在于仅关注单文档检索，且评估任务集中于问答领域。 🏗️ 模型架构 模型采用双编码器（Bi-encoder）架构，查询和文档分别独立编码到共享嵌入空间，通过余弦相似度计算相关性，支持高效检索。 整体流程：输入为音频-文本交错序列。文本部分通过Qwen2.5-Omni的Tokenizer处理；音频部分通过其原生的音频编码器（AuT）处理，生成帧级表示。编码后的文本token和音频token序列被送入“ATIR Selector”模块进行关键音频token筛选。筛选后的token序列与文本token序列一起，输入到Qwen2.5-Omni的Thinker骨干网络（一个Transformer）进行处理。最终，取序列最后一个token（）的隐藏状态作为整个交错序列的嵌入表示。 主要组件： Qwen2.5-Omni Thinker：作为骨干模型，负责处理混合的文本和音频token序列，生成上下文感知的表示。论文中冻结了其音频编码器，仅对后续部分进行微调。 ATIR Selector：这是一个即插即用的轻量模块，建立在Qwen3-0.6B之上。它在骨干模型的最终隐藏层之上添加一个线性层，为每个音频token位置预测一个选择概率。概率高于阈值的token被保留，低于阈值的被过滤。其目标是减少冗余音频信息，平衡不同模态的信息密度。 数据流与设计动机：音频token通常数量多且包含冗余信息，直接输入Transformer会导致计算效率低且可能引入噪声。ATIR Selector的设计动机就是通过自适应选择，保留最具信息量的音频片段，从而提升检索的准确性和效率。这是一个针对音频特性的优化，与修改tokenizer或编码器的方法正交。 💡 核心创新点 定义ATIR任务与构建首个基准：首次正式定义了音频与文本交错出现的检索任务，并构建了一个大规模、高质量的合成数据集。这是最重要的贡献，为社区提供了明确的研究问题和评估平台。 提出ATIR Selector模块：针对音频token冗余问题，设计了一个轻量级的、基于学习的token选择器。它能根据上下文自适应地过滤音频token，优于简单的平均池化，并能灵活控制压缩率。 设计多阶段训练策略：采用两阶段训练：第一阶段使用单模态/跨模态对激活模型的通用嵌入能力；第二阶段使用带有强负样本的交错模态数据，专门激发模型处理复杂交错结构的能力。这种渐进式训练有效提升了模型性能。 构建严谨的数据合成与质量控制流程：利用MLLM从多个角度（跨领域、比较、示例、推理）扩展语料，构建高质量问答对，并通过检索和生成两种方式构造困难负样本，最后进行多方面自评估，确保了基准数据的质量和难度。 🔬 细节详述 训练数据：基于LibriSpeech（ASR）、CoQA（QA）、SVQ（检索）三个数据集，通过统一合成流程生成。训练集包含84,374对查询-文档对，测试集包含3,909对。数据包含四种声学环境：干净、背景人声、交通噪声、媒体噪声。 损失函数：采用InfoNCE对比损失（公式1）。给定查询、正文档和一批负文档（包括硬负样本和批内负样本），目标是最大化正对的相似度，最小化负对的相似度。温度参数τ设为0.05。 训练策略： 优化器：AdamW。 学习率：峰值5e-5，前10%步骤线性预热。 轮数：两个阶段各训练2个epoch。 批次大小：通过梯度累积实现大批次（具体值未说明）。 参数高效微调：使用LoRA（rank=32, α=32, dropout=0.1）插入Transformer的投影层，冻结骨干模型。 关键超参数：骨干模型为Qwen2.5-Omni-3B。Selector基于Qwen3-0.6B。文本最大序列长度512 token。音频采样率16kHz。 训练硬件：8块NVIDIA A100 40GB GPU，使用DeepSpeed ZeRO优化。完整训练约需24小时。 推理细节：采用双编码器，通过余弦相似度计算相关性。Selector的阈值可调，用于平衡性能与效率。 📊 实验结果 主要基准与指标：在ATIR基准的四个设置（A→T, T→A, IAT→T, IAT→A）上评估，使用Recall@1和nDCG@5。 主结果：ATIR-Qwen-3B显著优于所有基线。 对比文本模型：在IAT→T设置上，Recall@1为81.74%，最强文本基线Qwen3-Embedding-4B为69.24%，高出12.5个百分点。 对比跨模态模型：跨模态模型（如CLAP）性能极差，M2D-CLAP在IAT→T上Recall@1仅22.53%。 对比融合模态模型：在IAT→T上，ATIR-Qwen-3B（81.74%）优于Omni-Embed-Nemotron-3B（75.47%）6.27个百分点。 消融实验： 组件贡献（表3）：移除Selector导致平均Recall@1下降1.05%；移除Stage I下降3.27%；移除Stage II下降5.86%，表明交错模态训练最关键。 Selector vs. 平均池化：Selector（Recall@1 78.86%）优于2/4/8路平均池化（77.12/77.21/76.54%），证明了学习选择优于均匀压缩。 交错结构影响（表7）：打乱音频-文本的顺序或位置都会导致性能下降，证实模型依赖于有序的交错结构。 效率分析：ATIR-Qwen-3B（延迟16.8ms）与同等规模的融合模态模型（如ColQwen-Omni-3B，17.1ms）延迟相当，且远低于需要ASR预处理的文本模型（>500ms）。 ⚖️ 评分理由 学术质量：6.0/7：论文在任务定义、基准构建和实验设计上表现出色，工作完整扎实。ATIR Selector模块的设计有明确动机且有效。主要扣分点在于模型架构本身缺乏根本性创新，更多是现有强大MLLM在特定任务上的适配和优化。 选题价值：1.5/2：音频-文本交错检索是一个重要且未被充分研究的前沿问题，尤其在人机交互和多模态内容理解领域有明确应用前景，选题具有较好的时效性和影响力。 开源与复现加成：0.0/1：论文提供了详尽的实验配置和附录，可复现性高。但正文中未明确承诺代码、模型权重和数据集的公开开源计划（仅提及“GitHub Issue”），因此无法给予加分。 🖼️ 图片与表格 图1：内容：展示跨模态检索、融合模态检索与交错模态检索的区别。保留：是 - 理由：直观定义了新任务（ATIR）与传统任务的区别，是理解论文核心问题的关键示意图。 图2：内容：展示ATIR数据合成框架的五个步骤。保留：是 - 理由：清晰地概括了构建基准数据集的完整流程，是理解论文数据贡献的核心图表。 图3：内容：展示ATIR模型的整体架构和ATIR Selector的训练范式。保留：是 - 理由：论文核心方法的详细图解，展示了模型组件、数据流和Selector的监督学习方式。 图4（柱状图）：内容：对比ATIR Selector与不同路数平均池化在Recall@1和nDCG@5上的性能。保留：是 - 理由：直观展示了核心组件（Selector）的有效性，是关键消融实验的可视化证据。 主要结果表（表2）：内容：在四个检索设置下，对比文本、跨模态、融合模态基线与ATIR-Qwen-3B的Recall@1和nDCG@5数值。保留：是 - 理由：承载了论文最核心的实验结论，必须保留所有模型和数值。 消融实验表（表3）：内容：展示移除Selector、Stage I、Stage II对性能的影响。保留：是 - 理由：证明了每个设计组件的必要性，是验证方法有效性的关键证据。 分析实验表（表7）：内容：展示打乱交错结构（Shuffle Order/Position/Both）对性能的影响。保留：是 - 理由：证明了模型对有序交错结构的依赖，深化了对任务和模型的理解。 效率分析表（表4）：内容：对比不同模型的参数量和推理延迟。保留：是 - 理由：展示了ATIR-Qwen-3B在效率上的优势，是评估方法实用性的重要依据。 📸 论文图片 ...

📄 ONOTE: Benchmarking Omnimodal Notation Processing for Expert-level Music Intelligence #基准测试 #模型评估 #音乐理解 #多模态模型 #跨模态 🔥 8.0/10 | 前25% | #基准测试 | #模型评估 | #音乐理解 #多模态模型 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Menghe Ma（北京邮电大学） 通讯作者：Haoran Luo（南洋理工大学） 作者列表： Menghe Ma*（北京邮电大学） Siqing Wei*（北京邮电大学） Yuecheng Xing*（北京邮电大学） Yaheng Wang（北京邮电大学） Fanhong Meng（中国音乐学院） Peijun Han（中国音乐学院） Luu Anh Tuan（南洋理工大学） Haoran Luo†（南洋理工大学） （*表示共同第一作者，†表示通讯作者） 💡 毒舌点评 亮点：论文一针见血地指出了当前多模态音乐AI“看得懂谱但不懂乐理”的致命短板，并用一套滴水不漏的确定性评估流水线（规范音高投影+序列对齐）把“LLM当评委”的主观泡沫彻底挤干，建立了一个干净、可复现的评测标尺。短板：虽然评估范式设计精巧，但基准数据集规模（1120个样本）和任务复杂度（如AST仅10秒音频）可能不足以完全模拟真实世界中长篇、复杂乐曲的处理挑战，其结论的普适性有待更大规模验证。 🔗 开源详情 代码：提供GitHub仓库链接：https://github.com/T12knightally/ONOTE 模型权重：未提及。本文为基准测试，不涉及发布自身模型。 数据集：提供HuggingFace数据集链接：https://huggingface.co/datasets/Weisiqing123/ONOTE Demo：未提及。 复现材料：附录A详细描述了数据集构建流程；附录B提供了完整的任务执行和评分评估提示词；附录C详细说明了评估指标的实现细节。这些构成了完整的复现材料。 论文中引用的开源项目：论文在相关工作和实验中引用了多个开源项目/模型，如MuseCoco、ChatMusician、MuseScore、ABC编译器等，但未明确列出其作为ONOTE实现的直接依赖。 📌 核心摘要 问题：当前多模态大模型在音乐符号处理（Omnimodal Notation Processing, ONP）领域存在严重缺陷：研究碎片化、模型存在严重的符号偏差（偏向五线谱）、且普遍依赖不可靠的“LLM-as-a-Judge”评估方法，掩盖了模型在音乐理论推理上的系统性失败。 方法核心：提出ONOTE基准，包含四个任务（视觉乐谱理解VSU、跨格式符号转换CNC、音频转符号AST、符号音乐生成SMG），覆盖五线谱、简谱、吉他谱三种系统。其核心是设计了一条“确定性与反偏差评估流水线”，通过“规范音高投影”将所有输出统一映射为一维音高序列，再利用编辑距离进行客观的序列对齐精度计算。 新意：与以往专注于单一转录任务或使用主观评估的基准不同，ONOTE首次提供了覆盖音乐符号处理全生命周期的、多符号系统的综合评估框架，并彻底摒弃了主观评分，实现了评估的客观化与标准化。 主要实验结果：对多个前沿全模态模型（如Qwen、Gemini系列）的评测显示，模型在VSU任务上表现优异（如Gemini-3.1-flash-lite-preview在五线谱VSU达99%），但在需要深层音乐理论推理的CNC和AST任务上表现急剧下降（如上述模型五线谱CNC仅17.29%）。这证实了模型“感知准确”与“理解逻辑”之间的巨大鸿沟。 实际意义：为音乐AI研究社区提供了统一、严谨的评估标准，能够客观诊断模型的推理弱点，推动开发更具音乐认知深度、而非仅进行表面模式匹配的AI系统。 主要局限性：1) 基准数据集规模相对有限（1120个样本），可能无法覆盖所有音乐风格和复杂度；2) 任务设置（如AST仅10秒）偏向简化场景；3) 作为评估基准，其本身不提出新模型，价值依赖于社区的采纳和应用。 🏗️ 模型架构 本文并非提出一个新的端到端模型，而是定义了一个评估框架（Benchmark）。其核心架构是确定性评估流水线，流程如下： ...

📄 Qwen3.5-Omni Technical Report #多模态模型 #语音对话系统 #多语言 #语音合成 🔥 8.5/10 | 前25% | #语音对话系统 | #多模态模型 | #多语言 #语音合成 | arxiv 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表： Bing Han (未说明) Baosong Yang (未说明) Bin Zhang (未说明) Bo Zheng (未说明) Dayiheng Liu (未说明) Fan Zhou (未说明) Hongkun Hao (未说明) Hangrui Hu (未说明) Jin Xu (未说明) Jianxin Yang (未说明) Jingren Zhou (未说明) Keqin Chen (未说明) Le Yu (未说明) Mingkun Yang (未说明) Peng Wang (未说明) Pei Zhang (未说明) Qize Yang (未说明) Rui Men (未说明) Ruiyang Xu (未说明) Shuai Bai (未说明) Sibo Song (未说明) Ting He (未说明) Xize Cheng (未说明) Xingzhang Ren (未说明) Xian Shi (未说明) Xiong Wang (未说明) Xinyu Zhang (未说明) Xinfa Zhu (未说明) Yunfei Chu (未说明) Yuanjun Lv (未说明) Yuchong Sun (未说明) Yongqi Wang (未说明) Yuxuan Wang (未说明) Yang Zhang (未说明) Zhifang Guo (未说明) Zishan Guo (未说明) Ziyang Ma (未说明) (以及数十位贡献者，论文中未提供其具体机构信息) 💡 毒舌点评 亮点：工程整合能力极强，在215个涵盖理解、推理和交互的音频/音视觉基准上全面达到SOTA，尤其在语音对话和多语言识别上超越了Gemini-3.1 Pro，展现了扎实的“刷榜”实力。短板：作为技术报告，其创新性主要体现在将现有技术（MoE、ARIA、长上下文）进行大规模组合与优化，而非提出颠覆性的新范式，读起来更像一份详尽的“产品说明书”而非“科学发现”。 ...

📄 APRVOS: 1st Place Winner of 5th PVUW MeViS-Audio Track #视频对象分割 #多模态模型 #语音识别 #音视频 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Deshui Miao (鹏城实验室) 通讯作者：Xin Li (鹏城实验室) - 论文中作者列表“Xin Li”后标有星号(*)，通常表示通讯作者。 其他作者： Yameng Gu (鹏城实验室) Chao Yang (鹏城实验室) Haijun Zhang (哈尔滨工业大学) Ming-Hsuan Yang (加州大学美熹德分校) 💡 毒舌点评 这篇论文的亮点是“把大象装冰箱”的工程思维：把一个看似复杂的音视频分割问题，拆解成“听语音、找东西、画轮廓、精修边”四步走，流程清晰得像一份高级菜谱，让模型各司其职，有效避免了端到端模型在噪声面前的“胡言乱语”。槽点也很明显：作为一篇学术论文，它更像是一份“竞赛冠军秘籍”或“系统集成报告”，创新主要体现在对现有顶尖模型（VibeVoice, Sa2VA, SAM3）的巧妙编排和调度上，而非提出全新的核心算法，学术深度略有欠缺。 🔗 开源详情 代码：论文中提到“Submit in GitHub”，暗示代码可能在GitHub上提交或开源，但未提供具体的仓库地址。因此，无法确认是否已开源。 模型权重：APRVOS本身不包含新训练的模型权重。它依赖于以下开源或已发表的预训练模型： VibeVoice-ASR：论文引用为[18]，技术报告为arXiv:2601.18184。 Qwen3-VL：论文引用为[1]，技术报告为arXiv:2502.13923。 Sa2VA：论文引用为[25]，技术报告为arXiv:2501.04001。 SAM3：论文引用为[4]，技术报告为arXiv:2511.16719。 数据集：方法在MEVIS_Audio数据集上进行评估和竞赛。 在线 Demo：未提及。 论文中引用的开源项目：如上所列，VibeVoice-ASR, Qwen3-VL, Sa2VA, SAM3。 📌 核心摘要 这篇论文报告了APRVOS系统，一个专为MEVIS_Audio（音频条件下的指代视频对象分割）任务设计的冠军方案。要解决的问题是传统文本指代分割模型无法直接处理包含噪声、不完整且可能描述视频中不存在物体的语音输入。采用的方法是一个四阶段流水线：首先使用VibeVoice-ASR将语音转为文本；然后用一个基于Qwen3-VL的视觉判断模块（Omni Judger）验证转写文本描述的目标是否在视频中存在，若不存在则直接输出空掩码；若存在，则将文本转化为提示词，输入Sa2VA模型生成粗略的分割轨迹；最后，引入一个“代理验证”层来评估粗分割结果的可靠性，并调用SAM3模型对可信锚点帧进行边界精修和时序传播。取得的效果在第五届PVUW MeViS-Audio赛道上排名第一，J&F分数达到0.6700，消融实验证明每个阶段（尤其是存在性判断和代理精修）都带来了显著的性能提升。局限性在于该报告侧重于系统描述，对各组件内部（如ASR、视觉判断模块）的训练细节和超参数披露有限，且整体性能高度依赖于几个大型预训练模型的组合。 🏗️ 模型架构 模型整体是一个串联式多阶段处理流水线，其完整输入输出流程如下： ...

📄 Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs #音频安全 #数据增强 #音频大模型 #多模态模型 #对抗样本 🔥 评分：9.5/10 | arxiv 👥 作者与机构 第一作者：Jaechul Roh（推断，因名字在前） 通讯作者：Amir Houmansadr（推断，因名字在后且通常为资深作者） 全部作者：Jaechul Roh, Amir Houmansadr 所属机构：University of Massachusetts Amherst, Department of Computer Science 💡 毒舌点评 亮点：论文像一把精准的手术刀，首次剖开了音频大模型“良性微调”外表下的安全脆弱性，揭示了其与文本/视觉模态截然不同的、由编码器架构决定的“阿喀琉斯之踵”，研究问题抓得准，分析框架设计得妙。槽点：提出的防御方法（远距离过滤和系统提示）虽然有效但略显“直球”，缺乏对模型内部拒绝机制更深入的干预探索，算是给后续研究者留了口饭吃。 🔗 开源详情 代码：论文明确提及在GitHub上发布了代码（“Report GitHub Issue”），用于复现邻近度过滤和实验。 数据集：论文提及发布了用于实验的良性音频数据集和有害音频提示集（经过TTS转换）。 模型权重：论文研究的是三个已公开的SOTA模型（AF3, Kimi-Audio, Qwen2.5-Omni），未发布其微调后的权重，以防止滥用。 在线Demo：未提及。 依赖的开源工具：使用了多个开源模型和工具，包括：Whisper系列编码器、Sentence-BERT、WavLM、LoRA微调框架、Edge-TTS、Google TTS (gTTS)等。 📌 核心摘要 这篇论文首次系统研究了良性（无害）音频数据微调对音频大模型安全对齐的破坏作用。要解决的问题是：用户出于提升模型性能目的进行的常规微调，是否会无意中破坏模型的安全防护？方法上，作者提出了一个基于嵌入空间邻近度的过滤框架，从语义、声学及混合维度，选择性地用与有害内容在表示空间上相近的良性音频进行微调。主要发现是，即使微调数据完全良性，也能使越狱成功率（JSR）从个位数飙升至87.12%，且主导的脆弱性维度（语义或声学）取决于模型编码器的架构。实际意义在于揭示了Audio LLMs一个非对抗性、易被忽视的重大安全风险，并提出了两种无需修改架构的实用防御策略（训练时远距离过滤和推理时安全系统提示）。局限性在于研究限于英语单轮对话，未探索非语音音频任务或多语言场景。 🏗️ 模型架构 论文本身并非提出新模型，而是分析三个现有的SOTA音频大模型在微调下的安全行为。因此，模型架构部分描述的是被分析的三个目标模型： Audio Flamingo 3 (AF3)：架构为 Whisper音频编码器 -> 2层MLP投影器 -> Qwen2.5-7B LLM骨干（28层）。其关键特点是MLP投影器会压缩音频特征，形成一个与文本对齐空间不同的表示区域。 Kimi-Audio 7B：采用双编码器设计，包含WhisperVQ编码器（通过矢量量化瓶颈，会丢弃部分声学细节）和Whisper-Large-V3编码器。音频信息通过这两个编码器处理后输入LLM。 Qwen2.5-Omni 7B：架构为Whisper-Large-V3编码器 -> 直通（pass-through）-> Qwen2.5-7B Thinker模块。其编码器输出几乎不加修改地传递给LLM，保留了更多的音频-文本对齐信息。 数据流动与关键设计：在所有三个模型中，音频编码器在微调期间是冻结的，只有LLM骨干网络通过LoRA进行参数更新。这是与文本LLM微调的关键区别：在音频LLM中，安全对齐所依赖的表示（来自编码器）并未被微调直接修改，但下游LLM的决策边界却发生了偏移。 ...

语音/音乐/音频论文速递 2026-04-22 共分析 21 篇论文 ⚡ 今日概览 📥 抓取 21 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 语音识别 5篇 █████ 语音合成 4篇 ████ 基准测试 4篇 ████ 模型评估 4篇 ████ 多语言 3篇 ███ 音频大模型 3篇 ███ 数据增强 3篇 ███ 大语言模型 3篇 ███ 📊 论文评分排行榜（20 篇，按分数降序） 排名 论文 评分 🥇 Qwen3.5-Omni Technical Report 9.5分 🥈 Benign Fine-Tuning Breaks Safety Alignment in Audio LLM 9.5分 🥉 UAF: A Unified Audio Front-end LLM for Full-Duplex Spee 9.0分 4 HalluAudio: A Comprehensive Benchmark for Hallucination 9.0分 5 Voice of India: A Large-Scale Benchmark for Real-World 8.5分 6 BEAT: Tokenizing and Generating Symbolic Music by Unifo 8.5分 7 ATRIE: Adaptive Tuning for Robust Inference and Emotion 8.5分 8 Reducing the Offline-Streaming Gap for Unified ASR Tran 8.0分 9 Deep Supervised Contrastive Learning of Pitch Contours 8.0分 10 Disentangling Damage from Operational Variability: A La 8.0分 11 Text-To-Speech with Chain-of-Details: modeling temporal 7.5分 12 Towards Streaming Target Speaker Extraction via Chunk-w 7.5分 13 APRVOS: 1st Place Winner of 5th PVUW MeViS-Audio Track 7.5分 14 NVBench: A Benchmark for Speech Synthesis with Non-Verb 7.5分 15 Detecting Hallucinations in SpeechLLMs at Inference Tim 7.5分 16 MTR-DuplexBench: Towards a Comprehensive Evaluation of 7.5分 17 Tadabur: A Large-Scale Quran Audio Dataset 7.0分 18 Environmental Sound Deepfake Detection Using Deep-Learn 6.5分 19 Audio Spoof Detection with GaborNet 6.5分 20 Comparison of sEMG Encoding Accuracy Across Speech Mode 6.0分 21 MoVE: Translating Laughter and Tears via Mixture of Voc N/A 📋 论文列表 🥇 Qwen3.5-Omni Technical Report 🔥 9.5分 | #语音合成 #语音识别 #音频大模型 #预训练 | arxiv ...

📄 AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers #音视频 #知识蒸馏 #强化学习 #数据集 #多模态模型 🔥 评分：8.0/10 | arxiv 👥 作者与机构 第一作者：Edson Araujo（德国图宾根大学，图宾根AI中心） 通讯作者：根据论文格式和机构排序，推测为 Hilde Kuehne（德国图宾根大学，图宾根AI中心）或 James R. Glass（MIT-IBM Watson AI Lab） 其他作者： Saurabhchand Bhati（MIT-IBM Watson AI Lab） M. Jehanzeb Mirza（IBM Research， USA； MIT-IBM Watson AI Lab） Brian Kingsbury（IBM Research， USA； MIT-IBM Watson AI Lab） Samuel Thomas（IBM Research， USA； MIT-IBM Watson AI Lab） Rogerio Feris（MIT-IBM Watson AI Lab） James R. Glass（MIT CSAIL； MIT-IBM Watson AI Lab） Hilde Kuehne（德国图宾根大学，图宾根AI中心； MIT-IBM Watson AI Lab） 💡 毒舌点评 亮点：这篇论文最聪明的地方在于“借力打力”——自己没有强大的多模态推理模型？没关系，找两个顶尖的单模态“专家”（视觉和音频模型）分别写解题思路，再让一个“文书专家”（纯文本LLM）把它们整合成一份完美的跨模态推理报告，然后用这份报告去“教”学生模型。这招“分而治之，再合而为一”在数据稀缺的领域堪称优雅。 槽点：整个流程的“天花板”被那两个单模态教师牢牢卡住了，如果教师自己就是“睁眼瞎”（幻觉），那合并出来的推理链就是“一本正经地胡说八道”。论文也承认了，大部分幻觉源自教师。此外，SFT数据基本来自AVQA一个数据集，多样性上可能有点“偏科”。 ...

📄 FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings #模型评估 #线性模型 #多语言 #多模态模型 📝 评分：5.5/10 | arxiv 👥 作者与机构 第一作者：Santosh Kesiraju (布尔诺理工大学，Speech@FIT实验室) 通讯作者：Petr Schwarz (布尔诺理工大学，Speech@FIT实验室，根据联系邮箱推断) 其他作者： Bolaji Yusuf (布尔诺理工大学，Speech@FIT实验室) Šimon Sedláček (布尔诺理工大学，Speech@FIT实验室) Oldřich Plchot (布尔诺理工大学，Speech@FIT实验室) 💡 毒舌点评 亮点：提供了一把“线性手术刀”，干净利落地剖开了SONAR、LaBSE这些黑盒嵌入，直观展示了里面到底塞了哪些词，还量化了“英语霸权”在嵌入空间中的统治力。槽点：本质上还是个高级线性探针，创新天花板明显；主要发现“多语言模型更偏爱英语”这事儿，大家心里其实都有数，论文只是用更漂亮的方式证实了它。 🔗 开源详情 代码：已开源。GitHub地址：https://github.com/BUTSpeechFIT/FLiP。 模型权重：论文中未明确说明是否公开预训练好的FLiP模型权重。 数据集：使用的数据集（Common Voice, Europarl, Samanantar）均为公开数据集，论文中提供了获取方式。 预训练权重：FLiP模型需要基于预训练的句子嵌入模型（SONAR, LaBSE, Gemini）运行，这些模型的权重需从原渠道获取。 在线Demo：未提及。 引用的开源项目：依赖于SONAR, LaBSE, Gemini Embedding API等。 📌 核心摘要 本文提出FLiP，一种因子化线性投影模型，旨在理解并解释多语言、多模态句子嵌入空间（如SONAR, LaBSE, Gemini）。核心思想是将嵌入空间的解释转化为一个线性关键词提取任务：通过一个简单的线性投影，从句子嵌入向量中恢复出构成该句子的词汇。实验表明，训练良好的FLiP模型能从嵌入中回忆起75%以上的词汇内容，显著优于非因子化基线。利用这一工具，作者系统性地诊断了不同嵌入模型的跨模态对齐（语音-文本）和跨语言对齐性能，揭示了这些模型普遍存在的英语偏向性，即语义的线性表示在英语中最清晰，随语言距离增大而衰减。FLiP为研究者提供了一种无需依赖下游任务即可内在评估嵌入质量的诊断工具。 🏗️ 模型架构 FLiP的整体架构是一个因子化的对数线性模型，其目标是学习一个从句子嵌入空间到词汇空间的线性映射，以提取关键词。 完整输入输出流程： 输入：一个预训练的句子嵌入向量 t (来自文本) 或 s (来自语音)，维度为 d (如SONAR为1024，LaBSE为768)。 投影：将输入嵌入通过一个因子化的投影矩阵 W = AB 进行映射。 A：维度为 |V| x r，可视为一个词嵌入矩阵，其中 |V| 是词汇表大小(如100K)，r 是因子化秩(如512)。 B：维度为 r x d，是一个从模态/语言空间到潜在语义空间的投影矩阵。 计算：z = b + A * (B * u)，其中 b 是偏置向量，u 是输入嵌入。B*u 将输入映射到 r 维潜在空间，A 再将其映射到 |V| 维的词汇空间，得到 logits z。 输出概率：对 logits z 应用 softmax 函数，得到词汇表上的概率分布 θ。 关键词提取：在推理时，直接选取 logits z 中数值最大的 k 个索引，映射回词汇表，得到提取的关键词。无需优化。 关键设计选择理由： ...

📄 FreezeEmpath: Efficient Training for Empathetic Spoken Chatbots with Frozen LLMs #语音对话系统 #多模态模型 #迁移学习 #语音情感识别 🔥 评分：10.0/10 | arxiv 👥 作者与机构 第一作者：Yun Hong（中国科学院计算技术研究所，智能信息处理国家重点实验室；中国科学院大学） 通讯作者：Yang Feng（中国科学院计算技术研究所，智能信息处理国家重点实验室；中国科学院大学） 其他作者：Yan Zhou（中国科学院计算技术研究所，智能信息处理国家重点实验室；中国科学院大学） 机构详情：所有作者均隶属于中国科学院计算技术研究所的“智能信息处理国家重点实验室”和“人工智能安全国家重点实验室”，以及中国科学院大学。 💡 毒舌点评 亮点是“冻结LLM”这个思路简直是懒人智慧的巅峰——让模型自己懂共情，我们只负责搭个桥，数据和训练成本直接砍半。槽点嘛，虽然生成的语音情感挺到位，但毕竟用的是现成的TTS模块，情感表达的上限可能被预训练模型锁死了，想让它“影帝级”爆发估计有点难。 🔗 开源详情 代码：完全开源，GitHub地址：https://github.com/ictnlp/FreezeEmpath。 模型权重：论文中未明确提及是否公开预训练权重，但基于其开源代码和描述，很可能在代码库中提供。 数据集：使用了多个公开的SER和语音指令数据集，论文中已详细列出。 预训练权重：基于Qwen2.5-7B-Instruct（LLM）、Whisper-large-v3（语音编码器）、IndexTTS2（Token2Wav模块）和Qwen2.5-0.5B（语音解码器初始化）的预训练权重。 在线Demo：论文中未提及。 依赖的开源项目：LLaMA-Omni（语音适配器结构）、IndexTTS2（语音合成）、BLSP（自蒸馏对齐思想）。 📌 核心摘要 本文旨在解决训练共情语音聊天机器人时面临的共情语音数据稀缺、模型泛化能力弱、以及微调导致LLM通用能力退化三大难题。作者提出了FreezeEmpath，一种高效的端到端训练框架。其核心方法是冻结基础LLM，采用语义-情感解耦编码策略，通过独立的语义适配器和情感提取器从语音中分别提取内容和情感特征，并设计三阶段训练（语义对齐、情感对齐、语音生成）将这些特征与LLM的嵌入空间对齐，从而将LLM内在的文本共情能力迁移到语音模态。整个训练仅需现有的中性语音指令数据和语音情感识别数据，无需人工构建的共情语音数据。实验表明，FreezeEmpath在共情对话、语音情感识别和口语问答任务上均显著优于现有SOTA模型，证明了其方法的有效性和高效性。 🏗️ 模型架构 FreezeEmpath的整体架构由三部分组成：语音理解模块、基础LLM和语音生成模块。 完整输入输出流程： 输入：用户的语音指令。 语音理解模块： 语音编码器（Whisper-large-v3）：将原始语音波形编码为隐藏状态序列 X ∈ ℝ^{L×T×D}（L=层数，T=序列长度，D=维度）。 语义适配器：由一个下采样层和一个2层前馈网络（FFN）组成，将编码器输出映射到LLM的嵌入空间，得到语义特征序列 S。 情感提取器：包含两步池化。 层级池化：使用一个门控网络 g 对编码器所有层的隐藏状态进行加权平均，得到压缩后的特征 X̂。 帧级池化：使用一个可学习的查询 Q，通过多头交叉注意力机制（MHA，4个头）聚合 X̂ 的时间维度信息，再通过一个2层FFN（隐藏维度2048）映射为LLM嵌入空间的情感特征向量 E。 序列拼接：将语义特征序列 S、固定连接词嵌入 F1、情感特征向量 E、固定连接词嵌入 F2 拼接，形成最终输入序列 X_S = [S, F1, E, F2] 送入LLM。 基础LLM（Qwen2.5-7B-Instruct）：全程参数冻结。接收 X_S，基于其内在的语义理解和共情能力，生成文本响应 r 的隐藏状态序列。 语音生成模块： 流式语音解码器：一个解码器Transformer（初始化自Qwen2.5-0.5B）。它包含一个门控融合模块，聚合来自LLM的上下文隐藏状态和已解码文本 token 的精确语义信息。解码器以流式方式自回归生成语音 token 序列 u（词汇表大小8192，频率50Hz）。流式参数为：每读入 R=3 个输入嵌入，生成 W=15 个语音 token。 Token2Wav模块：使用预训练的IndexTTS2的流匹配模型和声码器，将语音 token 序列 u 转换为最终的共情语音响应。 关键设计理由： ...