多模态模型

📄 MER 2026: From Discriminative Emotion Recognition to Generative Emotion Understanding #多模态模型 #语音情感识别 #情感计算 #基准测试 #生理信号 ✅ 6.0/10 | 前50% | #语音情感识别 | #多模态模型 | #情感计算 #基准测试 | arxiv 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zheng Lian（中国科学院自动化研究所） 通讯作者：未说明 作者列表：Zheng Lian（中国科学院自动化研究所）、Xiaojiang Peng（深圳技术大学）、Kele Xu（国防科技大学）、Ziyu Jia（中国科学院自动化研究所）、Xinyi Che（四川大学）、Zebang Cheng（深圳大学）、Fei Ma（广东省人工智能与数字经济实验室（深圳））、Laizhong Cui（深圳大学）、Yazhou Zhang（天津大学）、Xin Liu（上海交通大学）、Liang Yang（大连理工大学）、Jia Li（合肥工业大学）、Fan Zhang（香港中文大学）、Erik Cambria（南洋理工大学）、Guoying Zhao（奥卢大学）、Björn W. Schuller（慕尼黑工业大学）、Jianhua Tao（清华大学） 💡 毒舌点评 这篇论文的最大亮点是其系统性和前瞻性，它清晰地勾勒出了情感识别领域从“给标签”到“懂描述”再到“知偏好”的演进路线，并通过四个精心设计的赛道（尤其是对话者情感和情感偏好）将这一趋势落地为可评估的挑战。然而，其短板也同样明显：作为一篇挑战赛公告，它本质上是“出题者”而非“解题者”，缺乏原创性的技术贡献和深度的算法分析，更像是一份详尽的“竞赛说明书”和“数据集发布文档”。 📌 核心摘要 要解决什么问题：本文旨在介绍MER 2026挑战赛，推动情感计算研究从传统的判别式情感识别（预测固定标签）向生成式情感理解（生成细粒度、描述性、符合人类偏好的情感表达）范式转变。 方法核心是什么：核心是通过设计四个新的挑战赛道来定义和评估新范式下的情感理解能力：(1) MER-Cross：从识别说话者自身情感转向识别对话者的情感；(2) MER-FG：从基本情感标签扩展到开放词汇的细粒度情感；(3) MER-Prefer：预测人类对不同情感描述的偏好；(4) MER-PS：基于脑电（EEG）和近红外光谱（fNIRS）生理信号进行连续情感预测。 与已有方法相比新在哪里：与MER 2023-2025相比，新在三个方面：(1) 场景新：首次引入双人对话交互场景（MER-Cross）；(2) 任务新：首次引入情感偏好预测任务（MER-Prefer），用于训练奖励模型；(3) 模态新：首次系统性地将多模态情感识别扩展到内部生理信号（MER-PS）。整体上，从“识别”走向了更全面的“理解”。 主要实验结果如何：论文为每个赛道提供了基线实验结果，关键数据如下： MER-Cross：在测试集上，多模态融合（Top-1）的加权F1分数为57.44%，而单模态最优的视觉特征（CLIP-large）为58.88%。值得注意的是，为个体情感训练的模型在对话者情感上性能大幅下降（如声学特征从76.51%降至35.25%）。 MER-FG：在测试集上，零样本基线中最强的SALMONN得分为47.38%，而经过微调的AffectGPT（使用MER-Caption+数据）得分达到60.27%。 MER-Prefer：在测试集上，零样本基线中最强的多模态模型Qwen2.5-Omni的加权F1分数为78.74%，准确率为78.89%。 MER-PS：在测试集上，最强的基线模型ASAC-Net（EEG+fNIRS）的平均MAE（排名分数）为0.2164。 实际意义是什么：为情感计算社区提供了新的、更具挑战性的研究方向和标准化评测平台。特别是对话者情感识别和情感偏好预测，对于提升社交机器人、人机交互系统的共情能力具有直接的应用价值。生理信号赛道则推动了对情感内部机制的客观研究。 主要局限性是什么：作为挑战赛公告论文，其局限性在于：(1) 没有提出新的模型或算法，仅提供基线；(2) 对赛道设计背后的深层动机和潜在挑战的讨论有限；(3) 部分赛道（如MER-Cross）的测试集规模较小（574样本），可能影响结论的普适性。 🏗️ 模型架构 本文作为挑战赛公告，并未提出一个统一的、端到端的模型架构。其核心是定义了四个独立的任务，并为每个任务提供了基线模型。因此，架构描述将围绕这些任务和基线展开。 ...

📄 Sema: Semantic Transport for Real-Time Multimodal Agents #实时处理 #信号处理 #多模态模型 #跨模态 ✅ 6.5/10 | 前50% | #实时处理 | #信号处理 | #多模态模型 #跨模态 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Jiaying Meng (Unaffiliated) 通讯作者：未说明 作者列表：Jiaying Meng (Unaffiliated), Bojie Li (Pine AI) 💡 毒舌点评 这篇论文提出了一个极具前瞻性的“语义传输”范式，敏锐地抓住了为AI模型而非人类优化媒体传输这一核心矛盾，理论框架清晰。然而，其最大的短板在于所有结论均基于仿真，缺乏一个端到端的真实系统实现和验证，使得“颠覆性”的结论在工程落地层面显得有些悬空。 📌 核心摘要 要解决的问题：当前多模态AI智能体（如语音助手、电脑操控智能体）使用为人类实时通信（RTC）设计的网络协议栈传输原始音频和屏幕截图，这导致了巨大的带宽和延迟开销，因为这些协议优化的是人类感知的保真度和播放流畅性，而AI模型处理的是离散的语义事件。 方法核心：提出Sema系统，其核心思想是“传输意义，而非信号”。在上行链路（客户端到服务器），用离散的语义令牌（如语音令牌、混合屏幕表示）替代原始媒体；在下行链路（服务器到客户端），将语音合成器（vocoder）移至客户端，并采用突发式令牌交付，消除抖动缓冲。 与已有方法相比新在哪里：与传统RTC（如WebRTC、Opus/WebP编码）相比，Sema实现了根本性的范式转变：从优化信号级失真（Shannon-Weaver Level A）转向优化任务级语义保真（Level B）。具体创新包括：(1) 在客户端进行语义令牌化而非在服务器端编码；(2) 设计了结合无损结构化文本（无障碍树/OCR）和紧凑视觉令牌的混合屏幕表示；(3) 利用AI模型的“事件时间容忍度”实现突发交付。 主要实验结果：在广域网仿真条件下，Sema相比基线（Opus 32kbps音频，WebP质量80截图）实现了音频上行带宽减少64倍（从12KB/3秒降至188B），屏幕上行带宽减少130-210倍（从700KB降至3-5KB）。同时，下游任务准确率（语音识别WER、屏幕导航和文本任务成功率）与原始基线相比差距在0.7个百分点以内。关键结果见下表和图： 表1：每轮上行载荷中位数对比 方法 音频 (3秒轮次) 截图 压缩比 (相对于Raw+Compress) Raw (PCM / PNG) 96 KB 950 KB - Raw+Compress (Opus / WebP) 12 KB 700 KB 1× (参考) Sema-Static (仅令牌) 188 B 832 B 64× / 841× Sema-Hybrid 188 B 3–5 KB 64× / 130–210× 图1显示了Sema方法（特别是Sema-Hybrid）相比原始和压缩方法，在每轮传输数据量上的数量级优势。 ...

语音/音频论文速递 2026-04-24 共分析 21 篇论文 ⚡ 今日概览 📥 抓取 21 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 3篇 ███ #语音合成 3篇 ███ #语音情感识别 2篇 ██ #音频生成 1篇 █ #音频安全 1篇 █ #语音翻译 1篇 █ #音乐理解 1篇 █ #语音生物标志物 1篇 █ 📊 论文评分排行榜（20 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Prosody as Supervision: Bridging the Non-Verbal–Verbal 8.0分 前25% #语音情感识别 🥈 Do LLM Decoders Listen Fairly? Benchmarking How Languag 7.5分 前25% #语音识别 🥉 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis w 7.5分 前25% #语音合成 4. Materialistic RIR: Material Conditioned Realistic RIR G 7.5分 前25% #音频生成 5. Evaluation of Automatic Speech Recognition Using Genera 7.5分 前25% #语音识别 6. Misinformation Span Detection in Videos via Audio Trans 7.5分 前25% #音频安全 7. Preferences of a Voice-First Nation: Large-Scale Pairwi 7.5分 前25% #语音合成 8. Hierarchical Policy Optimization for Simultaneous Trans 7.5分 前25% #语音翻译 9. Beyond Rules: Towards Basso Continuo Personal Style Ide 7.0分 前50% #音乐理解 10. Time vs. Layer: Locating Predictive Cues for Dysarthric 7.0分 前25% #语音生物标志物 11. ATRIE: Adaptive Tuning for Robust Inference and Emotion 7.0分 前25% #语音合成 12. Video-Robin: Autoregressive Diffusion Planning for Inte 7.0分 前25% #音乐生成 13. “This Wasn’t Made for Me”: Recentering User Experience 7.0分 前50% #语音识别 14. Dilated CNNs for Periodic Signal Processing: A Low-Comp 6.5分 前50% #语音增强 15. DiariZen Explained: A Tutorial for the Open Source Stat 6.5分 前50% #说话人分离 16. Full-Duplex Interaction in Spoken Dialogue Systems: A C 6.5分 前25% #语音对话系统 17. Sema: Semantic Transport for Real-Time Multimodal Agent 6.5分 前50% #实时处理 18. AUDITA: A New Dataset to Audit Humans vs. AI Skill at A 6.5分 前50% #音频问答 19. MER 2026: From Discriminative Emotion Recognition to Ge 6.0分 前50% #语音情感识别 20. Low-Rank Adaptation Redux for Large Models 5.5分 前50% #大语言模型 21 Phonological Subspace Collapse Is Aetiology-Specific an N/A - - 📋 论文列表 🥇 Prosody as Supervision: Bridging the Non-Verbal–Verbal for Multilingual Speech Emotion Recognition 🔥 8.0/10 | 前25% | #语音情感识别 | #领域适应 | #双曲神经网络 #自监督学习 | arxiv ...

📄 ATIR: Towards Audio-Text Interleaved Contextual Retrieval #音频检索 #多模态模型 #基准测试 #对比学习 ✅ 7.5/10 | 前25% | #音频检索 | #多模态模型 | #基准测试 #对比学习 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Tong Zhao（中国人民大学高瓴人工智能学院） 通讯作者：Zhicheng Dou（中国人民大学高瓴人工智能学院） 作者列表： Tong Zhao（中国人民大学高瓴人工智能学院） Chenghao Zhang（中国人民大学高瓴人工智能学院） Yutao Zhu（中国人民大学高瓴人工智能学院） Zhicheng Dou（中国人民大学高瓴人工智能学院） 💡 毒舌点评 这篇论文为“音频-文本交错检索”这一新兴场景建立了首个标准化基准和评估框架，这种“开山立派”的工作本身具有重要价值。然而，其提出的模型（ATIR-Qwen-3B）本质上是现有强大MLLM（Qwen2.5-Omni）的一个检索适配版本，核心创新（ATIR Selector）更像是一个工程优化模块，理论深度有限。实验虽然充分，但所有基线在交错检索任务上表现都很差，这固然凸显了新任务的难度，但也使得“显著提升”的结论说服力打了一点折扣。 📌 核心摘要 这篇论文旨在解决现有音频-文本检索方法无法处理查询和文档中音频与文本交错出现（如多轮对话、混合输入）的局限性。为此，作者定义了音频-文本交错上下文检索（ATIR）任务，并构建了一个包含约8.8万对样本的大规模基准。为解决直接应用多模态大语言模型（MLLM）时音频token冗余导致的效率和精度问题，论文提出了一种基于MLLM的检索框架，其核心是引入一个轻量级的ATIR Selector模块，用于自适应地筛选关键音频token。此外，采用了两阶段训练策略（先激活嵌入能力，再激发交错模态能力）。实验表明，所提出的ATIR-Qwen-3B模型在各项指标上显著优于文本模态、跨模态和融合模态的基线模型（例如，在交错检索任务上，Recall@1比最强基线高出约10%）。该工作为复杂的多模态信息检索场景提供了新的研究方向和基准，但其局限在于仅关注单文档检索，且评估任务集中于问答领域。 🏗️ 模型架构 模型采用双编码器（Bi-encoder）架构，查询和文档分别独立编码到共享嵌入空间，通过余弦相似度计算相关性，支持高效检索。 整体流程：输入为音频-文本交错序列。文本部分通过Qwen2.5-Omni的Tokenizer处理；音频部分通过其原生的音频编码器（AuT）处理，生成帧级表示。编码后的文本token和音频token序列被送入“ATIR Selector”模块进行关键音频token筛选。筛选后的token序列与文本token序列一起，输入到Qwen2.5-Omni的Thinker骨干网络（一个Transformer）进行处理。最终，取序列最后一个token（）的隐藏状态作为整个交错序列的嵌入表示。 主要组件： Qwen2.5-Omni Thinker：作为骨干模型，负责处理混合的文本和音频token序列，生成上下文感知的表示。论文中冻结了其音频编码器，仅对后续部分进行微调。 ATIR Selector：这是一个即插即用的轻量模块，建立在Qwen3-0.6B之上。它在骨干模型的最终隐藏层之上添加一个线性层，为每个音频token位置预测一个选择概率。概率高于阈值的token被保留，低于阈值的被过滤。其目标是减少冗余音频信息，平衡不同模态的信息密度。 数据流与设计动机：音频token通常数量多且包含冗余信息，直接输入Transformer会导致计算效率低且可能引入噪声。ATIR Selector的设计动机就是通过自适应选择，保留最具信息量的音频片段，从而提升检索的准确性和效率。这是一个针对音频特性的优化，与修改tokenizer或编码器的方法正交。 💡 核心创新点 定义ATIR任务与构建首个基准：首次正式定义了音频与文本交错出现的检索任务，并构建了一个大规模、高质量的合成数据集。这是最重要的贡献，为社区提供了明确的研究问题和评估平台。 提出ATIR Selector模块：针对音频token冗余问题，设计了一个轻量级的、基于学习的token选择器。它能根据上下文自适应地过滤音频token，优于简单的平均池化，并能灵活控制压缩率。 设计多阶段训练策略：采用两阶段训练：第一阶段使用单模态/跨模态对激活模型的通用嵌入能力；第二阶段使用带有强负样本的交错模态数据，专门激发模型处理复杂交错结构的能力。这种渐进式训练有效提升了模型性能。 构建严谨的数据合成与质量控制流程：利用MLLM从多个角度（跨领域、比较、示例、推理）扩展语料，构建高质量问答对，并通过检索和生成两种方式构造困难负样本，最后进行多方面自评估，确保了基准数据的质量和难度。 🔬 细节详述 训练数据：基于LibriSpeech（ASR）、CoQA（QA）、SVQ（检索）三个数据集，通过统一合成流程生成。训练集包含84,374对查询-文档对，测试集包含3,909对。数据包含四种声学环境：干净、背景人声、交通噪声、媒体噪声。 损失函数：采用InfoNCE对比损失（公式1）。给定查询、正文档和一批负文档（包括硬负样本和批内负样本），目标是最大化正对的相似度，最小化负对的相似度。温度参数τ设为0.05。 训练策略： 优化器：AdamW。 学习率：峰值5e-5，前10%步骤线性预热。 轮数：两个阶段各训练2个epoch。 批次大小：通过梯度累积实现大批次（具体值未说明）。 参数高效微调：使用LoRA（rank=32, α=32, dropout=0.1）插入Transformer的投影层，冻结骨干模型。 关键超参数：骨干模型为Qwen2.5-Omni-3B。Selector基于Qwen3-0.6B。文本最大序列长度512 token。音频采样率16kHz。 训练硬件：8块NVIDIA A100 40GB GPU，使用DeepSpeed ZeRO优化。完整训练约需24小时。 推理细节：采用双编码器，通过余弦相似度计算相关性。Selector的阈值可调，用于平衡性能与效率。 📊 实验结果 主要基准与指标：在ATIR基准的四个设置（A→T, T→A, IAT→T, IAT→A）上评估，使用Recall@1和nDCG@5。 主结果：ATIR-Qwen-3B显著优于所有基线。 对比文本模型：在IAT→T设置上，Recall@1为81.74%，最强文本基线Qwen3-Embedding-4B为69.24%，高出12.5个百分点。 对比跨模态模型：跨模态模型（如CLAP）性能极差，M2D-CLAP在IAT→T上Recall@1仅22.53%。 对比融合模态模型：在IAT→T上，ATIR-Qwen-3B（81.74%）优于Omni-Embed-Nemotron-3B（75.47%）6.27个百分点。 消融实验： 组件贡献（表3）：移除Selector导致平均Recall@1下降1.05%；移除Stage I下降3.27%；移除Stage II下降5.86%，表明交错模态训练最关键。 Selector vs. 平均池化：Selector（Recall@1 78.86%）优于2/4/8路平均池化（77.12/77.21/76.54%），证明了学习选择优于均匀压缩。 交错结构影响（表7）：打乱音频-文本的顺序或位置都会导致性能下降，证实模型依赖于有序的交错结构。 效率分析：ATIR-Qwen-3B（延迟16.8ms）与同等规模的融合模态模型（如ColQwen-Omni-3B，17.1ms）延迟相当，且远低于需要ASR预处理的文本模型（>500ms）。 ⚖️ 评分理由 学术质量：6.0/7：论文在任务定义、基准构建和实验设计上表现出色，工作完整扎实。ATIR Selector模块的设计有明确动机且有效。主要扣分点在于模型架构本身缺乏根本性创新，更多是现有强大MLLM在特定任务上的适配和优化。 选题价值：1.5/2：音频-文本交错检索是一个重要且未被充分研究的前沿问题，尤其在人机交互和多模态内容理解领域有明确应用前景，选题具有较好的时效性和影响力。 开源与复现加成：0.0/1：论文提供了详尽的实验配置和附录，可复现性高。但正文中未明确承诺代码、模型权重和数据集的公开开源计划（仅提及“GitHub Issue”），因此无法给予加分。 🔗 开源详情 代码：论文中提及“GitHub Issue”，但未提供具体的代码仓库链接。是否开源及代码状态未说明。 模型权重：论文提到训练了ATIR-Qwen-3B模型，但未提及是否公开模型权重。 数据集：论文构建了ATIR基准，但未说明是否公开数据集及获取方式。 Demo：论文中未提及在线演示。 复现材料：附录B提供了极其详细的实现细节，包括模型架构、LoRA配置、训练超参数（学习率、优化器、轮数）、硬件环境（8xA100）和训练时长（约24小时），复现信息充分。 论文中引用的开源项目：依赖Qwen2.5-Omni-3B、Qwen3-0.6B作为骨干和选择器基础；使用LoRA进行参数高效微调；使用DeepSpeed进行分布式训练。 🖼️ 图片与表格 图1：内容：展示跨模态检索、融合模态检索与交错模态检索的区别。保留：是 - 理由：直观定义了新任务（ATIR）与传统任务的区别，是理解论文核心问题的关键示意图。 图2：内容：展示ATIR数据合成框架的五个步骤。保留：是 - 理由：清晰地概括了构建基准数据集的完整流程，是理解论文数据贡献的核心图表。 图3：内容：展示ATIR模型的整体架构和ATIR Selector的训练范式。保留：是 - 理由：论文核心方法的详细图解，展示了模型组件、数据流和Selector的监督学习方式。 图4（柱状图）：内容：对比ATIR Selector与不同路数平均池化在Recall@1和nDCG@5上的性能。保留：是 - 理由：直观展示了核心组件（Selector）的有效性，是关键消融实验的可视化证据。 主要结果表（表2）：内容：在四个检索设置下，对比文本、跨模态、融合模态基线与ATIR-Qwen-3B的Recall@1和nDCG@5数值。保留：是 - 理由：承载了论文最核心的实验结论，必须保留所有模型和数值。 消融实验表（表3）：内容：展示移除Selector、Stage I、Stage II对性能的影响。保留：是 - 理由：证明了每个设计组件的必要性，是验证方法有效性的关键证据。 分析实验表（表7）：内容：展示打乱交错结构（Shuffle Order/Position/Both）对性能的影响。保留：是 - 理由：证明了模型对有序交错结构的依赖，深化了对任务和模型的理解。 效率分析表（表4）：内容：对比不同模型的参数量和推理延迟。保留：是 - 理由：展示了ATIR-Qwen-3B在效率上的优势，是评估方法实用性的重要依据。 📸 论文图片 ...

📄 ONOTE: Benchmarking Omnimodal Notation Processing for Expert-level Music Intelligence #基准测试 #模型评估 #音乐理解 #多模态模型 #跨模态 🔥 8.0/10 | 前25% | #基准测试 | #模型评估 | #音乐理解 #多模态模型 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Menghe Ma（北京邮电大学） 通讯作者：Haoran Luo（南洋理工大学） 作者列表： Menghe Ma*（北京邮电大学） Siqing Wei*（北京邮电大学） Yuecheng Xing*（北京邮电大学） Yaheng Wang（北京邮电大学） Fanhong Meng（中国音乐学院） Peijun Han（中国音乐学院） Luu Anh Tuan（南洋理工大学） Haoran Luo†（南洋理工大学） （*表示共同第一作者，†表示通讯作者） 💡 毒舌点评 亮点：论文一针见血地指出了当前多模态音乐AI“看得懂谱但不懂乐理”的致命短板，并用一套滴水不漏的确定性评估流水线（规范音高投影+序列对齐）把“LLM当评委”的主观泡沫彻底挤干，建立了一个干净、可复现的评测标尺。短板：虽然评估范式设计精巧，但基准数据集规模（1120个样本）和任务复杂度（如AST仅10秒音频）可能不足以完全模拟真实世界中长篇、复杂乐曲的处理挑战，其结论的普适性有待更大规模验证。 📌 核心摘要 问题：当前多模态大模型在音乐符号处理（Omnimodal Notation Processing, ONP）领域存在严重缺陷：研究碎片化、模型存在严重的符号偏差（偏向五线谱）、且普遍依赖不可靠的“LLM-as-a-Judge”评估方法，掩盖了模型在音乐理论推理上的系统性失败。 方法核心：提出ONOTE基准，包含四个任务（视觉乐谱理解VSU、跨格式符号转换CNC、音频转符号AST、符号音乐生成SMG），覆盖五线谱、简谱、吉他谱三种系统。其核心是设计了一条“确定性与反偏差评估流水线”，通过“规范音高投影”将所有输出统一映射为一维音高序列，再利用编辑距离进行客观的序列对齐精度计算。 新意：与以往专注于单一转录任务或使用主观评估的基准不同，ONOTE首次提供了覆盖音乐符号处理全生命周期的、多符号系统的综合评估框架，并彻底摒弃了主观评分，实现了评估的客观化与标准化。 主要实验结果：对多个前沿全模态模型（如Qwen、Gemini系列）的评测显示，模型在VSU任务上表现优异（如Gemini-3.1-flash-lite-preview在五线谱VSU达99%），但在需要深层音乐理论推理的CNC和AST任务上表现急剧下降（如上述模型五线谱CNC仅17.29%）。这证实了模型“感知准确”与“理解逻辑”之间的巨大鸿沟。 实际意义：为音乐AI研究社区提供了统一、严谨的评估标准，能够客观诊断模型的推理弱点，推动开发更具音乐认知深度、而非仅进行表面模式匹配的AI系统。 主要局限性：1) 基准数据集规模相对有限（1120个样本），可能无法覆盖所有音乐风格和复杂度；2) 任务设置（如AST仅10秒）偏向简化场景；3) 作为评估基准，其本身不提出新模型，价值依赖于社区的采纳和应用。 🏗️ 模型架构 本文并非提出一个新的端到端模型，而是定义了一个评估框架（Benchmark）。其核心架构是确定性评估流水线，流程如下： ...

📄 Qwen3.5-Omni Technical Report #多模态模型 #语音对话系统 #多语言 #语音合成 🔥 8.5/10 | 前25% | #语音对话系统 | #多模态模型 | #多语言 #语音合成 | arxiv 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表： Bing Han (未说明) Baosong Yang (未说明) Bin Zhang (未说明) Bo Zheng (未说明) Dayiheng Liu (未说明) Fan Zhou (未说明) Hongkun Hao (未说明) Hangrui Hu (未说明) Jin Xu (未说明) Jianxin Yang (未说明) Jingren Zhou (未说明) Keqin Chen (未说明) Le Yu (未说明) Mingkun Yang (未说明) Peng Wang (未说明) Pei Zhang (未说明) Qize Yang (未说明) Rui Men (未说明) Ruiyang Xu (未说明) Shuai Bai (未说明) Sibo Song (未说明) Ting He (未说明) Xize Cheng (未说明) Xingzhang Ren (未说明) Xian Shi (未说明) Xiong Wang (未说明) Xinyu Zhang (未说明) Xinfa Zhu (未说明) Yunfei Chu (未说明) Yuanjun Lv (未说明) Yuchong Sun (未说明) Yongqi Wang (未说明) Yuxuan Wang (未说明) Yang Zhang (未说明) Zhifang Guo (未说明) Zishan Guo (未说明) Ziyang Ma (未说明) (以及数十位贡献者，论文中未提供其具体机构信息) 💡 毒舌点评 亮点：工程整合能力极强，在215个涵盖理解、推理和交互的音频/音视觉基准上全面达到SOTA，尤其在语音对话和多语言识别上超越了Gemini-3.1 Pro，展现了扎实的“刷榜”实力。短板：作为技术报告，其创新性主要体现在将现有技术（MoE、ARIA、长上下文）进行大规模组合与优化，而非提出颠覆性的新范式，读起来更像一份详尽的“产品说明书”而非“科学发现”。 ...

📄 APRVOS: 1st Place Winner of 5th PVUW MeViS-Audio Track #视频对象分割 #多模态模型 #语音识别 #音视频 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Deshui Miao (鹏城实验室) 通讯作者：Xin Li (鹏城实验室) - 论文中作者列表“Xin Li”后标有星号(*)，通常表示通讯作者。 其他作者： Yameng Gu (鹏城实验室) Chao Yang (鹏城实验室) Haijun Zhang (哈尔滨工业大学) Ming-Hsuan Yang (加州大学美熹德分校) 💡 毒舌点评 这篇论文的亮点是“把大象装冰箱”的工程思维：把一个看似复杂的音视频分割问题，拆解成“听语音、找东西、画轮廓、精修边”四步走，流程清晰得像一份高级菜谱，让模型各司其职，有效避免了端到端模型在噪声面前的“胡言乱语”。槽点也很明显：作为一篇学术论文，它更像是一份“竞赛冠军秘籍”或“系统集成报告”，创新主要体现在对现有顶尖模型（VibeVoice, Sa2VA, SAM3）的巧妙编排和调度上，而非提出全新的核心算法，学术深度略有欠缺。 📌 核心摘要 这篇论文报告了APRVOS系统，一个专为MEVIS_Audio（音频条件下的指代视频对象分割）任务设计的冠军方案。要解决的问题是传统文本指代分割模型无法直接处理包含噪声、不完整且可能描述视频中不存在物体的语音输入。采用的方法是一个四阶段流水线：首先使用VibeVoice-ASR将语音转为文本；然后用一个基于Qwen3-VL的视觉判断模块（Omni Judger）验证转写文本描述的目标是否在视频中存在，若不存在则直接输出空掩码；若存在，则将文本转化为提示词，输入Sa2VA模型生成粗略的分割轨迹；最后，引入一个“代理验证”层来评估粗分割结果的可靠性，并调用SAM3模型对可信锚点帧进行边界精修和时序传播。取得的效果在第五届PVUW MeViS-Audio赛道上排名第一，J&F分数达到0.6700，消融实验证明每个阶段（尤其是存在性判断和代理精修）都带来了显著的性能提升。局限性在于该报告侧重于系统描述，对各组件内部（如ASR、视觉判断模块）的训练细节和超参数披露有限，且整体性能高度依赖于几个大型预训练模型的组合。 🏗️ 模型架构 模型整体是一个串联式多阶段处理流水线，其完整输入输出流程如下： 输入：视频 V = {I_t} 和音频指代表达 A。 Stage -1: 语音转文本 (VibeVoice-ASR)：输入音频 A，输出转写文本 q_asr。此阶段专注于长语音识别，提取语义内容。 Stage 2: 视觉存在性判断 (Omni Judger)：输入视频采样帧和转写文本 q_asr，输出二元判断 e ∈ {0,1}。若 e=0，流程终止，输出全零掩码序列；若 e=1，流程继续。 Stage 3: 提示构建：将 q_asr 填入固定模板（如“\nPlease segment {exp}.”），生成适用于Sa2VA的分割提示。 Stage 4: 粗语义分割 (Sa2VA)：输入视频 V 和构建好的提示，通过Sa2VA的 predict_forward 方法，输出粗掩码轨迹 ℳ~ = {m~_t}。 Stage 5: 代理验证 (Agentic Verification)：这是一个推理决策层，而非传统神经网络。它分析粗掩码轨迹 ℳ~ 的可靠性，包括：检查非空掩码帧、掩码面积时序平滑度、语义与描述的一致性、是否存在干扰物等。其核心功能是识别出最可信的“锚点帧”。 Stage 6: 锚点精修 (Refinement from Trusted Anchors)：对于代理层选定的锚点帧 a，从其粗掩码 m~_a 中提取几何提示（边界框 b_a、中心点 p_a）。以这些提示为输入，调用SAM3模型，在时序上向前和向后传播，生成最终的高精度、时序一致的分割掩码序列 ℳ。 输出：最终的二值掩码序列 ℳ。 关键设计选择理由： ...

📄 Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs #音频安全 #数据增强 #音频大模型 #多模态模型 #对抗样本 🔥 评分：9.5/10 | arxiv 👥 作者与机构 第一作者：Jaechul Roh（推断，因名字在前） 通讯作者：Amir Houmansadr（推断，因名字在后且通常为资深作者） 全部作者：Jaechul Roh, Amir Houmansadr 所属机构：University of Massachusetts Amherst, Department of Computer Science 💡 毒舌点评 亮点：论文像一把精准的手术刀，首次剖开了音频大模型“良性微调”外表下的安全脆弱性，揭示了其与文本/视觉模态截然不同的、由编码器架构决定的“阿喀琉斯之踵”，研究问题抓得准，分析框架设计得妙。槽点：提出的防御方法（远距离过滤和系统提示）虽然有效但略显“直球”，缺乏对模型内部拒绝机制更深入的干预探索，算是给后续研究者留了口饭吃。 📌 核心摘要 这篇论文首次系统研究了良性（无害）音频数据微调对音频大模型安全对齐的破坏作用。要解决的问题是：用户出于提升模型性能目的进行的常规微调，是否会无意中破坏模型的安全防护？方法上，作者提出了一个基于嵌入空间邻近度的过滤框架，从语义、声学及混合维度，选择性地用与有害内容在表示空间上相近的良性音频进行微调。主要发现是，即使微调数据完全良性，也能使越狱成功率（JSR）从个位数飙升至87.12%，且主导的脆弱性维度（语义或声学）取决于模型编码器的架构。实际意义在于揭示了Audio LLMs一个非对抗性、易被忽视的重大安全风险，并提出了两种无需修改架构的实用防御策略（训练时远距离过滤和推理时安全系统提示）。局限性在于研究限于英语单轮对话，未探索非语音音频任务或多语言场景。 🏗️ 模型架构 论文本身并非提出新模型，而是分析三个现有的SOTA音频大模型在微调下的安全行为。因此，模型架构部分描述的是被分析的三个目标模型： Audio Flamingo 3 (AF3)：架构为 Whisper音频编码器 -> 2层MLP投影器 -> Qwen2.5-7B LLM骨干（28层）。其关键特点是MLP投影器会压缩音频特征，形成一个与文本对齐空间不同的表示区域。 Kimi-Audio 7B：采用双编码器设计，包含WhisperVQ编码器（通过矢量量化瓶颈，会丢弃部分声学细节）和Whisper-Large-V3编码器。音频信息通过这两个编码器处理后输入LLM。 Qwen2.5-Omni 7B：架构为Whisper-Large-V3编码器 -> 直通（pass-through）-> Qwen2.5-7B Thinker模块。其编码器输出几乎不加修改地传递给LLM，保留了更多的音频-文本对齐信息。 数据流动与关键设计：在所有三个模型中，音频编码器在微调期间是冻结的，只有LLM骨干网络通过LoRA进行参数更新。这是与文本LLM微调的关键区别：在音频LLM中，安全对齐所依赖的表示（来自编码器）并未被微调直接修改，但下游LLM的决策边界却发生了偏移。 💡 核心创新点 首个系统性研究：首次针对音频大模型，系统性地研究了良性微调对安全对齐的破坏作用，填补了该领域的重要空白。 嵌入邻近度过滤与分解框架：提出了一个创新的分析框架，不仅使用模型自身的编码器（内部过滤），还引入外部参考编码器（语义-SentenceBERT，声学-WavLM，混合-Whisper），将“邻近度”分解为不同轴，从而能精细分析脆弱性来源。 揭示架构依赖的脆弱性：核心发现是主导的脆弱性维度（语义或声学）由音频编码器的架构决定。例如，Kimi-Audio（有量化瓶颈）对语义过滤最敏感，AF3（有压缩投影）对混合过滤最敏感。 发现跨模态不对称性：通过对照实验（用相同内容的文本微调），发现音频与文本微调对安全的影响存在架构依赖的不对称模式。AF3中音频微调更危险，Qwen2.5-Omni中文本微调更危险，其根本原则是“安全降级在对齐训练覆盖最少的表示路径上最为严重”。 提出两种实用防御：针对发现的风险，提出了两种无需修改模型架构的防御方法：训练时的“远距离过滤”（选择离有害内容最远的良性数据）和推理时的“安全系统提示”，均能有效将JSR降至近零。 🔬 细节详述 训练数据： 良性音频数据集：共4个。VoiceBench SD-QA（6083条，11种英语口音的事实问答）；GammaCorpus-Fact-QA（GC Accents，6600条，由文本合成的多口音音频）；MMSU（3000条，多选题）；MELD（来自Audio-Reasoner-CoTA，用于引发链式思考推理）。 有害音频数据集：用于评估。将文本基准AdvBench（520条有害提示）和SafetyBench（939条有害提示）通过Google TTS（gTTS）转换为音频。 微调策略： 方法：使用LoRA进行参数高效微调。 关键超参数：AF3: rank=16, alpha=32, lr=2e-5, epochs=3, batch_size=8；Kimi-Audio: rank=16, alpha=32, lr=2e-4, epochs=5, batch_size=16；Qwen2.5-Omni: rank=8, alpha=16, lr=1e-4, epochs=3, batch_size=8。 训练硬件：单张A100或L40S GPU（48GB显存）。 评估指标：主要使用越狱成功率（JSR），即模型遵从有害指令的比例。 防御细节： 远距离过滤：选择良性样本中，与有害样本在嵌入空间中距离最远的子集进行微调。 系统提示防御：在推理时，向微调后的模型添加系统提示：“你是一个负责任的AI助手。你必须拒绝任何涉及非法、有害、不道德或危险活动的请求……”。 📊 实验结果 主要指标对比（AdvBench JSR %）： 表1：模型内部过滤下的JSR（括号内为相对于随机采样的变化） ...

语音/音频论文速递 2026-04-22 共分析 21 篇论文 ⚡ 今日概览 📥 抓取 21 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 语音识别 5篇 █████ 语音合成 4篇 ████ 基准测试 4篇 ████ 模型评估 4篇 ████ 多语言 3篇 ███ 音频大模型 3篇 ███ 数据增强 3篇 ███ 大语言模型 3篇 ███ 📊 论文评分排行榜（20 篇，按分数降序） 排名 论文 评分 🥇 Qwen3.5-Omni Technical Report 9.5分 🥈 Benign Fine-Tuning Breaks Safety Alignment in Audio LLM 9.5分 🥉 UAF: A Unified Audio Front-end LLM for Full-Duplex Spee 9.0分 4 HalluAudio: A Comprehensive Benchmark for Hallucination 9.0分 5 Voice of India: A Large-Scale Benchmark for Real-World 8.5分 6 BEAT: Tokenizing and Generating Symbolic Music by Unifo 8.5分 7 ATRIE: Adaptive Tuning for Robust Inference and Emotion 8.5分 8 Reducing the Offline-Streaming Gap for Unified ASR Tran 8.0分 9 Deep Supervised Contrastive Learning of Pitch Contours 8.0分 10 Disentangling Damage from Operational Variability: A La 8.0分 11 Text-To-Speech with Chain-of-Details: modeling temporal 7.5分 12 Towards Streaming Target Speaker Extraction via Chunk-w 7.5分 13 APRVOS: 1st Place Winner of 5th PVUW MeViS-Audio Track 7.5分 14 NVBench: A Benchmark for Speech Synthesis with Non-Verb 7.5分 15 Detecting Hallucinations in SpeechLLMs at Inference Tim 7.5分 16 MTR-DuplexBench: Towards a Comprehensive Evaluation of 7.5分 17 Tadabur: A Large-Scale Quran Audio Dataset 7.0分 18 Environmental Sound Deepfake Detection Using Deep-Learn 6.5分 19 Audio Spoof Detection with GaborNet 6.5分 20 Comparison of sEMG Encoding Accuracy Across Speech Mode 6.0分 21 MoVE: Translating Laughter and Tears via Mixture of Voc N/A 📋 论文列表 🥇 Qwen3.5-Omni Technical Report 🔥 9.5分 | #语音合成 #语音识别 #音频大模型 #预训练 | arxiv ...

📄 AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers #音视频 #知识蒸馏 #强化学习 #数据集 #多模态模型 🔥 评分：8.0/10 | arxiv 👥 作者与机构 第一作者：Edson Araujo（德国图宾根大学，图宾根AI中心） 通讯作者：根据论文格式和机构排序，推测为 Hilde Kuehne（德国图宾根大学，图宾根AI中心）或 James R. Glass（MIT-IBM Watson AI Lab） 其他作者： Saurabhchand Bhati（MIT-IBM Watson AI Lab） M. Jehanzeb Mirza（IBM Research， USA； MIT-IBM Watson AI Lab） Brian Kingsbury（IBM Research， USA； MIT-IBM Watson AI Lab） Samuel Thomas（IBM Research， USA； MIT-IBM Watson AI Lab） Rogerio Feris（MIT-IBM Watson AI Lab） James R. Glass（MIT CSAIL； MIT-IBM Watson AI Lab） Hilde Kuehne（德国图宾根大学，图宾根AI中心； MIT-IBM Watson AI Lab） 💡 毒舌点评 亮点：这篇论文最聪明的地方在于“借力打力”——自己没有强大的多模态推理模型？没关系，找两个顶尖的单模态“专家”（视觉和音频模型）分别写解题思路，再让一个“文书专家”（纯文本LLM）把它们整合成一份完美的跨模态推理报告，然后用这份报告去“教”学生模型。这招“分而治之，再合而为一”在数据稀缺的领域堪称优雅。 槽点：整个流程的“天花板”被那两个单模态教师牢牢卡住了，如果教师自己就是“睁眼瞎”（幻觉），那合并出来的推理链就是“一本正经地胡说八道”。论文也承认了，大部分幻觉源自教师。此外，SFT数据基本来自AVQA一个数据集，多样性上可能有点“偏科”。 ...