论文速递

📄 Learning Input-Channel Permutation Equivariance for Multi-Channel Source Separation: Reducing Bleeding in Small Music Ensembles #音乐源分离 #多通道 #数据增强 #音乐信息检索 7.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ✅ 7.9/10 | 前50% | #音乐源分离 | #数据增强 | #多通道 #音乐信息检索 | arxiv 👥 作者与机构 Ruchi Pandey (Tampere University, Audio Research Group), Jaime Garcia-Martinez (University of Jaen, Telecommunication Engineering Department), Pablo Cabañas-Molero (University of Jaen), David Diaz-Guerra (Tampere University), Ricardo Falcón Pérez (Tampere University), Tuomas Virtanen (Tampere University), Julio J. Carabias-Orti (University of Jaen), Pedro Vera-Candeas (University of Jaen) ...

📄 LLM-Based Synthetic Ground Truth Generation for Audio-Based Emotion Classification via In-Context Learning #数据增强 5.3/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 📝 5.3/10 | 后50% | #数据增强 | #数据增强 | arxiv 👥 作者与机构 Qing Huang, Pooja Pol, Jianing Zhang 奥格斯堡技术应用科学大学（Technische Hochschule Augsburg）商业学院，数据科学与自主系统技术转让中心（TTZ） 💡 毒舌点评 这篇论文试图解决一个实际问题：VR协作场景中情感标注成本高昂。思路清晰，模块化设计也值得肯定，像一个认真搭建的积木套装。然而，最致命的硬伤在于整个评估框架的根基是虚的——它用来验证“合成真值”的“真值”本身可靠性未被证明，这就像用一把不准的尺子去校准另一把尺子。创新性更多是应用场景的适配，而非方法论的突破。实验仅在单一语言、单一场景下进行，泛化性存疑。绝对性能（最高宏F1 0.49）在真实应用中可能还远不够看。作为一篇应用型探索，思路可取，但作为顶会论文，严谨性和深度都严重不足。 📌 核心摘要 本文针对虚拟现实（VR）协作环境中情感状态标注困难、成本高的问题，提出了一种基于大语言模型（LLM）和检索式上下文学习（ICL）的合成情感标签生成工作流。该方法的核心是设计一种检索策略：从已标注的音频段池中，根据声学特征（如音高、响度、语速等）的欧氏距离检索出与待推理音频在声学表现上最相似的少数样本作为ICL提示示例。这些示例的转录文本与声学描述一同输入给LLM，由其进行情感推理。在单一VR会话的德语语音数据上进行的实验表明，该检索式声学感知ICL相比随机采样的基线ICL，能显著改善模型对积极和消极等非中性情感的识别能力，宏平均F1从0.30提升至0.49。将该ICL策略作为增强模块，应用于wav2vec 2.0、NRC-VAD和XLM-Roberta三种不同类型的基线标注器后，也均带来了性能提升，尤其在少数类（消极类）的识别上。论文认为，该方法可作为一种可扩展、数据高效的组件，用于数据驱动的团队决策支持。 🔗 开源详情 代码：论文中未提及提供代码链接 模型权重：论文中未提及提供模型权重链接（论文使用了公开的Voxtral模型[6]，但仅引用了arXiv预印本链接：https://doi.org/10.48550/arXiv.2507.13264，未提供可直接下载的模型仓库地址） 数据集：论文中未提及提供公开数据集链接（研究使用了作者团队收集的专有VR游戏音频数据，未开源） Demo：论文中未提及 复现材料：论文中未提及（论文仅描述了实验设置，未提供检查点、训练配置文件等具体复现材料） 论文中引用的开源项目： Whisper (ASR模型)：论文引用[5]，指向arXiv预印本 https://doi.org/10.48550/arXiv.2212.04356。官方仓库为：https://github.com/openai/whisper wav2vec 2.0 与 HuBERT (自监督语音模型)：论文引用[7]指向一篇综述文章，这些模型由Meta AI发布。官方链接分别为： wav2vec 2.0: https://huggingface.co/facebook/wav2vec2-large-960h HuBERT: https://huggingface.co/facebook/hubert-large-ls960-ft NRC词典 (情感分析词典)： NRC Emotion Lexicon (论文引用[9])：https://saifmohammad.com/WebPages/nrc-emotion-lexicon.htm NRC VAD Lexicon (论文引用[10])：论文提供了arXiv预印本链接 https://doi.org/10.48550/arXiv.2503.23547。 XLM-RoBERTa (文本模型)：论文引用[11]指向一篇应用论文，该模型由Meta AI发布。官方链接为：https://huggingface.co/xlm-roberta-base Voxtral (语音大语言模型)：论文引用[6]，指向arXiv预印本 https://doi.org/10.48550/arXiv.2507.13264。未提及具体的官方代码或模型托管仓库链接。 🏗️ 方法概述和架构 本文提出的方法是一个模块化的AI驱动工作流，旨在从流式语音数据中自动生成情感合成真值标签。其核心架构基于一个未经微调的语音LLM（Voxtral）和检索式上下文学习（ICL）策略。整个流程如图1所示，可分为以下几个关键组件和步骤： ...

📄 MAF: Multimodal Adaptive Few-shot Prompting for Sentiment Analysis with MLLMs #多模态模型 #大语言模型 5.9/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 📝 5.9/10 | 前50% | #多模态模型 | #大语言模型 | arxiv 👥 作者与机构 作者：Hangling Xie (谢行凌) 机构：南京邮电大学 (Nanjing University of Posts and Telecommunications) 💡 毒舌点评 论文定位清晰，工作扎实，是一篇典型的“系统整合式”研究。它准确指出了MLLM在情感分析中的痛点（提示敏感性、输出不稳定），并给出了一个工程上合理的解决方案。三个模块（检索、自适应加权、投票）的拼接逻辑顺畅，实验设计也覆盖了足够的数据集和骨干模型，消融实验提供了有力的支撑。然而，这种“模块化拼接”的创新性较为有限，每个组件单独来看都有迹可循（RAG、可学习权重、self-consistency）。技术深度上，将连续权重优化离散化为分类问题是一种实用的妥协，但缺乏理论上的深入讨论；对时序信息的处理（平均池化）也过于简单。最令人诟病的是缺乏对推理效率的量化分析，以及代码和数据的未开源，这严重影响了工作的可复现性和实用价值评估。总体而言，这是一篇合格的、偏向应用的工程性论文，但距离顶级会议的理论或算法创新还有距离。 📌 核心摘要 本文针对多模态大语言模型（MLLMs）在情感分析任务中面临的提示设计敏感、静态演示无法适应多样输入以及模型输出不稳定等问题，提出了一个多模态自适应少样本提示框架（MAF）。该框架不更新MLLM参数，而是通过三个协同工作的核心模块来提升性能：1）多特征混合检索模块：整合面部表情（包含用于定位活跃说话人的唇部运动检测）、场景上下文和文本语义特征，从演示语料库中检索与当前查询最相关的多模态示例。2）自适应系数生成模块：一个轻量级神经网络，根据输入查询的内容，实时预测面部、场景和文本三个模态相似度分数的最优融合权重（从离散的66种权重组合中选择），取代传统的固定权重融合。3）多数投票模块：对MLLM进行多次采样生成候选预测，通过投票机制聚合结果，以提升输出的稳定性和鲁棒性。实验在CMU-MOSEI、CH-SIMS v2.0和MELD三个代表性数据集上，使用Qwen-1.8B、LLaMA2-7B和ChatGLM3-6B三个不同规模的骨干模型进行了验证。结果表明，MAF在各骨干模型上均能稳定提升基线性能（如在ChatGLM3-6B骨干上，MAF在CH-SIMS v2.0的Acc-2上达到86.89%，在MELD的Acc上达到69.94%），并与强基线方法具备竞争力。消融实验证实了检索、自适应加权和投票三个模块各自的贡献及其协同效应。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及具体模型权重链接。 数据集：论文中提及使用了CMU-MOSEI、CH-SIMS v2.0和MELD三个公开数据集，但未提供具体的下载链接或明确的开源协议信息。 Demo：论文中未提及。 复现材料：论文中提及“所有实验使用了固定种子以确保可复现性”，并说明了硬件环境（NVIDIA GeForce RTX 4090），但未提供完整的训练配置文件、模型检查点或详细复现指南。 论文中引用的开源项目：论文中提及了以下工具/项目，但未提供其具体链接： OpenFace3.0 (用于面部特征提取) PlaceCNN (用于场景特征提取) FAISS (用于构建向量数据库和执行近似最近邻搜索) 🏗️ 方法概述和架构 MAF框架的完整架构如论文图2所示，其目标是在不更新MLLM参数的前提下，通过动态的上下文构建和稳定的推理策略来增强其情感分析能力。整个过程可分为三个主要阶段，分别对应三个核心模块。 ...

📄 MambAdapter: Lightweight Mamba-Based Adapters for Parameter-Efficient Transfer Learning in Speech and Audio #语音识别 #音频分类 #参数高效微调 8.9/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.9/10 | 前25% | #语音识别 | #参数高效微调 | #音频分类 | arxiv 👥 作者与机构 Hussain Ali Cappellazzo, Salman Sami Hussain Ali, Umberto Cappellazzo, Mirco Ravanelli. 机构：1Université de Montréal, Canada; 2Imperial College London, UK; 3Concordia University, Canada; 4Mila – Quebec AI Institute, Canada. ...

📄 MatchLM2Lite: A Scalable MLLM-to-Lite Framework for Reproduced Content Identification 8.3/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.3/10 | 前25% | #音频分类 | arxiv 👥 作者与机构 Xiaotian Fan (TikTok Singapore)， Hiok Hian Ong (TikTok Singapore)， David Yuchen Wang (TikTok Singapore)， Zirui Zhu (TikTok Singapore, National University of Singapore)， Kanchan Sarkar (TikTok San Jose)， Kun Xu (TikTok San Jose) ...

📄 MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation #语音生成 #音频生成 #多模态模型 #扩散模型 #流匹配 #变分推断 #变分自编码器 6.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.1/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 6.9/10 | 前50% | #语音生成 | #变分推断 | #音频生成 #多模态模型 | arxiv 👥 作者与机构 作者：Kyeongmin Yeo, Yunhong Min, Minhyuk Sung 机构：KAIST 💡 毒舌点评 本文立意不错，试图从变分推断第一性原理出发解决多模态生成中的“一致性”痛点。理论分析部分逻辑清晰，提出了三个潜在空间准则并设计了相应的路由目标，这种“讲道理”的方式值得肯定。实验也表明其在无条件联合生成的一致性指标上有显著提升。然而，论文的核心创新点在于理论分析和目标设计，而实现这些目标的架构（编码器、解码器、先验）本身并无革命性变化。此外，理论证明依赖于多个理想化假设，其现实适用性存疑。最遗憾的是，缺少了对自身关键设计选择（如路由策略、不同聚合规则）的消融实验，使得理论分析与实际性能提升之间的因果链条不够坚固。在影响力方面，对于本领域的读者而言，这项工作的直接可借鉴性有限，更像一个针对视觉主导的多模态生成的“特解”。 📌 核心摘要 MUNI是一个面向任意多模态生成（any-to-any generation）的统一框架。它扩展了联合训练的单模态潜在扩散模型到多模态场景，核心在于两点：1）架构上，引入模态特定的编码器、表达力强的解码器和一个共享的流匹配先验；2）目标上，设计了一个路由训练目标，该目标通过非混合聚合、目标解耦的自重建以及仅在留一子集上训练先验等策略，使共享潜在变量同时满足一致性充分、预测充分和最小性这三个准则。实验在合成和真实图像-文本-音频数据上进行，结果表明MUNI在条件生成任务上不弱于强基线，而在更难的无条件联合生成任务上，其生成的模态间一致性显著优于现有方法。 ...

📄 MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild #语音对话系统 #多模态模型 #语音活动检测 #模型融合 7.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ✅ 7.8/10 | 前25% | #语音对话系统 | #模型融合 | #多模态模型 #语音活动检测 | arxiv 👥 作者与机构 作者: Haotian Qi, Gabriel Skantze 机构: Department of Speech Music and Hearing, KTH, Stockholm, Sweden ...

📄 NVMOS: Non-Verbal Vocalization Quality Assessment in Speech #自监督学习 6.2/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.1/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 6.2/10 | 前50% | #自监督学习 | #自监督学习 | arxiv 👥 作者与机构 未说明 💡 毒舌点评 这篇论文的定位和动机是清晰的：它识别了语音评估中一个被忽视的细粒度任务（非语言发声的质量），并构建了相应的数据集和模型。然而，其“首创性”声称（“to our knowledge the first”）需要谨慎对待，因为评估特定声学事件质量（如歌唱质量、自然度）已有相关工作。模型本身（文本查询+交叉注意力）是现有技术的直接组合，创新性有限。实验部分最大的硬伤在于数据集的合成主导性与泛化性质疑：尽管声称包含自然样本，但训练集严重依赖NV-TTS合成数据，且测试集也来自相同系统。这导致模型可能主要学习了特定合成器的伪影分布，其声称的“专家级一致性”在真实世界、多样化的自然语音场景（如影视、播客、真实对话）中的有效性存疑。论文结论“达到专家级或更强”显得过于乐观，仅在有限同分布测试集上验证。此外，与LLM的对比实验虽有启发性，但选择的MOSS-Audio和Qwen-Omni并非最强音频LLM，对比结论的强度被削弱。 📌 核心摘要 本文聚焦于语音中非语言发声（NV，如笑声、叹息）的感知质量评估问题。作者指出，现有评估方法要么关注整体语音自然度，要么仅判断NV的存在、类型和位置，而忽略了对NV事件本身声音质量的评估。为此，他们首先构建了NV-MOS数据集，包含合成与自然语音样本，并由专家进行0-5分标注。通过实验分析，作者发现通用的音频多模态大模型（如Gemini）在评分与专家判断上存在显著不一致，无法可靠替代专家。基于此，本文提出了NVMOS模型，它通过将文本中的NV标签转化为查询向量，利用交叉注意力机制引导模型关注语音帧中与目标NV相关的局部区域，从而预测其质量分数。实验结果表明，NVMOS在NV-MOS测试集上达到了与专家间一致性相当的预测精度。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：论文中未提及 数据集：论文中未提及（论文描述构建了名为“NV-MOS”的数据集，但未提供公开获取链接或开源协议信息。） Demo：论文中未提及 复现材料：论文提供了详细的训练配置，包括：使用WavLM Large或SPEAR Large作为语音特征编码器；XLM-R Large处理文本；下游评分器包含两个交叉注意力层、八个注意力头、隐藏层大小256、前馈层大小1024、dropout 0.1；使用AdamW优化器训练10个epoch，学习率\(10^{-4}\)，权重衰减\(10^{-2}\)，批大小8，使用Smooth L1损失函数，梯度裁剪设为1.0。但未提及模型检查点、附录等文件的具体获取方式。 论文中引用的开源项目： NVBench：论文中未提及链接 Gemini (Gemini 2.5 Pro, Gemini 3 Flash)：论文中未提及链接 MOSS-Audio (4B, 8B)：论文中未提及链接 Qwen-Omni 30B：论文中未提及链接 WavLM Large：论文中未提及链接（论文中作为语音表示模型使用） SPEAR Large：论文中未提及链接（论文中作为语音表示模型使用） XLM-R Large：论文中未提及链接（论文中作为文本编码器使用） 补充链接（自动提取）： ...

📄 Phonetically Explainable Speech Deepfake Detection #语音伪造检测 9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 9/10 | 前50% | #语音伪造检测 | #自监督学习 | arxiv 👥 作者与机构 Manasi Chhibber, Jagabandhu Mishra, Tomi H. Kinnunen (School of Computing, University of Eastern Finland, Joensuu, Finland) 💡 毒舌点评 这篇论文的动机清晰，试图解决深度伪造检测中的可解释性黑箱问题，其提出的音素引导交叉注意力框架具有一定的新颖性。然而，作为一篇瞄准顶会（如NeurIPS/ICML/ICLR）的工作，其核心贡献——交叉注意力机制的应用本身并不新颖，且性能未显示出对强基线（如AASIST）的显著超越，削弱了其影响力。更关键的是，其“结构性可解释性”的主张存在局限：权重α是通过端到端分类损失学习的，可能高度依赖数据集分布和攻击类型，无法保证其音素重要性排名具有泛化性和因果性，更像是一个“可解释的后处理视角”，而非真正的“设计即解释”。此外，实验部分声称要评估“in-the-wild”条件，但ASVspoof 5仍是一个有组织的比赛数据集，与真实部署场景存在差距。论文的行文略显冗长，理论部分（第4节）的假设（特别是A3）虽然后续有经验验证，但在实际应用中的稳健性存疑。总的来说，这是一个方向正确但突破性有限的工作，更像是一次有益的探索，而非决定性的贡献。 📌 核心摘要 本文针对语音深度伪造检测中模型决策不透明的问题，提出了一种基于音素引导的交叉注意力（Phoneme-Guided Cross-Attention）框架。该框架的核心思想是：通过一个概率因子分解，将全局的伪造检测后验概率 \(P(Y|X,W)\)（\(Y\) 为伪造标签，\(X\) 为声学特征，\(W\) 为音素后验图）分解为加权和形式：\(P(Y|X,W) = \sum_i w_i \cdot P(Y|X, Z=z_i)\)，其中 \(w_i\) 是第 \(i\) 类音素的在话语中的存在权重，\(P(Y|X, Z=z_i)\) 是基于声学证据和音素类型的条件伪造分数。为实现这一分解，架构设计了一个双流前端，分别提取自监督声学特征（XLS-R）和音素后验图（PPG）。然后，通过一个交叉注意力模块，将音素类别作为查询（Query）去探测声学特征中的关键信息，得到每个音素类别的声学证据表示。最后，通过一个可学习的加权池化层生成最终的伪造分数，并输出可解释的音素重要性权重。在三个数据集（控制环境的LJSpeech衍生集、标准基准ASVspoof 2019、大规模真实场景ASVspoof 5）上的实验表明，该框架能有效定位伪造痕迹，并一致性地揭示停塞音、摩擦音、塞擦音和鼻音等包含复杂发音机制的音素类别具有最高的判别力，而元音和半元音的判别力较低。消融实验进一步验证了这一结论。 ...

📄 Pixel-TTS: Image based Text Rendering for Robust Text-to-Speech #语音合成 #鲁棒性 #低资源 7.5/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前50% | #语音合成 | #鲁棒性 | #低资源 | arxiv 👥 作者与机构 Arigala Adarsh, Gangwar Arjun, Umesh Srinivasan, Kementchedjhieva Yova 机构：1 SPRING Lab, Indian Institute of Technology, Madras, India; 2 MBZUAI, UAE ...