数据增强

📄 Learning Input-Channel Permutation Equivariance for Multi-Channel Source Separation: Reducing Bleeding in Small Music Ensembles #音乐源分离 #多通道 #数据增强 #音乐信息检索 7.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ✅ 7.9/10 | 前50% | #音乐源分离 | #数据增强 | #多通道 #音乐信息检索 | arxiv 👥 作者与机构 Ruchi Pandey (Tampere University, Audio Research Group), Jaime Garcia-Martinez (University of Jaen, Telecommunication Engineering Department), Pablo Cabañas-Molero (University of Jaen), David Diaz-Guerra (Tampere University), Ricardo Falcón Pérez (Tampere University), Tuomas Virtanen (Tampere University), Julio J. Carabias-Orti (University of Jaen), Pedro Vera-Candeas (University of Jaen) ...

📄 LLM-Based Synthetic Ground Truth Generation for Audio-Based Emotion Classification via In-Context Learning #数据增强 5.3/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 📝 5.3/10 | 后50% | #数据增强 | #数据增强 | arxiv 👥 作者与机构 Qing Huang, Pooja Pol, Jianing Zhang 奥格斯堡技术应用科学大学（Technische Hochschule Augsburg）商业学院，数据科学与自主系统技术转让中心（TTZ） 💡 毒舌点评 这篇论文试图解决一个实际问题：VR协作场景中情感标注成本高昂。思路清晰，模块化设计也值得肯定，像一个认真搭建的积木套装。然而，最致命的硬伤在于整个评估框架的根基是虚的——它用来验证“合成真值”的“真值”本身可靠性未被证明，这就像用一把不准的尺子去校准另一把尺子。创新性更多是应用场景的适配，而非方法论的突破。实验仅在单一语言、单一场景下进行，泛化性存疑。绝对性能（最高宏F1 0.49）在真实应用中可能还远不够看。作为一篇应用型探索，思路可取，但作为顶会论文，严谨性和深度都严重不足。 📌 核心摘要 本文针对虚拟现实（VR）协作环境中情感状态标注困难、成本高的问题，提出了一种基于大语言模型（LLM）和检索式上下文学习（ICL）的合成情感标签生成工作流。该方法的核心是设计一种检索策略：从已标注的音频段池中，根据声学特征（如音高、响度、语速等）的欧氏距离检索出与待推理音频在声学表现上最相似的少数样本作为ICL提示示例。这些示例的转录文本与声学描述一同输入给LLM，由其进行情感推理。在单一VR会话的德语语音数据上进行的实验表明，该检索式声学感知ICL相比随机采样的基线ICL，能显著改善模型对积极和消极等非中性情感的识别能力，宏平均F1从0.30提升至0.49。将该ICL策略作为增强模块，应用于wav2vec 2.0、NRC-VAD和XLM-Roberta三种不同类型的基线标注器后，也均带来了性能提升，尤其在少数类（消极类）的识别上。论文认为，该方法可作为一种可扩展、数据高效的组件，用于数据驱动的团队决策支持。 🔗 开源详情 代码：论文中未提及提供代码链接 模型权重：论文中未提及提供模型权重链接（论文使用了公开的Voxtral模型[6]，但仅引用了arXiv预印本链接：https://doi.org/10.48550/arXiv.2507.13264，未提供可直接下载的模型仓库地址） 数据集：论文中未提及提供公开数据集链接（研究使用了作者团队收集的专有VR游戏音频数据，未开源） Demo：论文中未提及 复现材料：论文中未提及（论文仅描述了实验设置，未提供检查点、训练配置文件等具体复现材料） 论文中引用的开源项目： Whisper (ASR模型)：论文引用[5]，指向arXiv预印本 https://doi.org/10.48550/arXiv.2212.04356。官方仓库为：https://github.com/openai/whisper wav2vec 2.0 与 HuBERT (自监督语音模型)：论文引用[7]指向一篇综述文章，这些模型由Meta AI发布。官方链接分别为： wav2vec 2.0: https://huggingface.co/facebook/wav2vec2-large-960h HuBERT: https://huggingface.co/facebook/hubert-large-ls960-ft NRC词典 (情感分析词典)： NRC Emotion Lexicon (论文引用[9])：https://saifmohammad.com/WebPages/nrc-emotion-lexicon.htm NRC VAD Lexicon (论文引用[10])：论文提供了arXiv预印本链接 https://doi.org/10.48550/arXiv.2503.23547。 XLM-RoBERTa (文本模型)：论文引用[11]指向一篇应用论文，该模型由Meta AI发布。官方链接为：https://huggingface.co/xlm-roberta-base Voxtral (语音大语言模型)：论文引用[6]，指向arXiv预印本 https://doi.org/10.48550/arXiv.2507.13264。未提及具体的官方代码或模型托管仓库链接。 🏗️ 方法概述和架构 本文提出的方法是一个模块化的AI驱动工作流，旨在从流式语音数据中自动生成情感合成真值标签。其核心架构基于一个未经微调的语音LLM（Voxtral）和检索式上下文学习（ICL）策略。整个流程如图1所示，可分为以下几个关键组件和步骤： ...

📄 Robust Spoofed Speech Detection via Temporal Pyramid Modeling #音频深度伪造检测 #自监督学习 #低资源 #数据增强 6.7/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 6.7/10 | 前50% | #音频深度伪造检测 | #自监督学习 | #低资源 #数据增强 | arxiv 👥 作者与机构 作者：Mahtab Masoudi Nezhad, Nima Karimian 机构：西弗吉尼亚大学，南佛罗里达大学 💡 毒舌点评 这篇论文像一个精心调制的“技术沙拉”——把XLS-R预训练模型、Sinc/Mel等经典前端、以及一个“金字塔”结构搅拌在一起，然后宣称它能更好地捕捉“从局部毛刺到全局语调不自然”的伪造痕迹。其核心创新，即那个“Temporal Pyramid Adapter”，本质上是一个并行的多尺度一维卷积模块，技术上并无颠覆性。实验部分，论文在PartialSpoof上报告的EER和AUC确实亮眼，但通读全文会发现，这种优势在域迁移场景下会迅速缩水甚至消失（表4, 5, 6），论文自己也承认了这个尴尬事实。更值得玩味的是，在DiffSSD数据集上，他们的Pyramid模型F1-score（0.4985）甚至远低于Base模型（0.7770），这暴露出其阈值敏感性问题，而论文对此的讨论轻描淡写。多语言实验部分则像是一个未完成的结论——高AUC与低准确率之间的鸿沟暗示“决策边界校准”是个大问题，但论文只提了一句需要更好的策略，却没有提供任何实质性的解决方案。总体来说，这是一篇扎实的、但缺乏惊喜的增量式工作，其价值更多在于系统性的实验对比，而非方法论的突破。 📌 核心摘要 本文旨在提升语音欺诈检测的跨数据集与跨语言泛化能力。作者提出一个模块化框架，以自监督XLS-R模型为骨干，前端集成可选的适配器模块。其中，核心提出的是“时间金字塔适配器”，它采用并行的时间卷积分支，通过不同大小的卷积核（即不同感受野）来捕捉多尺度的伪造线索（从局部的频谱不连续性到全局的韵律异常）。论文在ASVspoof 2017/2021、PartialSpoof、DiffSSD和多语言HQ-MPSD等数据集上进行了广泛评估。结果表明，该方法在PartialSpoof数据集的域内评估中取得了具有竞争力的性能（EER 3.87%， AUC 99.24%）。然而，跨数据集和多语言迁移实验揭示，虽然AUC等排序指标表现尚可，但EER、F1等阈值相关指标的性能会显著下降，表明模型的决策边界对分布偏移和语言特性敏感，需要更好的校准与适应策略。 ...

📄 Scaling Human and G2P Supervision for Robust Phonetic Transcription #语音识别 #数据增强 #低资源 #课程学习 #预训练 7.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.7/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.6/10 | 前25% | #语音识别 | #课程学习 | #数据增强 #低资源 | arxiv 👥 作者与机构 作者：Alexander Metzger, Aruna Srivastava, Ruslan Mukhamedvaleev 机构：Koel Labs LLC, USA 💡 毒舌点评 这篇论文干了一件聪明且务实的事：与其去发明一个新模型，不如老老实实地做一份扎实的“菜谱”实验。它精准地戳中了当前G2P数据增强“堆量”路线的一个关键软肋——当人工标注数据达到某个“质量阈值”（20-30小时）后，廉价的G2P数据就成了食之无味弃之可惜的鸡肋，甚至可能因为引入偏差而坏事。论文最大的价值在于其扎实的实证研究设计和对“度”的把握，而不是某个花哨的算法。不过，其宣称的“鲁棒性”提升，目前看来更像是“在更匹配的测试集上表现更好”，其泛化能力仍受限于英语和特定的方言集合。 📌 核心摘要 本文系统研究了在英语自动音素转写任务中，人工标注数据与Grapheme-to-Phoneme (G2P) 模型生成标签的质量和数量如何交互影响模型性能。通过构建一个包含8种数据集、涵盖母语方言、非母语及病理语音的80小时标准化基准，作者发现了一个明确的监督质量阈值：当可用的人工标注数据超过20-30小时后，额外增加G2P数据不再带来统计上显著的性能提升，甚至可能降低模型在跨方言场景下的鲁棒性。相反，在此阈值之后，采用ASR预训练策略能持续有效地提升跨领域泛化能力。基于此发现，论文提出的“最优课程”训练方案在加权音素特征错误率（WPFER）上达到了先前最优系统的2.3倍改进，尤其在非母语和失语症语音数据上表现突出。 ...

📄 Teacher-Student Structure for Domain Adaptation in Ensemble Audio-Visual Video Deepfake Detection #多模态模型 #知识蒸馏 #集成学习 #Transformer #数据增强 7.4/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.4/10 | 前50% | #多模态模型 | #知识蒸馏 | #集成学习 #Transformer | arxiv 👥 作者与机构 Elham Abolhasani, Maryam Ramezani, Hamid R. Rabiee* 沙理工大学 (Sharif University of Technology) 计算机工程系 💡 毒舌点评 这篇论文试图做一件有价值的事：让深度伪造检测器“活”起来，能适应新出现的伪造技术。想法不错，但执行上更像是一个标准流程的工程化整合，而非一个能激发领域范式转变的突破。教师-学生框架（第2.3节）被作者明确指出是受[19, 33]启发，其主要创新点——针对Transformer的\(L_{AV-KL}\)损失——虽有技术意义，但贡献深度有限。最令人困惑的是，在DFDC这个公认复杂的数据集上，经过精心设计的学生模型相比教师模型AUC提升仅4.09%，这是否真正证明了该框架的有效性，还是只是数据不足导致的勉强适应？论文试图通过解释性（第5.4节）和鲁棒性（第5.5节）分析来增加亮点，但这些分析更多是定性展示，缺乏更严谨的量化支撑。总体而言，这是一篇扎实的、但缺乏足够想象力和突破性贡献的论文，适合发表在会议的Poster环节，而非获得广泛关注的Oral。 ...

📄 A Multi-Domain Feature Fusion Framework for Generalizable Deepfake Detection Across Different Generators #多模态模型 #数据增强 7.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.4/10 | 前50% | #多模态模型 | #多任务学习 | #数据增强 | arxiv 👥 作者与机构 第一作者：Amna Amjid，单位：国家科学技术大学（NUST），巴基斯坦。 通讯作者：Sana Qadir，单位：国家科学技术大学（NUST），巴基斯坦。 其他作者：Mehwish Fatima（同NUST），Raja Khurram Shahzad（密德瑞典大学及吕勒奥理工大学）。 💡 毒舌点评 这篇论文的“多领域融合”听起来挺唬人，但实际上就是把RGB、梯度图和DWT小波系数三个东西拼接在一起，然后丢进一个现成的双路残差网络（DRN）里。这种“融合”缺乏任何新颖的交互或注意力机制，更像是工程上的简单叠加。论文最大的亮点是实验设置比较系统，把跨模型、跨范式、多源和真实世界测试都做了一遍，这值得肯定。但问题在于，所有实验结果都强烈暗示，在这个任务上，数据的多样性（多源训练）和标准的数据增强策略，比你那个“多领域特征融合”的设计本身贡献大得多。看看表VIII，用MIX_ALL加增强就从49%提到75.8%，而模型架构的改进从baseline DRN到SGFF-Net的提升幅度在跨模型测试中（表V）远没有这么明显。所以，这篇论文更像是一份详尽的深度伪造检测实验报告，而不是一个在方法论上有坚实贡献的工作。核心方法部分（III节）描述还算清晰，但理论深度几乎为零。最要命的是，摘要和结论中声称的“显著提升”需要更审慎地限定范围——在最具挑战性的真实世界泛化上，75.8%的准确率离实用还很远，而且这提升很大程度归功于训练数据策略，而非模型架构本身。 📌 核心摘要 针对现有深度伪造检测方法（尤其是基于空间或单一频率域的方法）在面对扩散模型生成内容时泛化能力不足的问题，本文提出SGFF-Net（空间-梯度-频率融合网络）。该框架在一个双路残差网络（DRN）架构中，并行提取并融合图像的RGB空间特征、基于预训练ResNet-50的梯度特征以及基于离散小波变换（DWT）的频率特征。论文通过系统性的消融研究确定了DWT（尤其是Symlet小波族和反射边界模式）作为最优的频率表示方法，并验证了三路特征融合的必要性。实验评估涵盖五个场景：数据集内评估、跨模型评估、跨范式评估、多源评估和真实世界评估。结果表明，SGFF-Net在数据集内评估中达到98.95%的准确率。然而，在最具挑战性的跨范式（如用扩散模型训练测试GAN数据）和真实世界测试中，其性能仍显著下降（跨范式约70%，真实世界最高75.8%）。关键发现是，引入多源训练和标准数据增强策略，比单纯改进模型架构对提升泛化能力（尤其是跨模型和真实世界场景）的贡献更为显著。 🔗 开源详情 代码：论文中声称代码在GitHub公开，但未提供具体仓库链接。 模型权重：论文中未提及。 数据集：论文中明确提到了三个公开数据集，其获取链接在论文中已给出： DeepFakeFace (DFF): https://github.com/OpenRL-Lab/DeepFakeFace Diffusion Face (DiffFace): https://github.com/Rapisurazurite/DiffFace Diverse Fake Face Dataset (DFFD): https://cvlab.cse.msu.edu/dffd-dataset.html Demo：论文中未提及。 复现材料：论文中提供了详细的训练配置参数（如使用PyTorch框架、AdamW优化器、学习率、批大小、训练轮次等），但未提及是否提供检查点、完整训练脚本或数据预处理/划分脚本。 论文中引用的开源项目：未提及除数据集外的其他第三方开源项目。 标签 #多模态模型 #数据增强 #领域自适应 主任务标签：#图像生成 主方法标签：#多任务学习 补充标签：#数据增强 #领域自适应 ...

📄 FoleyGenEx: Unified Video-to-Audio Generation with Multi-Modal Control, Temporal Alignment, and Semantic Precision #语音合成 #多模态模型 #扩散模型 #数据增强 7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7/10 | 前50% | #语音合成 | #数据增强 | #多模态模型 #扩散模型 | arxiv 👥 作者与机构 作者：Shiyao Wang, Xijuan Zeng, Hui Wang, Shiwan Zhao, Feng Deng, Chen Zhang, Yong Qin。机构：南开大学先进交叉科学研究院，快手科技。论文注明工作于王诗瑶在快手科技实习期间完成。 ...

📄 From Self-Supervised Speech Models to Mixture-of-Experts for Robust Anti-Spoofing #自监督学习 #数据增强 7.5/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.5/10 | 前50% | #自监督学习 | #自监督学习 | #数据增强 | arxiv 👥 作者与机构 作者：Hugo Daumain, Driss Matrouf, Khaled Khelif, Mickael Rouvier 机构：LIA (Laboratoire d’Informatique d’Avignon), Université d’Avignon, France；Airbus Defence & Space, France 💡 毒舌点评 这篇论文的“野心”不小，试图用“大而全”的MoE改造SSL模型来对抗所有合成攻击，实验规模（6训练，14测试）堪称豪华。但仔细一看，核心贡献点——“完全转换”优于LoRA——在某种程度上是“用参数和算力换性能”，其边际效益和代价权衡并未被充分探讨。消融实验做得很细，但结论部分对“专家未专业化”这一有趣现象的讨论过于轻描淡写，仿佛只是实验附录。论文更像是一个扎实的工程实践报告，而非一个能引发深度思考的算法研究。最终11.9%的相对提升固然不错，但放在整个14个数据集的复杂场景下，以及相对于其增加的模型复杂度，这个改进是否足够“性感”且“高效”，要打个大大的问号。 ...

📄 Instantaneous Pitch Estimation via Wave-U-Net-Based Fundamental Waveform Enhancement #数据增强 7.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #数据增强 | #数据增强 | arxiv 👥 作者与机构 作者: Junya Koguchi, Tomoki Koriyama 机构: CyberAgent, Japan 💡 毒舌点评 这篇工作像一个精心设计的“特洛伊木马”，用语音增强的包装，成功偷袭了传统瞬时音高估计的城墙。将基波滤波这个棘手的手工特征工程问题，打包成一个端到端的DNN学习问题，思路相当讨巧。Wave-U-Net的选型也颇为老练，其时域处理能力和跳跃连接对波形结构重建至关重要。实验部分堪称模范，多领域数据集、从准确率到调制响应的全面评估、诚实的结论，都体现了扎实的工程素养。然而，它也像一个“偏科生”：理论解释几乎缺席，为何MAE优于MSE？λ为何是5.0？全凭经验。更致命的是，没有与任何近期的DNN音高估计方法对比，仿佛活在一个只有传统方法的平行宇宙。消融实验的缺失则让“关键创新点”的贡献度成了谜。作者自己都承认可能存在的混叠问题，这更像是一个已知的系统缺陷，而非偶然。总的来说，这是一篇出色的工程应用论文，但离一篇理论完备的顶级方法论文还有距离。 📌 核心摘要 本文提出了一种基于Wave-U-Net的瞬时音高估计新方法。其核心思想是将传统方法中关键的基波波形提取步骤，重新建模为一个语音增强问题。具体而言，训练一个Wave-U-Net模型直接从输入语音波形中回归出基波波形，随后通过计算其解析信号的瞬时频率来获得连续、平滑的音高轨迹。该方法旨在克服传统信号处理方法依赖复杂信道选择和打分机制、对噪声和强谐波敏感的缺点。实验在涵盖语音、歌声和多种乐器的多个数据集上进行，并在加噪条件下测试鲁棒性。与IRAPT、Halcyon、NINJAL等经典瞬时音高估计方法对比，所提方法在大多数评估指标（尤其是噪声鲁棒性）上表现更优。基于CAPRICEP的调制响应分析进一步表明，该方法在噪声环境下随机误差增长较小，但在纯净条件下对高频调制的跟踪能力略逊于NINJAL。 🔗 开源详情 代码：未提及代码链接。 模型权重：未提及模型权重。 数据集：论文使用了多个公开数据集进行训练与评估，需从原始来源获取：Bagshaw, Keele, CMU ARCTIC, PTDB-TUG, MOCHA-TIMIT, MIR-1K, MDB-stem-synth。噪声增强使用了NOISEX92和QUT-NOISE。 Demo：未提及。 复现材料：论文未提供检查点或复现脚本。但文中详细描述了模型架构（Wave-U-Net，6层编码器/解码器）、训练超参数（RAdam with ScheduleFree，学习率1.0e-4，λ=5.0，批大小16，训练轮数30，输入长度4096采样点）以及数据预处理细节，这些构成了复现的核心配置。 🏗️ 方法概述和架构 本方法的核心是将瞬时音高估计（IPE）中的基波滤波问题转化为一个监督学习下的语音增强任务。传统IPE方法首先通过复数带通滤波器组将信号分解到多个频带，然后依据某种“基波相似性”准则（如自相关）从这些频带中选择最可能包含基波的通道，最后计算该通道信号的瞬时频率。这种方法对滤波器设计、信道选择准则和噪声都很敏感。 ...

📄 Mask, Sample, Revise: A Revisable CTMC Inference Stack for Guided Discrete Flow Matching Text-to-Speech #语音合成 #概率图模型 #自监督学习 #低资源 #数据增强 6.8/10 | 创新 1.2/2 | 严谨 1.0/1.5 | 实验 1.2/1.5 | 清晰 1.2/1 | 影响 1.0/1.5 | 开源 0.5/1.5 | 复现 0.8/0.5 | 工程 1.0/1.5 ✅ 6.8/10 | 前25% | #语音合成 | #概率图模型 | #自监督学习 #低资源 | arxiv 👥 作者与机构 作者: Alef Iury Siqueira Ferreira, Lucas Rafael Stefanel Gris, Luiz Fernando de Araújo Vidal, Frederico Santos de Oliveira, Christopher Dane Shulby, Anderson da Silva Soares, Arlindo Rodrigues Galvão Filho 机构: 巴西米纳斯吉拉斯联邦大学（根据作者背景推断，论文原文未明确列出机构全称） ...

📄 MoDiCoL: A Modular Diagnostic Continual Learning Dataset for Robust Speech Recognition #语音识别 #持续学习 #鲁棒性 #数据增强 6.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.5/10 | 前50% | #语音识别 | #持续学习 | #鲁棒性 #数据增强 | arxiv 👥 作者与机构 作者：Theresa Pekarek Rosin, Matthias Kerzel, Stefan Wermter 机构：德国汉堡大学信息学系知识技术实验室 💡 毒舌点评 这篇论文想法不错，想解决ASR鲁棒性评估脱离实际的痛点，用持续学习（CL）这个“时髦”工具来诊断。但“诊断”这词用得有点大。用Whisper-small.en这个本身就不太强的模型在一堆精心构造的任务上做实验，结论的普适性存疑。方法创新有限，主要是把因子设计和CL结合到语音领域。实验部分，虽然对比了三种CL方法，但都比较经典，缺少和近期更先进的CL方法对比。最大的亮点是数据集设计和开源，这点要给赞。但要说对领域有多大推动，可能更多是提供了一个不错的基准和工具，离深刻洞察还差一步。CL在ASR上的实际应用价值？目前看更像是个学术玩具。 📌 核心摘要 本文针对现有自动语音识别（ASR）鲁棒性评估基准孤立看待噪声、口音、疾病等分布偏移因素的问题，提出将鲁棒性视为一个动态发展的持续学习（CL）能力。为此，作者构建了MoDiCoL数据集，这是一个基于正交阵列和折叠设计的模块化、可诊断CL数据集，系统地覆盖了语言内容、说话人特征和声学环境三大类因素。数据集包含8100个样本（18.79小时，其中14.08小时为合成语音），通过可配置的增强管道精确控制因素水平。论文设计了一个模拟真实世界增量更新的CL课程，包含四个顺序任务（控制设置、声学漂移、说话人漂移、语言漂移、复合漂移），并通过排列任务顺序评估鲁棒性迁移。在实验上，使用Whisper-small.en作为骨干模型，对比了经验重放缓冲区（ER-5%， ER-10%）、表示级正则化（RLR）和正交梯度下降（OGD）三种CL策略。结果表明，ER-10%在平均词错误率（A-WER）和遗忘度量（FM）上表现最优，甚至超过了联合训练上界；OGD在平均增量词错误率（AI-WER）上最佳。研究发现，顺序引入偏移可以提高模型的学习可塑性，但任务顺序对记忆稳定性影响显著。作者总结认为，CL不仅能保持模型鲁棒性，也可作为诊断预训练模型遗忘机制的工具。MoDiCoL数据集、增强流程及CL课程设置已开源。 ...

📄 OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains #数据增强 #自监督学习 #预训练 #指令微调 #多模态模型 8.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.4/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 🔥 8.2/10 | 前50% | #数据增强 | #数据增强 | #自监督学习 #预训练 | arxiv 👥 作者与机构 Xinyue Cai, Chaoyou Fu, Yi-Fan Zhang, Ran He, Caifeng Shan。南京大学，中国科学院自动化研究所。 💡 毒舌点评 这篇论文的出发点很好，瞄准了当前音频-视觉QA数据合成中的“叙事断裂”和“浅层推理”痛点。提出的两阶段管道（实体锚定脚本+线索引导QA）在技术路线上是合理的。论文的实验部分做得相当扎实，在多个基准上展示了微调后的显著增益，且消融实验提供了有力的证据链。然而，其核心贡献更偏向于一个“数据工程”的工作包，而非具有强大理论新颖性或技术突破的方法。创新性在于精心的系统设计和组件的巧妙组合，但单个组件（如实体列表、线索挖掘）并非全新概念。最大的短板在于，其数据合成完全依赖于商用黑盒模型，这使得方法的可复现性和对数据质量的控制存在根本性隐患。论文在影响力上有所妥协，因为其核心贡献（数据集）直接服务的“音频-视觉推理”领域相对狭窄，对广大语音/音乐领域的读者直接助益有限。 ...

📄 Adaptive Turn-Taking for Real-time Multi-Party Voice Agents #数据增强 #流式处理 6.7/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.7/10 | 后50% | #数据增强 | #数据增强 | #流式处理 | arxiv 👥 作者与机构 Soumyajit Mitra, Prabhat Pandey, Abhinav Jain, Shanmukha Sahith, K V Vijay Girish。机构：Amazon AGI, IIT Kharagpur, India。 💡 毒舌点评 这篇论文试图用“角色扮演”来解决一个语音对话中的棘手问题——“谁该说话”，想法是不错的。但它就像一个训练有素的演员，在剧本（合成数据）和特定舞台（RolePlayConv评估集）上表现完美，可一旦到了真实、混乱、没有剧本的会议（NOTSOFAR-1）或者去掉提词器（文本转录），演技就大打折扣。最致命的是，它精心设计的整套“表演”系统——从数据、评估到角色分配——大部分都是自产自销、自我验证的闭环，代码和数据集都锁在仓库里，这严重削弱了它声称的“突破性”价值。说白了，这是一篇工程上细致、实验上自洽，但在开放性和真实世界通用性上自我设限的系统论文。 📌 核心摘要 本文针对多方语音对话中轮次转换（即决定何时发言）的难题，提出了ModeratorLM。这是一个基于语音大语言模型（LLM）的角色扮演代理，其是否介入对话的行为取决于一个明确指定的角色（如“主持人”）。系统采用分块流式处理方式。作者还引入了ModeratorLM-Think变体，它在做出决策前，会结合对话上下文和指定角色进行链式思维推理。为了训练模型，他们构建了大规模合成数据集RolePlayConv。实验表明，与没有角色条件的基线模型相比，ModeratorLM-Think在轮次转换的精确率、召回率上均有大幅提升（精确率提升超40%，召回率提升超70%），并显著减少了误打断。消融实验分析了分块策略和文本转录的影响。 ...

📄 Leveraging Audio-LLMs to Filter Speech-to-Speech Training Data #语音翻译 #数据增强 #自监督学习 #多模态模型 #参数高效微调 #低资源 8.4/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.4/10 | 前25% | #语音翻译 | #数据增强 | #自监督学习 #多模态模型 | arxiv 👥 作者与机构 作者：Qixu Chen，Satoshi Nakamura 机构：School of Data Science 和 School of Artificial Intelligence，The Chinese University of Hong Kong, Shenzhen, China ...

语音/音乐/音频论文速递 2026-06-12 共分析 27 篇论文 ⚡ 今日概览 📥 抓取 27 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 6篇 ██████ #语音识别 4篇 ████ #音频分类 2篇 ██ #语音翻译 2篇 ██ #语音增强 2篇 ██ #音频生成 1篇 █ #多模态模型 1篇 █ #说话人识别 1篇 █ 📊 论文评分排行榜（27 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Self-Guidance: Enhancing Neural Codecs via Decoder Mani 9.7分 前25% #语音合成 🥈 Ontology Memory-Augmented ASR Correction for Long Text- 9.6分 前25% #语音识别 🥉 Emo-LiPO: Listwise Preference Optimization for Fine-Gra 9.3分 前50% #语音合成 4. AudioX-Turbo: A Unified Framework for Efficient Anythin 9.0分 前10% #音频生成 5. M*: A Modular, Extensible, Serving System for Multimoda 8.9分 前25% #多模态模型 6. Decoding Insect Song: A Multitask Semisupervised Orthop 8.7分 前50% #音频分类 7. Missing-Token Prompted Reliability-Aware Fusion for Rob 8.6分 前25% #说话人识别 8. Leveraging Audio-LLMs to Filter Speech-to-Speech Traini 8.4分 前25% #语音翻译 9. Endpoint Anticipation for Low-Latency Spoken Dialogue 8.2分 前25% #多任务学习 10. A Dual-Mode Faust-to-CLAP Compilation System 8.1分 前50% - 11. PRISM: Prosody-Integrated Multi-Agent Reasoning Framewo 8.1分 前25% #语音合成 12. Positional Encoding in the Context of Memristor-Based A 8.0分 前50% #语音识别 13. From Tokens to Faces: Investigating Discrete Speech Rep 7.9分 前25% #语音合成 14. Low-Latency Real-Time Audio Game Commentary System via 7.9分 前25% #语音合成 15. MiniMax Sparse Attention 7.7分 前25% #高效推理 16. BASENet: Band-Adapted Speech Enhancement Network with C 7.5分 前50% #语音增强 17. Dolph2Vec: Self-Supervised Representations of Dolphin V 7.2分 前50% #音频分类 18. Balancing ASR and diarization in end-to-end LLMs for mu 7.1分 前50% #语音识别 19. NaturalFlow: Reducing Disruptive Pauses for Natural Spe 7.0分 前50% #语音翻译 20. Adaptive Turn-Taking for Real-time Multi-Party Voice Ag 6.7分 后50% #数据增强 21. Predicting Cognitive Load from Speech and Interaction D 6.7分 前50% #语音情感识别 22. PiDA: Phonetically-Informed Data Augmentation for Robus 6.5分 前50% - 23. Generating Training Targets for Real-World Speech Enhan 6.4分 前50% #语音增强 24. Towards Personalized Federated Learning for Dysarthric 6.2分 前50% #语音识别 25. The Moving Drone: Negotiating Agency Between the Voice 6.0分 前50% - 26. Generative Modeling of Bach-Style Symbolic Music: A Com 5.7分 前50% #音乐生成 27. Vocal Identity Under Siege by AI Voice Cloning Technolo 3.2分 前50% #语音合成 📋 论文列表 🥇 Self-Guidance: Enhancing Neural Codecs via Decoder Manifold Alignment 9.7/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.4/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ...

📄 Lung-SRAD: Spectral-Aware Regularized Audio DASS with Dual-Axis Patch-Mix Contrastive Learning for Respiratory Sound Classification #对比学习 #数据增强 #正则化微调 6.8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.4/1.5 | 复现 0.3/0.5 | 工程 0.4/1.5 ✅ 6.8/10 | 前50% | #对比学习 | #对比学习 | #数据增强 #正则化微调 | arxiv 👥 作者与机构 作者: Hemansh Shridhar, Miika Toikkanen, June-Woo Kim† 机构: 1 RSC LAB, MODULABS, Republic of Korea; 2 Department of Electronic Engineering, Wonkwang University, Republic of Korea; 3 AI Convergence Research Institute, Wonkwang University, Republic of Korea ...

📄 Quality Adaptive Angular Margin Learning for Respiratory Sound Classification #正则化微调 #音频质量评估 #数据增强 9.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 9.5/10 | 前50% | #音频质量评估 | #数据增强 | #正则化微调 | arxiv 👥 作者与机构 Yoon Tae Kim: RSC LAB, MODULABS, Republic of Korea; dkimx3966@gmail.com Heejoon Koo: Department of Electronic Engineering, Wonkwang University, Republic of Korea; kaen2891@wku.ac.kr Miika Toikkanen: 1 RSC LAB, MODULABS, Republic of Korea; 2 Department of Electronic Engineering, Wonkwang University, Republic of Korea June-Woo Kim (通讯作者): 1 RSC LAB, MODULABS, Republic of Korea; 3 AI Convergence Research Institute, Wonkwang University, Republic of Korea 💡 毒舌点评 这篇论文像是一个“精准的工程优化”而非“开创性的科学突破”。它确实解决了呼吸音分类中的两个真实痛点（质量差异与类别不平衡），并且代码开源，实验也做到了该做的程度。但正确的引用格式，例如添加链接或标记为纯文本引用。如果不需要链接，可保持原样，但建议明确。示例修复：[rocha2017alpha] 改为 "[rocha2017alpha]" 或 [rocha2017alpha](#)。核心创新——两个公式的参数（α， β， m_target）选择依据薄弱，更像是经验调参而非严谨推导。最大的卖点“最优OOD性能”也仅在一个额外数据集上验证，说服力有限。总的来说，这是一篇合格的、能发表的“增量改进”工作，但距离定义新范式的高影响力论文还有明显差距。它更像是在现有优秀框架（AST， CLAP）上做了一个“不错的插件”。 ...

📄 Optimizing 2D Input Representations and Sub-phase Fusion Strategies for Differential Diagnosis of Asthma and COPD Using CNN- and GRU-Based Networks #数据增强 #多模态模型 6.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 6.8/10 | 前50% | #数据增强 | #数据增强 | #多模态模型 | arxiv 👥 作者与机构 İpek Şen (伊斯坦布尔比尔吉大学电气与电子工程系), Özgür Özdemir (伊斯坦布尔比尔吉大学计算机工程系), Elena Battini Sönmez (伊斯坦布尔比尔吉大学计算机工程系) ...

📄 Overview of ESDD2: Environment-Aware Speech and Sound Deepfake Detection Challenge #数据增强 #自监督学习 6.3/10 | 创新 0.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.3/10 | 前50% | #数据增强 | #数据增强 | #自监督学习 | arxiv 👥 作者与机构 Xueping Zhang (Duke Kunshan University), Han Yin (Korea Advanced Institute of Science and Technology), Yang Xiao (The University of Melbourne), Lin Zhang (Johns Hopkins University), Ting Dang (The University of Melbourne), Rohan Kumar Das (Fortemedia Singapore), Ming Li (The Chinese University of Hong Kong, Shenzhen)。 ...

📄 RAT: Reference-Augmented Training for ASV Anti-Spoofing #数据增强 8.8/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.8/10 | 前25% | #数据增强 | #数据增强 | arxiv 👥 作者与机构 Vojtěch Staněk, Anton Firc, Jakub Řeřicha, Kamil Malinka Security@FIT, 布尔诺理工大学，捷克共和国 {istanek, ifirc, iresj, malinka}@fit.vut.cz 💡 毒舌点评 优点：观察到一个非常有趣的现象——训练时用参考，推理时不用也能提升性能，并设计了有效的RAT策略来利用它。实验在强力基准ASVspoof 5上做得很扎实，单模型性能优越，甚至超过了大型融合系统，结果有说服力。分析部分（第5节）做得不错，尝试从功能依赖和内部机制解释这个现象。 缺点：1. 参考信息块（RIB）的设计（如MLP层数、交叉注意力头数为4）是基于“初步实验”，缺乏更充分的设计空间探索或消融来证明其必要性或优越性。2. 论文声称“推理时不需要参考”，但Table 1显示使用配对参考（2.63% EER）比使用零向量（2.57% EER）性能略差，且Table 2中各种退化条件下性能波动很小，这使得“参考主要服务于训练动态”的核心论点在数值上略显矛盾（虽然作者试图解释）。3. 数据增强策略（30%概率应用多种增强）被提及对RAT至关重要，但并未提供对该策略本身的消融研究（例如，去掉某些增强会如何？）。4. 缺乏与其他数据集的交叉验证，结论的泛化性未得到验证。5. 引言中提到的灵感来源（人脸变形检测、ASV反欺骗）与本文方法的实际关联较弱。 ...