Posts

ICASSP 2026 语音/音频论文详细分析 共分析 898 篇 ICASSP 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文： 语音识别（102篇） 语音增强（75篇） 语音合成（63篇） 语音情感识别（49篇） 音频分类（39篇） 音频生成（39篇） 音乐生成（31篇） 空间音频（31篇） 音频深度伪造检测（29篇） 音乐信息检索（26篇） 语音分离（25篇） 语音生物标志物（24篇） 音频事件检测（21篇） 模型评估（16篇） 声源定位（15篇） 音频问答（15篇） 生物声学（12篇） 音频安全（11篇） 音频检索（11篇） 音乐理解（11篇） 语音对话系统（10篇） 语音匿名化（10篇） 说话人验证（10篇） 说话人分离（9篇） 语音转换（9篇） 语音质量评估（8篇） 语音翻译（8篇） 语音伪造检测（8篇） 多模态模型（6篇） 音视频（6篇） 语音编码（5篇） 基准测试（5篇） 语音评估（5篇） 语音活动检测（5篇） 歌唱语音合成（5篇） 语音克隆（4篇） 语音问答（3篇） 情感分析（3篇） 音频场景理解（3篇） 音频增强（3篇） 语音识别 #语音翻译（3篇） 数据集（3篇） 音乐检索（3篇） 语音大模型（3篇） 歌唱语音转换（3篇） 视觉语音识别（2篇） 多模态情感识别（2篇） 信号处理（2篇） 语音理解（2篇） 领域适应（2篇） 听觉注意力解码（2篇） 多模态情感分析（2篇） 情感识别（2篇） 跨模态（2篇） 音频压缩（2篇） 音乐源分离（2篇） 关键词检测（2篇） 说话人日志（2篇） 跨模态检索（2篇） 水下声学目标识别（2篇） 视频生成（2篇） 听觉注意解码（1篇） 视频高光检测（1篇） 多音高估计 #音符跟踪（1篇） 歌唱语音转录（1篇） 异常声音检测（1篇） 脑机接口（1篇） 脑信号编码（1篇） 实体消歧（1篇） 音频检索 #音频分类（1篇） 目标说话人提取（1篇） 语音转换 #语音增强（1篇） 音频超分辨率（1篇） 基频估计（1篇） 语音发现（1篇） 语音表示学习（1篇） 数据集对齐（1篇） 预训练（1篇） 医疗AI（1篇） 语音解码（1篇） 说话人合成（1篇） 说话人脸生成（1篇） 说话人检测（1篇） 多模态对话意图识别（1篇） 视频理解（1篇） 音乐推荐（1篇） 视频设备识别（1篇） 说话人识别（1篇） 房间脉冲响应去噪（1篇） 音频质量评估（1篇） 主动降噪（1篇） 舞蹈生成（1篇） 歌唱旋律提取（1篇） 声场估计（1篇） 语音编码器（1篇） 音频编辑（1篇） 零样本关键词检测（1篇） 音频分离（1篇） 音频无损编码（1篇） 语音增强 #对抗防御（1篇） 音视频实例分割（1篇） 视频到音频生成（1篇） 语音摘要（1篇） 音频水印（1篇） 说话人日志 #语音分离（1篇） 联邦学习（1篇） 音乐混合（1篇） 视频片段检索（1篇） 神经解码（1篇） 视频检索（1篇） 语音驱动动作生成（1篇） 视频问答（1篇） 音频分类 #零样本学习（1篇） 主题建模（1篇） 说话人生成（1篇） 对抗样本（1篇） 音频描述（1篇） 主动噪声控制（1篇） 音乐分离（1篇） 音乐源提取（1篇） 音乐转录（1篇） 房间脉冲响应（1篇） 语音识别 #语音合成（1篇） 音频场景分类（1篇） 多通道（1篇） 音频效果估计（1篇） 音频信号处理（1篇） 回声消除（1篇） 语音生成（1篇） 实时处理（1篇） 音频大模型（1篇） 声学建模（1篇） 迁移学习（1篇） 课堂阶段分割（1篇） 噪声控制（1篇） 音频字幕生成（1篇） 轻度认知障碍检测（1篇） 音乐分类（1篇） 槽填充（1篇） 多模态学习（1篇） ⚡ 今日概览 📥 898 篇 → 🔬 深度分析完成 ...

ICLR 2026 语音/音频论文详细分析 共分析 133 篇 ICLR 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文： 语音合成（10篇） 音频生成（9篇） 语音识别（9篇） 基准测试（9篇） 音乐生成（9篇） 语音对话系统（8篇） 音频分类（6篇） 音频问答（6篇） 语音情感识别（5篇） 多模态模型（5篇） 音视频（4篇） 音频检索（4篇） 语音分离（3篇） 模型评估（2篇） 语音翻译（2篇） 音乐信息检索（2篇） 生成模型（2篇） 音乐理解（2篇） 视频生成（2篇） 跨模态生成（1篇） 脑编码（1篇） 模型可解释性（1篇） 音视频深度伪造检测（1篇） 图像生成（1篇） 数据集（1篇） 语音增强 #对抗样本（1篇） 语音大模型（1篇） 音频编辑（1篇） 音视频事件检测（1篇） 生态计算（1篇） 视频描述生成（1篇） 视频摘要（1篇） 语音问答（1篇） 基准测试 #数据集（1篇） 音频安全（1篇） 神经网络架构（1篇） 语音转换 #语音匿名化（1篇） 声源定位（1篇） 序列解耦（1篇） 空间音频（1篇） 音频分离（1篇） 机器人操作（1篇） 动作生成（1篇） 音频场景理解（1篇） 跨模态检索（1篇） 语音增强（1篇） 多模态推理（1篇） 语音合成评估（1篇） 语音生成（1篇） 生物声学（1篇） 模型比较（1篇） 音视频联合推理（1篇） 语音识别 #语音合成（1篇） ⚡ 今日概览 📥 133 篇 → 🔬 深度分析完成 ...

📄 A global predicted-fMRI drive signal from TRIBE does not predict YouTube replay heatmaps #音视频理解 #多模态模型 7.7/10 | 创新 1/2 | 严谨 1.5/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #音视频理解 | #多模态模型 | arxiv 👥 作者与机构 第一作者：Barada Sahu（Cabal AI） 通讯作者：论文明确标注 Correspondence: barada@gmail.com, cs21bt067.alum25@iitdh.ac.in（两位作者均列为通讯联系人） 作者列表：Barada Sahu（Cabal AI）、Shivesh Pandey（Para AI） 💡 毒舌点评 这是一个负结果但执行得非常干净的实证研究：统计控制、低层基线、排列检验、网络特异性读出一应俱全，把"用预训练脑编码模型的预测信号预判回看行为"这个合理猜想打得粉碎。然而，48个视频的样本规模、YouTube热图本身的内在偏置，以及作品与音频社区核心关切的遥远距离，都让它更像一则谨慎的健康提醒，而非一份能驱动后续大量工作的基石性发现。 📌 核心摘要 本文试图回答一个新颖问题：用当前最强的脑编码模型（TRIBE，2025年Algonauts挑战赛263支队伍中的冠军模型）预测出的fMRI信号，能否像实测fMRI那样预测群体的行为参与度（YouTube"最多重播"热图）。研究者将TRIBE对48个视频的皮层响应浓缩为"全局场功率"（GFP）这一逐秒参与度曲线，与YouTube热图做位置控制的偏相关分析。结果显示，无论整体、分网络还是经自相关保持的排列检验，预测信号与重播行为的相关性均不显著（偏相关 \(r_{part} = +0.058\)，95% CI \([-0.04, 0.15]\)，\(t(47)=1.21\)，\(p=0.23\)），且未超过简单响度或运动基线。工作还贡献了一套绕过YouTube SABR流媒体限制的视频采集pipeline和可恢复的编码缓存系统。论文的意义在于为"用预训练脑编码模型零成本预测市场行为"这种诱人想法提供了首次系统性负证据，其局限在于行为目标的噪声、视频样本的偏差以及所测模型未经行为端点微调。 ...

📄 A Multi-Branch Hierarchy-Aware Framework for Heterogeneous Audio Classification #音频分类 #知识蒸馏 4.9/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0/0.5 | 工程 1/1.5 📝 4.9/10 | 后50% | #音频分类 | #模型集成 | #知识蒸馏 | arxiv 👥 作者与机构 第一作者：Beile Ning（未说明） 通讯作者：未说明 作者列表：Beile Ning（未说明）、Jiayi Yu（未说明）、Zitong Wang（未说明）、Yufei Hu（未说明）、Wenjun Xu（未说明）、Yuanhang Qian（未说明）、Zhongxin Bai（未说明）、Gongping Huang（未说明） 💡 毒舌点评 这是一份典型的竞赛技术报告，通过堆砌多分支手工特征、层级分类头和KNN检索后处理，在特定数据集上把CLAP基线提升了约2.4个百分点。然而，全文未提供任何代码、模型或可复现材料，且缺乏与任何外部公开SOTA模型的直接比较，因此其声称的提升幅度犹如在真空中举重——无人知晓这个81.25%的Hier. F1在领域内究竟是何水平。方法本质上是已有技术的工程拼装，创新性稀薄，影响力囿于单一的竞赛场景。 📌 核心摘要 该论文针对DCASE 2026 Task 1的异构音频分类任务，提出了一种多分支层级感知框架。该方法在CLAP音频-文本表示的基础上，通过三个策略提升分类性能与层级一致性：(1) 构建扩展训练集BSD-Grand，合并清洗后的BSD35k子集以增强数据多样性；(2) 引入log-Mel、MFCC和log-STFT三个特征特异性声学分支，通过门控残差融合弥补CLAP对精细声学细节的建模不足；(3) 设计层级感知分类头（Flat、GC、LCL）以利用Broad Sound Taxonomy的层级结构，并采用基于KNN的嵌入检索与知识蒸馏来精细化预测。最终，最佳单模型（log-STFT + KNN后处理）达到80.84%的层级F1分数，最佳集成系统（System 3，5折交叉验证）进一步达到81.25%，相对于78.45%的CLAP基线提升显著。主要实验结果如下： ...

📄 An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation #语音合成 #语音识别 #多模态模型 6.8/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.5/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 ✅ 6.8/10 | 前50% | #语音合成 | #自回归模型 | #语音识别 #多模态模型 | arxiv 👥 作者与机构 第一作者：Haoran Wang（Carnegie Mellon University, Shanghai Jiao Tong University） 通讯作者：未说明 作者列表：Haoran Wang（Carnegie Mellon University, Shanghai Jiao Tong University）、Jinchuan Tian（Carnegie Mellon University）、Siddhant Arora（Carnegie Mellon University）、Shinji Watanabe（Carnegie Mellon University） 💡 毒舌点评 这篇文章为解决语音语言模型的高通量推理痛点提供了一个精巧的工程方案，尤其是 Paired Request Co-Scheduling 对 CFG 开销的消解颇具巧思，不是简单的“拼组件”。然而，实验对比维度过于单薄，仅与原始 PyTorch 串行推理比较，缺乏与 naive CFG 实现或其他推理框架的横向对打，让“80% 吞吐保持”这一核心卖点缺少足够的说服力。更关键的是，全文未提供任何延迟指标，对于实时语音交互场景而言，这几乎是不可接受的遗漏。 ...

📄 Audio-Based Understanding of Audiobook Narration Appeal #语音属性识别 6.9/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.9/10 | 前50% | #语音属性识别 | #预训练 | arxiv 👥 作者与机构 第一作者：Shahar Elisha（Spotify） 通讯作者：Shahar Elisha (shahar@spotify.com) 作者列表：Shahar Elisha（Spotify）、Mariano Beguerisse-Díaz（Spotify）、Emmanouil Benetos（Queen Mary University of London） 💡 毒舌点评 本文的亮点在于首次将有声书叙述的声学特征与大规模真实消费数据系统性关联，并通过体裁内分析和书组内对比提供了细致的洞察。然而，消费代理指标（view-rate）极其粗糙，预测模型性能提升微弱（分类准确率仅比随机高0.1），声学特征分析仍停留在关联性层面，缺乏对叙述吸引力底层机制的因果性挖掘，整体影响力局限于有声书推荐这一小众应用场景。 📌 核心摘要 本文探索有声书叙述的声学特征（音调、语速、响度等）如何影响听众的吸引力，并特别考察体裁和书目标题的调节作用。方法上，从LibriVox的8,854本有声书中，利用eGeMAPS、YAMNet、Whisper-tiny等预训练模型提取并汇总声学与副语言特征，拼接为129维向量，再通过VIF剪枝和统计建模（GLM、LME、GLM per genre）评估特征与view-rate的关系，并辅以分类与排序预测任务。相比此前依赖小规模用户评分的研究，本文首次在数千本真实有声书上对叙述声学与消费数据进行系统性量化分析，并通过书组内对比控制内容差异。全球GLM的 pseudo-\(R^2\) 为0.09，31个特征效应显著（BH校正后），最高 \(|\beta| \le 0.13\)；分类准确率最高仅0.35（随机基线0.25）；排序任务在view-rate指标上的Kendall \(\tau\) 约为0.13，改用Spotify内部return-rate后提升至0.26-0.28，证明了声学特征对吸引力的影响具有稳健性，但效应量有限。不同体裁下，同类声学特征的效应方向和大小差异显著。局限性在于消费指标噪声大、仅包含公开领域业余朗读、未涉及听众人口特征，方法上属于关联性建模而非因果推断。实际应用价值在于为有声书推荐系统、叙述者选角提供数据驱动的参考依据。 ...

📄 Beyond Words: Towards Effective Modeling of Non-Verbal Vocalizations in ASR #语音识别 6.4/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1.1/1.5 ✅ 6.4/10 | 前50% | #语音识别 | #课程学习 | arxiv 👥 作者与机构 第一作者：Gene Yang（Meta） 通讯作者：Haibin Wu（Meta） 作者列表：Gene Yang（Meta）、Haibin Wu（Meta）、Peng Su（Meta）、Ruizhe Huang（Meta）、Suwon Shon（Meta）、Bach Do（Meta）、Minxue Niu（Meta）、Zhaoheng Ni（Meta）、Shang-Wen Li（Meta）、Florian Metze（Meta）、Yossi Adi（Meta）、Ming Sun（Meta）、Yuzong Liu（Meta） 💡 毒舌点评 本文从实际痛点出发，将两阶段课程学习、跨类别声学知识迁移与语音转换增强巧妙组合，在内部数据上显著提升了稀缺非语言发声的检测性能，其“声学支架”的洞察有实用智慧。然而，所有实验基于两个不可公开的内部数据集，无任何代码、模型或数据开源承诺；唯一的系统级外部对比仅为一个Whisper‑D模型，且该比较存在规格不对等——Whisper‑D基于1.55B参数的Whisper‑v2‑large微调，而本文模型仅约200M参数，却未讨论该差异对结论的影响。关键训练超参数、架构细节和训练流程大面积留白，使得方法可复现性与泛化说服力大打折扣。整体而言是一份扎实的工业技术报告，但距顶会论文的开放性和严谨性标准仍有明显距离。 📌 核心摘要 本文旨在解决端到端ASR中稀疏、长尾的非语言发声（如笑声、呼吸、咳嗽、哭泣）检测问题。方法核心包含三个数据为中心的策略：（1）两阶段课程学习：Stage 1将所有NV事件映射为通用token <NV>，利用全部可用NV数据学习非语言声学基座，辅以帧级音素分类损失（所有NV帧统一映射为 SPN 标签）；Stage 2恢复细粒度标签，将Stage 1学得的 <NV> 嵌入直接复制初始化各NV token，再用少量类别特定标注进行专精微调；（2）跨类别声学知识迁移：利用高资源NV类别（如 <laugh>、<breath>）与低资源目标（如 <cry>）在呼吸和喉部发声机制上的共享生理声学特征，将大量高资源样本混入目标类别的训练mini‑batch，作为“声学支架”间接强化低资源token的表示学习；（3）类别平衡与语音转换协同：先通过基于类别的上采样（上限2–5倍）均衡训练信号，再使用零样本扩散语音转换Seed‑VC生成最多10倍说话人多样性的增强样本，二者必须配合使用——仅做VC增强而无类别平衡，在极端长尾下几乎无效。 ...

📄 CNN Models for Microphone Array Covariance Matrix Upsampling and Acoustic Imaging 5/10 | 创新 0.8/2 | 严谨 0.8/1.5 | 实验 0.3/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.2/0.5 | 工程 0.6/1.5 📝 5/10 | 后50% | #声源定位 | #CNN | arxiv 👥 作者与机构 第一作者：Marianthi Adamopoulou（未说明具体机构，仅知作者所属单位为1） 通讯作者：未说明 作者列表：Marianthi Adamopoulou (1)、Parthasaarathy Sudarsanam (2)、David Diaz-Guerra (2)、Meng Jiang (1)、Archontis Politis (2)、Seyed Jalaleddin Mousavirad (1)、Tuomas Virtanen (2)、Jan Lundgren (1) 机构信息：论文仅标注了数字1和2，未列出1和2对应的具体机构名称。 💡 毒舌点评 本文选择将协方差矩阵非冗余元素作为通道进行时频2D卷积，避开了强行将其当成图像处理这一常见误区，动机清晰。然而，实验设计堪称灾难——唯一基线是随机猜测，完全不与领域内既有的DBPN或任何插值法比较，使得所有性能数字几乎毫无参照价值，从源头扼杀了“更优”这一核心论点的说服力。声称不依赖几何先验，却仍通过选取特定四面体通道子集引入了软几何信息，这种“去先验”的彻底性值得商榷。 ...

📄 Cross Domain Few-Shot Class-Incremental Audio Classification Via Adversarial Contrastive Learning #音频分类 #对抗训练 #对比学习 #持续学习 7.4/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 1.3/1.5 | 复现 0.4/0.5 | 工程 0.7/1.5 ✅ 7.4/10 | 前50% | #音频分类 | #对抗训练 | #对比学习 #持续学习 | arxiv 👥 作者与机构 第一作者：Yongjie Si（华南理工大学电子与信息工程学院，广州） 通讯作者：Yanxiong Li（华南理工大学电子与信息工程学院，广州） 作者列表：Yongjie Si、Yanxiong Li、Sen Huang、Beibei Liu（均隶属于华南理工大学电子与信息工程学院） 💡 毒舌点评 本文首次在音频分类中形式化跨域少样本类增量学习（CD-FCAC）问题，并用对抗训练和对比学习给出直接解法，立意实用。然而，方法核心是将CV领域的域泛化策略（网络随机化+Wasserstein-style对抗训练）和监督对比学习套用至音频，技术深度有限；且仅靠谱图扰动模拟域偏移，在物理声学上缺乏依据。实验仅在三个公开数据集的六组域对上验证，回避了真实场景中的录音设备、声学环境等复杂域偏移，结论迁移性存疑。平均准确率作为主指标过于粗糙，掩盖了模型在增量后期的灾难性遗忘问题。 📌 核心摘要 问题：解决跨域少样本类增量音频分类（CD-FCAC）。基类样本来自源域，增量类样本来自存在域偏移的目标域，且每类仅有少量样本（如K-shot）。 方法核心：提出对抗对比训练策略。在基类训练阶段，使用谱扰动器对源域log-Mel谱图施加随机卷积扰动，并通过梯度上升最大化基于Wasserstein距离松弛的对抗损失，生成语义一致的伪目标域样本；随后联合源域和生成的对抗样本，最小化标准交叉熵与监督对比损失的组合目标，迫使编码器学习域不变且类内紧凑、类间可分的高区分度嵌入。增量阶段，冻结编码器以保留知识，仅用旧类嵌入均值和新类样本更新分类器。 与已有方法的新颖之处：首次在FCAC框架内显式处理源域与目标域分布差异，将单源域泛化的对抗训练与监督对比学习结合，为少样本增量学习提供域鲁棒的特征表示。 主要实验结果：在由LS-100、NSynth-100、FSC-89构造的六组跨域对上进行5-way 5-shot实验，方法在平均准确率（AA）上均超过对比基线（如NS→LS上79.09%，对比最佳基线AMFO+AFA的78.50%）。 实际意义：为智能家居、机器人等场景中，需要从不同域持续识别少量新音频类别的应用提供了一种轻量级方案。 主要局限性：域偏移仅通过谱图对抗扰动近似，未验证其对真实声学物理因素（录音设备、混响、噪声等）的模拟能力；冻结编码器策略完全放弃从目标域学习，限制性能上限；未探讨多源域或域标签未知的更复杂情形。 🔗 开源详情 代码：https://github.com/YongjieSi/ACL （论文公开） 模型权重：未提及 数据集：LS-100, NSynth-100, FSC-89，均在ModelScope公开： https://www.modelscope.cn/datasets/pp199124903/LS-100/summary https://www.modelscope.cn/datasets/pp199124903/FSC-89/summary https://www.modelscope.cn/datasets/pp199124903/NSynth-100/summary Demo：未提及 复现材料：未提及 🏗️ 方法概述和架构 该方法将CD-FCAC问题分解为基类训练（m=0）与增量训练（1≤m≤M-1）两个阶段。模型由编码器（如ResNet-18）、分类器（权重向量为 \(\{c_{y_j}\}\)）和一个专用于数据增强的谱扰动器（Spectral Disruptor）构成。输入音频被转换为128维log-Mel谱图。 ...

📄 Decomposer: Learning to Decompile Symbolic Music to Programs #音乐理解 #音乐生成 #强化学习 #可解释性 8.4/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.4/10 | 前25% | #音乐理解 | #强化学习 | #音乐生成 #可解释性 | arxiv 👥 作者与机构 第一作者：Yewon Kim (Carnegie Mellon University) 通讯作者：Chris Donahue (Carnegie Mellon University，作为共同作者排在最后，惯例默认为通讯作者) 作者列表：Yewon Kim, Apurva Gandhi, David Chung, Graham Neubig, Chris Donahue (全为Carnegie Mellon University) 💡 毒舌点评 将音乐“反编译”为程序的想法颇具巧思，两阶段的SFT+RL框架确实在逼真度和可读性之间找到了一个相对实用的平衡点，工程实现完整度也高。然而，可读性的衡量标尺看似面面俱到，实则是用LLM法官打钩的清单来逼近人类的审美直觉，略显机械；此外，这种清单对Chiptune等特定音乐风格的适配性存疑，但作者对此论证不足。整体而言，这是一个优雅但不乏瑕疵的跨领域应用，在音乐AI领域开辟了一个有趣但尚需打磨的新方向。 ...