ICLR 2026 语音/音频论文详细分析

ICLR 2026 语音/音频论文详细分析 共分析 133 篇 ICLR 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文: 语音合成(10篇) 音频生成(9篇) 语音识别(9篇) 基准测试(9篇) 音乐生成(9篇) 语音对话系统(8篇) 音频分类(6篇) 音频问答(6篇) 语音情感识别(5篇) 多模态模型(5篇) 音视频(4篇) 音频检索(4篇) 语音分离(3篇) 模型评估(2篇) 语音翻译(2篇) 音乐信息检索(2篇) 生成模型(2篇) 音乐理解(2篇) 视频生成(2篇) 跨模态生成(1篇) 脑编码(1篇) 模型可解释性(1篇) 音视频深度伪造检测(1篇) 图像生成(1篇) 数据集(1篇) 语音增强 #对抗样本(1篇) 语音大模型(1篇) 音频编辑(1篇) 音视频事件检测(1篇) 生态计算(1篇) 视频描述生成(1篇) 视频摘要(1篇) 语音问答(1篇) 基准测试 #数据集(1篇) 音频安全(1篇) 神经网络架构(1篇) 语音转换 #语音匿名化(1篇) 声源定位(1篇) 序列解耦(1篇) 空间音频(1篇) 音频分离(1篇) 机器人操作(1篇) 动作生成(1篇) 音频场景理解(1篇) 跨模态检索(1篇) 语音增强(1篇) 多模态推理(1篇) 语音合成评估(1篇) 语音生成(1篇) 生物声学(1篇) 模型比较(1篇) 音视频联合推理(1篇) 语音识别 #语音合成(1篇) ⚡ 今日概览 📥 133 篇 → 🔬 深度分析完成 ...

2026-05-01 · 更新于 2026-05-19 · 72 min · 15177 words

Closing the Gap Between Text and Speech Understanding in LLMs

📄 Closing the Gap Between Text and Speech Understanding in LLMs #语音大模型 #知识蒸馏 #主动学习 #大语言模型 #跨模态 🔥 8.5/10 | 前25% | #语音大模型 | #知识蒸馏 #主动学习 | #知识蒸馏 #主动学习 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Santiago Cuervo(Université de Toulon, Aix Marseille Université, CNRS, LIS) 通讯作者:未说明 作者列表:Santiago Cuervo(Université de Toulon, Aix Marseille Université, CNRS, LIS)、Skyler Seto(Apple)、Maureen de Seyssel(Apple)、Richard He Bai(Apple)、Zijin Gu(Apple)、Tatiana Likhomanenko(Apple)、Navdeep Jaitly(Apple)、Zakaria Aldeneh(Apple) 💡 毒舌点评 论文对“文本-语音理解差距”的成因(遗忘与失准)进行了教科书级的清晰剖析,并据此设计了针对性的SALAD方法,数据效率极高,这种“分析驱动解决方案”的范式是最大亮点。然而,其主要验证集中于英语语音,对于跨语言泛化能力和TTS生成质量对下游性能的长期影响讨论不足,是一个有待拓展的短板。 ...

2026-05-04 · 更新于 2026-05-19 · 2 min · 323 words

Influence-Aware Curation and Active Selection for Industrial and Surveillance Sound Events

📄 Influence-Aware Curation and Active Selection for Industrial and Surveillance Sound Events #音频事件检测 #迁移学习 #主动学习 #音频分类 ✅ 7.0/10 | 前50% | #音频事件检测 | #迁移学习 | #主动学习 #音频分类 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者:Myeonghoon Ryu (Deeply Inc.) 通讯作者:未说明 作者列表:Myeonghoon Ryu (Deeply Inc.)、Seongkyu Mun (Korea University)、Daewoong Kim (Deeply Inc.)、Han Park (Deeply Inc.)、Suji Lee (Deeply Inc.) 💡 毒舌点评 亮点:这篇论文精准地切中了工业声音事件检测的痛点——数据脏、标注贵、模型固定,并给出了一个“手术刀式”的、即插即用的轻量化解决方案,方法逻辑清晰,工程实用性拉满。 短板:其核心贡献更像是一套精心包装的“应用技巧”组合(将TracIn用在冻结的浅层头上),而非底层算法的突破;并且,最关键的验证指标停留在了“窗口分类”代理任务上,没有给出完整的事件检测(如PSDS)性能,这使得其最终宣称的“实用性”打了折扣。 🔗 开源详情 代码:论文中未提及代码仓库链接。 模型权重:未提及公开的模型权重。 数据集:使用了公开的URBAN-SED(可自行用Scaper生成窗口),但内部工业工厂声音数据库未公开。 Demo:未提供在线演示。 复现材料:论文在“Implementation details and hyperparameters”等章节中提供了极其详细的超参数设置、模型结构、训练配置和实验协议,可作为复现指南。 论文中引用的开源项目: 模型/特征:PaSST [21] (AudioSet预训练),PANNs [1] 数据合成:Scaper [30] 近似最近邻搜索:FAISS [25], HNSW [26] 理论支撑:Johnson-Lindenstrauss随机投影 [27] 📌 核心摘要 要解决什么问题:在工业和监控场景的声音事件检测(SED)中,数据质量差(标签噪声、边界模糊)和标注预算有限是主要瓶颈。如何在模型(预训练编码器)冻结的条件下,低成本地筛选有害训练数据,并高效选择最值得标注的新数据,是论文要解决的两个核心问题。 方法核心是什么:方法核心是“冻结编码器 + 浅层头 + 头梯度TracIn影响分数”。具体包括:(a) 数据筛选(Curation):计算训练样本对开发集影响的“有害分数”(总负影响),并剪枝最坏的2-4%样本。(b) 主动选择(Selection):对未标注数据,计算其与训练数据的“矛盾分数”(负影响),并与熵值融合,优先选择分数高的样本进行标注。 与已有方法相比新在哪里:新在三个层面:(1) 应用场景新:将影响函数特化到“冻结音频编码器+浅层头”这一工业常见部署范式,大幅降低了计算成本和信号噪声。(2) 聚合策略新:提出了类条件聚合(Class-conditioned aggregation)来稳定多分类下的影响信号。(3) 选择信号新:提出以“负影响”作为模型“盲点”的直接度量,并与不确定性(熵)做后期融合,构成新的主动学习选择标准。 主要实验结果如何:在URBAN-SED和内部工业数据集上: 数据筛选:剪枝4%的有害样本,可提升分类准确率(如URBAN-SED从0.795到0.812),并显著改善校准(ECE从0.177降至0.032)。 主动选择:在标注预算为20%时,“负影响+熵”的组合选择策略(Combo)的Selection-Recall达到59.1%(URBAN-SED),远超纯熵方法的35.1%。 关键实验结果表格见“详细分析”部分。 实际意义是什么:为已部署冻结音频模型的工业系统,提供了一套开箱即用的数据运维工具包。它不改变模型本身,仅通过数据层面的“清洗”和“优先标注”,就能低成本提升性能、增强预测可靠性(校准性),并为标注人员提供决策支持证据(指出哪些训练数据与当前预测矛盾)。 主要局限性是什么:主要局限在于评估层面:(1) 核心实验基于事件中心的窗口分类任务,而非完整的、端到端的事件检测任务(未报告PSDS等指标),这可能高估其在真实系统中的收益。(2) 主动选择评估未采用迭代重训练的闭环评估,而是固定模型下的排序质量评估。(3) 工业数据未公开,限制了独立验证。 🏗️ 模型架构 论文并未提出一个新的端到端模型,而是提出了一套基于现有模型(冻结编码器+浅层头)的数据管理方法论。其技术流程可视为一个“数据处理流水线”: 图1:整体方法流程图 (注:由于原论文PDF中的图片无法直接引用,此处仅为示意。论文中的架构图 Fig. 1 已在原文中详细描述。) ...

2026-04-29 · 更新于 2026-05-19 · 3 min · 547 words

Parametric Neural Amp Modeling with Active Learning

📄 Parametric Neural Amp Modeling with Active Learning #音频生成 #主动学习 #LSTM #WaveNet 🔥 8.0/10 | 前25% | #音频生成 | #主动学习 | #LSTM #WaveNet 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:未明确说明(Florian Grötschla和Longxiang Jiao标注为“Equal contribution”,即共同贡献) 通讯作者:未说明 作者列表:Florian Grötschla(ETH Zurich)、Longxiang Jiao(ETH Zurich)、Luca A. Lanzendörfer(ETH Zurich)、Roger Wattenhofer(ETH Zurich) 💡 毒舌点评 亮点:将主动学习与梯度优化巧妙结合,在连续参数空间中自动寻找最具信息量的数据点,这一思路比暴力网格扫描或随机采样聪明太多,显著减少了“调参数录样本”的苦力活。短板:实验仅验证了单一高质量放大器插件,对于真正复杂、非线性的物理硬件放大器,或者包含更多、更敏感旋钮的型号,该方法的鲁棒性和样本效率是否依然成立,需要打个大大的问号。 🔗 开源详情 代码:论文明确提供了代码仓库链接:https://github.com/ETH-DISCO/PANAMA 模型权重:论文中未提及是否公开训练好的模型权重。 数据集:论文使用了公开的IDMT-SMT-GUITAR数据集用于测试。训练用的初始数据和最终主动学习采集的数据集未提及是否公开。 Demo:论文中未提及在线演示。 复现材料:提供了算法伪代码(算法1)和主要实验设置(如集成大小、优化器、损失函数组成)。关键超参数(如学习率、批大小)和训练时长未详细说明。 引用的开源项目: NAM (Neural Amp Modeler):作为基线对比。 IDMT-SMT-GUITAR 数据集:用于测试音频。 Descript Audio Codec:用于参考梅尔频谱损失的设置。 Adam优化器:用于梯度优化。 📌 核心摘要 本文旨在解决参数化吉他放大器神经网络建模中,因旋钮参数组合爆炸导致的高成本数据收集难题。核心方法是提出一个名为PANAMA的主动学习框架,通过训练多个LSTM模型构成的集成,计算它们对不同参数设置下输出信号的分歧度(disagreement),并利用梯度优化直接在连续的参数空间中搜索能最大化该分歧度的设置点,从而确定最值得录制的放大器响应数据。与已有方法相比,这是首次将主动学习策略应用于此类建模任务,变被动采样为主动选择,极大提升了数据效率。主要实验结果表明,仅使用75个主动学习选定的数据点训练的模型,在MUSHRA主观听测中其感知质量与领先的开源非参数模型NAM(需要为每个设置单独训练)无显著差异。该工作降低了创建可实时调节参数的虚拟放大器的技术门槛,但研究仅针对单一数字放大器插件,其在真实硬件放大器上的有效性尚未验证。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 214 words