Posts

📄 WaveSSM: Multiscale State-Space Models for Non-stationary Signal Attention #音频分类 #语音识别 4.8/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.9/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.2/0.5 | 工程 0.5/1.5 📝 4.8/10 | 后50% | #音频分类 | #语音识别 | arxiv 👥 作者与机构 第一作者：Ruben Solozabal (MBZUAI) 通讯作者：Ruben Solozabal (MBZUAI) 作者列表：Ruben Solozabal (MBZUAI)、Velibor Bojkovic (MBZUAI)、Hilal AlQuabeh (MBZUAI / RIKEN AIP)、Klea Ziu (MBZUAI)、Kentaro Inui (MBZUAI / RIKEN AIP)、Martin Takáč (MBZUAI) 💡 毒舌点评 将小波先验注入状态空间模型（SSM），理论上为模型带来了期望的时间和频率局部化能力，在合成任务上的地址able记忆也展示得漂亮。但亮点止步于此：在真实基准上的性能提升微弱到几乎可以归为噪声，而在需要真正长程建模能力的任务（PathX, Pathfinder）上却全面溃败。这种极端的任务偏好性，加上零开源和大量悬而未决的理论-实践差距，使论文看起来更像一个精致的初步探索，而非一项坚实的贡献。 ...

📄 Zero-Shot Rankability: Revealing Latent Ordinal Structure in Multimodal Large Language Models via Language #音视频理解 #提示学习 #多模态模型 #大语言模型 6.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.8/10 | 前50% | #音视频理解 | #提示学习 | #多模态模型 #大语言模型 | arxiv 👥 作者与机构 第一作者：Nam Hyeon-Woo（POSTECH，电气工程系） 通讯作者：Tae-Hyun Oh（KAIST，计算机学院） 作者列表：Nam Hyeon-Woo（POSTECH，电气工程系）、Moon Ye-Bin（POSTECH，电气工程系）、Sohwi Lim（KAIST，计算机工程学院）、Kwon Byung-Ki（POSTECH，人工智能研究生院）、Tae-Hyun Oh（KAIST，计算机学院） 💡 毒舌点评 亮点在于将“排序性”概念系统性地扩展到多模态大模型（MLLM）空间，并通过条件嵌入与模态间隙两个可验证的机制清晰解释了VLM与MLLM之间显著的零样本性能差距。短板亦很刺眼：所有核心属性（年龄、人群计数）均为视觉任务，音频部分仅作为“泛化验证”匆匆带过，对语音/音频领域的直接贡献极为薄弱，One-sentence 的“zero-shot rankability”对于泛化性缺乏深入讨论；此外，所有结果基于固定prompt搜索且未给出统计显著性检验，结论的泛化稳健性存疑。方法本质上是对已知技巧（反义词差向量、logit lens）的包装，洞见深度有限。 ...

📄 A global predicted-fMRI drive signal from TRIBE does not predict YouTube replay heatmaps #音视频理解 #多模态模型 7.7/10 | 创新 1/2 | 严谨 1.5/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #音视频理解 | #多模态模型 | arxiv 👥 作者与机构 第一作者：Barada Sahu（Cabal AI） 通讯作者：论文明确标注 Correspondence: barada@gmail.com, cs21bt067.alum25@iitdh.ac.in（两位作者均列为通讯联系人） 作者列表：Barada Sahu（Cabal AI）、Shivesh Pandey（Para AI） 💡 毒舌点评 这是一个负结果但执行得非常干净的实证研究：统计控制、低层基线、排列检验、网络特异性读出一应俱全，把"用预训练脑编码模型的预测信号预判回看行为"这个合理猜想打得粉碎。然而，48个视频的样本规模、YouTube热图本身的内在偏置，以及作品与音频社区核心关切的遥远距离，都让它更像一则谨慎的健康提醒，而非一份能驱动后续大量工作的基石性发现。 📌 核心摘要 本文试图回答一个新颖问题：用当前最强的脑编码模型（TRIBE，2025年Algonauts挑战赛263支队伍中的冠军模型）预测出的fMRI信号，能否像实测fMRI那样预测群体的行为参与度（YouTube"最多重播"热图）。研究者将TRIBE对48个视频的皮层响应浓缩为"全局场功率"（GFP）这一逐秒参与度曲线，与YouTube热图做位置控制的偏相关分析。结果显示，无论整体、分网络还是经自相关保持的排列检验，预测信号与重播行为的相关性均不显著（偏相关 \(r_{part} = +0.058\)，95% CI \([-0.04, 0.15]\)，\(t(47)=1.21\)，\(p=0.23\)），且未超过简单响度或运动基线。工作还贡献了一套绕过YouTube SABR流媒体限制的视频采集pipeline和可恢复的编码缓存系统。论文的意义在于为"用预训练脑编码模型零成本预测市场行为"这种诱人想法提供了首次系统性负证据，其局限在于行为目标的噪声、视频样本的偏差以及所测模型未经行为端点微调。 ...

📄 A Multi-Branch Hierarchy-Aware Framework for Heterogeneous Audio Classification #音频分类 #知识蒸馏 4.9/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0/0.5 | 工程 1/1.5 📝 4.9/10 | 后50% | #音频分类 | #模型集成 | #知识蒸馏 | arxiv 👥 作者与机构 第一作者：Beile Ning（未说明） 通讯作者：未说明 作者列表：Beile Ning（未说明）、Jiayi Yu（未说明）、Zitong Wang（未说明）、Yufei Hu（未说明）、Wenjun Xu（未说明）、Yuanhang Qian（未说明）、Zhongxin Bai（未说明）、Gongping Huang（未说明） 💡 毒舌点评 这是一份典型的竞赛技术报告，通过堆砌多分支手工特征、层级分类头和KNN检索后处理，在特定数据集上把CLAP基线提升了约2.4个百分点。然而，全文未提供任何代码、模型或可复现材料，且缺乏与任何外部公开SOTA模型的直接比较，因此其声称的提升幅度犹如在真空中举重——无人知晓这个81.25%的Hier. F1在领域内究竟是何水平。方法本质上是已有技术的工程拼装，创新性稀薄，影响力囿于单一的竞赛场景。 📌 核心摘要 该论文针对DCASE 2026 Task 1的异构音频分类任务，提出了一种多分支层级感知框架。该方法在CLAP音频-文本表示的基础上，通过三个策略提升分类性能与层级一致性：(1) 构建扩展训练集BSD-Grand，合并清洗后的BSD35k子集以增强数据多样性；(2) 引入log-Mel、MFCC和log-STFT三个特征特异性声学分支，通过门控残差融合弥补CLAP对精细声学细节的建模不足；(3) 设计层级感知分类头（Flat、GC、LCL）以利用Broad Sound Taxonomy的层级结构，并采用基于KNN的嵌入检索与知识蒸馏来精细化预测。最终，最佳单模型（log-STFT + KNN后处理）达到80.84%的层级F1分数，最佳集成系统（System 3，5折交叉验证）进一步达到81.25%，相对于78.45%的CLAP基线提升显著。主要实验结果如下： ...

📄 An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation #语音合成 #语音识别 #多模态模型 6.8/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.5/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 ✅ 6.8/10 | 前50% | #语音合成 | #自回归模型 | #语音识别 #多模态模型 | arxiv 👥 作者与机构 第一作者：Haoran Wang（Carnegie Mellon University, Shanghai Jiao Tong University） 通讯作者：未说明 作者列表：Haoran Wang（Carnegie Mellon University, Shanghai Jiao Tong University）、Jinchuan Tian（Carnegie Mellon University）、Siddhant Arora（Carnegie Mellon University）、Shinji Watanabe（Carnegie Mellon University） 💡 毒舌点评 这篇文章为解决语音语言模型的高通量推理痛点提供了一个精巧的工程方案，尤其是 Paired Request Co-Scheduling 对 CFG 开销的消解颇具巧思，不是简单的“拼组件”。然而，实验对比维度过于单薄，仅与原始 PyTorch 串行推理比较，缺乏与 naive CFG 实现或其他推理框架的横向对打，让“80% 吞吐保持”这一核心卖点缺少足够的说服力。更关键的是，全文未提供任何延迟指标，对于实时语音交互场景而言，这几乎是不可接受的遗漏。 ...

📄 Audio-Based Understanding of Audiobook Narration Appeal #语音属性识别 6.9/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.9/10 | 前50% | #语音属性识别 | #预训练 | arxiv 👥 作者与机构 第一作者：Shahar Elisha（Spotify） 通讯作者：Shahar Elisha (shahar@spotify.com) 作者列表：Shahar Elisha（Spotify）、Mariano Beguerisse-Díaz（Spotify）、Emmanouil Benetos（Queen Mary University of London） 💡 毒舌点评 本文的亮点在于首次将有声书叙述的声学特征与大规模真实消费数据系统性关联，并通过体裁内分析和书组内对比提供了细致的洞察。然而，消费代理指标（view-rate）极其粗糙，预测模型性能提升微弱（分类准确率仅比随机高0.1），声学特征分析仍停留在关联性层面，缺乏对叙述吸引力底层机制的因果性挖掘，整体影响力局限于有声书推荐这一小众应用场景。 📌 核心摘要 本文探索有声书叙述的声学特征（音调、语速、响度等）如何影响听众的吸引力，并特别考察体裁和书目标题的调节作用。方法上，从LibriVox的8,854本有声书中，利用eGeMAPS、YAMNet、Whisper-tiny等预训练模型提取并汇总声学与副语言特征，拼接为129维向量，再通过VIF剪枝和统计建模（GLM、LME、GLM per genre）评估特征与view-rate的关系，并辅以分类与排序预测任务。相比此前依赖小规模用户评分的研究，本文首次在数千本真实有声书上对叙述声学与消费数据进行系统性量化分析，并通过书组内对比控制内容差异。全球GLM的 pseudo-\(R^2\) 为0.09，31个特征效应显著（BH校正后），最高 \(|\beta| \le 0.13\)；分类准确率最高仅0.35（随机基线0.25）；排序任务在view-rate指标上的Kendall \(\tau\) 约为0.13，改用Spotify内部return-rate后提升至0.26-0.28，证明了声学特征对吸引力的影响具有稳健性，但效应量有限。不同体裁下，同类声学特征的效应方向和大小差异显著。局限性在于消费指标噪声大、仅包含公开领域业余朗读、未涉及听众人口特征，方法上属于关联性建模而非因果推断。实际应用价值在于为有声书推荐系统、叙述者选角提供数据驱动的参考依据。 ...

📄 Beyond Words: Towards Effective Modeling of Non-Verbal Vocalizations in ASR #语音识别 6.4/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1.1/1.5 ✅ 6.4/10 | 前50% | #语音识别 | #课程学习 | arxiv 👥 作者与机构 第一作者：Gene Yang（Meta） 通讯作者：Haibin Wu（Meta） 作者列表：Gene Yang（Meta）、Haibin Wu（Meta）、Peng Su（Meta）、Ruizhe Huang（Meta）、Suwon Shon（Meta）、Bach Do（Meta）、Minxue Niu（Meta）、Zhaoheng Ni（Meta）、Shang-Wen Li（Meta）、Florian Metze（Meta）、Yossi Adi（Meta）、Ming Sun（Meta）、Yuzong Liu（Meta） 💡 毒舌点评 本文从实际痛点出发，将两阶段课程学习、跨类别声学知识迁移与语音转换增强巧妙组合，在内部数据上显著提升了稀缺非语言发声的检测性能，其“声学支架”的洞察有实用智慧。然而，所有实验基于两个不可公开的内部数据集，无任何代码、模型或数据开源承诺；唯一的系统级外部对比仅为一个Whisper‑D模型，且该比较存在规格不对等——Whisper‑D基于1.55B参数的Whisper‑v2‑large微调，而本文模型仅约200M参数，却未讨论该差异对结论的影响。关键训练超参数、架构细节和训练流程大面积留白，使得方法可复现性与泛化说服力大打折扣。整体而言是一份扎实的工业技术报告，但距顶会论文的开放性和严谨性标准仍有明显距离。 📌 核心摘要 本文旨在解决端到端ASR中稀疏、长尾的非语言发声（如笑声、呼吸、咳嗽、哭泣）检测问题。方法核心包含三个数据为中心的策略：（1）两阶段课程学习：Stage 1将所有NV事件映射为通用token <NV>，利用全部可用NV数据学习非语言声学基座，辅以帧级音素分类损失（所有NV帧统一映射为 SPN 标签）；Stage 2恢复细粒度标签，将Stage 1学得的 <NV> 嵌入直接复制初始化各NV token，再用少量类别特定标注进行专精微调；（2）跨类别声学知识迁移：利用高资源NV类别（如 <laugh>、<breath>）与低资源目标（如 <cry>）在呼吸和喉部发声机制上的共享生理声学特征，将大量高资源样本混入目标类别的训练mini‑batch，作为“声学支架”间接强化低资源token的表示学习；（3）类别平衡与语音转换协同：先通过基于类别的上采样（上限2–5倍）均衡训练信号，再使用零样本扩散语音转换Seed‑VC生成最多10倍说话人多样性的增强样本，二者必须配合使用——仅做VC增强而无类别平衡，在极端长尾下几乎无效。 ...

📄 CNN Models for Microphone Array Covariance Matrix Upsampling and Acoustic Imaging 5/10 | 创新 0.8/2 | 严谨 0.8/1.5 | 实验 0.3/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.2/0.5 | 工程 0.6/1.5 📝 5/10 | 后50% | #声源定位 | #CNN | arxiv 👥 作者与机构 第一作者：Marianthi Adamopoulou（未说明具体机构，仅知作者所属单位为1） 通讯作者：未说明 作者列表：Marianthi Adamopoulou (1)、Parthasaarathy Sudarsanam (2)、David Diaz-Guerra (2)、Meng Jiang (1)、Archontis Politis (2)、Seyed Jalaleddin Mousavirad (1)、Tuomas Virtanen (2)、Jan Lundgren (1) 机构信息：论文仅标注了数字1和2，未列出1和2对应的具体机构名称。 💡 毒舌点评 本文选择将协方差矩阵非冗余元素作为通道进行时频2D卷积，避开了强行将其当成图像处理这一常见误区，动机清晰。然而，实验设计堪称灾难——唯一基线是随机猜测，完全不与领域内既有的DBPN或任何插值法比较，使得所有性能数字几乎毫无参照价值，从源头扼杀了“更优”这一核心论点的说服力。声称不依赖几何先验，却仍通过选取特定四面体通道子集引入了软几何信息，这种“去先验”的彻底性值得商榷。 ...

📄 Cross Domain Few-Shot Class-Incremental Audio Classification Via Adversarial Contrastive Learning #音频分类 #对抗训练 #对比学习 #持续学习 7.4/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 1.3/1.5 | 复现 0.4/0.5 | 工程 0.7/1.5 ✅ 7.4/10 | 前50% | #音频分类 | #对抗训练 | #对比学习 #持续学习 | arxiv 👥 作者与机构 第一作者：Yongjie Si（华南理工大学电子与信息工程学院，广州） 通讯作者：Yanxiong Li（华南理工大学电子与信息工程学院，广州） 作者列表：Yongjie Si、Yanxiong Li、Sen Huang、Beibei Liu（均隶属于华南理工大学电子与信息工程学院） 💡 毒舌点评 本文首次在音频分类中形式化跨域少样本类增量学习（CD-FCAC）问题，并用对抗训练和对比学习给出直接解法，立意实用。然而，方法核心是将CV领域的域泛化策略（网络随机化+Wasserstein-style对抗训练）和监督对比学习套用至音频，技术深度有限；且仅靠谱图扰动模拟域偏移，在物理声学上缺乏依据。实验仅在三个公开数据集的六组域对上验证，回避了真实场景中的录音设备、声学环境等复杂域偏移，结论迁移性存疑。平均准确率作为主指标过于粗糙，掩盖了模型在增量后期的灾难性遗忘问题。 📌 核心摘要 问题：解决跨域少样本类增量音频分类（CD-FCAC）。基类样本来自源域，增量类样本来自存在域偏移的目标域，且每类仅有少量样本（如K-shot）。 方法核心：提出对抗对比训练策略。在基类训练阶段，使用谱扰动器对源域log-Mel谱图施加随机卷积扰动，并通过梯度上升最大化基于Wasserstein距离松弛的对抗损失，生成语义一致的伪目标域样本；随后联合源域和生成的对抗样本，最小化标准交叉熵与监督对比损失的组合目标，迫使编码器学习域不变且类内紧凑、类间可分的高区分度嵌入。增量阶段，冻结编码器以保留知识，仅用旧类嵌入均值和新类样本更新分类器。 与已有方法的新颖之处：首次在FCAC框架内显式处理源域与目标域分布差异，将单源域泛化的对抗训练与监督对比学习结合，为少样本增量学习提供域鲁棒的特征表示。 主要实验结果：在由LS-100、NSynth-100、FSC-89构造的六组跨域对上进行5-way 5-shot实验，方法在平均准确率（AA）上均超过对比基线（如NS→LS上79.09%，对比最佳基线AMFO+AFA的78.50%）。 实际意义：为智能家居、机器人等场景中，需要从不同域持续识别少量新音频类别的应用提供了一种轻量级方案。 主要局限性：域偏移仅通过谱图对抗扰动近似，未验证其对真实声学物理因素（录音设备、混响、噪声等）的模拟能力；冻结编码器策略完全放弃从目标域学习，限制性能上限；未探讨多源域或域标签未知的更复杂情形。 🔗 开源详情 代码：https://github.com/YongjieSi/ACL （论文公开） 模型权重：未提及 数据集：LS-100, NSynth-100, FSC-89，均在ModelScope公开： https://www.modelscope.cn/datasets/pp199124903/LS-100/summary https://www.modelscope.cn/datasets/pp199124903/FSC-89/summary https://www.modelscope.cn/datasets/pp199124903/NSynth-100/summary Demo：未提及 复现材料：未提及 🏗️ 方法概述和架构 该方法将CD-FCAC问题分解为基类训练（m=0）与增量训练（1≤m≤M-1）两个阶段。模型由编码器（如ResNet-18）、分类器（权重向量为 \(\{c_{y_j}\}\)）和一个专用于数据增强的谱扰动器（Spectral Disruptor）构成。输入音频被转换为128维log-Mel谱图。 ...

📄 Decomposer: Learning to Decompile Symbolic Music to Programs #音乐理解 #音乐生成 #强化学习 #可解释性 8.4/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.4/10 | 前25% | #音乐理解 | #强化学习 | #音乐生成 #可解释性 | arxiv 👥 作者与机构 第一作者：Yewon Kim (Carnegie Mellon University) 通讯作者：Chris Donahue (Carnegie Mellon University，作为共同作者排在最后，惯例默认为通讯作者) 作者列表：Yewon Kim, Apurva Gandhi, David Chung, Graham Neubig, Chris Donahue (全为Carnegie Mellon University) 💡 毒舌点评 将音乐“反编译”为程序的想法颇具巧思，两阶段的SFT+RL框架确实在逼真度和可读性之间找到了一个相对实用的平衡点，工程实现完整度也高。然而，可读性的衡量标尺看似面面俱到，实则是用LLM法官打钩的清单来逼近人类的审美直觉，略显机械；此外，这种清单对Chiptune等特定音乐风格的适配性存疑，但作者对此论证不足。整体而言，这是一个优雅但不乏瑕疵的跨领域应用，在音乐AI领域开辟了一个有趣但尚需打磨的新方向。 ...