VioTech:不用先切音符的小提琴演奏技法逐帧检测
针对小提琴起音柔和导致先切音符再分类不可靠的问题,VioTech 用冻结声学编码器加多尺度专家与任务路由做 10 毫秒逐帧预测,在跨数据集上提升了拨弦与跳弓等瞬态技法的检测,但换弓点检测下降且泛黄音仍困难。
针对小提琴起音柔和导致先切音符再分类不可靠的问题,VioTech 用冻结声学编码器加多尺度专家与任务路由做 10 毫秒逐帧预测,在跨数据集上提升了拨弦与跳弓等瞬态技法的检测,但换弓点检测下降且泛黄音仍困难。
共分析 48 篇语音/AI 论文
该文用槽注意力把 AST 片段嵌入拆成 4 个槽并以重构为目标自监督预训练,再冻结主干只训练轻量任务头,在三声源合成场景上同时支撑分类、检测与分离,并在未见类上做零样本分离,但结论依赖合成混合与固定任务头的评测条件。
MixCardBench 把 10 秒多声源混音拆成逐声源的结构化卡片来分别考查发现与描述,用保留真实事件结构的合成流水线得到 4884 个场景和 9618 张卡,最强模型平均卡片字段分也只有约 60%,且声源越多检出越难。
针对镇静手术中呼吸监测易受环境噪声干扰且人工听诊难连续的问题,Airmod 用双麦克风自适应降噪加 15 秒窗 CNN-BiGRU 吸气呼气检测与后处理拼接来逐次更新呼吸率,在 HF_Tracheal_V2 测试集上吸气检测 F1 约 0.83-0.85,但呼吸率对标二氧化碳描记的结果另文发表且降噪与算力仍有限制。
共分析 25 篇语音/AI 论文
AudioFM 要同时保留录音整体场景和时频细节,用互补遮挡视图的录音级对照加遮挡块潜表示判别来训练编码器,在 AudioSet 微调、冻结探测和跨数据集迁移上占优,但结论只在 16 kHz 单通道和所用划分下成立,且局部监督带来预测器与大批量训练代价。
论文要从枪虾主导的浅海噪声中检出海豚 click、buzz 和 burst-pulse 三类宽带瞬态叫声,采用直接处理波形的轻量一维卷积网络 TRIDENT 配合可控信噪比混合与归一化训练,在混合测试集上虚警率 1% 时检出率达 0.844,代价是依赖合成训练与人工挑选的难负样本且结论限于新加坡周边数据条件。
共分析 80 篇语音/AI 论文
论文研究无大标注时如何检测鲸叫,用固定预训练嵌入加原型小样本分类,通过匹配输入表示和多标签打分在南极蓝长须鲸和南非布氏鲸上验证,代价是仍低于全监督上限且依赖极不均衡下的排序指标。
共分析 58 篇语音/AI 论文
论文用 305 首棚录独唱和 68000 余段音频对齐的装饰音标注解决韩语传统声乐缺乏可计算语料的问题,基线显示音高曲线在分类上超过冻结通用音乐模型,而频谱在线索定位上互补,代价是固定调与速度限制了自然表达。
论文针对开放词汇音视事件定位中手工模板敏感与可学习提示偏向已见类的问题,用跨音频视觉的连续提示调优加语义拓扑一致性正则保持类间相似结构,在 OV-AVEBench 上已见平均 71.2% 与未见平均 61.7% 的条件下取得提升,代价是仍依赖冻结编码器与合成类别代理。
针对仅用环境音频检测鼾声、低通气和阻塞性呼吸暂停并估计 AHI 的问题,论文提出把多分辨率自适应线增强器的置信图直接送入注意力偏置和特征调制,在 APSAA 上取得 Event-F1 0.7105 的最好结果,代价是三路滤波加双流建模带来额外计算和单中心小样本的适用限制。
论文要解决 Whisper 只出词而丢掉呼吸笑声喇叭声的问题,用统一七个异构数据集的卷积加 Transformer 每 40 毫秒输出 54 类概率的做法,在重叠留出数据的留出集上敏感档找到约三分之二事件但宏观精度只有 0.30,代价是阈值与评估都偏乐观且弱类仍不可用。
共分析 146 篇语音/AI 论文
Logbook 把小时级音频理解定义为无空隙切分加每段事件标签与描述,用三套数据比较 52 种级联与端到端系统,发现任务可行但普遍过分割,微调能缓解而端到端在更长窗口上会退化。
该文针对开放词汇下每秒事件分类中视听相似度固定融合丢失自由度的问题,用复数卷积网络学习融合视听与文本相似度,并在冻结 ImageBind 上加 iHSV 与相位翻译两路辅助流,在 OV-AVEBench 未见类上达到 66.5/59.1/54.1% 的准确率/段级 F1/事件级 F1,代价是四流推理增加约 135 ms 延迟且跨数据集迁移不稳定。
本文针对音频时刻检索中解码器预测不准短时刻的问题,对比同一模型的两路输出,发现用无学习参数的峰相对切分把帧级显著性序列直接转成时刻,在 CASTELLA 上显著优于解码器,而训练仍需要解码器监督,实验基于已披露的 200 轮、批量 32、AdamW 学习率 1e-4 等配置。
该文用激活交换、解码与转向证明三款大音频语言模型都在中间层把粗粒度相对时间绑到事件名表示上并能因果改变前后判断,但该表示只能粗解码到约 3.5 至 4 秒且不能一致移动预测的起始时间戳。