只给片段标签,也要学会逐帧定位:多实例学习做口吃分类与切分
针对片段级标注无法给出帧级起止时间的问题,该文用保持时间维的多实例网络在片段监督下同时做片段分类和零样本帧切分,在 CASA 帧级 F1 达到 0.70 并在 SEP-28k-E 多标签片段任务上多类取得最优,代价是对长阻塞和 prolongation 仍不稳定且依赖 3 秒窗口。
针对片段级标注无法给出帧级起止时间的问题,该文用保持时间维的多实例网络在片段监督下同时做片段分类和零样本帧切分,在 CASA 帧级 F1 达到 0.70 并在 SEP-28k-E 多标签片段任务上多类取得最优,代价是对长阻塞和 prolongation 仍不稳定且依赖 3 秒窗口。
针对声音事件检测需要帧级定位而轻量模型容量不足的问题,论文提出以教师 logits 为公共蒸馏空间、配合时序投影器和置信度加权损失的 TAT-KD,最强证据是 4.548M 参数的 SE-CRNN 学生达到 PSDS 0.574,代价是训练期要附加多级投影器并依赖冻结教师的帧级输出质量。
针对大音频语言模型能听懂内容却卡不准事件起止的问题,论文提出把时间戳向量交错插入音频特征的音频侧时间提示并在监督微调后加一组强化后训练,最强证据是 Qwen2.5-Omni 音频定位 R@0.9 从 34.1 到 39.8、密集字幕 Eb-F1 从 35.2 到 40.7,代价是 750 个时间词、交错输入结构和额外的分组采样奖励计算。
论文用变换器自动检出填充停顿并以 Mundlak 校正的广义估计方程建模近四千小时四国议会语音,复现了年龄与语速的负关联、发现南斯拉夫议会中女性更高的性别反转与情感正关联,而政治倾向与执政在野效应只在部分议会成立且代价是自动情感与自动检出的噪声会进入发生率估计。
针对啮齿类超声发声在声谱图上窄带、短时、稀疏难检的问题,USV-DETR 在 RT-DETR 上加入 P2 高分辨率层与 DEIM 稠密监督,在 SqueakOut 上达到 78.7 的 AP,代价是引入 P2 后解码器注意力计算量上升且参数增至 34.5 M。
针对开放词汇声音事件检测中仅用查询向量检索而缺乏语义理解的问题,该文提出语义锚点加双向注意力和查询增强,在 AudioSet-Strong 稀有类上报告 34.9 的 PSDSr 并在 DESED 零样本上报告 44.1 的 PSDS1,代价是引入 400 个锚向量与两层双向解码等额外结构。
针对复杂噪声下声音事件检测性能骤降问题,论文提出用预测边界构造段内注意力掩码并做边界门控增强的 BG-CRNN,在 WildDESED 上从 10 dB 到 -5 dB 持续优于基线,代价是增加边界分支与多任务损失的训练复杂度。
论文要解决音节切分方法分散、难以同条件复现比较的问题,用包络计算、帧特征、切分算法三模块可互换的 findsylls 工具包统一经典与神经路线,在英语、西班牙语和 Kono 语七个语料上以 50 ms 容差比较核、边界与区间 F1,最强神经组合以 3-5 tok/s 实现最高边界与区间精度,但经典包络在吞吐量上高出一个数量级。
针对支持样本与查询音频都被背景声污染的单路五样本声音事件检测问题,论文提出冻结音频编码器、仅把目标原型向背景向量正交子空间投影的 POP-SED,在 DCASE2024 任务 5 验证集上用 BEATs 取得 62.35% 的事件级 F 值,代价是背景混合数增大时子集搜索按 2 的 M 次方增长。
针对通用声音事件检测与说话人日志无法把笑、咳归属到具体说话人的问题,论文用可控仿真构造 500 小时 LibriPara 并用解耦的副语言查询做联合帧级检测,在保持通用检测与日志精度的同时把笑和咳的帧级 F1 大幅提升,代价是通用声音检测有轻微负迁移。
针对黄獴幼体 9 类叫声分类与 29 段野外录音检测两个问题,论文用 24 频×16 时的手工谱时特征加随机森林取得 0.684 平均准确率并用置换重要性解释未定类,用无监督 rVAD 取得 0.81 灵敏度但以 0.19 精度为代价并靠合并邻近片段提精度。
该文在 1839 条短语音上用 Conformer 做帧级八分类,以按类高斯软标签处理标注抖动,最强证据是冻结 HuBERT 在 20 毫秒容差下宏观 F1 为 0.77 且软标签比硬标签高 7.0 个百分点,代价是元音与鼻音释放仍难且跨库迁移有限。
针对机械与水下录音中弱而宽带的循环调制检测问题,论文用 CARFAC 内毛细胞通道包络谱代替 FAM 加 ICMC 的谱相关面,在合成音、CWRU 轴承与 ShipsEar 工作船录音上恢复了主要的低频循环线,并把同任务墙钟耗时降到约 2 至 37 分之一,代价是真实水下宽带噪声下归一化后噪声基更高。
针对预训练模型双分支特征尺度不一致与均值教师固定更新不稳定问题,该文用时间自相似一致约束同步双分支演化轨迹、用基于参考损失的自适应更新稳定教师,并在 DCASE 2024 任务 4 上以 0.541 PSDS1、0.768 mpAUC、1.309 Score 取得最优,但第二阶段同时使用两项改进时 PSDS1 出现小幅回落需靠跨阶段融合弥补。
开放词汇声音事件检测要求对任意文本查询输出精确时间边界,COSED 以双编码器加高分辨率时序精修与语料作用域掩码加闭合开放联合监督为选择,在六任务统一零样本基准上五项最优一项持平,代价是多语料联合训练与精细时序建模的复杂度。
论文把多语言笑声切分做成先去人声再按能量切事件、用 BYOL-A 表征加 Isolation Forest 找异常的无监督流程,在站立喜剧等多语言数据上比英语中心的有监督基线更稳,但代价是依赖能量阈值和去人声质量且在人工合成的 AudioSet 上不占优。
针对大音频语言模型在字幕中提到输入中不存在声音事件的问题,REVE 复用目标模型已算出的编码器帧状态做两尺度验证,在 AudioSet 上开发集召回约束下删掉 92.9% 无据提及,只增加 3.38M 参数和 0.57 ms 完整验证延迟。
针对文本查询的音视事件时间定位,论文提出按边界可靠性分配教师监督位置的 OV-OrthKD,在 OV-AVEBench 上达到 0.816 片段 AP 且未见类 F1@0.5 提升 3.4 个百分点,代价是角色固定且仅做局部权重验证。
该研究把黑胶损伤检测做成修复导向的 5 类时序路由,用稀疏、突发、密集 3 路专家证据加分层路由器与验证集选定的维特比转移惩罚,在 597 段合成基准上达到 0.730 的 5 类宏 F1,主要增益来自时序解码而非分层本身,且混合类仍最难。
该研究用先定位中频能量谷再验证释放的闭合计数器替代包络峰计数,在六个语料库 356 名说话人 3560 个合格颤音上得到中位数 2 个闭合、约 36 毫秒间隔,语境效应稳健而性别效应消失,代价是只描述成形良好的浊音周期性颤音且缺乏人工逐点基准。