在已知个体的五年连续录音里学哨声:OpenWhistle 如何把检测、分割与分类连成可复跑基准
针对瓶鼻海豚哨声结构研究缺深纵向数据的问题,论文用半自然定点连续录音加两阶段标注构建约 18 万哨声语料与 8354 条专家标注子集,并以域内 Wav2Vec2.0 线性探测在分类与检测上超过通用生物声学模型,但两任务仍留有明显误差空间与单点单群等限制。
针对瓶鼻海豚哨声结构研究缺深纵向数据的问题,论文用半自然定点连续录音加两阶段标注构建约 18 万哨声语料与 8354 条专家标注子集,并以域内 Wav2Vec2.0 线性探测在分类与检测上超过通用生物声学模型,但两任务仍留有明显误差空间与单点单群等限制。
针对整句单标签无法定位多人多事件录音中情绪归属的问题,论文把任务改写为带起止时间的语音段结构化预测,并用掩蔽情绪与距离加权时间戳辅助损失训练 EMO-TAG,在 MELD 和 IEMOCAP 多段定位与单句识别上超过所比基线,但代价是两次前向与精心清洗的多段构造流程。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对多智能体语音流水线中转写、说话人、时间与标注在工具格式间易丢失的问题,OneVoice 用稳定标识、分层转写与显式来源的 JSON 会话记录加校验器组织交接,在 15 组儿童语音事件聚合与 40 组 TIMIT 时序链接上以三模型验证了计数与时序保持的改善,但校验修复收益与模型相关且未验证延迟成本。
论文要解决从常态嗓到嘎裂嗓转变点的自动定位问题,选择不惩罚八度跳变的 REAPER 基频加声门闭合时刻估计配合导数阈值与能量峰约束,最强证据是 474 个澳式英语/hVt/样本上与人工标注的组内相关系数为 0.768 且元音长短效应结论一致,代价是自动法系统性偏早一至两个脉冲且仅验证了一种音系来源的尾部嘎裂。
该文用装配演算的稀疏竞争与局部可塑性处理连续语音,在无权训练下以边界变化信号得到音素 F1 为 0.69 与词 F1 为 0.61,以每类循环区的轨迹共振得到音素 47.5% 与命令词 45.1% 准确率,代价是阈值需每句调优且细类区分仍弱。
针对呼吸音频中呼吸常被语音活动检测判为静音的问题,BreathGRU 用双向循环时序建模加时长约束解码做语音与呼吸两类分割,在手动标注哮喘语音上取得呼吸事件召回 0.83 与平均匹配交并比 0.81,代价是整体时长误差与部分语音指标仍弱于 Silero。
针对无文本监督音素切分中单帧硬边界不能表达渐变过渡的问题,该文用左右时长决定的半高斯软目标替换边界附近标签,在保持双层 BiGRU 不变下 TIMIT 上 R 值达 91.53%,代价是需要调扩散比与正类权重并依赖强制对齐边界做枢轴。
FakeSound2 把声音伪造检测从二分类扩展为定位何时伪造、辨别如何伪造与追溯何处来源的三维诊断,证据是域内操纵类型精度 93.1% 掉到域外 32.4%,代价是相似操纵与新来源仍难区分且需大规模可控构造与标注。
该文把长音频活动识别做成从事件序列出发的层次解析,用训练脚本归纳的概率上下文无关文法加噪声节点约束子活动顺序与组成,在 MultiAct 上以事件监督恢复子活动切分与活动标签,最强证据是 Eval 子活动 Edit 从 24.6 到 35.3 的顺序一致性提升,代价是边界精度在严格 IoU 下未同步改善。
论文把连续监听下的何时提醒形式化为四态决策,用打断与静默两种解码标记在 Qwen2-Audio-7B 上实现主动辅助,在 ESC-50 上报告 99.6% 打断 F1 与 100% 去重召回,在 Epic-Sounds 零样本下保持 96.7% 起始召回,代价是噪声域静默召回偏低且平均延迟约 3.5 秒。
针对仅用麦克风检测鼾声、低通气和阻塞性呼吸暂停并估计 AHI 的问题,论文提出把多分辨率 ALE 的逐帧置信图注入 Transformer 注意力偏置与特征调制的 ACF-SED,在 APSAA 上报告 Event-F1 0.7105、Segment-F1 0.6930、PSDS 0.7633,代价是双流编码与门控交叉融合带来的结构与调参复杂度。
针对片段级标注无法给出帧级起止时间的问题,该文用保持时间维的多实例网络在片段监督下同时做片段分类和零样本帧切分,在 CASA 帧级 F1 达到 0.70 并在 SEP-28k-E 多标签片段任务上多类取得最优,代价是对长阻塞和 prolongation 仍不稳定且依赖 3 秒窗口。
针对声音事件检测需要帧级定位而轻量模型容量不足的问题,论文提出以教师 logits 为公共蒸馏空间、配合时序投影器和置信度加权损失的 TAT-KD,最强证据是 4.548M 参数的 SE-CRNN 学生达到 PSDS 0.574,代价是训练期要附加多级投影器并依赖冻结教师的帧级输出质量。
针对大音频语言模型能听懂内容却卡不准事件起止的问题,论文提出把时间戳向量交错插入音频特征的音频侧时间提示并在监督微调后加一组强化后训练,最强证据是 Qwen2.5-Omni 音频定位 R@0.9 从 34.1 到 39.8、密集字幕 Eb-F1 从 35.2 到 40.7,代价是 750 个时间词、交错输入结构和额外的分组采样奖励计算。
论文用变换器自动检出填充停顿并以 Mundlak 校正的广义估计方程建模近四千小时四国议会语音,复现了年龄与语速的负关联、发现南斯拉夫议会中女性更高的性别反转与情感正关联,而政治倾向与执政在野效应只在部分议会成立且代价是自动情感与自动检出的噪声会进入发生率估计。
针对啮齿类超声发声在声谱图上窄带、短时、稀疏难检的问题,USV-DETR 在 RT-DETR 上加入 P2 高分辨率层与 DEIM 稠密监督,在 SqueakOut 上达到 78.7 的 AP,代价是引入 P2 后解码器注意力计算量上升且参数增至 34.5 M。
针对开放词汇声音事件检测中仅用查询向量检索而缺乏语义理解的问题,该文提出语义锚点加双向注意力和查询增强,在 AudioSet-Strong 稀有类上报告 34.9 的 PSDSr 并在 DESED 零样本上报告 44.1 的 PSDS1,代价是引入 400 个锚向量与两层双向解码等额外结构。
针对复杂噪声下声音事件检测性能骤降问题,论文提出用预测边界构造段内注意力掩码并做边界门控增强的 BG-CRNN,在 WildDESED 上从 10 dB 到 -5 dB 持续优于基线,代价是增加边界分支与多任务损失的训练复杂度。
论文要解决音节切分方法分散、难以同条件复现比较的问题,用包络计算、帧特征、切分算法三模块可互换的 findsylls 工具包统一经典与神经路线,在英语、西班牙语和 Kono 语七个语料上以 50 ms 容差比较核、边界与区间 F1,最强神经组合以 3-5 tok/s 实现最高边界与区间精度,但经典包络在吞吐量上高出一个数量级。