特定场景缺标注数据时,如何把网络长音频变成可训练的分类数据:TriA 四步流水线
针对家庭等特定场景人工标注稀缺问题,论文用标准化加声音活动检测加音频事件检测加过滤四步把流媒体长音频转为带事件标注的训练数据,并以 2130 小时覆盖 431 类的 TriA 数据集和三组家庭分类任务上平均准确率相对提升 3.97%、Macro-F1 相对提升 3.35% 的顺序微调证据支撑其有效性,代价是类别不均衡与自动标注可靠性仍低于人工标注。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对家庭等特定场景人工标注稀缺问题,论文用标准化加声音活动检测加音频事件检测加过滤四步把流媒体长音频转为带事件标注的训练数据,并以 2130 小时覆盖 431 类的 TriA 数据集和三组家庭分类任务上平均准确率相对提升 3.97%、Macro-F1 相对提升 3.35% 的顺序微调证据支撑其有效性,代价是类别不均衡与自动标注可靠性仍低于人工标注。
针对多语言视频中自动语音识别不可靠、文本主导失效的问题,VINAYAKA 只用音频与视觉线索并在双曲空间做跨模态融合,在四个数据集的域内与跨数据集评测中取得最优,同时跨语言迁移仍有明显下降。
该研究用非词软腭音连续体与边界放大设计检验普通话口吃者的嗓音起始时间范畴感知,发现辨别能力本身无组差,但识别边界右移趋势与边界处反应时不对称减弱并存,且严重度越高类内辨别越快而准确率不降,代价是样本小且严重度分析仅为探索性。
针对单一音频编码器难以兼顾语音细节与跨域语义的问题,WQ-Fusion 冻结 Whisper 与 Qwen 双编码器并用自适应调制加逐元素门控注意力做动态融合,在 15 个数据集评测上总体分达到 0.836,代价是只训练轻量适配部件且依赖统一生成式评测协议。
针对呼吸音自监督编码器缺乏临床语义锚点而无法零样本推理的问题,REACH 用医学大模型由元数据合成结构化报告并以 Sigmoid 对比对齐加掩码重构正则和远距离负采样做桥接,在 9 任务 6 数据集上以 43% 公开数据取得 61.3% 平均零样本 AUC 和 71.6% 线性探测 AUC,但细粒度咳嗽变体与五级严重度分级仍接近随机。
论文把已有的 66 小时真实家庭录音重新标注为哭、闹、不适之外的三类,用 YAMNet 嵌入加 RBF 支持向量机把二分类宏 F1 做到 0.803、三分类做到 0.624,代价是闹的精度仍低且对实验室数据的跨域优势混杂了数据量差异。
针对音频标注贵且通用主动学习忽略时频结构的问题,论文提出先用软损失分布刻画难学模式再用特征加梯度相似度匹配无标注样本的 TSAL,在 40% 标注预算下以 ESC-50 上 82.65% 对 79.90% 等结果领先基线,代价是每轮需额外计算伪标签梯度和相似度排序。
针对黄獴幼体 9 类叫声分类与 29 段野外录音检测两个问题,论文用 24 频×16 时的手工谱时特征加随机森林取得 0.684 平均准确率并用置换重要性解释未定类,用无监督 rVAD 取得 0.81 灵敏度但以 0.19 精度为代价并靠合并邻近片段提精度。
该研究以帧级音素分类为人工耳蜗语音增强的代表性单元,比较一维时间、一维频率与二维时频因果卷积前端及层数与后端搭配,在 STM32F746G 上实测延迟与内存,显示加前端普遍提分而一维结构更易满足亚 10 毫秒约束,代价是加深并不单调增益且二维深层内存与延迟急剧上升。
论文研究传统编码再经神经音频编码器转码后来源是否可辨,选择分层建模 RVQ 层间与时间依赖的 Transformer 框架,在固定码率下以 97% 以上准确率证明旧痕迹仍可辨,但高码率下 MP3 与 Opus 仍易混淆。
针对音频语言模型中提示学习提升基类却损伤新类的问题,ZEBRA 把零样本对数与提示学习对数加权融合再做自熵正则,在 11 个数据集平均上把新类准确率从低于零样本拉回到零样本之上,同时基类保持在 80% 左右,代价仅是训练测试时间增加数秒且不增加可学习参数。
针对助听器难辨非语音环境声的问题,RALCT 把随机音频增强、MFCC 与 log-mel 拼接、CNN 降维与 Transformer 建模串成一条流水线,在 UrbanSound8K 上以约 310000 参数达到最高 94.56% 验证准确率,代价是增强强度受内存限制且部分易混类别仍偏弱。
针对对比式音频语言模型少样本分类中只调文本侧而音频表示冻结的问题,该文提出在音频编码器早期三处做共享仿射调制的即插即用模块 ASPL,在 11 个数据集 16 样本平均上相对 CoOp、CoCoOp、PALM 带来约 1 个百分点以上增益,而新增参数仅 320 与 704 量级。
针对手腕动作相似但物体材质不同时惯性传感器难分辨的问题,AnomaSense 用只在无声动作上训练的异常检测器决定何时打开麦克风至多一秒并做掩码,在 15 人 20 类受控实验中把识别从惯性单模态的 78.98% 提升到融合无掩码音频的 96.89%,而 90% 连续掩码下仍保持 86.32%,代价是触发器相对声音事件的召回为 74.28% 且结论限于安静离 …
该研究用 50 人 TSST 与友好控制的组间语音区分压力情境并预测皮质醇反应与消极情绪变化,最强证据是 XGBoost 分类准确率 0.82 显著高于多数类基线,代价是样本小、协议线索未完全排除且唾液淀粉酶与积极情绪未能预测。
论文以 32 名三代平顶山话发音人的声学与喉头仪同步生产实验,显示老年组主要靠音高区分 T2 与 T4,而青年组在音高轮廓差缩小后显著加重了嘎裂声发声与时长权重,随机森林平均 AUC 超过 0.97,但结论目前仅来自生产端而无感知验证。
针对每阶段只标注新类而旧类标注缺失的多标签音频类增量问题,论文用冻结编码器加解析闭式线性分类器递推累积统计量,并在 ALMA 中补连续旧类分数与频率加权,最强证据是 Setup A 上 ALMA 平均累积 43.32% 与最终 39.08% 且旧组局部保持 47.8% 左右,代价是样本加权基本无增益且长序列下与存历史数据的上限差距拉大。
该研究把对抗扰动从波形搬到冻结 DAC 的连续隐空间,用条件生成器一次前向产生目标扰动,在语音指令、环境声、声场景和说话人验证上报告最高 99% 量级目标攻击成功率与 7 毫秒内推理,但以白盒可微流水线和冻结编解码器为前提。
针对咳嗽筛查结核任务,论文用频谱描述子与音频基础模型表示做异构融合,提出共享双曲原型码本加老虎机可靠性加权的 COBALT,并在 CODA TB 基准上以 MFCC 加 PaSST 取得最强结果,代价是更多适配与融合模块和跨设备泛化仍待验证。
该文用 37 把键盘 37440 次敲击构成的 KEYAC 检验冻结语音预训练表示加轻量下游头的按键识别泛化,发现 VoIP 编解码导致显著下降,而单隐层 KAN 适配头在各条件下一致提升并以 WavLM 最强,但仍需标准录音训练且无可验证的公开代码与数据。