只帮一个类别:人声二分类加人工核验如何省下森林音频标注时间
论文把肯尼亚森林声音工作集里人声说话的二分类交给微调后的音频频谱 Transformer 做初步筛选,再用三份清单加连续听音核验全部机器建议,在保持人工标签权威的前提下把剩余 5026 个文件的标注工作量从约 48.9 人时降到约 28.9 人时。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文把肯尼亚森林声音工作集里人声说话的二分类交给微调后的音频频谱 Transformer 做初步筛选,再用三份清单加连续听音核验全部机器建议,在保持人工标签权威的前提下把剩余 5026 个文件的标注工作量从约 48.9 人时降到约 28.9 人时。
论文针对能量型声学指数跟踪物种丰富度不可靠的问题,用 BirdNET 物种检测加地点过滤和努力量标准化构建 ABIE 指数,在稀树草原与动物园对比中以 0.93 的小时丰富度相关超越六种常用指数,但稳定性项与跨季节比较仍有限制。
论文用冻结的 Whisper 编码器加一个小的逻辑回归头做话轮结束检测,在 CALLHOME 五种语言上测零样本跨语言迁移、少量目标语言适配和阈值复用,发现跨语言差距很小且因果流式处理是主要代价。
ImageTTS 把对数梅尔谱图变成伪 RGB 图后冻住图像 VAE、只微调 FLUX.2 的 DiT 做条件流匹配,在受控对比中验证了表征与先验迁移,再用约 100K 小时数据在零样本和指令控制合成上达到可比基线的语言准确率,但说话人相似度仍受冻住 VAE 限制。
论文为呼叫转写做因果语音隔离,用从通话自身注册的主讲人线索做掩蔽,在长通话和单人通话的权衡中用因果化的 WavLM 改善两端,并蒸馏出单 CPU 线程可跑的小模型。
TIMUSE 把通用增强拆成语义恢复与声学重建两步,用文本扩散语言模型补内容、用流匹配模型保音色,在重度缺失下内容保持更好,但结论只在原文的双基准与配对训练条件下成立。
论文研究无大标注时如何检测鲸叫,用固定预训练嵌入加原型小样本分类,通过匹配输入表示和多标签打分在南极蓝长须鲸和南非布氏鲸上验证,代价是仍低于全监督上限且依赖极不均衡下的排序指标。
本文系统梳理 1451 篇论文中母语资源如何支撑语码混合处理、混合数据又如何反哺母语建模,并用 SEAME 等证据说明数据匹配往往比新结构更关键。
MIP 把 AI 生图检测、局部篡改定位、人脸变形检测、换脸视频检测、语音伪造检测和文本分析装进同一套微服务平台,用代表性基准验证了各模块在各自条件下的表现,但跨生成器和跨数据集的泛化仍受限定条件约束。
论文用冻结的 XLS-R、XEUS 与 PhoneticXeus 表征加参考文本特征和岭回归解决三维度发音评分问题,在 305 段独立朗读上以排序和数值一致性对比专家与存档 Azure 分数,并报告了本地 CPU 运行的耗时与内存代价。
论文用约 100 小时英语 MSP-Podcast 训练的 WavLM Large 模型,再用 1 到 20 小时汉语普通话 BIIC-Podcast 做适应,与只用汉语普通话从头训练对比,发现唤醒度只需 2 小时即可追平 100 小时单语模型,而效价需要 20 小时,代价是小数据下直接训练不稳定且效价与优势度整体更难预测。
论文研究如何用冻结的自动音乐转录编码器加谱面解码器生成节奏游戏谱面,并在谱面最少的模式上用跨模式联合训练把事件 F1 从 0.492 提到 0.506,而与 Clone Hero 联合反而降到 0.482。
论文要解决无成对电影声画编辑数据时如何执行组合指令,方法是把合成音频编辑与自监督声画掩码重建加入微调,在 CrossEditBench 上 AV-FES 达到 0.30 但仍远低于理想上限,且保留了原有单模态编辑能力。
论文研究把前向仿真学到的传感器关系图用于稀疏源定位逆任务是否有效,通过定理证明边误差容忍条件并用氢气泄漏 CFD 与声学两类 180 场景实验证明满足边准确仍因任务目标错位而失效,且给出基于 Jaccard 重叠的轻量可迁移性检验及其代价。
论文在 MGPHot 上模拟新增 7 个属性的模式扩展,比较零样本音频语言预测与 8、32、128 首标注下的有监督复用,发现冻结表征上训练线性头在小预算下最有效,而更深的网络更新收益小且不稳定。
论文用冻结编码器加逻辑回归比较 15 种语音、说话人验证、动物声学与通用音频表示在四个物种个体识别和三个物种叫声类型分类上的迁移效果,发现最强语音表示在七组设置中三组显著更好、四组无显著差异,而语言覆盖与动物域预训练均无系统优势,且可迁移信息高度依赖网络层与前端类型。
针对配对语音文本不足时语音大模型难以对齐声学与文本的问题,论文用语音到音素预训练音频编码器、用纯文本生成的音素到字形任务预热大模型,再端到端微调,在日语和中文上把字错率相对降低 27% 到 72%,代价是多两段预训练且在字母文字小语种上增益有限。
该文研究不同结构的图文模型之间如何搬运任务能力,用与结构无关的亲和力改变量记录任务,再以最小二乘算子或低秩适配器写入目标,在加法上保留目标自身增益的七到八成,代价是控制集精度下降和在部分任务上几乎无效。
论文发现视觉等多模态大模型合并可提升音频与视频模型的本模态成绩,提出只用 256 个校准样本求闭式权重更新的方向性跨模态对齐迁移方法,在音频平均提升 29.55%、视频平均提升 24.92%,代价是视觉端性能可能受损且结论限于共享基座的权重可合并结构。
为把只支持至多双声道的 GMLv2 扩展到 5.1 声道,论文比较信号、预测、隐变量、特征四层融合,提出特征带组注意力 FGAtt 在感知主干前自适应融合空间组,在五个 5.1 测试集上总体 PCC/SCC 达 0.9063/0.8303,代价是需 5.1 主观数据训练轻量融合模块且冻结主干。