论文解读
流式多说话人识别要在单实例省内存与多实例保重叠之间选边
该文用同一组流式识别与流式说话人日志模型派生出级联、掩码输入、词级串行输出和日志条件四种架构,对比多说话人准确率、单说话人退化、内存占用与训练代价,并以排列不变动态时间规整解决短片段训练标签对齐问题,其中日志条件精度最好但需要微调与多实例代价。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该文用同一组流式识别与流式说话人日志模型派生出级联、掩码输入、词级串行输出和日志条件四种架构,对比多说话人准确率、单说话人退化、内存占用与训练代价,并以排列不变动态时间规整解决短片段训练标签对齐问题,其中日志条件精度最好但需要微调与多实例代价。
论文用冻结视觉语言模型加 Whisper 转写路由构造免训练语音中心全模态理解,在 56 个基准和 21 种语言的配对比较中语音任务可比原生全模态训练而保留视觉推理能力,代价是增加串行语音识别延迟且无法处理音乐与环境声等非语音线索。
说话人验证 | 7.8/10
音频伪造检测 | 6.3/10
语音伪造检测 | 6.4/10
音频理解 | 8.0/10
语音情感识别 | 8.6/10
语音识别 | 7.1/10
音乐推荐 | 8.3/10
语音识别 | 9.0/10
多模态模型 | 7.0/10
音频伪造检测 | 6.3/10
音频事件检测 | 6.3/10
音乐源分离 | 5.7/10
音频检索 | 6.4/10
语音交互 | 6.7/10
语音交互 | 8.5/10
语音对话系统 | 7.8/10
说话人验证 | 7.9/10
音频检索 | 7.6/10