LRS-VoxMM: A benchmark for in-the-wild audio-visual speech recognition
📄 LRS-VoxMM: A benchmark for in-the-wild audio-visual speech recognition #语音识别 #数据集 #基准测试 #鲁棒性 🔥 9.0/10 | 前25% | #语音识别 | #数据集 | #基准测试 #鲁棒性 | arxiv 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者:Doyeop Kwak(韩国高等科技院 KAIST) 通讯作者:未明确标注,根据惯例和论文末位,可能为 Joon Son Chung(韩国高等科技院 KAIST) 作者列表:Doyeop Kwak(韩国高等科技院 KAIST)、Jeongsoo Choi(韩国高等科技院 KAIST)、Suyeon Lee(韩国高等科技院 KAIST)、Joon Son Chung(韩国高等科技院 KAIST) 💡 毒舌点评 亮点:精准地切中了当前AVSR评测体系的一个真实痛点——现有主流基准过于“干净”和饱和,难以评估视觉信息的真正价值,并为此提供了从构建协议到失真测试集的一整套标准化解决方案,实用性极强。短板:作为一项数据集/基准工作,其学术贡献主要在于“整合”和“定义”,在模型或算法层面并无直接创新;对基准难度的分析虽充分,但最终仍依赖现有模型来展示,未能提出新的分析范式。 🔗 开源详情 代码:https://github.com/kaistmm/VoxMM 模型权重:论文中提及使用了官方公开发布的 AV-HuBERT、Auto-AVSR 和 Llama-AVSR 检查点,但未提供这些检查点的具体获取链接。 数据集:VoxMM 官方项目主页(包含 LRS-VoxMM 下载说明):https://mm.kaist.ac.kr/projects/voxmm Demo:论文中未提及 复现材料:论文中提及复现了 Auto-AVSR 模型 (Auto-AVSR*),但未提供具体的训练配置文件、复现检查点或详细附录的链接。 论文中引用的开源项目: VoxMM 预处理工具:https://github.com/kaistmm/VoxMM DEMAND 噪声数据库:论文中提及用于加性噪声合成,但未提供具体链接。 Wav2vec 2.0 LARGE 模型:论文中提及用于词级时间戳的强制对齐,但未提供具体链接。 SyncNet:论文中提及用于同步性置信度评分,但未提供具体链接。 LRS2/LRS3 数据集:论文中多次提及并比较,但未提供其原始数据集链接。 The request was rejected because it was considered high risk ...