arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2407.06178cs.CVcs.IRcs.LG
收藏

利用自监督视觉Transformer进行蛇类识别的迁移学习

Transfer Learning with Self-Supervised Vision Transformers for Snake Identification

Georgia Institute of Technology(佐治亚理工学院)

Anthony Miyaguchi, Murilo Gustineli, Austin Fischer, Ryan Lundqvist

AI总结:

本文提出 SnakeCLEF 2024 蛇种识别方案,基于自监督 DINOv2 视觉 Transformer 提取特征并训练线性分类器,验证了该嵌入在蛇类识别任务中的潜力。

摘要:

我们介绍了参加 SnakeCLEF 2024 竞赛、根据图像预测蛇类物种的方法。我们探索并使用 Meta 的 DINOv2 视觉 Transformer 模型进行特征提取,以应对包含182,261张图像的数据集中物种的高度变异性和视觉相似性。我们对嵌入进行探索性分析以理解其结构,并在嵌入上训练线性分类器来预测物种。尽管得分仅为39.69,但结果表明 DINOv2 嵌入在蛇类识别中具有前景。本项目所有代码可在 https://github.com/dsgt-kaggle-clef/snakeclef-2024 获取。

英文摘要:

We present our approach for the SnakeCLEF 2024 competition to predict snake species from images. We explore and use Meta's DINOv2 vision transformer model for feature extraction to tackle species' high variability and visual similarity in a dataset of 182,261 images. We perform exploratory analysis on embeddings to understand their structure, and train a linear classifier on the embeddings to predict species. Despite achieving a score of 39.69, our results show promise for DINOv2 embeddings in snake identification. All code for this project is available at https://github.com/dsgt-kaggle-clef/snakeclef-2024.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑