Human-in-the-Loop Segmentation of Multi-species Coral Imagery
QUT Centre for Robotics（QUT机器人中心）；Image Analytics（图像分析）；CSIRO Data61（CSIRO数据61）
Scarlett Raine, Ross Marchant, Brano Kusy, Frederic Maire, Niko Suenderhauf, Tobias Fischer
备注：
IEEE Journal of Oceanic Engineering accepted preprint of extended paper, 36 pages, 14 figures. Original conference paper (v2) accepted at the CVPR 2024 3rd Workshop on Learning with Limited Labelled Data for Image and Video Understanding (L3D-IVU)
Marine surveys by robotic underwater and surface vehicles result in substantial quantities of coral reef imagery, however labeling these images is expensive and time-consuming for domain experts. Point label propagation is a technique that uses existing images labeled with sparse points to create augmented ground truth data, which can be used to train a semantic segmentation model. In this work, we show that recent advances in large foundation models facilitate the creation of augmented ground truth masks using only features extracted by the denoised version of the DINOv2 foundation model and K-Nearest Neighbors (KNN), without any pre-training. For images with extremely sparse labels, we use human-in-the-loop principles to enhance annotation efficiency: if there are 5 point labels per image, our method outperforms the prior state-of-the-art by 19.7% for mIoU. When human-in-the-loop labeling is not available, using the denoised DINOv2 features with a KNN still improves on the prior state-of-the-art by 5.8% for mIoU (5 grid points). On the semantic segmentation task, we outperform the prior state-of-the-art by 13.5% for mIoU when only 5 point labels are used for point label propagation. Additionally, we perform a comprehensive study into the number and placement of point labels, and make several recommendations for improving the efficiency of labeling images with points.
CoralscapesV2: Panoptic and Fine-Grained Visual Scene Understanding in Coral Reefs
MIT（麻省理工学院）；EPFL（洛桑联邦理工学院）；University of Djibouti（吉布提大学）；Ministry of Environment and Sustainable Development of Djibouti（吉布提环境与可持续发展部）；Centre d’Études et de Recherche de Djibouti（吉布提研究与研究中心）；Red Sea University of Port Sudan（苏丹港红海大学）；Aqaba Marine Reserve, Jordan（约旦亚喀巴海洋保护区）；United Nations Development Programme Jordan（联合国开发计划署约旦办事处）；Mai Nefhi College of Science, Eritrea（厄立特里亚马伊内菲理学院）；Ministry of Marine Resources, Massawa, Eritrea（厄立特里亚马萨瓦海洋资源部）
Automatic Coral Detection with YOLO: A Deep Learning Approach for Efficient and Accurate Coral Reef Monitoring
Cadi Ayyad University（卡迪·阿雅德大学）；University of La Réunion（留尼汪大学）；IRD（法国国家可持续发展研究所）；IFREMER（法国海洋开发研究院）；CNRS（法国国家科学研究中心）；University of New Caledonia（新喀里多尼亚大学）；Institut de Recherche pour le Développement（法国国家可持续发展研究所）；MNHN（法国国家自然历史博物馆）；EPHE（巴黎高等研究实践学院）
Detecting Endangered Marine Species in Autonomous Underwater Vehicle Imagery Using Point Annotations and Few-Shot Learning
Australian Centre for Robotics, University of Sydney（悉尼大学澳大利亚机器人中心）；Marine Technology Department, Norwegian University of Science and Technology（挪威科技大学海洋技术系）；Institute for Marine and Antarctic Studies, University of Tasmania（塔斯马尼亚大学海洋与南极研究所）
CoralSCOP-LAT: Labeling and Analyzing Tool for Coral Reef Images with Dense Mask
Hong Kong University of Science and Technology（香港科技大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Technology Sydney（悉尼科技大学）
Detection of Degraded Acacia tree species using deep neural networks on uav drone imagery
The Technical University of Kenya（肯尼亚技术大学）；IRISA（法国国家信息与自动化研究所雷恩分院（IRISA））；Université Bretagne Sud（南布列塔尼大学）
基于深度学习的图像分类和目标检测已成功应用于树木监测。然而，对树冠和倒下的树木的研究，特别是对洪水淹没地区的研究，在很大程度上仍然没有得到探索。由于图像背景的混色性，在自然环境如水、泥滩和自然植被覆盖区域上检测退化的树干具有挑战性。在本文中，无人机（UAV），或无人机，嵌入式RGB摄像头被用来捕捉倒下的相思树从六个指定地块周围纳库鲁湖，肯尼亚。由于需要检测湖泊周围的倒下的树木，两个成熟的深度神经网络，即更快的基于区域的卷积神经网络（更快的R-CNN）和视网膜网络用于倒下的树木检测。本研究共使用了256 x 256图像块上三个类别的7，590个注释。实验结果显示了深度学习在这种情况下的相关性，Retina-Net模型实现了38.9%的准确率和57.9%的召回率。
AI-driven Dispensing of Coral Reseeding Devices for Broad-scale Restoration of the Great Barrier Reef
Queensland University of Technology（昆士兰理工大学）；QUT Centre for Robotics（昆士兰理工大学机器人中心）；School of Electrical Engineering and Robotics（电气工程与机器人学院）；Australian Institute of Marine Science（澳大利亚海洋科学研究所）
Application of deep learning to camera trap data for ecologists in planning / engineering -- Can captivity imagery train a model which generalises to the wild?
Ove Arup and Partners（奥雅纳工程顾问公司）；Newcastle University（纽卡斯尔大学）
了解一个物种的丰富程度是了解其长期可持续性和我们可能对其产生的影响的第一步。生态学家使用相机陷阱远程调查特定动物物种的存在。先前的研究表明，深度学习模型可以被训练成自动检测和分类相机陷阱图像中的动物，具有很高的置信度。然而，训练这些模型的能力依赖于具有足够高质量的训练数据。当动物很稀有或者数据集不存在时会发生什么？本研究提出了一种方法，使用圈养的稀有动物（重点是苏格兰野猫）的图像来生成训练数据集。我们探讨了将人工饲养数据训练的模型应用于野外收集的数据时所面临的挑战。该研究的背景是生态学家在规划/工程的需求。根据其他研究的先例，该项目建立了一个合奏目标检测，图像分割和图像分类模型，然后使用不同的图像处理和类结构技术进行测试，以鼓励模型的推广。该研究的结论是，在苏格兰野猫的背景下，圈养图像训练的模型不能推广到野生相机陷阱图像使用现有的技术。然而，基于两类模型Wildcat vs Not Wildcat的最终模型性能在只有1%的图像包含野猫的测试集上实现了81.6%的总体准确性得分和54.8%的野猫准确性得分。这表明使用圈养图像是可行的，需要进一步研究。这是第一个研究，试图产生一个训练集的基础上圈养的数据和第一个探索这种模式的发展环境中的生态学家在规划/工程。
Zero-shot Shark Tracking and Biometrics from Aerial Imagery
Stanford University（斯坦福大学）；Flinders University（弗林德斯大学）；Centro de Investigación en Ciencias del Mar y Limnología, Universidad de Costa Rica（哥斯达黎加大学海洋与湖沼科学研究中心）
CoralVQA: A Large-Scale Visual Question Answering Dataset for Coral Reef Image Understanding
Beijing University of Posts and Telecommunications（北京邮电大学）；Technology Innovation Center for South China Sea Remote Sensing, Surveying and Mapping Collaborative Application, Ministry of Natural Resources（自然资源部南海遥感测绘协同应用技术创新中心）；South China Sea Development Research Institute, Ministry of Natural Resources（自然资源部南海发展研究 institute）；Inspur Computer Technology Co., Ltd（Inspur 计算机技术有限公司）；Shandong Key Laboratory of Advanced Computing（山东先进计算重点实验室）
Understanding Representation Gaps Across Scales in Tropical Tree Species Classification from Drone Imagery
Mila – Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Cary Institute of Ecosystem Studies（生态系统研究所）；Smithsonian Tropical Research Institute（史密松国家热带研究所）；Department of Plant Sciences, University of Cambridge（剑桥大学植物科学系）；Universidade do Estado do Mato Grosso (UNEMAT)（马托格罗索州立大学（UNEMAT））
Lacking Data? No worries! How synthetic images can alleviate image scarcity in wildlife surveys: a case study with muskox (Ovibos moschatus)
Université de Sherbrooke（舍布鲁克大学）；Ministère de l’Environnement, de la Lutte contre les Changements Climatiques, de la Faune et des Parcs (MELCCFP)（环境、应对气候变化、野生动物与公园部）；Quebec Centre for Biodiversity Science (QCBS)（魁北克生物多样性科学中心）；McGill University（麦吉尔大学）
USU-Corn-WeedDB: A UAV RGB Image Dataset for Multi-Species Weed Detection in Forage Corn
Department of Applied Sciences, Technology, and Education, Utah State University（应用科学、技术和教育系，犹他州立大学）；Department of Plants, Soils & Climate, Utah State University（植物、土壤与气候系，犹他州立大学）；Department of Civil and Environmental Engineering, Utah State University（土木与环境工程系，犹他州立大学）
Individual mapping of large polymorphic shrubs in high mountains using satellite images and deep learning
LifeWatch-ERIC（生命观察欧洲研究基础设施联盟）；Interuniversity Institute of Earth System Research in Andalusia, Andalusian Center for the Environment (IISTA-CEAMA)（安达卢西亚大学间地球系统研究所（安达卢西亚环境中心））；Pyrenean Institute of Ecology, Spanish National Research Council (IPE-CSIC)（西班牙国家研究委员会比利牛斯生态研究所）
Predicting butterfly species presence from satellite imagery using soft contrastive regularisation
The Alan Turing Institute, the UK（英国阿尔安·图灵研究所）；Wageningen University & Research, the NL（瓦赫宁根大学与研究中心）；University College London, the UK（伦敦大学学院）；UK Centre for Ecology & Hydrology, the UK（英国生态与水文研究中心）
A multi-modal dataset for insect biodiversity with imagery and DNA at the trap and individual level
Department of Ecology, Swedish University of Agricultural Sciences（生态系，瑞典农业科学大学）；University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）；University of Helsinki（赫尔辛基大学）；Department of Entomology, National Museum of Natural History, Smithsonian Institution（昆虫学系，国家自然历史博物馆，史密松尼研究所）；Department of Biological and Environmental Science, University of Jyväskylä（生物与环境科学系，于韦斯屈埃大学）；Faculty of Biological and Environmental Sciences, University of Helsinki（生物与环境科学学院，赫尔辛基大学）；Centre for Biodiversity Genomics, University of Guelph（生物多样性基因组中心，圭尔夫大学）；NVIDIA（NVIDIA公司）；University of Toronto（多伦多大学）；Kilpisjärvi Biological Station, University of Helsinki（基利皮斯杰里生物学站，赫尔辛基大学）；Unit for Field-based Forest Research, Swedish University of Agricultural Sciences（基于现场的森林研究单位，瑞典农业科学大学）
Cutting-edge 3D reconstruction solutions for underwater coral reef images: A review and comparison
State Key Laboratory of Information Engineering in Surveying Mapping and Remote Sensing（信息工程测绘与遥感国家重点实验室）；Wuhan University（武汉大学）；Institute of Geodesy and Photogrammetry（大地测量与摄影测量研究所）；ETH Zurich（苏黎世联邦理工学院）；The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
Detection of Endangered Deer Species Using UAV Imagery: A Comparative Study Between Efficient Deep Learning Approaches
Artificial Intelligence and Robotics Laboratory (LINAR)（人工智能与机器人实验室）；Universidad de San Andrés（圣安德烈大学）；Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)（国家科学与技术研究中心）；Centre for Automation and Robotics (CSIC-UPM)（自动化与机器人中心）；Museo Argentino Bernardino Rivadavia（阿根廷Bernardino Rivadavia博物馆）
PRMI: A Dataset of Minirhizotron Images for Diverse Plant Root Study
University of Florida（佛罗里达大学）；UniLaSalle Bauvais（UniLaSalle 博韦）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Missouri（密苏里大学）；University of Maine（缅因大学）；Argonne National Laboratory（阿贡国家实验室）
Evaluating the Efficacy of Sentinel-2 versus Aerial Imagery in Serrated Tussock Classification
School of Information Technology, Deakin University, Australia（信息技术学院，德堪大学，澳大利亚）；Agriculture Victoria Research, Department of Energy, Environment and Climate Action, Australia（维多利亚农业研究，能源、环境与气候变化行动部，澳大利亚）；Institute of Innovation, Science and Sustainability, Federation University, Australia（创新、科学与可持续性研究所，联邦大学，澳大利亚）
RareSpot: Spotting Small and Rare Wildlife in Aerial Imagery with Multi-Scale Consistency and Context-Aware Augmentation
University of California, Santa Barbara（加州大学圣芭芭拉分校）；Smithsonian National Zoo and Conservation Biology Institute（史密森尼国家动物园与保护生物学研究所）；Stanford University（斯坦福大学）
Diverse Instance Generation via Diffusion Models for Enhanced Few-Shot Object Detection in Remote Sensing Images
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）
