Semantic Segmentation of Fruits on Multi-sensor Fused Data in Natural Orchards
South China Agricultural University（华南农业大学）；Monash University（莫纳什大学）；CSIRO（联邦科学与工业研究组织）
语义分割是农业机器人在自然果园中理解周围环境的一项基本任务。激光雷达技术的最新发展使机器人能够在非结构化果园中获得精确的距离测量。与RGB图像相比，3D点云具有几何属性。通过将LiDAR和相机相结合，可以获得关于几何和纹理的丰富信息。在这项工作中，我们提出了一种基于深度学习的分割方法，对来自LiDAR相机视觉传感器的融合数据进行准确的语义分割。在这项工作中，两个关键问题的探索和解决。第一个问题是如何有效地融合多传感器数据的纹理和几何特征。第二个问题是如何在严重不平衡的类别条件下有效地训练三维分割网络。详细介绍了一种基于激光雷达和相机数据融合、数据汇集与标注、网络训练和模型推理的果园三维分割实现方法。在实验中，我们全面分析了网络设置时，处理高度非结构化和噪声点云从苹果园。总体而言，我们提出的方法在高分辨率点云（100 k-200 k点）上分割水果时达到了86.2%的mIoU。实验结果表明，该方法能够在真实的果园环境中进行准确的分割。
2022-08-04 cs.CV
Comparing YOLOv11 and YOLOv8 for instance segmentation of occluded and non-occluded immature green fruits in complex orchard environment
Washington State University（华盛顿州立大学）
本研究比较YOLOv11与YOLOv8在果园未成熟青苹果分割中的性能，YOLOv11m-seg在精度上领先，YOLOv8n速度更快，为实时农业应用提供参考。
2026-09-25 cs.CV
Self-supervised Learning for Panoptic Segmentation of Multiple Fruit Flower Species
Marquette University（马凯特大学）；United States Department of Agriculture (USDA)（美国农业部）；University of Florida（佛罗里达大学）
使用手动生成的标签训练的卷积神经网络通常用于语义或实例分割。在精准农业中，自动化花卉检测方法使用监督模型和后处理技术，这些技术可能不会随着花卉的外观和数据采集条件的变化而一致地执行。我们提出了一个自监督学习策略，以提高分割模型的敏感性，不同的花卉品种使用自动生成的伪标签。我们采用了数据增强和细化的方法来提高模型预测的准确性。然后将增强的语义预测转换为全景伪标签以迭代地训练多任务模型。可以使用现有的后处理方法来改进自监督模型预测，以进一步提高其准确性。对多物种果树花数据集的评估表明，我们的方法优于最先进的模型，无需计算昂贵的后处理步骤，为花检测应用提供了新的基线。
2022-09-10 cs.CV
GDA-YOLO11: Amodal Instance Segmentation for Occlusion-Robust Robotic Fruit Harvesting
University of Wollongong（伍伦贡大学）
GDA-YOLO11通过改进的无遮挡分割模型提升机器人果实采摘的遮挡鲁棒性，实现更高的采摘成功率和更准确的分割性能。
2026-02-27 cs.CV
Volume and leaf area calculation of cabbage with a neural network-based instance segmentation
University of Hohenheim（霍恩海姆大学）
果实大小和叶面积是植物健康的重要指标，对植物营养管理、植物保护和收获都有意义。本文提出了一种基于图像的甘蓝果实体积和叶面积的测量方法。为此，训练基于掩模区域的卷积神经网络（Mask R-CNN）以将卷心菜果实从叶子中分割出来并将其分配给相应的植物。结果表明，即使在单个相机的情况下，所开发的方法也可以提供92.6%的果实大小和89.8%的单株水平上的叶面积的计算精度。
2021-04-12 cs.CV cs.RO
Multispecies fruit flower detection using a refined semantic segmentation network
Marquette University（马凯特大学）；U.S. Department of Agriculture (USDA)（美国农业部）
在水果生产中，关键的作物管理决策是以开花强度为指导的，即，一个果园里花的数量。尽管其重要性，水华强度仍然通常通过人类视觉检查来估计。现有的用于花卉识别的自动化计算机视觉系统基于手工设计的技术，该技术仅在特定条件下工作并且具有有限的性能。这项工作提出了一种自动化技术，花识别，是强大的不受控制的环境，适用于不同的花卉品种。我们的方法依赖于一个端到端的残差卷积神经网络（CNN），它代表了语义分割的最新技术。为了增强其对花朵的敏感性，我们使用苹果花图像的单个数据集对该网络进行了微调。由于CNN倾向于产生粗略的分割，我们采用了一种细化方法来更好地区分各个花的实例。在不进行任何预处理或特定于小册子的训练的情况下，在不同条件下获得的苹果、桃和梨花图像上的实验结果证明了我们的方法的鲁棒性和广泛的适用性。
2018-09-20 cs.CV cs.RO
Still image and spatial-temporal tomato data enabling detection, segmentation, tracking, and video-instance segmentation using strong and weak labels
University of Bonn（波恩大学）；CSIRO（联邦科学与工业研究组织）
论文发布了BUTom21和BUTom-ST21两个番茄数据集，前者含静止图像与手动标注，后者含视频数据与伪标签，均有果实成熟度像素级标签，为研究界提供真实图像集，助力番茄植株及果实状态感知研究，时空数据集拓展田间表型分析边界。
2026-07-17 cs.CV
Real-Time Fruit Recognition and Grasping Estimation for Autonomous Apple Harvesting
Monash University（蒙纳士大学）
在这项研究中，一个完全基于神经网络的视觉感知框架的自主苹果收获。建议的框架包括一个多功能的神经网络水果识别和Pointnet把握估计，以确定适当的把握姿势，以指导机器人执行。水果识别以RGB-D摄像机拍摄的RGB图像为原始输入，进行水果检测和实例分割，点网抓取估计以每个水果的点云为输入，输出每个水果的抓取姿态预测。利用实验室和果园环境中采集的RGB-D图像对所提出的框架进行了验证，并在受控环境中进行了机器人抓取试验。实验表明，该框架可以准确地定位和估计机器人抓取的抓取位姿。
2020-04-05 cs.CV
3D Hierarchical Panoptic Segmentation in Real Orchard Environments Across Different Sensors
Center for Robotics, University of Bonn（波恩大学机器人中心）；University of Oxford（牛津大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（Lamarr机器学习与人工智能研究所）
本文提出了一种基于不同传感器3D数据的苹果园分层全景分割新方法，可同时进行语义和实例分割以估计产量，并提供了专用公开数据集，实验证明其超越了现有农业3D全景分割技术。
2025-06-26 cs.CV cs.RO
Toward a Procedural Fruit Tree Rendering Framework for Image Analysis
LIRIS（里昂图像与信息系统实验室）；CNRS（法国国家科学研究中心）；Ecole Centrale de Lyon（里昂中央理工学院）
我们提出了一个基于Blender和Python脚本的程序化果树渲染框架，允许快速生成标记数据集（即包括地面实况语义分割）。它旨在训练图像分析深度学习方法（例如，在机器人水果收获环境中），其中真实标记的训练数据集通常很少，现有的合成数据集过于专业化。此外，该框架包括在模型中引入参数化变化（例如，闪电条件，背景）的可能性，从而产生具有嵌入式域随机化方面的数据集。
2019-07-10 cs.CV cs.RO
Grape detection, segmentation and tracking using deep neural networks and three-dimensional association
Embrapa Agricultural Informatics（巴西农业研究公司农业信息研究所）；University of Campinas（坎皮纳斯大学）
诸如产量预测、精准农业和自动收割等农业应用需要能够从低成本传感设备推断作物状态的系统。使用经济实惠的相机与计算机视觉相结合的近端感测已经看到了一种有前途的替代方案，在卷积神经网络（CNN）作为自然图像中具有挑战性的模式识别问题的替代方案出现后得到了加强。果园中单个果实的检测、分割和计数是水果生长监测和自动化的一个基本问题。在这里，我们表明，对于酿酒葡萄，一种在形状，颜色，大小和紧凑性方面表现出很大变化的作物，可以使用最先进的CNN成功地检测，分割和跟踪葡萄簇。在一个测试集包含408葡萄集群从图像上采取的基于网格系统的葡萄园，我们已经达到了F1分数高达0.91的实例分割，每个集群的精细分离，从图像中的其他结构，允许更准确的评估水果的大小和形状。我们还表明，集群可以识别和跟踪沿视频序列记录果园行。我们还提出了一个公共数据集，其中包含300幅图像中正确注释的葡萄簇，以及一种用于分割自然图像中复杂对象的新注释方法。所提出的用于图像中农业模式的注释、训练、评估和跟踪的管道可以复制用于不同的作物和生产系统。它可用于开发用于多种农业和环境应用的传感元件。
2020-02-07 cs.CV
Semantic Segmentation for Partially Occluded Apple Trees Based on Deep Learning
Monash University（莫纳什大学）
果树修剪和疏果需要一个功能强大的视觉系统，可以提供高分辨率的分割果树及其分支。然而，最近的作品只考虑休眠季节，有最小的闭塞的分支或拟合多项式曲线来重建分支形状，因此，失去了有关分支厚度的信息。在这项工作中，我们应用了两个最先进的监督学习模型U-Net和DeepLabv 3，以及一个条件生成对抗网络Pix 2 Pix（有和没有遮挡）来分割部分遮挡的2D开V苹果树。采用二分准确率、平均IoU、边界F1得分和阻塞分支召回率等指标对模型进行评价。DeepLabv 3在二进制精度，平均IoU和边界F1得分方面优于其他模型，但在阻塞分支召回方面被Pix 2 Pix（无阻塞）和U-Net超越。我们定义了两个难度指数来量化任务的难度：（1）阻塞难度指数和（2）深度难度指数。我们分析了最差的10个图像在两个难度指数的分支回忆和阻塞分支回忆。U-Net在当前指标中优于其他两个模型。另一方面，Pix 2 Pix（不带pix）提供了更多关于分支路径的信息，这些信息没有被指标反映出来。这突出了需要更具体的指标恢复闭塞的信息。此外，这表明图像传输网络对于遮挡背后的幻觉的有用性。未来的工作需要进一步增强模型，以从遮挡中恢复更多信息，以便该技术可以应用于商业环境中的农业任务自动化。
2020-10-14 cs.CV
Kiwifruit detection in challenging conditions
University of Auckland（奥克兰大学）
准确可靠的猕猴桃检测是开发选择性水果收获机器人的最大挑战之一。果园机器人的视觉系统面临着动态光照条件和果实遮挡等困难。本文提出了一种语义分割方法，两种新的图像预处理技术，旨在检测猕猴桃在恶劣的光照条件下发现的树冠。所提出的系统的性能进行评估的3D现实世界中的猕猴桃在不同的光照条件下（典型的，眩光，曝光过度）的图像集。单独的语义分割方法在典型的照明图像集上实现了0.82的F1_score，但是与0.13的F1_score的苛刻照明作斗争。利用预处理技术，视觉系统在强光下的F1分数提高到0.42。为了解决水果遮挡的挑战，发现整体方法能够在所有照明条件下检测87.0%的非遮挡猕猴桃和30.0%的遮挡猕猴桃。
2020-06-21 cs.CV cs.RO
TomatoScanner: phenotyping tomato fruit based on only RGB image
China Agricultural University（中国农业大学）
本文提出TomatoScanner，仅用RGB图像即可通过EdgeYOLO实例分割与Depth Pro深度估计融合实现番茄果实表型测量，并引入三个边缘增强模块，在自建数据集上显著提升测量精度。
2025-03-07 cs.CV
Comparing YOLOv8 and Mask R-CNN for instance segmentation in complex orchard environments
Center for Precision & Automated Agricultural Systems, Washington State University（华盛顿州立大学精准与自动化农业系统中心）
本研究在休眠季、生长季初期两个果园数据集上对比单阶段YOLOv8与两阶段Mask R-CNN的实例分割性能，发现YOLOv8的精确率、召回率更高且推理速度更快，更适用于实时果园自动化任务。
2025-10-02 cs.CV
AgRegNet: A Deep Regression Network for Flower and Fruit Density Estimation, Localization, and Counting in Orchards
Washington State University（华盛顿州立大学）
针对果园人工成本高的问题，提出基于深度回归的AgRegNet网络，依托点标注和注意力模块实现花果的密度估计、定位与计数，在苹果园数据集上精度优异，适用于疏密不同的花果场景，可助力产量估算和疏花管理。
2025-01-16 cs.AI cs.CV
Optimizing YOLO27, YOLO26, YOLO11, and YOLOv8 for Fine-Grained Small-Object Detection and Segmentation in Complex Orchard Environments
Cornell University（康奈尔大学）
该研究针对复杂果园中小目标检测与实例分割难题，对YOLOv8、YOLOv11、YOLOv26开展跨代基准测试，发现YOLOv11s-960精度最优、YOLOv26s-960效率与精度均衡，为农业机器人感知提供实用基准。
2026-09-21 cs.CV
Phenology-based learning framework for yield estimation and harvest forecasting of raspberry fruits
Toronto Metropolitan University（多伦多都会大学）；University College London（伦敦大学学院）
针对树莓产量预测和收获时间估计难题，本文开展物候学研究，构建数据集，开发综合基准，建立定制深度学习模型，能提前28至33天估计产量，提供可用数据集和可扩展框架，实现92.2%检测准确率。
2026-07-28 cs.CV cs.RO
Horticultural Temporal Fruit Monitoring via 3D Instance Segmentation and Re-Identification using Colored Point Clouds
University of Padua（帕多瓦大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
本文提出利用彩色点云进行3D水果实例分割与重识别的方法，通过学习模型和注意力匹配网络实现动态果园中水果的准确监测。
2026-04-08 cs.CV cs.RO
The RaspGrade Dataset: Towards Automatic Raspberry Ripeness Grading with Deep Learning
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Sant’Orsola（圣奥尔苏拉）
针对工业传送带上树莓五等级实时分级问题，本文构建并标注RaspGrade数据集，并通过实例分割实验验证果实级掩码可行性及等级分类难点。
2025-05-14 cs.CV
MinneApple: A Benchmark Dataset for Apple Detection and Segmentation
University of Minnesota（明尼苏达大学）
在这项工作中，我们提出了一个新的数据集，以推进水果检测，分割和果园环境中计数的最新技术。虽然最近人们对解决这些问题有很大的兴趣，但由于缺乏统一的数据集，很难对结果进行比较。我们希望通过提供在果园中获得的各种高分辨率图像以及树上果实的人类注释来进行直接比较。使用多边形掩模为每个对象实例标记水果，以帮助精确的目标检测、定位和分割。此外，我们提供了基于补丁的计数集群水果的数据。我们的数据集在1000张图片中包含超过41000个带注释的对象实例。我们提出了一个详细的概述数据集连同基线性能分析的限界框检测，分割，水果计数以及代表性的结果，产量估计。我们公开了这个数据集，并举办了一个CodaLab挑战赛，以鼓励在一个共同的数据集上比较结果。要下载数据并了解有关MinneApple的更多信息，请访问项目网站：http://rsn.cs.umn.edu/index.php/MinneApple。最新信息可在网上查阅。
2020-01-03 cs.CV
FoodMem: Near Real-time and Precise Food Video Segmentation
J.K. Institute of Science（J.K.科学学院）；World Scientific University（世界科学大学）；University of Intelligent Studies（智能研究大学）
FoodMem 提出结合 Transformer 分割与记忆跟踪的两阶段框架，实现视频中食品的近实时精确分割，并在多个数据集上以 58 倍速度提升分割精度 2.5%。
2025-02-10 cs.CV
Deep Learning on 3D Semantic Segmentation: A Detailed Review
National Technical University of Athens (NTUA)（雅典国立技术大学）；Université de Strasbourg（斯特拉斯堡大学）；INSA Strasbourg（斯特拉斯堡国立应用科学学院）；CNRS（法国国家科学研究中心）；ICube Laboratory（ICube实验室）
本文针对3DSS深度学习方法现有分类体系模糊的问题，基于9篇综述提出标准化分类体系，梳理室内外数据集、评估指标与损失函数，分类介绍各类方法并附代码仓库，还提供含400余种方法分类的GitHub仓库以推动领域发展。
2024-11-04 cs.CV
TomatoDIFF: On-plant Tomato Segmentation with Denoising Diffusion Models
University of Ljubljana（卢布尔雅那大学）
本文提出基于扩散模型的TomatoDIFF用于植株上番茄语义分割，在高度遮挡环境中达到SOTA性能，并发布了含高分辨率RGB-D图像与像素级标注的Tomatopia数据集。
2023-07-03 cs.CV
Multi-stream Cell Segmentation with Low-level Cues for Multi-modality Images
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
针对多模态显微镜图像的细胞分割挑战，提出基于低级特征自动分类图像并分别训练分割模型的多流方法，结合高效骨干模型，在NeurIPS 2022挑战赛调优集上达到0.8795的F1分数。
2023-10-22 cs.CV
Integrating YOLO11 and Convolution Block Attention Module for Multi-Season Segmentation of Tree Trunks and Branches in Commercial Apple Orchards
Washington State University（华盛顿州立大学）
本研究提出融合CBAM注意力模块与YOLO11的实例分割模型，在多季节苹果园数据集上训练验证，可提升全年不同季节下树干与树枝的分割精度。
2024-12-07 cs.CV
Benchmarking Unsupervised Object Representations for Video Sequences
University of Göttingen（哥廷根大学）；University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Campus Institute Data Science（校园数据科学研究所）；Max Planck Institute for Dynamics and Self-Organization（马克斯·普朗克动力学与自组织研究所）
以物体的形式感知世界并通过时间跟踪它们是推理和场景理解的关键先决条件。最近，已经提出了几种方法用于对象中心表示的无监督学习。然而，由于这些模型是在不同的下游任务中进行评估的，因此目前还不清楚它们在基本感知能力（如检测，图形-背景分割和跟踪对象）方面的比较情况。为了缩小这一差距，我们设计了一个基准测试，其中包含四个不同复杂度的数据集和七个额外的测试集，这些测试集具有与自然视频相关的具有挑战性的跟踪场景。使用这个基准测试，我们比较了四种以对象为中心的方法的感知能力：ViMON，MONet的视频扩展，基于经常性的空间注意力，OP 3，通过空间混合模型利用聚类，以及TBA和SCALOR，通过空间Transformers使用显式因子分解。我们的研究结果表明，与无约束的潜在表示的架构学习更强大的表示在目标检测，分割和跟踪方面比空间Transformer为基础的架构。我们还观察到，没有一种方法能够优雅地处理最具挑战性的跟踪场景，尽管它们的合成性质，这表明我们的基准可以提供富有成效的指导，学习更强大的以对象为中心的视频表示。
2021-06-29 cs.CV
FruitNeRF: A Unified Neural Radiance Field based Fruit Counting Framework
Friedrich-Alexander-Universität Erlangen-Nürnberg-Fürth（弗里德里希-亚历山大-埃尔兰根-纽伦堡-菲尔特大学）；Fraunhofer Institute for Integrated Circuits (IIS) - EZRT（弗劳恩霍夫集成电路研究所（IIS）- EZRT）；University of Bamberg（班贝格大学）
FruitNeRF是一个基于神经辐射场的统一水果计数框架，通过单目图像分割和3D点云聚类实现精确计数，避免重复计数，适用于多种水果类型。
2024-09-26 cs.CV
Fusing Color and Texture Cues to Categorize the Fruit Diseases from Images
世界范围内农业的经济和生产损失是由于几种水果中存在病害。本文提出了一种水果病害分类方法，并进行了实验验证。基于图像处理的方法主要包括以下几个步骤：第一步采用K均值聚类技术对缺陷进行分割，第二步从分割后的图像中提取颜色和纹理信息并进行融合，最后采用多类支持向量机对图像进行分类。我们已经考虑了苹果的疾病作为一个测试案例，并评估了我们的方法为三种类型的苹果疾病，即苹果黑星病，苹果斑点病和苹果腐烂病和正常的苹果没有疾病。实验结果表明，该融合方法能够有效地支持水果病害的准确检测和自动分类。
2014-12-23 cs.CV
Weakly and Semi-Supervised Detection, Segmentation and Tracking of Table Grapes with Limited and Noisy Data
Sapienza University of Rome（罗马第一大学）；Institut de Robotica i Informatica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息学研究所）
水果和蔬菜的检测、分割和跟踪是精准农业的三项基本任务，使机器人收获和产量估计应用成为可能。然而，现代算法是数据饥渴的，并且并不总是能够收集足够的数据来应用性能最佳的监督方法。由于数据汇集是一项昂贵而繁琐的任务，因此在农业中使用计算机视觉的技术往往是小企业无法企及的。在此背景下，我们提出了一个初始的弱监督解决方案，以减少在精准农业应用中获得最先进的检测和分割所需的数据，在此我们改进了该系统，并探索了跟踪果园中水果的问题。我们目前的情况下，在拉齐奥南部（意大利）的葡萄葡萄园的鲜食葡萄，因为葡萄是一个很难分割的水果，由于闭塞，颜色和一般的照明条件。我们考虑的情况下，有一些初始标记的数据，可以作为源数据（\eg酿酒葡萄数据），但它是相当不同的目标数据（例如鲜食葡萄数据）。为了提高目标数据的检测和分割，我们建议用弱限界框标签训练分割算法，而对于跟踪，我们利用3D运动恢复结构算法从已经标记的样本中生成新的标签。最后，这两个系统结合在一个完整的半监督的方法。与最先进的监督解决方案的比较表明，我们的方法是如何能够训练新的模型，实现高性能的标记图像很少，非常简单的标签。
2023-01-27 cs.CV
Tomato Multi-Angle Multi-Pose Dataset for Fine-Grained Phenotyping
Institute for Breeding Research on Horticultural Crops, Julius Kuehn-Institute（园艺作物育种研究所，朱利叶斯·克恩研究所）；Computer Graphics Group, Center for Sensor Systems (ZESS), University of Siegen（计算机图形组，传感器系统中心（ZESS），希尔德斯海姆大学）
TomatoMAP数据集通过物联网成像系统和细粒度标注，为番茄多角度多姿态表型分析提供支持，结合深度学习模型验证了自动表型分析的可靠性。
2025-07-15 cs.CV
Adapted Approach for Fruit Disease Identification using Images
GLA University（GLA大学）
水果病害在世界范围内给农业生产和经济损失造成了毁灭性的问题。本文提出了一种自适应的水果病害识别方法，并进行了实验验证。基于图像处理的方法包括以下主要步骤：第一步，利用K均值聚类技术对缺陷进行分割;第二步，从分割后的图像中提取一些最新的特征;最后，利用多类支持向量机对图像进行分类。我们已经考虑了苹果的疾病作为一个测试案例，并评估了我们的方法为三种类型的苹果疾病，即苹果黑星病，苹果斑点病和苹果腐烂。实验结果表明，该方法能够有效地支持水果病害的准确检测和自动识别。所提出的解决方案的分类精度达到93%。
2014-08-04 cs.CV
Robust Fruit Counting: Combining Deep Learning, Tracking, and Structure from Motion
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种新的水果计数流水线，它结合了深度分割，帧到帧跟踪和3D定位，以准确地计数图像序列中的可见水果。我们的流水线处理来自单目相机的图像流，无论是在自然光下还是在夜间控制照明。我们首先训练一个全卷积网络（FCN）和分割视频帧图像到水果和非水果像素。然后，我们跟踪水果跨帧使用匈牙利算法的目标成本是从卡尔曼滤波器校正的Kanade-Lucas-Tomasi（KLT）跟踪器确定。为了校正来自跟踪过程的估计计数，我们将跟踪结果与运动恢复结构（SfM）算法相结合，以计算相对3D位置和大小估计，从而拒绝离群值和双重计数的水果轨迹。我们通过与地面实况人类注释的视觉计数进行比较来评估我们的算法。我们的结果表明，我们的流水线能够准确和可靠地计算图像序列中的水果，校正步骤可以显着提高计数精度和鲁棒性。虽然在水果计数的背景下讨论，我们的工作可以扩展到检测，跟踪和计数的各种其他固定功能的利益，如叶斑，枯萎，开花。
2018-08-02 cs.CV
Automated Defect Detection and Grading of Piarom Dates Using Deep Learning
Qazvin Islamic Azad University（卡兹文伊斯兰 Azad 大学）
针对 Piarom 椰枣缺陷复杂、人工检测低效的问题，提出融合目标检测、CNN 与分割技术的深度学习框架，实现实时缺陷识别、面积重量估算和产业分级。
2024-10-23 cs.CV cs.LG
InvNeRF-Seg: Fine-Tuning a Pre-Trained NeRF for 3D Object Segmentation
Research Institute, Chinese Academy of Agricultural Sciences（中国农业科学院科研院所）
本文提出 InvNeRFSeg，通过在 RGB 图像上预训练 NeRF 后用二维分割掩码进行零改动微调，在不改变模型架构和损失函数的情况下，实现高质量三维物体分割，并在合成水果和真实大豆数据集上优于 SA3D 和 FruitNeRF。
2025-04-08 cs.CV
Efficient Fruit Defect Detection and Glare removal Algorithm by anisotropic diffusion and 2D Gabor filter
本文主要研究了基于形态学的水果缺陷检测和眩光去除，眩光去除是一个重要的预处理步骤，因为不均匀的光照会引入图像中，影响Gabor滤波器分割的结果，眩光问题有时会非常突出，这是由于摄像机传感器的异常反射或杂散光的进入，该方法抵消了这个问题，并且使得缺陷检测更加明显。各向异性扩散用于进一步平滑图像并去除图像中的高能量区域，以更好地检测缺陷并使缺陷更可检索。我们的算法是鲁棒性和可扩展性的一个特定的眩光去除掩模的可利用性已被检查，并证明是有用的抵消。这个问题，各向异性扩散进一步提高了缺陷与它的使用进一步优化Gabor滤波器在各种方向用于缺陷检测。
2012-04-04 cs.CV
Deep Learning approach for Classifying Trusses and Runners of Strawberries
Nottingham Trent University（诺丁汉特伦特大学）
人工智能在农业领域的使用一直在快速增长，以实现农业活动的自动化。新兴农业技术侧重于植物、水果、疾病和土壤类型的测绘和分类。虽然使用深度学习算法的辅助收获和修剪应用处于早期开发阶段，但需要解决方案来自动化这些过程。本文提出了使用深度学习，通过语义分割和数据集增强对草莓植物的桁架和滑道进行分类。所提出的方法是基于使用噪声（即高斯，斑点，泊松和盐和胡椒），以人为地增加数据集和补偿的数据样本的数量少，提高整体分类性能。使用精确率、召回率和F1得分的平均值来评价结果。所提出的方法分别实现了91%，95%和92%的精度，召回率和F1得分，桁架检测使用ResNet 101与数据集增强利用盐和胡椒噪声;和83%，53%和65%的精度，召回率和F1得分，桁架检测使用ResNet 50与数据集增强利用泊松噪声。
2022-07-21 cs.AI cs.CV
Predicting Fruit Quality with a Hybrid Machine Learning and Image Processing Approach
提出图像处理与CNN结合的方法，通过逻辑回归融合两者结果，实现水果新鲜度实时评估，准确率超90%。
2026-06-26 cs.CV
Carton dataset synthesis method for domain shift based on foreground texture decoupling and replacement
Huazhong University of Science and Technology（华中科技大学）
在工业应用中快速部署目标检测模型的一个主要障碍是缺乏大型注释数据集。我们目前已经提出了Sacked Carton Dataset（SCD），其中包含来自三个场景的纸箱图像，例如综合医药物流公司（CPLC），电子商务物流公司（ECLC），水果市场（FM）。然而，由于域转移，SCD中的三个场景之一训练的模型在应用于其余场景时具有较差的泛化能力。为了解决这个问题，提出了一种新的图像合成方法，用目标数据集的纹理代替源数据集的前景纹理。我们的方法可以保持前景对象和背景的上下文关系不变，大大增加了目标数据集。我们首先提出一个表面分割算法，以实现纹理解耦的每个实例。其次，提出了一种保持实例遮挡和截断关系不变的轮廓重建算法。最后，利用高斯融合算法将源数据集的前景纹理替换为目标数据集的纹理。对于目标域，新的图像合成方法可以在RetinaNet上将AP提高至少4.3%~6.5%，在Faster R-CNN上提高3.4%~6.8%。代码可在https://github.com/hustgetlijun/RCAN上获得。
2021-04-26 cs.CV
Deep Mangoes: from fruit detection to cultivar identification in colour images of mango trees
CIRAD（法国农业发展研究中心）；Univ Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）；INRA（法国国家农业食品与环境研究院）；IRD（法国发展研究院）；Centre pour le Développement de l’Horticulture（园艺发展中心）；ISRA（塞内加尔农业研究院）
本文介绍了从树木彩色图像中检测和识别芒果果实的结果。我们评估了Faster R-CNN网络的行为和性能，以确定它是否足够强大，能够在植物品种、种植计划和视觉信息获取背景等特别异质的条件下对水果进行“检测和分类”。该网络经过训练，可以从3，000个有代表性的标签水果注释中区分“Kent”、“Keitt”和“Boucodiekhal”芒果品种。然后测试由大约7，000个注释组成的验证集，置信度阈值为0.7，非最大抑制阈值为0.25。F1得分为0.90，Faster R-CNN非常适合500 x500像素的简单水果检测。然后，我们将多块方法与Jaccard矩阵相结合，以合并多次检测到的对象的不同部分，从而将在块规模下进行的检测报告给原生6，000 × 4，000像素大小的图像。尽管如此，F1得分为0.56，品种识别Faster R-CNN网络在同时检测芒果果实和识别其各自品种方面存在一些限制。尽管在水果检测中被证明是错误的，但检测到的芒果水果的品种识别率在80%左右。理想的解决方案可以结合用于树木图像预分割的Mask R-CNN和用于检测芒果果实并识别其各自品种的双流Faster R-CNN，以提供与用户期望更相关的预测。
2019-09-24 cs.CV eess.IV eess.SP
Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；JD.com Inc.（京东集团）；JD Explore Academy（京东探索研究院）
多模态融合和多任务学习是机器学习中的两个重要课题。尽管取得了富有成效的进展，但针对这两个问题的现有方法仍然容易受到同样的挑战-任务），同时保留每种模态的特定模式（分别为任务）。此外，虽然它们实际上是密切相关的，多模态融合和多任务学习很少在同一方法框架内探索。在本文中，我们提出了自适应，无参数，更重要的是，适用于多模态和多任务密集图像预测的交换网络（CEN）。在其核心，CEN自适应地交换不同模态的子网之间的信道。具体地，信道交换过程是通过训练期间由批归一化（BN）缩放因子的大小测量的个体信道重要性来自我引导的。对于密集图像预测的应用，通过四种不同的场景测试CEN的有效性：多模态融合，循环多模态融合，多任务学习，多模式多任务学习。通过RGB-D数据进行语义分割和通过多域输入进行图像翻译的大量实验验证了CEN与最先进方法相比的有效性。详细的消融研究也已进行，这表明我们提出的每个组件的优点。我们的代码可在https://github.com/yikaiw/CEN上获得。
2022-10-04 cs.CV
AI on the Bog: Monitoring and Evaluating Cranberry Crop Risk
Rutgers University（罗格斯大学）；Siemens Corporate Technology（西门子企业技术公司）
近年来，机器视觉在精准农业中的应用引起了广泛的研究兴趣。本文的目标是开发一个端到端的蔓越莓健康监测系统，以实现和支持实时的蔓越莓过热评估，以促进明智的决策，可能会维持农场的经济可行性。为了实现这一目标，我们提出了两个主要的基于深度学习的模块：1）蔓越莓果实分割，以描绘蔓越莓田地图像中暴露于阳光下的确切果实区域，2）预测云层覆盖条件和太阳辐照度，以估计暴露的蔓越莓的内部温度。我们开发了基于无人机的田间数据和基于地面的天空数据汇集系统，以收集多个时间点的视频图像，用于作物健康分析。对数据集的广泛评估表明，它是可能的，以高精度（0.02%MAPE）预测暴露的水果的内部温度。在5-20分钟的时间范围内，太阳辐照度的预测误差为8.41- 20.36%MAPE。该系统具有62.54%的分割mIoU和13.46 MAE的暴露水果识别计数准确度，能够为种植者提供知情的反馈，以便在不久的将来在具有较高晒伤风险的作物田间区域采取预防措施（例如灌溉）。虽然这种新型系统被应用于蔓越莓健康监测，但它代表了高效农业的开拓性一步，并且在蔓越莓过热问题之外的精准农业中非常有用。
2020-11-08 cs.AI cs.CV
AerialYield-B2D: A Greenhouse Blueberry Dataset with Five-Stage Ripeness Masks and Fruit Counts
该研究推出AerialYield-B2D温室蓝莓数据集，含五成熟阶段掩码与30195个标注果实，可用于蓝莓成熟度分割、果实计数及类别不平衡分析。
2026-08-19 cs.CV eess.IV
Fruit Fly Classification (Diptera: Tephritidae) in Images, Applying Transfer Learning
Universidad Nacional de San Antonio Abad del Cusco（圣安东尼奥阿巴德德尔库斯科国立大学）
本研究开发迁移学习模型用于实验室环境下的两种果蝇自动分类，通过图像分割与预处理训练VGG16、VGG19和Inception-v3模型，发现Inception-v3的F1分数达93%且在非受控环境中表现可靠，是自动化监测的潜在有效方案。
2025-02-02 cs.AI cs.CV
Unsupervised foreign object detection based on dual-energy absorptiometry in the food industry
Centrum Wiskunde & Informatica（数学与计算机科学中心）；Faculteit Wiskunde en Informatica, Technical University Eindhoven（埃因霍温理工大学数学与计算机科学学院）；Mathematical Institute, Utrecht University（乌得勒支大学数学研究所）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
针对食品在线X射线检测，本文提出基于DEXA的无监督异物检测方法，并用新型厚度校正模型增强异物对比度，在488个肉制品样本上达到95%总体准确率。
2021-04-12 cs.CV eess.IV
Large-Scale Electron Microscopy Image Segmentation in Spark
新兴的连接组学领域旨在通过理解神经元之间的连接来解开大脑的奥秘。为了绘制这种连通性，我们获得了数千张具有纳米级分辨率的电子显微镜（EM）图像。在对齐这些图像之后，所得到的数据集有可能揭示神经元的形状以及它们之间的突触连接。然而，即使是像果蝇这样的微小生物的大脑成像也会产生TB级的数据。检查这样的图像体积并追踪它们的神经元连接可能需要数年的人工努力。一种解决方案是应用图像分割算法来帮助自动化跟踪任务。在本文中，我们提出了一种新的策略，将这种分割应用于超过单个机器容量的非常大的数据集。我们的解决方案对潜在的分割错误具有鲁棒性，否则可能会严重损害整体分割的质量，例如由于分类器泛化能力差或图像数据集中的异常而导致的分割错误。我们在Spark应用程序中实现了我们的算法，最大限度地减少了磁盘I/O，并将它们应用于一些大型EM数据集，揭示了它们的有效性和可扩展性。我们希望这项工作将鼓励外部对EM分割的贡献，提供1）一个灵活的插件架构，可以轻松地部署在不同的集群环境中，2）一个内存中的分割表示，这可能有助于新的进步。
2016-04-01 cs.CV q-bio.QM
Apple scab detection in orchards using deep learning on colour and multispectral images
Mendel University in Brno（布尔诺孟德尔大学）；Wageningen University & Research（瓦赫宁根大学及研究中心）
苹果黑星病是由苹果黑星病菌引起的一种真菌性病害。疾病是种植者特别关注的问题，因为它对水果和叶子造成严重损害，导致水果和产量损失。本文研究了深度学习和高光谱成像准确识别苹果树中苹果症状感染的能力。在受感染的果园中，使用传统的RGB和可见光到近红外（VIS-NIR）光谱成像（8通道）总共收集了168个图像场景。光谱数据预处理与人工神经网络（ANN）训练分割检测结痂像素的光谱信息的基础上。线性判别分析（LDA）被用来找到最具鉴别力的通道的光谱数据的基础上健康的叶片和疮痂病叶光谱。从光谱数据和分割净结果中创建了五种假彩色图像组合。这些图像使用修改后的YOLOv 5网络进行训练和评估。尽管使用RGB图像的深度学习的结果很有希望（P=0.8，mAP@50=0.73），但使用多光谱成像检测苹果树中的苹果黑星病被证明是一项艰巨的任务。开阔场地的强光环境使得难以从多光谱相机收集平衡的光谱，因为红外通道和可见光通道需要不断平衡，以便它们不会在图像中过度曝光。
2023-02-17 cs.CV
Explicitly incorporating spatial information to recurrent networks for agriculture
University of Bonn（波恩大学）
在农业中，大多数视觉系统执行静态图像分类。然而，最近的工作突出了空间和时间线索作为丰富的信息源，以提高分类性能的潜力。在本文中，我们提出了新的方法来显式地捕获空间和时间信息，以改善深度卷积神经网络的分类。我们利用可用的RGB-D图像和机器人里程计来执行帧间特征图空间配准。然后将这些信息融合到循环的深度学习模型中，以提高其准确性和鲁棒性。我们证明，这可以大大提高分类性能，我们最好的时空模型（ST-Atte）实现了交叉联合（IoU[%]）的绝对性能改进，作物杂草分割为4.7，水果（甜椒）分割为2.6。此外，我们表明，这些方法是强大的可变帧速率和里程误差，这是经常观察到在现实世界中的应用。
2022-06-27 cs.CV cs.LG cs.RO
3D shape sensing and deep learning-based segmentation of strawberries
Lincoln Centre for Autonomous Systems（林肯自主系统中心）；University of Lincoln（林肯大学）
农业部门的自动化和机器人化被视为解决该行业面临的社会经济挑战的可行方案。这项技术通常依赖于智能感知系统，提供有关作物、植物和整个环境的信息。传统的2D视觉系统所面临的挑战可以通过现代的3D视觉系统来解决，这些系统能够直接定位物体、估计尺寸和形状或处理遮挡。到目前为止，3D传感的使用主要限于室内或结构化环境。在本文中，我们评估现代传感技术，包括立体和飞行时间相机的形状在农业中的3D感知和研究其可用性分割出软水果从背景的基础上，他们的形状。为此，我们提出了一种新的3D深度神经网络，它利用了来自基于相机的3D传感器的信息的组织性质。我们证明了优越的性能和效率的建议架构相比，最先进的3D网络。通过模拟研究，我们还展示了3D传感范式在农业中用于对象分割的潜力，并提供了对作物进一步分析所需和预期的形状质量的见解和分析。这项工作的结果应该鼓励研究人员和公司开发更准确和更强大的3D传感技术，以确保其在实际农业应用中的广泛采用。
2021-11-26 cs.CV cs.LG cs.RO
Design of an Intelligent Vision Algorithm for Recognition and Classification of Apples in an Orchard Scene
Urmia University（乌尔米耶大学）
苹果是一种营养价值和药用价值都很高的鲜食水果。季节性农场工人手工收获苹果增加了这些水果表面的物理损伤，这导致了销售质量的巨大损失。本研究的主要目的是设计一个强大的视觉算法的机器人苹果收获机。该算法能够识别和分类4类对象中发现的果园场景，包括苹果，树叶，树干和树枝，天空到两个苹果和非苹果类。从伊朗西阿塞拜疆18个苹果园的1000张捕获的苹果图像中选择了100张红色美味苹果的数字图像和100张金色美味苹果的数字图像。提出了一种图像处理算法，根据图像类的颜色特征，对图像类进行分割和提取。选择不变矩作为从分割类（例如苹果）中提取的特征。多层前馈神经网络，MFNN，被用作一种人工智能工具，用于识别和分类的图像类别。
2021-10-07 cs.CV
BenchSeg: A Large-Scale Dataset and Benchmark for Multi-View Food Video Segmentation
Department of Engineering, Pompeu Fabra University（工程系，庞培法布拉大学）；Photogrammetry and Remote Sensing, Technical University of Munich（摄影测量与遥感，慕尼黑技术大学）
BenchSeg通过多视角食物视频分割数据集和基准，改进了食物分割和跟踪的性能，提升了饮食分析的准确性。
2026-01-18 cs.CV
An Image Labeling Tool and Agricultural Dataset for Deep Learning
我们介绍了一个标签工具和数据集，旨在促进农业领域的计算机视觉研究。注释工具引入了使用各种手动、半自动和全自动工具进行标记的新方法。该数据集包括从商业温室收集的原始图像，PlantVillage的图像和Google Images的图像。用前景叶、果实和茎实例以及患病叶面积的分割来注释图像。标签采用扩展的COCO格式。数据集总共包含10k个番茄、7k个叶子、2k个茎和2k个患病叶子注释。
2020-04-06 cs.CV eess.IV
Generative Adversarial Networks for Image Augmentation in Agriculture: A Systematic Review
Mississippi State University（密西西比州立大学）；Michigan State University（密歇根州立大学）；United States Department of Agriculture, Agricultural Research Service（美国农业部农业研究局）
在农业图像分析中，为了更好地完成视觉识别任务（例如，图像分类、分割、目标检测和定位）。然而，大规模、平衡和地面真实的图像数据集往往难以获得，难以推动先进、高性能模型的开发。由于深度学习的人工智能正在影响农业图像的分析和建模，因此数据增强在提高模型性能方面发挥着至关重要的作用，同时通过算法扩展训练数据集来减少数据准备的手动工作。除了传统的数据增强技术，生成对抗网络（GAN）于2014年在计算机视觉社区发明，提供了一套新的方法，可以学习良好的数据表示并生成高度真实的样本。自2017年以来，对用于农业图像增强或合成的GANs的研究有所增长，以提高模型性能。本文概述了GAN架构的演变，然后对其在农业中的应用进行了系统的回顾（https：//github.com/Derekabc/GANs-Agriculture），涉及植物健康，杂草，水果，水产养殖，动物养殖，植物表型以及水果缺陷的采后检测的各种视觉任务。讨论了GANs的挑战和机遇，为未来的研究。
2022-04-12 cs.CV eess.IV
Surface Networks via General Covers
Weizmann Institute of Science（魏茨曼科学研究所）
开发几何数据的深度学习技术是一个活跃且富有成果的研究领域。本文通过开发一种新的表面到图像表示来解决球形表面学习的问题。使用这种表示，我们能够快速地使成功的CNN模型适应表面设置。表面图像表示基于从图像域到表面的覆盖映射。也就是说，贴图会多次环绕曲面，以确保曲面的每个部分都能在图像中得到很好的表示。与以前的表面到图像表示不同，我们在单个图像中提供了所有表面部分的低失真覆盖。具体来说，对于学习球形信号的用例，我们的表示为深度学习中使用的几种流行的球形参数化提供了一种低失真的替代方案。我们已经使用表面到图像表示将标准CNN架构应用于3D模型以及球形信号。我们表明，我们的方法实现了最先进的形状检索，形状分类和语义形状分割的任务或可比的结果。
2019-08-18 cs.CV
