Detecting Reflections by Combining Semantic and Instance Segmentation
Umbo Computer Vision（Umbo计算机视觉公司）
自然图像中的反射通常会导致自动检测系统中的误报。这些假阳性可能导致检测、计数和分割任务的准确性显著受损。在这里，受最近的全景分割方法的启发，我们展示了融合实例和语义分割如何自动识别反射误报，而无需明确标记反射区域。我们详细探讨了最先进的两阶段检测器如何遭受更广泛的背景特征的损失，因此无法学会忽略这些反射。然后，我们提出了一种方法来融合实例和语义分割，为这个应用程序，并随后显示如何减少误报检测在现实世界中的监控数据与大量的反射表面。这证明了全景分割和相关工作尽管处于起步阶段，但在现实世界的计算机视觉问题中已经很有用。
2019-04-30 cs.CV
Instance Segmentation of Microscopic Foraminifera
UiT The Arctic University of Norway（挪威北极大学）
有孔虫是单细胞海洋生物，它们建造的贝壳作为化石保留在海洋沉积物中。对这些化石进行分类和计数在古海洋学和古气候学研究等方面具有重要意义。然而，自19世纪以来，识别和计数过程一直是手工进行的，既费力又耗时。在这项工作中，我们提出了一个基于深度学习的实例分割模型，用于分类，检测和分割显微有孔虫。我们的模型基于Mask R-CNN架构，使用在COCO检测数据集上学习的模型权重参数。我们使用微调的方法来适应一个新的目标检测数据集的7000多个微观有孔虫和沉积物颗粒的参数。该模型在分类和检测任务上实现了$0.78 \pm 0.00$的（COCO风格）平均精度，在分割任务上实现了$0.80 \pm 0.00$的平均精度。当在不挑战沉积物颗粒图像的情况下评估模型时，两个任务的平均精度分别增加到$0.84 \pm 0.00$和$0.86 \pm 0.00$。对预测结果进行了定性和定量分析，并进行了讨论。根据我们的研究结果，我们提出了未来工作的几个方向，并得出结论，我们提出的模型是自动识别和计数的微观有孔虫的重要一步。
2021-05-15 cs.CV cs.LG
Centroid-UNet: Detecting Centroids in Aerial Images
Geoinformatics Center, Asian Institute of Technology（亚洲理工学院地理信息学中心）
在航空/卫星图像分析（遥感）的许多应用中，生成物体的精确形状是一项繁琐的任务。在大多数遥感应用中，例如计数对象，只需要对象的位置估计。因此，在航空/卫星图像中定位物体质心是一种简单的解决方案，用于不需要物体精确形状的任务。因此，本研究的重点是评估使用深度神经网络定位卫星图像中的物体质心的可行性。我们的模型名称是Centroid-UNet。Centroid-UNet模型基于经典的U-Net语义分割架构。我们修改和适应的U-Net语义分割架构到一个质心检测模型，保留了原始模型的简单性。此外，我们已经测试和评估我们的模型与两个案例研究，涉及航空/卫星图像。这两个案例研究分别是建筑物重心检测案例研究和椰子树重心检测案例研究。与其他方法相比，我们的评估结果达到了很好的准确性，也提供了简单。根据本研究开发的代码和模型也可在Centroid-UNet GitHub存储库中获得：https://github.com/gicait/centroid-unet
2021-12-13 cs.AI cs.CV cs.LG
Automatic Quantification and Visualization of Street Trees
Centre For Visual Information Technology (CVIT)（视觉信息技术中心（CVIT））；International Institute of Information Technology - Hyderabad (IIIT-H)（海得拉巴国际信息技术学院（IIIT-H））
评估街道树木的数量对于评估城市绿化至关重要，可以帮助市政当局采用解决方案来确定树木匮乏的街道。它还可以帮助确定随着时间的推移不同程度的森林砍伐和植树造林的道路。然而，在街道树木量化方面的工作很少。这项工作首先解释了一个数据汇集设置精心设计的计数路边树木。然后，我们描述了一个独特的注释程序，旨在稳健地检测和量化树木。我们工作的数据集约1300印度道路场景注释超过2500棵行道树。我们还使用了五个覆盖25公里道路的视频来计算树木。最后，我们提出了一个行道树检测，计数和可视化框架，使用当前的对象检测器和一个新颖而简单的计数算法，由于周到的收集设置。我们发现，基于路线上树木密度和核密度排名（KDR）的高级可视化提供了一种快速，准确和廉价的方式来识别树木匮乏的街道。我们在测试图像上获得了83.74%的树检测mAP，比我们的基线提高了2.73%。我们提出了树数密度分类精度（TCDCA）作为衡量树木密度的评价指标。我们在测试视频上获得了96.77%的TCDCA，比基线提高了22.58%，表明我们的计数模块的性能接近人类水平。源代码：https://github.com/iHubData-Mobility/public-tree-counting。
2022-01-17 cs.CV
DQ-DETR: DETR with Dynamic Query for Tiny Object Detection
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Taiwan University（国立台湾大学）
针对类DETR方法在微小目标检测中存在的查询位置不匹配、查询数量固定不适配航空数据集的问题，提出含分类计数、计数引导特征增强和动态查询选择的DQ-DETR，在AI-TOD-V2数据集上取得30.2%的最优mAP。
2024-11-01 cs.CV
Semi-Supervised Object Detection for Sorghum Panicles in UAV Imagery
Purdue University（普渡大学）
本文提出一种基于半监督学习的高粱圆锥花序检测方法，仅需10%原始训练数据即可达到与监督方法相似的性能，有效解决了数据标注耗时的问题。
2023-05-16 cs.CV
Detecting and counting tiny faces
ENS Paris-Saclay（巴黎萨克雷高等师范学院）
Finding Tiny Faces（Hu和Ramanan）提出了一种在图像中找到小物体的新方法。我们的贡献在于深刻理解的选择的文件，以及应用和扩展类似的方法，以一个现实世界的主题，这是计数的人在一个公共示威。
2018-01-24 cs.CV stat.ML
A Nasal Cytology Dataset for Object Detection and Deep Learning
University of Bari（巴里大学）；University Hospital of Foggia（福贾大学医院）；University of Turin（都灵大学）；University of Pisa（比萨大学）
本文提出首个鼻细胞学图像数据集NCD，用于训练目标检测模型辅助诊断鼻炎和过敏，并验证DETR和YOLO模型在细胞检测与分类上的良好性能，以加速专家工作。
2024-04-21 cs.AI cs.CV
Recurrent Instance Segmentation
University of Oxford（牛津大学）
实例分割是检测和描绘图像中出现的每个不同的感兴趣对象的问题。当前的实例分割方法由彼此独立训练的模块集合组成，因此错过了联合学习的机会。在这里，我们提出了一个新的实例分割范例，包括在一个端到端的方法，学习如何分段实例顺序。该模型基于一个递归神经网络，该网络一次一个地顺序查找对象及其分割。这个网络提供了一个空间存储器，可以跟踪已经解释的像素，并允许遮挡处理。为了训练模型，我们设计了一个原则性的损失函数，准确地表示实例分割问题的属性。在进行的实验中，我们发现我们的方法在多人分割方面优于最近的方法，并且在植物表型数据集上进行叶子计数的所有最先进的方法。
2016-10-24 cs.AI cs.CV
Detecting Cattle and Elk in the Wild from Space
Microsoft（微软）；Smithsonian Conservation Biology Institute（史密森尼保护生物学研究所）
在高分辨率卫星图像中定位和计算大型有蹄类动物-牛和麋鹿等有蹄哺乳动物-是支持生态研究的一项重要任务。先前的工作已经表明，这对于基于深度学习的方法和亚米级多光谱卫星图像是可行的。我们通过提出一种基线方法CowNet来扩展这一工作，该方法同时估计图像中动物的数量（计数），并在像素级别上预测它们的位置（本地化）。我们还提出了一种方法来评估这种模型的计数和本地化任务在大场景中，考虑到噪声标签的不确定性和利益相关者在生态监测任务所需的信息。最后，我们用最先进的视觉方法对我们的基线方法进行基准测试，以计算场景中的对象。我们专门测试的时间概括所产生的模型在一个大的景观点雷耶斯海滨，加利福尼亚州。我们发现，LC-FCN模型表现最好，并达到了0.56和0.61之间的平均精度和0.78和0.92之间的平均召回超过三个举行了测试场景。
2021-06-29 cs.CV cs.LG
Combining YOLO and Visual Rhythm for Vehicle Counting
University of São Paulo - USP（圣保罗大学）；Institute of Mathematics and Statistics（数学与统计学院）
本文提出结合 YOLO 与 Visual Rhythm 的车辆计数方法，通过关键帧检测替代逐帧检测与跟踪，在真实视频上达到约 99.15% 的平均计数准确率，速度提升三倍。
2025-01-08 cs.CV cs.LG
Dense Crowds Detection and Surveillance with Drones using Density Maps
Cátedras CONACYT（墨西哥国家科学技术委员会讲席项目）
从移动的无人机中检测和计数人群中的人提出了具有挑战性的问题，这些问题来自图像视角和摄像机角度的不断变化。在本文中，我们测试了两种不同的最先进的方法，使用贝叶斯损失函数训练的VGG 19生成密度图和使用ResNet 50-FPN作为骨干的FasterRCNN检测然后计数，以比较它们在无人机飞行的不同真实场景中计数和检测人的精度。我们证明了这两种方法在无人机接近地面时，在稀疏人群中检测和计数人的效果特别好。尽管如此，VGG 19在这两项任务上都提供了更好的精度，同时也比FasterRCNN更轻。此外，VGG 19在处理密集人群时优于Faster RCNN，证明对规模变化和强遮挡更鲁棒，更适合使用无人机的监视应用
2020-03-03 cs.CV cs.NE
Drone-based Object Counting by Spatially Regularized Regional Proposal Network
National Taiwan University（国立台湾大学）；GE Global Research（通用电气全球研究院）
现有的计数方法通常采用基于回归的方法，并且不能精确地定位目标对象，这阻碍了进一步的分析（例如，高级理解和细粒度分类）。此外，大多数先前的工作主要集中在静态环境中的固定摄像机的对象计数。受无人驾驶飞行器出现的推动（即，无人机），我们对在这种动态环境中检测和计数物体感兴趣。我们提出了布局建议网络（LPN）和空间内核，以同时计数和定位目标对象（例如，汽车）在无人机记录的视频中。与传统的区域建议方法不同，我们利用空间布局信息（例如，汽车经常有规律地停放），并将这些空间正则化的约束引入到我们的网络中，以提高定位精度。为了评估我们的计数方法，我们提出了一个新的大规模停车场数据集（CARPK），其中包含从不同停车场捕获的近90，000辆汽车。据我们所知，它是第一个也是最大的无人机视图数据集，支持对象计数，并提供限界框注释。
2017-08-03 cs.CV
DeGPR: Deep Guided Posterior Regularization for Multi-Class Cell Detection and Counting
IIT Delhi（德里印度理工学院）；IISc, Bangalore（班加罗尔印度科学学院）；AIIMS, New Delhi（新德里全印医学科学学院）
针对医学图像多类细胞检测与计数的数据有限及类别不平衡等挑战，提出与模型无关的深度引导后验正则化（DeGPR）方法，通过引导目标检测器利用细胞间判别性特征，在三个数据集上持续提升基线性能，获得高达9%的mAP增益。
2023-04-03 cs.CV
Automatic detection and counting of retina cell nuclei using deep learning
University of Tennessee Health Science Center（田纳西大学健康科学中心）
自动检测、分类、计算视网膜细胞和其他生物对象的大小、数量和等级的能力在年龄相关性黄斑变性（AMD）等眼病中至关重要。在本文中，我们开发了一种基于深度学习技术和Mask R-CNN模型的自动化工具，用于分析透射电子显微镜（TEM）图像的大数据集，并以高速度和精度量化视网膜细胞。我们认为外核层（ONL）细胞分为三类：活细胞、中间细胞和固缩细胞。我们使用24个样本的数据集训练模型。然后，我们使用另一组6个样本优化超参数。在应用于测试数据集后，这项研究的结果表明，我们的方法对于自动检测、分类和计数视网膜ONL中的细胞核是高度准确的。我们的模型的性能使用一般指标进行了测试：检测的一般平均精度（mAP）;以及分类和计数的精度，召回率，F1分数和准确性。
2020-02-10 cs.CV
SVCBench: A Streaming Video Counting Benchmark for Spatial-Temporal State Maintenance
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
SVCBench通过流式多点查询观察状态维护轨迹，设计了三个互补指标来诊断数值精度、轨迹一致性及时间意识，评估主流视频语言模型在空间-时间状态维护上的不足，尤其在周期性事件计数上表现不佳。
2026-06-29 cs.CV
Detecting Repeating Objects using Patch Correlation Analysis
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
在本文中，我们描述了一种新的方法来检测和计数重复的目标在图像中。虽然该方法依赖于相当复杂的可变形零件模型，但与现有技术不同的是，它以无监督的方式估计模型参数，从而减轻了对用户注释的训练数据的需要，并避免了相关的特异性。该自动拟合过程通过利用与重复对象相关联的小图像块的重现并分析它们的空间相关性来进行。分析使我们能够拒绝离群补丁，恢复零件模型的视觉和形状参数，并有效地检测对象实例。为了实现一个实用的系统，这是能够应付不同的图像，我们描述了一个简单而直观的主动学习过程，通过查询用户很少仔细选择的边缘分类更新的对象分类。新方法与最先进技术的对比评价表明，其能够通过更好的用户体验实现更高的准确度。
2019-04-11 cs.CV
LDC-Net: A Unified Framework for Localization, Detection and Counting in Dense Crowds
Northwestern Polytechnical University（西北工业大学）
视觉人群分析的快速发展显示了通过定位甚至检测来计算人数的趋势，而不是简单地对密度图求和。这也启发我们回到该领域的本质，检测到计数，这可以给更丰富的人群信息，并有更多的实际应用。然而，近年来的人群定位和检测研究存在两个局限性：1）传统的检测方法不能处理密集人群和大规模变化的情况; 2）密度图探试法在位置和盒子预测方面存在不足，特别是在高密度或大规模人群中。本文从一个新的角度设计了一个适合密集人群定位、检测和计数的基线，为了方便起见，我们将其命名为LDC-Net，它具有以下特点：1）一个强大但最小的范式，只通过预测位置图和大小图来检测对象，这赋予了在任何容量的场景中检测的能力（$0 \sim 10,000+$人）; 2）在面对大的变化时具有出色的跨尺度能力，例如以$0 \sim 100,000+$像素为单位的头部范围; 3）在位置和框预测任务中实现优异的性能，以及与基于密度的方法相比具有竞争力的计数性能。最后，将发布源代码和预训练模型。
2021-10-10 cs.CV
MAg: a simple learning-based patient-level aggregation method for detecting microsatellite instability from whole-slide images
Nanjing University（南京大学）；Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
微卫星不稳定性（MSI）和微卫星稳定性（MSS）的预测对预测胃肠道肿瘤的治疗反应和预后至关重要。在临床实践中，建议进行通用MSI测试，但这种测试的可及性有限。因此，需要一种更具成本效益和广泛可及的工具来覆盖传统上未经测试的患者。在过去的几年中，已经提出了基于深度学习的算法来直接从苏木精和伊红（H&E）染色的全载玻片图像（WSIs）预测MSI。这种算法可以概括为（1）斑块级MSI/MSS预测，和（2）患者级聚合。与已经用于第一阶段的高级深度学习方法相比，只有幼稚的一阶统计量（例如，平均和计数）。在本文中，我们提出了一个简单而广泛推广的患者级MSI聚合（MAg）的方法，有效地整合了宝贵的补丁级信息。简而言之，第一阶段中的整个概率分布被建模为基于直方图的特征，以被融合为机器学习的最终结果（例如，SVM）。所提出的MAg方法可以很容易地以即插即用的方式使用，已经在五个广泛使用的深度神经网络上进行了评估：ResNet，MobileNetV 2，EfficientNet，Dpn和ResNext。从结果来看，所提出的MAg方法一致地提高了两个公开数据集的患者级聚合的准确性。我们希望所提出的方法可以潜在地利用基于低成本H&E的MSI检测方法。我们的工作代码已在https://github.com/Calvin-Pang/MAg上公开发布。
2022-01-13 cs.CV eess.IV
Step Counting with Attention-based LSTM
KITE Research Institute（KITE研究院）；Toronto Rehabilitation Institute（多伦多康复研究所）；University Health Network（大学健康网络）
身体活动被认为是整体健康的重要组成部分。身体活动的一种测量方法，步数，是众所周知的长期发病率和死亡率的预测指标。步数计数（SC）是对个人在特定时间和空间内所走的步数进行自动计数。由于智能手机和智能手表的普及，大多数当前的SC方法都依赖于这些设备上的内置加速度传感器。传感器信号被分析为多变量时间序列，并且通过各种方法（诸如时域、频域、机器学习和深度学习方法）计算步骤的数量。大多数现有的方法依赖于将输入信号划分为窗口，检测每个窗口中的步骤，并对检测到的步骤进行求和。然而，这些方法需要确定多个参数，包括窗口大小。此外，大多数现有的深度学习SC方法都需要为单步的提供真实的标签，这可能是艰苦和耗时的注释。为了规避这些要求，我们提出了一种利用多对一注意力LSTM的新SC方法。使用所提出的LSTM网络，SC被解决为回归问题，将整个传感器信号作为输入，将步数作为输出。分析表明，基于注意力的LSTM即使在没有地面真实标签的情况下也能自动学习步骤模式。在三个公开的SC数据集上的实验结果表明，该方法成功地计算了步骤的数量，具有较低的平均绝对误差值和较高的SC精度值。
2022-11-18 cs.CV eess.SP
Locate, Size and Count: Accurately Resolving People in Dense Crowds via Detection
Indian Institute of Science（印度科学学院）
我们引入了一个检测框架，密集人群计数和消除需要流行的密度回归范例。典型的计数模型预测图像的人群密度，而不是检测每个人。这些回归方法，在一般情况下，无法定位的人足够准确的大多数应用程序以外的计数。因此，我们采用的架构，定位每个人在人群中，大小的斑点头与限界框，然后计数。与普通的物体或人脸检测器相比，在设计这样的检测系统时存在某些独特的挑战。其中一些是密集人群中巨大多样性的直接后果，以及连续预测盒子的需要。我们解决了这些问题，并开发了我们的LSC-CNN模型，该模型可以可靠地检测稀疏到密集人群中的人头。LSC-CNN采用多列架构，自上而下的反馈处理，以更好地解决人员问题，并在多个分辨率下生成精细的预测。有趣的是，所提出的训练机制只需要点头部注释，但可以估计头部的近似大小信息。我们证明了LSC-CNN不仅比现有的密度回归器具有更好的定位，而且在计数方面也表现出色。我们方法的代码可以在https://github.com/val-iisc/lsc-cnn上找到。
2020-02-15 cs.CV
