Real-Time AI-Driven People Tracking and Counting Using Overhead Cameras
Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学);University of Moratuwa(莫拉图瓦大学)
针对智能建筑和交通系统中大量人群计数准确性下降的问题,本研究提出结合新目标跟踪算法、新计数算法和微调目标检测模型的方法,在低功耗边缘设备上实现97%准确率的实时人数计数。
2024-11-15 cs.AI cs.CV
Crowd Counting Considering Network Flow Constraints in Videos
Dalian University of Technology(大连理工大学);Taiyuan University of Technology(太原理工大学)
监控场景中人数的增长可能会增加安全威胁的概率,这使得人群计数变得越来越重要。大多数现有的方法估计一帧内的行人数量,这导致在时间方面的预测不一致。本文首次引入了一个带网络流量约束的二次规划模型,以提高人群计数的准确性。首先,每帧的前景被分割成组,每个组包含几个行人。其次,构造了一个有向图来模拟人流的约束条件,图的顶点表示每帧中的组,弧表示从一个组移动到另一个组的人。然后,在所构造的有向图中,人流可以看作是一个整数流。最后,通过求解有向图中一个带网络流约束的二次规划问题,得到了人数统计的一致性。实验结果表明,该方法能够减少人群计数误差,提高准确率。此外,该方法还可以应用于任何超现代的基于组的回归计数方法,以获得改进。
2017-12-15 cs.CV
People Counting in Crowded and Outdoor Scenes using a Hybrid Multi-Camera Approach
Federal University of Paraná(巴拉那联邦大学);Pontifical Catholic University of Paraná(巴拉那天主教大学);École de Technologie Supérieure(高等技术学院)
本文提出了两种新的方法,在拥挤和开放的环境中,结合多个视图收集的信息进行人数统计。多个摄像机被用来扩大视野以及减轻通常影响使用单个摄像机的计数方法的性能的遮挡问题。第一种方法被认为是一种直接的方法,它试图分割和计算人群中的每个人。为了达到这个目的,我们采用了两种头部检测器:一种是基于支持向量机,另一种是基于Adaboost感知器。第二种方法被认为是一种间接的方法,采用学习算法和对整个人群的统计分析来实现计数。为了实现这一目标,从前景图像中的人群中提取角点,并通过估计场景中的人数的学习算法来计算角点。这两种方法都计算场景中的人数,而不仅仅是场景的给定图像或视频帧。在PETS 2009视频数据集上的实验结果表明,该方法比其他方法提高了46.7%,并能在拥挤场景下提供准确的计数结果。另一方面,直接方法显示出高出错率,这是由于后者具有复杂得多的问题要解决,例如头部的分割。
2017-05-08 cs.CV
A Study of Human Gaze Behavior During Visual Crowd Counting
Stony Brook University(石溪大学)
在本文中,我们描述了我们的研究人类如何分配他们的注意力在视觉人群计数。使用眼动仪,我们收集了人类参与者的注视行为,他们的任务是计算人群图像中的人数。通过分析10位人类参与者对30张人群图像的注视行为,我们观察到一些常见的视觉计数方法。对于小人群的图像,方法是枚举人群中的所有人或人群,这解释了不同人类参与者的注视密度图之间的高相似性。对于一个大人群的图像,我们的参与者倾向于关注图像的一个部分,计算该部分的人数,然后推断其他部分。在计数准确性方面,与当前最先进的计算机算法的性能相比,我们的人类参与者在计数任务方面并不出色。有趣的是,在所有人群图像中,有一种倾向是低估人数。凝视行为数据和图像可以从https://www3.cs.stonybrook.edu/~minhhoai/projects/crowd_counting_gaze/下载。
2020-09-27 cs.CV
Fine-Grained Crowd Counting
City University of Hong Kong(香港城市大学)
目前的人群计数算法只关注图像中的人数,缺乏低层次的人群细粒度信息。对于许多实际应用,图像中的总人数不如每个子类别中的人数有用。例如,在一个示例中,知道排队等候或浏览的人数可以帮助零售商店;知道站立/坐下的人数可以帮助餐馆/餐馆;知道暴力/非暴力的人数可以帮助警察管理人群。在本文中,我们提出了细粒度的人群计数,它区分人群到类别的基础上的低级别的行为属性(例如站/坐或暴力行为),然后计算每个类别中的人数。为了使这一领域的研究成为可能,我们构建了一个新的数据集,其中包含四个真实世界的细粒度计数任务:在人行道上行驶的方向,站立或坐着,排队或不排队,以及是否表现出暴力行为。由于不同人群类别的外观特征相似,因此细粒度人群计数的挑战是有效地利用上下文信息来区分类别。我们提出了一个两个分支的架构,包括一个密度图估计分支和一个语义分割分支。我们提出了两个改进策略,以提高这两个分支的预测。首先,为了编码上下文信息,我们提出了由密度图预测引导的特征传播,这消除了传播过程中背景特征的影响。其次,我们提出了一个互补的注意力模型,以共享两个分支之间的信息。实验结果证实了该方法的有效性。
2020-07-13 cs.CV
LRCN-RetailNet: A recurrent neural network architecture for accurate people counting
Institute of Computing - Federal University of Alagoas(阿拉戈斯联邦大学计算研究所);Faculty of Exact Sciences and Technology - Federal University of Grande Dourados(大杜拉多斯联邦大学精确科学与技术学院);Institute of Mathematics - Federal University of Alagoas(阿拉戈斯联邦大学数学研究所)
测量和分析零售商店中的顾客流对于零售商更好地理解顾客的行为和支持决策是必不可少的。然而,没有太多的注意力已经给予了自动人数统计的新技术的发展。我们介绍LRCN-RetailNet:一种循环神经网络架构,能够学习非线性回归模型,并从低成本监控摄像头捕获的视频中准确预测人数。输入视频格式遵循最近提出的RGBP图像格式,该格式由颜色和人物(前景)信息组成。我们的架构能够考虑两个相关方面:通过卷积层从RGBP图像中提取的空间特征;以及问题的时间相干性,这是由递归层利用的。我们表明,通过监督学习的方法,训练的模型能够预测高精度的人数。此外,我们提出并证明,一个简单的修改方法是有效的,排除销售人员的人数。进行了全面的实验,以验证,评估和比较所提出的架构。结果证实,LRCN-RetailNet的性能显着优于之前的RetailNet架构,后者仅限于每次迭代评估单个图像;以及用于目标检测的最先进神经网络。最后,计算性能实验证实,整个方法是有效的估计人数在实时。
2020-05-12 cs.CV
Efficient Deep Learning Models for Privacy-preserving People Counting on Low-resolution Infrared Arrays
Politecnico di Torino(都灵理工大学);IMEC(比利时微电子研究中心);ST Microelectronics S.r.l.(意法半导体有限公司)
本文在商用8x8红外阵列数据集上系统比较6种高效深度学习架构,获得兼顾精度与资源消耗的Pareto最优模型,并在MCU上实现高精度、低能耗的实时隐私保护人数统计。
2023-12-05 cs.CV cs.LG
Depth Information Guided Crowd Counting for Complex Crowd Scenes
Zhengzhou University(郑州大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
对人群事件进行监测和分析,对城市安全具有重要意义.在具有拥挤场景的EDOF(扩展景深)图像中,人的分布是高度不平衡的。远离镜头的人看起来要小得多,而且经常严重地相互遮挡,而靠近镜头的人看起来更大。在这种情况下,很难通过使用一种技术来准确地估计人数。在本文中,我们提出了一种深度信息引导的人群计数(DigCrowd)方法来处理拥挤的EDOF场景。DigCrowd首先使用图像的深度信息将场景分割成远视图区域和近视图区域。然后,Digcrowd将远视区域映射到其人群密度图,并使用检测方法对近视区域中的人进行计数。此外,我们引入了一个新的人群数据集,包含1000张图像。实验结果证明了DigCrowd方法的有效性
2018-04-23 cs.CV
mmCounter: Static People Counting in Dense Indoor Scenarios Using mmWave Radar
University of North Carolina(北卡罗来纳大学)
mmCounter通过毫米波雷达提取低频信号,利用多阶段信号处理实现密集室内静态人群的准确计数。
2025-12-11 cs.CV
Counting people from above: Airborne video based crowd analysis
JOANNEUM RESEARCH Forschungsgesellschaft mbH(约阿内研究有限责任公司)
群体活动中的人群监测与分析是保障活动参与者安全的重要技术。所提出的基于地面或空中图像/视频数据的方法通常无法实现足够准确的结果以保证鲁棒的服务。我们提出了一种新的框架,用于估计人的计数,密度和运动的视频数据的基础上定制的目标检测技术,基于回归的密度估计和基于总变分的光流提取。从收集的功能,我们提出了一个详细的精度分析与地面实况测量。此外,所有信息都投影到世界坐标中,以便能够与现有的地理信息系统直接结合。由此产生的人员计数显示出4%至9%的平均误差,因此代表了可以在安全关键服务中稳健应用的最有效的措施。
2013-04-23 cs.CV
People Counting in High Density Crowds from Still Images
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
我们提出了一种方法,估计在高密度的人群从静止图像的人数。该方法通过融合来自多个源的信息来估计计数。现有的大多数关于人群计数的工作都是针对非常小的人群(几十个人),并使用来自视频的时间信息。我们的方法仅使用静态图像来估计高密度图像(数百到数千个个体)中的计数。在这种规模下,我们不能只依赖一组特征来估计计数。因此,我们使用多个源,即。兴趣点(SIFT),傅立叶分析,小波分解,灰度共生矩阵功能和低置信度的头部检测,估计计数。这些来源中的每一个都给出了计数的单独估计以及置信度和其他统计测量,然后将其组合以获得最终估计。我们测试我们的方法在现有的数据集上的50张图像,其中包含超过64000个人。此外,我们还添加了另外50张带注释的人群图像,并在包含87000多人的100张图像的完整数据集上进行了测试。每个图像的计数范围为81至4633。我们报告的性能方面的平均绝对误差,这是一个衡量的准确性的方法,和平均归一化的绝对误差,这是一个衡量的鲁棒性。
2015-07-30 cs.CV
Estimating Distances Between People using a Single Overhead Fisheye Camera with Application to Social-Distancing Oversight
Boston University(波士顿大学)
不引人注目地监测室内人与人之间的距离是抗击流行病的有用工具。实现这一目标的自然资源是监控摄像头。与以前的距离估计方法不同,我们使用一个单一的,开销,鱼眼摄像头与广域覆盖,并提出了两种方法。一种方法利用鱼眼镜头的几何模型,而另一种方法使用神经网络来预测从鱼眼图像中的人位置的3D世界距离。为了评估我们的算法,我们使用单个鱼眼相机收集了一个首个同类数据集,该数据集包括人与人之间的广泛距离(1-58英尺),并将公开提供。该算法实现了1-2英尺的距离误差和超过95%的准确率检测社交距离违规。
2023-03-21 cs.CV
A-CCNN: adaptive ccnn for density estimation and crowd counting
University of Technology Sydney(悉尼科技大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61所)
人群计数,用于使用基于视觉的计算机技术估计人群中的人数,引起了研究界的极大兴趣。虽然已经报道了许多尝试,但现实世界的问题,例如图像中对象大小的巨大变化和人与人之间的严重遮挡,使其仍然是一个具有挑战性的问题。本文提出一种自适应计数卷积神经网络(A-CCNN),自适应地考虑帧内目标的尺度变化,以提高计数精度。我们的方法利用上下文信息提供更准确和自适应的密度图和场景中的人群计数。使用不同的基准数据集进行广泛的实验评估对象计数,并表明所提出的方法是有效的,优于国家的最先进的方法。
2018-04-20 cs.CV
Top-Down Feedback for Crowd Counting Convolutional Neural Network
Indian Institute of Science(印度科学学院)
即使对人类来说,在密集的人群中清点人数也是一项艰巨的任务。这主要是由于人的外表变化很大。人们往往只被看作是一堆斑点。遮挡、姿势变化和背景杂乱进一步加剧了难度。在这种情况下,识别一个人需要更大的空间背景和场景的语义。但是目前最先进的用于人群计数的CNN回归器是前馈的,并且仅使用有限的空间上下文来检测人。他们寻找当地的人群模式来回归人群密度图,导致错误的预测。因此,我们提出自上而下的反馈来纠正CNN的初始预测。我们的架构包括一个自下而上的CNN以及一个单独的自上而下的CNN来生成反馈。自下而上的网络,回归人群密度图,有两列不同感受野的CNN。自下而上的CNN的各个层的特征被馈送到自上而下的网络。由此产生的反馈以乘法选通的形式应用于自底向上网络的较低层。这种掩蔽在空间和特征级别上对自下而上网络的激活进行加权,以校正密度预测。我们评估了我们的模型在所有主要人群数据集上的性能,并展示了自上而下反馈的有效性。
2018-07-27 cs.CV
Low-Resolution Overhead Thermal Tripwire for Occupancy Estimation
Boston University(波士顿大学)
智能建筑使用占用感测来执行各种任务,从节能的HVAC和照明到空间利用分析和应急响应。我们提出了一个人计数系统,它使用低分辨率的热传感器。与以前的基于热传感器的人员计数系统不同,我们在入口处使用架空绊网配置来检测和跟踪瞬态入口或出口。我们开发了两种不同的人计数算法,这种配置。为了评估我们的算法,我们已经收集并标记了低分辨率的热视频数据集使用所提出的系统。该数据集是同类数据集中的第一个,是公开的,可供下载。我们还提出了新的评估指标,更适合系统的漂移和抖动。
2020-05-05 cs.CV
Crowd Counting with Deep Structured Scale Integration Network
Sun Yat-sen University(中山大学);The University of Sydney(悉尼大学);SenseTime Computer Vision Research Group(商汤科技计算机视觉研究组);DarkMatter AI Research(暗物质人工智能研究院)
在无约束的拥挤场景中自动估计人数是一项具有挑战性的任务,其中一个主要的困难来自于巨大的规模变化的人。在本文中,我们提出了一种新的深度结构化规模集成网络(DSSINet)的人群计数,它解决了规模变化的人使用结构化特征表示学习和分层结构的损失函数优化。不同于传统的方法,直接融合多个功能与加权平均或级联,我们首先引入了一个结构化的特征增强模块的基础上的条件随机场(CRF),以改善多尺度功能相互消息传递机制。在这个模块中,每个尺度特定的特征被认为是一个连续的随机变量,并通过补充信息来细化其他尺度的特征。其次,我们利用扩张的多尺度结构相似性损失来执行我们的DSSINet,以学习不同大小区域内人们尺度的局部相关性,从而产生高质量的密度图。在四个具有挑战性的基准上进行的大量实验很好地证明了我们方法的有效性。具体来说,我们的DSSINet在Shanghaitech数据集上实现了9.5%的误差减少,在UCF-QNRF数据集上实现了24.9%的误差减少。
2019-08-23 cs.CV
Locate, Size and Count: Accurately Resolving People in Dense Crowds via Detection
Indian Institute of Science(印度科学学院)
我们引入了一个检测框架,密集人群计数和消除需要流行的密度回归范例。典型的计数模型预测图像的人群密度,而不是检测每个人。这些回归方法,在一般情况下,无法定位的人足够准确的大多数应用程序以外的计数。因此,我们采用的架构,定位每个人在人群中,大小的斑点头与限界框,然后计数。与普通的物体或人脸检测器相比,在设计这样的检测系统时存在某些独特的挑战。其中一些是密集人群中巨大多样性的直接后果,以及连续预测盒子的需要。我们解决了这些问题,并开发了我们的LSC-CNN模型,该模型可以可靠地检测稀疏到密集人群中的人头。LSC-CNN采用多列架构,自上而下的反馈处理,以更好地解决人员问题,并在多个分辨率下生成精细的预测。有趣的是,所提出的训练机制只需要点头部注释,但可以估计头部的近似大小信息。我们证明了LSC-CNN不仅比现有的密度回归器具有更好的定位,而且在计数方面也表现出色。我们方法的代码可以在https://github.com/val-iisc/lsc-cnn上找到。
2020-02-15 cs.CV
CCCNet: An Attention Based Deep Learning Framework for Categorized Crowd Counting
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
近年来,对图像中的人数进行计数的人群计数问题得到了广泛的研究。在本文中,我们介绍了一个新的变种的人群计数问题,即“分类人群计数”,计算的人数坐在和站在一个给定的图像。分类人群计数有许多实际应用,如人群监控,客户服务和资源管理。分类人群计数的主要挑战来自高遮挡、透视失真以及坐着和站着的人的看似相同的上身姿势。现有的基于密度图的方法可以很好地近似一个大的人群,但失去了重要的本地信息分类所需的。另一方面,传统的基于检测的方法在遮挡环境中表现不佳,特别是当人群规模变得更大时。因此,为了解决分类的人群计数问题,我们开发了一种新的基于注意力的深度学习框架来解决上述限制。特别地,我们的方法分三个阶段工作:i)我们首先生成基于基本检测的坐着和站立密度图以捕获局部信息; ii)然后,我们生成基于人群计数的密度图作为全局计数特征; iii)最后,我们有一个跨分支分离细化阶段,该阶段使用注意力机制将人群密度图分成最终的坐着和站立密度图。大量的实验表明,我们的方法在解决分类人群计数问题的有效性。
2019-12-12 cs.CV
A Robust Bi-Directional Algorithm For People Count In Crowded Areas
K L University(KL大学)
针对拥挤场所实时人员计数的准确性与稳定性需求,提出一种基于连通域评估的双向人员计数算法,可统计通道人员数量与方向,用于建筑入口流量统计及灾害救援时的区域人口估算。
2023-11-06 cs.CV
Detecting and counting tiny faces
ENS Paris-Saclay(巴黎萨克雷高等师范学院)
Finding Tiny Faces(Hu和Ramanan)提出了一种在图像中找到小物体的新方法。我们的贡献在于深刻理解的选择的文件,以及应用和扩展类似的方法,以一个现实世界的主题,这是计数的人在一个公共示威。
2018-01-24 cs.CV stat.ML
CNN-based Cascaded Multi-task Learning of High-level Prior and Density Estimation for Crowd Counting
Rutgers University(罗格斯大学)
由于不均匀的尺度变化,在密集拥挤的场景中估计人群计数是一项极具挑战性的任务。在本文中,我们提出了一种新型的端到端级联CNN网络,以联合学习人群计数分类和密度图估计。将人群计数分类到各个组中相当于粗略地估计图像中的总计数,从而将高级先验结合到密度估计网络中。这使得网络中的层能够学习全局相关的判别特征,这些特征有助于以较低的计数误差估计高度精细的密度图。联合训练以端到端的方式进行。在具有高度挑战性的公开数据集上进行的大量实验表明,与最近的最新方法相比,该方法实现了更低的计数误差和更好的质量密度图。
2017-08-16 cs.CV
Crowd Transformer Network
Stony Brook University(石溪大学);University of Central Florida(中佛罗里达大学)
在本文中,我们解决的问题,人群计数,并提出了一种基于人群密度估计的方法来获得人群计数。大多数现有的人群计数方法依赖于局部特征来估计人群密度图。在这项工作中,我们调查的有用性相结合的本地与非本地的人群计数功能。我们使用卷积层来提取局部特征,并使用一种自注意力机制来提取非局部特征。我们结合了局部和非局部特征,并使用它来估计人群密度图。我们在三个公开的人群计数数据集上进行了实验,并在以前的方法上取得了显着的改进。
2019-04-04 cs.CV
Multi-Stream Networks and Ground-Truth Generation for Crowd Counting
University of Campinas(坎皮纳斯大学)
人群景物分析近年来受到了广泛的关注,因为它具有广泛的应用,例如,法医学,城市规划,监控和安全。在这种情况下,一个具有挑战性的任务被称为人群计数,其主要目的是估计单个图像中存在的人数。一个多流卷积神经网络的开发和评估,在这项工作中,它接收图像作为输入,并产生一个密度图,表示在一个端到端的方式的空间分布的人。为了解决复杂的人群计数问题,例如极其不受约束的规模和视角变化,网络架构利用每个流具有不同大小过滤器的感受野。此外,我们研究了两种最常见的方式对地面真实值的产生的影响,并提出了一种基于微小人脸检测和尺度插值的混合方法。在两个具有挑战性的数据集UCF-CC-50和ShanghaiTech上进行的实验表明,使用我们的地面真值生成方法可以获得更好的结果。
2020-03-11 cs.CV
Dense Crowds Detection and Surveillance with Drones using Density Maps
Cátedras CONACYT(墨西哥国家科学技术委员会讲席项目)
从移动的无人机中检测和计数人群中的人提出了具有挑战性的问题,这些问题来自图像视角和摄像机角度的不断变化。在本文中,我们测试了两种不同的最先进的方法,使用贝叶斯损失函数训练的VGG 19生成密度图和使用ResNet 50-FPN作为骨干的FasterRCNN检测然后计数,以比较它们在无人机飞行的不同真实场景中计数和检测人的精度。我们证明了这两种方法在无人机接近地面时,在稀疏人群中检测和计数人的效果特别好。尽管如此,VGG 19在这两项任务上都提供了更好的精度,同时也比FasterRCNN更轻。此外,VGG 19在处理密集人群时优于Faster RCNN,证明对规模变化和强遮挡更鲁棒,更适合使用无人机的监视应用
2020-03-03 cs.CV cs.NE
Composition Loss for Counting, Density Map Estimation and Localization in Dense Crowds
Carnegie Mellon University(卡内基梅隆大学);University of Central Florida(中佛罗里达大学);NVIDIA Inc.(英伟达公司);Qatar University(卡塔尔大学);University of Warwick(华威大学)
每年有数百万人聚集在一起,从朝圣到抗议,从音乐会到马拉松,从节日到葬礼,视觉人群分析正在成为计算机视觉的一个新领域。特别是,在高度密集的人群中计数是一个具有挑战性的问题,在人群安全和管理方面具有深远的适用性,以及衡量抗议和示威的政治意义。在本文中,我们提出了一种新的方法,同时解决了在一个给定的密集人群图像的计数,密度图估计和定位的人的问题。我们的公式是基于一个重要的观察,这三个问题是内在相关的,使损失函数优化深度CNN可分解。由于定位需要高质量的图像和注释,我们引入了UCF-QNRF数据集,克服了以前数据集的缺点,包含125万人手动标记点注释。最后,我们提出了评估措施,并与最近的深度CNN网络进行了比较,包括专门为人群计数开发的网络。我们的方法在新数据集上的表现明显优于最先进的方法,新数据集是最具挑战性的数据集,在最多样化的场景中具有最多的人群注释。
2018-08-02 cs.CV
Shallow Feature Based Dense Attention Network for Crowd Counting
University of Warwick(华威大学);Microsoft Research(微软研究院);Tsinghua University(清华大学)
虽然近年来通过深度学习进行人群计数的性能已经得到了显着改善,但由于背景杂乱和图像中人员规模的变化,它仍然是一个根深蒂固的问题。在本文中,我们提出了一个基于浅层特征的密集注意力网络(SDANet)的人群计数从静止图像,它减少了背景的影响,通过涉及一个基于浅层特征的注意力模型,同时,捕获多尺度信息通过密集连接的分层图像特征。具体来说,受背景和人群在浅特征中通常具有明显不同反应的观察的启发,我们决定在浅特征图上构建我们的注意力模型,从而实现准确的背景像素检测。此外,考虑到跨不同尺度的人的最具代表性的特征可以出现在特征提取网络的不同层中,为了更好地保留它们,我们建议密集连接不同层的分层图像特征,并随后对它们进行编码以估计人群密度。在三个基准数据集上的实验结果清楚地证明了SDANet在处理不同场景时的优越性。特别是,在具有挑战性的UCF CC 50数据集上,我们的方法远远优于其他现有方法,这从我们SDANet的平均绝对误差(MAE)下降11.9%可以看出。
2020-06-17 cs.CV
Crowd counting via scale-adaptive convolutional neural network
Tencent Youtu(腾讯优图);Inria Rennes(雷恩国立信息与自动化研究所);Shanghai Jiaotong University(上海交通大学)
人群计数的任务是自动估计人群图像中的行人数量。为了应对人群图像中普遍存在的尺度和视角变化,最先进的方法采用多列CNN架构来回归人群图像的密度图。多列具有不同的感受野,对应于不同尺度的行人(头部)。相反,我们提出了一个规模自适应的CNN(SaCNN)架构与固定的小感受野的骨干。我们从多个层中提取特征图,并将它们调整为具有相同的输出大小;我们将它们组合起来以生成最终的密度图。通过对密度图进行积分来计算人数。我们在ShanghaiTech、UCF_CC_50和WorldExpo数据集上进行了大量的实验,并在一个新的数据集SmartCity上进行了大量的实验,该数据集是我们收集的用于人群场景的。结果表明SaCNN在最先进的技术上有显着的改进。
2018-02-06 cs.CV
Crowd Counting on Images with Scale Variation and Isolated Clusters
The Hong Kong University of Science and Technology(香港科技大学)
人群计数是估计对象的数量(例如,人或车辆)。设计一个通用的人群计数算法适用于范围广泛的人群图像是具有挑战性的,主要是由于对象规模可能很大的变化和存在许多孤立的小集群。以前的方法基于卷积运算与多分支架构是有效的,只有一些窄带的规模,并没有捕捉到长距离的上下文关系,由于孤立的聚类。为了解决这个问题,我们提出了SACANet,这是一种用于人群计数的新型规模自适应远程上下文感知网络。SACANet由三个主要模块组成:金字塔上下文模块,用于提取远程上下文信息并扩大感受野;自适应尺度的自注意多分支模块,用于获得高尺度敏感性和孤立簇的检测精度;通过组归一化,SACANet在训练过程中实现了更好的最优性。我们使用VisDrone 2019 People数据集,VisDrone 2019 Vehicle数据集和其他一些具有挑战性的基准进行了广泛的实验。与现有的方法相比,SACANet被证明是有效的,特别是对于具有不同尺度和分散集群的极其拥挤的条件,并且与基线相比,实现了低得多的MAE。
2019-09-09 cs.CV
Wheat Head Counting by Estimating a Density Map with Convolutional Neural Networks
University of Saskatchewan(萨斯喀彻温大学)
小麦是最重要的作物品种之一,全球谷物年产量为7亿吨。对小麦穗部产量的测定可以帮助我们测算粮食产量。因此,从麦田图像中检测和表征穗是小麦育种过程中的重要组成部分。在这项研究中,我们提出了三个小麦穗计数网络(WHCNet\_1,WHCNet\_2和WHCNet\_3),以准确地估计小麦穗数从一个单独的图像和构建高质量的密度图,它说明了小麦穗在图像中的分布。WHCNets由两个主要组件组成:卷积神经网络(CNN)作为小麦头部图像特征提取的前端,以及具有跳过连接的CNN用于后端生成高质量密度图。本研究中使用的数据集是全球小麦头部检测(GWHD)数据集,这是一个大型,多样化和标记良好的小麦图像数据集,由国际合作共同构建。我们将我们的方法与CSRNet进行了比较,CSRNet是一种深度学习方法,用于高度拥挤的场景理解和执行准确的计数估计以及呈现高质量的密度图。通过利用CNN层之间的跳跃连接,WHCNets将低CNN层的特征集成到高CNN层,因此,输出密度图具有高空间分辨率和输入图像的详细表示。实验表明,我们的方法优于CSRNet的评估指标,平均绝对误差(MAE)和均方根误差(RMSE)较小的模型大小。代码已存放在GitHub(\url{https://github.com/hyguozz})上。
2023-03-19 cs.CV
Estimating the intrinsic dimension in fMRI space via dataset fractal analysis - Counting the `cpu cores' of the human brain
National Kapodistrian Univ. of Athens (NKUA/UoA)(雅典国家卡波季斯特里安大学)
功能磁共振成像(fMRI)是一种强大的非侵入性工具,用于定位和分析大脑活动。本研究的重点是人类大脑功能特性的一个非常重要的方面,特别是在执行复杂的认知任务时的并行性水平的估计。以功能磁共振成像为主要手段,通过纯数据驱动的信号处理和维度分析方法研究人脑活动。具体而言,fMRI信号被视为一个多维的数据空间,其内在的“复杂性”的研究,通过数据集分形分析和盲声源分离(BSS)的方法。一个模拟的和两个真正的fMRI数据集结合独立成分分析(ICA)和分形分析用于估计内在(真)维数,以提供数据驱动的实验证据的数量独立的大脑过程中并行运行时,视觉或视觉运动任务进行。虽然这个数字不能被定义为一个严格的阈值,而是作为一个连续的范围,当一个特定的激活水平被定义时,一个相应数量的并行处理或“CPU核心”的临时等效物可以在正常的人脑活动中检测到。
2014-10-27 cs.AI cs.CV q-bio.NC
Apple Counting using Convolutional Neural Networks
University of Minnesota(明尼苏达大学)
从现实世界中的图像(如果园)估计准确可靠的水果和蔬菜数量是一个具有挑战性的问题,最近受到了极大的关注。在收获前估计水果数量为物流规划提供了有用的信息。虽然在水果检测方面取得了相当大的进展,但估计实际数量仍然具有挑战性。在实践中,水果往往聚集在一起。因此,仅检测水果的方法不能提供估计准确水果计数的一般解决方案。此外,在园艺研究中,而不是一个单一的产量估计,更精细的信息,如每个集群的苹果数量的分布是可取的。在这项工作中,我们制定了水果计数从图像作为一个多类分类问题,并解决了它的训练卷积神经网络。我们首先评估我们的方法的每图像精度,并将其与基于高斯混合模型的最先进的方法在四个测试数据集上进行比较。尽管基于高斯混合模型的方法的参数针对每个数据集进行了专门调整,但我们的网络在四个数据集中的三个数据集中表现优于它,最高准确率为94%。接下来,我们使用该方法来估计两个数据集的产量,我们有地面真理。我们的方法达到了96- 97%的准确率。有关更多详细信息,请参阅我们的视频:https://www.youtube.com/watch? v=Le0mb5P-SYc}{https:www.youtube.com/watch? v=Le0mb5P-SYc。
2022-08-24 cs.CV
Towards Estimating the Upper Bound of Visual-Speech Recognition: The Visual Lip-Reading Feasibility Database
Pompeu Fabra University(庞培法布拉大学)
语音是人类之间最常用的交流方式,它涉及听觉和视觉通道的感知。自动语音识别的重点是解释音频信号,尽管视频可以提供与音频互补的信息。然而,利用视觉信息已被证明具有挑战性。一方面,研究人员报告说,音素和视位(视觉单位)之间的映射是一对多的,因为有音素是视觉上相似的,它们之间无法区分。另一方面,众所周知,有些人读唇语很好(如聋人)。我们研究了在受控条件下仅视觉语音识别的极限。有了这个目标,我们设计了一个新的数据库,其中的发言者意识到正在阅读,旨在促进唇读。在文献中,听力受损的人是否比听力正常的人更好的唇读存在差异。然后,我们分析了9名听力障碍者和15名听力正常者的唇读能力是否存在差异。最后,人类的能力进行了比较的视觉自动语音识别系统的性能。在我们的测试中,听力受损的参与者的表现优于听力正常的参与者,但没有达到统计学显著性。人类观察者能够解码44%的语音信息。相比之下,仅视觉自动系统实现了20%的单词识别率。然而,如果我们重复的音素方面的比较都获得了非常相似的识别率,刚刚超过50%。这表明,人类唇读和自动语音阅读之间的差距可能更多地与上下文的使用有关,而不是解释嘴部外观的能力。
2017-04-26 cs.CV
Using Depth for Pixel-Wise Detection of Adversarial Attacks in Crowd Counting
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在拥挤场景中计算人数的最先进方法依赖于深度网络来估计人群密度。虽然有效,但深度学习方法容易受到对抗攻击的攻击,这在人群计数环境中可能导致严重的安全问题。然而,攻击和防御机制在回归任务中几乎没有被探索过,更不用说人群密度估计了。在本文中,我们研究了现有的攻击策略对人群计数网络的有效性,并介绍了一个简单而有效的像素检测机制。它建立在这样的直觉上:当攻击一个多任务网络时,在我们的情况下估计人群密度和场景深度,两个输出都会受到干扰,因此第二个输出可以用于检测目的。我们将证明,这显着优于启发式和基于不确定性的策略。
2020-03-18 cs.CV
DeepWheat: Estimating Phenotypic Traits from Crop Images with Deep Learning
Univ. Saskatchewan(萨斯喀彻温大学)
本文研究了利用彩色图像和高程图估测小麦出苗和生物量性状的方法。我们采用最先进的去卷积网络进行分割和卷积架构,具有残差和Inception-like层,通过高维非线性回归来估计特征。对两种不同种类的小麦进行评价,所述小麦在田间小区中生长用于实验植物育种研究。我们的框架取得了令人满意的性能,平均值和标准差的绝对差异为1.05和1.40计数的出现和1.45和2.05生物量估计。我们的结果计数小麦植物从田间图像的准确性比报告的类似,但可以说是不太困难,从室内图像的莲座植物计数叶片的任务。我们的生物量估计的结果,即使是一个非常小的数据集,改善所有以前提出的方法在文献中。
2018-01-26 cs.CV
Mask-aware networks for crowd counting
Southeast University(东南大学);University of Adelaide(阿德莱德大学);Sichuan University(四川大学)
人群计数问题的目的是计算视频中图像或帧内的对象数量,通常通过估计由对象位置注释生成的密度图来解决。密度图中的值本质上有两种可能的状态:零表示周围没有物体,非零值表示物体存在,值表示局部物体密度。与不区分这两种状态的密度预测的传统方法相比,我们建议使用专用的网络分支来预测对象/非对象掩模,然后将其预测与输入图像相结合以产生密度图。我们的基本原理是,掩模预测可以更好地建模为二进制分割问题,估计密度的难度可以降低,如果掩模是已知的。该方案的关键是将掩模预测纳入密度图估计器的策略。为此,我们研究了五种可能的解决方案,并通过分析和实验验证,我们确定了最有效的一个。通过在五个公共数据集上的广泛实验,我们证明了所提出的方法在基线上的优越性能,并表明我们的网络可以达到最先进的性能。
2019-06-20 cs.CV cs.LG stat.ML
An Improved Dilated Convolutional Network for Herd Counting in Crowded Scenes
Stevens Institute of Technology(史蒂文斯理工学院);Qatar Mobility Innovations Center (QMIC), Qatar University(卡塔尔移动创新中心(QMIC),卡塔尔大学)
利用计算机视觉的人群管理技术在当代非常普遍。这些方法存在许多与安全相关的应用,包括但不限于:跟踪一系列人的流动和监视大型集会。在本文中,我们提出了一个由两个级联卷积深度学习架构组成的精确监控系统。第一部分称为前端,负责转换二维信号并提供高级功能。第二部分称为后端,是一个用于替换池化层的扩张卷积神经网络(CNN)。它负责扩大整个网络的感受野,并将第一个网络提供的描述符转换为显着图,该显着图将用于估计高度拥挤图像中的人数。我们还建议利用遗传算法,以找到一个优化的扩张率配置在后端。所提出的模型收敛速度比最先进的方法快30%。将其应用于上海地区的资料,其平均绝对误差(MAE)降低了20%.
2020-08-17 cs.CV
A Spatio-Temporal Attentive Network for Video-Based Crowd Counting
University of Pisa(比萨大学);National Research Council (ISTI-CNR)(国家研究委员会(信息科学与技术研究所))
由于监控摄像头网络的普遍存在,从图像中自动计数的人最近引起了现代智慧城市中城市监控的关注。当前的计算机视觉技术依赖于基于深度学习的算法,该算法估计静止的个体图像中的行人密度。只有一堆的作品利用视频序列的时间一致性。在这项工作中,我们提出了一个时空注意的神经网络,估计从监控视频的行人数量。通过利用连续帧之间的时间相关性,在广泛使用的FDST基准测试中,我们将最先进的计数误差降低了5%,定位误差降低了7.5%。
2022-08-24 cs.CV
Ambient Sound Helps: Audiovisual Crowd Counting in Extreme Conditions
Baidu Research(百度研究院);German Aerospace Center(德国航空航天中心);City University of Hong Kong(香港城市大学);Northwestern Polytechnical University(西北工业大学);Technical University of Munich(慕尼黑工业大学)
视觉人群计数最近已经被研究作为一种方式,使人们在人群场景中从图像计数。尽管成功,但基于视觉的人群计数方法可能无法在极端条件下捕获信息特征,例如,夜间成像和遮挡。在这项工作中,我们介绍了一个新的任务,视听人群计数,其中视觉和听觉信息集成计数的目的。我们收集了一个大规模的基准测试,名为audiovISual Crowd cOunting(DISCO)数据集,由1,935个图像和相应的音频片段以及170,270个注释实例组成。为了融合这两种模式,我们利用线性特征融合模块,该模块对视觉和听觉特征进行仿射变换。最后,我们使用所提出的数据集和方法进行了广泛的实验。实验结果表明,在不同的光照、噪声和遮挡条件下,引入听觉信息有利于人群计数。将发布数据集和代码。代码和数据已提供
2020-05-16 cs.CV
Counting Machine Parts
本文研究了机器零件计数问题,提出了一种基于FamNet的改进方法,通过引入额外损失项进行训练,并在给定数据集上评估了传统图像处理流程、实例分割和密度图估计等基线方法的性能,最终实现了1.96的MAE指标。
2026-05-18 cs.CV
A Real-Time Deep Network for Crowd Counting
Shanghai Key Laboratory of Multidimensional Information Processing(上海市多维信息处理重点实验室);East China Normal University(华东师范大学);Videt Tech Ltd.(维谛科技有限公司)
高度拥挤人群的自动分析已经引起了计算机视觉研究的广泛关注。以前的人群计数方法已经在各种基准测试中取得了令人满意的性能。然而,为了处理实际情况,我们希望模型在保持准确性的同时尽可能快地运行。在本文中,我们提出了一个紧凑的卷积神经网络的人群计数,学习一个更有效的模型与少量的参数。通过在网络前端同时对输入图像执行三个并行滤波器的卷积运算,我们的模型可以达到接近实时的【形】速度并节省更多的计算资源。在两个基准上的实验表明,该方法不仅在性能和效率之间取得了平衡,更适合于实际场景,而且在速度上也优于现有的轻量级模型。
2020-02-16 cs.CV
Enhanced Information Fusion Network for Crowd Counting
近年来,人群计数,一种用于预测图像中的人数的技术,成为计算机视觉中具有挑战性的任务。本文提出了一种跨列特征融合网络来解决列中的信息冗余问题。我们引入了信息融合模块(IFM),它提供了一个通道的信息流,以帮助不同的列从另一列获得重要的信息。通过这个通道,不同的列相互交换信息,并从其他列中提取有用的特征来增强关键信息。因此,列不需要关注图像中的所有区域。每列可以负责不同的区域,从而减轻每列的负担。实验结果表明,该模型具有较强的泛化能力,在不同数据集之间的迁移结果与现有模型具有可比性。
2021-01-12 cs.CV
Context-Aware Crowd Counting
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在拥挤场景中计算人数的最先进方法依赖于深度网络来估计人群密度。它们通常在整个图像或大的图像块上使用相同的过滤器。只有这样,他们才能估计局部尺度来补偿透视失真。这通常通过训练辅助分类器来实现,以针对预定义的图像块在有限的选择集合中选择最佳的内核大小。因此,这些方法不是端到端可训练的,并且在它们可以利用的上下文范围内受到限制。在本文中,我们介绍了一种端到端的可训练深度架构,该架构结合了使用多个感受野大小获得的特征,并学习了每个图像位置处每个特征的重要性。换句话说,我们的方法自适应地编码准确预测人群密度所需的上下文信息的规模。这产生了一种优于最先进的人群计数方法的算法,特别是当视角效应很强时。
2019-04-15 cs.CV
Tracking-by-Counting: Using Network Flows on Crowd Density Maps for Tracking Multiple Targets
多目标跟踪(MOT)方法遵循检测跟踪范式,其中通过关联目标检测器的每帧输出来获得目标轨迹。然而,在拥挤的场景中,由于严重的遮挡和高人群密度,检测器往往无法获得准确的检测。在本文中,我们提出了一个新的MOT范式,跟踪计数,适合拥挤的场景。使用人群密度图,我们联合模型的检测,计数和跟踪的多个目标作为一个网络流程序,同时发现全局最优的检测和轨迹的多个目标在整个视频。这是在以前的MOT方法,要么忽略人群密度,从而容易在拥挤的场景中的错误,或依赖于一个次优的两步过程中使用启发式密度感知点跟踪匹配targets.We的方法产生有希望的结果,公共基准的各个领域,包括人跟踪,细胞跟踪,鱼跟踪。
2020-07-18 cs.CV
Leveraging Self-Supervision for Cross-Domain Crowd Counting
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在拥挤场景中计算人数的最先进方法依赖于深度网络来估计人群密度。虽然有效,但这些数据驱动的方法依赖于大量的数据注释来实现良好的性能,这阻止了这些模型在紧急情况下的部署,在紧急情况下,数据注释要么成本太高,要么无法足够快地获得。一种流行的解决方案是使用合成数据进行训练。不幸的是,由于域转移,所得到的模型在真实图像上的泛化能力很差。我们通过使用合成图像及其相关标签和未标记的真实图像进行训练来弥补这一缺点。为此,我们迫使我们的网络通过训练它从常规图像中识别颠倒的真实图像来学习透视感知特征,并将预测自身不确定性的能力纳入其中,以便它可以生成有用的伪标签用于微调目的。这产生了一种算法,该算法的性能始终优于最先进的跨域人群计数算法,而无需在推理时进行任何额外的计算。
2021-03-30 cs.AI cs.CV
DENet: A Universal Network for Counting Crowd with Varying Densities and Scales
Beihang University(北京航空航天大学);University of Technology Sydney(悉尼科技大学)
计数具有显著变化的尺度和密度的人或物体引起了研究界的极大兴趣,但它仍然是一个悬而未决的问题。在本文中,我们提出了一个简单但高效和有效的网络,命名为DENet,它由两个组件组成,即,检测网络(DNet)和编码器-解码器估计网络(ENet)。我们首先在输入图像上运行DNet,以检测和计数可以清晰分割的个体。然后,ENet被用来估计密度图的其余地区,在那里的个人数量无法检测。我们提出了一个修改后的Xception作为编码器的特征提取和组合的扩张卷积和转置卷积作为解码器。在上海科技大学A部分、UCF和世博会的10个数据集中,我们的DENet实现了比最先进的方法更低的平均绝对误差(MAE)。
2019-04-17 cs.AI cs.CV