Reinforcing Local Feature Representation for Weakly-Supervised Dense Crowd Counting
由于大量的注释，完全监督的人群计数是一项艰巨的任务。很少有作品专注于每周监督的人群计数，其中只有全球人群数量可用于训练。每周监督人群计数的主要挑战是缺乏当地监督信息。为了解决这个问题，我们提出了一个自适应特征相似性学习（SFSL）网络和全局-局部一致性（GLC）损失，以加强局部特征表示。我们引入了一个特征向量，它代表了无偏特征估计的人。该网络自适应地更新特征向量，并利用特征相似性对人群数量进行回归。此外，所提出的GLC损失利用了来自全球和局部区域的网络估计之间的一致性。实验结果表明，我们提出的方法基于不同的骨干缩小了弱监督和全监督密集人群计数之间的差距。
2022-02-22 cs.CV
Ambient Sound Helps: Audiovisual Crowd Counting in Extreme Conditions
Baidu Research（百度研究院）；German Aerospace Center（德国航空航天中心）；City University of Hong Kong（香港城市大学）；Northwestern Polytechnical University（西北工业大学）；Technical University of Munich（慕尼黑工业大学）
视觉人群计数最近已经被研究作为一种方式，使人们在人群场景中从图像计数。尽管成功，但基于视觉的人群计数方法可能无法在极端条件下捕获信息特征，例如，夜间成像和遮挡。在这项工作中，我们介绍了一个新的任务，视听人群计数，其中视觉和听觉信息集成计数的目的。我们收集了一个大规模的基准测试，名为audiovISual Crowd cOunting（DISCO）数据集，由1，935个图像和相应的音频片段以及170，270个注释实例组成。为了融合这两种模式，我们利用线性特征融合模块，该模块对视觉和听觉特征进行仿射变换。最后，我们使用所提出的数据集和方法进行了广泛的实验。实验结果表明，在不同的光照、噪声和遮挡条件下，引入听觉信息有利于人群计数。将发布数据集和代码。代码和数据已提供
2020-05-16 cs.CV
Using Depth for Pixel-Wise Detection of Adversarial Attacks in Crowd Counting
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在拥挤场景中计算人数的最先进方法依赖于深度网络来估计人群密度。虽然有效，但深度学习方法容易受到对抗攻击的攻击，这在人群计数环境中可能导致严重的安全问题。然而，攻击和防御机制在回归任务中几乎没有被探索过，更不用说人群密度估计了。在本文中，我们研究了现有的攻击策略对人群计数网络的有效性，并介绍了一个简单而有效的像素检测机制。它建立在这样的直觉上：当攻击一个多任务网络时，在我们的情况下估计人群密度和场景深度，两个输出都会受到干扰，因此第二个输出可以用于检测目的。我们将证明，这显着优于启发式和基于不确定性的策略。
2020-03-18 cs.CV
Leveraging Unlabeled Data for Crowd Counting by Learning to Rank
Computer Vision Center（计算机视觉中心）；MICC, University of Florence（佛罗伦萨大学MICC）
我们提出了一种新颖的人群计数方法，该方法在学习排名框架中利用大量可用的未标记人群图像。为了诱导裁剪图像的排名，我们使用这样的观察，即拥挤场景图像的任何子图像都保证包含与超级图像相同数量或更少的人。这使我们能够解决现有人群计数数据集大小有限的问题。我们收集两个人群场景数据集从谷歌使用关键字搜索和查询的例子图像检索，分别。我们展示了如何通过将学习排名纳入多任务网络来有效地从这些未标记的数据集中学习，该网络同时对图像进行排名并估计人群密度图。在两个最具挑战性的人群计数数据集上的实验表明，我们的方法获得了最先进的结果。
2018-03-08 cs.CV
ResnetCrowd: A Residual Deep Learning Architecture for Crowd Counting, Violent Behaviour Detection and Crowd Density Level Classification
Insight Centre for Data Analytics（数据洞察中心）；Dublin City University（都柏林城市大学）
在本文中，我们提出了ResnetCrowd，这是一种用于同时进行人群计数、暴力行为检测和人群密度水平分类的深度残差架构。为了训练和评估所提出的多目标技术，构建了一个新的100个图像数据集，称为多任务群。这个新的数据集是第一个完全注释了人群计数、暴力行为检测和密度水平分类的计算机视觉数据集。我们的实验表明，多任务方法提高了所有任务的个人任务性能，最明显的是暴力行为检测，其ROC曲线AUC（曲线下面积）提高了9%。经过训练的ResnetCrowd模型还在几个额外的基准上进行了评估，突出了针对多个目标训练的人群分析模型的卓越概括性。
2017-05-30 cs.CV
Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects
Northwestern Polytechnical University（西北工业大学）
主流的人群计数方法是对密度图进行回归和积分得到计数结果。由于对同一个头部的密度表示符合其邻近分布，它嵌入了具有不同值的同类对象，而人类计数模型的不变特征，即与对象的相似性。受此启发，我们提出了一个合理的和灵活的人群计数框架。首先，我们利用计数标量作为监督信号，为类似事件提供全局和隐含的指导。然后，利用大核CNN来模仿人类的范例，首先对不变知识进行建模，然后进行滑动来比较相似性。之后，对预训练的类间相似性参数进行重新参数化，以满足相似性比较时的类内方差。最后，随机缩放补丁收益率（RSY）的建议，以促进长距离依赖的相似性建模。在人群计数的五个具有挑战性的基准上进行的大量实验表明，所提出的框架达到了最先进的水平。
2022-12-02 cs.CV
Adaptive Scenario Discovery for Crowd Counting
East China Normal University（华东师范大学）；Shanghai Advanced Research Institute, CAS（中国科学院上海高等研究院）；Videt Tech.（Videt科技公司）
人群计数，即，人群图像中行人数量的估计，是随着公共安全应用而出现的一个重要研究问题。人群计数系统的一个关键组成部分是计数模型的构建，这些模型对诸如相机视角和物理障碍物等事实下的各种场景具有鲁棒性。在本文中，我们提出了一个用于人群计数的自适应场景发现框架。该系统由两条平行的路径构成，这两条路径用不同大小的感受野进行训练，以代表不同的规模和人群密度。在确保这些组件存在于适当的几何配置，第三个分支的设计，以自适应地重新校准的路径方面的响应，通过发现和建模的动态场景隐式。我们的系统能够代表高度可变的人群图像，并在两个具有挑战性的基准测试中取得了最先进的结果。
2019-02-09 cs.CV
Fine-grained Domain Adaptive Crowd Counting via Point-derived Segmentation
South China University of Technology（华南理工大学）；University of Amsterdam（阿姆斯特丹大学）；Hong Kong University of Science and Technology（香港科技大学）；Singapore Management University（新加坡管理大学）
针对域偏移导致人群计数模型性能下降的问题，提出从点级标注学习人群分割，分离人群与背景，并设计包含CRT和CDA模块的细粒度域自适应方法，持续优于现有方法。
2023-03-31 cs.CV
Fast Video Crowd Counting with a Temporal Aware Network
East China Normal University（华东师范大学）；Jilian Technology Group (Video++)（极链科技集团（Video++））；Videt Tech Ltd.（维视科技有限公司）
人群计数的目标是在拥挤的空间中计算瞬时人群的数量，并且已经提出了许多有前途的解决方案用于单图像人群计数。随着视频采集设备在公共安全领域的广泛应用，如何有效地将人群计数技术应用于视频内容成为一个亟待解决的问题。在本文中，我们介绍了一种新的框架，基于时间感知建模的视频帧之间的关系。该网络包含一些膨胀的残差块，每个残差块由计算相邻帧特征的时间卷积以提高预测的层组成。为了减少计算量，满足快速视频人群计数的需求，我们还引入了一个轻量级的网络来平衡计算成本和表示能力。我们进行实验的人群计数的基准，并证明其优越性，在有效性和效率方面比以前的基于视频的方法。
2020-02-11 cs.CV
Dense Point Prediction: A Simple Baseline for Crowd Counting and Localization
Nanyang Technological University（南洋理工大学）
在本文中，我们提出了一个简单而有效的人群计数和定位网络名为SCALNet。与大多数将计数和定位任务分开的现有作品不同，我们将这些任务视为像素密集预测问题，并将其集成到端到端框架中。具体而言，对于人群计数，我们采用了由均方误差（MSE）损失监督的计数头。对于人群定位，关键的洞察力是识别人的关键点，即，头部的中心点。我们提出了一个定位头来区分密集人群训练的两个损失函数，即，负抑制焦点（NSF）损失和假阳性（FP）损失，其平衡正/负示例并处理假阳性预测。在最近的大规模基准测试NWPU-Crowd上的实验表明，我们的方法在人群定位和计数任务上分别比最先进的方法提高了5%和10%以上。该代码可在https://github.com/WangyiNTU/SCALNet上公开获取。
2021-04-26 cs.CV
A Study of Human Gaze Behavior During Visual Crowd Counting
Stony Brook University（石溪大学）
在本文中，我们描述了我们的研究人类如何分配他们的注意力在视觉人群计数。使用眼动仪，我们收集了人类参与者的注视行为，他们的任务是计算人群图像中的人数。通过分析10位人类参与者对30张人群图像的注视行为，我们观察到一些常见的视觉计数方法。对于小人群的图像，方法是枚举人群中的所有人或人群，这解释了不同人类参与者的注视密度图之间的高相似性。对于一个大人群的图像，我们的参与者倾向于关注图像的一个部分，计算该部分的人数，然后推断其他部分。在计数准确性方面，与当前最先进的计算机算法的性能相比，我们的人类参与者在计数任务方面并不出色。有趣的是，在所有人群图像中，有一种倾向是低估人数。凝视行为数据和图像可以从https://www3.cs.stonybrook.edu/~minhhoai/projects/crowd_counting_gaze/下载。
2020-09-27 cs.CV
Crowd Counting Using Scale-Aware Attention Networks
University of Manitoba（曼尼托巴大学）
在本文中，我们考虑的问题，人群计数的图像。给定拥挤场景的图像，我们的目标是估计该图像的密度图，其中密度图中的每个像素值对应于图像中相应位置处的人群密度。给定估计的密度图，可以通过对密度图中的所有值求和来获得最终的人群计数。人群计数的一个挑战是图像中的尺度变化。在这项工作中，我们提出了一种新的规模感知注意力网络来应对这一挑战。使用最近深度学习架构中流行的注意力机制，我们的模型可以自动关注适合图像的某些全局和局部尺度。通过结合这些全局和局部规模的注意力，我们的模型在几个基准数据集上的人群计数方面优于其他最先进的方法。
2019-03-05 cs.CV
WSCF-MVCC: Weakly-supervised Calibration-free Multi-view Crowd Counting
Shenzhen University（深圳大学）
本文提出WSCF-MVCC方法，通过弱监督策略和自监督排名损失实现校准-free多视角人群计数，提升计数精度与实用性。
2025-12-02 cs.CV
CNN-based Density Estimation and Crowd Counting: A Survey
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Northwestern Polytechnical University（西北工业大学）
准确估计单个图像中的对象数量是一项具有挑战性但有意义的任务，并已应用于许多应用中，如城市规划和公共安全。在各类对象计数任务中，人群计数因其对社会安全和发展的特殊意义而显得尤为突出。幸运的是，人群计数技术的发展可以推广到其他相关领域，如车辆计数和环境调查，如果不考虑他们的特点。因此，许多研究者都致力于人群计数，许多优秀的文学作品和作品喷涌而出。在这些工作中，他们必须有助于人群计数的发展。然而，我们应该考虑的问题是，为什么它们对这项任务有效。由于时间和精力的限制，我们不可能对所有的算法都进行分析。本文在调研了220多篇文献的基础上，对人群计数模型进行了全面系统的研究，主要是基于CNN的密度图估计方法。最后，根据评价指标，我们选择了他们的人群计数数据集上的前三名，并分析其优缺点。通过本文的分析，期望对人群计数的未来发展做出合理的推断和预测，同时也为其他领域的物体计数问题提供可行的解决方案。在NWPU数据集的验证集中，我们提供了一些主流算法的密度图和预测结果，以进行比较和测试。同时，还提供了密度图生成和评价工具。所有代码和评估结果都可在https://github.com/gaoguangshuai/survey-for-crowd-counting上公开获取。
2020-03-28 cs.CV
PaDNet: Pan-Density Crowd Counting
Fudan University（复旦大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
在不同密度场景中或同一场景中不同密度区域的人群计数问题称为泛密度人群计数，具有很高的挑战性。以前的方法是针对单密度场景设计的，或者没有充分利用泛密度信息。我们提出了一个新的框架，泛密度网络（PaDNet），泛密度人群计数。为了有效地捕获泛密度信息，PaDNet有一个新的模块，密度感知网络（DAN），它包含多个在不同密度的场景中预训练的子网络。此外，一个名为功能增强层（FEL）的模块，提出了聚合的DAN学习的特征图。它学习每个特征图的增强率或权重，以增强这些特征图。此外，我们提出了两个改进的指标，补丁MAE（PMAE）和补丁RMSE（PRMSE），更好地评估泛密度场景的模型性能。在四个人群计数基准数据集上的大量实验表明，PaDNet在泛密度人群计数中实现了最先进的识别性能和高鲁棒性。
2020-01-09 cs.CV
AdaCrowd: Unlabeled Scene Adaptation for Crowd Counting
University of Manitoba（曼尼托巴大学）；Simon Fraser University（西蒙菲莎大学）；University of Waterloo（滑铁卢大学）；Huawei Technologies Canada（华为加拿大公司）
我们解决的问题，基于图像的人群计数。特别是，我们提出了一个新的问题，称为无标签的场景自适应人群计数。给定一个新的目标场景，我们希望有一个人群计数模型，专门适应这个特定的场景，基于目标数据，捕捉一些关于新场景的信息。在本文中，我们建议使用一个或多个未标记的图像从目标场景进行适应。与现有的问题设置（例如完全监督）相比，我们提出的问题设置更接近人群计数系统的实际应用。我们引入一个新的AdaCrowd框架来解决这个问题。我们的框架由一个人群计数网络和一个引导网络组成。引导网络基于来自特定场景的未标记图像来预测人群计数网络中的一些参数。这使得我们的模型能够适应不同的目标场景。在几个具有挑战性的基准数据集上的实验结果表明，与其他方法相比，我们提出的方法的有效性。代码可在https://github.com/maheshkkumar/adacrowd上获得。
2021-02-23 cs.CV
Crowd Counting on Heavily Compressed Images with Curriculum Pre-Training
Aarhus University（奥胡斯大学）
JPEG图像压缩算法是一种广泛用于边缘和云计算设置中的图像尺寸缩减的技术。然而，对深度神经网络处理的图像应用这种有损压缩可能会导致准确性显着下降。受课程学习范式的启发，我们提出了一种称为课程预训练（CPT）的训练方法，用于压缩图像上的人群计数，该方法消除了有损压缩导致的准确性下降。我们通过对三个人群计数数据集，两个人群计数DNN模型和各种压缩级别的广泛实验验证了我们方法的有效性。所提出的训练方法对超参数不太敏感，并将误差降低了19.70%，特别是对于严重压缩的图像。
2023-01-30 cs.CV
CrowdCLIP: Unsupervised Crowd Counting via Vision-Language Model
Baidu Inc.（百度公司）；Beijing University of Posts and Telecommunications（北京邮电大学）；Huazhong University of Science and Technology（华中科技大学）
提出无监督人群计数框架CrowdCLIP，利用CLIP模型的多模态排序损失和渐进式过滤策略，在五个数据集上超越现有无监督方法，跨数据集设置下甚至优于部分全监督方法。
2023-04-09 cs.CV
Cascaded Residual Density Network for Crowd Counting
University of Science and Technology of China（中国科学技术大学）；Chinese Academy of Sciences（中国科学院）
由于真实人群场景中存在尺度变化和视角变化等问题，人群计数是一项具有挑战性的任务。在本文中，我们提出了一种新的级联残差密度网络（CRDNet）在一个由粗到细的方法，以生成高质量的密度图人群计数更准确。(1)我们估计的残差密度图的多尺度金字塔功能，通过级联的残差密度模块。该方法能有效地逐层提高密度图的质量。(2)提出了一种新的附加局部计数损失来提高人群计数的准确性，该方法通过限制局部人群区域中的人数来减少像素级欧氏损失的误差。在两个公共基准数据集上的实验表明，与现有方法相比，该方法取得了有效的改进.
2021-07-29 cs.CV
Wide-Area Crowd Counting: Multi-View Fusion Networks for Counting in Large Scenes
City University of Hong Kong（香港城市大学）
单视图图像中的人群计数在现有的计数数据集上取得了出色的性能。然而，单视图计数不适用于大且宽的场景（例如，公共公园、长地铁站台或活动空间），因为单个摄像机不能以足够的细节捕获整个场景以进行计数，例如，当场景太大而不适合照相机的视场时，当场景太长以致于对于远处的人群分辨率太低时，或者当存在太多遮挡人群的大部分的大对象时。因此，为了解决广域计数任务，需要具有重叠视场的多个相机。在本文中，我们提出了一个深层神经网络框架多视图人群计数，融合信息从多个摄像机视图预测场景级密度地图的地平面上的3D世界。我们考虑三个版本的融合框架：后期融合模型融合摄像机视图密度图;天真早期融合模型融合摄像机视图特征图;多视图多尺度早期融合模型确保与同一地平面点对齐的特征具有一致的尺度。旋转选择模块进一步确保特征的一致旋转对准。我们在3个多视图计数数据集，PETS 2009，DukeMTMC和一个新收集的包含拥挤街道交叉口的多视图计数数据集上测试了我们的3个融合模型。与其他多视图计数基线相比，我们的方法实现了最先进的结果。
2022-05-02 cs.CV
Inverse Attention Guided Deep Crowd Counting Network
Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们解决了拥挤场景中人群计数的挑战性问题。具体来说，我们提出了反向注意力引导的深度人群计数网络（IA-DCCN），它通过反向注意力机制有效地将分割信息注入计数网络，从而实现了显著的改进。该方法基于VGG-16，是一个单步训练框架，易于实现。分割信息的使用导致最小的计算开销，并且不需要任何额外的注释。我们通过详细的分析和消融研究证明了分割引导反向注意的重要性。此外，该方法在三个具有挑战性的人群计数数据集上进行了评估，并显示出与最近的几种方法相比取得了显着的改进。
2019-07-22 cs.CV
A-CCNN: adaptive ccnn for density estimation and crowd counting
University of Technology Sydney（悉尼科技大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61所）
人群计数，用于使用基于视觉的计算机技术估计人群中的人数，引起了研究界的极大兴趣。虽然已经报道了许多尝试，但现实世界的问题，例如图像中对象大小的巨大变化和人与人之间的严重遮挡，使其仍然是一个具有挑战性的问题。本文提出一种自适应计数卷积神经网络（A-CCNN），自适应地考虑帧内目标的尺度变化，以提高计数精度。我们的方法利用上下文信息提供更准确和自适应的密度图和场景中的人群计数。使用不同的基准数据集进行广泛的实验评估对象计数，并表明所提出的方法是有效的，优于国家的最先进的方法。
2018-04-20 cs.CV
Adaptive Mixture Regression Network with Local Counting Map for Crowd Counting
Beihang University（北京航空航天大学）；Shunfeng Technology (Beijing) Co., Ltd（顺丰科技（北京）有限公司）
人群计数任务旨在估计位于图像或视频帧中的人数。现有的方法广泛采用密度图作为训练目标，以优化点到点的损失。而在测试阶段，我们只关注群体数量与密度图的全局总和之间的差异，这表明训练目标与评价标准之间的不一致。为了解决这个问题，我们引入了一个新的目标，命名为本地计数图（LCM），以获得更准确的结果比基于密度图的方法。此外，我们还提出了一个自适应混合回归框架，以粗到细的方式，以进一步提高人群估计的精度三个模块：规模感知模块（SAM），混合回归模块（MRM）和自适应软区间模块（ASIM）。具体来说，SAM充分利用了来自不同卷积特征的上下文和多尺度信息; MRM和ASIM对图像的局部补丁执行更精确的计数回归。与现有方法相比，该方法在典型数据集上具有更好的性能。源代码可在https://github.com/xiyang1012/Local-Crowd-Counting上获得。
2020-05-13 cs.CV
CrowdFormer: Weakly-supervised Crowd counting with Improved Generalizability
Department of Electrical Engineering, Indian Institute of Technology Indore, India（印度理工学院印度尔分校电子工程系）
提出基于金字塔视觉变换器的弱监督人群计数方法，通过全局上下文建模实现与现有方法相当的性能并展现显著泛化性。
2022-03-07 cs.CV
Enhancing and Dissecting Crowd Counting By Synthetic Data
Peking University（北京大学）；China University of Petroleum (Beijing)（中国石油大学（北京））
在本文中，我们提出了一个模拟的人群计数数据集CrowdX，它具有大规模，准确的标记，参数化实现，高保真度。使用该数据集作为数据增强的实验结果表明，所提出的精简高效的基准网络ESA Net的性能可以提高8.4%.在CrowdX上预训练的另外两个经典异构架构MCNN和CSRNet也显示出显着的性能改进。考虑许多影响因素来确定性能，例如背景、摄像机角度、人密度和分辨率。虽然这些因素很重要，但仍然缺乏关于它们如何影响人群计数的研究。由于CrowdX数据集具有丰富的注释信息，我们进行了大量的数据驱动的对比实验来分析这些因素。本文的研究为深入理解人群计数问题提供了参考，并在算法的实际部署中提出了一些有益的建议。
2022-01-22 cs.CV
Direct Measure Matching for Crowd Counting
Xi’an Jiaotong University（西安交通大学）；Pengcheng Laboratory（鹏城实验室）
传统的人群计数方法通常使用高斯假设来生成伪密度地面真值，这存在高斯核大小估计不准确等问题。在本文中，我们提出了一种新的测量为基础的计数方法回归预测的密度图的散射点注释地面真相直接。首先，人群计数被制定为一个措施匹配问题。其次，我们推导了Sinkhorn发散的半平衡形式，并在此基础上设计了Sinkhorn计数损失进行测度匹配。第三，我们提出了一个自我监督的机制，通过设计一个Sinkhorn规模一致性损失，以抵制规模的变化。最后，提出了一种有效的优化方法，以最小化总损失函数。在ShanghaiTech、UCF-QNRF、JHU++和NWPU四个具有挑战性的人群计数数据集上进行了广泛的实验，验证了所提出的方法。
2021-07-04 cs.CV
DecideNet: Counting Varying Density Crowds Through Attention Guided Detection and Density Estimation
Carnegie Mellon University（卡内基梅隆大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）；Xi’an Jiaotong University（西安交通大学）
在现实世界的人群计数应用中，人群密度在空间和时间域中变化很大。基于检测的计数方法在低密度场景下可以准确估计人群，但在拥挤区域的可靠性下降。另一方面，基于回归的方法捕获拥挤区域中的一般密度信息。在不知道每个人的位置的情况下，它往往会高估低密度区域的计数。因此，只使用其中之一是不足以处理各种场景的密度变化。为了解决这个问题，提出了一种新的端到端的人群计数框架，命名为DecideNet（DETECtIon和密度估计网络）。它可以根据图像的真实密度情况，自适应地为图像上的不同位置决定合适的计数模式。DecideNet首先通过分别生成基于检测和回归的密度图来估计人群密度。为了捕捉不可避免的密度变化，它包含了一个注意力模块，旨在自适应地评估两种类型的估计的可靠性。在注意力模块的指导下，从两种密度图中采用合适的估计来获得最终的人群计数。实验结果表明，我们的方法在三个具有挑战性的人群计数数据集上实现了最先进的性能。
2018-03-07 cs.CV
Scale-Aware Network with Regional and Semantic Attentions for Crowd Counting under Cluttered Background
East China Normal University（华东师范大学）；Jiangxi Normal University（江西师范大学）
人群计数是一项在公共安全相关领域显示出巨大应用价值的重要任务，近年来受到越来越多的关注。在目前的研究中，计数的准确性和人群密度估计是主要关注的问题。尽管深度学习的出现极大地推动了该领域的发展，但杂乱背景下的人群计数仍然是一个严峻的挑战。为了解决这个问题，我们提出了一个具有区域和语义关注度的ScaleAware Crowd Counting Network（SACCN）。该方法通过在浅层和深层分别应用区域和语义自注意力机制来区分人群和背景。提出了非对称多尺度模型（AMM）来解决尺度多样性问题，并设计了基于区域注意的密集连接和跳跃连接来缓解人群尺度的变化。在多个公共基准测试上的实验结果表明，我们提出的SASCN实现了令人满意的优越性能，优于大多数最先进的方法。所有代码和预训练模型将很快发布。
2021-01-07 cs.CV
Crowd Transformer Network
Stony Brook University（石溪大学）；University of Central Florida（中佛罗里达大学）
在本文中，我们解决的问题，人群计数，并提出了一种基于人群密度估计的方法来获得人群计数。大多数现有的人群计数方法依赖于局部特征来估计人群密度图。在这项工作中，我们调查的有用性相结合的本地与非本地的人群计数功能。我们使用卷积层来提取局部特征，并使用一种自注意力机制来提取非局部特征。我们结合了局部和非局部特征，并使用它来估计人群密度图。我们在三个公开的人群计数数据集上进行了实验，并在以前的方法上取得了显着的改进。
2019-04-04 cs.CV
JHU-CROWD++: Large-Scale Crowd Counting Dataset and A Benchmark Method
Johns Hopkins University（约翰斯·霍普金斯大学）
由于其在现实世界中的各种应用，基于单个图像的人群计数任务近年来受到了很多关注。最近，已经提出了几种方法来解决人群计数中遇到的各种问题。这些方法基本上基于卷积神经网络，其需要大量数据来训练网络参数。考虑到这一点，我们引入了一个新的大规模无约束人群计数数据集（JHU-CROWD++），其中包含“4，372”张图像和“151万”条注释。与现有数据集相比，拟议数据集是在各种不同的场景和环境条件下收集的。具体来说，该数据集包括几个具有基于天气的退化和照明变化的图像，使其成为一个非常具有挑战性的数据集。此外，该数据集还包含一组丰富的图像级和头部级注释。最近的几种方法进行了评估和比较，在这个数据集。数据集可以从http://www.crowd-counting.com下载。此外，我们提出了一种新的人群计数网络，通过残差估计逐步生成人群密度图。所提出的方法使用VGG 16作为骨干网络，并采用由最终层生成的密度图作为粗略预测，以使用残差学习以渐进的方式细化和生成更精细的密度图。此外，残差学习由基于不确定性的置信度加权机制引导，该机制仅允许高置信度残差在精化路径中流动。在最近的复杂数据集上对所提出的置信度引导的深度残差计数网络（CG-DRCN）进行了评估，并且在错误方面取得了显着的改善。
2020-11-02 cs.CV
CrowdNet: A Deep Convolutional Network for Dense Crowd Counting
Video Analytics Lab（视频分析实验室）；Indian Institute of Science（印度科学研究院）
我们的工作提出了一种新的深度学习框架，用于从高密度人群的静态图像中估计人群密度。我们使用深度和深度的组合，完全卷积网络来预测给定人群图像的密度图。这种组合用于有效地捕获高级别语义信息（面部/身体检测器）和低级别特征（斑点检测器），这对于大规模变化下的人群计数是必要的。由于大多数人群数据集的训练样本有限（<100张图像），而基于深度学习的方法需要大量的训练数据，因此我们执行多尺度数据增强。以这种方式增强训练样本有助于引导CNN学习尺度不变表示。我们的方法在具有挑战性的UCF_CC_50数据集上进行了测试，并显示出优于最先进的方法。
2016-08-22 cs.CV
SynMVCrowd: A Large Synthetic Benchmark for Multi-view Crowd Counting and Localization
Visual Computing Research Center, College of Computer Science and Software Engineering（视觉计算研究中心，计算机科学与软件工程学院）
本文提出SynMVCrowd基准，用于更实际地评估多视角人群计数和定位任务，包含50个合成场景，具有大量多视角帧和相机视角，以及更大的人群数量，同时提出了优于现有方法的基线模型。
2026-03-25 cs.CV
Domain-General Crowd Counting in Unseen Scenarios
Huawei London Research Center（华为伦敦研究中心）
跨人群数据的域转移严重阻碍了人群计数模型推广到不可见的场景。尽管领域自适应人群计数方法在一定程度上缩小了这一差距，但它们仍然依赖于目标领域数据来使其模型适应（例如微调）特定领域。在本文中，我们的目标是训练一个模型的基础上，一个单一的源域，可以推广到任何看不见的领域。这属于领域泛化的范畴，在人群计数中尚未探索。首先，我们引入了一个动态的子域划分方案，将源域划分为多个子域，这样我们就可以启动一个元学习框架的领域泛化。在元学习过程中，子域划分被动态地细化。其次，为了将图像特征中的领域不变信息和领域特定信息分离开来，我们设计了领域不变和领域特定的群体记忆模块对图像特征进行重新编码。两种类型的损失，即特征重构和正交损失，被设计为使这种解纠缠。在SHA、SHB、QNRF和NWPU等几个标准人群计数基准上进行的大量实验表明，该方法具有很强的通用性。
2023-03-28 cs.CV
Multi-scale Convolutional Neural Networks for Crowd Counting
South China University of Technology（华南理工大学）
由于尺度变化，静态图像上的人群计数是一个具有挑战性的问题。最近，深度神经网络已被证明在这项任务中是有效的。然而，现有的基于神经网络的方法往往使用多列或多网络模型来提取尺度相关的特征，这是更复杂的优化和计算浪费。为此，我们提出了一种新的多尺度卷积神经网络（MSCNN）的单图像人群计数。基于多尺度blob，该网络能够在单列架构中生成与尺度相关的特征，以获得更高的人群计数性能，这对于实际应用来说既准确又经济。补充的结果表明，我们的方法优于国家的最先进的方法的准确性和鲁棒性与少得多的参数。
2017-02-08 cs.CV
Recurrent Distillation based Crowd Counting
Fuzhou University（福州大学）
近年来，随着深度学习技术的进步，人群计数得到了快速发展。在这项工作中，我们提出了一个简单而有效的人群计数框架，能够在各种拥挤的场景中实现最先进的性能。特别是，我们首先介绍了一种透视感知密度图生成方法，能够产生地面实况密度图从点注释到训练人群计数模型，以实现优于以前的密度图生成技术的性能。此外，利用我们的密度图生成方法，我们提出了一种迭代蒸馏算法，以逐步增强我们的模型与相同的网络结构，而不会显着牺牲输出密度图的维度。在实验中，我们证明，我们的简单的卷积神经网络架构加强了我们提出的训练算法，我们的模型是能够优于或与最先进的方法相媲美。此外，我们还评估了我们的密度图生成方法和蒸馏算法在消融研究中的应用。
2020-06-14 cs.CV
Iterative Crowd Counting
Stony Brook University（石溪大学）
在这项工作中，我们解决了图像中的人群计数问题。我们提出了一种基于卷积神经网络（CNN）的密度估计方法来解决这个问题。一次性预测高分辨率密度图是一项具有挑战性的任务。因此，我们提出了一种用于生成高分辨率密度图的两分支CNN架构，其中第一分支生成低分辨率密度图，并且第二分支合并来自第一分支的低分辨率预测和特征图以生成高分辨率密度图。我们还提出了一个多阶段的扩展我们的方法，其中管道中的每个阶段利用所有以前阶段的预测。与以往最先进的人群计数方法的实证比较表明，我们的方法在三个具有挑战性的人群计数基准上实现了最低的平均绝对误差：Shanghaitech，WorldExpo'10和UCF数据集。
2018-07-26 cs.CV
Tracking-by-Counting: Using Network Flows on Crowd Density Maps for Tracking Multiple Targets
多目标跟踪（MOT）方法遵循检测跟踪范式，其中通过关联目标检测器的每帧输出来获得目标轨迹。然而，在拥挤的场景中，由于严重的遮挡和高人群密度，检测器往往无法获得准确的检测。在本文中，我们提出了一个新的MOT范式，跟踪计数，适合拥挤的场景。使用人群密度图，我们联合模型的检测，计数和跟踪的多个目标作为一个网络流程序，同时发现全局最优的检测和轨迹的多个目标在整个视频。这是在以前的MOT方法，要么忽略人群密度，从而容易在拥挤的场景中的错误，或依赖于一个次优的两步过程中使用启发式密度感知点跟踪匹配targets.We的方法产生有希望的结果，公共基准的各个领域，包括人跟踪，细胞跟踪，鱼跟踪。
2020-07-18 cs.CV
Scene-Adaptive Attention Network for Crowd Counting
Hikvision Research Institute（海康威视研究院）
近年来，人群计数的研究取得了重大进展。然而，由于具有挑战性的规模变化和复杂的场景中存在的人群，无论是传统的卷积网络和最近的Transformer架构与固定大小的注意力不能很好地处理任务。为了解决这个问题，本文提出了一种场景自适应注意力网络，称为SAANet。首先，我们设计了一个可变形的注意力内置Transformer骨干，学习自适应的特征表示与可变形的采样位置和动态的注意力权重。在此基础上，进一步提出了多层次特征融合和计数关注特征增强模块，以增强全局图像背景下的特征表示。学习的表征可以关注前景，并适应不同规模的人群。我们对四个具有挑战性的人群计数基准进行了广泛的实验，证明我们的方法达到了最先进的性能。特别是，我们的方法目前在NWPU-Crowd基准测试的公共排行榜上排名第一。我们希望我们的方法可以成为一个强大的基线，以支持未来的人群计数研究。源代码将向社区发布。
2021-12-31 cs.CV
Image Crowd Counting Using Convolutional Neural Network and Markov Random Field
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；Institute of Smart City, Shanghai University（上海大学智慧城市研究院）
在本文中，我们提出了一种称为卷积神经网络-马尔可夫随机场（CNN-MRF）的方法来估计人群在一个静止的图像计数。我们首先将密集人群可见图像划分为重叠的补丁，然后使用深度卷积神经网络从每个补丁图像中提取特征，然后使用完全连接的神经网络回归局部补丁人群计数。由于局部区块具有重叠部分，因此相邻区块的拥挤计数具有高相关性。我们使用这种相关性和马尔可夫随机场平滑的局部补丁的计数结果。实验表明，我们的方法显着优于国家的最先进的方法在UCF和Shanghaitech人群计数数据集。
2017-10-17 cs.CV
C^3 Framework: An Open-source PyTorch Code for Crowd Counting
Northwestern Polytechnical University（西北工业大学）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本技术报告试图提供有效和坚实的工具包，解决了在该领域的人群计数，这是表示为人群计数代码框架（C $^3$ F）。C $^3$ F的贡献主要体现在三个方面：1）提出了一些具有国际先进水平的固体基线网络; 2)为进一步提高性能，提出了一些灵活的参数设置策略。3)开发了一个功能强大的日志系统来记录实验过程，可以提高每个实验的重现性。我们的代码在\url{https://github.com/gjy3035/C-3-Framework}上公开提供。此外，我们还发布了一个中文博客\footnote{\url{https://zhuanlan.zhihu.com/p/65650998}}来描述人群计数的细节和见解。
2019-07-05 cs.CV
Crowd Counting with Density Adaption Networks
Shanghai Advanced Research Institute, Chinese Academy of Sciences（中国科学院上海高等研究院）；University of Washington（华盛顿大学）；East China Normal University（华东师范大学）
人群计数是各种监控应用中的核心任务之一。一个实际的系统涉及在不同的闪电，相机的角度和遮挡状态下的动态场景中估计准确的人头数。以前的方法估计人数，尽管他们可以在不同的密度设置显着变化;人群往往是不均匀的分布，因此结果是不令人满意的。在本文中，我们提出了一个轻量级的深度学习框架，该框架可以自动估计人群密度水平，并在针对不同密度域显式训练的不同计数器网络之间进行自适应选择。在UCF_CC_50和ShanghaiTech两个人群计数数据集上的实验结果表明，该机制较现有方法有了很好的改进.此外，在单个GPU上的运行时速度为20 FPS。
2018-06-26 cs.CV
A Strong Baseline for Crowd Counting and Unsupervised People Localization
Tsinghua University（清华大学）
在本文中，我们探索了一个强大的基线人群计数和无监督的人定位算法的基础上估计密度图。首先，现有方法基于不同的骨干和各种训练技巧实现最先进的性能。我们收集了不同的骨干和训练技巧，并评估了改变它们的影响，并开发了一个有效的人群计数管道，它在多个数据集上显着降低了MAE和RMSE。我们还提出了一个聚类算法命名为孤立的KMeans密度图中的头部定位。该方法无需训练任何参数，可以在局部计数约束下将密度图划分为若干个子区域并找到中心，并且易于与现有方法集成。
2020-11-07 cs.CV
NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting and Localization
Northwestern Polytechnical University（西北工业大学）
在过去的十年中，人群计数和定位由于其广泛的应用，包括人群监测，公共安全，空间设计等吸引了研究人员的关注。许多卷积神经网络（CNN）被设计用于解决这个任务。然而，目前发布的数据集是如此之小，他们不能满足基于监督CNN算法的需求。为了解决这个问题，我们构建了一个大规模拥挤人群计数和定位数据集NWPU-Crowd，由5，109张图像组成，总共有2，133，375个带点和框的注释头部。与其他真实世界数据集相比，它包含各种照明场景，并具有最大的密度范围（0~ 20，033）。此外，开发了一个基准网站，用于公正地评估不同的方法，允许研究人员提交测试集的结果。基于提出的数据集，我们进一步描述了数据特征，评估了一些主流的最先进的（SOTA）方法的性能，并分析了新数据上出现的新问题。此外，基准测试部署在\url{https://www.crowdbenchmark.com/}上，数据集/代码/模型/结果可在\url{https://gjy3035.github.io/NWPU-Crowd-Sample-Code/}上获得。
2020-08-04 cs.CV
Accurate Gigapixel Crowd Counting by Iterative Zooming and Refinement
Aarhus University（奥胡斯大学）
针对千兆像素分辨率超出GPU内存和计算极限的人群计数难题，本文提出GigaZoom方法，通过迭代放大图像密集区域并细化密度图，在千兆像素人群计数任务上取得最优性能，将次优方法准确率提升42%。
2023-05-16 cs.CV
Crowd Counting via Weighted VLAD on Dense Attribute Feature Maps
Southeast University（东南大学）；The University of Adelaide（阿德莱德大学）
人群计数是计算机视觉中的一项重要任务，在视频监控中有着广泛的应用。虽然基于回归的框架在人群计数方面取得了很大的进步，但如何提高图像表示的区分能力仍然是一个悬而未决的问题。传统的整体特征用于人群计数往往无法捕捉图像的语义属性和空间线索。在本文中，我们提出将语义信息集成到学习位置感知特征集中，以实现准确的人群计数。首先，在卷积神经网络（CNN）的帮助下，原始像素空间被映射到密集的属性特征图上，其中像素级特征的每个维度指示某个语义类的概率强度。然后，局部感知特征（LAF）的思想建立在相邻的补丁空间金字塔探索更多的空间背景和本地信息。最后，传统的VLAD编码方法被扩展到一个更一般的形式，其中不同的系数权重考虑。实验结果验证了该方法的有效性。
2016-04-29 cs.CV
MAFNet: A Multi-Attention Fusion Network for RGB-T Crowd Counting
Northwestern Polytechnical University（西北工业大学）
RGB-Thermal（RGB-T）人群计数是一项具有挑战性的任务，它使用热图像作为RGB图像的补充信息来处理低光照或相似背景场景中基于单峰RGB的方法性能下降的问题。大多数现有的方法提出了精心设计的结构，用于RGB-T人群计数中的跨模态融合。然而，这些方法在编码RGB-T图像对中的跨模态上下文语义信息时存在困难。考虑到上述问题，我们提出了一种称为多注意力融合网络（MAFNet）的双流RGB-T人群计数网络，其目的是基于注意力机制从RGB和热模态中完全捕获长距离上下文信息。具体而言，在编码器部分，多注意力融合（MAF）模块被嵌入到两个模态特定分支的不同阶段，用于全局级的跨模态融合。此外，引入了多模态多尺度聚合（MMA）回归头，以充分利用跨模态的多尺度和上下文信息来生成高质量的人群密度图。在两个流行的数据集上的实验表明，所提出的MAFNet是有效的RGB-T人群计数，并达到了最先进的性能。
2022-08-14 cs.CV
Spatiotemporal Modeling for Crowd Counting in Videos
Hong Kong University of Science and Technology（香港科技大学）
感兴趣区域（ROI）人群计数可以被公式化为学习从图像或视频帧到人群密度图的映射的回归问题。最近，卷积神经网络（CNN）模型在人群计数方面取得了可喜的成果。然而，即使在处理视频数据时，基于CNN的方法仍然独立地考虑每个视频帧，忽略了相邻帧之间的强时间相关性。为了利用视频序列中非常有用的时间信息，我们提出了一种称为卷积LSTM（ConvLSTM）的最近深度学习模型的变体，用于人群计数。与以前基于CNN的方法不同，我们的方法完全捕获了空间和时间依赖性。此外，我们将ConvLSTM模型扩展为双向ConvLSTM模型，该模型可以在两个方向上访问远程信息。使用四个公开的数据集进行的大量实验证明了我们方法的可靠性和结合时间信息以提高人群计数准确性的有效性。此外，我们还进行了一些迁移学习实验，以表明一旦我们的模型在一个数据集上训练，它的学习经验可以很容易地转移到一个新的数据集，该数据集只包含很少的视频帧，用于模型自适应。
2017-07-25 cs.CV
Deep Spatial Regression Model for Image Crowd Counting
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；Institute of Smart City, Shanghai University（上海大学智慧城市研究院）；Anyang Institute of Technology（安阳工学院）
近年来，计算机视觉技术已被用于产生准确和通用的人群计数估计。由于严重的遮挡，外观变化，透视失真和照明条件，人群计数是一个非常具有挑战性的任务。为此，我们提出了一个深度空间回归模型（DSRM），用于计算具有任意视角和任意分辨率的静止图像中的个体数量。我们提出的模型是基于卷积神经网络（CNN）和长短期记忆（LSTM）。首先，我们将图像放入预训练的CNN中以提取一组高级特征。然后，使用相邻区域中的特征来回归具有考虑空间信息的LSTM结构的局部计数。最终的全局计数由局部块的总和获得。我们将我们的框架应用于几个具有挑战性的人群计数数据集，实验结果表明，我们的方法在人群计数和密度估计问题上的可靠性和有效性方面优于最先进的方法。
2017-10-26 cs.CV
Region-Aware Network: Model Human's Top-Down Visual Perception Mechanism for Crowd Counting
Xi'an Jiaotong University（西安交通大学）
背景噪声和尺度变化是人群计数中常见的问题。人类在扫视人群图像时，通过全局感受野的注意力、人群区域和人群区域的拥挤程度，可以立即知道人群的大致数量和位置。因此，在本文中，我们提出了一种新的反馈网络与区域感知块称为RANet通过模拟人类自顶向下的视觉感知机制。首先，我们引入了一个反馈架构来生成优先级地图，提供有关候选人群区域在输入图像的先验。先验知识使得RANet能够更多地关注人群区域。然后，我们设计了区域感知块，它可以通过全局感受野自适应地将上下文信息编码到输入图像中。更具体地说，我们以列向量的形式扫描整个输入图像及其优先级图，以获得估计它们的相似性的相关矩阵。获得的相关矩阵将被用来建立像素之间的全局关系。我们的方法在几个公共数据集上优于最先进的人群计数方法。
2022-06-20 cs.CV
Multi-modal Crowd Counting via a Broker Modality
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
针对多模态人群计数中模态差异大的问题，提出引入辅助中介模态构建三模态学习框架，用非扩散轻量融合模型生成中介模态并解决重影问题，仅增400万参数就取得良好效果。
2024-07-10 cs.CV
Attention to Head Locations for Crowd Counting
Shandong University（山东大学）；Nanyang Technological University（南洋理工大学）
遮挡、复杂背景、尺度变化和非均匀分布等对实际应用中的人群计数提出了很大的挑战。在本文中，我们提出了一种新的方法，使用注意力模型来利用头部位置，这是人群计数的最重要的线索。注意力模型估计概率图，其中高概率指示头部可能存在的位置。估计的概率图被用来抑制特征图中的非头部区域从几个多尺度特征提取分支的卷积神经网络人群密度估计，这使得我们的方法具有强大的复杂背景，规模变化和非均匀分布。此外，我们引入了一个相对偏差损失来补偿一个常用的训练损失，欧氏距离，以提高稀疏人群密度估计的准确性。在上海理工大学、UCF_CC_50和世博会10个数据集上的实验证明了该方法的有效性。
2018-06-27 cs.CV
Why Existing Multimodal Crowd Counting Datasets Can Lead to Unfulfilled Expectations in Real-World Applications
Hochschule Darmstadt（达姆施塔特应用技术大学）
本文利用现有多模态人群计数数据集系统比较单模态与多模态模型，发现现有数据集偏向热图像，无法普遍回答多模态是否更优，并提出未来数据集构建标准。
2023-04-13 cs.CV
Stacked Pooling: Improving Crowd Counting by Boosting Scale Invariance
Zhejiang University（浙江大学）；Southwest Jiaotong University（西南交通大学）；Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们探讨了跨尺度的相似性人群计数的情况下，不同尺度的区域往往表现出较高的视觉相似性。该特征在同一图像内和不同图像间具有普遍性，表明了人群计数模型尺度不变性的重要性。受此启发，在本文中，我们提出了简单但有效的池化模块变体，即，多核池化和堆栈池化，提高了卷积神经网络（CNN）的尺度不变性，有利于人群密度的估计和计数。具体地，多核池化包括池化具有多个感受野的核以捕获多尺度局部范围处的响应。堆栈池是多核池的一种等价形式，同时，它大大降低了计算成本。我们提出的池化模块没有引入额外的参数到模型中，可以很容易地取代香草池化层的实现。在两个基准人群计数数据集的实证研究中，堆叠池在大多数情况下击败了香草池层。
2018-08-22 cs.CV
CCTrans: Simplifying and Improving Crowd Counting with Transformer
Meituan（美团）
最近用于人群计数的方法大多基于卷积神经网络（CNN），其具有很强的提取局部特征的能力。但是，由于有限的接受域，CNN本质上无法对全球背景进行建模。但是，Transformer可以轻松地对全局上下文进行建模。在本文中，我们提出了一个简单的方法，称为CCTrans，以简化设计管道。具体来说，我们利用金字塔视觉Transformer骨干捕捉全局人群信息，金字塔特征聚合（PFA）模型结合低级别和高级别的功能，一个有效的回归头与多尺度扩张卷积（MDC）预测密度图。此外，我们为我们的管道定制了损失函数。在没有花里胡哨的情况下，大量的实验表明，我们的方法在弱监督和全监督人群计数的几个基准上都取得了新的最先进的结果。此外，我们目前在NWPU-Crowd的排行榜上排名第一。我们的代码将提供。
2021-09-29 cs.CV
