Locality-constrained Spatial Transformer Network for Video Crowd Counting
Fudan University（复旦大学）；ShanghaiTech University（上海科技大学）
与基于单幅图像的人群计数相比，视频提供了人群的时空信息，这有助于提高人群计数的鲁棒性。但人的平移、旋转和缩放会导致相邻帧之间的头部密度图发生变化。同时，在动态场景中，人的进出或被遮挡会导致人头数的变化。为了缓解视频人群计数中的这些问题，提出了一种局部约束空间Transformer网络（LPENS）。具体来说，我们首先利用卷积神经网络来估计每帧的密度图。然后，相邻帧之间的密度图的关系，局部约束空间Transformer（LST）模块被引入到下一帧的密度图估计与当前帧。为了便于性能评估，收集了一个大规模的视频人群计数数据集，该数据集包含从13个不同场景捕获的15K帧，其中约394K个带注释的头部。据我们所知，它是最大的视频人群计数数据集。在我们的数据集和其他人群计数数据集上进行的大量实验验证了我们的人群计数的有效性。
2019-07-18 cs.CV
ResnetCrowd: A Residual Deep Learning Architecture for Crowd Counting, Violent Behaviour Detection and Crowd Density Level Classification
Insight Centre for Data Analytics（数据洞察中心）；Dublin City University（都柏林城市大学）
在本文中，我们提出了ResnetCrowd，这是一种用于同时进行人群计数、暴力行为检测和人群密度水平分类的深度残差架构。为了训练和评估所提出的多目标技术，构建了一个新的100个图像数据集，称为多任务群。这个新的数据集是第一个完全注释了人群计数、暴力行为检测和密度水平分类的计算机视觉数据集。我们的实验表明，多任务方法提高了所有任务的个人任务性能，最明显的是暴力行为检测，其ROC曲线AUC（曲线下面积）提高了9%。经过训练的ResnetCrowd模型还在几个额外的基准上进行了评估，突出了针对多个目标训练的人群分析模型的卓越概括性。
2017-05-30 cs.CV
Reinforcing Local Feature Representation for Weakly-Supervised Dense Crowd Counting
由于大量的注释，完全监督的人群计数是一项艰巨的任务。很少有作品专注于每周监督的人群计数，其中只有全球人群数量可用于训练。每周监督人群计数的主要挑战是缺乏当地监督信息。为了解决这个问题，我们提出了一个自适应特征相似性学习（SFSL）网络和全局-局部一致性（GLC）损失，以加强局部特征表示。我们引入了一个特征向量，它代表了无偏特征估计的人。该网络自适应地更新特征向量，并利用特征相似性对人群数量进行回归。此外，所提出的GLC损失利用了来自全球和局部区域的网络估计之间的一致性。实验结果表明，我们提出的方法基于不同的骨干缩小了弱监督和全监督密集人群计数之间的差距。
2022-02-22 cs.CV
Leveraging Unlabeled Data for Crowd Counting by Learning to Rank
Computer Vision Center（计算机视觉中心）；MICC, University of Florence（佛罗伦萨大学MICC）
我们提出了一种新颖的人群计数方法，该方法在学习排名框架中利用大量可用的未标记人群图像。为了诱导裁剪图像的排名，我们使用这样的观察，即拥挤场景图像的任何子图像都保证包含与超级图像相同数量或更少的人。这使我们能够解决现有人群计数数据集大小有限的问题。我们收集两个人群场景数据集从谷歌使用关键字搜索和查询的例子图像检索，分别。我们展示了如何通过将学习排名纳入多任务网络来有效地从这些未标记的数据集中学习，该网络同时对图像进行排名并估计人群密度图。在两个最具挑战性的人群计数数据集上的实验表明，我们的方法获得了最先进的结果。
2018-03-08 cs.CV
WSCF-MVCC: Weakly-supervised Calibration-free Multi-view Crowd Counting
Shenzhen University（深圳大学）
本文提出WSCF-MVCC方法，通过弱监督策略和自监督排名损失实现校准-free多视角人群计数，提升计数精度与实用性。
2025-12-02 cs.CV
CrowdCLIP: Unsupervised Crowd Counting via Vision-Language Model
Baidu Inc.（百度公司）；Beijing University of Posts and Telecommunications（北京邮电大学）；Huazhong University of Science and Technology（华中科技大学）
提出无监督人群计数框架CrowdCLIP，利用CLIP模型的多模态排序损失和渐进式过滤策略，在五个数据集上超越现有无监督方法，跨数据集设置下甚至优于部分全监督方法。
2023-04-09 cs.CV
Ambient Sound Helps: Audiovisual Crowd Counting in Extreme Conditions
Baidu Research（百度研究院）；German Aerospace Center（德国航空航天中心）；City University of Hong Kong（香港城市大学）；Northwestern Polytechnical University（西北工业大学）；Technical University of Munich（慕尼黑工业大学）
视觉人群计数最近已经被研究作为一种方式，使人们在人群场景中从图像计数。尽管成功，但基于视觉的人群计数方法可能无法在极端条件下捕获信息特征，例如，夜间成像和遮挡。在这项工作中，我们介绍了一个新的任务，视听人群计数，其中视觉和听觉信息集成计数的目的。我们收集了一个大规模的基准测试，名为audiovISual Crowd cOunting（DISCO）数据集，由1，935个图像和相应的音频片段以及170，270个注释实例组成。为了融合这两种模式，我们利用线性特征融合模块，该模块对视觉和听觉特征进行仿射变换。最后，我们使用所提出的数据集和方法进行了广泛的实验。实验结果表明，在不同的光照、噪声和遮挡条件下，引入听觉信息有利于人群计数。将发布数据集和代码。代码和数据已提供
2020-05-16 cs.CV
Image Crowd Counting Using Convolutional Neural Network and Markov Random Field
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；Institute of Smart City, Shanghai University（上海大学智慧城市研究院）
在本文中，我们提出了一种称为卷积神经网络-马尔可夫随机场（CNN-MRF）的方法来估计人群在一个静止的图像计数。我们首先将密集人群可见图像划分为重叠的补丁，然后使用深度卷积神经网络从每个补丁图像中提取特征，然后使用完全连接的神经网络回归局部补丁人群计数。由于局部区块具有重叠部分，因此相邻区块的拥挤计数具有高相关性。我们使用这种相关性和马尔可夫随机场平滑的局部补丁的计数结果。实验表明，我们的方法显着优于国家的最先进的方法在UCF和Shanghaitech人群计数数据集。
2017-10-17 cs.CV
CrowdFormer: Weakly-supervised Crowd counting with Improved Generalizability
Department of Electrical Engineering, Indian Institute of Technology Indore, India（印度理工学院印度尔分校电子工程系）
提出基于金字塔视觉变换器的弱监督人群计数方法，通过全局上下文建模实现与现有方法相当的性能并展现显著泛化性。
2022-03-07 cs.CV
Crowd Counting with Density Adaption Networks
Shanghai Advanced Research Institute, Chinese Academy of Sciences（中国科学院上海高等研究院）；University of Washington（华盛顿大学）；East China Normal University（华东师范大学）
人群计数是各种监控应用中的核心任务之一。一个实际的系统涉及在不同的闪电，相机的角度和遮挡状态下的动态场景中估计准确的人头数。以前的方法估计人数，尽管他们可以在不同的密度设置显着变化;人群往往是不均匀的分布，因此结果是不令人满意的。在本文中，我们提出了一个轻量级的深度学习框架，该框架可以自动估计人群密度水平，并在针对不同密度域显式训练的不同计数器网络之间进行自适应选择。在UCF_CC_50和ShanghaiTech两个人群计数数据集上的实验结果表明，该机制较现有方法有了很好的改进.此外，在单个GPU上的运行时速度为20 FPS。
2018-06-26 cs.CV
Uncertainty Estimation and Sample Selection for Crowd Counting
Stony Brook University（石溪大学）；University of Central Florida（中佛罗里达大学）
我们提出了一种基于图像的人群计数的方法，可以预测人群密度图连同与预测密度图有关的不确定性值。为了获得预测的不确定性，我们使用高斯分布对人群密度值进行建模，并开发了一个卷积神经网络架构来预测这些分布。与现有的人群计数方法相比，我们的方法的一个关键优势是它能够量化其预测的不确定性。我们通过开发一种方法来说明了解预测不确定性的好处，以减少将计数网络适应新领域所需的人工注释工作。我们提出了样本选择策略，该策略利用在一个域上训练的网络的预测的密度和不确定性，从感兴趣的目标域中选择信息丰富的图像来获取人类注释。我们表明，我们的样本选择策略大大减少了标记的数据量从目标域需要适应计数网络训练的源域的目标域。从经验上讲，在UCF-QNRF数据集上训练的网络可以适应于超过NWPU数据集和Shanghaitech数据集上的先前最先进结果的性能，仅使用来自目标域的标记训练样本中的17个$\%$。
2020-10-04 cs.CV
CNN-based Cascaded Multi-task Learning of High-level Prior and Density Estimation for Crowd Counting
Rutgers University（罗格斯大学）
由于不均匀的尺度变化，在密集拥挤的场景中估计人群计数是一项极具挑战性的任务。在本文中，我们提出了一种新型的端到端级联CNN网络，以联合学习人群计数分类和密度图估计。将人群计数分类到各个组中相当于粗略地估计图像中的总计数，从而将高级先验结合到密度估计网络中。这使得网络中的层能够学习全局相关的判别特征，这些特征有助于以较低的计数误差估计高度精细的密度图。联合训练以端到端的方式进行。在具有高度挑战性的公开数据集上进行的大量实验表明，与最近的最新方法相比，该方法实现了更低的计数误差和更好的质量密度图。
2017-08-16 cs.CV
Enhancing and Dissecting Crowd Counting By Synthetic Data
Peking University（北京大学）；China University of Petroleum (Beijing)（中国石油大学（北京））
在本文中，我们提出了一个模拟的人群计数数据集CrowdX，它具有大规模，准确的标记，参数化实现，高保真度。使用该数据集作为数据增强的实验结果表明，所提出的精简高效的基准网络ESA Net的性能可以提高8.4%.在CrowdX上预训练的另外两个经典异构架构MCNN和CSRNet也显示出显着的性能改进。考虑许多影响因素来确定性能，例如背景、摄像机角度、人密度和分辨率。虽然这些因素很重要，但仍然缺乏关于它们如何影响人群计数的研究。由于CrowdX数据集具有丰富的注释信息，我们进行了大量的数据驱动的对比实验来分析这些因素。本文的研究为深入理解人群计数问题提供了参考，并在算法的实际部署中提出了一些有益的建议。
2022-01-22 cs.CV
JHU-CROWD++: Large-Scale Crowd Counting Dataset and A Benchmark Method
Johns Hopkins University（约翰斯·霍普金斯大学）
由于其在现实世界中的各种应用，基于单个图像的人群计数任务近年来受到了很多关注。最近，已经提出了几种方法来解决人群计数中遇到的各种问题。这些方法基本上基于卷积神经网络，其需要大量数据来训练网络参数。考虑到这一点，我们引入了一个新的大规模无约束人群计数数据集（JHU-CROWD++），其中包含“4，372”张图像和“151万”条注释。与现有数据集相比，拟议数据集是在各种不同的场景和环境条件下收集的。具体来说，该数据集包括几个具有基于天气的退化和照明变化的图像，使其成为一个非常具有挑战性的数据集。此外，该数据集还包含一组丰富的图像级和头部级注释。最近的几种方法进行了评估和比较，在这个数据集。数据集可以从http://www.crowd-counting.com下载。此外，我们提出了一种新的人群计数网络，通过残差估计逐步生成人群密度图。所提出的方法使用VGG 16作为骨干网络，并采用由最终层生成的密度图作为粗略预测，以使用残差学习以渐进的方式细化和生成更精细的密度图。此外，残差学习由基于不确定性的置信度加权机制引导，该机制仅允许高置信度残差在精化路径中流动。在最近的复杂数据集上对所提出的置信度引导的深度残差计数网络（CG-DRCN）进行了评估，并且在错误方面取得了显着的改善。
2020-11-02 cs.CV
Attend To Count: Crowd Counting with Adaptive Capacity Multi-scale CNNs
Huazhong University of Science and Technology（华中科技大学）；Microsoft Research & AI（微软研究院与人工智能部门）；Zhejiang University（浙江大学）；IBM & AI Foundations Learning（IBM人工智能基础学习部门）
由于人群分布的变化很大，人群计数是一项具有挑战性的任务。以往的方法往往采用单一的固定结构来处理整幅图像，无法处理不同人群密度的复杂场景。因此，我们提出了自适应容量多尺度卷积神经网络（ACM-CNN），这是一种新的人群计数方法，可以将不同的容量分配给输入的不同部分。直观的感觉是，该模型应该关注输入图像的重要区域，并以人群密集程度为条件优化其容量分配。ACM-CNN由三种类型的模块组成：粗网络，细网络和平滑网络。粗网络用于通过计数注意力机制探索需要聚焦的区域，并生成粗特征图。然后，精细网络将感兴趣的区域处理成精细的特征图。为了减轻融合带来的分割感，平滑网络被设计成将两个特征图有机地结合起来，以产生高质量的密度图。在五个主流数据集上进行了广泛的实验。结果表明，该模型的密度估计和人群计数任务的有效性。
2019-08-26 cs.CV
RGB-T Multi-Modal Crowd Counting Based on Transformer
Anhui University（安徽大学）
人群计数旨在估计场景中的人数。现有的基于彩色图像的人群计数方法在光照条件较差的情况下由于目标不可见而无法很好地进行计数。随着红外摄像机的广泛应用，研究了基于彩色和热像的人群计数方法。现有的方法只实现了多模态融合，没有统计目标约束。为了更好地挖掘多模态信息，我们使用计数引导的多模态融合和模态引导的计数增强来实现令人印象深刻的性能。提出的计数引导的多模态融合模块利用多尺度令牌Transformer在计数信息的引导下交互两个模态信息，并从令牌的角度感知不同的尺度。模态引导的计数增强模块采用多尺度可变形Transformer解码器结构来增强一种模态特征和另一种模态的计数信息。在公开的RGBT-CC数据集上的实验表明，该方法刷新了现有的结果。https://github.com/liuzywen/RGBTCC
2023-01-08 cs.CV
NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting and Localization
Northwestern Polytechnical University（西北工业大学）
在过去的十年中，人群计数和定位由于其广泛的应用，包括人群监测，公共安全，空间设计等吸引了研究人员的关注。许多卷积神经网络（CNN）被设计用于解决这个任务。然而，目前发布的数据集是如此之小，他们不能满足基于监督CNN算法的需求。为了解决这个问题，我们构建了一个大规模拥挤人群计数和定位数据集NWPU-Crowd，由5，109张图像组成，总共有2，133，375个带点和框的注释头部。与其他真实世界数据集相比，它包含各种照明场景，并具有最大的密度范围（0~ 20，033）。此外，开发了一个基准网站，用于公正地评估不同的方法，允许研究人员提交测试集的结果。基于提出的数据集，我们进一步描述了数据特征，评估了一些主流的最先进的（SOTA）方法的性能，并分析了新数据上出现的新问题。此外，基准测试部署在\url{https://www.crowdbenchmark.com/}上，数据集/代码/模型/结果可在\url{https://gjy3035.github.io/NWPU-Crowd-Sample-Code/}上获得。
2020-08-04 cs.CV
Weighing Counts: Sequential Crowd Counting by Reinforcement Learning
Huazhong University of Science & Technology（华中科技大学）；The University of Adelaide（阿德莱德大学）
我们将计数表示为一个顺序决策问题，并提出了一种新的可通过深度强化学习解决的人群计数模型。与直接输出计数值的现有计数模型相比，我们将一步估计划分为一系列更容易和更易于处理的子决策问题。这种顺序决策的性质正好对应于现实秤称重中的物理过程。受秤称重的启发，我们提出了一种新的“计数秤”，称为LibraNet，其中计数值由重量类推。通过虚拟地将人群图像放置在尺度的一侧，LibraNet（代理）顺序地学习将适当的权重放置在另一侧以匹配人群计数。在每一步中，LibraNet根据当前人群图像特征和放在刻度盘（状态）上的权重，从权重框（预定义的动作池）中选择一个权重（动作）。LibraNet需要根据指针的反馈（Q值）学习平衡刻度。我们通过可视化LibraNet如何选择行动的决策过程来证明LibraNet确实实现了规模加权。大量的实验证明了我们的设计选择的有效性，并报告了一些人群计数基准的最先进的结果。我们还展示了LibraNet良好的跨数据集泛化。代码和模型可在https://git.io/libranet上获得
2020-07-16 cs.CV
Domain-General Crowd Counting in Unseen Scenarios
Huawei London Research Center（华为伦敦研究中心）
跨人群数据的域转移严重阻碍了人群计数模型推广到不可见的场景。尽管领域自适应人群计数方法在一定程度上缩小了这一差距，但它们仍然依赖于目标领域数据来使其模型适应（例如微调）特定领域。在本文中，我们的目标是训练一个模型的基础上，一个单一的源域，可以推广到任何看不见的领域。这属于领域泛化的范畴，在人群计数中尚未探索。首先，我们引入了一个动态的子域划分方案，将源域划分为多个子域，这样我们就可以启动一个元学习框架的领域泛化。在元学习过程中，子域划分被动态地细化。其次，为了将图像特征中的领域不变信息和领域特定信息分离开来，我们设计了领域不变和领域特定的群体记忆模块对图像特征进行重新编码。两种类型的损失，即特征重构和正交损失，被设计为使这种解纠缠。在SHA、SHB、QNRF和NWPU等几个标准人群计数基准上进行的大量实验表明，该方法具有很强的通用性。
2023-03-28 cs.CV
Deep Spatial Regression Model for Image Crowd Counting
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；Institute of Smart City, Shanghai University（上海大学智慧城市研究院）；Anyang Institute of Technology（安阳工学院）
近年来，计算机视觉技术已被用于产生准确和通用的人群计数估计。由于严重的遮挡，外观变化，透视失真和照明条件，人群计数是一个非常具有挑战性的任务。为此，我们提出了一个深度空间回归模型（DSRM），用于计算具有任意视角和任意分辨率的静止图像中的个体数量。我们提出的模型是基于卷积神经网络（CNN）和长短期记忆（LSTM）。首先，我们将图像放入预训练的CNN中以提取一组高级特征。然后，使用相邻区域中的特征来回归具有考虑空间信息的LSTM结构的局部计数。最终的全局计数由局部块的总和获得。我们将我们的框架应用于几个具有挑战性的人群计数数据集，实验结果表明，我们的方法在人群计数和密度估计问题上的可靠性和有效性方面优于最先进的方法。
2017-10-26 cs.CV
Adaptive Mixture Regression Network with Local Counting Map for Crowd Counting
Beihang University（北京航空航天大学）；Shunfeng Technology (Beijing) Co., Ltd（顺丰科技（北京）有限公司）
人群计数任务旨在估计位于图像或视频帧中的人数。现有的方法广泛采用密度图作为训练目标，以优化点到点的损失。而在测试阶段，我们只关注群体数量与密度图的全局总和之间的差异，这表明训练目标与评价标准之间的不一致。为了解决这个问题，我们引入了一个新的目标，命名为本地计数图（LCM），以获得更准确的结果比基于密度图的方法。此外，我们还提出了一个自适应混合回归框架，以粗到细的方式，以进一步提高人群估计的精度三个模块：规模感知模块（SAM），混合回归模块（MRM）和自适应软区间模块（ASIM）。具体来说，SAM充分利用了来自不同卷积特征的上下文和多尺度信息; MRM和ASIM对图像的局部补丁执行更精确的计数回归。与现有方法相比，该方法在典型数据集上具有更好的性能。源代码可在https://github.com/xiyang1012/Local-Crowd-Counting上获得。
2020-05-13 cs.CV
A Deeply-Recursive Convolutional Network for Crowd Counting
Xiamen University（厦门大学）
图像中人群数量的估计在视频监控、交通监控、公共安全和城市规划等方面有着广泛的应用。最近，基于卷积神经网络（CNN）的方法已被证明在人群计数中比使用手工特征的传统方法更有效。然而，现有的基于CNN的方法仍然遭受大量的参数和大的存储空间，这需要高的存储和计算资源，从而限制了现实世界的应用。因此，我们提出了一个基于ResNet块的深度递归网络（DR-ResNet）来进行人群计数。递归结构使网络更深入，同时保持参数数量不变，这增强了网络在人群背景下捕获统计信息的能力。此外，我们还从北京公交车站的视频监控数据中生成了一个新的数据集。实验结果表明，该方法优于大多数国家的最先进的方法与少得多的参数。
2018-05-15 cs.CV
A Survey of Recent Advances in CNN-based Single Image Crowd Counting and Density Estimation
从人群图像估计数量和密度图具有广泛的应用，例如视频监控、交通监控、公共安全和城市规划。此外，为人群计数开发的技术可以应用于其他研究领域的相关任务，如细胞显微镜，车辆计数和环境调查。人群计数和密度图估计的任务充满了许多挑战，如遮挡，非均匀密度，场景内和场景间的比例和视角变化。尽管如此，在过去的几年里，人群计数分析已经从早期的方法，往往是有限的人群密度和规模的小变化，以目前的最先进的方法，已经开发出的能力，成功地执行在广泛的场景。近年来人群计数方法的成功在很大程度上归功于深度学习和具有挑战性的数据集的出版物。在本文中，我们提供了一个全面的调查最近的卷积神经网络（CNN）为基础的方法，已经证明了显着的改进，在很大程度上依赖于手工制作的表示。首先，我们简要回顾了使用手工制作表示的开创性方法，然后详细研究了基于深度学习的方法和最近发布的数据集。此外，我们讨论了现有的基于CNN的方法的优点和缺点，并确定在这个快速发展的领域有前途的研究途径。
2017-07-05 cs.CV
A Self-Training Approach for Point-Supervised Object Detection and Counting in Crowds
School of Electrical and Electronics Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
在本文中，我们提出了一种名为Crowd-SDNet的新型自训练方法，该方法使典型的对象检测器仅使用点级注释（即，用点标记对象）来估计拥挤对象的中心点和大小。具体来说，在训练过程中，我们利用可用的点注释来直接监督对象中心点的估计。基于局部均匀分布的假设，我们从点级监督信息初始化伪对象大小，然后利用这些信息通过拥挤感知损失来引导对象大小的回归。同时，我们提出了一个信心和秩序意识的细化方案，不断完善的初始伪对象的大小，使检测器的能力越来越提高，同时检测和计数人群中的对象。此外，针对极端拥挤的场景，我们提出了一种有效的解码方法，以提高检测器的表示能力。在WiderFace基准测试上的实验结果表明，我们的方法在检测和计数任务下都明显优于最先进的点监督方法，即，我们的方法使平均精度提高了10%以上，计数误差减少了31.2%。此外，我们的方法在人群计数和定位数据集上获得了最佳结果（即，ShanghaiTech和NWPU-Crowd）和车辆计数数据集（即，CARPK和PUCPR+）与最先进的检测计数方法进行比较。该代码将在https://github.com/WangyiNTU/Point-supervised-crowd-detection上公开发布。
2021-02-18 cs.CV
Distribution Matching for Crowd Counting
Stony Brook University（石溪大学）
在人群计数中，每个训练图像包含多个人，其中每个人都由一个点注释。现有的人群计数方法需要使用高斯来平滑每个注释点或估计给定注释点的每个像素的可能性。在本文中，我们表明，强加高斯注释伤害泛化性能。相反，我们建议使用人群计数（DM计数）的分布匹配。在DM-Count中，我们使用最优传输（OT）来衡量归一化预测密度图和归一化地面真实密度图之间的相似性。为了稳定OT计算，我们在我们的模型中包含了全变差损失。我们证明了DM-Count的泛化误差界比高斯平滑方法的泛化误差界更紧。在平均绝对误差方面，DM-Count在两个大规模计数数据集UCF-QNRF和NWPU上的性能大大优于先前的最先进的方法，并在ShanghaiTech和UCF-CC 50数据集上取得了最先进的结果。DM-Count将最新公布结果的误差降低了约16%。代码可在https://github.com/cvlab-stonybrook/DM-Count上获得。
2020-10-25 cs.CV
Why Existing Multimodal Crowd Counting Datasets Can Lead to Unfulfilled Expectations in Real-World Applications
Hochschule Darmstadt（达姆施塔特应用技术大学）
本文利用现有多模态人群计数数据集系统比较单模态与多模态模型，发现现有数据集偏向热图像，无法普遍回答多模态是否更优，并提出未来数据集构建标准。
2023-04-13 cs.CV
People Counting in High Density Crowds from Still Images
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们提出了一种方法，估计在高密度的人群从静止图像的人数。该方法通过融合来自多个源的信息来估计计数。现有的大多数关于人群计数的工作都是针对非常小的人群（几十个人），并使用来自视频的时间信息。我们的方法仅使用静态图像来估计高密度图像（数百到数千个个体）中的计数。在这种规模下，我们不能只依赖一组特征来估计计数。因此，我们使用多个源，即。兴趣点（SIFT），傅立叶分析，小波分解，灰度共生矩阵功能和低置信度的头部检测，估计计数。这些来源中的每一个都给出了计数的单独估计以及置信度和其他统计测量，然后将其组合以获得最终估计。我们测试我们的方法在现有的数据集上的50张图像，其中包含超过64000个人。此外，我们还添加了另外50张带注释的人群图像，并在包含87000多人的100张图像的完整数据集上进行了测试。每个图像的计数范围为81至4633。我们报告的性能方面的平均绝对误差，这是一个衡量的准确性的方法，和平均归一化的绝对误差，这是一个衡量的鲁棒性。
2015-07-30 cs.CV
Semi-Supervised Crowd Counting via Self-Training on Surrogate Tasks
Sichuan University（四川大学）；The University of Adelaide（阿德莱德大学）；University of Wollongong（卧龙岗大学）；Dalian University of Technology（大连理工大学）
大多数现有的人群计数系统依赖于对象位置注释的可用性，这可能是昂贵的获得。为了降低标注成本，一个有吸引力的解决方案是利用大量未标记的图像以半监督的方式构建人群计数模型。本文从特征学习的角度研究了半监督的人群计数问题。我们的核心思想是利用未标记的图像来训练通用特征提取器，而不是人群计数器的整个网络。这种设计的基本原理是，学习特征提取器可以更可靠和鲁棒地应对从未标记数据中产生的不可避免的噪声监督。此外，在一个好的特征提取器之上，可以构建一个具有更少密度图注释的密度图回归器。具体来说，我们提出了一种新的半监督人群计数方法，该方法基于两个创新部分：（1）从原始密度图回归任务中导出一组相互关联的二值分割任务作为替代预测目标;（2）利用提出的自学习算法，从标记和未标记数据中学习代理目标预测器，训练方案，充分利用这些二进制分割任务的基本约束。通过实验，我们表明，该方法优于现有的半监督人群计数方法和其他代表性的基线。
2020-07-18 cs.CV
Learning from Synthetic Data for Crowd Counting in the Wild
Northwestern Polytechnical University（西北工业大学）
近年来，由于其广泛的应用（如视频监控、公共安全），人群场景的人数统计是一个热门话题。野外环境多变，人员众多，现有的方法难以奏效，这是野外环境下的一项艰巨任务。此外，由于数据的稀缺性，许多方法在不同程度上遭受过拟合。为了解决以上两个问题，首先，我们开发了一个数据采集器和标注器，它可以生成合成的人群场景，并同时注释它们，而不需要任何人力。在此基础上，我们建立了一个大规模的，多样化的合成数据集。其次，我们提出了两种利用合成数据来提高人群计数性能的方案：1）在合成数据上预训练人群计数器，然后使用真实数据对其进行微调，这显著提高了模型在真实数据上的性能; 2）提出了一种通过领域自适应的人群计数方法，该方法可以将人类从繁重的数据注释中解放出来。大量的实验表明，第一种方法在四个真实数据集上达到了最先进的性能，第二种方法优于我们的基线。数据集和源代码可在https://gjy3035.github.io/GCC-CL/上获得。
2019-03-08 cs.CV
TransCrowd: weakly-supervised crowd counting with transformers
Huazhong University of Science and Technology（华中科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
主流的人群计数方法通常利用卷积神经网络（CNN）来回归密度图，需要点级注释。然而，用一个点注释每个人是一个昂贵而费力的过程。在测试阶段，不考虑点级注释来评估计数精度，这意味着点级注释是冗余的。因此，需要开发仅依赖于计数级注释的弱监督计数方法，这是一种更经济的标记方式。当前的弱监督计数方法采用CNN通过图像到计数范例来回归人群的总计数。然而，对于上下文建模具有有限的感受野是这些基于弱监督CNN的方法的内在限制。因此，这些方法不能实现令人满意的性能，在现实世界中的应用有限。Transformer是自然语言处理（NLP）中流行的序列到序列预测模型，它包含一个全局感受野。在本文中，我们提出了transCrowd，它重新制定了弱监督的人群计数问题的角度来看，基于Transformers的顺序计数。我们观察到，所提出的transCrowd通过使用Transformer的自注意力机制，可以有效地提取语义人群信息。据我们所知，这是第一个工作，采用纯Transformer的人群计数研究。在五个基准数据集上的实验表明，与所有基于弱监督CNN的计数方法相比，所提出的TransCrowd具有更好的性能，与一些流行的全监督计数方法相比，具有很强的竞争力。
2022-09-08 cs.CV
Composition Loss for Counting, Density Map Estimation and Localization in Dense Crowds
Carnegie Mellon University（卡内基梅隆大学）；University of Central Florida（中佛罗里达大学）；NVIDIA Inc.（英伟达公司）；Qatar University（卡塔尔大学）；University of Warwick（华威大学）
每年有数百万人聚集在一起，从朝圣到抗议，从音乐会到马拉松，从节日到葬礼，视觉人群分析正在成为计算机视觉的一个新领域。特别是，在高度密集的人群中计数是一个具有挑战性的问题，在人群安全和管理方面具有深远的适用性，以及衡量抗议和示威的政治意义。在本文中，我们提出了一种新的方法，同时解决了在一个给定的密集人群图像的计数，密度图估计和定位的人的问题。我们的公式是基于一个重要的观察，这三个问题是内在相关的，使损失函数优化深度CNN可分解。由于定位需要高质量的图像和注释，我们引入了UCF-QNRF数据集，克服了以前数据集的缺点，包含125万人手动标记点注释。最后，我们提出了评估措施，并与最近的深度CNN网络进行了比较，包括专门为人群计数开发的网络。我们的方法在新数据集上的表现明显优于最先进的方法，新数据集是最具挑战性的数据集，在最多样化的场景中具有最多的人群注释。
2018-08-02 cs.CV
Reducing Spatial Labeling Redundancy for Semi-supervised Crowd Counting
South China University of Technology（华南理工大学）；Hong Kong Polytechnic University（香港理工大学）；Hong Kong University of Science and Technology（香港科技大学）
标记是繁重的人群计数，因为它应该注释人群图像中的每个人。最近，已经提出了几种方法用于半监督人群计数，以减少标记工作。在有限的标记预算下，他们通常会选择一些人群图像，并密集地标记每个图像中的所有个体。尽管有希望的结果，我们认为无或全部标记策略是次优的，因为每个人群图像中的密集标记的个体通常看起来相似，而大量未标记的人群图像可能包含完全不同的个体。为此，我们提出打破以往方法的标记链，并首次尝试减少空间标记冗余的半监督人群计数。首先，而不是注释每个人群图像中的所有区域，我们建议只注释有代表性的。我们从垂直和水平两个方向分析了区域的代表性，并将它们表示为高斯混合模型的聚类中心。此外，为了利用丰富的未标记区域，我们利用每个人群图像中个体之间的相似性，通过特征传播直接监督未标记区域，而不是以前方法中采用的容易出错的标签传播。通过这种方式，我们可以将由个体相似性引起的原始空间标记冗余转化为未标记区域上的有效监督信号。在广泛使用的基准测试上的大量实验表明，我们的方法可以大大优于以前的最佳方法。
2021-08-06 cs.CV
CrowdCue: Specialist-Cue Conditioning for Vision-Language Crowd Counting
University of Doha for Science and Technology（多哈科技大学）
针对视觉语言模型人群计数精度不足的问题，提出CrowdCue方法，通过将专家模型的整数计数以文本或视觉符号形式条件化输入VLM，显著提升计数精度，最佳MAE达62.65。
2026-09-22 cs.CV
FusionCounting: Robust visible-infrared image fusion guided by crowd counting via multi-task learning
School of Information Science and Engineering, Yanshan University（燕山大学信息科学与工程学院）；Fusion Intelligence Laboratory, Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系融合智能实验室）
针对现有可见光-红外图像融合下游引导任务的局限，该研究提出多任务框架FusionCounting，将人群计数作为融合引导，结合动态损失加权与对抗训练，同时提升融合质量与计数性能。
2025-08-31 cs.CV
Crowd counting via scale-adaptive convolutional neural network
Tencent Youtu（腾讯优图）；Inria Rennes（雷恩国立信息与自动化研究所）；Shanghai Jiaotong University（上海交通大学）
人群计数的任务是自动估计人群图像中的行人数量。为了应对人群图像中普遍存在的尺度和视角变化，最先进的方法采用多列CNN架构来回归人群图像的密度图。多列具有不同的感受野，对应于不同尺度的行人（头部）。相反，我们提出了一个规模自适应的CNN（SaCNN）架构与固定的小感受野的骨干。我们从多个层中提取特征图，并将它们调整为具有相同的输出大小;我们将它们组合起来以生成最终的密度图。通过对密度图进行积分来计算人数。我们在ShanghaiTech、UCF_CC_50和WorldExpo数据集上进行了大量的实验，并在一个新的数据集SmartCity上进行了大量的实验，该数据集是我们收集的用于人群场景的。结果表明SaCNN在最先进的技术上有显着的改进。
2018-02-06 cs.CV
ProgRoCC: A Progressive Approach to Rough Crowd Counting
School of Computer Science, Nanjing University of Information Science and Technology（南京信息工程大学计算机科学学院）；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络安全学院）；School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机科学学院）；School of Computing, Macquarie University（麦考瑞大学计算机学院）；Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）
针对人群数量增多时枚举技术不可行且估计不可靠的问题，提出基于CLIP的渐进式粗略人群计数方法ProgRoCC，采用从粗到细的渐进估计学习策略和视觉语言匹配适配器，在仅需粗略标注的情况下优于现有技术。
2025-04-18 cs.CV
LDC-Net: A Unified Framework for Localization, Detection and Counting in Dense Crowds
Northwestern Polytechnical University（西北工业大学）
视觉人群分析的快速发展显示了通过定位甚至检测来计算人数的趋势，而不是简单地对密度图求和。这也启发我们回到该领域的本质，检测到计数，这可以给更丰富的人群信息，并有更多的实际应用。然而，近年来的人群定位和检测研究存在两个局限性：1）传统的检测方法不能处理密集人群和大规模变化的情况; 2）密度图探试法在位置和盒子预测方面存在不足，特别是在高密度或大规模人群中。本文从一个新的角度设计了一个适合密集人群定位、检测和计数的基线，为了方便起见，我们将其命名为LDC-Net，它具有以下特点：1）一个强大但最小的范式，只通过预测位置图和大小图来检测对象，这赋予了在任何容量的场景中检测的能力（$0 \sim 10,000+$人）; 2）在面对大的变化时具有出色的跨尺度能力，例如以$0 \sim 100,000+$像素为单位的头部范围; 3）在位置和框预测任务中实现优异的性能，以及与基于密度的方法相比具有竞争力的计数性能。最后，将发布源代码和预训练模型。
2021-10-10 cs.CV
Fine-Grained Crowd Counting
City University of Hong Kong（香港城市大学）
目前的人群计数算法只关注图像中的人数，缺乏低层次的人群细粒度信息。对于许多实际应用，图像中的总人数不如每个子类别中的人数有用。例如，在一个示例中，知道排队等候或浏览的人数可以帮助零售商店;知道站立/坐下的人数可以帮助餐馆/餐馆;知道暴力/非暴力的人数可以帮助警察管理人群。在本文中，我们提出了细粒度的人群计数，它区分人群到类别的基础上的低级别的行为属性（例如站/坐或暴力行为），然后计算每个类别中的人数。为了使这一领域的研究成为可能，我们构建了一个新的数据集，其中包含四个真实世界的细粒度计数任务：在人行道上行驶的方向，站立或坐着，排队或不排队，以及是否表现出暴力行为。由于不同人群类别的外观特征相似，因此细粒度人群计数的挑战是有效地利用上下文信息来区分类别。我们提出了一个两个分支的架构，包括一个密度图估计分支和一个语义分割分支。我们提出了两个改进策略，以提高这两个分支的预测。首先，为了编码上下文信息，我们提出了由密度图预测引导的特征传播，这消除了传播过程中背景特征的影响。其次，我们提出了一个互补的注意力模型，以共享两个分支之间的信息。实验结果证实了该方法的有效性。
2020-07-13 cs.CV
Joint CNN and Transformer Network via weakly supervised Learning for efficient crowd counting
Chongqing University（重庆大学）；Huazhong University of Science and Technology（华中科技大学）
目前，对于人群计数，基于密度图估计的全监督方法是主流研究方向。然而，这样的方法需要在图像中的人的位置级注释，这是费时费力的。因此，迫切需要一种仅依赖计数级标注的弱监督方法。由于CNN不适合对全局上下文和图像块之间的交互进行建模，因此通过CNN进行弱监督学习的人群计数通常不能表现出良好的性能。提出了基于Transformer的弱监督模型，用于全局上下文建模和对比度特征学习。然而，Transformer直接将人群图像划分为一系列令牌，由于每个行人都是独立的个体，并且网络的参数数量非常大，这可能不是一个很好的选择。因此，我们提出了一个联合CNN和Transformer网络（JCTNet）通过弱监督学习人群计数在本文中。JCTNet由三部分组成：CNN特征提取模块（CFM）、Transformer特征提取模块（TFM）和计数回归模块（CRM）。CFM提取人群的语义信息特征，将其分片发送给TRM进行全局上下文建模，CRM用于预测人群数量。大量的实验和可视化结果表明，JCTNet可以有效地集中在人群区域，并在五个主流数据集上获得优异的弱监督计数性能。与纯Transformer工作相比，该模型的参数数可减少约67%~73%。我们还试图解释仅受计数级注释约束的模型仍然可以聚焦于人群区域的现象。我们相信我们的工作可以促进这一领域的进一步研究。
2022-03-12 cs.CV
Domain-adaptive Crowd Counting via High-quality Image Translation and Density Reconstruction
Northwestern Polytechnical University（西北工业大学）
最近，使用监督学习的人群计数取得了显着的改善。然而，大多数计数器依赖于大量手动标记的数据。随着合成人群数据的发布，一个潜在的替代方案是将知识从他们转移到真实数据，而无需任何手动标签。然而，在转移过程中没有有效抑制畴隙和输出精细密度图的方法。为了解决上述问题，本文提出了一个域自适应人群计数（DACC）框架，它包括一个高质量的图像翻译和密度图重建。具体而言，前者侧重于将合成数据转换为真实感图像，通过分离领域共享/独立特征和设计内容感知的一致性损失来提高翻译质量。后者的目标是在真实场景上生成伪标签，以提高预测质量。接下来，我们使用这些伪标签重新训练最终计数器。在六个真实数据集上的自适应实验表明，该方法优于现有的方法。
2021-10-28 cs.CV
Consistent-Point: Consistent Pseudo-Points for Semi-Supervised Crowd Counting and Localization
School of Computer Science, Wuhan University（武汉大学计算机学院）
本文提出了一种基于一致伪点的半监督方法，通过增强伪点的位置和类别一致性，提升人群计数和定位的性能。
2025-03-16 cs.CV
Active Crowd Counting with Limited Supervision
Tongji University（同济大学）
为了从人群图像中学习可靠的人计数器，通常需要头部中心注释。然而，在密集的人群中注释头部中心是一个费力和乏味的过程。在本文中，我们提出了一个主动学习框架，它可以在有限的监督下实现准确的人群计数：给定一个小的标记预算，而不是随机选择图像进行注释，我们首先引入一个主动标记策略来注释数据集中信息量最大的图像，并在此基础上学习计数模型。重复该过程，使得在每个循环中，我们选择人群密度不同且与先前选择不同的样本。在最后一个循环中，当标签预算得到满足时，大量的未标记数据也被利用：引入分布分类器来对齐标记数据和未标记数据;此外，我们建议混合网络中数据的分布标签和潜在表示，以特别改善训练样本之间的分布对齐。我们遵循流行的密度估计管道进行人群计数。在上海理工大学、UCF CC 50、MAll、TRANCOS和DCC等标准基准上进行了大量的实验。通过注释有限数量的图像（例如，数据集的10%），我们的方法达到的性能水平与利用数据集的完整注释的最新技术水平相差不远。
2020-07-14 cs.CV
Locate, Size and Count: Accurately Resolving People in Dense Crowds via Detection
Indian Institute of Science（印度科学学院）
我们引入了一个检测框架，密集人群计数和消除需要流行的密度回归范例。典型的计数模型预测图像的人群密度，而不是检测每个人。这些回归方法，在一般情况下，无法定位的人足够准确的大多数应用程序以外的计数。因此，我们采用的架构，定位每个人在人群中，大小的斑点头与限界框，然后计数。与普通的物体或人脸检测器相比，在设计这样的检测系统时存在某些独特的挑战。其中一些是密集人群中巨大多样性的直接后果，以及连续预测盒子的需要。我们解决了这些问题，并开发了我们的LSC-CNN模型，该模型可以可靠地检测稀疏到密集人群中的人头。LSC-CNN采用多列架构，自上而下的反馈处理，以更好地解决人员问题，并在多个分辨率下生成精细的预测。有趣的是，所提出的训练机制只需要点头部注释，但可以估计头部的近似大小信息。我们证明了LSC-CNN不仅比现有的密度回归器具有更好的定位，而且在计数方面也表现出色。我们方法的代码可以在https://github.com/val-iisc/lsc-cnn上找到。
2020-02-15 cs.CV
Scale-Aware Crowd Count Network with Annotation Error Correction
National Yang Ming Chiao Tung University（阳明交通大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
提出尺度感知人群计数网络SACC-Net，通过空间变化高斯分布同时建模标注误差与尺度变化，并在四个公开数据集上超越现有方法。
2023-12-28 cs.CV
Pushing the Frontiers of Unconstrained Crowd Counting: New Dataset and Benchmark Method
Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们提出了一种新的人群计数网络，通过残差估计逐步生成人群密度图。所提出的方法使用VGG 16作为骨干网络，并采用由最终层生成的密度图作为粗略预测，以使用残差学习以渐进的方式细化和生成更精细的密度图。此外，残差学习由基于不确定性的置信度加权机制引导，该机制仅允许高置信度残差在精化路径中流动。在最近的复杂数据集上对所提出的置信度引导的深度残差计数网络（CG-DRCN）进行了评估，并且在错误方面取得了显着的改善。此外，我们引入了一个新的大规模无约束人群计数数据集（JHU-CROWD），就图像数量而言，它比最近的人群计数数据集大2.8。它包含4，250张图像和111万条注释。与现有数据集相比，拟议数据集是在各种不同的场景和环境条件下收集的。具体来说，该数据集包括几个图像，除了许多干扰图像外，还具有基于天气的退化和照明变化，使其成为一个非常具有挑战性的数据集。此外，该数据集包括图像级和头部级的丰富注释。最近的几种方法进行了评估和比较，在这个数据集。
2019-10-28 cs.CV
Point-Query Quadtree for Crowd Counting, Localization, and More
Huazhong University of Science and Technology（华中科技大学）；The University of Sydney（悉尼大学）
该研究将人群计数转化为可分解点查询过程，提出基于点查询四叉树的PET模型，通过数据驱动的四叉树动态分裂处理疏密区域，首次实现单模型跨范式处理多类人群相关任务并达SOTA性能。
2023-08-26 cs.CV
Active View Selection for Scene-level Multi-view Crowd Counting and Localization with Limited Labeling Budget
Shenzhen University（深圳大学）；City University of Hong Kong（香港城市大学）
该研究针对有限标注预算下场景级多视图人群计数与定位问题，提出主动视图选择方法AVS，结合视图与场景几何及下游任务预测，实现跨场景应用且性能优于现有方法。
2026-08-07 cs.CV
Self-supervised Domain Adaptation in Crowd Counting
University of Arkansas（阿肯色大学）
自我训练的人群计数是计算机视觉的重要挑战之一，但尚未得到认真的研究。在实践中，完全监督的方法通常需要大量的人工注释资源。为了应对这一挑战，这项工作介绍了一种新的方法，利用现有的数据集与地面真相，以产生更强大的预测未标记的数据集，命名为领域自适应，在人群计数。当网络使用标记数据进行训练时，来自目标域的没有标记的样本也被添加到训练过程中。在这个过程中，除了并行设计的对抗训练过程之外，还计算并最小化熵图。在Shanghaitech，UCF_CC_50和UCF-QNRF数据集上的实验证明了我们的方法在跨域设置中比其他国家的艺术更普遍的改进。
2022-06-27 cs.CV
Feature-aware Adaptation and Density Alignment for Crowd Counting in Video Surveillance
Northwestern Polytechnical University（西北工业大学）
随着深度神经网络的发展，人群计数和逐像素密度估计的性能不断被刷新。尽管如此，该领域仍存在两个挑战性问题：1）当前的监督学习需要大量的训练数据，但收集和标注困难; 2）现有方法不能很好地推广到未知领域。最近发布的合成人群数据集说明了这两个问题。然而，真实世界数据和合成图像之间的域间隙降低了模型的性能。为了减小这种差距，本文提出了一种领域自适应的人群计数方法，该方法可以有效地将合成数据模型自适应到特定的真实场景。它包括多层结构化密度图对齐（SDA）和多层结构化密度图自适应（MFA）。具体来说，MFA增强了模型，从多个层中提取域不变特征。SDA保证网络输出精细的密度图，在实域上具有合理的分布。最后，我们评估所提出的方法在四个主流的监控人群数据集，上海科技B部分，世博会'10，购物中心和UCSD。大量的实验证明，我们的方法优于国家的最先进的方法相同的跨域计数问题。
2020-10-27 cs.CV
Wisdom of (Binned) Crowds: A Bayesian Stratification Paradigm for Crowd Counting
IIIT Hyderabad（海得拉巴国际信息技术学院）；IIT Bombay（孟买印度理工学院）
用于训练人群计数深度网络的数据集通常在计数分布中具有重尾，并且在计数范围内表现出不连续性。因此，事实上的统计措施（MSE，MAE）表现出很大的差异，往往是不可靠的指标，在整个计数范围内的性能。为了全面解决这些问题，我们在标准人群点算流程的各个阶段修改了流程。为了使原则和平衡的小批量抽样，我们提出了一种新的平滑贝叶斯样本分层方法。我们提出了一种新的成本函数，可以很容易地将其纳入现有的人群计数深度网络，以鼓励分层优化。我们分析了代表性的人群计数方法在标准数据集上的性能，在每个层次和总体上。我们分析了人群计数方法在标准数据集上的性能，并证明了我们提出的修改显著降低了误差标准差。我们的贡献代表了一个微妙的，统计平衡和细粒度的人群计数方法的性能表征。代码、预训练模型和交互式可视化可以在我们的项目页面https://deepcount.iiit.ac.in/上查看
2021-08-19 cs.CV cs.MM
Glance to Count: Learning to Rank with Anchors for Weakly-supervised Crowd Counting
South China University of Technology（华南理工大学）；Fuzhou University（福州大学）
人群图像可以说是注释最费力的数据之一。在本文中，我们致力于减少密集标记的人群数据的大量需求，并提出了一种新的弱监督设置，其中我们利用具有高对比度人群计数的两幅图像的二进制排名作为训练指导。为了在这个新的设置下进行训练，我们将人群计数回归问题转换为排名潜在预测问题。特别是，我们定制了一个暹罗排名网络，预测两个图像的潜在分数，指示计数的顺序。因此，最终的目标是为所有的人群图像分配适当的潜力，以确保它们的排序服从排名标签。另一方面，潜力揭示了相对的人群规模，但不能产生一个确切的人群计数。我们通过在推理阶段引入“锚”来解决这个问题。具体地说，锚点是一些具有计数标签的图像，用于通过简单的线性映射函数引用来自潜在分数的相应计数。我们进行了广泛的实验，研究各种组合的监督，我们表明，所提出的方法优于现有的弱监督的方法，而无需额外的标记工作的大幅度。
2022-05-29 cs.AI cs.CV
CrowdMLP: Weakly-Supervised Crowd Counting via Multi-Granularity MLP
University of Guelph（圭尔夫大学）；Memorial University of Newfoundland（纽芬兰纪念大学）；Dalian Maritime University（大连海事大学）
现有的最先进的人群计数算法过度依赖于位置级别的注释，这是繁重的获取。当只有计数级（弱）监督信号可用时，由于缺乏明确的空间约束，回归总计数是费力且容易出错的。为了解决这个问题，提出了一种新的和有效的计数器（称为CrowdMLP），它探讨了建模的嵌入和回归的总计数的全局依赖性，通过设计一个多粒度MLP回归。具体来说，一个局部聚焦的预训练前端被级联以提取具有内在空间线索的粗糙特征图，这可以防止模型崩溃为微不足道的结果。粗糙的嵌入以及原始的人群场景在不同的粒度级别上被标记化。然后，多粒度MLP继续在基数、通道和空间维度上混合令牌以挖掘全局信息。一个有效的代理任务，即分裂计数，也被提出来规避的障碍，有限的样本和空间提示的不足，在自我监督的方式。大量的实验表明，CrowdMLP显着优于现有的弱监督计数算法，并表现出与最先进的位置级监督方法。
2022-03-15 cs.AI cs.CV
Fine-Grained Counting with Crowd-Sourced Supervision
Stony Brook University（石溪大学）；University of Oxford（牛津大学）
众包是动物生态学中越来越受欢迎的图像分析工具。可以利用众包注释的计算机视觉方法可以帮助进一步扩展分析。在这项工作中，我们研究的潜力，这样做的细粒度计数的挑战性任务。与标准的人群计数任务相反，细粒度计数还涉及对密集人群中的个体属性进行分类。我们从动物生态学中引入了一个新的数据集，以支持这项研究，其中包含8个细粒度类的170万个众包注释。它是用于细粒度计数的最大可用数据集，也是第一个能够使用众包注释研究任务的数据集。我们介绍的方法，从收集的注释生成聚合的“地面真理”，以及计数方法，可以利用聚合信息。我们的方法在可比基线上将结果提高了8%，这表明算法有可能使用众包监督来学习细粒度计数。
2022-05-30 cs.CV cs.LG
Crowd counting with segmentation attention convolutional neural network
Institute of Intelligent Machines, Chinese Academy of Sciences（中国科学院智能机械研究所）；University of Science and Technology of China（中国科学技术大学）
深度学习在人群计数中占据着无可争议的主导地位。在本文中，我们提出了一种新的卷积神经网络（CNN）架构称为SegCrowdNet。在复杂的人群场景中，提出的SegCrowdNet算法仍能自适应地突出头部区域，并通过分割抑制非头部区域。在注意力机制的指导下，建议SegCrowdNet更加关注人类头部区域，并自动编码高度精细的密度图。人群计数可以通过整合密度图来获得。为了适应人群计数的变化，SegCrowdNet智能地将每个图像的人群计数分为几组。此外，多尺度特征的学习和提取建议SegCrowdNet克服人群的规模变化。为了验证我们提出的方法的有效性，进行了广泛的实验上四个具有挑战性的数据集。结果表明，我们提出的SegCrowdNet与最先进的方法相比，取得了优异的性能。
2022-04-15 cs.CV cs.LG
