Exploring Human Crowd Patterns and Categorization in Video Footage for Enhanced Security and Surveillance using Computer Vision and Machine Learning
King Abdul-Aziz University（阿卜杜勒阿齐兹国王大学）
针对计算机视觉在安防监控领域潜力未充分挖掘的问题，本文提出结合运动信息图像与分块主导运动数据的运动分类追踪方法，对比多种模型取得可观准确率，可助力异常检测与场景理解。
2023-08-26 cs.AI cs.CV
Training Affective Computer Vision Models by Crowdsourcing Soft-Target Labels
Stanford University（斯坦福大学）；Cognoa（Cognoa公司）
情感分类器传统上预测离散的情感。然而，情感表达往往是主观的，因此需要一种方法来处理主观标签。我们探索使用众包来获取可靠的软目标标签，并评估用这些标签训练的情感检测分类器。我们的研究集中在儿童情感面部表情（CAFE）数据集上，这是一个描述儿科面部表情的图像的黄金标准集合，每个图像有100个人类标签。为了测试众包生成这些标签的可行性，我们使用Microworker为207张CAFE图像获取标签。我们评估未过滤的工人以及通过短人群过滤过程选择的工人。然后，我们使用数据集提供的原始100个注释在软目标CAFE标签上训练两个版本的分类器：（1）用传统的独热编码标签训练的分类器，以及（2）用表示CAFE注释器响应分布的矢量标签训练的分类器。我们将两个分类器的softmax输出分布与分类器的输出概率分布和人类标签分布之间的L1距离的2样本独立t检验进行比较。虽然未经过滤的人群工作者与CAFE的一致性较弱，但过滤后的人群在许多情绪上100%同意CAFE标签。虽然独热编码分类器的F1分数相对于地面实况CAFE标签要高得多（94.33%对78.68%），但人群训练分类器的输出概率向量更接近人类标签的分布（t=3.2827，p=0.0014）。报告一个情感概率分布，说明人类解释的主观性。众包，包括一个足够的过滤机制，是一个可行的解决方案，获得软目标标签。
2021-09-22 cs.CV cs.HC
Crowd Density Forecasting by Modeling Patch-based Dynamics
Chubu University（中部大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）
预测视频中观察到的人类活动是计算机视觉中的一个长期挑战，这导致了各种现实世界的应用，如移动机器人，自动驾驶和辅助系统。在这项工作中，我们提出了一个新的视觉预测任务，称为人群密度预测。给定监控摄像头捕捉到的人群视频，我们的目标是预测人群在未来帧中的移动方式。为了解决这个问题，我们开发了基于补丁的密度预测网络（PDFN），它可以预测一系列人群密度图，描述每个视频帧中每个位置的拥挤程度。PDFN表示基于空间重叠的补丁的人群密度图，并在紧凑的潜在空间中学习密度动态补丁。这使我们能够有效地模拟多样化和复杂的人群密度动态，即使输入视频涉及每个独立移动的可变数量的人群。几个公共数据集的实验结果表明，我们的方法相比，国家的最先进的预测方法的有效性。
2019-11-22 cs.CV
Crowded Scene Analysis: A Survey
Anhui University（安徽大学）；Hefei University of Technology（合肥工业大学）；Advanced Digital Sciences Center（先进数字科学中心）；National University of Singapore（新加坡国立大学）
自动景物分析一直是计算机视觉和认知科学领域的研究热点。近年来，随着现实世界中拥挤现象的增多，拥挤景物分析引起了人们的广泛关注。然而，拥挤场景中的视觉遮挡和模糊性，以及复杂的行为和场景语义，使分析成为一项具有挑战性的任务。在过去的几年中，越来越多的工作拥挤的景物分析已被报道，涵盖不同的方面，包括人群运动模式学习，人群行为和活动分析，并在人群中的异常检测。本文综述了这方面的最新技术。我们首先提供与拥挤场景相关的背景知识和可用特征。然后，现有的模型，流行的算法，评估协议，以及系统性能提供相应的拥挤景物分析的不同方面。我们还概述了可用的数据集的性能评估。最后，提出了一些研究问题和未来的发展方向进行了讨论。
2015-02-06 cs.CV
Crowdsourcing of Real-world Image Annotation via Visual Properties
University College London（伦敦大学学院）；University of Trento（特伦托大学）
本文提出结合知识表示、自然语言处理和计算机视觉技术的图像标注方法，通过视觉属性约束减少标注偏差，采用交互式众包框架动态提问以优化标注过程。
2026-04-15 cs.AI cs.CV
A Study of Human Gaze Behavior During Visual Crowd Counting
Stony Brook University（石溪大学）
在本文中，我们描述了我们的研究人类如何分配他们的注意力在视觉人群计数。使用眼动仪，我们收集了人类参与者的注视行为，他们的任务是计算人群图像中的人数。通过分析10位人类参与者对30张人群图像的注视行为，我们观察到一些常见的视觉计数方法。对于小人群的图像，方法是枚举人群中的所有人或人群，这解释了不同人类参与者的注视密度图之间的高相似性。对于一个大人群的图像，我们的参与者倾向于关注图像的一个部分，计算该部分的人数，然后推断其他部分。在计数准确性方面，与当前最先进的计算机算法的性能相比，我们的人类参与者在计数任务方面并不出色。有趣的是，在所有人群图像中，有一种倾向是低估人数。凝视行为数据和图像可以从https://www3.cs.stonybrook.edu/~minhhoai/projects/crowd_counting_gaze/下载。
2020-09-27 cs.CV
Hollywood in Homes: Crowdsourcing Data Collection for Activity Understanding
The Allen Institute for AI（艾伦人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）；Inria（法国国家信息与自动化研究所）；University of Washington（华盛顿大学）
计算机视觉有很大的潜力来帮助我们的日常生活，通过寻找丢失的钥匙，浇花或提醒我们吃药。为了成功完成这些任务，计算机视觉方法需要从我们日常动态场景的真实和多样化的例子中进行训练。虽然大多数这样的场景并不特别令人兴奋，但它们通常不会出现在YouTube、电影或电视广播中。那么，我们如何收集足够多的代表我们生活的多样化但无聊的样本呢？我们提出了一种新的好莱坞在家里的方法来收集这些数据。我们不是在实验室里拍摄视频，而是通过分发和众包视频创作的整个过程，从脚本编写到视频录制和注释，来确保多样性。在这个过程之后，我们收集了一个新的数据集，Charades，数百人在自己的家中录制视频，表演日常活动。该数据集由9，848个平均长度为30秒的注释视频组成，显示了来自三大洲的267人的活动。每个视频都由多个自由文本描述，动作标签，动作间隔和交互对象的类别进行注释。Charades总共为157个动作类提供了27，847个视频描述，66，500个时间定位间隔，为46个对象类提供了41，104个标签。使用这些丰富的数据，我们评估并提供基准结果的几个任务，包括动作识别和自动描述生成。我们相信，这个数据集的真实性，多样性和随意性将为计算机视觉社区带来独特的挑战和新的机遇。
2016-07-26 cs.CV
CrowdFormer: Weakly-supervised Crowd counting with Improved Generalizability
Department of Electrical Engineering, Indian Institute of Technology Indore, India（印度理工学院印度尔分校电子工程系）
提出基于金字塔视觉变换器的弱监督人群计数方法，通过全局上下文建模实现与现有方法相当的性能并展现显著泛化性。
2022-03-07 cs.CV
MOT20: A benchmark for multi object tracking in crowded scenes
Australian Institute for Machine Learning（澳大利亚机器学习研究院）；University of Adelaide（阿德莱德大学）；Amazon（亚马逊）；ETH Zurich（苏黎世联邦理工学院）；Technische Universität Darmstadt（达姆施塔特工业大学）
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应被过分夸大，但基准往往提供了最客观的业绩衡量标准，因此是研究的重要指南。MOTChallenge是多目标跟踪的基准，其目标是建立多目标跟踪方法的标准化评估。挑战的重点是多人跟踪，因为行人在跟踪社区中得到了很好的研究，精确的跟踪和检测具有很高的实际意义。自第一个版本以来，MOT15，MOT16和MOT17通过引入一个干净的数据集和精确的框架来对多对象跟踪器进行基准测试，为社区做出了巨大贡献。在本文中，我们提出了我们的MOT20benchmark，由8个新的序列描绘非常拥挤的具有挑战性的场景。该基准首次在2019年计算机视觉和模式识别会议（CVPR）的第四届BMTT MOT挑战研讨会上提出，并有机会评估在处理极其拥挤的场景时用于多目标跟踪的最先进方法。
2020-03-19 cs.CV
Zero-Shot Crowd Behavior Recognition
Queen Mary University of London（伦敦玛丽女王大学）
理解视频中的人群行为对计算机视觉来说是一个挑战。通过引入越来越大的属性本体（属性）和注释越来越大的训练数据集，人们越来越多地尝试对拥挤的场景进行建模。然而，与静态图像相比，手动注释视频属性需要考虑时空演化，这本身就更加困难和昂贵。至关重要的是，监控视频中捕捉到的最有趣的人群行为（例如，巷战，快闪族）要么是罕见的，因此很少有模型训练的例子，或者以前看不见。现有的人群分析技术不容易扩展到识别新的（看不见的）人群行为。为了解决这个问题，我们研究并开发了在没有任何训练样本的情况下识别视觉人群行为属性的方法，即，零样本学习人群行为识别。为此，我们放宽了每个单独的人群视频实例仅与单个人群属性相关联的常见假设。相反，我们的模型通过探索多属性同现作为上下文知识来学习联合识别每个视频实例中的多个人群行为属性，以优化单个人群属性识别。零样本学习中的联合多标签属性预测本质上是不平凡的，因为对于不可见的属性不存在共现统计。为了解决这个问题，我们学习从在线文本语料库和具有已知属性的视频的多标签标注来预测跨属性共现。实验结果表明，该方法不仅提高了WWW人群视频数据集上的zero-shot人群行为识别能力，而且可以推广到Violence Flow视频数据集上的跨域新行为（暴力）检测。
2019-08-16 cs.CV
Detecting Violent and Abnormal Crowd activity using Temporal Analysis of Grey Level Co-occurrence Matrix (GLCM) Based Texture Measures
Cardiff University（卡迪夫大学）
通过缩短检测时间，可以将与攻击有关的暴力造成的持续伤害的严重程度降到最低。然而，已经表明，当同时呈现馈送时，人类操作员在检测视频片段中发现的事件方面表现不佳。我们利用计算机视觉技术来开发一种异常人群检测的自动化方法，该方法可以帮助人类操作员检测暴力行为。我们观察到，在城市中心环境中的行为往往发生在拥挤的区域，导致个人的行动被其他人群成员闭塞。我们提出了一个实时描述模型人群动态编码的变化，人群纹理使用灰度共生矩阵（GLCM）功能的时间摘要。我们引入了帧间均匀性（IFU）的措施，并证明了暴力行为的外观变化时，以不太均匀的方式相比，其他类型的人群行为。我们提出的方法是计算成本低，并提供实时描述。使用私人持有的CCTV数据集和公开可用的Violent Flows，UCF Web Abnormality和UMN Abnormal Crowd数据集评估我们的方法，我们报告接收器操作特征得分分别为0.9782，0.9403，0.8218和0.9956。
2017-04-03 cs.CV
Estimation of Linear Motion in Dense Crowd Videos using Langevin Model
Indian Institute of Technology Bhubaneswar（布巴内斯瓦尔印度理工学院）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
随着人口的增加，社会和文化活动中的人群聚集也在迅速增加。通过计算机视觉和专家决策系统进行监控可以帮助理解大型集会中的人群现象。了解人群现象有助于及早发现意外事件并加以预防。运动流是一种重要的人群现象，可以用来描述人群的行为。流可以用来理解人群中的不稳定性。然而，由于人群运动的随机性和传感设备的限制，提取运动流是一项具有挑战性的任务。此外，如果随机性很高，则诸如光流的低级特征可能是误导性的。本文提出了一种基于Langevin方程的线性主导流分析模型。我们假设一个力的模型有三个组成部分，即外力，约束/漂移力，和干扰力。这些力量被发现是足够的描述在密集的人群视频中的线性或近线性运动。与现有的流行人群分割方法相比，该方法明显更快。对所提出的模型的评估已经在公开的数据集上进行，并使用我们的数据集。已经观察到，所提出的方法是能够估计和段的线性流在密集的人群中具有更好的准确性相比，国家的最先进的技术，大大减少了计算开销。
2019-04-15 cs.CV
Congested Crowd Instance Localization with Dilated Convolutional Swin Transformer
Academy of Advanced Interdisciplinary Research, Xidian University（西安电子科技大学先进交叉研究院）；School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））；Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education, International Research Center for Intelligent Perception and Computation, Xidian University（西安电子科技大学智能感知与图像理解教育部重点实验室、智能感知与计算国际研究中心）
人群定位是一个新的计算机视觉任务，从人群计数演变而来。与后者不同的是，它为每个实例提供了更精确的位置信息，而不仅仅是为整个人群场景计数，这带来了更大的挑战，特别是在极度拥挤的人群场景中。本文主要研究如何在高密度人群场景中实现精确的实例定位，并针对传统模型由于目标遮挡、图像模糊等原因导致特征提取能力降低的问题，提出了一种适用于拥挤人群场景的扩展卷积Swin Transformer（DCST）算法。具体而言，基于窗口的视觉Transformer被引入到人群定位任务中，有效地提高了表示学习的能力。然后，在Transformer的不同阶段中插入设计良好的扩展卷积模块，以增强大范围上下文信息。大量的实验证明了所提出的方法的有效性，并在五个流行的数据集上实现了最先进的性能。特别是，所提出的模型实现的F1-措施的77.5%和MAE的84.2的定位和计数性能，分别。
2021-08-02 cs.CV
Performance of computer vision algorithms for fine-grained classification using crowdsourced insect images
Naturalis Biodiversity Center（Naturalis生物多样性中心）；Tilburg University（蒂尔堡大学）
本文系统评估了CNN、ViT和LBVT三类共九种计算机视觉算法在昆虫细粒度分类中的性能、嵌入质量、计算成本和梯度活动，发现ViT推理最快、LBVT性能最佳、CNN提供折中。
2024-04-04 cs.AI cs.CV
An Adaptive Training-less System for Anomaly Detection in Crowd Scenes
Jadavpur University（贾达布尔大学）
人群视频中的异常检测已经成为计算机视觉界的热门研究领域。几种现有的方法通常在使用或不使用标记数据的情况下执行关于场景的先验训练。然而，很难始终保证先验数据的可用性，特别是对于偏远地区监控等场景。为了解决这样的挑战，我们提出了一个自适应的训练少的系统，能够检测异常的飞行，同时动态估计和调整响应的基础上某些参数。这使得我们的系统在本质上既少训练又自适应。我们的管道由三个主要组成部分，即，自适应3D-DCT模型的多目标检测为基础的关联，通过显着调制光流的局部运动结构描述，和基于地球移动距离（EMD）的异常检测。该模型，尽管是训练免费的，被发现实现与公开可用的UCSD，UMN，CHUK-Avenue和ShanghaiTech数据集上的几个国家的最先进的方法相当的性能。
2019-06-03 cs.CV
RefCrowd: Grounding the Target in Crowd with Referring Expressions
University of Electronic Science and Technology of China（电子科技大学）
人群理解因其重要的现实意义而引起了视觉领域的广泛关注。遗憾的是，在多模态领域中没有努力探索连接自然语言和计算机视觉的人群理解。指称表达理解就是这样一种典型的多模态任务。目前的REF研究更侧重于在一般情况下从多个不同的类别接地的目标对象。它很难应用于复杂的现实世界人群理解。为了填补这一空白，我们提出了一个新的具有挑战性的数据集，称为RefCrowd，它致力于在人群中寻找目标人。它不仅要求充分挖掘自然语言信息，还要求仔细关注目标与一群外貌相似的人之间的细微差别，实现从语言到视觉的细粒度映射。此外，我们提出了一个细粒度的多模态属性对比网络（FMAC）来处理人群理解中的REF。它首先将复杂的视觉和语言特征分解为属性感知的多模态特征，然后捕获具有区分性但鲁棒性的细粒度属性特征，以有效区分相似人之间的这些细微差异。该方法在我们的RefCrowd数据集和现有REF数据集上的性能优于现有的最先进的（SoTA）方法。此外，我们还实现了一个端到端的REF工具箱，为多模态领域的深入研究奠定了基础。我们的数据集和代码可以在以下网址获得：\url{https://qiuheqian.github.io/datasets/refcrowd/}。
2022-06-16 cs.CV
Learning Extremely High Density Crowds as Active Matters
AI Centre, University College London（伦敦大学学院人工智能中心）；University College London（伦敦大学学院）；University of Leeds（利兹大学）；Forschungszentrum Jülich（于利希研究中心）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）；INRIA Rennes（法国国家信息与自动化研究所雷恩分部）；Amazon（亚马逊公司）
本文提出将极高密度人群视为“crowd material”活性物质，并用神经随机微分方程结合物理先验建模，从而在低质真实视频上提升人群分析、预测、仿真与可解释性。
2025-03-15 cs.CV
VisDrone-CC2020: The Vision Meets Drone Crowd Counting Challenge Results
Fraunhofer IOSB（弗劳恩霍夫光电、系统技术与图像利用研究所）；Kitware, Inc.（Kitware公司）；JD Finance America Corporation（京东金融美国公司）；Tianjin University（天津大学）；Stony Brook University（石溪大学）；University of Central Florida（中佛罗里达大学）；Huazhong University of Science and Technology（华中科技大学）；Northwestern Polytechnical University（西北工业大学）；Unisoc, Inc.（紫光展锐公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；DeepBlue Technology(Shanghai) Co., Ltd（深兰科技（上海）有限公司）；Qatar University（卡塔尔大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
无人机平台上的人群计数是计算机视觉中一个有趣的话题，它带来了小目标推断、背景杂波和宽视角等新的挑战。然而，由于缺乏全面的数据集，很少有算法专注于无人机捕获的数据上的人群计数。为此，我们收集了一个大规模的数据集，并结合第16届欧洲计算机视觉会议（ECCV 2020）组织了Vision Meets Drone Crowd Counting Challenge（VisDrone-CC 2020），以促进相关领域的发展。所收集的数据集由$3,360$图像形成，包括用于训练的$2,460$图像和用于测试的$900$图像。具体来说，我们在每个视频帧中用点手动注释人。有来自$15$机构的$14$算法提交给VisDrone-CC 2020挑战赛。我们对评估结果进行了详细分析，并总结了挑战。更多信息可以在网站上找到：\url{http://www.aiskyeye.com/}。
2021-07-19 cs.CV
CVPR19 Tracking and Detection Challenge: How crowded can it get?
Australian Institute for Machine Learning（澳大利亚机器学习研究院）；University of Adelaide（阿德莱德大学）；Amazon（亚马逊）；ETH Zurich（苏黎世联邦理工学院）；Technische Universität Darmstadt（达姆施塔特工业大学）
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应被过分夸大，但基准往往提供了最客观的业绩衡量标准，因此是研究的重要指南。MOTChallenge是多目标跟踪的基准，其目标是建立多目标跟踪方法的标准化评估。挑战的重点是多人跟踪，因为行人在跟踪社区中得到了很好的研究，精确的跟踪和检测具有很高的实际意义。自第一个版本以来，MOT15，MOT16和MOT17通过引入一个干净的数据集和精确的框架来对多对象跟踪器进行基准测试，为社区做出了巨大贡献。在本文中，我们提出了我们的CVPR 19基准，由8个新的序列描绘非常拥挤的具有挑战性的场景。该基准将在2019年计算机视觉和模式识别会议（CVPR）的第四届BMTT MOT挑战研讨会上展示，并将评估处理极端拥挤场景时多目标跟踪的最新技术水平。
2019-06-10 cs.CV cs.LG
Interactive Surveillance Technologies for Dense Crowds
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Maryland at College Park（马里兰大学帕克分校）
我们提出了一种算法，在低到中等密度的人群视频实时异常检测，使用概率级的行为学习。我们的配方结合了在线跟踪算法从计算机视觉，非线性行人运动模型从人群模拟，贝叶斯学习技术，自动计算的自动化水平的行人行为的每个代理在视频中。这些学习的行为用于分割不同行人或代理的轨迹和运动，并检测异常。我们展示了PETS ARENA数据集以及由数十个人类代理组成的室内和室外人群视频基准的交互性能。我们还讨论了最近的公共政策和执法问题有关的监视和我们的研究的影响。
2018-09-27 cs.AI cs.CV
Situated Cameras, Situated Knowledges: Towards an Egocentric Epistemology for Computer Vision
Indiana University（印第安纳大学）
本文将Donna Haraway的情境化知识隐喻与以自我为中心的计算机视觉结合，提出“以自我为中心的认识论”框架，主张采用定性、以人为中心的方法作为性能基准的补充，将众包工作者的视角置于CV核心。
2023-06-30 cs.CV
A Unified Simulation Framework for Visual and Behavioral Fidelity in Crowd Analysis
University of Trento（特伦托大学）；CNIT - Consorzio Interuniversitario per le Telecomunicazioni（意大利大学间电信联盟（CNIT））
针对视觉模型训练数据不足的问题，本文提出 UniCrowd 人群仿真器及验证流程，可生成兼具视觉与行为保真度的标注数据，服务检测、分割及多种人群分析任务。
2023-12-05 cs.CV cs.MA
Kinects and Human Kinetics: A New Approach for Studying Crowd Behavior
Austrian Institute of Technology (AIT)（奥地利技术研究所（AIT））；Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））
对人群行为进行建模依赖于高度详细的行人运动的准确数据。诸如相机的成像传感器为捕获这种详细的行人运动数据提供了良好的基础。然而，当前可用的计算机视觉技术在应用于常规视频镜头时仍然不能自动地从图像序列中揭示人群或人群的准确运动。我们提出了一种新的数据汇集的方法来研究人群的行为，它使用越来越流行的低成本传感器微软Kinect。Kinect可以捕获标准相机数据和三维深度图。我们的人体检测和跟踪算法基于从高处视图捕获的深度数据的凝聚聚类-与Kinect游戏应用程序中用于手势识别的侧视图形成对比。我们的方法将本地Kinect 3D数据转换到一个共同的世界坐标系，以便将多个Kinect中的人体轨迹缝合在一起，从而实现可扩展和灵活的捕获区域。在一个具有真实行人交通的测试平台上，我们证明了我们的方法可以提供三个Kinect的准确轨迹，行人检测率高达94%，多目标跟踪精度为4 cm。使用2240个捕获的人类轨迹的综合数据集，我们校准了社会力模型的三种变化。我们的模型验证的结果表明，他们的特殊能力，再现微观模拟中观察到的人群行为。
2012-10-10 cs.CV physics.soc-ph
Image Clustering without Ground Truth
Indian Institute of Engineering Science and Technology（印度工程科学与技术学院）；University of Kalyani（卡利亚尼大学）
聚类分析是近几十年来计算机科学研究的热点之一。因此，已经开发了许多聚类算法来找到一组对象的适当分区。给定多个这样的聚类解决方案，获得这些解决方案的集合是一项具有挑战性的任务。当无法获得关于集群数量的真值时，这变得更具挑战性。在本文中，我们引入了一个群体动力模型，收集解决方案的图像聚类从一般人群，并把它作为一个聚类集成问题与变量数量的集群。不同数量的集群基本上反映了群组工作人员对特定对象集的看法。我们允许一组人群工作人员根据他们的感知独立地对图像进行聚类。我们通过使用适当的距离度量找出聚类的质心来解决这个问题，并优先考虑各个聚类集的相似性。通过将该方法应用于从人群中获得的多个人工数据集，证明了该方法的有效性。
2016-10-25 cs.CV cs.HC
