Anomaly Locality in Video Surveillance
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；University of Amsterdam（阿姆斯特丹大学）
本文致力于检测现实世界中的异常，如监控视频中的抢劫和袭击。虽然异常通常是局部的，因为它们发生在框架的有限部分，但以前关于这个问题的工作都没有研究过局部性的贡献。在这项工作中，我们探讨的影响，考虑时空管，而不是整个帧的视频片段。为此，我们丰富了现有的监控视频与空间和时间的注释：它是第一个数据集的异常检测与限界框监督在其训练和测试集。我们的实验表明，用时空管训练的网络比用全帧视频训练的类似模型表现得更好。此外，我们发现，该局部性是鲁棒的不同类型的错误在管提取阶段在测试时。最后，我们证明了我们的网络可以提供时空的建议，看不见的监控视频只利用视频级标签。通过这样做，我们扩大了我们的时空异常数据集，而不需要进一步的人类标记。
2019-01-29 cs.CV
Copy What Is Seen, Generate What Is Not: Training-Free Anomaly-Aware Video Restoration
New York University（纽约大学）；University of Technology Sydney（悉尼科技大学）
提出AVR，用冻结预训练模型弥合无训练异常检测与视频修复的差距，仅在无可复制证据处生成内容，在监控数据集上实现高保真修复并优于先检测后生成流程。
2026-09-17 cs.CV
Mining Multi-Modality Spatio-Temporal Cues for Video Important Person Identification
School of Computer Science and Technology, Wuhan University of Science and Technology（武汉科技大学计算机科学与技术学院）；Hubei Province Key Laboratory of Intelligent Information Processing and Real-time Industrial System, Wuhan University of Science and Technology（湖北省智能信息处理与实时工业系统重点实验室）；School of Computer Science, National Engineering Research Center for Multimedia Software, Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University（计算机科学学院，国家多媒体软件工程技术研究中心，湖北省多媒体与网络通信工程重点实验室，武汉大学）；College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
针对视频中人物重要性随时间变化的问题，提出VIP-Net框架，通过多模态时空线索融合与时间重要性矫正，在Temporal-VIP数据集上达到67.3%准确率。
2026-05-27 cs.AI cs.CV
Weakly-Supervised Spatio-Temporal Anomaly Detection in Surveillance Video
Sun Yat-sen University（中山大学）；ByteDance Inc.（字节跳动公司）；Baidu Inc.（百度公司）
在本文中，我们介绍了一种新的任务，被称为弱监督时空异常检测（WSSTAD）在监控视频。具体地，给定未修剪的视频，WSSTAD旨在定位时空管（即，在连续时间的边界框序列），其包围异常事件，在训练期间仅具有粗略的视频级注释作为监督。为了解决这一具有挑战性的任务，我们提出了一个双分支网络，作为输入的建议，在两个时空域的多粒度。每个分支采用关系推理模块来捕获管道/视频小程序之间的相关性，这可以为异常行为的概念学习提供丰富的上下文信息和复杂的实体关系。建立了双向引导的渐进式精化框架，以循环的方式采用双路径相互引导，迭代地共享跨分支的辅助监督信息。它促使每个分支的学习概念成为其对应分支的指导，从而逐步完善相应的分支和整个框架。此外，我们贡献了两个数据集，即，ST-UCF-犯罪和STRA，由包含时空异常注释的视频组成，作为WSSTAD的基准。我们进行了广泛的定性和定量评估，以证明所提出的方法的有效性，并分析有助于处理这项任务的关键因素。
2021-08-09 cs.CV
Spatio-Temporal Split Learning for Autonomous Aerial Surveillance using Urban Air Mobility (UAM) Networks
Korea University（高丽大学）；Hallym University（翰林大学）；Ajou University（亚洲大学）；UC-Irvine（加州大学尔湾分校）
部署了自动监视无人机（UAV），以观察城市街道上的任何可疑活动。本文利用监视无人机的目的是检测在街道上的火灾的存在。从无人机监视无人机收集广泛的数据库。在人工智能（AI）的帮助下，消防站可以迅速识别附近出现的火灾。时空分裂学习应用到这种情况下，以保护隐私和全球训练火灾分类模型。火灾是一种危险的自然灾害，可以迅速蔓延。需要迅速识别火灾，以部署消防员到现场。为此，需要在UAV与进行深度学习过程的中央服务器之间进行强有力的通信。提高通信复原力是加强道路安全体验的一个组成部分。因此，本文探讨了足够数量的客户端和数据比率，在这种无人机设置的分裂学习，以及所需的网络基础设施。
2021-11-15 cs.AI cs.CV cs.NI
Spatio-temporal Data Augmentation for Visual Surveillance
Graduate School of Automotive Engineering（汽车工程研究生院）；Seoul National University of Science and Technology（首尔国立科技大学）；Department of Mechanics and Automotive Engineering（力学与汽车工程系）
视觉监视旨在使用从固定相机获取的连续图像稳定地检测前景对象。最近的基于监督学习的深度学习方法与经典的背景减除算法相比表现出优越的性能。但在静态前景、动态背景、硬阴影、光照变化、伪装等方面仍有提升空间，此外，大多数基于深度学习的方法在类似训练的环境下运行良好。如果测试环境与训练环境不同，它们的性能就会下降。因此，需要就这些作业环境进行额外培训，以确保良好的业绩。我们以前的工作，使用时空输入数据组成的一些过去的图像，背景图像和当前图像在不同的环境中显示出良好的效果，从训练，虽然它使用了一个简单的U-NET结构。在本文中，我们提出了一个数据增强技术，适用于视觉监控的额外的性能改善，使用相同的网络在我们以前的工作。在深度学习中，大多数数据增强技术处理用于图像分类和目标检测的空间级数据增强技术。在本文中，我们提出了一种新的方法，数据增强在时空维适合我们以前的工作。提出了调整背景模型图像和过去图像的两种数据增强方法。通过这一点，它表明，与以前的研究相比，性能可以提高在困难的领域，如静态前景和幽灵对象。通过使用SBI、LASIESTA和我们自己的数据集进行定量和定性评估，我们表明，与基于深度学习的算法和背景减除算法相比，它具有更优越的性能。
2021-02-15 cs.CV
Resolving Spatio-Temporal Entanglement in Video Prediction via Multi-Modal Attention
Indian Institute of Technology (BHU), Varanasi（印度理工学院（巴纳拉斯印度教大学），瓦拉纳西）；University of Colorado, Boulder（科罗拉多大学博尔德分校）；Erasmus+, Intelligent Field Robotic Systems (IFRoS), University of Girona（伊拉斯谟+，智能现场机器人系统（IFRoS），赫罗纳大学）
本文提出MAUCell架构，结合GAN与层级处理策略及三种注意力机制，解决RNN在长时间序列中的局限，提升视频预测的时空一致性与实时性。
2026-03-29 cs.CV cs.LG cs.RO
Context-Aware Zero-Shot Anomaly Detection in Surveillance Using Contrastive and Predictive Spatiotemporal Modeling
Department of Computer Science and Engineering, BRAC University, Dhaka, Bangladesh（计算机科学与工程系，BRAC大学，达卡，孟加拉国）
本文提出一种结合 TimeSformer、DPC 与 CLIP 的上下文感知零样本异常检测框架，通过时空预测建模和视觉-语言语义理解，在无需异常样本训练的情况下实现监控视频中的异常识别。
2025-08-27 cs.CV cs.LG
Convolutional Transformer based Dual Discriminator Generative Adversarial Networks for Video Anomaly Detection
Columbia University（哥伦比亚大学）；University of Connecticut（康涅狄格大学）；NEC Laboratories America, Inc.（NEC美国实验室）
在真实世界的监控视频中检测异常活动是一项重要而具有挑战性的任务，因为有关视频异常的先验知识通常是有限的或不可用的。尽管已经开发了许多方法来解决这个问题，但很少有方法能够有效地捕获正常的时空模式。此外，现有的工作很少明确考虑在帧级的局部一致性和全局一致性的时间动态的视频序列。为此，我们提出了基于卷积Transformer的双鉴别器生成对抗网络（CT-D2 GAN）来执行无监督的视频异常检测。具体来说，我们首先提出了一个卷积Transformer来执行未来的帧预测。它包含三个关键组成部分，即，卷积编码器，用于捕获输入视频剪辑的空间信息;时间自注意模块，用于编码时间动态;以及卷积解码器，用于整合时空特征并预测未来帧。接下来，一个基于双阈值的对抗性训练过程，它联合考虑了图像阈值，可以保持局部一致性在帧级和视频阈值，可以强制执行的时间动态的全局一致性，以提高未来帧的预测。最后，利用预测误差来识别异常视频帧。对三个公开的视频异常检测数据集进行了深入的实证研究，UCSD Ped 2，CUHK Avenue和上海理工大学校园，证明了所提出的对抗时空建模框架的有效性。
2021-07-29 cs.AI cs.CV cs.LG
Exploring Diffusion Models for Unsupervised Video Anomaly Detection
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Pisa（比萨大学）
本文首次将扩散模型用于无监督视频异常检测，仅利用时空数据和重建误差判断异常，在多个大规模数据集上超越现有生成模型，并分析了模型参数对监控场景VAD的影响。
2023-07-02 cs.CV
A Spatio-Temporal Attentive Network for Video-Based Crowd Counting
University of Pisa（比萨大学）；National Research Council (ISTI-CNR)（国家研究委员会（信息科学与技术研究所））
由于监控摄像头网络的普遍存在，从图像中自动计数的人最近引起了现代智慧城市中城市监控的关注。当前的计算机视觉技术依赖于基于深度学习的算法，该算法估计静止的个体图像中的行人密度。只有一堆的作品利用视频序列的时间一致性。在这项工作中，我们提出了一个时空注意的神经网络，估计从监控视频的行人数量。通过利用连续帧之间的时间相关性，在广泛使用的FDST基准测试中，我们将最先进的计数误差降低了5%，定位误差降低了7.5%。
2022-08-24 cs.CV
Human-Centric Anomaly Detection in Surveillance Videos Using YOLO-World and Spatio-Temporal Deep Learning
Dept. of Electrical Engineering Sharif University of Technology Tehran, Tehran, Iran（电气工程系 帕克大学 泰尔曼 泰尔曼 伊朗）；Dept. Electrical Engineering Sharif University of Technology Tehran, Tehran, Iran（电气工程系 帕克大学 泰尔曼 泰尔曼 伊朗）
提出融合YOLO-World、ByteTrack、背景抑制及BiLSTM的时空深度学习框架，在UCF-Crime五类子集上实现92.41%准确率，有效提升监控视频异常检测性能。
2025-10-24 cs.AI cs.CV
JOSENet: A Joint Stream Embedding Network for Violence Detection in Surveillance Videos
Sapienza University of Rome（罗马第一大学）
针对监控视频暴力检测中的场景多样、数据集小、背景人物多变及实时性要求，提出自监督 JOSENet，联合 RGB 与光流并采用正则化自监督学习，以更少帧和更低帧率超越现有方法。
2024-08-03 cs.CV eess.IV
Analysis of Real-Time Hostile Activitiy Detection from Spatiotemporal Features Using Time Distributed Deep CNNs, RNNs and Attention-Based Mechanisms
BRAC University（BRAC大学）；University of Delaware（特拉华大学）
通过CCTV摄像机系统进行实时的【形】视频监控对于确保公共安全至关重要，这是当今的优先事项。虽然闭路电视摄像机在提高安全性方面有很大帮助，但这些系统需要持续的人机交互和监控。为了消除这个问题，可以使用深度学习视频分类技术来构建智能监控系统，这些技术可以帮助我们自动化监控系统，以便在发生暴力时检测到暴力。在这项研究中，我们探索了深度学习视频分类技术，以检测正在发生的暴力。传统的图像分类技术在对视频进行分类时存在不足，因为它们试图对预测开始闪烁的每个帧单独进行分类。因此，许多研究人员提出了在分类时考虑时空特征的视频分类技术。然而，使用诸如通过姿态估计获得的骨架点和通过深度传感器获得的光流等方法来部署这些深度学习模型在IoT环境中并不总是实用的。虽然这些技术确保了更高的准确度分数，但它们在计算上更重。考虑到这些限制，我们尝试了各种视频分类和动作识别技术，如ConvLSTM，LRCN（使用自定义CNN层和VGG-16作为特征提取器）CNNTransformer和C3 D。我们在ConvLSTM、CNN-BiLSTM、VGG 16-BiLstm、CNN-Transformer和C3 D上的测试准确率分别为80%、83.33%、70%、76.76%和80%。
2023-02-21 cs.CV
TeG: Temporal-Granularity Method for Anomaly Detection with Attention in Smart City Surveillance
Eindhoven University of Technology（埃因霍温理工大学）
本文提出TeG模型，通过结合不同时间尺度的时空特征并采用多头交叉与自注意力机制进行视频异常检测，扩展了UCF-Crime数据集并在城市监控系统中实现了实时成功应用。
2024-11-17 cs.CV
AssistPDA: An Online Video Surveillance Assistant for Video Anomaly Prediction, Detection, and Analysis
Xidian University（西安电子科技大学）；National University of Singapore（新加坡国立大学）；Northwestern Polytechnical University（西北工业大学）；Singapore Management University（新加坡管理大学）
AssistPDA是首个在线视频异常监控助手，统一了视频异常预测、检测与分析，通过时空关系蒸馏模块实现实时推理，并构建了VAPDA-127K基准，性能优于现有离线方法。
2025-03-27 cs.CV
H2-Stereo: High-Speed, High-Resolution Stereoscopic Video System
Shanghai Jiao Tong University（上海交通大学）；Cooperative Medianet Innovation Center（未来媒体网络协同创新中心）；University of California at Riverside（加州大学河滨分校）；Nanjing University（南京大学）
高速、高分辨率立体（H2-Stereo）视频使我们能够以精细的粒度感知动态3D内容。然而，H2-Stereo视频的获取对于商品相机仍然具有挑战性。现有的空间超分辨率或时间帧内插方法分别提供缺乏时间或空间细节的折衷解决方案。为了缓解这个问题，我们提出了一个双摄像头系统，其中一个摄像头捕获高空间分辨率低帧速率（HSR-LFR）视频丰富的空间细节，和其他捕获低空间分辨率高帧速率（LSR-HFR）视频平滑的时间细节。然后，我们设计了一个学习信息融合网络（LIFnet），利用跨相机冗余，以提高两个相机的意见，以高时空分辨率（HSTR）重建H2立体视频有效。我们利用视差网络来跨视图传输时空信息，即使在大视差场景中也是如此，在此基础上，我们提出了LSR-HFR视图的视差引导的基于流的变形和HSR-LFR视图的补充变形。提出了一种基于特征域的多尺度融合方法，以最大限度地减少HSR-LFR视图中遮挡引起的扭曲重影和孔洞。LIFnet使用我们从YouTube收集的高质量立体视频数据集以端到端的方式进行训练。大量的实验表明，我们的模型优于现有的国家的最先进的方法，无论是对合成数据和相机捕获的实际数据的意见，具有很大的差距。消融研究探讨了我们系统的各个方面，包括时空分辨率、相机基线、相机去散射、长/短曝光和应用，以充分了解其潜在应用的能力。
2022-08-04 cs.CV
Anomaly Recognition from surveillance videos using 3D Convolutional Neural Networks
COMSATS University Islamabad, Lahore Campus（伊斯兰堡COMSATS大学拉合尔校区）；National University of Sciences and Technology (NUST)（国立科技大学）
异常活动识别处理识别与正常流不同的模式和事件。在监控范例中，这些事件的范围从虐待到打架，从道路交通事故到抢劫等。由于异常事件的发生率很低，从监控视频中识别异常活动是一项具有挑战性的研究任务。报告的方法通常可以分为手工制作和基于深度学习的方法。大多数报告的研究解决了二元分类，即从监控视频中检测异常。但这些报告的方法并没有解决其他异常事件，例如虐待，打架，交通事故，枪击，盗窃，破坏和抢劫等。因此，本文旨在提供一个有效的框架，从视频中识别不同的现实世界的异常。这项研究提供了一种简单而有效的方法，用于使用在中佛罗里达大学（UCF）犯罪视频数据集上训练的深度三维卷积网络（3D ConvNets）来学习时空特征。首先，提供UCF犯罪数据集的帧级标签，然后为了更有效地提取异常时空特征，提出了一种微调的3D ConvNets。拟议研究的结果有两个方面：1）UCF Crime视频馈送中存在相互关联的特定，可检测和可量化的特征2）多类学习可以通过有效学习数据集的帧级信息来提高3D ConvNets的泛化能力，并且可以通过应用空间增强来获得更好的结果。
2021-01-04 cs.AI cs.CV
On the Interaction Between Deep Detectors and Siamese Trackers in Video Surveillance
École de technologie supérieure（高等技术学院）；Genetec Inc.（Genetec公司）
视觉目标跟踪是实时视频监控中的一个重要功能，如人员定位和时空识别等。在现实世界的应用中，对象检测器和跟踪器必须定期进行交互，以发现新的对象，从而启动跟踪。与检测器的周期性交互还可以允许跟踪器利用新的边界框来验证和/或更新其对象模板。然而，由于外观、背景和遮挡的变化，由最先进的检测器提供的边界框是有噪声的，这可能导致跟踪器漂移。此外，基于CNN的检测器可以以计算复杂性为代价提供高水平的准确性，因此对于实时应用，应该最小化相互作用。在本文中，提出了一种新的方法来管理探测器跟踪器的相互作用，从暹罗FC家庭的跟踪器。通过将变化检测机制集成到深Siamese-FC跟踪器中，其模板可以响应于导致跟踪期间漂移的目标外观的变化而进行调整。突变检测使用由检测器产生的限界框来触发跟踪器模板的更新，而在渐变的情况下，检测器用于更新用于鲁棒匹配的模板的演进集合。使用最先进的Siamese-FC跟踪器和YOLOv 3检测器对来自OTB-100数据集的模拟视频监控场景的视频子集进行实验。结果强调了使用准确探测器的可靠VOT的重要性。它们还表明，我们的自适应暹罗跟踪器是强大的噪声目标检测，并可以显着提高暹罗FC跟踪的性能。
2019-10-31 cs.CV eess.IV
Retrieval in Long Surveillance Videos using User Described Motion and Object Attributes
我们提出了一个基于内容的检索方法，无论是广域（机载）以及近场图像（CCTV）的长监控视频。我们的目标是检索视频片段，重点是检测在路线上移动的对象，匹配用户定义的感兴趣的事件。获取监控视频的庞大规模和远程位置需要高度压缩的表示，这对于支持用户定义的查询也是有意义的。为了解决这些挑战，我们归档长监控视频通过轻量级处理的基础上低级别的本地时空提取的运动和对象特征。然后使用位置敏感哈希（LSH）将这些数据哈希成一个倒排索引。这种本地方法允许查询的灵活性，并导致压缩的显着收益。我们的第二个任务是提取用户创建的查询的部分匹配，并使用动态规划（DP）将它们组装成完全匹配。DP利用因果关系将索引的低级别特征组装成与查询路线相匹配的视频片段。我们研究了闭路电视和机载镜头，其低对比度使得运动提取更加困难。我们生成强大的运动估计机载数据使用轨迹生成算法，而我们使用霍恩和Schunck的方法来生成CCTV的运动估计。我们的方法处理长路线，低对比度和闭塞。我们推导出的假阳性率的界限，并证明了计数，运动模式识别和废弃对象的应用程序的方法的有效性。
2014-05-01 cs.CV
Learning Deep Neural Networks for Vehicle Re-ID with Visual-spatio-temporal Path Proposals
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Limited（商汤集团有限公司）
车辆识别是视频监控和智能交通中的一个重要问题，在智能交通中有着广泛的应用。由于近年来个人身份识别技术的发展，它越来越受到人们的关注。然而，与人的重新识别不同，成对车辆图像之间的视觉差异通常是微妙的，甚至对人类来说是具有挑战性的。附加的时空信息的解释是解决具有挑战性的重新识别任务至关重要。现有的车辆重新识别方法忽视或使用过于简化的车辆图像时空关系模型。在本文中，我们提出了一个两阶段的框架，结合复杂的时空信息，有效地正则化的重新识别结果。给定一对具有时空信息的车辆图像，首先通过具有深度学习的势函数的链式MRF模型生成候选视觉时空路径，其中每个视觉时空状态对应于具有时空信息的实际车辆图像。Siamese-CNN+Path-LSTM模型采用候选路径以及成对查询来生成它们的相似性得分。大量的实验和分析表明，我们提出的方法和个别组件的有效性。
2017-08-13 cs.CV
Discriminative Feature Representation with Spatio-temporal Cues for Vehicle Re-identification
Shanghai Jiao Tong University（上海交通大学）
车辆再识别（re-ID）的目的是发现和匹配的目标车辆从画廊的图像集所采取的不同相机在广泛的道路网络。它对于安全监控和交通管理等许多应用至关重要。不同车辆的外观非常相似，视点和光照条件的显著变化给车辆识别带来了巨大的挑战。传统的解决方案侧重于设计全局视觉外观，而没有充分考虑车辆在不同图像中的时空关系。本文提出了一种新的具有时空线索的判别性特征表示（DFR-ST）用于车辆识别。基于此多模态信息，建议DFR-ST构造一个外观模型的多粒度视觉表示的双流架构和时空度量提供补充信息。在两个公开数据集上的实验结果表明，DFR-ST的性能优于现有的方法，从而验证了该方法的有效性。
2020-11-13 cs.CV
Flying Bird Object Detection Algorithm in Surveillance Video Based on Motion Information
School of Information Science and Technology, Southwest JiaoTong University（西南交通大学信息科学与技术学院）；Qianghua Times (Chengdu) Technology Co., Ltd.（强华时代（成都）科技有限公司）
针对监控视频中飞鸟目标特征不明显且尺寸小的问题，提出基于运动信息的检测算法FBOD-BMI，通过ConvLSTM-PAN模型提取时空特征并定位可疑目标，结合自适应时空立方体和轻量级U型网络LW-USN抑制误检，有效实现飞鸟目标检测。
2023-08-26 cs.CV
Gait Identification under Surveillance Environment based on Human Skeleton
School of Cyber Science and Engineering, Shanghai Jiao Tong University（上海交通大学网络空间安全学院）
基于视觉的步态识别作为一种新兴的生物识别技术，是生物特征识别领域的重要研究内容。现有的步态识别方法大多从步态视频中提取特征，并通过在图库中查询来识别探针样本。然而，视频数据包含冗余信息，并且容易受到装袋（BG）和服装（CL）的影响。由于人体骨骼传达了人体步态的重要信息，因此我们的项目提出了一种基于骨骼的步态识别网络。首先，从视频中提取骨架序列并将其映射到步态图中。然后构造基于时空图卷积网络的特征提取网络学习步态表征。最后，通过与图库中最相似的作品进行匹配来识别探针样本。我们在CASIA-B数据集上测试了我们的方法。结果表明，该方法具有很强的自适应性，在BG、CL和平均情况下都得到了较好的结果。
2021-11-24 cs.AI cs.CV
Dynamic Spatio-temporal Graph-based CNNs for Traffic Prediction
Alibaba Damo Academy, Alibaba Group（阿里巴巴集团阿里巴巴达摩院）；Alibaba Cloud, Alibaba Group（阿里巴巴集团阿里云）
由于交通流时空结构的复杂性和动态性，预测未来交通流是一个具有挑战性的问题。大多数现有的基于图的CNN试图捕捉静态关系，而在很大程度上忽略了序列数据背后的动态。在本文中，我们提出了动态时空图为基础的CNN（DST-GCNN）通过学习表达功能来表示时空结构和预测未来的交通流量从监控视频数据。特别地，DST-GCNN是双流网络。在流量预测流中，我们提出了一种新的基于图形的时空卷积层，从流量的图形表示中提取特征。然后将几个这样的层堆叠在一起，以预测未来随时间的流量。同时，图中的交通流之间的关系往往是时变的，因为交通状况随时间变化。为了捕获图的动态性，我们使用图预测流来预测动态图结构，并且预测的结构被馈送到流预测流中。在真实数据集上的实验表明，与其他最先进的方法相比，该模型具有竞争力的性能。
2020-03-05 cs.CV
Video Action Recognition Using spatio-temporal optical flow video frames
Kapital Bank（资本银行）；Khazar University（哈扎尔大学）；Consumer Experience Tribe（消费者体验部落）；Lumos Extension（Lumos扩展）；School of Data（数据学院）
基于视频的人体动作识别是近年来计算机视觉研究的热点之一。该领域有许多应用，如监控，机器人，医疗保健，视频搜索和人机交互。在视频中识别人的动作存在许多问题，例如背景杂乱、障碍物、视点变化、执行速度和摄像机移动。已经提出了大量的方法来解决这些问题。本文重点研究了使用深度神经网络进行视频分类的空间和时间模式识别。该模型将RGB图像和光流作为输入数据，并输出动作类编号。最终的识别准确率约为94%。
2021-02-05 cs.AI cs.CV
Water Detection through Spatio-Temporal Invariant Descriptors
Utrecht University（乌得勒支大学）；University of Amsterdam（阿姆斯特丹大学）；SIM University（SIM大学）
在这项工作中，我们的目标是分割和检测视频中的水。水检测对于诸如视频搜索、户外监控以及诸如无人地面车辆和无人飞行器之类的系统的应用是有益的。然而，与一般纹理识别相比，具体问题较少讨论。在这里，我们分析了水的几个运动特性。首先，我们描述了一个视频预处理步骤，以增加对水的反射和水的颜色的不变性。其次，我们调查的时间和空间属性的水，并得出相应的本地描述符。描述符被用来本地分类的水的存在和二进制水检测掩模生成通过时空马尔可夫随机场正则化的本地分类。第三，我们介绍了视频水数据库，包含几个小时的水和非水的视频，以验证我们的算法。在视频水数据库和DynTex数据库上的实验结果表明了该算法的有效性，在动态纹理识别和材质识别方面，该算法的性能优于多种算法。5%和15%。
2015-11-03 cs.CV
Integrating Graph Partitioning and Matching for Trajectory Analysis in Video Surveillance
Sun Yat-Sen University（中山大学）；Beihang University（北京航空航天大学）
针对运动目标在遮挡、干扰和背景干扰等情况下的远距离跟踪问题，提出了一种统一的全局轨迹分析方法。代替传统的逐帧跟踪，我们的方法恢复目标轨迹的基础上的一个短序列的视频帧，例如$15$帧。我们首先计算每帧的前景图，从最先进的背景模型中获得。然后从前景图中提取属性图，其中图顶点是由复合特征表示的图像基元。有了这个图形表示，我们提出的空间图分割和时间图匹配的联合任务的轨迹分析。该任务可以通过在贝叶斯框架下最大化后验来制定，其中我们集成了时空背景和外观模型。概率推理是由数据驱动的马尔可夫链蒙特卡罗（MCMC）算法。该算法模拟一个遍历的非周期马尔可夫链，在空间图分割和时间图匹配的联合空间中访问一系列解的状态。在实验中，我们的方法进行了测试，从视觉监控的公共数据集的几个具有挑战性的视频，它优于国家的最先进的方法。
2015-02-02 cs.CV
Total Variation Regularized Tensor RPCA for Background Subtraction from Compressive Measurements
Shaanxi Normal University（陕西师范大学）；Chinese Academy of Sciences（中国科学院）；Hong Kong Baptist University（香港浸会大学）；RIKEN BSI（日本理化学研究所脑科学研究所）；Systems Research Institute, PAS（波兰科学院系统研究所）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
背景减除是视频分析中一项基本的、广泛研究的任务，在视频监控、电话会议和三维建模中有着广泛的应用。近年来，在压缩成像的推动下，压缩测量背景减法（BSCM）成为视频监控领域的一个研究热点。在本文中，我们提出了一种新的基于张量的鲁棒PCA（TenRPCA）的BSCM方法，通过将视频帧分解为具有时空相关性的背景和具有时空连续性的前景张量框架。在该方法中，我们使用3D全变分（TV）来增强前景的时空连续性，并使用Tucker分解来建模视频背景的时空相关性。基于这一思想，我们设计了一个基本的张量RPCA模型的视频帧，被称为整体TenRPCA模型（H-TenRPCA）。为了表征视频背景中相似三维块组之间的相关性，通过对三维块组进行联合张量Tucker分解，设计了一种基于块组的张量RPCA模型（PG-TenRPCA），用于视频背景建模。利用交替方向乘子法（ADMM）的有效算法来解决所提出的模型。模拟和真实世界的视频上的大量实验表明，所提出的方法优于现有的国家的最先进的方法。
2016-06-05 cs.CV
Balancing Accuracy and Training Time in Federated Learning for Violence Detection in Surveillance Videos: A Study of Neural Network Architectures
ESIEA（ESIEA高等工程学院）；Learning, Data and Robotics (LDR) Lab, ESIEA（ESIEA学习、数据与机器人实验室）
本研究提出Diff-Gated架构并适配联邦学习，通过超收敛和迁移学习等技术，在监控视频暴力检测中实现了优于现有模型的准确率，同时平衡了训练时间。
2023-06-29 cs.AI cs.CV cs.LG
MTFL: Multi-Timescale Feature Learning for Weakly-Supervised Anomaly Detection in Surveillance Videos
Eindhoven University of Technology（埃因霍温理工大学）
针对监控视频弱监督异常检测需求，提出多时间尺度特征学习方法MTFL，通过多尺度时序管结合Video Swin Transformer提取时空特征，在多个基准数据集上取得优异性能，并构建了扩展数据集VADD。
2025-10-28 cs.CV
A Survey on Deep Learning-based Spatio-temporal Action Detection
College of Computer Science, Zhejiang University（浙江大学计算机学院）；Ant Group（蚂蚁集团）
本文综述了基于深度学习的时空动作检测（STAD）方法，通过分类法组织现有算法，回顾连接算法，介绍基准数据集与评估指标，并比较模型性能及探讨未来研究方向。
2023-08-03 cs.CV
View-invariant action recognition
CRCV University of Central Florida（中佛罗里达大学计算机视觉研究中心）
人体动作识别是计算机视觉中的一个重要问题。它在监控、人机交互、增强现实、视频索引和检索等方面有着广泛的应用。由人类动作产生的时空外观的变化模式是识别所执行动作的关键。我们已经看到很多研究探索这种时空外观的动态，以学习人类行为的视觉表示。然而，大多数动作识别的研究都集中在一些共同的观点，这些方法并没有表现出良好的时，有一个改变的观点。人类动作在三维环境中执行，并且当从给定视点捕获为视频时被投影到二维空间。因此，一个动作从不同的视角看会有不同的时空表现。视点不变动作识别的研究就是为了解决这个问题，主要从看不见的视点来识别人的动作。
2020-09-01 cs.CV
Spatio-Temporal Graph Transformer Networks for Pedestrian Trajectory Prediction
SenseTime Research（商汤科技研究院）；National University of Singapore（新加坡国立大学）
了解人群运动动态对于现实世界的应用至关重要，例如，监控系统和自动驾驶。这是具有挑战性的，因为它需要有效地建模的社会意识人群的空间互动和复杂的时间依赖性。我们认为注意力是轨迹预测的最重要因素。在本文中，我们提出了STAR，时空grAph Transformer框架，它只处理注意力机制的轨迹预测。STAR通过TGConv（一种新的基于Transformer的图卷积机制）对图内人群交互进行建模。图间的时间依赖性由单独的时间Transformers建模。STAR通过在空间和时间Transformers之间交错来捕获复杂的时空交互。为了校准消失的行人的长期影响的时间预测，我们引入了一个可读写的外部存储器模块，不断更新的时间Transformer。我们表明，只有注意力机制，STAR实现了最先进的性能5常用的现实世界的行人预测数据集。
2020-07-24 cs.CV cs.LG cs.RO
FastAno: Fast Anomaly Detection via Spatio-temporal Patch Transformation
Yonsei University（延世大学）
随着监控视频自动监控要求的不断提高，视频异常检测受到了广泛关注。特别是，基于预测的方法是研究最多的方法之一，通过预测帧，其中包括异常事件的测试集学习后，与正常帧的训练集检测异常。然而，许多预测网络由于使用预先训练的光流网络而在计算上昂贵，或者由于其预测甚至异常的强生成能力而不能检测异常情况。为了解决这些缺点，我们提出了空间旋转变换（SRT）和时间混合变换（TMT），以产生正常的框架长方体内的不规则补丁长方体，以加强正常功能的学习。此外，所提出的补丁变换仅在训练阶段使用，使我们的模型能够在推理过程中快速检测异常帧。我们的模型在三个异常检测基准上进行了评估，实现了具有竞争力的准确性，并在速度方面超过了以前的所有作品。
2021-10-25 cs.CV
Background Segmentation for Vehicle Re-Identification
Beihang University（北京航空航天大学）
车辆再识别（Vehicle Re-ID）在智能交通和视频监控中具有重要意义，以往的研究主要集中在从车辆的视觉外观或利用视觉-时空信息中提取有区别的特征，而背景干扰对车辆再识别的影响还没有研究。同一车辆通常出现在不同的背景中，而不同的车辆可能出现在同一背景中，这将严重影响重识别性能。据我们所知，本文是第一个考虑背景干扰问题的车辆重新识别。我们构建了一个车辆分割数据集，并开发了一个车辆Re-ID框架与背景干扰去除（BIR）机制，以提高车辆Re-ID性能以及对复杂背景的鲁棒性在大规模时空场景。大量的实验证明了我们提出的框架的有效性，平均9%的增益mAP超过国家的最先进的车辆Re-ID算法。
2019-10-15 cs.CV
HyPCV-Former: Hyperbolic Spatio-Temporal Transformer for 3D Point Cloud Video Anomaly Detection
针对现有欧氏表示难以捕捉3D点云视频事件层级结构与时序连续性的问题，提出基于洛伦兹双曲空间的HyPCV-Former模型，通过双曲多头自注意力建模时序依赖，在TIMo、DAD数据集上取得SOTA性能。
2025-08-01 cs.CV
Spatio-Temporal Context Learning with Temporal Difference Convolution for Moving Infrared Small Target Detection
针对红外运动小目标检测因目标特征弱、背景复杂导致的挑战，提出TDCNet网络，通过TDC重参数化模块融合时间差分与3D卷积，并结合TDC引导的时空注意力机制，在相关数据集上实现了最先进的检测性能。
2025-11-16 cs.CV
Complex Background Subtraction by Pursuing Dynamic Spatio-Temporal Models
Sun Yat-Sen University（中山大学）；SYSU-CMU Shunde International Joint Research Institute（中山大学-卡内基梅隆大学顺德国际联合研究院）
尽管背景减除在视频监控中已被广泛讨论，但在复杂场景的上下文中，背景减除仍然是一个悬而未决的问题，例如，动态背景、照明变化和模糊的前景对象。为了解决这些挑战，我们提出了一个有效的背景减除方法，通过学习和维护一个阵列的动态纹理模型的时空表示。在场景的任何位置，我们提取一系列规则的视频砖，即跨越空间和时间域的视频体积。因此，背景建模被设定为在视频砖内追求子空间，同时适应场景变化。对于每个序列的视频砖，我们追求的子空间，采用ARMA（自回归移动平均）模型，共同表征的外观一致性和时间的一致性的意见。在在线处理过程中，我们逐步更新子空间，以应付来自前景物体和场景变化的干扰。在实验中，我们验证了所提出的方法在几个复杂的情况下，表现出优越的性能比其他国家的最先进的背景减除方法。并对参数设置和成分分析进行了实证研究。
2015-02-02 cs.CV
Video Synopsis Generation Using Spatio-Temporal Groups
NIT Durgapur（杜尔加布尔国立技术学院）；IIT Bhubaneswar（布巴内斯瓦尔印度理工学院）；KIST（韩国科学技术研究院）；IKST Bangalore（班加罗尔印韩科学技术研究院）
数以百万计的监控摄像头全天候运行，产生大量的视觉数据进行处理。然而，从如此大的数据中检索重要活动可能是耗时的。因此，研究人员正在寻找解决方案，以压缩但有意义的方式呈现数小时的视觉数据。视频摘要是使用相对较短的持续时间片段来表示活动的方式之一。到目前为止，研究人员已经使用了两种主要的方法来解决这个问题，即通过跟踪移动对象的摘要和通过聚类移动对象的摘要。摘要输出，主要取决于跟踪，分割，移动对象的时间以及空间的移动。在许多情况下，跟踪失败，从而产生同一对象的多个轨迹。因此，对象可能在同一个概要输出中出现和消失多次，这是误导性的。这也会导致不连续性，并且经常会让大纲的观众感到困惑。在本文中，我们提出了一种新的方法来产生压缩视频大纲的分组运动对象的轨迹。它有助于生成一个概要，其中按时间顺序相关的对象与有意义的时空关系一起出现。我们提出的方法在公开的数据集视频和内部数据集视频上进行测试时，会产生连续但不那么令人困惑的概要。
2017-09-15 cs.CV
Learning Regularity in Skeleton Trajectories for Anomaly Detection in Videos
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）；iCetana, Inc.（iCetana公司）；University of Western Australia（西澳大学）
虽然外观特征包含复杂的纠缠因子，但在视频异常检测中得到了广泛的应用。我们提出了一种新的方法来建模的正常模式的人的运动在监控视频中的异常检测使用动态骨架功能。我们将骨骼运动分解为两个子部分：全局身体运动和局部身体姿势。我们在我们的新的消息传递编码器-解码器递归网络的耦合功能的动力学和相互作用的模型。我们观察到，解耦的功能协同互动，在我们的时空模型，以准确地识别人类相关的不规则事件从监控视频序列。与传统的基于外观的模型相比，我们的方法实现了优越的离群点检测性能。我们的模型还提供了“开箱”检查和决策解释的语义可理解的功能和支持可解释性的网络架构。
2019-04-18 cs.CV
VigilFormer: Deformable Attention for Video Anomaly Detection with Causal Risk Inference
University of Southern California（南加州大学）
提出VigilFormer框架，结合可变形时空注意力与因果时序建模，通过稀疏注意力、对比多实例学习和自适应帧跳过，在保持高精度的同时实现实时异常检测。
2026-06-16 cs.AI cs.CV
Human-centric Spatio-Temporal Video Grounding With Visual Transformers
Beihang University（北京航空航天大学）；Sun Yat-sen University（中山大学）；Pazhou Lab（琶洲实验室）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Sydney（悉尼大学）
在这项工作中，我们介绍了一个新的任务-以人为中心的时空视频接地（HC-STVG）。与现有的图像或视频中的指称表达任务不同，通过关注人类，HC-STVG旨在基于给定的纹理描述从未修剪的视频中定位目标人的时空管。此任务非常有用，特别是对于医疗保健和安全相关的应用，其中监控视频可能非常长，但仅涉及特定时间段内的特定人员。HC-STVG是一项视频基础任务，需要空间（地点）和时间（时间）定位。不幸的是，现有的接地方法不能很好地处理这个任务。我们解决这个任务，提出了一个有效的基线方法命名为时空接地与视觉Transformers（STGVT），它利用视觉Transformers提取跨模态表示的视频句子匹配和时间定位。为了方便这项任务，我们还贡献了一个HC-STVG数据集，由复杂多人场景中的5，660个视频-句子对组成。具体来说，每个视频时长20秒，与平均17.25个单词的自然查询语句配对。在此数据集上进行了大量的实验，证明新提出的方法优于现有的基线方法。
2021-06-02 cs.AI cs.CV cs.MM
FeedbackSTS-Det: Sparse Frames-Based Spatio-Temporal Semantic Feedback Network for Moving Infrared Small Target Detection
School of Information and Communication Engineering and the Laboratory of Imaging Detection and Intelligent Perception, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院及成像探测与智能感知实验室）；School of Television and Audiovisual Arts, Communication University of Zhejiang（浙江传媒学院电视与视听艺术学院）
本文提出FeedbackSTS-Det网络，通过闭环时空语义反馈策略和嵌入式稀疏语义模块，提升移动红外小目标检测的准确性和鲁棒性。
2026-04-07 cs.CV
Patch Spatio-Temporal Relation Prediction for Video Anomaly Detection
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；School of Mechanical Engineering, Guizhou University（贵州大学机械工程学院）
本文提出一种基于块间时空关系预测的自监督视频异常检测方法，通过双分支视觉Transformer分别建模外观与运动，将顺序预测转为多标签学习、相似性预测转为距离矩阵回归，在三个公开基准上显著超越现有方法。
2024-03-28 cs.CV
A Novel end-to-end Framework for Occluded Pixel Reconstruction with Spatio-temporal Features for Improved Person Re-identification
IIIT Naya Raipur（纳亚赖布尔国际信息技术学院）
本文提出一种端到端框架，结合CNN遮挡检测、Conv-LSTM/Autoencoder像素重建和cGAN细化，显著提升了遮挡场景下行人重识别的Rank-1精度。
2023-04-16 cs.CV
Surveillance Video-Based Traffic Accident Detection Using Transformer Architecture
Department of Civil Engineering, Indian Institute of Technology Kanpur（印度理工学院坎浦尔分校土木工程系）；School of Computing, Engineering and Mathematical Sciences, La Trobe University（拉特罗布大学计算科学与工程数学科学学院）
本文提出基于变换器架构的交通事故检测模型，利用预提取的空间视频特征和运动线索，通过卷积与变换器结合提升检测准确率至88.3%。
2025-12-12 cs.AI cs.CV
STAC: Leveraging Spatio-Temporal Data Associations For Efficient Cross-Camera Streaming and Analytics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Boeing Research and Technology（波音研究与技术）
提出STAC跨摄像头监控系统，利用时空关联和多分辨率特征学习，在受限网络下通过帧过滤等优化消除冗余数据，实现76%跟踪准确率提升和8.6倍延迟降低。
2025-08-13 cs.CV cs.MM cs.NI
Egocentric Meets Top-view
University of Central Florida（中佛罗里达大学）
由于GoPro相机、眼镜等以自我为中心的相机的可用性和日益普及，我们已经获得了从第一人称视角拍摄的大量视频。监控摄像机和无人机（也称为无人机）也提供了大量的视频，主要是自上而下或倾斜的视角。自我中心视觉和俯视监控视频在过去的计算机视觉社区中已经得到了广泛的研究。然而，两者之间的关系还有待深入探讨。在这一努力中，我们试图通过接近两个问题来探索这种关系。首先，有一组以自我为中心的视频和一个顶视图视频，我们可以验证顶视图视频是否包含所有或一些以自我为中心的观众？第二，我们能在俯视视频的内容中识别出以自我为中心的观众吗？换句话说，我们能在监控录像中找到摄像师吗？当视频不是时间同步时，这些问题可能变得更具挑战性。因此，我们以一种处理并估计以自我为中心的视频和顶视视频之间未知的相对时间延迟的方式来形式化该问题。我们制定的问题作为一个光谱图匹配的实例，并共同寻求最佳的分配和相对时间延迟的视频。因此，我们时空定位的自我中心的观察者在顶视图视频。我们使用图对每个视图（以自我为中心或顶部）进行建模，并以迭代替代的方式计算分配和时间延迟。
2016-09-14 cs.CV
A Hierarchical Spatio-Temporal Graph Convolutional Neural Network for Anomaly Detection in Videos
Beihang University（北京航空航天大学）；th Research Institute of CETC（中国电子科技集团公司第五十四研究所）；Laboratory of Aerospace Information Applications of CETC（中国电子科技集团公司航天信息应用实验室）
深度学习模型已被广泛用于监控视频中的异常检测。典型模型具有重建正常视频和评估异常视频上的重建误差以指示异常程度的能力。然而，现有的方法存在两个缺点。首先，它们只能独立地对每个身份的运动进行编码，而没有考虑身份之间的相互作用，这也可能表明异常。其次，他们利用的模型是固定的，其结构是固定的，在不同的场景下，这种配置无法理解的场景。本文提出了一种层次时空图卷积神经网络（HSTGCNN）来解决这些问题，HSTGCNN由多个分支组成，对应于不同层次的图表示。高级图形表示对人的轨迹和多个身份之间的交互进行编码，而低级图形表示对每个人的局部身体姿势进行编码。此外，我们建议加权组合在不同场景中更好的多个分支。以这种方式实现了对单级图表示的改进。实现对场景的理解，并用于异常检测。高级图表示被分配较高的权重以编码低分辨率视频中的人的移动速度和方向，而低级图表示被分配较高的权重以编码高分辨率视频中的人的骨架。实验结果表明，所提出的HSTGCNN显着优于目前的国家的最先进的模型在四个基准数据集（UCSD行人，上海科技，中大大道和IITB-Corridor），使用更少的可学习的参数。
2021-12-10 cs.CV
Detecting Regions of Maximal Divergence for Spatio-Temporal Anomaly Detection
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）；Carl Zeiss AG（卡尔·蔡司股份公司）
在空间和时间变化测量中的异常的自动检测是若干领域中的重要工具，例如，欺诈检测、气候分析或医疗保健监控。我们提出了一种算法，用于检测异常区域的多变量时空时间序列，它允许发现感兴趣的部分，在大量的数据，包括视频和文本数据。在反对现有的技术用于检测孤立的异常数据点，我们提出了“最大发散间隔”（MDI）框架的无监督检测的相干空间区域和时间间隔的特点是高库尔贝克-莱布勒散度与所有其他数据相比。在这方面，我们定义了一个公正的库尔贝克-莱布勒散度，允许排名不同大小的区域，并显示如何使算法运行在大规模的数据集在合理的时间内使用的间隔建议技术。在气候分析、视频监控和文本取证等不同领域的合成和真实数据上的实验表明，我们的方法具有广泛的适用性，是在不同类型的数据中发现有趣事件的有价值的工具。
2019-07-23 cs.CV cs.LG stat.AP
SVAG-Bench: A Large-Scale Benchmark for Multi-Instance Spatio-temporal Video Action Grounding
LMU Munich（慕尼黑大学）；MCML；Technical University of Munich（慕尼黑技术大学）；University of Zurich（苏黎世大学）；University of Oxford（牛津大学）；Amazon（亚马逊）；NVIDIA（英伟达）
SVAG-Bench通过多实例整合任务，评估模型在复杂场景中对动作的时空定位能力，包含688个视频和19590个注释，支持细粒度评估多主体歧义消除和动作组合性。
2026-05-14 cs.CV
Cross-Camera Trajectories Help Person Retrieval in a Camera Network
Sun Yat-sen University（中山大学）
本文提出一种融合时空信息的跨摄像头轨迹生成行人检索框架，通过联合建模行走习惯与路径布局、条件随机场与受限非负矩阵分解优化轨迹，并构建首个真实场景行人轨迹数据集以验证有效性。
2023-07-04 cs.AI cs.CV
A Framework Combining 3D CNN and Transformer for Video-Based Behavior Recognition
Infrastructure University Kuala Lumpur（吉隆坡基建大学）
针对3D CNN难以建模长距离依赖与Transformer计算成本高的问题，提出融合两者的混合框架，通过提取局部时空特征与全局时间依赖提升识别准确率。
2025-08-02 cs.AI cs.CV
