ZBS: Zero-shot Background Subtraction via Instance-level Background Modeling and Foreground Selection
National Laboratory of Pattern Recognition（模式识别国家重点实验室）
背景减除（BGS）的目的是提取视频帧中的所有运动对象，以获得二值前景分割模板。深度学习在这一领域得到了广泛的应用。与基于监督的BGS方法相比，无监督方法具有更好的泛化能力。然而，以前的无监督深度学习BGS算法在阴影或夜间灯光等复杂场景中表现不佳，它们无法检测预定义类别之外的对象。在这项工作中，我们提出了一种无监督的BGS算法的基础上zero-shot目标检测称为零拍背景减法（ZBS）。该方法充分利用了zero-shot目标检测的优点，建立了开放词汇的实例级背景模型。在此基础上，通过将新帧的检测结果与背景模型进行比较，可以有效地提取出前景。ZBS对于复杂的场景表现良好，并且具有丰富和可扩展的类别。此外，我们的方法可以很容易地推广到其他任务，如废弃的目标检测在看不见的环境。我们的实验表明，ZBS在CDnet 2014数据集上超过了最先进的无监督BGS方法4. 70% F-Measure。代码发布于https://github.com/CASIA-IVA-Lab/ZBS。
2023-03-26 cs.CV
Background Subtraction with Real-time Semantic Segmentation
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences（中国科学院长春光学精密机械与物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Fraunhofer IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
准确、快速地提取前景目标对于视频监控中的目标跟踪和识别至关重要。虽然许多背景减除（BGS）方法已被提出在最近的过去，它仍然被视为一个棘手的问题，由于各种各样的挑战性的情况下，发生在现实世界的场景。在本文中，我们从一个新的角度来探讨这个问题，并提出了一种新的背景减除框架与实时的【形】语义分割（RTSS）。我们提出的框架包括两个组件，一个传统的BGS分割器$\mathcal{B}$和一个实时的【形】语义分割器$\mathcal{S}$。BGS分割器$\mathcal{B}$的目标是构建背景模型并分割前景对象。实时的【形】语义分割器$\mathcal{S}$用于细化前景分割输出作为反馈，以提高模型更新精度。$\mathcal{B}$和$\mathcal{S}$在两个线程上并行工作。对于每个输入帧$I_t$，BGS分割器$\mathcal{B}$计算初步前景/背景（FG/BG）掩模$B_t$。同时，实时的【形】语义分割器$\mathcal{S}$提取对象级语义${S}_t$。然后，在${B}_t$和${S}_t$上应用一些特定的规则以生成最终检测${D}_t$。最后，反馈改进的FG/BG掩模${D}_t$以更新背景模型。在CDnet 2014数据集上进行的综合实验表明，我们提出的方法在实时的【形】操作时，在所有无监督背景减除方法中达到了最先进的性能，甚至比一些基于深度学习的监督算法表现得更…
2018-12-12 cs.CV
Real-Time Semantic Background Subtraction
University of Liège（列日大学）；Montefiore Institute（蒙泰菲奥里研究所）
针对语义分割掩码计算慢、多数背景减除算法非实时的问题，提出RT-SBS，融合实时算法与慢速高质量逐像素语义信息；配合ViBe达到实时方法新SOTA并可比肩非实时SOTA。
2020-05-27 cs.CV cs.LG eess.IV
Roadside Lidar Vehicle Detection and Tracking Using Range And Intensity Background Subtraction
Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）
在本文中，我们开发的解决方案，路边激光雷达目标检测使用两个无监督学习算法的组合。首先将三维点云转换为球坐标，并使用哈希函数填充到高程-方位角矩阵中。之后，将原始LiDAR数据重新排列成新的数据结构，以存储距离、方位角和强度信息。然后，基于亮度通道模式识别，采用动态模式分解方法将LiDAR数据分解为低秩背景和稀疏前景。粗精三角形算法（CFTA）根据距离信息自动寻找分割值，将运动目标从静止背景中分离出来。在强度和距离背景减除之后，使用基于密度的检测器检测前景运动目标，并将其编码到状态空间模型中用于跟踪。所提出的解决方案的输出包括可以实现许多移动性和安全应用的车辆轨迹。该方法在路径和点两个层次上进行了验证，并优于国家的最先进的。与以前的方法，直接处理的分散和离散的点云，动态分类方法可以建立不太复杂的线性关系的三维测量数据，它捕获的时空结构，我们往往希望。
2022-06-08 cs.CV eess.SP
Comparison of Two Methods for Stationary Incident Detection Based on Background Image
本研究针对视觉跟踪中的临时静止目标检测问题，提出单背景与双背景两种基于背景减除的检测方案，结合NCC图像比对实现跟踪，在遮挡和光照变化场景下鲁棒且可实时运行。
2025-06-17 cs.CV
Unsupervised Deep Context Prediction for Background Foreground Separation
Qatar University（卡塔尔大学）；University of Warwick（华威大学）；Kyungpook National University（庆北国立大学）
在许多先进的基于视频的应用中，背景建模是消除冗余数据的预处理步骤，例如在跟踪或视频监控应用中。在过去的几年中，背景减除通常基于低级或手工制作的特征，例如原始颜色分量，梯度或局部二进制模式。背景减除算法的性能受到各种挑战的影响，如动态背景，光度变化，相机抖动和阴影。为了解决这些问题，准确的背景建模的目的，我们提出了一个统一的框架的基础上的图像修补算法。它是一种基于上下文预测的无监督视觉特征学习混合生成对抗算法。提出了利用泊松混合技术将中心区域修复和随机区域修复相融合的随机区域修复方法。此外，我们还评估了前景目标检测与我们提出的方法和形态学操作的融合。通过与12种现有方法的比较，证明了该方法在背景估计和前景检测中的稳定性。
2018-05-21 cs.CV
Error Bounded Foreground and Background Modeling for Moving Object Detection in Satellite Videos
从地面视频中检测运动目标通常通过使用背景减除技术来实现。低秩矩阵分解启发了一套国家的最先进的方法来完成这项任务。在低秩结构稀疏分解（LSD）方法中，结合结构稀疏正则化实现背景减除。然而，当该方法应用于空间分辨率差且目标与背景的对比度低的卫星视频时，其性能受到限制，因为数据不再充分地适合前景结构或背景模型。在本文中，我们明确地处理这些无法解释的数据，并将空间运动目标检测作为先驱研究之一。我们提出了一种技术，通过扩展的分解公式与有界误差，命名为扩展低秩和结构化稀疏分解（E-LSD）。该公式将低秩背景、结构化稀疏前景及其残差集成到矩阵分解问题中。我们通过引入一种替代的处理方法，并采用乘子交替方向法（ADMM）的直接推广，提供了一个有效的解决方案。在两个卫星视频上对所提出的E-LSD进行了验证，实验结果表明，与现有方法相比，该方法在背景建模方面有所改进，运动目标检测精度有所提高。
2019-08-26 cs.CV
Moving Object Detection by Detecting Contiguous Outliers in the Low-Rank Representation
The Hong Kong University of Science and Technology（香港科技大学）
在许多视觉应用中，目标检测是自动视频分析的基本步骤。视频中的目标检测通常通过目标检测器或背景减除技术来执行。通常，对象检测器需要手动标记的示例来训练二元分类器，而背景减法需要不包含对象的训练序列来构建背景模型。为了使分析自动化，没有单独训练阶段的目标检测成为关键任务。人们试图通过使用运动信息来解决这个问题。但现有的基于运动的方法在处理非刚体运动和动态背景等复杂场景时往往受到限制。在本文中，我们表明，上述挑战可以解决在一个统一的框架，名为检测连续性离群值的低秩表示（DECOLOR）。该公式将目标检测和背景学习集成到单个优化过程中，可以通过交替算法有效地求解。我们解释了DECOLOR和其他基于稀疏性的方法之间的关系。仿真数据和真实序列的实验表明，DECOLOR优于最先进的方法，它可以有效地工作在广泛的复杂场景。
2012-06-23 cs.CV
Background subtraction on depth videos with convolutional neural networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Jilin University（吉林大学）
背景减除是计算机视觉系统的重要组成部分。它被广泛应用于视频监控，目标跟踪，异常检测等，一个新的数据源的背景减法出现了低成本的深度传感器，如微软的Kinect，华硕Xtion PRO等，在本文中，我们提出了一种背景减法方法的深度视频，这是基于卷积神经网络（CNN），称为BGSNet-D（背景减法神经网络深度视频）。该方法可用于光照条件差等颜色不可用的场景，也可与现有的RGB背景减除方法相结合。设计了一种预处理策略，以减少深度传感器噪声的影响。在SBM-RGBD数据集上的实验结果表明，该方法在深度数据上的性能优于现有方法。
2019-01-17 cs.CV
Deep Neural Network Concepts for Background Subtraction: A Systematic Review and Comparative Evaluation
Univ. La Rochelle（拉罗谢尔大学）；University of Warwick（华威大学）；Kyungpook National University（庆北国立大学）
传统的神经网络显示了一个强大的框架，在静态摄像机获取的视频背景减法。事实上，众所周知的SOBS方法及其基于神经网络的变体在很长一段时间内都是大规模CDnet 2012数据集的领导者。最近，属于深度学习方法的卷积神经网络被成功地用于背景初始化、前景检测和深度学习特征。目前，CDnet 2014中最流行的背景减除方法是基于深度神经网络的，与基于多特征或多线索策略的传统无监督方法相比，性能差距很大。此外，自2016年Braham和Van Droogenbroeck发表了他们关于CNN的第一篇论文以来，发表了大量论文，这些论文应用于背景减除，提供了定期的性能增益。在这种情况下，我们为新手和专家提供了背景减除中深度神经网络概念的第一篇综述，以分析这一成功并提供进一步的方向。为此，我们首先调查了使用背景初始化，背景减除和深度学习特征的方法。然后，我们讨论了深度神经网络用于背景减除的充分性。最后，在CDnet 2014数据集上给出了实验结果。
2018-11-13 cs.CV
pROST : A Smoothed Lp-norm Robust Online Subspace Tracking Method for Realtime Background Subtraction in Video
Technische Universität München（慕尼黑工业大学）
越来越多的背景减除方法使用鲁棒PCA来识别稀疏的前景对象。虽然许多算法使用L1范数作为理想稀疏化函数的凸松弛，但我们用平滑的Lp范数来处理这个问题，并提出了一种鲁棒的在线子空间跟踪方法pROST。该算法基于流形上的交替极小化。在图形处理单元上实现，它实现了实时性能。在现实世界的视频数据的背景减除的最先进的基准上的实验结果表明，该方法成功地在各种各样的背景减除的情况下，它优于竞争的方法时，视频质量恶化相机抖动。
2013-03-28 cs.CV
Background Subtraction using Compressed Low-resolution Images
Royal Melbourne Institute of Technology University（皇家墨尔本理工大学）；Fujian University of Technology（福建理工大学）
图像处理和识别是现代社会的重要组成部分，在高级人工智能、智能助手和安全监控等领域有着广泛的应用。几乎所有的视觉任务都涉及的基本第一步是使用静态相机进行背景减除。因此，确保以最有效的方式执行这一关键步骤将改善与对象识别和跟踪、行为理解等相关的所有方面。背景减除法虽然已经应用多年，但其应用受到实时性要求的限制。在这封信中，我们提出了一种新的方法来实现背景减法。该方法使用压缩后的低分辨率灰度图像进行背景减除。这些低分辨率的灰度图像被发现保存显着的信息非常好。为了验证我们的方法的可行性，两个流行的方法，ViBe和GMM，在实验中使用。所提出的方法的结果证实了我们的方法的有效性。
2018-10-24 cs.CV
Implementation And Performance Evaluation Of Background Subtraction Algorithms
Tezpur University（提兹普尔大学）
本研究评估了三种背景减除技术。这些技术的范围从非常基本的算法到最先进的已发布技术，根据速度，内存要求和准确性进行分类。这样的审查可以有效地指导设计人员以原则性的方式为给定的应用选择最合适的方法。在研究中使用的算法范围从不同水平的准确性和计算复杂性。他们中很少有人还可以处理实时的挑战，如雨，雪，冰雹，摇摆的树枝，物体重叠，变化的光线强度或缓慢移动的物体。
2014-05-08 cs.CV
Comparing Background Subtraction Algorithms and Method of Car Counting
University of Florida（佛罗里达大学）
在本文中，我们比较了各种图像背景减除算法与地面真值的汽车计数。我们已经给出了上千张图像的样本，这些图像是当前交通的快照，作为各个十字路口和高速公路的记录。我们还计算了这些图像中可见的汽车的近似数量。为了确定用于处理数百万张图像的算法的准确性，我们在许多指标上对它们进行了比较，包括（i）可扩展性（ii）准确性（iii）处理时间。
2012-01-29 cs.CV
Hand Shape and Gesture Recognition using Multiscale Template Matching, Background Subtraction and Binary Image Analysis
Graduate School of Arts & Sciences（文理研究生院）；Boston University（波士顿大学）
本文提出一种结合多尺度模板匹配与背景减除的手形分类方法，通过提取二值图像特征实现基础手势识别，在受控环境中验证了其在人机交互场景中的有效性。
2024-02-15 cs.CV
Background Subtraction in Real Applications: Challenges, Current Models and Future Directions
Univ. La Rochelle（拉罗谢尔大学）
基于视频的计算机视觉应用通常需要在其第一步中检测移动对象。然后应用背景减法以分离背景和前景。背景减除是计算机视觉中研究最多的领域之一，发表的论文也很多。其中大多数涉及数学和机器学习模型的应用，以更好地应对视频中遇到的挑战。然而，最终的目标是研究中开发的背景减除方法可以用于交通监控等实际应用。但看看文献，我们可以注意到，在实际应用中使用的当前方法与基础研究中使用的当前方法之间往往存在差距。此外，在大规模数据集中评估的视频并不详尽，因为它们只涵盖了实际应用中遇到的全部挑战的一部分。在这种情况下，我们试图提供尽可能详尽的调查，在实际应用中，使用背景减法，以确定在实践中遇到的真正挑战，目前使用的背景模型，并提供未来的方向。因此，在相机，前景物体和环境方面的挑战进行了研究。此外，我们确定的背景模型，有效地用于这些应用程序中，以找到潜在的可用的最近的背景模型的鲁棒性，时间和内存的要求。
2019-01-11 cs.CV
Head Gesture Recognition using Optical Flow based Classification with Reinforcement of GMM based Background Subtraction
Don Bosco University（顿博斯科大学）
描述了一种实时的头部姿态识别系统的技术。该方法包括高斯混合模型（GMM）伴随着光流算法，它提供了我们所需的信息，头部运动。所提出的模型可以在各种控制系统中实现。我们还介绍了这两种方法的结果和实施。
2013-08-05 cs.CV
Background Subtraction using Adaptive Singular Value Decomposition
FORWISS（FORWISS研究所）；University of Passau（帕绍大学）
处理传感器数据时的一个重要任务是区分相关数据和不相关数据。本文描述了一种迭代奇异值分解的方法，该方法通过跨越图像空间的子空间的奇异向量来保持背景的模型，从而提供了一种确定传入帧中包含的新信息量的方法。我们更新的奇异向量跨越背景空间的计算效率的方式，并提供执行块的更新的能力，导致一个快速和强大的自适应SVD计算。这两个属性的影响和成功的整体方法来执行一个国家的最先进的背景减除显示在定性和定量评估。
2019-06-28 cs.CV
A Multilayer-Based Framework for Online Background Subtraction with Freely Moving Cameras
Rutgers University（罗格斯大学）
随着视频采集平台的不断增加，迫切需要开发一种能够处理运动背景的通用背景减除算法。在本文中，我们提出了一个基于多层的框架，用于移动摄像机捕获的视频的在线背景减除。与以前的处理问题，所提出的方法是不限于二进制分割的背景和前景，但制定它作为一个多标签分割问题，通过建模多个前景对象在不同的层，当他们同时出现在场景中。我们为每个前景对象分配一个独立的处理层，以及背景，其中估计运动和外观模型，并使用贝叶斯过滤框架推断概率图。最后，利用马尔可夫随机场上的多标号图割进行像素级标号。广泛的评估结果表明，该方法优于国家的最先进的方法具有挑战性的视频序列。
2017-09-04 cs.CV
Robust Online Matrix Factorization for Dynamic Background Subtraction
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）
我们提出了一种有效的在线背景减除方法，该方法可以鲁棒地应用于前景和背景都有变化的实际视频。与以前的方法，通常模型的前景高斯或拉普拉斯分布不同，我们模型的前景为每帧特定的混合高斯（MoG）分布，这是更新的在线帧逐帧。特别地，我们在每个帧中的MoG模型通过在先前帧中学习的前景/背景知识来正则化。这使得我们的在线MoG模型具有高度的鲁棒性，稳定性和自适应性，以适应实际的前景和背景变化。该模型可以表示为一个简洁的概率MAP模型，可以很容易地用EM算法求解。我们进一步将仿射变换算子嵌入到所提出的模型中，该模型可以自动调整以适应广泛的视频背景变换，并使该方法对摄像机运动更具鲁棒性。该方法采用欠采样技术，平均每秒可加速执行250帧以上，满足实际视频处理任务对实时背景减除的要求。与最先进的在线和离线背景减除方法相比，所提出的方法的优越性得到了广泛的实验证实，在合成和真实的视频。
2017-05-28 cs.CV
Complex Background Subtraction by Pursuing Dynamic Spatio-Temporal Models
Sun Yat-Sen University（中山大学）；SYSU-CMU Shunde International Joint Research Institute（中山大学-卡内基梅隆大学顺德国际联合研究院）
尽管背景减除在视频监控中已被广泛讨论，但在复杂场景的上下文中，背景减除仍然是一个悬而未决的问题，例如，动态背景、照明变化和模糊的前景对象。为了解决这些挑战，我们提出了一个有效的背景减除方法，通过学习和维护一个阵列的动态纹理模型的时空表示。在场景的任何位置，我们提取一系列规则的视频砖，即跨越空间和时间域的视频体积。因此，背景建模被设定为在视频砖内追求子空间，同时适应场景变化。对于每个序列的视频砖，我们追求的子空间，采用ARMA（自回归移动平均）模型，共同表征的外观一致性和时间的一致性的意见。在在线处理过程中，我们逐步更新子空间，以应付来自前景物体和场景变化的干扰。在实验中，我们验证了所提出的方法在几个复杂的情况下，表现出优越的性能比其他国家的最先进的背景减除方法。并对参数设置和成分分析进行了实证研究。
2015-02-02 cs.CV
Learning Spatial-Temporal Regularized Tensor Sparse RPCA for Background Subtraction
Khalifa University of Science and Technology（哈利法科学技术大学）
针对动态背景、伪装和相机抖动下的背景减除问题，提出用归一化图拉普拉斯施加时空正则化的张量稀疏 RPCA，并通过批量与在线优化联合求解，在六个公开数据集上验证了优越性。
2023-09-27 cs.CV
Background Subtraction via Generalized Fused Lasso Foreground Modeling
Cooperative Medianet Innovation Center（协同媒体网创新中心）；Key Laboratory of Machine Perception (MoE)（机器感知教育部重点实验室）
背景减除是视频分析中的关键步骤之一。已经提出了许多背景模型，并在公共数据集上取得了令人满意的性能。然而，由于诸如光照变化、动态背景等挑战，所得到的前景分割通常包括空洞以及背景噪声。在这方面，我们考虑广义融合套索正则化，以寻求完整的结构化前景。连同某些假设的背景，如低秩假设或稀疏组成的假设（取决于是否提供纯背景帧），我们制定BS作为一个矩阵分解问题，使用正则化项的前景和背景矩阵。此外，根据拟议的公式，这两个一般不同的背景假设可以以统一的方式解决。通过应用增广拉格朗日乘子（ALM）方法进行优化，以这样一种方式，一个快速的参数流算法用于更新的前景矩阵。几个流行的BS数据集上的实验结果表明，所提出的模型相比，国家的最先进的优势。
2015-04-14 cs.CV
Data-Driven Background Subtraction Algorithm for in-Camera Acceleration in Thermal Imagery
Technical University of Crete（克里特技术大学）；National Technical University of Athens（雅典国家技术大学）
视频中运动目标的检测是实现成功的监视和监控应用的关键一步。这种任务的一个关键组成部分被称为背景减法，并试图从图像背景中提取感兴趣的区域，以供进一步处理或操作。因此，其准确性和实时性具有重要意义。虽然已经提出了有效的背景减除方法，但只有少数方法考虑到热图像的特殊性。在这项工作中，我们提出了一个背景减除方案，该方案将每个像素的热响应建模为具有未知数量分量的高斯混合物。遵循贝叶斯方法，我们的方法自动估计混合结构，同时避免过度/欠拟合。像素密度估计之后是一个高效和高度准确的更新机制，这使得我们的系统能够自动适应动态变化的操作条件。我们提出了一个参考实现我们的方法在可重构硬件实现足够的性能和低功耗。采用高级综合设计，要求苛刻的浮点算术运算映射到可重构硬件中;同时展示快速原型和现场定制。
2017-10-15 cs.CV
An Adaptive GMM Approach to Background Subtraction for Application in Real Time Surveillance
Assam Don Bosco University（阿萨姆唐博斯科大学）
有效的安全管理已成为当今世界的一个重要参数。随着这一问题的日益严重，迫切需要引进先进的技术和设备，以提高监测的水平。本文提出了一种基于AGMM的实时的背景减除模型。该模型对动态背景、快速光照变化、重复运动具有较强的鲁棒性和适应性。此外，我们已经纳入了一种方法，用于检测阴影使用Horpresert颜色模型。所提出的模型可用于监测的移动或进入是高度限制的地区。因此，在检测到现场的任何意外事件时，可以触发警报，因此即使在没有持续的人类监视的情况下，我们也可以实现实时的监视。
2013-07-22 cs.CV
Fast Approximate Matching of Cell-Phone Videos for Robust Background Subtraction
eBay Research Laboratory（eBay研究实验室）
我们确定了一个新的背景减除问题，重点是提取近场前景物体使用手持相机捕获的实例。给定两个用户生成的视频的场景，一个和其他没有前景对象（S），我们的目标是有效地生成一个输出视频，只有前景对象（S）存在于it.We铸造这个挑战作为一个时空帧匹配问题，并提出了一个有效的解决方案，它利用时间平滑的视频序列。我们提出了我们的方法的误差范围的理论分析，并验证我们的研究结果，使用一组详细的模拟实验。最后，我们提出了我们的方法测试结果的多个使用手持摄像机拍摄的真实视频，并将它们与几种替代的前景提取方法进行比较。
2014-04-22 cs.CV
Weakly Supervised Realtime Dynamic Background Subtraction
University of Alberta（阿尔伯塔大学）
背景减除是计算机视觉中的一项基本任务，具有许多现实世界的应用，从对象跟踪到视频监控。动态背景在这里提出了一个重大挑战。基于监督深度学习的技术目前被认为是这项任务的最先进技术。然而，这些方法需要逐像素的地面实况标签，这可能是耗时且昂贵的。在这项工作中，我们提出了一个弱监督框架，可以执行背景减除，而不需要每像素的地面实况标签。我们的框架是在一个移动的无对象图像序列上训练的，包括两个网络。第一网络是自动编码器，其生成背景图像并准备用于训练第二网络的动态背景图像。动态背景图像是通过对背景减除图像进行阈值处理而获得的。第二个网络是一个U-Net，它使用相同的无对象视频进行训练，并使用动态背景图像作为像素级地面实况标签。在测试阶段，输入图像由自动编码器和U-Net处理，分别生成背景和动态背景图像。动态背景图像有助于从背景减除图像中去除动态运动，使得我们能够获得没有动态伪影的前景图像。为了证明我们的方法的有效性，我们对CDnet 2014数据集和I2 R数据集的选定类别进行了实验。我们的方法优于所有排名靠前的无监督方法。我们也取得了更好的结果比现有的两个弱监督的方法之一，我们的性能是类似的其他。我们提出的方法是在线的，实时的，高效的，并需要最少的帧级注释，使其适用于广泛的现实世界中的应用。
2023-03-06 cs.CV
A Fully Interpretable Statistical Approach for Roadside LiDAR Background Subtraction
Fundación Vicomtech, Basque Research and Technology Alliance (BRTA)（维克森科技基金会、巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克国家大学）；CAFSignalling（CAF信号公司）；IKERBASQUE, Basque Foundation for Science（伊基尔巴斯克基金会）；Donostia International Physics Center (DIPC)（多诺西亚国际物理中心）；Biofisika Institute（生物物理研究所）
本文提出了一种可解释的统计方法，用于道路LiDAR背景减除，通过高斯分布网格和过滤算法提升自动驾驶感知的准确性和灵活性。
2026-02-17 cs.CV
Total Variation Regularized Tensor RPCA for Background Subtraction from Compressive Measurements
Shaanxi Normal University（陕西师范大学）；Chinese Academy of Sciences（中国科学院）；Hong Kong Baptist University（香港浸会大学）；RIKEN BSI（日本理化学研究所脑科学研究所）；Systems Research Institute, PAS（波兰科学院系统研究所）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
背景减除是视频分析中一项基本的、广泛研究的任务，在视频监控、电话会议和三维建模中有着广泛的应用。近年来，在压缩成像的推动下，压缩测量背景减法（BSCM）成为视频监控领域的一个研究热点。在本文中，我们提出了一种新的基于张量的鲁棒PCA（TenRPCA）的BSCM方法，通过将视频帧分解为具有时空相关性的背景和具有时空连续性的前景张量框架。在该方法中，我们使用3D全变分（TV）来增强前景的时空连续性，并使用Tucker分解来建模视频背景的时空相关性。基于这一思想，我们设计了一个基本的张量RPCA模型的视频帧，被称为整体TenRPCA模型（H-TenRPCA）。为了表征视频背景中相似三维块组之间的相关性，通过对三维块组进行联合张量Tucker分解，设计了一种基于块组的张量RPCA模型（PG-TenRPCA），用于视频背景建模。利用交替方向乘子法（ADMM）的有效算法来解决所提出的模型。模拟和真实世界的视频上的大量实验表明，所提出的方法优于现有的国家的最先进的方法。
2016-06-05 cs.CV
Behavior Subtraction
Université de Sherbrooke（舍布鲁克大学）；Boston University（波士顿大学）
背景减除一直是许多计算机视觉和视频分析任务的驱动引擎。虽然它的许多变体存在，他们都共享的基本假设，光度场景属性是静态的或表现出时间平稳性。虽然这在某些应用中是有效的，但是当人们对发现{场景动态中的\it变化}而不是静态背景中的那些变化感兴趣时，该模型失败;检测不寻常的行人和机动车交通模式只是一个示例。我们提出了一个新的模型和计算框架，解决这一问题，考虑静态场景动态作为一个“背景”与观察到的场景动态进行比较。我们的方法的核心是{ \it事件}的概念，我们将其定义为在相机视场中的特定空间位置处的时间窗口上捕获的短期场景动态。我们通过时间聚合运动标签来计算事件，运动标签是通过背景减除获得的，以及对象描述符（例如，对象大小）。随后，我们描述事件的概率，但在实际实施中使用低内存，低复杂度的代理。使用这些代理相当于{ \it行为减法}，这是一种具有一些令人惊讶的特性的新算法。如这里所示，行为减法是异常检测和定位的有效工具。它对诸如由于相机抖动引起的虚假背景运动有弹性，并且是内容盲的，即，它同样适用于人类、汽车、动物和其他物体，无论是在整洁的场景还是高度杂乱的场景中。显然，将视频视为事件的集合而不是彩色像素为视频分析开辟了新的可能性。
2009-10-15 cs.CV
Universal Background Subtraction based on Arithmetic Distribution Neural Network
University of Alberta（阿尔伯塔大学）
本文提出基于 ADNN 的通用背景减除框架，通过乘积与和分布层及邻域贝叶斯细化学习时间像素分布，在标准基准上优于现有方法。
2022-02-23 cs.CV
An exploration of the performances achievable by combining unsupervised background subtraction algorithms
背景减除（BGS）是用于在视频中执行运动检测的常见选择。每年都有数百种BGS算法发布，但将它们结合起来检测运动在很大程度上仍未被探索。我们发现，组合策略允许利用大量可用的BGS算法，并为性能改进提供了显着的空间。在本文中，我们探索了通过6种策略实现的性能集，这些策略在CDnet 2014数据集上以像素方式结合了26种无监督BGS算法的输出，无论是在ROC空间还是在F1得分方面。所选择的策略代表了一个大的策略面板，包括确定性和非确定性的，投票和学习。在我们的实验中，我们比较我们的结果与国家的最先进的组合IUTIS-5和CNN-SFC，并报告六个结论，其中存在的一个重要的差距之间的性能的个别算法和最好的性能，通过结合它们。
2022-02-25 cs.CV
Detecting and Tracking Small Moving Objects in Wide Area Motion Imagery (WAMI) Using Convolutional Neural Networks (CNNs)
University of Liverpool（利物浦大学）
针对广域运动图像中运动目标较小且相互分离的特点，提出了一种运动目标检测方法。由于$100-$像素车辆难以与包括背景的对象区分开，因此仅使用前景外观来识别对象是困难的。我们的方法是基于背景减法作为一种有效的和无监督的方法，能够输出的对象的形状。为了可靠地检测低对比度和小对象，我们配置背景减法来提取可能是感兴趣对象的前景区域。虽然这大大增加了假警报的数量，但考虑空间和时间信息的卷积神经网络（CNN）随后被训练以拒绝假警报。在交通繁忙的区域，背景减除产生合并的检测。为了降低多目标跟踪器的复杂度，我们训练另一个CNN来预测多个运动目标在一个区域内的位置。我们的方法表现出竞争力的检测性能较小的对象相对于国家的最先进的。我们采用了GM-PHD过滤器随着时间的推移相关联的检测和分析所产生的性能。
2019-11-08 cs.CV
Background Subtraction via Fast Robust Matrix Completion
Northeastern University（东北大学）
背景减除是大多数视频检测系统的主要任务。背景建模是背景减除算法中最重要的一部分，也是各种背景减除算法的共同点。在这方面，我们的论文解决了背景建模的问题，在一个计算效率高的方式，这是非常重要的，目前爆发的“大数据”处理来自高分辨率多通道视频。我们的模型是基于自然图像中的背景位于一个低维子空间的假设。我们制定和解决这个问题的低秩矩阵完成框架。在建模的背景下，我们受益于面内扩展的Frank-Wolfe算法求解一个定义的凸优化问题。我们在背景模型挑战（BMC）和斯图加特人工背景减除（SABS）数据集上评估了我们的快速鲁棒矩阵完成（fRMC）方法。与鲁棒主元分析（RPCA）和低秩鲁棒矩阵完备（RMC）方法进行了比较，这两种方法都是用不精确增广拉格朗日乘子（IALM）求解的。结果显示，计算速度更快，至少是使用IALM求解器时的两倍，同时在减去背景以检测场景中的移动物体时，在某些挑战中具有相当的准确性甚至更好。
2017-11-03 cs.CV eess.IV
Representation, Analysis of Bayesian Refinement Approximation Network: A Survey
University of Alberta（阿尔伯塔大学）
在人工模型背景减除之后，像素被标记为前景和背景。以前的方法，二次处理的输出去噪通常使用传统的方法，如贝叶斯细化方法。在本文中，我们专注于使用一个修改的U-网模型来近似贝叶斯细化方法的结果，并改善结果。在我们改进的U-Net模型中，其他模型的背景减除结果将与源图像相结合，作为学习统计分布的输入。这样，就可以从源图像中恢复出由背景减除模型造成的信息丢失。而且，由于输入图像的一部分已经是另一个背景减除模型的输出，所以特征提取应该是方便的，它只需要改变噪声像素的标签。与传统方法相比，使用深度学习方法在保持细节方面具有优势。
2021-03-27 cs.CV
Summarizing the performances of a background subtraction algorithm measured on several videos
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；University of Li\`ege（利耶日大学）
本文提出一种理论方法，用于总结多个视频的性能，保留性能指标间的关系，并提供计算公式和算法，通过CDNET 2014展示结果。
2020-05-28 cs.CV
Dynamic Background Subtraction by Generative Neural Networks
University of Alberta（阿尔伯塔大学）
背景减除是计算机视觉中的一项重要任务，也是许多实际应用中必不可少的一步。背景减除方法的挑战之一是动态背景，其在背景的某些部分中构成随机运动。在本文中，我们提出了一种新的背景减除方法，称为DBSGen，它使用两个生成神经网络，一个用于动态运动去除，另一个用于背景生成。最后，通过基于动态熵图的像素级距离阈值，得到前景运动目标。所提出的方法具有统一的框架，可以以端到端和无监督的方式进行优化。在动态背景序列上对该方法的性能进行了评估，其性能优于大多数最先进的方法。我们的代码可在https://github.com/FatemeBahri/DBSGen上公开获取。
2022-02-10 cs.CV cs.LG eess.IV
Contrastive Learning with Large Memory Bank and Negative Embedding Subtraction for Accurate Copy Detection
DeNA Co., Ltd.（DeNA有限公司）
拷贝检测是一个尚未解决的问题，它是一个确定图像是否是数据库中任何图像的修改副本的任务。因此，我们通过用对比学习训练卷积神经网络（CNN）来解决拷贝检测。使用大内存库和硬数据增强进行训练，使CNN能够获得更具鉴别力的表示。我们提出的负嵌入减法进一步提高了复制检测的准确性。使用我们的方法，我们在Facebook AI图像相似性挑战：描述符跟踪中获得了第一名。我们的代码在这里公开：\url{https://github.com/lyakaap/ISC21-Descriptor-Track-1st}
2021-12-08 cs.CV
Assessing Performance of Aerobic Routines using Background Subtraction and Intersected Image Region
Universiti Malaysia Sarawak（马来西亚砂拉越大学）；Universiti Teknologi Malaysia（马来西亚理工大学）
建议新手与受过训练和有经验的人合作，即，在开始一项不熟悉的有氧运动或举重训练之前，请教练指导。教练的任务是提供实时反馈，以确保例程以正确的方式执行。这大大降低了受伤的风险，并最大限度地提高身体收益。我们提出了一个简单的图像相似性度量的基础上，图像区域的评估对象的性能的有氧运动。该方法在增强现实（AR）桌面应用程序内实现，该应用程序采用单个RGB相机来捕获受试者在他或她进行例程时的静止图像。将减去背景的身体姿势图像与示范身体姿势图像进行比较（即，AR模板）。基于有限的数据集，我们的姿势匹配函数据报道具有93.67%的准确率。
2018-10-03 cs.CV
Weighted Schatten $p$-Norm Minimization for Image Denoising and Background Subtraction
The Hong Kong Polytechnic University（香港理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Harbin Institute of Technology（哈尔滨工业大学）
低秩矩阵近似（LRMA）是从退化的观测值中恢复低秩矩阵的方法，在计算机视觉中有着广泛的应用。最新的LRMA方法采用核范数最小化（NNM）作为非凸秩最小化的凸松弛。然而，NNM倾向于过度收缩秩分量，并平等对待不同秩分量，限制了其在实际应用中的灵活性。我们提出了一个更灵活的模型，即加权Schatten $p$ -范数最小化（WSNM），推广NNM的Schatten $p$ -范数最小化的权重分配给不同的奇异值。提出的WSNM不仅给出了更好的逼近原来的低秩假设，但也考虑了不同的秩分量的重要性。分析了WSNM的求解方法，证明了在一定的权值置换下，WSNM可以等价地转化为独立的非凸$l_p$ -范数子问题，其全局最优解可以用广义迭代收缩算法求解。我们将WSNM应用于典型的低级视觉问题，例如，图像去噪和背景减除。大量的实验结果表明，定性和定量，所提出的WSNM可以更有效地去除噪声，和模型的复杂和动态的场景相比，国家的最先进的方法。
2015-12-03 cs.CV
Automatic Foreground Extraction from Imperfect Backgrounds using Multi-Agent Consensus Equilibrium
Purdue University（普渡大学）；HypeVR Inc.（海普虚拟现实公司）
从场景中提取准确的前景对象是许多视频应用的重要步骤。传统的背景减除算法可以生成粗略的估计，但是生成高质量的掩模需要具有大量人为干预的专业软件，例如，提供三重图或标记关键帧。我们提出了一种自动前景提取方法，在应用程序中，一个静态的，但不完美的背景。例如拍摄和监视，可以在对象进入场景之前或离开场景之后捕获背景。我们提出的方法是非常强大的，并产生显着更好的估计比国家的最先进的背景减除，视频分割和阿尔法抠图方法。我们的方法的关键创新是一种新的信息融合技术。融合框架允许我们整合alpha抠图，背景减除和图像去噪的各个优势，以产生整体更好的估计。当处理具有不完美背景的复杂场景时，这种集成尤其重要。我们展示了框架是如何开发的，以及各个组件是如何构建的。进行了大量的实验和烧蚀研究，以评估所提出的方法。
2020-05-31 cs.CV
Variational Inference for Background Subtraction in Infrared Imagery
Technical University of Crete（克里特技术大学）；National Technical University of Athens（雅典国立技术大学）
提出了一种基于高斯混合模型的红外图像背景减除方法。在贝叶斯方法之后，我们的方法自动估计高斯分量的数量以及它们的参数，同时它避免了过度/欠拟合。用于估计模型参数的方程是解析推导的，因此我们的方法不需要任何计算和存储效率低的采样算法。像素密度估计之后是一个高效和高度准确的更新机制，这使得我们的系统能够自动适应动态变化的操作条件。实验结果和与其他方法的比较表明，我们的方法优于，在精度和召回方面，而在同一时间，它保持计算成本适合实时应用。
2015-06-29 cs.CV cs.LG
Background subtraction - separating the modeling and the inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在其早期实现中，背景建模是一个用固定摄像机为视频背景构建模型的过程，并识别不符合该模型的像素。背景模型不能很好地描述的像素被假定为移动对象。如今，许多系统都维护前景和背景的模型，这些模型竞相解释视频中的像素。在本文中，我们认为，这种演变的逻辑终点是简单地使用贝叶斯规则来分类像素。特别地，在每个像素处具有背景似然、前景似然和先验是必要的。贝叶斯规则的简单应用然后给出标签上的后验概率。唯一剩下的问题是组件模型的质量：背景可能性，前景可能性和先验。我们描述了一个模型的可能性，建立不仅使用过去的观察在一个给定的像素位置，但也包括观察周围的空间邻域的位置。这使我们能够对相邻像素之间的影响进行建模，并且是对不允许这种影响的早期像素模型的改进。虽然在精神上类似的联合域范围模型，我们表明，我们的模型克服了该模型中的某些缺陷。我们对背景和前景使用空间相关的先验。来自前一帧的背景和前景标签，在空间平滑以考虑对象的移动之后，用于构建当前帧的先验。
2015-11-05 cs.CV
Optical Flow Based Background Subtraction with a Moving Camera: Application to Autonomous Driving
University of Nevada, Reno（内华达大学里诺分校）
在这项研究中，我们提出了一种新的算法，背景减除使用移动摄像机。我们的算法完全基于从安装在电动公交车上的摄像头获得的视觉信息，该摄像头在里诺市中心运行，自动检测感兴趣的移动物体，以提供完全自主的车辆。在我们的方法中，我们利用的光流矢量产生的运动的相机，同时保持参数假设最小。首先，根据摄像机的内部参数，估计出用于建模和模拟三维点的扩展焦点，然后进行多元线性回归，估计出回归方程的参数，并在每一帧的真实数据集上实现运动目标的识别。我们验证了我们的算法使用的数据从一个共同的巴士路线。
2018-11-16 cs.CV cs.RO
Illumination-Based Data Augmentation for Robust Background Subtraction
Northumbria University（诺森比亚大学）
背景减除（BGS）的核心挑战是处理连续帧中具有突然光照变化的视频。在本文中，我们从数据的角度使用数据增强来解决这个问题。我们的方法执行数据增强，不仅在飞行中创建无限的数据，而且还具有增强模型的泛化的照明的语义转换。它通过在随机生成的二进制蒙版上应用欧几里德距离变换，成功地模拟了闪光和阴影。这些数据使我们能够有效地训练BGS的照明不变深度学习模型。实验结果表明，即使发生显着的光照变化时，模型执行BGS的能力的合成的贡献。该项目的源代码可在https://github.com/dksakkos/illumination_augmentation上公开获取。
2019-10-18 cs.CV cs.GR
Application Of ADNN For Background Subtraction In Smart Surveillance System
University of Alberta（阿尔伯塔大学）
目标运动识别是计算机视觉领域的研究热点之一。在这个任务中，我们尝试将像素分类为前景或背景。尽管针对这个问题已经存在许多传统的机器学习和深度学习方法，但其中大多数方法的两个主要问题是需要大量地面真实数据以及它们在未见过的视频上的较差性能。由于每帧的每个像素都必须被标记，因此为这些技术获取大量数据变得相当昂贵。最近，Zhao等人[1]提出了一种用于通用背景减除的算术分布神经网络（ADNN），其利用来自时间像素直方图的概率信息并取得了有希望的结果。在这项工作的基础上，我们开发了一个智能视频监控系统，使用ADNN架构的运动检测，修剪视频部分只包含运动，并进行异常检测修剪视频。
2022-12-31 cs.AI cs.CV
BSUV-Net 2.0: Spatio-Temporal Data Augmentations for Video-Agnostic Supervised Background Subtraction
Boston University（波士顿大学）
背景减除（BGS）是一种基本的视频处理任务，是许多应用的关键组成部分。基于深度学习的监督算法在BGS中实现了非常好的性能，然而，这些算法中的大多数都是针对特定视频或一组视频进行优化的，并且当应用于看不见的视频时，它们的性能急剧下降。最近，一些论文解决了这个问题，并提出了视频不可知监督BGS算法。然而，这些算法中使用的几乎所有数据增强都限于空间域，并且不考虑视频数据中自然发生的时间变化。在这项工作中，我们引入时空数据增强，并将其应用于领先的视频不可知BGS算法之一，BSUV-Net。我们还为CDNet-2014数据集引入了一种新的交叉验证训练和评估策略，可以公平轻松地比较各种视频不可知监督BGS算法的性能。我们使用所提出的数据增强训练的新模型，名为BSUV-Net 2.0，显著优于在CDNet-2014的未见过视频上评估的最先进算法。我们还通过仅在CDNet-2014视频上训练BSUV-Net 2.0并在LASIESTA数据集上评估其性能来评估BSUV-Net 2.0的跨数据集泛化能力。总体而言，BSUV-Net 2.0在CDNet-2014和LASIESTA数据集的未见过视频上的F分数比最先进的方法提高了约5%。此外，我们开发了我们的模型的实时变体，我们称之为Fast BSUV-Net 2.0，其性能接近最先进的水平。
2021-02-24 cs.CV
Rejection-Cascade of Gaussians: Real-time adaptive background subtraction framework
Navya（纳维亚）；Valeo India（法雷奥印度公司）；Valeo Vision Systems（法雷奥视觉系统公司）
背景-前景分类是计算机视觉中研究得很好的问题。由于算法中建模和处理的逐像素性质，通常难以满足实时约束。在速度（由于模型复杂性）和准确性之间存在权衡。受Viola-Jones分类器拒绝级联的启发，我们将高斯混合模型（GMM）分解为自适应高斯级联（CoG）。我们实现了一个很好的改进速度，而不影响的精度相对于基线GMM模型。我们证明了4- 5倍的加速因子和17%的平均精度提高了壁花监测数据集。然后，证明了CoG的卷积变分自动编码器（VAE）的图像的潜在空间表示。我们提供了CDW-2014数据集的初步结果，这可以加快深度架构的背景减除。
2019-11-16 cs.CV stat.ML
Beam-Wise Statistical Background Subtraction for Static Roadside LiDAR: A Cross-Sensor Benchmark Study
University of Applied Sciences Esslingen（埃斯林根应用科学大学）；Faculty of Computer Science and Engineering（计算机科学与工程学院）；Institute for Intelligent Systems（智能系统研究所）
本文针对静态路侧激光雷达缺失系统性跨传感器评估的问题，构建波束级统计背景减除基准，引入新数据集并结合空间滤波，实现了鲁棒可迁移的背景减除方案，提升了精度并保持高召回率与实时性，相关资源已公开。
2026-08-18 cs.CV cs.RO
Multiple Object Tracking with Kernelized Correlation Filters in Urban Mixed Traffic
University of Electronic Science and Technology of China（电子科技大学）；Polytechnique Montréal（蒙特利尔理工学院）
最近，核相关滤波器跟踪器（KCF）在视觉对象跟踪方面取得了有竞争力的性能和鲁棒性。另一方面，视觉跟踪器通常不用于多对象跟踪。在本文中，我们研究了如何一个强大的视觉跟踪器，如KCF可以提高多目标跟踪。由于KCF是一个快速跟踪器，许多可以并行使用，仍然导致快速跟踪。我们建立了一个基于KCF和背景差分的多目标跟踪系统。背景减除被应用于提取运动对象，并结合KCF输出获得它们的尺度和大小，而KCF用于数据关联以及处理碎片和遮挡问题。因此，KCF和背景减法相互帮助，以采取跟踪决策在每一帧。有时KCF输出是最值得信赖的（例如在遮挡期间），而在某些其他情况下，它是背景减除输出。为了验证我们的系统的有效性，该算法被证明在四个城市的视频记录从一个标准的数据集。结果表明，我们的方法是有竞争力的国家的最先进的跟踪器，即使我们使用一个更简单的数据关联步骤。
2017-03-27 cs.CV
Target Tracking In Real Time Surveillance Cameras and Videos
Fatima Jinnah Women University（法蒂玛·真纳女子大学）
安全问题一直在不断增加，所以重要的是每个人都要保护自己的财产免受盗窃和破坏。因此，对监控技术的需求也在增加。该系统已被开发用于检测视频中的运动。利用背景差分和帧间差分技术，研制了一个实时的应用系统。在该系统中，从网络摄像头或从实时的视频中检测运动。采用背景差分法和帧间差分法检测运动目标。在背景减除方法中，从参考帧中减去当前帧，然后应用阈值。如果差值大于阈值，则将其视为来自移动对象的像素，否则将其视为背景像素。类似地，两帧差分方法在两个连续帧之间进行差分。然后，对所得到的差帧进行阈值化，并计算差像素的量。
2015-06-22 cs.CV
Unsupervised Learning for Target Tracking and Background Subtraction in Satellite Imagery
Ball Aerospace & Technologies Corp.（鲍尔航空航天技术公司）
本文描述了一种无监督的机器学习方法，能够通过一种新的双模型方法的目标跟踪和背景抑制。"Jekyll"产生一个描述运动物体位置估计的视频位屏蔽，而“Hyde "输出一个伪背景帧以从原始输入图像序列中减去。这些模型使用自定义修改版本的交叉熵损失进行训练。模拟数据用于比较Jekyll和Hyde与更传统的监督机器学习方法的性能。从这些比较的结果表明，无监督的方法开发的输出质量有竞争力的监督技术，没有相关的成本获取标记的训练数据。
2021-08-13 cs.CV cs.LG
SAEN-BGS: Energy-Efficient Spiking AutoEncoder Network for Background Subtraction
IEEE
针对视频背景噪声与能耗问题，提出基于SNN的SAEN-BGS脉冲自编码器及自蒸馏监督学习方法，在CDnet-2014和DAVIS-2016上实现更优分割与节能效果。
2025-05-12 cs.AI cs.CV
Adaptive-Rate Sparse Signal Reconstruction With Application in Compressive Background Subtraction
University College London（伦敦大学学院）；Carnegie Mellon University（卡内基梅隆大学）；EPFL（洛桑联邦理工学院）
我们提出并分析了一种在线算法，用于从有限数量的线性测量重构信号序列。假设信号稀疏，未知的支持，并根据一个通用的非线性动力学模型随时间演变。我们的算法，基于最近的理论结果$\ell_1$ - $\ell_1$最小化，是递归的，并计算在每个时间的测量的数量上的飞行。作为一个例子，我们将该算法应用于压缩视频背景减法，一个问题，可以说如下：给定一组测量的图像序列与静态背景，同时重建每个图像，同时分离其前景从背景。我们的方法的性能示出序列的真实图像：我们观察到，它允许一个显着减少的数量的测量相对于国家的最先进的压缩背景减法方案。
2015-03-11 cs.CV cs.IT math.IT
