Scaling Up Video Summarization Pretraining with Large Language Models
KAIST（韩国科学技术院）；Adobe Research（奥多比研究院）
针对视频摘要数据规模不足的问题，本文利用LLM构建可扩展的数据生成流程，提出新模型，并发布含1200个专业标注长视频的基准，在多个基准上达到最先进性能。
2024-04-04 cs.CV
Learning Spatial-Temporal Regularized Tensor Sparse RPCA for Background Subtraction
Khalifa University of Science and Technology（哈利法科学技术大学）
针对动态背景、伪装和相机抖动下的背景减除问题，提出用归一化图拉普拉斯施加时空正则化的张量稀疏 RPCA，并通过批量与在线优化联合求解，在六个公开数据集上验证了优越性。
2023-09-27 cs.CV
Meta Learning for Task-Driven Video Summarization
Northwestern Polytechnical University（西北工业大学）；Henan University of Science and Technology（河南科技大学）
现有的视频摘要方法主要集中在视频数据的序列或结构特征。然而，他们没有足够的重视视频摘要任务本身。在本文中，我们提出了一个Meta学习方法执行任务驱动的视频摘要，表示为MetaL-TDVS，明确探索视频摘要机制之间的总结过程中，不同的视频。特别是，MetaL-TDVS旨在通过将视频摘要重新定义为Meta学习问题来挖掘视频摘要的潜在机制，并提高训练模型的泛化能力。MetaL-TDVS将总结每个视频作为一项任务，以便更好地利用从总结其他视频的过程中学到的经验和知识来总结新的视频。此外，MetaL-TDVS通过双重反向传播来更新模型，这迫使在一个视频上优化的模型在每个训练步骤中在另一个视频上获得高精度。在基准数据集上的大量实验表明，MetaL-TDVS相对于几种最先进的方法具有更好的泛化能力。
2019-07-29 cs.CV
Background subtraction on depth videos with convolutional neural networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Jilin University（吉林大学）
背景减除是计算机视觉系统的重要组成部分。它被广泛应用于视频监控，目标跟踪，异常检测等，一个新的数据源的背景减法出现了低成本的深度传感器，如微软的Kinect，华硕Xtion PRO等，在本文中，我们提出了一种背景减法方法的深度视频，这是基于卷积神经网络（CNN），称为BGSNet-D（背景减法神经网络深度视频）。该方法可用于光照条件差等颜色不可用的场景，也可与现有的RGB背景减除方法相结合。设计了一种预处理策略，以减少深度传感器噪声的影响。在SBM-RGBD数据集上的实验结果表明，该方法在深度数据上的性能优于现有方法。
2019-01-17 cs.CV
Return of Frustratingly Easy Unsupervised Video Domain Adaptation
Magellan Technology Research Institute (MTRI)（马格纳技术研究所（MTRI））；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Nanyang Technological University（南洋理工大学）
本文提出了一种名为MetaTrans的简单无监督视频域适应方法，通过巧妙的模型架构设计，分别处理跨域视频的空间和时间分歧，从而在多个跨域动作识别任务中实现了显著的性能提升。
2026-05-19 cs.CV
pROST : A Smoothed Lp-norm Robust Online Subspace Tracking Method for Realtime Background Subtraction in Video
Technische Universität München（慕尼黑工业大学）
越来越多的背景减除方法使用鲁棒PCA来识别稀疏的前景对象。虽然许多算法使用L1范数作为理想稀疏化函数的凸松弛，但我们用平滑的Lp范数来处理这个问题，并提出了一种鲁棒的在线子空间跟踪方法pROST。该算法基于流形上的交替极小化。在图形处理单元上实现，它实现了实时性能。在现实世界的视频数据的背景减除的最先进的基准上的实验结果表明，该方法成功地在各种各样的背景减除的情况下，它优于竞争的方法时，视频质量恶化相机抖动。
2013-03-28 cs.CV
Two-stage Temporal Modelling Framework for Video-based Depression Recognition using Graph Representation
Harbin University of Science and Technology（哈尔滨理工大学）；University of Cambridge（剑桥大学）；University of Nottingham（诺丁汉大学）
基于视频的抑郁症自动分析提供了一种快速、客观和可重复的自我评估解决方案，近年来得到了广泛的发展。虽然抑郁症的线索可以通过各种时间尺度的人类面部行为来反映，但大多数现有的方法要么专注于从短期或视频级别的面部行为中建模抑郁症。从这个意义上说，我们提出了一个两阶段的框架，模型抑郁症的严重程度，从多尺度的短期和视频水平的面部行为。短期抑郁行为建模阶段首先从多个短时间尺度深度学习抑郁相关的面部行为特征，其中提出了抑郁特征增强（DFE）模块，以增强所有时间尺度的抑郁相关线索并去除非抑郁噪声。然后，视频级抑郁行为建模阶段提出了两种新的图形编码策略，即，序列图表示（SEG）和谱图表示（SPG），将目标视频的所有短期特征重新编码为视频级图表示，总结与抑郁相关的多尺度视频级时间信息。因此，所产生的图形表示使用短期和长期面部行为模式来预测抑郁症的严重程度。在AVEC 2013和AVEC 2014数据集上的实验结果表明，所提出的DFE模块不断提高了各种CNN模型的抑郁严重程度估计性能，而SPG优于其他视频级建模方法。更重要的是，所提出的两阶段框架取得的结果显示出其有前途的和坚实的性能相比，广泛使用的一阶段建模方法。
2021-11-30 cs.CV
A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video
Tohoku University（东北大学）；LY Corporation（LY公司）
本文提出多模态视频摘要任务，要求同时提取关键帧并生成对应字幕，并构建数据集、评估框架及两个基线系统。
2023-12-04 cs.CL cs.CV
BSUV-Net: A Fully-Convolutional Neural Network for Background Subtraction of Unseen Videos
Boston University（波士顿大学）
背景减除是计算机视觉和视频处理中的一项基本任务，通常用作对象跟踪、人物识别等的预处理步骤。最近，已经提出了一些成功的背景减除算法，然而几乎所有的最佳性能的算法都是有监督的。至关重要的是，它们的成功依赖于训练期间测试视频的一些注释帧的可用性。因此，他们在完全“看不见”的视频上的表现在文献中没有记录。在这项工作中，我们提出了一个新的，监督，背景减法算法看不见的视频（BSUV-Net）的基础上完全卷积神经网络。我们网络的输入包括当前帧和在不同时间尺度捕获的两个背景帧以及它们的语义分割图。为了减少过拟合的机会，我们还引入了一种新的数据增强技术，该技术减轻了背景帧和当前帧之间的光照差异的影响。在CDNet-2014数据集上，BSUV-Net在包括F测量、召回率和精确度在内的多个指标方面优于对未见过视频进行评估的最先进算法。
2020-01-14 cs.CV
Fast Approximate Matching of Cell-Phone Videos for Robust Background Subtraction
eBay Research Laboratory（eBay研究实验室）
我们确定了一个新的背景减除问题，重点是提取近场前景物体使用手持相机捕获的实例。给定两个用户生成的视频的场景，一个和其他没有前景对象（S），我们的目标是有效地生成一个输出视频，只有前景对象（S）存在于it.We铸造这个挑战作为一个时空帧匹配问题，并提出了一个有效的解决方案，它利用时间平滑的视频序列。我们提出了我们的方法的误差范围的理论分析，并验证我们的研究结果，使用一组详细的模拟实验。最后，我们提出了我们的方法测试结果的多个使用手持摄像机拍摄的真实视频，并将它们与几种替代的前景提取方法进行比较。
2014-04-22 cs.CV
Video Summarization with Long Short-term Memory
U. of Southern California（南加州大学）；U. of California, Los Angeles（加州大学洛杉矶分校）；U. of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一种新的监督学习技术，通过自动选择关键帧或关键子镜头来总结视频。将问题转换为序列数据上的结构化预测问题，我们的主要思想是使用长短期记忆（LSTM），这是一种特殊类型的递归神经网络，用于对视频摘要任务中的可变范围依赖关系进行建模。我们的学习模型在两个基准视频数据集上获得了最先进的结果。详细的分析证明了模型的设计。特别是，我们表明，考虑到视频中的序列结构并对其进行建模是至关重要的。除了建模技术的进步，我们还介绍了一些技术来解决训练复杂学习模型所需的大量注释数据。在那里，我们的主要想法是利用辅助注释视频数据集的存在，尽管在视觉风格和内容上是异构的。具体来说，我们表明领域自适应技术可以通过减少这些数据集之间的统计特性的差异来改善摘要。
2016-07-29 cs.CV cs.LG
Video Summarization: Towards Entity-Aware Captions
Columbia University（哥伦比亚大学）；Google（谷歌公司）
针对新闻视频字幕缺乏命名实体的问题，提出实体感知字幕任务，发布VIEWS数据集，并利用外部知识增强视觉信息，在三个模型上验证有效性。
2024-11-11 cs.AI cs.CL cs.CV
HierSum: A Global and Local Attention Mechanism for Video Summarization
Georgia Institute of Technology（佐治亚理工学院）；Google DeepMind（谷歌DeepMind）
本研究提出HierSum分层方法，结合字幕局部线索与视频级全局指令，利用“最多重播”信号识别关键片段，在多个基准数据集上优于现有方法，并整理新多模态数据集提升摘要效果。
2025-04-25 cs.AI cs.CV cs.LG
Total Variation Regularized Tensor RPCA for Background Subtraction from Compressive Measurements
Shaanxi Normal University（陕西师范大学）；Chinese Academy of Sciences（中国科学院）；Hong Kong Baptist University（香港浸会大学）；RIKEN BSI（日本理化学研究所脑科学研究所）；Systems Research Institute, PAS（波兰科学院系统研究所）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
背景减除是视频分析中一项基本的、广泛研究的任务，在视频监控、电话会议和三维建模中有着广泛的应用。近年来，在压缩成像的推动下，压缩测量背景减法（BSCM）成为视频监控领域的一个研究热点。在本文中，我们提出了一种新的基于张量的鲁棒PCA（TenRPCA）的BSCM方法，通过将视频帧分解为具有时空相关性的背景和具有时空连续性的前景张量框架。在该方法中，我们使用3D全变分（TV）来增强前景的时空连续性，并使用Tucker分解来建模视频背景的时空相关性。基于这一思想，我们设计了一个基本的张量RPCA模型的视频帧，被称为整体TenRPCA模型（H-TenRPCA）。为了表征视频背景中相似三维块组之间的相关性，通过对三维块组进行联合张量Tucker分解，设计了一种基于块组的张量RPCA模型（PG-TenRPCA），用于视频背景建模。利用交替方向乘子法（ADMM）的有效算法来解决所提出的模型。模拟和真实世界的视频上的大量实验表明，所提出的方法优于现有的国家的最先进的方法。
2016-06-05 cs.CV
Complex Background Subtraction by Pursuing Dynamic Spatio-Temporal Models
Sun Yat-Sen University（中山大学）；SYSU-CMU Shunde International Joint Research Institute（中山大学-卡内基梅隆大学顺德国际联合研究院）
尽管背景减除在视频监控中已被广泛讨论，但在复杂场景的上下文中，背景减除仍然是一个悬而未决的问题，例如，动态背景、照明变化和模糊的前景对象。为了解决这些挑战，我们提出了一个有效的背景减除方法，通过学习和维护一个阵列的动态纹理模型的时空表示。在场景的任何位置，我们提取一系列规则的视频砖，即跨越空间和时间域的视频体积。因此，背景建模被设定为在视频砖内追求子空间，同时适应场景变化。对于每个序列的视频砖，我们追求的子空间，采用ARMA（自回归移动平均）模型，共同表征的外观一致性和时间的一致性的意见。在在线处理过程中，我们逐步更新子空间，以应付来自前景物体和场景变化的干扰。在实验中，我们验证了所提出的方法在几个复杂的情况下，表现出优越的性能比其他国家的最先进的背景减除方法。并对参数设置和成分分析进行了实证研究。
2015-02-02 cs.CV
BSUV-Net 2.0: Spatio-Temporal Data Augmentations for Video-Agnostic Supervised Background Subtraction
Boston University（波士顿大学）
背景减除（BGS）是一种基本的视频处理任务，是许多应用的关键组成部分。基于深度学习的监督算法在BGS中实现了非常好的性能，然而，这些算法中的大多数都是针对特定视频或一组视频进行优化的，并且当应用于看不见的视频时，它们的性能急剧下降。最近，一些论文解决了这个问题，并提出了视频不可知监督BGS算法。然而，这些算法中使用的几乎所有数据增强都限于空间域，并且不考虑视频数据中自然发生的时间变化。在这项工作中，我们引入时空数据增强，并将其应用于领先的视频不可知BGS算法之一，BSUV-Net。我们还为CDNet-2014数据集引入了一种新的交叉验证训练和评估策略，可以公平轻松地比较各种视频不可知监督BGS算法的性能。我们使用所提出的数据增强训练的新模型，名为BSUV-Net 2.0，显著优于在CDNet-2014的未见过视频上评估的最先进算法。我们还通过仅在CDNet-2014视频上训练BSUV-Net 2.0并在LASIESTA数据集上评估其性能来评估BSUV-Net 2.0的跨数据集泛化能力。总体而言，BSUV-Net 2.0在CDNet-2014和LASIESTA数据集的未见过视频上的F分数比最先进的方法提高了约5%。此外，我们开发了我们的模型的实时变体，我们称之为Fast BSUV-Net 2.0，其性能接近最先进的水平。
2021-02-24 cs.CV
Summarizing Videos with Attention
Kingston University（金斯顿大学）；Leeds Beckett University（利兹贝克特大学）；Robot Vision Team RoVit, Kingston University（金斯顿大学机器人视觉团队RoVit）
在这项工作中，我们提出了一种新的方法，监督，关键镜头为基础的视频摘要应用一个概念简单，计算效率高的软，自我注意力机制。当前最先进的方法利用双向递归网络，例如与注意力相结合的BiLSTM。与完全连接的网络相比，这些网络实现起来很复杂，计算要求也很高。为此，我们提出了一个简单的，基于自注意力的视频摘要网络，在训练过程中，它在一个单一的前馈和单一的反向传递中执行整个序列到序列的转换。我们的方法设置了一个新的国家的最先进的结果在两个基准TvSum和SumMe，常用在这一领域。
2019-02-21 cs.CL cs.CV cs.LG
Robust Online Matrix Factorization for Dynamic Background Subtraction
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）
我们提出了一种有效的在线背景减除方法，该方法可以鲁棒地应用于前景和背景都有变化的实际视频。与以前的方法，通常模型的前景高斯或拉普拉斯分布不同，我们模型的前景为每帧特定的混合高斯（MoG）分布，这是更新的在线帧逐帧。特别地，我们在每个帧中的MoG模型通过在先前帧中学习的前景/背景知识来正则化。这使得我们的在线MoG模型具有高度的鲁棒性，稳定性和自适应性，以适应实际的前景和背景变化。该模型可以表示为一个简洁的概率MAP模型，可以很容易地用EM算法求解。我们进一步将仿射变换算子嵌入到所提出的模型中，该模型可以自动调整以适应广泛的视频背景变换，并使该方法对摄像机运动更具鲁棒性。该方法采用欠采样技术，平均每秒可加速执行250帧以上，满足实际视频处理任务对实时背景减除的要求。与最先进的在线和离线背景减除方法相比，所提出的方法的优越性得到了广泛的实验证实，在合成和真实的视频。
2017-05-28 cs.CV
A Multilayer-Based Framework for Online Background Subtraction with Freely Moving Cameras
Rutgers University（罗格斯大学）
随着视频采集平台的不断增加，迫切需要开发一种能够处理运动背景的通用背景减除算法。在本文中，我们提出了一个基于多层的框架，用于移动摄像机捕获的视频的在线背景减除。与以前的处理问题，所提出的方法是不限于二进制分割的背景和前景，但制定它作为一个多标签分割问题，通过建模多个前景对象在不同的层，当他们同时出现在场景中。我们为每个前景对象分配一个独立的处理层，以及背景，其中估计运动和外观模型，并使用贝叶斯过滤框架推断概率图。最后，利用马尔可夫随机场上的多标号图割进行像素级标号。广泛的评估结果表明，该方法优于国家的最先进的方法具有挑战性的视频序列。
2017-09-04 cs.CV
A Deep Convolutional Neural Network for Background Subtraction
Institute for Human-Machine Communication, Technical Univ. of Munich, Germany
在这项工作中，我们提出了一种新的背景减除系统，使用深度卷积神经网络（CNN）来执行分割。通过这种方法，特征工程和参数调整变得不必要，因为可以通过训练可以处理各种视频场景的单个CNN来从数据中学习网络参数。此外，我们提出了一种新的方法来估计从视频背景模型。对于CNN的训练，我们随机使用了5%的视频帧及其从2014年变化检测挑战（CDnet 2014）中获取的地面实况分割。我们还利用空间中值滤波作为网络输出的后处理。我们的方法是用不同的数据集进行评估，网络在不同评估指标的平均排名方面优于现有算法。此外，由于网络架构，我们的CNN是实时的处理能力。
2017-02-06 cs.CV
Deceiving Google's Cloud Video Intelligence API Built for Summarizing Videos
University of Washington（华盛顿大学）
尽管图像分类技术取得了快速的进步，但视频标注仍然是一项具有挑战性的任务。自动视频注释将是一项突破性技术，使用户能够在视频中搜索。最近，Google推出了用于视频分析的Cloud Video Intelligence API。根据该网站，该系统可用于“通过在视频、镜头或每帧级别检索相关信息，将信号与噪声分离”。还推出了一个演示网站，任何人都可以选择一个视频进行注释。然后，API检测视频标签（视频中的对象）以及镜头标签（随时间推移的视频事件描述）。在本文中，我们研究了Google Cloud Video Intelligence API在对抗环境中的可用性。特别是，我们调查对手是否可以巧妙地操纵视频，以这种方式，API将只返回对手所需的标签。为此，我们选择一个图像，这是从视频内容不同，并插入它，定期和在一个非常低的速率，到视频。我们发现，如果我们每两秒插入一个图像，API就会被欺骗，以为视频只包含插入的图像。注意，对视频的修改几乎不明显，例如，对于25的典型帧速率，我们每50个视频帧仅插入一个图像。我们还发现，通过每秒插入一个图像，API返回的所有镜头标签都与插入的图像相关。我们在API演示网站提供的示例视频上进行了实验，并表明我们的攻击在不同的视频和图像上都是成功的。
2017-03-31 cs.CV cs.LG
Multimodal Language Models for Domain-Specific Procedural Video Summarization
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文针对烹饪和医疗等领域的长篇教学视频，提出微调 TimeChat 并利用 Tasty、MedVidQA 构建视频中心指令数据，以提升关键步骤提取与摘要能力。
2024-07-07 cs.CV cs.IR
TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Brown University（布朗大学）
寻找特定任务说明的YouTube用户可能会花很长时间浏览内容，试图找到符合他们需求的正确视频。创建可视化摘要（视频的删节版）为观众提供了快速的概览，并大大减少了搜索时间。在这项工作中，我们专注于总结教学视频，一个未充分开发的视频摘要领域。与通用视频相比，教学视频可以被解析成与所演示任务的重要步骤相对应的语义上有意义的片段。现有的视频摘要数据集依赖于手动帧级注释，使其主观且大小有限。为了克服这一点，我们首先利用两个关键假设为教学视频语料库自动生成伪摘要：（i）相关步骤可能出现在同一任务的多个视频中（任务相关性），以及（ii）它们更可能被演示者口头描述（跨模态显着性）。我们提出了一个教学视频摘要网络，结合了上下文感知的时间视频编码器和分段评分Transformer。使用伪摘要作为弱监督，我们的网络为仅提供视频和转录语音的教学视频构建了视觉摘要。为了评估我们的模型，我们收集了一个高质量的测试集，WikiHow摘要，通过抓取WikiHow文章，这些文章包含视频演示和步骤的视觉说明，使我们能够获得地面事实摘要。在这个新的基准测试中，我们的表现超过了几个基准和最先进的视频摘要模型。
2022-08-14 cs.CV cs.IR cs.LG
CANDID: Robust Change Dynamics and Deterministic Update Policy for Dynamic Background Subtraction
MNIT Jaipur（马拉维亚国家理工学院斋浦尔分校）；IIT Ropar（印度理工学院罗巴尔分校）
视频中的背景减除提供了许多计算机视觉应用所必需的初步信息。在本文中，我们提出了一系列的方法命名为CANDID处理具有挑战性的视频场景中的变化检测问题。CANDID自适应地调整像素级距离阈值和更新速率。这些参数通过计算某个位置的变化动态来更新。此外，通过制定确定性更新策略来维护背景模型。所提出的方法的性能进行评估，在各种具有挑战性的情况下，如动态背景和极端天气条件。所提出的方法的定性和定量措施优于现有的国家的最先进的方法。
2018-04-19 cs.CV
Target Tracking In Real Time Surveillance Cameras and Videos
Fatima Jinnah Women University（法蒂玛·真纳女子大学）
安全问题一直在不断增加，所以重要的是每个人都要保护自己的财产免受盗窃和破坏。因此，对监控技术的需求也在增加。该系统已被开发用于检测视频中的运动。利用背景差分和帧间差分技术，研制了一个实时的应用系统。在该系统中，从网络摄像头或从实时的视频中检测运动。采用背景差分法和帧间差分法检测运动目标。在背景减除方法中，从参考帧中减去当前帧，然后应用阈值。如果差值大于阈值，则将其视为来自移动对象的像素，否则将其视为背景像素。类似地，两帧差分方法在两个连续帧之间进行差分。然后，对所得到的差帧进行阈值化，并计算差像素的量。
2015-06-22 cs.CV
Background Subtraction in Real Applications: Challenges, Current Models and Future Directions
Univ. La Rochelle（拉罗谢尔大学）
基于视频的计算机视觉应用通常需要在其第一步中检测移动对象。然后应用背景减法以分离背景和前景。背景减除是计算机视觉中研究最多的领域之一，发表的论文也很多。其中大多数涉及数学和机器学习模型的应用，以更好地应对视频中遇到的挑战。然而，最终的目标是研究中开发的背景减除方法可以用于交通监控等实际应用。但看看文献，我们可以注意到，在实际应用中使用的当前方法与基础研究中使用的当前方法之间往往存在差距。此外，在大规模数据集中评估的视频并不详尽，因为它们只涵盖了实际应用中遇到的全部挑战的一部分。在这种情况下，我们试图提供尽可能详尽的调查，在实际应用中，使用背景减法，以确定在实践中遇到的真正挑战，目前使用的背景模型，并提供未来的方向。因此，在相机，前景物体和环境方面的挑战进行了研究。此外，我们确定的背景模型，有效地用于这些应用程序中，以找到潜在的可用的最近的背景模型的鲁棒性，时间和内存的要求。
2019-01-11 cs.CV
Does SpatioTemporal information benefit Two video summarization benchmarks?
Maastricht University（马斯特里赫特大学）；RTL（RTL公司）
该研究通过时序不变模型基线测试与时序扰动实验，发现时空关系在TVSum、SumMe两个视频摘要基准中作用极小，现有模型易受静态线索偏差影响，质疑了现有基准对视频摘要任务的建模充分性。
2024-10-04 cs.CV cs.MM
SynopGround: A Large-Scale Dataset for Multi-Paragraph Video Grounding from TV Dramas and Synopses
Sun Yat-sen University（中山大学）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；Tencent Video, PCG（腾讯视频（PCG））
针对现有视频定位数据集场景简单、内容偏短的局限，该研究构建了包含2800余小时电视剧内容的SynopGround数据集，提出多段落视频定位任务与局部-全局多模态推理器基线方法，性能优于现有最优模型。
2024-08-18 cs.CV cs.MM
Where is the multimodal goal post? On the Ability of Foundation Models to Recognize Highlights in Videos
Institute for Logic, Language and Computation University of Amsterdam（逻辑、语言与计算研究所 阿姆斯特丹大学）
本文研究了多模态基础模型识别足球比赛中重要时刻的能力，发现现有模型在识别重要子事件时表现欠佳，需改进架构与训练方法以提升跨模态协同能力。
2026-10-14 cs.AI cs.CL cs.CV
Behavior Subtraction
Université de Sherbrooke（舍布鲁克大学）；Boston University（波士顿大学）
背景减除一直是许多计算机视觉和视频分析任务的驱动引擎。虽然它的许多变体存在，他们都共享的基本假设，光度场景属性是静态的或表现出时间平稳性。虽然这在某些应用中是有效的，但是当人们对发现{场景动态中的\it变化}而不是静态背景中的那些变化感兴趣时，该模型失败;检测不寻常的行人和机动车交通模式只是一个示例。我们提出了一个新的模型和计算框架，解决这一问题，考虑静态场景动态作为一个“背景”与观察到的场景动态进行比较。我们的方法的核心是{ \it事件}的概念，我们将其定义为在相机视场中的特定空间位置处的时间窗口上捕获的短期场景动态。我们通过时间聚合运动标签来计算事件，运动标签是通过背景减除获得的，以及对象描述符（例如，对象大小）。随后，我们描述事件的概率，但在实际实施中使用低内存，低复杂度的代理。使用这些代理相当于{ \it行为减法}，这是一种具有一些令人惊讶的特性的新算法。如这里所示，行为减法是异常检测和定位的有效工具。它对诸如由于相机抖动引起的虚假背景运动有弹性，并且是内容盲的，即，它同样适用于人类、汽车、动物和其他物体，无论是在整洁的场景还是高度杂乱的场景中。显然，将视频视为事件的集合而不是彩色像素为视频分析开辟了新的可能性。
2009-10-15 cs.CV
GraphBGS: Background Subtraction via Recovery of Graph Signals
La Rochelle Université（拉罗谢尔大学）
背景减除是计算机视觉中一项基本的预处理任务。由于静态和移动相机序列的背景变化，该任务在真实场景中变得具有挑战性。文献中已经提出了几种用于背景减除的深度学习方法，它们具有竞争性的性能。然而，这些模型在对看不见的视频进行测试时表现出性能下降;它们需要大量的数据来避免过拟合。最近，基于图的算法已经成功地接近无监督和半监督学习问题。此外，图信号处理理论和半监督学习的结合，导致在机器学习领域的新见解。本文在背景减除问题中引入了图形信号恢复的概念。本文提出了一种新的图背景减法（GraphBGS）算法，该算法包括：实例分割、背景初始化、图构造、图采样和一种受图信号恢复理论启发的半监督算法。我们的算法具有比深度学习方法需要更少标记数据的优势，同时在静态和移动摄像机视频上都具有竞争力的结果。GraphBGS在公开的变化检测（CDNet 2014）和UCSD背景减除数据库上的几个具有挑战性的条件下优于无监督和监督方法。
2020-11-06 cs.CV
Using AI to Summarize US Presidential Campaign TV Advertisement Videos, 1952-2012
Dartmouth College（达特茅斯学院）；Purdue University（普渡大学）；University of Oklahoma（俄克拉荷马大学）；University of Iowa（Iowa 大学）；Harvard University（哈佛大学）
本文构建了最大规模的1952-2012年美国总统竞选电视广告数据集，并提出基于AI的大规模并行分析流水线，自动化完成视频转录与摘要，经人工评估质量媲美人工，为学术研究提供高价值资源。
2025-07-10 cs.AI cs.CV cs.LG
Multi-View Surveillance Video Summarization via Joint Embedding and Sparse Optimization
University of California（加利福尼亚大学）
大多数传统的视频摘要方法被设计为生成有效的单视点视频摘要，因此它们不能充分利用复杂的视图内和视图间的相关性来总结摄像机网络中的多视点视频。在本文中，总结多视点视频的目的，我们介绍了一种新的无监督框架，通过联合嵌入和稀疏代表选择。目标函数是双重的。第一种是通过嵌入来捕获多视图相关性，这有助于提取不同的代表集。第二种方法是在为摘要选择有代表性的镜头时，使用"2; 1-范数"来对稀疏性进行建模。我们建议联合优化这两个目标，这样嵌入不仅可以表征相关性，而且还表明稀疏代表选择的要求。我们提出了一个有效的交替算法的基础上半二次最小化，以解决所提出的非光滑和非凸目标的收敛性分析。所提出的方法相对于现有技术的一个关键优点是，它可以概括多视图视频，而无需假设它们之间的任何先前的对应关系/对准，例如，未校准的摄像头网络。在多个多视图数据集上的严格实验表明，我们的方法明显优于最先进的方法。
2017-06-09 cs.CV
Application Of ADNN For Background Subtraction In Smart Surveillance System
University of Alberta（阿尔伯塔大学）
目标运动识别是计算机视觉领域的研究热点之一。在这个任务中，我们尝试将像素分类为前景或背景。尽管针对这个问题已经存在许多传统的机器学习和深度学习方法，但其中大多数方法的两个主要问题是需要大量地面真实数据以及它们在未见过的视频上的较差性能。由于每帧的每个像素都必须被标记，因此为这些技术获取大量数据变得相当昂贵。最近，Zhao等人[1]提出了一种用于通用背景减除的算术分布神经网络（ADNN），其利用来自时间像素直方图的概率信息并取得了有希望的结果。在这项工作的基础上，我们开发了一个智能视频监控系统，使用ADNN架构的运动检测，修剪视频部分只包含运动，并进行异常检测修剪视频。
2022-12-31 cs.AI cs.CV
MUSTAN: Multi-scale Temporal Context as Attention for Robust Video Foreground Segmentation
Jio Platforms Limited (JPL)（吉奥平台有限公司）
针对现有视频前景分割方法忽略运动线索、域偏移泛化差的问题，提出基于多尺度时间上下文注意力的MUSTAN系列架构，还发布多标注室内监控数据集ISD，显著提升了域偏移下的分割性能。
2024-02-01 cs.AI cs.CV
Motion trails from time-lapse video
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
背景减除法可以从静止摄像机捕获的图像序列中检测场景中的运动前景物体。通过各种算法进一步提高了前景与背景的区分。然后，每个对象的运动可以通过复制其位置作为运动轨迹来强调。这些痕迹明确了物体的空间关系。此外，在高速预览之前向视频添加运动轨迹可以降低忽略瞬态事件的风险。
2015-12-04 cs.CV
Error Bounded Foreground and Background Modeling for Moving Object Detection in Satellite Videos
从地面视频中检测运动目标通常通过使用背景减除技术来实现。低秩矩阵分解启发了一套国家的最先进的方法来完成这项任务。在低秩结构稀疏分解（LSD）方法中，结合结构稀疏正则化实现背景减除。然而，当该方法应用于空间分辨率差且目标与背景的对比度低的卫星视频时，其性能受到限制，因为数据不再充分地适合前景结构或背景模型。在本文中，我们明确地处理这些无法解释的数据，并将空间运动目标检测作为先驱研究之一。我们提出了一种技术，通过扩展的分解公式与有界误差，命名为扩展低秩和结构化稀疏分解（E-LSD）。该公式将低秩背景、结构化稀疏前景及其残差集成到矩阵分解问题中。我们通过引入一种替代的处理方法，并采用乘子交替方向法（ADMM）的直接推广，提供了一个有效的解决方案。在两个卫星视频上对所提出的E-LSD进行了验证，实验结果表明，与现有方法相比，该方法在背景建模方面有所改进，运动目标检测精度有所提高。
2019-08-26 cs.CV
Randomized Low-Rank Dynamic Mode Decomposition for Motion Detection
Univ. of St Andrews（圣安德鲁斯大学）
介绍了一种矩阵低秩动态模式分解（DMD）的快速随机化算法。在这里，我们认为这个矩阵表示空间网格随时间的发展，例如来自静态视频源的数据。DMD最初是在流体力学领域引入的，但也适用于视频流中的运动检测，并且其用于背景减除的使用以前很少受到研究。在这项研究中，我们提出了一个全面的评价背景减除，使用随机DMD和领先的强大的主成分分析算法的结果进行比较。结果令人信服，并表明随机DMD是一种有效而强大的背景建模方法，可以实时处理高分辨率视频。补充材料包括算法在Python中的实现。
2015-12-11 cs.CV
Weakly Supervised Realtime Dynamic Background Subtraction
University of Alberta（阿尔伯塔大学）
背景减除是计算机视觉中的一项基本任务，具有许多现实世界的应用，从对象跟踪到视频监控。动态背景在这里提出了一个重大挑战。基于监督深度学习的技术目前被认为是这项任务的最先进技术。然而，这些方法需要逐像素的地面实况标签，这可能是耗时且昂贵的。在这项工作中，我们提出了一个弱监督框架，可以执行背景减除，而不需要每像素的地面实况标签。我们的框架是在一个移动的无对象图像序列上训练的，包括两个网络。第一网络是自动编码器，其生成背景图像并准备用于训练第二网络的动态背景图像。动态背景图像是通过对背景减除图像进行阈值处理而获得的。第二个网络是一个U-Net，它使用相同的无对象视频进行训练，并使用动态背景图像作为像素级地面实况标签。在测试阶段，输入图像由自动编码器和U-Net处理，分别生成背景和动态背景图像。动态背景图像有助于从背景减除图像中去除动态运动，使得我们能够获得没有动态伪影的前景图像。为了证明我们的方法的有效性，我们对CDnet 2014数据集和I2 R数据集的选定类别进行了实验。我们的方法优于所有排名靠前的无监督方法。我们也取得了更好的结果比现有的两个弱监督的方法之一，我们的性能是类似的其他。我们提出的方法是在线的，实时的，高效的，并需要最少的帧级注释，使其适用于广泛的现实世界中的应用。
2023-03-06 cs.CV
Background Subtraction via Fast Robust Matrix Completion
Northeastern University（东北大学）
背景减除是大多数视频检测系统的主要任务。背景建模是背景减除算法中最重要的一部分，也是各种背景减除算法的共同点。在这方面，我们的论文解决了背景建模的问题，在一个计算效率高的方式，这是非常重要的，目前爆发的“大数据”处理来自高分辨率多通道视频。我们的模型是基于自然图像中的背景位于一个低维子空间的假设。我们制定和解决这个问题的低秩矩阵完成框架。在建模的背景下，我们受益于面内扩展的Frank-Wolfe算法求解一个定义的凸优化问题。我们在背景模型挑战（BMC）和斯图加特人工背景减除（SABS）数据集上评估了我们的快速鲁棒矩阵完成（fRMC）方法。与鲁棒主元分析（RPCA）和低秩鲁棒矩阵完备（RMC）方法进行了比较，这两种方法都是用不精确增广拉格朗日乘子（IALM）求解的。结果显示，计算速度更快，至少是使用IALM求解器时的两倍，同时在减去背景以检测场景中的移动物体时，在某些挑战中具有相当的准确性甚至更好。
2017-11-03 cs.CV eess.IV
Challenges in video based object detection in maritime scenario using computer vision
Nanyang Technological University（南洋理工大学）；Rolls-Royce plc（罗尔斯·罗伊斯公司）；Rolls-Royce Derby（罗尔斯·罗伊斯德比工厂）
本文讨论了海事图像处理的技术挑战和机器视觉问题的视频流产生的相机。即使是有据可查的地平线检测和视频中帧的配准问题在海上场景中也是非常具有挑战性的。视频流中的背景减除和目标检测的更高级问题是非常具有挑战性的。由背景的动态性质、静态线索的不可用性、在远处背景处的小对象的存在、照明效果引起的挑战都促成了如这里所讨论的挑战。
2016-08-03 cs.CV
Automatic Foreground Extraction from Imperfect Backgrounds using Multi-Agent Consensus Equilibrium
Purdue University（普渡大学）；HypeVR Inc.（海普虚拟现实公司）
从场景中提取准确的前景对象是许多视频应用的重要步骤。传统的背景减除算法可以生成粗略的估计，但是生成高质量的掩模需要具有大量人为干预的专业软件，例如，提供三重图或标记关键帧。我们提出了一种自动前景提取方法，在应用程序中，一个静态的，但不完美的背景。例如拍摄和监视，可以在对象进入场景之前或离开场景之后捕获背景。我们提出的方法是非常强大的，并产生显着更好的估计比国家的最先进的背景减除，视频分割和阿尔法抠图方法。我们的方法的关键创新是一种新的信息融合技术。融合框架允许我们整合alpha抠图，背景减除和图像去噪的各个优势，以产生整体更好的估计。当处理具有不完美背景的复杂场景时，这种集成尤其重要。我们展示了框架是如何开发的，以及各个组件是如何构建的。进行了大量的实验和烧蚀研究，以评估所提出的方法。
2020-05-31 cs.CV
Robust Statistical Approach for Extraction of Moving Human Silhouettes from Videos
Assam Don Bosco University（阿萨姆顿博斯科大学）
人体姿态估计是近年来计算机视觉研究的关键问题之一。人体姿态估计的重要性在于理解人类动作应用的更高级别任务，例如识别视频中存在的异常动作和许多其他相关应用。由于人体轮廓线具有较强的鲁棒性，并且能够提供人体的形状信息，因此可以通过提取人体轮廓线来估计人体的姿态。一些常见的挑战包括照明变化、环境变化和人类外观变化。因此，需要一种用于人体姿态估计的鲁棒方法。本文研究和分析了现有的轮廓提取方法，提出了一种鲁棒的视频序列中人体轮廓提取技术。高斯混合模型（GMM）一种统计方法与HSV（色调、饱和度和值）颜色空间模型相结合，用于鲁棒的背景模型，该背景模型用于背景减除以产生前景斑点，称为人体轮廓。然后对来自背景减除的前景斑点执行形态学操作。从这项工作中获得的轮廓可以用于与人类动作解释和活动过程相关的进一步任务，如人类动作分类，人类姿势估计和动作识别或动作解释。
2014-08-17 cs.CV
An exploration of the performances achievable by combining unsupervised background subtraction algorithms
背景减除（BGS）是用于在视频中执行运动检测的常见选择。每年都有数百种BGS算法发布，但将它们结合起来检测运动在很大程度上仍未被探索。我们发现，组合策略允许利用大量可用的BGS算法，并为性能改进提供了显着的空间。在本文中，我们探索了通过6种策略实现的性能集，这些策略在CDnet 2014数据集上以像素方式结合了26种无监督BGS算法的输出，无论是在ROC空间还是在F1得分方面。所选择的策略代表了一个大的策略面板，包括确定性和非确定性的，投票和学习。在我们的实验中，我们比较我们的结果与国家的最先进的组合IUTIS-5和CNN-SFC，并报告六个结论，其中存在的一个重要的差距之间的性能的个别算法和最好的性能，通过结合它们。
2022-02-25 cs.CV
Saliency detection with moving camera via background model completion
City University of Hong Kong（香港城市大学）
在许多计算机视觉系统中，显著性检测是一个基本步骤。显著性是视频中的重要目标。感兴趣的对象被进一步分析以用于高级应用。如果显著性和背景表现出不同的视觉线索，则可以进行显著性和背景的分离。因此，显著性检测通常被公式化为背景减除。然而，显著性检测是具有挑战性的。例如，动态背景可能导致假阳性错误。在另一种情况下，伪装将导致假阴性错误。随着摄像机的移动，捕捉到的场景处理起来更加复杂。我们提出了一个新的框架，称为显着性检测通过背景模型完成（SD-BMC），它包括一个背景建模器和深度学习背景/前景分割网络。背景建模器从短图像序列生成初始干净背景图像。基于视频补全的思想，在变化的背景和运动的目标共存的情况下，可以合成一个好的背景帧。我们采用了背景/前景分割器，虽然使用特定的视频数据集进行了预训练，但也可以检测未看到的视频中的显著性。当背景/前景分割器输出在长视频的处理期间恶化时，背景建模器可以动态地调整背景图像。据我们所知，我们的框架是第一个采用视频完成的背景建模和显著性检测的视频捕获移动摄像机。从PTZ视频中获得的结果表明，我们提出的框架比一些基于深度学习的背景减除模型的性能高出11%或更多。对于更具挑战性的视频，我们的框架也比许多高排名的背景减除方法高出3%以上。
2021-10-30 cs.CV eess.IV
Data-Driven Background Subtraction Algorithm for in-Camera Acceleration in Thermal Imagery
Technical University of Crete（克里特技术大学）；National Technical University of Athens（雅典国家技术大学）
视频中运动目标的检测是实现成功的监视和监控应用的关键一步。这种任务的一个关键组成部分被称为背景减法，并试图从图像背景中提取感兴趣的区域，以供进一步处理或操作。因此，其准确性和实时性具有重要意义。虽然已经提出了有效的背景减除方法，但只有少数方法考虑到热图像的特殊性。在这项工作中，我们提出了一个背景减除方案，该方案将每个像素的热响应建模为具有未知数量分量的高斯混合物。遵循贝叶斯方法，我们的方法自动估计混合结构，同时避免过度/欠拟合。像素密度估计之后是一个高效和高度准确的更新机制，这使得我们的系统能够自动适应动态变化的操作条件。我们提出了一个参考实现我们的方法在可重构硬件实现足够的性能和低功耗。采用高级综合设计，要求苛刻的浮点算术运算映射到可重构硬件中;同时展示快速原型和现场定制。
2017-10-15 cs.CV
Background Subtraction via Generalized Fused Lasso Foreground Modeling
Cooperative Medianet Innovation Center（协同媒体网创新中心）；Key Laboratory of Machine Perception (MoE)（机器感知教育部重点实验室）
背景减除是视频分析中的关键步骤之一。已经提出了许多背景模型，并在公共数据集上取得了令人满意的性能。然而，由于诸如光照变化、动态背景等挑战，所得到的前景分割通常包括空洞以及背景噪声。在这方面，我们考虑广义融合套索正则化，以寻求完整的结构化前景。连同某些假设的背景，如低秩假设或稀疏组成的假设（取决于是否提供纯背景帧），我们制定BS作为一个矩阵分解问题，使用正则化项的前景和背景矩阵。此外，根据拟议的公式，这两个一般不同的背景假设可以以统一的方式解决。通过应用增广拉格朗日乘子（ALM）方法进行优化，以这样一种方式，一个快速的参数流算法用于更新的前景矩阵。几个流行的BS数据集上的实验结果表明，所提出的模型相比，国家的最先进的优势。
2015-04-14 cs.CV
Video Processing from Electro-optical Sensors for Object Detection and Tracking in Maritime Environment: A Survey
Rolls-Royce Pvt. Ltd.（劳斯莱斯私人有限公司）；Rolls Royce plc（劳斯莱斯股份有限公司）
我们提出了一个调查海上目标检测和跟踪方法，这是必不可少的自主船舶导航系统的发展。这里考虑的电光（EO）传感器是一种在可见光或红外光谱中工作的摄像机，它通常补充雷达和声纳，并在过去几年中证明了其在海上态势感知方面的有效性。本文提供了一个全面的概述了各种方法的视频处理的目标检测和跟踪在海洋环境中。我们遵循的方法为基础的分类法，其中每种方法的优点和局限性进行了比较。该目标检测系统主要由以下几个模块组成：地平线检测、静态背景减除和前景分割。这些都已在海上情况下进行了广泛的研究，并已被证明是具有挑战性的，由于背景运动的存在，特别是由于波浪和尾流。目标跟踪涉及的主要过程包括视频帧配准、动态背景减除和目标跟踪算法本身。由于摄像机运动、动态背景和跟踪对象的低对比度，可能由于环境恶化，鲁棒跟踪的挑战出现。该调查还讨论了多传感器方法和使用EO传感器的商业海事系统。该调查还强调了计算机视觉研究的方法，这些方法有望在海上EO数据处理中表现良好。几个海事和计算机视觉技术的性能进行了评估新提出的新加坡海事数据集。
2016-11-17 cs.CV
DeepPBM: Deep Probabilistic Background Model Estimation from Video Sequences
Northeastern University（东北大学）
提出了一种新的基于变分自编码器的视频序列视觉背景无监督概率模型估计方法。由于监控视频中背景的冗余性，在变分自编码器的编码器部分，背景的视觉信息可以被压缩到一个低维的子空间中，而其运动前景的高度变化的信息在整个编解码过程中被过滤掉。我们的深度概率背景模型（DeepPBM）估计方法通过深度神经网络在学习视频帧的压缩表示并将其重建回原始域中的能力来实现。我们评估了DeepPBM在背景模型挑战（BMC 2012）数据集的9个监控视频中的背景减除性能，并将其与标准子空间学习技术鲁棒主成分分析（RPCA）进行了比较，该技术类似地估计了视频中背景的确定性低维表示，并广泛用于此应用。我们的方法在BMC 2012数据集上的性能优于RPCA，平均F-measure得分为23%，强调使用训练模型的背景减除可以快10倍以上。
2019-02-03 cs.CV eess.IV
Vehicles Detection Based on Background Modeling
Al-Azhar University（爱资哈尔大学）
背景差算法是一种常用的检测视频序列中运动目标的方法，它通过寻找视频帧与静态背景模型之间的显著差异来检测运动目标。本文提出了一种开发的系统，该系统通过使用基于块的背景图像相减算法和深度学习数据验证算法来实现车辆检测。其主要思想是将图像分割成大小相等的块，对静态参考背景图像（SRBI）进行建模，通过计算每个块像素与相邻帧中对应块像素之间的方差，系统实现了四种不同的方法：绝对差法、图像熵法、异或法和离散余弦变换法。实验结果表明，DCT方法具有最高的车辆检测精度。
2019-01-13 cs.CV
Moving Object Based Collision-Free Video Synopsis
University of Moratuwa（莫拉图瓦大学）
提出一种基于运动对象的无碰撞视频概要实时算法，通过增量拼接帧避免复杂能量最小化，实验证明其帧减少率优于现有方法。
2023-09-17 cs.CV
Comparison of Object Detection Algorithms Using Video and Thermal Images Collected from a UAS Platform: An Application of Drones in Traffic Management
University of South Florida（南佛罗里达大学）；Center for Urban Transportation Research（城市交通研究中心）；Florida Department of Transportation（佛罗里达州交通部）
无人机（UAV）在交通管理中的应用迅速增长，例如交通监视、监控和事件检测。然而，现有的文献缺乏解决方案，实时事件检测，同时在实践中解决隐私问题。本研究探讨了实时车辆检测算法的视觉和红外摄像机，并进行了实验比较其性能。红绿蓝（RGB）视频和热图像是从佛罗里达州坦帕市高速公路沿线的UAS平台收集的。实验设计了量化的性能，实时背景减除为基础的方法在车辆检测从一个固定的摄像机悬停无人机在自由流条件下。根据无人机和传感器相对于道路的几何形状，在实验中设置了几个参数。实验结果表明，基于背景减除的方法在RGB图像上具有良好的检测性能（F1值在0.9左右），在不同方位角的热图像上具有更好的检测性能。这些实验的结果将有助于为使用无人机检测高速公路拥堵的协议、标准和指南的开发提供信息，并为事件检测算法的开发提供投入。
2021-09-27 cs.CV
ZBS: Zero-shot Background Subtraction via Instance-level Background Modeling and Foreground Selection
National Laboratory of Pattern Recognition（模式识别国家重点实验室）
背景减除（BGS）的目的是提取视频帧中的所有运动对象，以获得二值前景分割模板。深度学习在这一领域得到了广泛的应用。与基于监督的BGS方法相比，无监督方法具有更好的泛化能力。然而，以前的无监督深度学习BGS算法在阴影或夜间灯光等复杂场景中表现不佳，它们无法检测预定义类别之外的对象。在这项工作中，我们提出了一种无监督的BGS算法的基础上zero-shot目标检测称为零拍背景减法（ZBS）。该方法充分利用了zero-shot目标检测的优点，建立了开放词汇的实例级背景模型。在此基础上，通过将新帧的检测结果与背景模型进行比较，可以有效地提取出前景。ZBS对于复杂的场景表现良好，并且具有丰富和可扩展的类别。此外，我们的方法可以很容易地推广到其他任务，如废弃的目标检测在看不见的环境。我们的实验表明，ZBS在CDnet 2014数据集上超过了最先进的无监督BGS方法4. 70% F-Measure。代码发布于https://github.com/CASIA-IVA-Lab/ZBS。
2023-03-26 cs.CV
Video Segmentation via Diffusion Bases
Tel Aviv University（特拉维夫大学）；Academic College of Tel-Aviv Yafo（特拉维夫雅法学院）
从静止摄像机拍摄的视频序列中识别运动目标是计算机视觉应用中的一项基本而关键的任务。一种常见的方法执行背景减法，其将移动对象识别为视频帧中与背景模型显著不同的部分。一个好的背景减除算法必须对光照的变化具有鲁棒性，并且应该避免检测非静止的背景对象，如移动的树叶，雨，雪和阴影。此外，内部背景模型应快速响应背景的变化，例如开始移动或停止的对象。我们提出了一种新的视频分割算法，将输入视频序列处理为三维矩阵，其中第三轴是时域。我们的方法通过使用\emph{diffusion bases}方法降低输入维度来识别背景。此外，我们描述了一个迭代法提取和删除的背景。该算法有两个版本，因此涵盖了完整的背景范围：一个用于静态背景的场景，另一个用于动态（移动）背景的场景。
2013-05-01 cs.CV cs.MM
