FutureGAN: Anticipating the Future Frames of Video Sequences using Spatio-Temporal 3d Convolutions in Progressively Growing GANs
Technical University of Munich（慕尼黑工业大学）
我们介绍了一种新的编码器-解码器GAN模型，未来GAN，预测未来帧的视频序列的条件下，过去的帧序列。在训练过程中，网络只接收原始像素值作为输入，而不依赖于额外的约束或数据集特定的条件。为了捕获视频序列的空间和时间分量，在所有编码器和解码器模块中使用时空3d卷积。此外，我们利用现有的逐步增长的GAN（PGGAN）的概念，实现高质量的结果，生成高分辨率的单一图像。FutureGAN模型将这一概念扩展到视频预测的复杂任务。我们在三个不同的数据集上进行了实验，MovingMNIST，KTH Action和Cityscapes。我们的研究结果表明，该模型学习表示将输入序列的信息有效地转换为所有三个数据集的合理未来序列。FutureGAN框架的主要优点是，它适用于各种不同的数据集，而无需额外的更改，同时实现稳定的结果，与视频预测中的最新技术竞争。我们的代码可在https://github.com/TUM-LMF/FutureGAN上获得。
2018-11-26 cs.CV
Video Summarization through Reinforcement Learning with a 3D Spatio-Temporal U-Net
智能视频摘要算法允许通过识别最重要和最具解释性的内容来快速传达视频中最相关的信息，同时删除冗余的视频帧。在本文中，我们介绍了用于视频摘要的3DST-UNet-RL框架。使用3D时空U-网对输入视频的时空信息进行有效编码，以用于下游的强化学习（RL）。RL代理从时空潜在分数中学习，并预测用于在视频摘要中保留或拒绝视频帧的动作。我们调查真实/膨胀的3D时空CNN特征是否比常用的2D图像特征更适合从视频中学习表示。我们的框架可以在完全无监督模式和监督训练模式下运行。我们分析了规定的摘要长度的影响，并在两个常用的通用视频摘要基准上显示了3DST-UNet-RL有效性的实验证据。我们还将我们的方法应用于医疗视频摘要任务。所提出的视频摘要方法有可能节省超声筛查视频的存储成本，并且在回顾性分析或审计期间在不丢失必要信息的情况下浏览患者视频数据时提高效率
2021-06-19 cs.CV
TUMTraffic-VideoQA: A Benchmark for Unified Spatio-Temporal Video Understanding in Traffic Scenes
本文提出TUMTraffic-VideoQA数据集与基准，通过基于元组的时空目标表达统一多项选择视频问答、指称目标描述和时空目标定位三项任务，并引入TUMTraffic-Qwen基线模型，为智能交通系统的细粒度时空推理研究提供基础。
2025-02-04 cs.CV
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统：修剪动作识别，视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
Graph-Theoretic Spatiotemporal Context Modeling for Video Saliency Detection
Zhejiang University（浙江大学）
视频显著性检测是计算机视觉中的一个重要而又具有挑战性的问题，它通常被归结为连续帧上的时空上下文建模问题。因此，视频显著性检测中的一个关键问题是如何有效地捕获原子视频结构的本质属性以及它们沿着空间和时间维度的相关上下文交互。出于这一观察，我们提出了一个图论的视频显着性检测方法的基础上自适应视频结构发现，这是在时空原子图。通过基于图的流形传播，所提出的方法能够有效地建模原子视频结构之间的语义上下文交互显著性检测，同时保持空间平滑性和时间一致性。实验证明了该方法在多个基准数据集上的有效性。
2017-07-25 cs.CV
Weakly-Supervised Spatio-Temporally Grounding Natural Sentence in Video
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们解决了一个新的任务，即弱监督的时空接地视频中的自然句子。具体来说，给定一个自然句子和一个视频，我们在视频中定位一个时空管，它在语义上对应于给定的句子，在训练过程中不依赖任何时空注释。首先，从视频中提取一组时空管，称为实例。然后，我们编码这些实例和句子使用我们提出的专注的交互器，可以利用它们的细粒度的关系来表征它们的匹配行为。除了排名损失，一种新的多样性损失被引入到训练所提出的专注的交互器，以加强匹配行为的可靠的实例-句子对和惩罚不可靠的。此外，我们还基于ImageNet视频目标检测数据集贡献了一个名为VID-sentence的数据集，作为我们任务的基准。大量的实验结果表明，我们的模型优于基线方法。
2019-06-06 cs.CV
SVASTIN: Sparse Video Adversarial Attack via Spatio-Temporal Invertible Neural Networks
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机学院）
提出SVASTIN方法，通过时空可逆神经网络在特征空间进行信息交换，结合GTVL模块平衡扰动预算与优化速度，在UCF-101和Kinetics-400上实现了更高欺骗率与不可感知性的视频对抗攻击。
2024-06-04 cs.CV
Progressive Video Condensation with MLLM Agent for Long-form Video Understanding
Zhejiang Key Laboratory of Space Information Sensing and Transmission, Hangzhou Dianzi University（浙江省空间信息感知与传输重点实验室，杭州电子科技大学）
本文提出ProVCA，通过逐步缩小范围从粗略片段到精细帧，利用MLLM进行高效视频理解，实现高准确率。
2026-04-03 cs.CV
PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Alignment
University of Electronic Science and Technology of China（电子科技大学）；University of Würzburg（维尔茨堡大学）；Shanghai Jiao Tong University（上海交通大学）；ETH Zurich（苏黎世联邦理工学院）
针对Transformer HDR去鬼影方法计算开销大、2K推理慢的问题，提出PASTA框架，通过层次化特征解耦及局部-全局注意力的由粗到细融合，在质量和指标上超越SOTA，并实现3倍推理加速。
2024-04-09 cs.CV
Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions
MIT（麻省理工学院）；CIIRC CTU（捷克理工大学计算机科学与人工智能研究所）；Adobe（奥多比）
我们介绍了弱监督学习的任务，用于检测视频中的人和对象的交互。我们的任务带来了独特的挑战，因为系统不知道视频中存在什么类型的人与物体的交互，也不知道人与物体的实际时空位置。为了解决这些挑战，我们引入了一种对比性弱监督训练损失，旨在将视频中的时空区域与动作和对象词汇相关联，并鼓励移动对象的视觉外观的时间连续性作为自我监督的一种形式。为了训练我们的模型，我们引入了一个数据集，该数据集包括超过6.5k个带有人机交互注释的视频，这些注释是从与视频相关的句子标题中半自动策划的。我们证明了在弱监督基线上改进的性能，这些基线适合我们在视频数据集上的任务。
2021-10-07 cs.CV
STeP: A Framework for Solving Scientific Video Inverse Problems with Spatiotemporal Diffusion Priors
California Institute of Technology（加利福尼亚理工学院）；OpenAI
本文提出STeP即插即用框架，通过学习时空扩散先验从稀疏时变测量中重建科学视频，并在黑洞视频与动态MRI任务上显著提升时空结构恢复效果。
2025-06-10 cs.CV
PGT: A Progressive Method for Training Models on Long Videos
Shanghai Jiao Tong University（上海交通大学）
卷积视频模型的计算复杂性比其对应的图像级模型大一个数量级。受计算资源的限制，目前还没有一种模型或训练方法能够对长视频序列进行端到端的训练。目前，主流的方法是将原始视频分割成片段，导致不完整的碎片时间信息流。受处理长句的自然语言处理技术的启发，我们提出将视频视为满足马尔可夫性质的连续片段，并通过多步逐步传播时间维度的信息来训练它作为一个整体。这种渐进式训练（PGT）方法能够在有限的资源下对长视频进行端到端的训练，并确保信息的有效传输。作为一种通用的、鲁棒的训练方法，我们根据经验证明，它在不同的模型和数据集上都能产生显著的性能提升。作为说明性示例，所提出的方法在Charades上将SlowOnly网络提高了3.7 mAP，在Kinetics上提高了1.9 top-1精度，参数和计算开销可以忽略不计。代码可在https://github.com/BoPang1996/PGT上获得。
2021-03-21 cs.CV
Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences
College of Computer Science, Zhejiang University（浙江大学计算机学院）；Alibaba Group（阿里巴巴集团）；University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们考虑一个新的任务，时空视频接地多形式的句子（STVG）。给定一个未修剪的视频和一个描述对象的陈述/疑问句，STVG的目标是定位查询对象的时空管。STVG有两个具有挑战性的设置：（1）我们需要从未修剪的视频中定位时空对象管，其中对象可能只存在于视频的很小一段中;（2）我们处理多形式的句子，包括带有明确对象的陈述句和带有未知对象的疑问句。现有的方法不能解决STVG任务，由于无效的管预生成和缺乏对象关系建模。因此，我们提出了一种新的时空图推理网络（STGRN）的这项任务。首先，我们建立了一个时空区域图，以捕捉与时间对象动态的区域关系，其中包括隐式和显式的空间子图在每帧和跨帧的时间动态子图。然后，我们将文本线索到图和开发的多步跨模态图推理。接下来，我们介绍了一个时空定位器与动态选择方法直接检索时空管管没有管预生成。此外，我们贡献了一个大规模的视频接地数据集VidSTG视频关系数据集VidOR的基础上。大量的实验证明了该方法的有效性。
2020-03-24 cs.CV
STAU: A SpatioTemporal-Aware Unit for Video Prediction and Beyond
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术创新研发中心）
视频预测的目标是通过对视频中复杂的时空动态进行建模来预测未来的帧。然而，大多数现有的方法仅以独立的方式对视频的时间信息和空间信息进行建模，而没有充分探索两者之间的相关性。在本文中，我们提出了一个时空感知单元（STAU）的视频预测和超越探索显着的时空相关性的视频。一方面，运动感知注意力权重从空间状态中学习，以帮助在时间域中聚合时间状态。另一方面，从时间状态学习外观感知注意力权重，以帮助在空间域中聚合空间状态。通过这种方式，时间信息和空间信息可以在两个域中很好地相互感知，在此期间，时空感受野也可以大大拓宽，以实现更可靠的时空建模。实验不仅在传统的视频预测任务上进行，而且在视频预测之外的其他任务上进行，包括早期动作识别和目标检测任务。实验结果表明，我们的STAU可以优于其他方法在所有任务的性能和计算效率。
2022-04-20 cs.CV
Latent Spatiotemporal Adaptation for Generalized Face Forgery Video Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；RealAI
针对未知伪造方法下人脸伪造视频检测泛化不足的问题，提出 LAST，在隐空间建模并半监督自适应时空模式，结合真实视频自监督预训练，实现更优泛化与鲁棒性。
2024-10-24 cs.CV
Object Detection in Video with Spatiotemporal Sampling Networks
University of Pennsylvania（宾夕法尼亚大学）；Dartmouth College（达特茅斯学院）
我们提出了一个时空采样网络（STSN），使用可变形卷积跨时间的目标检测的视频。我们的STSN执行目标检测在视频帧中学习空间采样功能从相邻的帧。这自然地使得该方法对于各个帧中的遮挡或运动模糊是鲁棒的。我们的框架不需要额外的监督，因为它优化采样位置直接相对于目标检测性能。我们的STSN在ImageNet VID数据集上的表现优于最先进的技术，与现有的视频目标检测方法相比，它使用了更简单的设计，并且不需要光流数据进行训练。
2018-07-24 cs.CV
STFCN: Spatio-Temporal FCN for Semantic Video Segmentation
Malek-Ashtar University of Technology（马雷克-阿什塔尔理工大学）；Iran University of Science and Technology（伊朗科技大学）；Auckland University of Technology（奥克兰理工大学）；National Ilan University（国立宜兰大学）
本文提出了一种新的方法，涉及到语义视频分割的空间和时间特征。当前对卷积神经网络（CNN）的研究表明，CNN提供了先进的空间特征，支持图像和视频分析的解决方案的非常好的性能，特别是对于语义分割任务。我们调查如何涉及时间特征也有很好的效果分割视频数据。我们提出了一个基于递归神经网络的长短期记忆（LSTM）架构的模块，用于解释视频帧随时间的时间特性。我们的系统将视频的帧作为输入，并产生相应大小的输出;为了分割视频，我们的方法结合了三个组件的使用：首先，使用CNN提取帧的区域空间特征;然后，使用LSTM添加时间特征;最后，通过对时空特征进行反卷积，我们产生逐像素预测。我们的关键见解是构建时空卷积网络（时空CNN），该网络具有用于语义视频分割的端到端架构。我们完全适应了一些已知的卷积网络架构（如FCN-AlexNet和FCN-VGG 16），并将卷积扩展到我们的时空CNN中。我们的时空CNN实现了最先进的语义分割，如Camvid和NYUDv 2数据集所示。
2016-09-02 cs.CV
Spatio-temporal Features for Generalized Detection of Deepfake Videos
DUniversum（3D宇宙）；University of Amsterdam（阿姆斯特丹大学）
对于deepfake检测，视频级检测器还没有像图像级检测器那样广泛地探索，图像级检测器不利用时间数据。在本文中，我们的经验表明，现有的图像和序列分类方法推广到新的操作技术差。为此，我们提出了由3D CNN建模的时空特征，以扩展泛化能力来检测新类型的deepfake视频。我们发现，空间特征学习不同的deepfake方法特定属性，而时空特征捕获deepfake方法之间的共享属性。我们提供了一个深入的分析顺序和时空视频编码器如何利用时间信息使用DFDC数据集arXiv：2006.07397。因此，我们揭示了我们的方法捕获了deepfake视频中的局部时空关系和不一致性，而现有的序列编码器对此漠不关心。通过在FaceForensics++ arXiv：1901.08971和Deeper Forensics arXiv：2001.03024数据集上进行的大规模实验，我们表明我们的方法在泛化能力方面优于现有方法。
2020-10-22 cs.CV
VORNet: Spatio-temporally Consistent Video Inpainting for Object Removal
National Taiwan University（台湾大学）
视频对象去除是视频处理中的一项具有挑战性的任务，通常需要大量的人工努力。给定每帧中前景对象的掩模，目标是完成（补绘）对象区域并生成没有目标对象的视频。虽然最近基于深度学习的方法在图像修补任务上取得了巨大成功，但当应用于视频时，它们通常会导致帧之间的结果不一致。在这项工作中，我们提出了一种新的基于学习的视频对象去除网络（VORNet）解决视频对象去除任务的时空一致的方式，通过结合光流翘曲和基于图像的修复模型。在基于YouTube-VOS视频分割数据集的合成视频对象去除（SVOR）数据集上进行了实验，客观和主观评价都表明，与现有方法相比，VORNet生成的视频在空间和时间上都更加一致。
2019-04-14 cs.CV
ProGVC: Progressive-based Generative Video Compression via Auto-Regressive Context Modeling
Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）
ProGVC提出一种统一渐进传输、高效熵编码和细节合成的视频压缩框架，通过多尺度自回归上下文模型实现低比特率下的高质量视频压缩与可扩展性。
2026-09-01 cs.CV
Neural-Symbolic VideoQA: Learning Compositional Spatio-Temporal Reasoning for Real-world Video Question Answering
Harbin University of Science and Technology（哈尔滨理工大学）
本文提出神经符号框架 NS-VideoQA，通过 SPN 将视频结构化为符号表示，并用 SRM 与多态执行器完成组合式时空推理，在 AGQA Decomp 上验证了有效性。
2024-04-05 cs.CV
Progressive Temporal Feature Alignment Network for Video Inpainting
ByteDance Inc.（字节跳动有限公司）；University of California, Davis（加利福尼亚大学戴维斯分校）
视频修复的目的是用可信的内容填充时空“损坏”区域。为了实现这一目标，有必要从相邻帧中找到对应关系，以忠实地显示未知内容。目前的方法通过注意力、基于流的扭曲或3D时间卷积来实现这一目标。然而，当光流不准确时，基于流的扭曲可能产生伪影，而时间卷积可能遭受空间未对准。我们提出了“渐进的时间特征对齐网络”，它逐步丰富的功能，从当前帧提取的功能与功能从相邻帧使用光流扭曲。我们的方法纠正了时间特征传播阶段的空间错位，大大提高了视觉质量和时间一致性的修复视频。与现有的深度学习方法相比，使用所提出的架构，我们在DAVIS和FVI数据集上实现了最先进的性能。代码可在https://github.com/MaureenZOU/TSAM上获得。
2021-04-08 cs.CV
Video-Language Alignment via Spatio-Temporal Graph Transformer
School of Computer and Communication Engineering, University of Science and Technology Beijing (USTB)（北京科技大学计算机与通信工程学院）；Institute of Artificial Intelligence, University of Science and Technology Beijing (USTB)（北京科技大学人工智能研究院）；USTB-EEasyTech Joint Lab of Artificial Intelligence（北京科技大学-易智科技人工智能联合实验室）；Tencent Hunyuan（腾讯混元）；Tencent（腾讯）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
提出时空图Transformer（STGT）模块结合时空图结构与注意力机制，并引入自相似性对齐损失，有效提升了视频语言对齐精度及下游任务性能。
2024-07-23 cs.CV
Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在基于骨架的人体动作识别中非常成功，其中骨架序列被建模为图。然而，该领域中的大多数基于GCN的方法训练具有固定拓扑结构的深度前馈网络，这导致高计算复杂性并限制其在低计算场景中的应用。在本文中，我们提出了一种方法来自动找到一个紧凑的和特定问题的拓扑空间-时间图卷积网络在渐进的方式。在两个广泛使用的人体动作识别数据集上的实验结果表明，该方法具有竞争力，甚至更好的分类性能与国家的最先进的方法相比，具有更低的计算复杂性.
2021-04-26 cs.CV cs.LG
Tree-Structured Policy based Progressive Reinforcement Learning for Temporally Language Grounding in Video
Sun Yat-sen University（中山大学）；Beihang University（北京航空航天大学）；DarkMatter AI Research（DarkMatter AI研究院）
未裁剪视频中的时间语言基础是视频理解领域的一个新课题。现有的方法大多效率低下，缺乏可解释性，偏离了人类的感知机制。受人类从粗到细的决策范式的启发，我们提出了一种新型的基于树结构策略的渐进式强化学习（TSP-PRL）框架，通过迭代细化过程顺序调节时间边界。语义概念被显式地表示为策略中的分支，这有助于有效地将复杂的策略分解为可解释的原始动作。渐进式强化学习通过两个任务导向的奖励机制提供正确的信用分配，鼓励树结构策略中的相互促进。我们在Charades-STA和ActivityNet数据集上对TSP-PRL进行了广泛的评估，实验结果表明，TSP-PRL与现有的最先进的方法相比具有竞争力的性能。
2020-01-18 cs.CV
A Proposal-Based Solution to Spatio-Temporal Action Detection in Untrimmed Videos
University of Maryland, College Park（马里兰大学帕克分校）
现有的时空动作检测方法受到动作的空间范围和持续时间的限制。在本文中，我们提出了一个模块化的时空动作检测系统在未修剪的安全视频。我们提出了一个两阶段的方法。第一阶段使用分层聚类和时间抖动技术对逐帧目标检测生成密集的时空建议。第二阶段是时间细化I3 D（TRI-3D）网络，对生成的建议执行动作分类和时间细化。基于目标检测的建议生成步骤有助于检测在视频帧的小空间区域中发生的动作，而时间抖动和细化有助于检测可变长度的动作。在时空动作检测数据集DIVA上的实验结果表明了该系统的有效性。为了进行比较，我们的系统的性能也进行了评估的THUMOS 14时间动作检测数据集。
2018-11-23 cs.CV
VideoMamba: Spatio-Temporal Selective State Space Model
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出专为视频识别设计的VideoMamba架构，基于Mamba的线性复杂度和选择性SSM机制，通过时空前向与后向SSM捕捉视频时空信息复杂关系，兼具资源效率与长距离依赖捕捉能力，在多个视频理解基准上表现优异，为视频分析研究提供新基线。
2024-07-11 cs.CV
Spatiotemporal Pyramid Network for Video Action Recognition
Tsinghua University（清华大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
双流卷积网络在视频动作识别任务中表现出强大的性能。其关键思想是通过在空间和时间上融合卷积网络来学习时空特征。然而，它仍然不清楚如何在多个抽象级别的空间和时间结构之间的相关性建模。首先，如果两个视频共享相似的背景，则空间流倾向于失败。第二，如果两个动作在短片段中相似，尽管从长远来看是不同的，那么时间流可能会被愚弄。我们提出了一种新的时空金字塔网络融合的空间和时间的特点，在金字塔结构，使他们可以相互加强。从体系结构的角度来看，我们的网络构成了分层融合策略，可以作为一个整体使用统一的时空损失进行训练。一系列的烧蚀实验支持每个融合策略的重要性。从技术角度来看，我们将时空紧致双线性算子引入到视频分析任务中。该算子能够有效地训练双线性融合操作，该操作可以捕获空间和时间特征之间的全部相互作用。我们的最终网络在标准视频数据集上实现了最先进的结果。
2019-03-04 cs.CV
V-STaR: Benchmarking Video-LLMs on Video Spatio-Temporal Reasoning
Institution1（机构1）；Institution2（机构2）
本文提出 V-STaR 基准，通过 RSTR 任务和由粗到细的 CoT 问题评估 Video-LLMs 对对象、时间与空间关系的联合推理能力。
2025-03-14 cs.CV
Spatio-Temporal Crop Aggregation for Video Representation Learning
University of Bern（伯尔尼大学）；Adobe Research（奥多比研究）
我们提出了时空作物聚合视频表示学习（SCALE），一种新的方法，在训练和推理时间都具有很高的可扩展性。我们的模型通过从用预训练的骨干提取的视频剪辑级特征集中学习来构建远程视频特征。为了训练模型，我们提出了一个自监督的目标组成的掩蔽剪辑功能预测。我们通过提取一组随机的视频剪辑将稀疏性应用于输入，并通过仅重建稀疏输入将稀疏性应用于损失函数。此外，我们通过在应用于单个视频剪辑的预训练骨干的潜在空间中工作来使用降维。这些技术使我们的方法不仅非常有效的训练，但也非常有效的迁移学习。我们证明了我们的视频表示产生最先进的性能与线性，非线性和KNN探测常见的动作分类和视频理解数据集。
2023-03-13 cs.CV
VIRST: Video-Instructed Reasoning Assistant for SpatioTemporal Segmentation
VIRST提出一种端到端框架，统一全局视频推理与像素级分割预测，通过时空融合模块和时间动态锚点更新器，提升动态场景下的分割性能。
2026-03-28 cs.CV
Abnormal Event Detection in Videos using Spatiotemporal Autoencoder
Universiti Tunku Abdul Rahman（东姑阿都拉曼大学）
我们提出了一种有效的方法来检测视频中的异常。卷积神经网络的最新应用已经显示出卷积层用于目标检测和识别的前景，特别是在图像中。然而，卷积神经网络是有监督的，需要标签作为学习信号。我们提出了一个时空架构的异常检测视频，包括拥挤的场景。我们的体系结构包括两个主要组成部分，一个用于空间特征表示，一个用于学习空间特征的时间演化。在Avenue，Subway和UCSD基准上的实验结果证实，我们的方法的检测精度与最先进的方法相当，速度高达140 fps。
2017-01-06 cs.CV
Learning Video Salient Object Detection Progressively from Unlabeled Videos
Zhejiang University of Technology（浙江工业大学）
最近基于深度学习的视频显著目标检测（VSOD）已经取得了一些突破，但是这些方法依赖于具有逐像素注释、弱注释或部分逐像素注释的昂贵的注释视频。基于VSOD与图像显著性目标检测（SOD）的异同，提出了一种新的VSOD方法，该方法采用渐进式框架，在不使用任何视频注释的情况下，按顺序定位和分割显著性目标。为了有效地将SOD数据集中学习到的知识用于VSOD，我们引入动态显着性来补偿定位过程中SOD运动信息的缺乏，但保留相同的精细分割过程。具体而言，时空位置标签的生成算法，其中包括生成高显着性的位置标签和跟踪显着对象在相邻帧，提出。基于这些位置标记，提出了一种引入光流分支的双流定位网络，用于视频显著目标的定位。虽然我们的方法根本不需要标记视频，但DAVIS，FBMS，ViSal，VOS和DAVSOD五个公共基准测试的实验结果表明，我们提出的方法与完全监督方法相比具有竞争力，并且优于最先进的弱无监督方法。
2022-04-05 cs.CV
Spatiotemporal Residual Networks for Video Action Recognition
Graz University of Technology（格拉茨技术大学）；York University（约克大学）
双流卷积网络（ConvNets）在视频中的人类动作识别方面表现出了强大的性能。最近，残差网络（ResNets）作为一种新技术出现，用于训练极深的体系结构。在本文中，我们将时空ResNets作为这两种方法的组合。我们的新架构通过两种方式引入残差连接，将ResNets推广到时空域。首先，我们注入残余连接的外观和运动路径的双流架构，使两个流之间的时空交互。其次，我们将预训练的图像ConvNets转换为时空网络，方法是为这些网络配备可学习的卷积滤波器，这些卷积滤波器被初始化为时间残差连接，并在时间上对相邻的特征图进行操作。这种方法随着模型深度的增加而缓慢增加时空感受野，并自然地集成了图像ConvNet设计原则。整个模型是端到端训练的，允许对复杂的时空特征进行分层学习。我们使用两个广泛使用的动作识别基准来评估我们的新时空ResNet，它超过了以前的最先进水平。
2016-11-07 cs.CV
Comparison of Spatiotemporal Networks for Learning Video Related Tasks
University of Illinois（伊利诺伊大学）
用于从视频序列学习的许多方法涉及在时间上处理来自各个帧的2D CNN特征或直接利用高性能2D CNN架构内的3D卷积。焦点通常仍然是如何将时间处理纳入一个已经稳定的空间架构。这项工作构建了一个基于MNIST的视频数据集，其参数控制常见视频相关任务的相关方面：分类，排序和速度估计。在此数据集上训练的模型在关键方面有所不同，具体取决于任务及其对2D卷积、3D卷积或卷积LSTM的使用。实证分析表明，空间和时间维度之间的复杂的，相互依存的关系，设计选择有很大的影响网络的能力，学习适当的时空功能。
2020-09-15 cs.CV
VideoCanvas: Unified Video Completion from Arbitrary Spatiotemporal Patches via In-Context Conditioning
MMLab, The Chinese University of Hong Kong（香港中文大学MMLab）；Kling Team, Kuaishou Technology（快手技术有限公司Kling团队）
提出VideoCanvas框架，通过混合条件化策略（空间上使用零填充全帧画布编码，时间上使用Temporal RoPE插值）实现任意时空视频补全的统一任务，无需修改或重新训练VAE。
2026-05-27 cs.CV
Deformable 3D Convolution for Video Super-Resolution
National University of Defense Technology（国防科技大学）
视频序列间的时空信息对于视频超分辨率（SR）具有重要意义。然而，由于空间特征提取和时间运动补偿通常是顺序执行的，因此现有的视频SR方法不能充分利用时空信息。在本文中，我们提出了一个可变形的3D卷积网络（D3Dnet），将时空信息从空间和时间维度的视频SR。具体来说，我们引入可变形的3D卷积（D3D）集成可变形的卷积与3D卷积，同时获得优越的时空建模能力和运动感知建模的灵活性。大量的实验已经证明了D3D在利用时空信息方面的有效性。比较结果表明，我们的网络达到了最先进的SR性能。代码可在：https://github.com/XinyiYing/D3Dnet.
2020-08-15 cs.CV
Self-supervised Spatio-temporal Representation Learning for Videos by Predicting Motion and Appearance Statistics
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；South China University of Technology（华南理工大学）；University of Oxford（牛津大学）
我们解决了没有人类注释标签的视频表示学习的问题。虽然以前的努力通过使用视频数据设计新颖的自监督任务来解决这个问题，但学习的特征仅仅是逐帧的，这不适用于时空特征占主导地位的许多视频分析任务。在本文中，我们提出了一种新的自我监督的方法来学习时空特征的视频表示。受双流方法在视频分类中的成功的启发，我们提出通过沿着空间和时间维度回归运动和外观统计来学习视觉特征，仅给出输入视频数据。具体来说，我们提取统计概念（快速运动区域和相应的主导方向，时空颜色多样性，主导颜色等）。从空间和时间域的简单模式中。与之前人类甚至很难解决的难题不同，所提出的方法符合人类固有的视觉习惯，因此很容易回答。我们进行了广泛的实验与C3D验证我们所提出的方法的有效性。实验结果表明，该方法可以显着提高C3D的性能时，应用于视频分类任务。代码可在https://github.com/laura-wang/video_repres_mas上获得。
2019-04-07 cs.CV
Spatiotemporal CNNs for Pornography Detection in Videos
UFSCar - Federal University of Sao Carlos（圣卡洛斯联邦大学）；IFSP - Federal Institute of Education of Sao Paulo（圣保罗联邦教育学院）；UNESP - Sao Paulo State University（圣保罗州立大学）
随着越来越多地使用社交网络和移动设备，发布在互联网上的视频数量呈指数级增长。在互联网上发布的不适当内容中，色情是最令人担忧的内容之一，因为青少年和儿童可以访问。在本研究中，评估了两种时空CNN，VGG-C3 D CNN和ResNet R（2+1）D CNN，用于视频中的色情检测。使用Pornography-800数据集的实验结果表明，这些时空CNN的性能优于一些基于视觉词袋的最先进方法，并且与其他基于CNN的方法相比具有竞争力，准确率达到95.1%。
2018-10-24 cs.CV
Spatio-Temporal Deformable Attention Network for Video Deblurring
Harbin Institute of Technology（哈尔滨工业大学）；Tencent AI Lab（腾讯人工智能实验室）
视频去模糊方法的关键成功因素是用相邻视频帧的清晰像素补偿中间帧的模糊像素。因此，主流方法基于估计的光流对齐相邻帧，并融合对齐帧以进行恢复。然而，这些方法有时会产生令人不满意的结果，因为它们很少考虑像素的模糊水平，这可能会从视频帧中引入模糊像素。实际上，并不是视频帧中的所有像素都是清晰的，有利于去模糊。为了解决这个问题，我们提出了时空可变形注意力网络（STDANet）的视频模糊，提取清晰像素的信息，通过考虑像素的视频帧的模糊水平。具体地，STDANet是与运动估计器和时空可变形注意力（STDA）模块相结合的编码器-解码器网络，其中运动估计器预测粗光流，该粗光流被用作基本偏移以在STDA模块中找到对应的尖锐像素。实验结果表明，所提出的STDANet对GoPro，DVD和BSD数据集上的最先进的方法表现良好。
2022-07-22 cs.CV
Feature-compatible Progressive Learning for Video Copy Detection
University of Technology Sydney（悉尼科技大学）；Baidu Inc.（百度公司）；Zhejiang University（浙江大学）
本文提出特征兼容渐进式学习（FCPL）用于视频拷贝检测，通过训练产生相互兼容特征的多种模型实现特征集成，并利用渐进式学习与标记配对逐步提升性能，在VSC22挑战赛中取得第二名。
2023-05-12 cs.CV
Spatio-Temporal Progressive Attention Model for EEG Classification in Rapid Serial Visual Presentation Task
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education（教育部智能感知与图像理解重点实验室）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
本文提出时空渐进注意力模型STPAM，通过空间与时间专家逐步学习脑区拓扑与时间依赖以改进RSVP任务中的EEG分类，并首次构建红外RSVP EEG数据集IRED验证其优越性。
2025-02-02 cs.CV
Meta Spatio-Temporal Debiasing for Video Scene Graph Generation
Singapore University of Technology and Design（新加坡科技设计大学）；Adobe Research（Adobe研究院）
视频场景图生成（VidSGG）旨在将视频内容解析成场景图，这涉及到对视频中的时空上下文信息进行建模。然而，由于数据集中的长尾训练数据，时空条件偏差问题会影响现有VidSGG模型的泛化性能。在这项工作中，从元学习的角度来看，我们提出了一种新的Meta视频场景图生成（MVSGG）框架，以解决这样的偏见问题。具体地说，为了处理各种时空条件偏差，我们的框架首先从训练数据中构造一个支持集和一组查询集，其中每个查询集的数据分布不同于支持集w.r.t.一种条件性偏见然后，通过执行一种新的Meta训练和测试过程来优化模型，以在对支持集进行训练后在这些查询集上获得良好的测试性能，我们的框架可以有效地指导模型学习更好地泛化。大量的实验证明了我们提出的框架的有效性。
2022-07-30 cs.CV
Move Forward and Tell: A Progressive Generator of Video Descriptions
The Chinese University of Hong Kong（香港中文大学）
我们提出了一个有效的框架，可以生成一个连贯的段落来描述一个给定的视频。以往对视频描述的研究主要集中在视频片段上。它们通常将整个视频视为一个整体，并以单个嵌入为条件生成字幕。相反，我们考虑具有丰富时间结构的视频，并旨在生成可以保持故事流的段落描述，同时保持连贯和简洁。为了实现这一目标，我们提出了一种新的方法，它产生一个描述性的段落，通过组装时间本地化的描述。给定一个视频，它选择一系列独特的剪辑，并以连贯的方式在其上生成句子。特别是，剪辑的选择和句子的产生是由一个循环网络共同和渐进地驱动的--接下来要描述什么取决于之前说过什么。在这里，递归网络是通过自我批判序列训练来学习的，同时具有段落级和段落级奖励。在ActivityNet Captions数据集上，我们的方法展示了为视频生成高质量段落描述的能力。与其他方法相比，我们的方法产生的描述往往更相关，更连贯，更简洁。
2018-07-26 cs.CV
Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；University of California, Merced（加州大学默塞德分校）；Google Research（谷歌研究院）；Linköping University（林雪平大学）
本文提出Video-GroundingDINO，通过利用基础空间定位模型的预训练表示，实现开放词汇时空视频定位，在多个闭集和开放词汇基准上超越现有最先进方法。
2024-03-30 cs.CV
Progressively Deformable 2D Gaussian Splatting for Video Representation at Arbitrary Resolutions
Shanghai Jiao Tong University, Shanghai, China（上海交通大学）；University of Missouri--Kansas City, Kansas City, MO, USA（密苏里大学-堪萨斯城分校）；University of Canterbury, Christchurch, New Zealand（坎特伯雷大学）
D2GV-AR通过可变形的2D高斯点云实现任意分辨率的视频表示，支持高效渐进编码和多尺度码率-质量适应。
2026-01-29 cs.CV
STGV: Spatio-Temporal Hash Encoding for Gaussian-based Video Representation
College of Electronics and Information Engineering（电子与信息工程学院）；College of Applied Technology（应用技术学院）；School of Artificial Intelligence（人工智能学院）；Research Center of Networks and Communications（网络与通信研究中心）；Pengcheng Laboratory（鹏城实验室）
本文提出STGV框架，通过分解视频特征为可学习的2D空间和3D时间哈希编码，有效学习动态成分的运动模式并保持静态元素的细节，同时通过关键帧标准化初始化策略提高高斯表示的稳定性，实验显示其在视频表示质量及下游任务中表现更优。
2026-04-14 cs.CV
Region-Based Multiscale Spatiotemporal Saliency for Video
SOKENDAI (Graduate University for Advanced Studies)（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
从视频中检测显著对象需要利用视频中包括的空间和时间知识。我们提出了一种新的基于区域的多尺度时空显著性检测方法，其中静态特征和动态特征计算从低和中间水平结合在一起。我们的方法在空间上利用这样的组合特征在每个帧上，并且同时在时间上利用连续帧之间的一致性跨帧。我们的方法中的显着线索通过多尺度分割模型进行分析，并在尺度级别上进行融合，从而有效地探索区域。一个自适应的时间窗口，使用运动信息也被开发来结合连续帧的显著性值，以保持跨帧的时间一致性。在几个流行的基准数据集上的性能评估验证了我们的方法优于现有的最先进的。
2017-08-04 cs.CV
SpaceVLLM: Endowing Multimodal Large Language Model with Spatio-Temporal Video Grounding Capability
University of Science and Technology of China（中国科学技术大学）；Renmin University of China（中国人民大学）
SpaceVLLM通过时空感知查询和查询引导空间解码器解决多模态大语言模型的时空视频定位难题，并构建Uni-STG数据集，在11个基准上取得最先进性能。
2025-04-11 cs.CV
Learning a Spatio-Temporal Embedding for Video Instance Segmentation
University of Cambridge（剑桥大学）
本文提出了一种新的视频实例分割嵌入方法。我们的方法学习时空嵌入，整合来自外观，运动和几何形状的线索; 3D因果卷积网络模型运动，以及单目自监督深度损失模型几何形状。在这个嵌入空间中，同一实例的视频像素被聚类在一起，同时与其他实例分离，以便随着时间的推移自然地跟踪实例，而无需任何复杂的后处理。我们的网络是实时运行的，因为我们的架构完全是因果关系的-与以前的方法相反，我们不包含来自未来帧的信息。我们表明，我们的模型可以准确地跟踪和分割实例，即使有遮挡和遗漏的检测，推进了KITTI多对象和跟踪数据集的最新技术。
2019-12-19 cs.CV
Progressive Deep Video Dehazing without Explicit Alignment Estimation
Nanjing University of Science and Technology（南京理工大学）
为了解决视频去雾问题，有两个主要任务要实现：如何将相邻帧对齐到参考帧;如何恢复参考帧。有些论文采用了明确的方法（例如，马尔可夫随机场、光流、可变形卷积、3D卷积）来将相邻帧与特征空间或图像空间中的参考帧对齐，然后使用各种恢复方法来实现最终的去雾结果。在本文中，我们提出了一个渐进的对齐和恢复方法的视频去雾。对准过程在不使用光流估计的情况下逐阶段地对准连续的相邻帧。恢复过程不仅在对齐过程下实现，而且还使用细化网络来提高整个网络的去雾性能。所提出的网络包括四个融合网络和一个细化网络。为了减少网络的参数，在第一级融合中，三个融合网络共享相同的参数。大量的实验表明，所提出的视频去雾方法取得了优异的性能对国家的最先进的方法。
2021-07-16 cs.CV
Spectral Progressive Diffusion for Efficient Image and Video Generation
Stanford University（斯坦福大学）
本文提出了一种频域渐进扩散框架，通过在预训练扩散模型的去噪轨迹中逐步提高分辨率，实现高效的图像和视频生成，同时改进了效率和质量。
2026-08-18 cs.CV
STDiff: Spatio-temporal Diffusion for Continuous Stochastic Video Prediction
本文提出STDiff视频预测模型，通过分解运动与内容信息，结合神经随机微分方程与图像扩散模型自回归生成视频帧，实现了最先进性能及任意高帧率的无监督时间连续预测。
2023-12-11 cs.CV
Deformable VisTR: Spatio temporal deformable attention for video instance segmentation
University at Buffalo（布法罗大学）；OPPO US Research Center, InnoPeak Technology Inc.（OPPO美国研究中心，InnoPeak科技公司）
视频实例分割（VIS）任务需要对视频剪辑中的所有帧上的对象实例进行分类、分割和跟踪。最近，VisTR已被提出作为端到端基于变压器的VIS框架，同时展示了最先进的性能。然而，VisTR在训练期间收敛缓慢，由于其Transformer注意力模块的高计算成本，需要大约1000个GPU小时。为了提高训练效率，我们提出了可变形VisTR，利用时空可变形注意力模块，只关注参考点周围的一小部分固定的关键时空采样点。这使得可变形VisTR能够实现时空特征图大小的线性计算。此外，它可以实现与原始VisTR相当的性能，但GPU训练时间减少了10个$\times$。我们在Youtube-VIS基准上验证了我们方法的有效性。代码可在https://github.com/skrya/DefVIS上获得。
2022-03-12 cs.CV
