Attention based Memory video portrait matting
Nanyang Technological University（南洋理工大学）
提出了一种基于注意力机制的无三重图视频抠像方法。根据问题的性质，大多数现有的方法使用多个计算扩展模块或复杂的算法来充分利用时间信息。我们设计了一个时间聚合模块来计算当前帧和它的前两个帧之间的时间相干性。
2022-03-21 cs.CV cs.LG
Prior-Induced Information Alignment for Image Matting
Dalian University of Technology（大连理工大学）；Winroad Holdings Limited（Winroad控股有限公司）
图像抠图是一个病态问题，其目的是估计图像中前景像素的不透明度。然而，大多数现有的基于深度学习的方法仍然受到粗粒度细节的影响。通常，这些算法不能恰当地区分确定性域（某些FG和BG像素）和不确定性域（不确定的中间像素）之间的探索程度，或者在连续采样过程中不可避免地丢失信息，导致次优结果。在本文中，我们提出了一种新的网络命名为先验诱导信息对齐抠图网络（PIIAMatting），它可以有效地模拟逐像素响应图的区别和逐层特征图的相关性。它主要由动态高斯调制机制（DGM）和信息对齐策略（IA）组成。具体地，DGM可以动态地获取从先验分布学习的逐像素域响应图。响应图可以呈现训练过程中不透明度变化与收敛过程之间的关系。另一方面，IA包括信息匹配模块（IMM）和信息聚合模块（IAM），联合调度以自适应地匹配和聚合相邻的逐层特征。此外，我们还开发了一个多尺度细化（MSR）模块，在细化阶段整合多尺度感受野信息，以恢复波动的外观细节。广泛的定量和定性评估表明，所提出的PIIAMatting表现良好，对国家的最先进的图像抠图方法的Alphamatting.com，组成-1K和Distinctions-646数据集。
2021-06-28 cs.CV
Spatio-Temporal Similarity Volume Aggregation for Open-Vocabulary Action Recognition
Ewha Womans University（成均馆大学）
提出相似性体积聚合（SimVA）框架，通过构建密集的4D时空相似性体积并融合空间聚合、运动感知调制和Mamba时序聚合，保留局部补丁和细粒度时空线索，实现开放词汇动作识别。
2026-11-04 cs.CV
LSTA-Net: Long short-term Spatio-Temporal Aggregation Network for Skeleton-based Action Recognition
Newcastle University（纽卡斯尔大学）；Baidu, Inc.（百度公司）
对各种时空依赖关系进行建模是在骨架序列中识别人类动作的关键。现有的方法过分依赖于遍历规则或图拓扑的设计来绘制动态关节间的依赖关系，这不足以反映距离较远但重要的关节间的关系。此外，由于局部采用的操作，重要的长程时间信息，因此没有很好地探讨在现有的工作。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新的长短期时空聚合网络，它可以有效地捕捉在时空的方式的长/短距离的依赖关系。我们设计我们的模型到一个纯粹的因式分解架构，可以交替执行空间特征聚合和时间特征聚合。为了提高特征聚合的效果，还设计并采用了一种通道级注意力机制。在三个公共基准数据集上进行了广泛的实验，结果表明，我们的方法可以在空间和时间域中捕获长范围和短范围的依赖关系，比其他最先进的方法产生更高的结果。代码可在https://github.com/tailin1009/LSTA-Net获得。
2021-11-01 cs.CV
Explore Spatio-temporal Aggregation for Insubstantial Object Detection: Benchmark Dataset and Baseline
Nanjing University（南京大学）
本文研究非实体目标检测（IOD）任务，构建了包含600个视频的IOD-Video数据集，并提出时空聚合框架与STAloss，利用时空信息显著提升了IOD性能。
2023-08-04 cs.CV
ActionVLAD: Learning spatio-temporal aggregation for action classification
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe研究院）；INRIA（法国国家信息与自动化研究所）
在这项工作中，我们引入了一个新的视频表示的动作分类，聚合本地卷积功能在整个时空范围内的视频。我们通过将最先进的双流网络与可学习的时空特征聚合相结合来做到这一点。由此产生的架构是端到端可训练的全视频分类。我们研究了不同的策略，跨空间和时间的池，并结合来自不同流的信号。我们发现：（i）跨空间和时间联合汇集是重要的，但是（ii）外观和运动流最好被聚合到它们自己的单独表示中。最后，我们表明，我们的表示优于双流基础架构的大幅度（13%相对），以及优于其他基线与HMDB51，UCF101和Charades视频分类基准上的可比基础架构。
2017-04-10 cs.CV
Spatio-Temporal Crop Aggregation for Video Representation Learning
University of Bern（伯尔尼大学）；Adobe Research（奥多比研究）
我们提出了时空作物聚合视频表示学习（SCALE），一种新的方法，在训练和推理时间都具有很高的可扩展性。我们的模型通过从用预训练的骨干提取的视频剪辑级特征集中学习来构建远程视频特征。为了训练模型，我们提出了一个自监督的目标组成的掩蔽剪辑功能预测。我们通过提取一组随机的视频剪辑将稀疏性应用于输入，并通过仅重建稀疏输入将稀疏性应用于损失函数。此外，我们通过在应用于单个视频剪辑的预训练骨干的潜在空间中工作来使用降维。这些技术使我们的方法不仅非常有效的训练，但也非常有效的迁移学习。我们证明了我们的视频表示产生最先进的性能与线性，非线性和KNN探测常见的动作分类和视频理解数据集。
2023-03-13 cs.CV
4D-StOP: Panoptic Segmentation of 4D LiDAR using Spatio-temporal Object Proposal Generation and Aggregation
RWTH Aachen University（亚琛工业大学）；ETH Zurich（苏黎世联邦理工学院）
在这项工作中，我们提出了一种新的范例，称为4D-StOP，以解决4D Panoptic LiDAR分割的任务。4D-StOP首先使用基于投票的中心预测生成时空建议，其中4D体积中的每个点投票对应的中心。这些tracklet建议使用学习的几何特征进一步聚合。轨迹片段聚合方法有效地在整个时空体积上生成视频级4D场景表示。这与使用由高斯概率分布表示的时空嵌入的现有端到端可训练的最先进方法形成对比。与使用高斯概率分布对整个4D体积进行建模相比，我们基于投票的tracklet生成方法以及基于几何特征的聚合生成了显着改善的全景LiDAR分割质量。当应用于SemanticKITTI测试数据集时，4D-StOP达到了新的最先进水平，LSTQ得分为63.9，与当前性能最好的端到端可训练方法相比，这是一个很大的改进（+7%）。代码和预训练模型可在https://github.com/LarsKreuzberg/4D-StOP上获得。
2022-09-29 cs.CV
Spatio-temporal Tubelet Feature Aggregation and Object Linking in Videos
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)（智能技术单一研究中心（CiTIUS））；Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）
本文研究了如何利用视频中的时空信息来提高目标检测精度的问题。我们提出了一个两阶段的对象检测器称为FANet的基础上，短期的时空特征聚合，以提供第一个检测集，和长期的对象链接，以完善这些检测。首先，我们生成一组包含对象在$N$连续帧的短tubelet建议。然后，我们通过tubelet使用时间池化算子聚合ROI池化深度特征，该算子总结了具有独立于输入帧数量的固定大小输出的信息。最重要的是，我们定义了一个双头实现，我们饲料与时空聚合信息的时空对象分类，并从当前帧中提取的空间信息的对象定位和空间分类。此外，我们还专门每个头分支架构，以更好地执行每个任务，同时考虑到输入数据。最后，一个长期的连接方法建立长管使用以前计算的短管，以克服检测误差。我们在广泛使用的ImageNet VID数据集中评估了我们的模型，实现了80.9%的mAP，这是单个模型的最新结果。此外，在具有挑战性的小目标检测数据集USC-GRAD-STDdb中，我们的建议优于单帧基线5.4%mAP。
2020-11-06 cs.CV
Relaxed Spatio-Temporal Deep Feature Aggregation for Real-Fake Expression Prediction
TUBITAK UZAY（土耳其科学技术研究理事会空间技术研究所）；Middle East Technical University（中东技术大学）
帧级视觉特征通常使用LSTM、Fisher Vectors、NetVLAD等技术在时间上聚合，以产生鲁棒的视频级表示。我们在这里介绍了一个可学习的聚合技术，其主要目标是保留帧级功能之间的短时时间结构和它们在表示中的空间相互依赖性。此外，它可以很容易地适应的情况下，有非常稀缺的训练样本。我们在一个真假表情预测数据集上对该方法进行了评估，以证明其优越性。我们的方法在官方MAP评估中的测试数据集上获得了65%的分数，并且在Chalearn Challenge中只有一个错误分类的决策具有最佳报告结果（即66：7%）。最后，我们相信这种方法可以扩展到不同的问题，如动作/事件识别在未来。
2017-08-24 cs.CV
Simple Baseline for Weather Forecasting Using Spatiotemporal Context Aggregation Network
SI Analytics
传统的天气预报依赖于专业知识和计算密集型数值模拟系统。最近，随着数据驱动方法的发展，基于深度学习的天气预报受到关注。基于深度学习的天气预报取得了惊人的进展，从使用CNN、RNN和Transformer的各种骨干研究，到使用带有辅助输入的天气观测数据集的训练策略。所有这些进展都为天气预报领域做出了贡献;然而，深度学习模型的许多元素和复杂结构阻止了我们达到物理解释。本文提出了一个简单的基线与时空上下文聚合网络（SIANet），达到了最先进的W 4C 22的5个基准测试的4个部分。这种简单但有效的结构仅以端到端的方式使用卫星图像和CNN，而不使用多模型集成或微调。SIANet的这种简单性可以作为一个坚实的基线，可以很容易地应用于使用深度学习的天气预报。
2022-12-10 cs.CV
Selective Spatio-Temporal Aggregation Based Pose Refinement System: Towards Understanding Human Activities in Real-World Videos
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；Toyota Motor Europe（丰田汽车欧洲公司）
利用人体姿态数据来理解人类活动已经引起了人们的广泛关注。然而，由于真实世界的未注释视频中的遮挡、截断和低分辨率，最先进的姿态估计器难以获得高质量的2D或3D姿态数据。因此，在这项工作中，我们提出了1）一种选择性时空聚合机制，名为SST-A，它可以细化和平滑由多个专家姿态估计器提取的关键点位置，2）一个有效的弱监督自训练框架，它利用聚合的姿态作为伪地面实况，而不是手工制作的注释来进行真实世界的姿态估计。进行了广泛的实验，不仅评估上游的姿势细化，但也下游的动作识别性能的四个数据集，丰田Smarthome，NTU-RGB+D，字谜，和Kinetics-50。我们证明，我们的姿态优化系统（SSTA-PRS）细化的骨架数据可以有效地提升各种现有的动作识别模型，从而实现具有竞争力或最先进的性能。
2020-11-10 cs.CV
STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation
School of EEE, Nanyang Technological University, Singapore（新加坡南洋理工大学电气与电子工程学院）；Institute for Infocomm Research, A*STAR, Singapore（新加坡资讯通信研究院）；VCIP, CS, Nankai University, Tianjin, China（中国天津南开大学计算机科学学院视觉计算与模式识别实验室）；AAIS, Nankai University, Tianjin, China（中国天津南开大学人工智能学院）；NKIARI, Shenzhen Futian, China（中国深圳福田国家知识创新工程研究院）；Guizhou University, Guizhou, China（中国贵州大学）；Fudan University, Shanghai, China（中国上海复旦大学）
视频推理分割面临高成本问题，现有方法有局限。基于状态空间模型，STAC通过解耦的空间和时间扫描丰富特征，利用冗余进行分层压缩，在零样本流兼容设置下减少令牌、加速并超越基线。
2026-07-07 cs.CV
Beyond Boxes: Mask-Guided Spatio-Temporal Feature Aggregation for Video Object Detection
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
针对视频目标检测中区域建议聚合易受背景干扰的问题，提出FAIM方法，利用实例掩码通过IFEM和TICAM进行时空特征聚合，在ImageNet VID上以33 FPS达到87.9% mAP。
2024-12-06 cs.CV
Diverse Temporal Aggregation and Depthwise Spatiotemporal Factorization for Efficient Video Classification
Electronics and Telecommunications Research Institute (ETRI)（韩国电子通信研究院）
视频分类的研究最近引起了人们的关注是时域建模和三维高效架构的领域。然而，时态建模方法不是有效的，或者3D高效架构对时态建模不太感兴趣。为了弥合两者之间的差距，我们提出了一个有效的时间建模3D架构，称为VoV 3D，它包括一个时间的一次聚合（T-OSA）模块和dependentfactorized组件，D（2+1）D。T-OSA的目的是建立一个特征层次结构，通过聚合不同的时间感受野的时间特征。堆叠这个T-OSA使网络本身能够在没有任何外部模块的情况下跨帧建模短距离和长距离的时间关系。受核因子分解和通道因子分解的启发，我们还设计了一个深度时空因子分解模块，名为D（2+1）D，它将3D深度卷积分解为两个空间和时间深度卷积，使我们的网络更加轻量级和高效。利用提出的时域建模方法（T-OSA）和有效因子分解分量（D（2+1）D），构造了VoV 3D网络模型VoV 3D-M和VoV 3D-L。由于其时间建模的效率和有效性，VoV 3D-L的模型参数减少了6倍，计算量减少了16倍，超过了Something-Something和Kinetics-400上最先进的时间建模方法。此外，VoV 3D显示出比最先进的高效3D架构更好的时间建模能力，X3 D具有相当的模型容量。我们希望VoV 3D可以作为有效视频分类的基准。
2021-04-22 cs.CV
TAN: Temporal Aggregation Network for Dense Multi-label Action Recognition
Institution for Advanced Computer Studies（高级计算机研究所）；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了时间聚合网络（TAN），它将3D卷积分解为空间和时间聚合块。通过重复堆叠空间和时间卷积，TAN形成了用于捕获视频中的时空信息的深度分层表示。由于我们没有在每一层中应用3D卷积，而是在网络中的每个空间下采样层之后仅应用一次时间聚合块，因此我们显着降低了模型复杂度。在网络的不同分辨率下使用扩张卷积有助于有效地聚合多尺度时空信息。实验表明，我们的模型非常适合密集的多标签动作识别，这是一个具有挑战性的子主题的动作识别，需要预测多个动作标签在每帧。我们在Charades和Multi-THUMOS数据集上的表现分别优于最先进的方法5%和3%。
2018-12-14 cs.CV
Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using Transformer Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Heidelberg University（海德堡大学）；Bielefeld UoAS（比勒费尔德应用科学大学）
在这项工作中，我们专注于户外照明估计，通过聚合个人噪声估计图像，利用丰富的图像信息，从广角相机和/或时间图像序列。照片固有地以阴影和阴影的形式编码关于场景照明的信息。光照恢复是一个逆绘制问题，因此是不适定的。基于深度神经网络的最新工作已经显示出用于单图像照明估计的有希望的结果，但是受到鲁棒性的影响。我们解决这个问题，结合照明估计从几个图像视图采样的角度和时间域的图像序列。对于这项任务，我们引入了一个Transformer架构，该架构以端到端的方式进行训练，而不像以前的工作所要求的那样进行任何统计后处理。因此，我们提出了一个位置编码，考虑到相机校准和自我运动估计全局注册的个人估计时，计算视觉词之间的注意。我们表明，我们的方法导致改进的照明估计，同时需要更少的超参数相比，最先进的。
2022-02-18 cs.CV
Spatio-Temporal Action Detection Under Large Motion
ETH Zürich（苏黎世联邦理工学院）
当前的时空动作管检测方法通常将给定关键帧处的限界框提议扩展到3D时间长方体中，并从附近的帧中汇集特征。然而，这样的池未能积累有意义的时空功能，如果演员的位置或形状通过帧显示大的2D运动和变化，由于大的摄像机运动，大演员形状变形，快速演员action等。在这项工作中，我们的目标是研究长方体感知功能聚合在大动作下的动作检测性能。此外，我们建议通过跟踪演员和沿各自的轨道进行时间特征聚合来增强大运动下的演员特征表示。我们定义的演员运动与相交工会（IoU）之间的框的行动管/轨道在各种固定的时间尺度。具有大运动的动作将导致随着时间的推移较低的IoU，并且较慢的动作将保持较高的IoU。我们发现，跟踪感知特征聚合一致地实现了动作检测性能的大幅提高，特别是对于大运动下的动作相比，长方体感知基线。因此，我们还报告了大规模MultiSports数据集的最新技术水平。该守则可在https://github.com/gurkirt/ActionTrackDetectron上查阅。
2022-10-25 cs.CV
Learning Spatial and Spatio-Temporal Pixel Aggregations for Image and Video Denoising
Carnegie Mellon University（卡内基梅隆大学）；University of British Columbia（不列颠哥伦比亚大学）；SenseTime Research（商汤科技研究院）；University of California, Merced（加州大学默塞德分校）
现有的去噪方法通常通过聚合来自噪声输入的像素来恢复清晰的结果。我们建议使用深度神经网络显式地学习这个过程，而不是依赖于手工制作的聚合方案。我们提出了一个空间像素聚合网络，并学习像素采样和平均图像去噪的策略。该模型能很好地适应图像结构，有效地提高去噪效果。此外，我们开发了一个时空像素聚合网络，用于视频去噪，以有效地在时空空间中对像素进行采样。我们的方法能够解决动态场景中大运动所引起的错位问题。此外，我们引入了一个新的正则化项，用于有效地训练所提出的视频去噪模型。我们对所提出的方法进行了广泛的分析，并证明了我们的模型在合成数据和真实数据上对最先进的图像和视频去噪方法表现良好。
2021-01-26 cs.AI cs.CV
Multi-Stage Spatio-Temporal Aggregation Transformer for Video Person Re-identification
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
近年来，Transformer体系结构在基于视频的人物重新识别任务中显示出了其优越性。受视频表示学习的启发，这些方法主要集中在设计模块来提取信息丰富的时空特征。然而，他们仍然是有限的，在提取本地属性和全球身份信息，这是至关重要的人重新识别任务。在本文中，我们提出了一种新的多级时空聚合Transformer（MSTAT）与两个新设计的代理嵌入模块，以解决上述问题。具体地说，MSTAT包括三个阶段，分别对来自视频片段的属性关联信息、身份关联信息和属性身份关联信息进行编码，从而实现对输入人的整体感知。我们结合所有阶段的输出进行最终识别。在实践中，为了节省计算成本，空间-时间聚合（STA）模块首先在每个阶段中采用沿空间和时间维度分别进行自注意操作。我们进一步引入属性感知和身份感知代理嵌入模块（AAP和IAP），以在不同阶段提取信息和判别特征表示。所有这些都是通过使用新设计的具有特定含义的自我注意操作来实现的。此外，时间补丁洗牌也被引入，以进一步提高模型的鲁棒性。大量的实验结果证明了所提出的模块在从视频中提取信息和区分信息方面的有效性，并说明MSTAT可以在各种标准基准上达到最先进的准确性。
2023-01-02 cs.CV
ST-DETR: Spatio-Temporal Object Traces Attention Detection Transformer
Valeo R&D（法雷奥研发中心）
我们提出了ST-DETR，一个基于时空变换器的结构，用于从时间帧序列中检测目标检测。我们将时间帧视为空间和时间上的序列，并采用完整的注意力机制来利用两个维度上的特征相关性。这种处理使我们能够处理帧序列作为时间对象特征在空间中的每个位置上的轨迹。我们探讨了两种可能的方法，早期的空间特征聚集的时间维度，和后期的对象查询空间特征的时间聚集。此外，我们提出了一种新的时间位置嵌入技术来编码的时间序列信息。为了评估我们的方法，我们选择了移动目标检测（MOD）任务，因为它是一个完美的候选人，以展示时间维度的重要性。结果显示，在KITTI MOD数据集上，1步空间基线的mAP显著改善了5%。
2021-07-24 cs.CV
Autoregressive Queries for Adaptive Tracking with Spatio-TemporalTransformers
Guangxi Normal University（广西师范大学）；Wuzhou University（梧州学院）；Harbin Institute of Technology（哈尔滨工业大学）；Xiamen University（厦门大学）
提出AQATrack，利用自回归查询和时空变换器有效融合时空信息，无需大量手工组件，在六个主流跟踪基准上显著提升性能。
2024-03-15 cs.CV
Hierarchical Feature Aggregation Networks for Video Action Recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Computer Vision Center（计算机视觉中心）；University of Barcelona（巴塞罗那大学）
大多数动作识别方法基于a）使用平均池化、最大池化或RNN等的帧级CNN特征的后期聚合，或b）经由3D卷积的时空聚合。第一个假设帧之间的独立性达到一定程度的抽象，然后执行更高级别的聚合，而第二个提取的时空特征分组帧作为早期融合。在本文中，我们探索这两者之间的空间，让相邻的功能分支相互作用，因为它们发展到更高层次的表示。在层次结构的每个级别上，特征差异和平均之间发生相互作用，并且它具有卷积结构，该结构学习在本地选择适当的模式，而不是以前的作品，这些作品将全局模式之一（例如特征差异）作为设计选择。我们进一步将这种相互作用约束为保守的，例如，一个分支中的局部特征减法通过另一个分支上的加法来补偿，从而保留总特征流。我们评估了我们的建议在一些现有的模型，即TSN，TRN和ECO的性能，以显示其灵活性和有效性，在提高动作识别性能。
2019-05-29 cs.CV
Spatio-Temporal Learnable Proposals for End-to-End Video Object Detection
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
本文提出了一种新的思想，通过利用视频目标检测的时间信息生成对象的建议。现代基于区域的视频对象检测器中的特征聚合严重依赖于从单帧RPN生成的学习建议。这迫切需要引入额外的组件，如NMS，并在低质量帧上产生不可靠的建议。为了解决这些限制，我们提出了SparseVOD，这是一种新颖的视频目标检测流水线，它采用稀疏R-CNN来利用时间信息。特别地，我们在Sparse R-CNN的动态头中引入了两个模块。首先，在时域RoI对齐操作的基础上增加时域特征提取模块，提取RoI提案特征。其次，出于序列级语义聚合的动机，我们将注意力引导的语义建议特征聚合模块，以增强检测前的对象特征表示。所提出的SparseVOD有效地减少了复杂的后处理方法的开销，并使整个管道端到端可训练。大量的实验表明，我们的方法在mAP中将单帧稀疏RCNN显著提高了8%-9%。此外，除了在具有ResNet-50主干的ImageNet VID数据集上实现最先进的80.3% mAP之外，我们的SparseVOD在增加IoU阈值（IoU > 0.5）方面明显优于现有的基于提议的方法。
2022-10-07 cs.CV
STA-TFM: Spatio-Temporal Aggregation Across Views TransForMer for Pose Estimation
Sanofi Digital R&D（赛诺菲数字研发）
提出STA-TFM，一种基于Transformer的多视角姿态估计架构，结合单目特征提取器与融合Transformer，并利用数据生成流程，在多个数据集上显著降低姿态误差，且能处理噪声和缺失输入。
2026-09-22 cs.CV
DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection
Tianjin University（天津大学）；Key Laboratory of Artificial Intelligence, Ministry of Education（教育部人工智能重点实验室）
由于视频中的运动目标往往会引起人眼的注意，因此通常会利用时间运动信息和空间运动信息来检测视频中的显著目标。虽然有效的工具，如光流已被提出来提取时间运动信息，它经常遇到困难时，用于显著性检测由于摄像机的运动或显著对象的部分运动。在本文中，我们调查的互补作用的空间和时间的信息，并提出了一种新的动态时空网络（DS-Net）更有效地融合时空信息。我们构造了一个对称的双旁路网络来明确地提取空间和时间特征。设计了一个动态权值生成器（DWG），用于自动学习相应显著性分支的可靠性。设计了一种自顶向下的交叉注意聚合过程，以实现时空特征的动态互补聚合。最后，在粗显著图的指导下，通过空间注意力对特征进行修改，然后经过解码器部分得到最终的显著图。在VOS、DAVIS、FBMS、SegTrack-v2和ViSal五个基准测试上的实验结果表明，该方法比现有算法具有更好的性能。源代码可在https://github.com/TJUMMG/DS-Net上获得。
2022-03-22 cs.CV
Object-aware Aggregation with Bidirectional Temporal Graph for Video Captioning
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
视频描述旨在自动生成视频内容的自然语言描述，近年来引起了广泛的关注。生成精确、细粒度的字幕不仅需要理解视频的全局内容，还需要捕捉对象的详细信息。同时，视频的表示方法对生成的字幕质量有很大的影响。因此，对于视频描述来说，重要的是捕获具有其详细时间动态的显著对象，并且使用有区别的时空表示来表示它们。在本文中，我们提出了一种新的视频描述方法的基础上，对象感知聚合与双向时间图（OA-BTG），捕捉详细的时间动态视频中的显着对象，并学习歧视性的时空表示通过执行对象感知的局部特征聚合检测到的对象区域。主要创新点和优点是：（1）双向时间图：沿着时间顺序构造和扩展双向时间图，这提供了捕获每个显著对象的时间轨迹的互补方式。(2)对象感知聚合：基于对象的时间轨迹和全局帧序列构建可学习的VLAD模型，进行对象感知的聚合以学习判别表示。为了区分多个对象的不同贡献，本文还提出了一种层次化的注意力机制。在两个广泛使用的数据集上的实验表明，我们的OA-BTG在BLEU@4，METEOR和CIDER指标方面达到了最先进的性能。
2019-06-11 cs.CV
Target Adaptive Context Aggregation for Video Scene Graph Generation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Tencent AI Lab（腾讯AI实验室）
本文讨论了一个具有挑战性的任务，视频场景图生成（VidSGG），它可以作为一个结构化的视频表示高层次的理解任务。我们提出了一个新的{ \em检测到跟踪}范式，通过解耦的上下文建模的关系预测从复杂的低层次实体跟踪。具体来说，我们设计了一个有效的方法帧级VidSGG，称为{ \em目标自适应上下文聚合网络}（TRACE），重点是捕捉时空上下文信息的关系识别。我们的TRACE框架简化了VidSGG管道与模块化设计，并提出了两个独特的块层次关系树（HRTree）的建设和目标自适应上下文聚合。更具体地说，我们的HRTree首先提供了一个自适应结构，有效地组织可能的关系候选人，并指导上下文聚合模块，以有效地捕捉时空结构信息。然后，我们获得一个上下文的特征表示为每个关系候选人，并建立一个分类头来识别其关系类别。最后，我们提供了一个简单的时间关联策略来跟踪TRACE检测结果，以产生视频级的VidSGG。我们在两个VidSGG基准测试：ImageNet-VidVRD和Action Genome上进行了实验，结果表明我们的TRACE达到了最先进的性能。代码和型号可在\url{https://github.com/MCG-NJU/TRACE}上获得。
2021-08-18 cs.CV
SelectOccFlow: Selective Spatiotemporal Aggregation for 3D Occupancy and Scene Flow Prediction
Hunan University（湖南大学）；National Engineering Research Center of Robot Visual Perception and Control Technology（国家机器人视觉感知与控制技术工程研究中心）
提出SelectOccFlow，通过语义引导采样、状态条件时间聚合和范围感知空间聚合，选择性细化图像、时间与体素域证据，提升相机占据与场景流预测的鲁棒性，在OpenOcc上达到SOTA OccScore 44.9。
2026-10-06 cs.CV cs.RO
MTGA: Multi-View Temporal Granularity Aligned Aggregation for Event-Based Lip-Reading
Wuhan University（武汉大学）；City, University of London（伦敦城市大学）
针对事件唇语识别中事件帧聚合导致细粒度时间信息丢失的问题，提出MTGA框架，通过时间分段体素图列表、时间粒度对齐的时空融合模块及带位置编码的时间聚合模块，有效提升识别性能并优于现有事件和视频方法。
2025-01-31 cs.CV
STRNet: Visual Navigation with Spatio-Temporal Representation through Dynamic Graph Aggregation
Sun Yat-sen University（中山大学）；Insta360 Research（Insta360 研究院）；Wuhan University（武汉大学）
本文提出一种统一的时空表示框架，通过融合图像序列和目标观测，提升机器人导航的视觉编码能力，改进导航性能并提供通用的视觉骨干网络。
2026-04-03 cs.CV cs.RO
Flow-Attention-based Spatio-Temporal Aggregation Network for 3D Mask Detection
Tsinghua University（清华大学）；ShanghaiTech University（上海科技大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
提出FASTEN框架，通过面部光流网络、流注意力和时空聚合模块，仅需五帧输入即可快速捕捉3D面具拼接痕迹，在多项指标上优于现有方法并已部署于移动设备。
2023-10-25 cs.CR cs.CV
Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；KAUST（阿卜杜拉国王科技大学）；Stanford University（斯坦福大学）
更好地理解行人行为的机器可以更快地建模智能体（如自动驾驶汽车和人类）之间的交互。行人的轨迹不仅受行人本身的影响，还受与周围物体的相互作用的影响。以前的方法通过使用各种聚合方法来模拟这些交互，这些聚合方法集成了不同的学习行人状态。我们提出了社会时空图卷积神经网络（Social-STGCNN），它通过将交互建模为图来替代聚合方法的需要。我们的研究结果表明，最后的位移误差（FDE）和平均位移误差（ADE）的改进，与以前报道的方法相比，参数减少了8.5倍，推理速度快了48倍。此外，我们的模型是数据高效的，并且在ADE度量上超过了先前的最新技术水平，只有20%的训练数据。我们提出了一个核函数嵌入的邻接矩阵内的行人之间的社会互动。通过定性分析，我们表明，我们的模型继承了行人轨迹之间可以预期的社会行为。代码可在https://github.com/abduallahmohamed/Social-STGCNN上获得。
2020-03-24 cs.CV
Skeleton-based Action Recognition via Temporal-Channel Aggregation
基于骨架的动作识别方法受到时空骨架图语义提取的限制。然而，目前的方法有困难，有效地结合从时间和空间图形维度的功能，往往是厚的一边和薄的其他。在本文中，我们提出了一个时间-通道聚合图卷积网络（TCA-GCN），学习空间和时间的拓扑结构动态和有效地聚合拓扑特征在不同的时间和通道维度的动作识别。我们使用时间聚合模块来学习时间维度特征和通道聚合模块来有效地将空间动态通道拓扑特征与时间动态拓扑特征相结合。此外，我们提取多尺度的骨骼特征的时间建模和融合他们的注意力机制。大量的实验表明，我们的模型结果优于NTU RGB+D，NTU RGB+D 120和NW-UCLA数据集上的最先进的方法。
2022-08-08 cs.CV
Object Detection in Video with Spatial-temporal Context Aggregation
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics Inc.（地平线机器人公司）
用于视频目标检测的最新前沿特征聚合范例依赖于推断特征对应性。由于图像质量差、运动模糊等，特征对应估计问题从根本上是困难的，并且特征对应估计的结果是不稳定的。为了避免这个问题，我们提出了一个简单而有效的功能聚合框架，它在对象提议级别上运行。它通过对一个帧内和相邻帧之间的对象建议之间的语义和时空关系建模来学习增强每个建议的功能。在ImageNet VID数据集上进行了实验。在没有任何额外功能的情况下，我们的方法在ImageNet VID数据集上获得了80.3\%的mAP，这优于以前的最先进技术。所提出的特征聚合机制将单帧Faster RCNN基线提高了5.8% mAP。此外，在没有时间后处理的设置下，我们的方法比以前的最先进的1.4%mAP。
2019-07-11 cs.CV
Multi-Granularity Reference-Aided Attentive Feature Aggregation for Video-based Person Re-identification
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
基于视频的人物重新识别（reID）旨在跨视频片段匹配同一个人。这是一个具有挑战性的任务，由于帧之间的冗余，新发现的外观，遮挡和运动模糊的存在。在本文中，我们提出了一个专注的特征聚合模块，即多粒度参考辅助专注特征聚合（MG-RAFA），巧妙地聚合时空特征到一个有区别的视频级特征表示。为了确定时空特征节点的贡献/重要性，我们建议使用卷积操作从全局视图学习注意力。具体来说，我们将其关系堆叠，即，相对于表示全局视频信息的参考特征节点（S-RFN）的代表性集合的成对相关，连同特征本身一起来推断注意力。此外，为了利用不同层次的语义，我们提出了学习多粒度的注意力的基础上，在不同的粒度捕获的关系。广泛的消融研究证明了我们的专注功能聚合模块MG-RAFA的有效性。我们的框架在三个基准数据集上实现了最先进的性能。
2020-03-27 cs.CV
STANet: A Novel Spatio-Temporal Aggregation Network for Depression Classification with Small and Unbalanced FMRI Data
Shanghai Maritime University（上海海事大学）；Xuzhou Medical University（徐州医科大学）；The Hong Kong Polytechnic University（香港理工大学）
针对小样本不平衡 fMRI 数据的抑郁症分类问题，提出整合 CNN 和 RNN 的时空聚合网络 STANet，通过 ICA 聚合时空信息、SMOTE 平衡数据及 AFGRU 分类器，实现 82.38%准确率和 90.72% AUC，性能优于传统及功能连接类分类器。
2024-11-28 cs.CV eess.IV
Augmented 2D-TAN: A Two-stage Approach for Human-centric Spatio-Temporal Video Grounding
Sun Yat-sen University（中山大学）；Meituan（美团）
提出了一种有效的两阶段方法来解决基于语言的以人为中心的时空视频接地（HC-STVG）任务的问题。在第一阶段，我们提出了一个增强的二维时间相邻网络（增强2D-TAN）的时间接地对应于给定的描述的目标时刻。首先，我们从两个方面改进了原始的2D-TAN：首先，开发了一个时间上下文感知的Bi-LSTM聚合模块来聚合剪辑级表示，取代了原始的max-pooling。其次，我们建议在训练阶段采用随机级联增强（RCA）机制。在第二阶段，我们使用预训练的MDETR模型通过语言查询生成每帧的边界框，并设计一组手工制作的规则来选择最佳匹配的限界框输出MDETR为每帧内的接地时刻。
2022-05-05 cs.CV
Generating Masks from Boxes by Mining Spatio-Temporal Consistencies in Videos
ETH Zurich（苏黎世联邦理工学院）
分割视频中的对象是一项基本的计算机视觉任务。当前基于深度学习的范式提供了一个强大但数据饥渴的解决方案。然而，当前的数据集受到在视频中注释对象遮罩的成本和人力的限制。这有效地限制了现有视频分割方法的性能和泛化能力。为了解决这个问题，我们探索较弱形式的限界框注释。我们介绍了一种从视频中的每帧限界框注释生成分割掩模的方法。为此，我们提出了一个时空聚合模块，有效地挖掘在多帧的对象和背景的外观。我们使用我们得到的精确掩码进行视频对象分割（VOS）网络的弱监督训练。我们只使用大规模跟踪数据集的限界框注释来生成分割掩码。额外的数据提供了更好的泛化性能，从而在VOS和更具挑战性的跟踪域中产生最先进的结果。
2021-01-06 cs.CV
Hi-GaTA: Hierarchical Gated Temporal Aggregation Adapter for Surgical Video Report Generation
School of Engineering, College of Engineering and Physical Sciences, University of Birmingham, Birmingham, UK（英国伯明翰大学工程学院）；School of Computer Science, University of Birmingham, Birmingham, UK（英国伯明翰大学计算机科学学院）；Department of Applied Health Sciences, University of Birmingham, Birmingham, UK（英国伯明翰大学应用健康科学系）
本文提出Hi-GaTA框架，通过时间聚合压缩长视频序列生成LLM兼容的视觉前缀令牌，结合预训练的外科专用视频编码器和LoRA微调，实现高质量外科报告生成。
2026-05-16 cs.CV
Video-Based Human Pose Regression via Decoupled Space-Time Aggregation
Zhejiang Gongshang University（浙江工商大学）
本文提出解耦时空聚合网络DSTA，通过分别建模相邻关节空间依赖和单关节时间轨迹，实现高效视频人体姿态回归，在PoseTrack2017上提升8.9 mAP并达到领先水平。
2024-04-01 cs.CV
Surgical Skill Assessment via Video Semantic Aggregation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Dalian University of Technology（大连理工大学）；AIST（产业技术综合研究所）
基于视频的手术技能自动评估是一项很有前途的任务，可以帮助年轻的外科实习生，特别是在资源匮乏的地区。现有的工作通常采用CNN-LSTM联合框架，该框架通过LSTM对空间汇集的短期CNN特征进行长期关系建模。然而，这种做法将不可避免地忽略了语义概念之间的差异，如工具，组织和背景的空间维度，阻碍了后续的时间关系建模。在本文中，我们提出了一种新的技能评估框架，视频语义聚合（ViSA），发现不同的语义部分，并将它们聚集在时空维度。语义部分的显式发现提供了一个解释性的可视化，有助于理解神经网络的决策。它还使我们能够进一步纳入辅助信息，如运动学数据，以提高表示学习和性能。在两个数据集上的实验表明，与最先进的方法相比，ViSA具有竞争力。源代码可在bit.ly/MICCAI2022ViSA上获得。
2022-08-04 cs.CV
LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention
Beijing Institute of Technology（北京理工大学）；Baidu Research（百度研究院）；Inception Institute of Artificial Intelligence（人工智能起源研究所）；National Engineering Laboratory of Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）；University of Kentucky（肯塔基大学）
现有的基于LiDAR的三维目标检测器通常只关注单帧点云的检测，而忽略了连续帧点云中的时空信息。在本文中，我们提出了一个端到端的在线3D视频对象检测器，点云序列上操作。所提出的模型包括一个空间特征编码组件和时空特征聚合组件。在前一部分中，提出了一种新的柱消息传递网络（PMPNet）编码每个离散点云帧。它通过迭代消息传递自适应地从相邻节点中收集信息，有效地扩大了柱特征的接收域。在后一个组件中，我们提出了一个有注意力的时空Transformer GRU（AST-GRU）聚合的时空信息，这增强了传统的ConvGRU与注意力的记忆门控机制。AST-GRU包含空间Transformer Attention（STA）模块和时间Transformer Attention（TTA）模块，分别用于强调前景对象和对齐动态对象。实验结果表明，所提出的3D视频对象检测器达到了最先进的性能上的大规模nuScenes基准。
2020-04-03 cs.CV
TRAT: Tracking by Attention Using Spatio-Temporal Features
Eskisehir Technical University（埃斯基谢希尔技术大学）；Eskisehir Osmangazi University（埃斯基谢希尔奥斯曼加齐大学）；Technical University of Munich（慕尼黑工业大学）
鲁棒的对象跟踪需要跟踪对象的外观，运动及其随时间的演变的知识。虽然运动提供了独特的和互补的信息，特别是快速移动的目标，大多数最近的跟踪架构主要集中在对象的外观信息。在本文中，我们提出了一个双流深度神经网络跟踪器，同时使用空间和时间特征。我们的架构是在ATOM跟踪器上开发的，包含两个主干：（i）用于捕获外观特征的2D-CNN网络和（ii）用于捕获运动特征的3D-CNN网络。然后将两个网络返回的特征与基于注意力的特征聚合模块（FAM）融合。由于整个架构是统一的，因此可以进行端到端的训练。实验结果表明，所提出的跟踪器TRAT（注意跟踪）达到最先进的性能在大多数的基准测试，它显着优于基线ATOM跟踪器。
2020-11-18 cs.CV
Geometry-Aware Spatio-Temporal Context Modeling for 4D Occupancy Forecasting
South China University of Technology（华南理工大学）；Institute of Optics and Electronics, CAS（中国科学院光电技术研究所）
针对4D占用预测现有方法的几何失真与时间一致性问题，提出GAST方法，经Occ3D-nuScenes实验较SOTA实现mIoU、IoU提升及加速，长期预测性能强。
2026-08-18 cs.CV
TEA: Temporal Excitation and Aggregation for Action Recognition
Tencent（腾讯）；Nanjing University（南京大学）；Southern University of Science and Technology（南方科技大学）
时间建模是视频中动作识别的关键。它通常既考虑短程运动，也考虑长程聚集。在本文中，我们提出了一个时间激励和聚合（TEA）块，包括一个运动激励（ME）模块和一个多时间聚合（MTA）模块，专门设计用于捕获短期和长期的时间演变。具体地，对于短程运动建模，ME模块从时空特征计算特征级时间差异。然后，它利用差异来激发特征的运动敏感通道。在以往的工作中，长距离的时间聚合通常是通过堆叠大量的本地时间卷积来实现的。每个卷积每次处理一个局部时间窗口。相比之下，MTA模块提出将局部卷积变形为一组子卷积，形成分层残差架构。在不引入额外参数的情况下，特征将通过一系列子卷积进行处理，并且每个帧可以完成具有邻域的多个时间聚合。最终的等效感受野的时间维度相应地扩大，这是能够建模的远程时间关系在遥远的帧。TEA块的两个分量在时间建模中是互补的。最后，我们的方法在几个动作识别基准测试中取得了令人印象深刻的结果，如Kinetics，Something-Something，HMDB 51和UCF 101，这证实了它的有效性和效率。
2020-04-03 cs.CV
RAZER: Robust Accelerated Zero-Shot 3D Open-Vocabulary Panoptic Reconstruction with Spatio-Temporal Aggregation
Control/Robotics Research Laboratory (CRRL), Department of Electrical and Computer Engineering, NYU Tandon School of Engineering（控制/机器人研究实验室（CRRL），电气与计算机工程系，纽约大学Tandon工程学院）
针对现有3D语义建图系统缺乏在线开放词汇构建能力的问题，本文提出无需训练的RAZER框架，通过分层物体关联引导的在线实例级语义嵌入融合，整合GPU加速几何重建与开放词汇视觉语言模型，实现鲁棒实时的3D场景理解，支持多种下游任务。
2025-05-21 cs.CV cs.RO
ATLASFusion: Aggregation Tracking with Location-Aware Sparse Fusion for Robust Spatio-Temporal Multi-View Pedestrian Tracking
Meijo University（名古屋大学）；Chubu Electric Power Co., Inc.（Chubu电力公司）
本文提出ATLASFusion框架，通过稀疏透视变换、密度感知加权聚合等技术解决多视角行人跟踪的特征畸变问题，在基准测试中提升精度与鲁棒性，且计算开销极小。
2026-08-11 cs.AI cs.CV
STARFormer: A Novel Spatio-Temporal Aggregation Reorganization Transformer of FMRI for Brain Disorder Diagnosis
Laboratory of Digital Image and Intelligent Computation, College of Information Engineering, Shanghai Maritime University（数字图像与智能计算实验室，信息工程学院，上海 Maritime 大学）；Department of Chinese and Bilingual Studies, The Hong Kong Polytechnic University（中英双语研究部，香港理工大学）；Department of Neurology, Affiliated Lianyungang Hospital of Xuzhou Medical University（神经科，徐州医学院附属连云港医院）
针对 fMRI 脑疾病分类忽略时空依赖的问题，提出 STARFormer，通过 ROI 空间重组、时间特征重组和时空融合三个模块，在 ASD 和 ADHD 数据集上达到最先进性能。
2025-08-07 cs.CV cs.LG eess.IV
MICACL: Multi-Instance Category-Aware Contrastive Learning for Long-Tailed Dynamic Facial Expression Recognition
University of Science and Technology of China（科学技术大学）；Hefei University of Technology（合肥工业大学）；IAI, Hefei Comprehensive National Science Center（IAI合肥国家科学中心）
MICACL通过整合时空依赖建模和长尾对比学习优化，提升动态面部表情识别的鲁棒性和泛化能力。
2025-09-04 cs.CV
SpatioTemporal Difference Network for Video Depth Super-Resolution
针对视频深度超分辨率存在的空间非平滑区域和时间变化区域长尾分布问题，提出包含空间差分分支和时间差分分支的STDNet，在多个数据集上性能优于现有方法。
2025-11-11 cs.CV
A Spatio-Temporal Attention-Based Method for Detecting Student Classroom Behaviors
Jinan University（暨南大学）；Chengdu University（成都大学）；Chengdu Neusoft University（成都东软学院）
针对学生课堂行为检测准确率低及数据长尾问题，提出融合 SlowFast 与时空注意力模块、采用改进 focal loss 的 BDSTA 方法，在 STSCB 数据集上较 SlowFast 平均准确率提升 8.94%。
2024-09-09 cs.CV
DiffST: Spatiotemporal-Aware Diffusion for Real-World Space-Time Video Super-Resolution
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Duke University（杜克大学）；Huawei Consumer Business Group（华为消费者业务集团）
DiffST提出一种高效时空感知视频扩散框架，通过跨帧上下文聚合和视频表示引导提升时空信息利用，实现高效实时世界时空视频超分辨率。
2026-05-13 cs.CV
Hierarchical Spatio-Temporal Representation Learning for Gait Recognition
Hebei Agricultural University（河北农业大学）
针对现有步态识别方法忽略局部运动分层依赖的问题，提出分层时空表示学习框架，通过分层聚类、多尺度运动提取与时序聚合实现从粗到细的特征提取，在多个数据集上取得优于现有最优方法的性能，且兼顾精度与复杂度。
2023-07-19 cs.CV
