ActionVLAD: Learning spatio-temporal aggregation for action classification
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(Adobe研究院);INRIA(法国国家信息与自动化研究所)
在这项工作中,我们引入了一个新的视频表示的动作分类,聚合本地卷积功能在整个时空范围内的视频。我们通过将最先进的双流网络与可学习的时空特征聚合相结合来做到这一点。由此产生的架构是端到端可训练的全视频分类。我们研究了不同的策略,跨空间和时间的池,并结合来自不同流的信号。我们发现:(i)跨空间和时间联合汇集是重要的,但是(ii)外观和运动流最好被聚合到它们自己的单独表示中。最后,我们表明,我们的表示优于双流基础架构的大幅度(13%相对),以及优于其他基线与HMDB51,UCF101和Charades视频分类基准上的可比基础架构。
2017-04-10 cs.CV
Fully-Coupled Two-Stream Spatiotemporal Networks for Extremely Low Resolution Action Recognition
Indiana University, Bloomington(印第安纳大学伯明顿分校);University of Central Florida(中佛罗里达大学);Midea Corporate Research Center(美的企业研究中心)
随着摄像头和计算机视觉越来越多地融入我们的日常生活,包括家庭内的智能设备,一个新出现的主要挑战是如何保护人们的隐私。一个潜在的解决方案是捕获和记录执行感兴趣的任务所需的最少量的信息。在本文中,我们提出了一个完全耦合的双流时空架构,用于在极低分辨率(例如,12x16像素)视频。我们提供了一个有效的方法来提取空间和时间特征,并将它们聚合成一个强大的功能表示整个动作视频序列。我们还考虑如何在训练过程中纳入高分辨率视频,以便构建更好的低分辨率动作识别模型。我们对两个公开的数据集进行了评估,显示出对最先进技术的显着改进。
2018-01-11 cs.CV
Spatiotemporal Residual Networks for Video Action Recognition
Graz University of Technology(格拉茨技术大学);York University(约克大学)
双流卷积网络(ConvNets)在视频中的人类动作识别方面表现出了强大的性能。最近,残差网络(ResNets)作为一种新技术出现,用于训练极深的体系结构。在本文中,我们将时空ResNets作为这两种方法的组合。我们的新架构通过两种方式引入残差连接,将ResNets推广到时空域。首先,我们注入残余连接的外观和运动路径的双流架构,使两个流之间的时空交互。其次,我们将预训练的图像ConvNets转换为时空网络,方法是为这些网络配备可学习的卷积滤波器,这些卷积滤波器被初始化为时间残差连接,并在时间上对相邻的特征图进行操作。这种方法随着模型深度的增加而缓慢增加时空感受野,并自然地集成了图像ConvNet设计原则。整个模型是端到端训练的,允许对复杂的时空特征进行分层学习。我们使用两个广泛使用的动作识别基准来评估我们的新时空ResNet,它超过了以前的最先进水平。
2016-11-07 cs.CV
Cloud Removal in Satellite Images Using Spatiotemporal Generative Networks
Stanford University(斯坦福大学)
卫星图像为持续的环境监测和地球观测带来了巨大的希望。然而,云层造成的遮挡会严重限制覆盖范围,使地面信息抽取更加困难。现有的管道通常使用简单的时间合成和手工制作的过滤器来执行云去除。相比之下,我们将云去除的问题作为一个有条件的图像合成挑战,我们提出了一个可训练的时空生成器网络(STGAN)来去除云。我们训练我们的模型,我们构建了一个新的大规模时空数据集,包含97640图像对覆盖所有大陆。我们通过实验证明,所提出的STGAN模型优于标准模型,可以在各种大气条件下生成具有高PSNR和SSIM值的逼真无云图像,从而提高了土地覆盖分类等下游任务的性能。
2019-12-14 cs.CV
StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video Sequences
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Xiaohongshu Inc.(小红书公司);Minieye Inc.(佑驾创新公司)
针对多帧光流估计中递归计算冗余问题,提出流线型批内多帧框架StreamFlow,结合ISC时空建模与GTR时序回归,在KITTI和Sintel上提升遮挡区域性能并将速度提高63.82%。
2023-11-28 cs.AI cs.CV
SpaTime: Streaming Vision-Language Models for Spatio-temporal Reasoning
Purdue University(普渡大学);Goertek Alpha Labs(歌尔阿尔法实验室)
SpaTime是一种流式视觉语言模型,通过融合因果几何标记实现时空推理,并采用响应时间损失优化回答时机,在StreamVSTI-Bench上准确率达49.2%,响应时间误差降低66%。
2026-10-07 cs.CV
DTSGAN: Learning Dynamic Textures via Spatiotemporal Generative Adversarial Network
University of California San Diego(加州大学圣迭戈分校);Georgia Institute of Technology(佐治亚理工学院);Northeastern University(东北大学);Northern Arizona University(北亚利桑那大学)
提出时空生成对抗网络DTSGAN,通过捕捉运动与内容分布从单一动态纹理学习,并采用多尺度生成与数据更新策略避免模式崩溃,实现了高质量动态纹理与自然运动的生成。
2024-12-22 cs.CV
VidCEP: Complex Event Processing Framework to Detect Spatiotemporal Patterns in Video Streams
National University of Ireland Galway(爱尔兰国立高威大学)
视频数据是高度表达性的,传统上机器很难解释。由于视频流的非结构化表示,从视频流中查询事件模式具有挑战性。诸如复杂事件处理(CEP)之类的中间件系统从数据流中挖掘模式,并及时向用户发送通知。当前CEP系统由于其非结构化数据模型和缺乏表达性查询语言而对查询视频流具有固有的限制。在这项工作中,我们专注于CEP框架,用户可以定义高层次的表达查询视频检测的时空事件模式的范围。在此背景下,我们提出:i)VidCEP,一种用于视频流的内存中、动态、近实时复杂事件匹配框架。该系统使用基于图形的事件表示的视频流,这使得能够使用级联的深度神经网络模型从视频中检测高级语义概念,ii)视频事件查询语言(VEQL),以表达CEP中的视频流的高级用户查询,iii)复杂的事件匹配器,以通过在视频数据上匹配表达性用户查询来检测时空视频事件模式。所提出的方法检测时空视频事件模式的F分数范围从0.66到0.89。VidCEP保持接近实时的性能,平均吞吐量为每秒70帧,5个并行视频,匹配延迟为亚秒级。
2020-07-15 cs.CV cs.DB cs.MM
Dynamic Spatio-temporal Graph-based CNNs for Traffic Prediction
Alibaba Damo Academy, Alibaba Group(阿里巴巴集团阿里巴巴达摩院);Alibaba Cloud, Alibaba Group(阿里巴巴集团阿里云)
由于交通流时空结构的复杂性和动态性,预测未来交通流是一个具有挑战性的问题。大多数现有的基于图的CNN试图捕捉静态关系,而在很大程度上忽略了序列数据背后的动态。在本文中,我们提出了动态时空图为基础的CNN(DST-GCNN)通过学习表达功能来表示时空结构和预测未来的交通流量从监控视频数据。特别地,DST-GCNN是双流网络。在流量预测流中,我们提出了一种新的基于图形的时空卷积层,从流量的图形表示中提取特征。然后将几个这样的层堆叠在一起,以预测未来随时间的流量。同时,图中的交通流之间的关系往往是时变的,因为交通状况随时间变化。为了捕获图的动态性,我们使用图预测流来预测动态图结构,并且预测的结构被馈送到流预测流中。在真实数据集上的实验表明,与其他最先进的方法相比,该模型具有竞争力的性能。
2020-03-05 cs.CV
Spatio-temporal neural distance fields for conditional generative modeling of the heart
Technical University of Denmark(丹麦技术大学);DTU Compute(DTU计算中心);KardioMe;Rigshospitalet(哥本哈根 Rigshospitalet 医院);Zealand University Hospital(西兰大学医院);Universitat Pompeu Fabra(庞培法布拉大学);Physense
针对现有心脏时空建模方法的局限,提出基于自动解码器的时空神经距离场条件生成模型,解耦个体与临床人口统计变异,在左心房序列补全上性能更优,可支撑多种临床相关应用。
2024-07-15 cs.AI cs.CV
Generative modeling of spatio-temporal weather patterns with extreme event conditioning
University of Warwick(华威大学);TUM(慕尼黑工业大学);LSE(伦敦政治经济学院);DLR(德国航空航天中心)
深度生成模型越来越多地用于获得地理空间数据领域的见解,例如,for climate气候data数据.然而,大多数现有的方法与时间快照或假设1D时间序列,很少有能够同时捕获时空过程。除此之外,地球系统的数据往往表现出高度不规则和复杂的模式,例如由极端天气事件造成的。由于气候变化,这些现象只会越来越频繁。在这里,我们提出了一种新的基于GAN的方法,用于生成以检测到的极端事件为条件的时空天气模式。我们的方法增强了GAN生成器和编码的极端天气事件分割掩模。这些分割掩码可以使用现有的事件检测框架从原始输入创建。因此,我们的方法是高度模块化的,可以与自定义GAN架构相结合。我们强调我们提出的方法在实验中与现实世界的地面辐射和纬向风数据的适用性。
2021-04-26 cs.AI cs.CV cs.LG
Generative Spatiotemporal Data Augmentation
University of Chicago(芝加哥大学);University of Michigan, Ann Arbor(安娜堡大学);DEVCOM Army Research Laboratory(陆军研究实验室)
本文提出利用视频扩散模型生成时空数据以增强模型性能,尤其在数据稀缺情况下提升模型表现。
2026-10-20 cs.CV cs.LG
A Spatio-Temporal based Frame Indexing Algorithm for QoS Improvement in Live Low-Motion Video Streaming
Ahmadu Bello University(阿赫马杜·贝洛大学)
本文提出一种基于时空帧索引的算法,在传输前检测并消除低运动视频帧内与帧间冗余,在缓冲区大小和压缩率上取得提升,但帧构建时间有所增加。
2024-04-30 cs.CV
UniTS: Unified Spatio-Temporal Generative Model for Remote Sensing
Jockey Club STEM Laboratory of Quantitative Remote Sensing(裘英俊STEM实验室(定量遥感));Department of Geography, the University of Hong Kong(香港大学地理系);School of Information and Electronics, Beijing Institute of Technology(北京理工大学信息电子学院);Beijing Key Laboratory of Fractional Signals and Systems(北京分数信号与系统重点实验室);Department of Electrical and Computer Engineering, University of Delaware(德雷塞尔大学电气与计算机工程系)
UniTS提出了一种统一时空生成模型,整合时间序列重建、云去除、语义变化检测和预测等任务,通过自适应条件注入和时空感知调节器提升多模态生成质量,有效应对复杂环境挑战。
2026-03-06 cs.CV
Missingness-Conditioned Spatio-Temporal Fusion for Human Activity Recognition from Low-Quality Wearable Sensor Data
Department of Computer Science, Durham University(杜伦大学计算机科学系)
本文提出一种 manifold-一致的时空网络,用于在不完美传感条件下实现基于传感器的人体活动识别,通过双层腐蚀建模机制和双流时空架构,提升模型鲁棒性和表征稳定性。
2026-10-27 cs.AI cs.CV
TS-LSTM and Temporal-Inception: Exploiting Spatiotemporal Dynamics for Activity Recognition
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institution(佐治亚理工研究所)
最近的双流深度卷积神经网络(ConvNets)在识别视频中的人类动作方面取得了重大进展。尽管取得了成功,但扩展基本双流ConvNet的方法还没有系统地探索可能的网络架构,以进一步利用视频序列中的时空动态。此外,这种网络通常使用不同的基线双流网络。因此,使用递归神经网络(RNN)或卷积网络对时间构造的特征向量(Temporal-ConvNet)的各种方法之间的差异和区别因素尚不清楚。在这项工作中,我们首先使用ResNet-101演示了一个强大的基线双流ConvNet。我们使用这个基线来彻底检查RNN和Temporal-ConvNets用于提取时空信息的使用。基于我们的实验结果,我们提出并研究了两种不同的网络来进一步整合时空信息:1)时间段RNN和2)Inception-style Temporal-ConvNet。我们证明了在时空特征矩阵上使用RNN(使用LSTM)和Temporal-ConvNets能够利用时空动态来提高整体性能。然而,这些方法中的每一种都需要适当的注意以实现最先进的性能;例如,LSTM需要预先分段的数据,否则它们不能完全利用时间信息。我们的分析确定了每种方法的具体限制,这些限制可能构成未来工作的基础。我们在UCF 101和HMDB 51数据集上的实验结果分别达到了94.1%和69.0%的最新性能,而不需要大量的时间增强。
2017-03-30 cs.CV
FuseTen: A Generative Model for Daily 10 m Land Surface Temperature Estimation from Spatio-Temporal Satellite Observations
INSA CVL, Université d’Orléans, PRISME UR 4229(法国奥尔良大学普里兹梅实验室)
针对卫星时空分辨率难以兼顾的问题,提出融合多卫星观测、生成10米分辨率每日地表温度的FuseTen生成框架,性能显著优于线性基线,是首个该分辨率下的非线性每日LST生成方法。
2025-07-30 cs.AI cs.CV cs.LG
Spatiotemporal Pyramid Network for Video Action Recognition
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
双流卷积网络在视频动作识别任务中表现出强大的性能。其关键思想是通过在空间和时间上融合卷积网络来学习时空特征。然而,它仍然不清楚如何在多个抽象级别的空间和时间结构之间的相关性建模。首先,如果两个视频共享相似的背景,则空间流倾向于失败。第二,如果两个动作在短片段中相似,尽管从长远来看是不同的,那么时间流可能会被愚弄。我们提出了一种新的时空金字塔网络融合的空间和时间的特点,在金字塔结构,使他们可以相互加强。从体系结构的角度来看,我们的网络构成了分层融合策略,可以作为一个整体使用统一的时空损失进行训练。一系列的烧蚀实验支持每个融合策略的重要性。从技术角度来看,我们将时空紧致双线性算子引入到视频分析任务中。该算子能够有效地训练双线性融合操作,该操作可以捕获空间和时间特征之间的全部相互作用。我们的最终网络在标准视频数据集上实现了最先进的结果。
2019-03-04 cs.CV
SPATE-GAN: Improved Generative Modeling of Dynamic Spatio-Temporal Patterns with an Autoregressive Embedding Loss
University of Warwick(华威大学);New York University(纽约大学);London School of Economics(伦敦政治经济学院);ETH Zurich(苏黎世联邦理工学院)
从生态学到大气科学,许多学科都处理具有复杂时空复杂性的数据,其建模通常需要专门的方法。这些数据的生成模型特别令人感兴趣,因为它们能够实现一系列有影响力的下游应用,如模拟或创建合成训练数据。最近的工作突出了生成对抗网络(GANs)用于生成时空数据的潜力。受因果最优传输理论的启发,提出了一种新的GAN算法COT-GAN.然而,学习更复杂的时空模式的任务需要额外的知识,其特定的数据结构。在这项研究中,我们提出了一种新的损失目标结合COT-GAN基于自回归嵌入,以加强时空动态的学习。我们设计了SPATE(时空关联),一个新的度量测量时空自相关性,通过使用偏离其期望值的观测。我们计算真实和合成数据样本的SPATE,并使用它来计算考虑时空相互作用的嵌入损失,推动GAN学习忠实于观察到的动态的输出。我们测试这个新的目标上的一组复杂的时空模式:湍流,对数高斯考克斯过程和全球天气数据。我们表明,我们的新型嵌入损失在不改变COT-GAN骨干网架构的情况下提高了性能,突出了我们的模型捕获自回归结构的能力。我们还将我们的工作与物理学深度学习的最新进展以及将神经网络与地理和地球物理科学联系起来的跨学科工作联系起来。
2021-09-30 cs.CV cs.LG
STAC: Plug-and-Play Spatio-Temporal Aware Cache Compression for Streaming 3D Reconstruction
University of Science and Technology of China(中国科学技术大学)
本文提出STAC框架,通过时空感知缓存机制提升流式3D重建的内存效率和重建质量,减少内存消耗并加速推理。
2026-04-08 cs.CV cs.GR eess.IV
Automated Classification of General Movements in Infants Using a Two-stream Spatiotemporal Fusion Network
Hiroshima University(广岛大学);Prefectural University of Hiroshima(广岛县立大学);University of Genoa(热那亚大学);Istituto G.Gaslini Pediatric Hospital(G.加斯利尼儿科研究所);Italian Institute of Technology(意大利技术研究院)
婴儿一般运动(GM)的评估是一个有用的工具,在神经发育障碍的早期诊断。然而,其在临床实践中的评估依赖于专家的目视检查,并且迫切期待自动化解决方案。最近,基于视频的GM分类引起了人们的关注,但这种方法会受到不相关信息的强烈影响,例如视频中的背景杂波。此外,为了可靠性,它是必要的,以适当地提取时空特征的婴儿在GM。在这项研究中,我们提出了一种自动GM分类方法,它包括预处理网络,从GM视频中删除不必要的背景信息,并调整婴儿的身体位置,和一个后续的运动分类网络的基础上的双流结构。该方法可以有效地提取必要的时空特征的GM分类,同时防止过拟合无关的信息,为不同的记录环境。我们使用从100名婴儿获得的视频验证了所提出的方法。实验结果表明,该方法优于几个基线模型和现有的方法。
2022-07-04 cs.CV eess.IV
A Survey on Generative AI and LLM for Video Generation, Understanding, and Streaming
本文综述了生成式AI与LLM在视频生成、理解和流媒体领域的应用,展示了其在生成逼真视频、提取视觉信息及优化流媒体体验方面的潜力与挑战。
2024-01-30 cs.AI cs.CV cs.MM
Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models
HKUST(香港科技大学);Dartmouth College(达特茅斯学院)
本文提出Inpaint4DNeRF框架,利用稳定扩散模型生成种子图像及3D几何代理,解决静态与动态NeRF场景中的时空修复与多视角一致性问题。
2023-12-30 cs.CV
StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding
本研究提出 StreamOPD 方案,结合可验证流视频数据、思考模式 OPD 与指令模式部署,提升了 StreamingBench、OVO-Bench 等流视频理解基准性能,为相关开源研究提供参考。
2026-08-18 cs.CV
Knowledge Graph Driven Approach to Represent Video Streams for Spatiotemporal Event Pattern Matching in Complex Event Processing
Lero-Irish Software Research Institute(Lero爱尔兰软件研究所);National University of Ireland Galway(爱尔兰国立大学戈尔韦分校);Insight Centre for Data Analytics(数据分析洞察中心)
复杂事件处理(CEP)是一种事件处理范式,用于对流数据执行实时分析并匹配高级事件模式。目前,CEP仅限于处理结构化数据流。视频流由于其非结构化的数据模型而复杂,并且限制CEP系统对它们执行匹配。这项工作介绍了一个基于图的结构,连续不断发展的视频流,这使得CEP系统查询复杂的视频事件模式。我们提出了视频事件知识图谱(VEKG),一个图形驱动的视频数据表示。VEKG将视频对象建模为节点,将它们的关系交互建模为时间和空间上的边。它创建视频数据的语义知识表示,该视频数据是使用深度学习模型的集合从视频中检测高级语义概念而得到的。在VEKG表示的基础上,提出了一种基于CEP的状态优化--VEKG-时间聚合图(VEKG-TAG),以实现更快的事件检测。VEKG-TAG是一种时空图聚合方法,可提供给定时间长度内VEKG图的汇总视图。我们为两个域(活动识别和流量管理)定义了一组九个事件模式规则,这些规则作为查询并应用于VEKG图以发现复杂的事件模式。为了证明我们方法的有效性,我们在10个数据集的801个视频片段上进行了广泛的实验。所提出的VEKG方法与其他最先进的方法进行了比较,并且能够检测F分数范围从0.44到0.90的视频上的复杂事件模式。在给定的实验中,优化的VEKG-TAG能够分别减少99%和93%的VEKG节点和边,搜索时间加快5.19倍,实现了4-20毫秒的亚秒级中值延迟。
2020-07-13 cs.AI cs.CV cs.DB
GATSBI: Generative Agent-centric Spatio-temporal Object Interaction
Seoul National University(首尔大学)
我们提出了GATSBI,生成模型,可以将一系列的原始观察到一个结构化的潜在表示,完全捕捉代理的行动的时空背景。在基于视觉的决策场景中,智能体面临复杂的高维观测,其中多个实体相互交互。该代理需要一个良好的视觉观察的场景表示,辨别的基本组成部分,并始终沿着时间范围传播。我们的方法,GATSBI,利用无监督的以对象为中心的场景表示学习分离的主动代理,静态背景和被动对象。然后,GATSBI模型的相互作用,反映了分解的实体之间的因果关系,并预测物理上合理的未来状态。我们的模型推广到各种环境中,不同类型的机器人和对象动态相互作用。我们表明,GATSBI在场景分解和视频预测方面与其最先进的同行相比具有更好的性能。
2021-04-09 cs.CV cs.LG cs.RO
Target-Aware Spatio-Temporal Reasoning via Answering Questions in Dynamics Audio-Visual Scenarios
Beijing University of Posts and Telecommunications(北京邮电大学)
针对AVQA中时空推理分离、目标利用不足的问题,提出由TSG与JTG组成的目标感知联合定位网络,并通过CSL增强音视频同步,实验证明其优于现有方法。
2023-12-08 cs.CV
Two Stream Self-Supervised Learning for Action Recognition
University of Maryland, College Park(马里兰大学帕克分校);Honda Research Institute, USA(本田美国研究院)
我们提出了一个自我监督的方法,使用视频帧之间的时空信号的动作识别。一个两流架构被用来纠缠空间和时间的表示学习。我们的任务被制定为序列验证和时空比对任务。前者需要运动时间结构的理解,而后者耦合的空间表示与学习的运动。在动作识别任务上验证了自监督预训练权值的有效性。定量评估显示了三个数据集上的自监督方法能力:HMDB51,UCF101和本田驾驶数据集(HDD)。进一步的研究,以提高性能和推广的有效性仍然需要。
2018-06-16 cs.CV
Modeling Spatio-Temporal Human Track Structure for Action Localization
Inria Paris(巴黎法国国立信息学及其自动化研究院);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);Inria Grenoble(格勒诺布尔法国国立信息学及其自动化研究院);LJK(让·库隆实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);National Research University Higher School of Economics(高等经济大学)
本文讨论了视频中人类动作的时空定位问题。为了在时间上定位动作,我们提出了一个递归定位网络(RecLNet),旨在对人轨迹水平上的动作的时间结构进行建模。我们的模型被训练为同时识别和定位动作类的时间,是基于两层门控递归单元(GRU)分别适用于两个流,即外观和光流流。当与最先进的人检测和跟踪一起使用时,我们的模型被证明可以大大提高视频中的时空动作定位。所示的增益主要是由于改进的时间定位。我们评估我们的方法在最近的两个数据集的时空动作定位,UCF 101 -24和DALY,展示了显着的改进的最先进的。
2018-06-28 cs.CV
Learning to Recognize Correctly Completed Procedure Steps in Egocentric Assembly Videos through Spatio-Temporal Modeling
Dept. of Electrical Engineering, Eindhoven University of Technology(埃因霍温理工大学电子工程系);ASML(ASML公司)
提出STORM-PSR双流框架,结合空间与时间特征识别装配视频中的步骤完成,在MECCANO和IndustReal数据集上分别降低11.2%和26.1%的延迟。
2025-10-14 cs.CV
Spatio-Temporal Dual-Stream Neural Network for Sequential Whole-Body PET Segmentation
University of Sydney(悉尼大学);Royal Prince Alfred Hospital(皇家阿尔弗雷德王子医院)
连续全身18 F-氟脱氧葡萄糖(FDG)正电子发射断层扫描(PET)被认为是评估淋巴瘤治疗反应的首选成像方式,因为它们在解剖成像可能没有变化时检测治疗反应。在全身PET中对淋巴瘤的任何计算机化分析都需要对研究进行自动分割,以便可以随着时间的推移对疾病部位进行定量监测。最先进的PET图像分割方法基于卷积神经网络(CNN),因为它们能够利用带注释的数据集来获得有关疾病过程的高级特征。然而,这样的方法集中于来自单个时间点的PET图像并且丢弃来自其他扫描的信息,或者针对特定器官并且不能迎合全身PET图像中的多个结构。在这项研究中,我们提出了一个时空的“双流”神经网络(ST-DSNN)分割顺序全身PET扫描。我们的ST-DSNN学习并积累了随着时间推移完成的PET图像的图像特征。累积的图像特征用于增强随时间一致的器官/结构,以允许更容易地识别活动性淋巴瘤的部位。我们的研究结果表明,我们的方法优于国家的最先进的PET图像分割方法。
2021-06-09 cs.CV eess.IV
Learning Spatio-Temporal Features with Two-Stream Deep 3D CNNs for Lipreading
Carnegie Mellon University(卡内基梅隆大学)
我们专注于单词级视觉唇读,这需要识别正在说的单词,只给出视频而不是音频。现有技术的方法探索端到端神经网络的使用,包括浅(多达三层)3D卷积神经网络(CNN)+深2D CNN(例如,ResNet)作为提取视觉特征的前端,以及递归神经网络(例如,双向LSTM)作为分类的后端。在这项工作中,我们提出用最近成功的深3D CNN-双流(即,灰度视频和光流流)I3 D。我们评估了前端和后端模块与LRW数据集上的灰度视频和光流输入的不同组合。实验表明,与浅3D CNN+深2D CNN前端相比,在大规模图像和视频数据集上进行预训练的深3D CNN前端(例如,ImageNet和Kinetics)可以提高分类精度。此外,我们证明,单独使用的光流输入可以实现相当的性能,使用灰度视频作为输入。此外,使用灰度视频和光流输入的双流网络可以进一步提高性能。总的来说,我们的双流I3 D前端与Bi-LSTM后端相比,在LRW数据集上的绝对性能提高了5.3%。
2019-07-19 cs.CV cs.MM
STAC: Leveraging Spatio-Temporal Data Associations For Efficient Cross-Camera Streaming and Analytics
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Boeing Research and Technology(波音研究与技术)
提出STAC跨摄像头监控系统,利用时空关联和多分辨率特征学习,在受限网络下通过帧过滤等优化消除冗余数据,实现76%跟踪准确率提升和8.6倍延迟降低。
2025-08-13 cs.CV cs.MM cs.NI
WGAST: Weakly-Supervised Generative Network for Daily 10 m Land Surface Temperature Estimation via Spatio-Temporal Fusion
INSA CVL, PRISME UR 4229(INSA CVL,PRISME UR 4229);Université d’Orléans, PRISME UR 4229(奥尔良大学,PRISME UR 4229);Université d’Orléans, CEDETE, UR 1210(奥尔良大学,CEDETE,UR 1210)
WGAST通过时空融合方法,提出了一种弱监督生成网络,用于高精度估算每日10米土地表面温度,有效提升精度和稳定性。
2025-12-10 cs.AI cs.CV cs.LG
ST-Gen4D: Embedding 4D Spatiotemporal Cognition into World Model for 4D Generation
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院);School of Computing, Macquarie University(麦考瑞大学计算机学院)
本文提出ST-Gen4D框架,通过4D时空认知世界模型实现4D生成,结合时空表示、认知、推理和生成四大设计,提升4D生成的结构合理性和拓扑一致性。
2026-05-08 cs.CV
CHeart: A Conditional Spatio-Temporal Generative Model for Cardiac Anatomy
Imperial College London(帝国理工学院);Technical University of Munich(慕尼黑工业大学);MRC Laboratory of Medical Sciences(医学研究委员会医学科学实验室)
本文提出CHeart条件时空生成模型,将性别、年龄等临床因素作为条件建模心脏4D解剖结构,在序列补全和生成任务上表现优异,可生成与真实数据分布相似的合成心脏序列。
2023-11-30 cs.CV cs.LG eess.IV
Generative Multi-Stream Architecture For American Sign Language Recognition
George Mason University(乔治梅森大学)
随着深度模型体系结构的进步,只要提供适当的数据预处理和模型参数初始化,计算机视觉中的任务就可以达到最佳收敛。然而,在复杂应用程序的低特征丰富度数据集上进行训练限制并损害了低于人类表现的最佳收敛。在过去的工作中,研究人员以补充硬件为代价提供了补充数据的外部来源,这些数据以流的形式提供,以抵消这种限制并提高性能。我们提出了一个生成式多流架构,消除了对额外硬件的需要,旨在提高功能的丰富性,而不会冒不切实际的风险。我们还将紧凑的时空残差块引入到标准的3维卷积模型C3 D中。我们的rC 3D模型在FASL-RGB数据集上的表现与顶级C3 D残差变体架构(伪3D模型)相当。我们的方法实现了95.62%的验证准确率,与训练的方差为1.42%,在验证准确率和方差方面优于过去的模型0.45%和5.53%。
2020-03-09 cs.CV
iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks
Stanford University(斯坦福大学);University of Mumbai(孟买大学)
最近,基于学习的模型已经增强了单图像超分辨率(SISR)的性能。然而,连续地将SISR应用于每个视频帧导致缺乏时间相干性。卷积神经网络(CNN)在峰值信噪比(PSNR)和结构相似性(SSIM)等图像质量指标方面优于传统方法。然而,生成对抗网络(GANs)提供了一个竞争优势,因为它能够缓解缺乏更精细纹理细节的问题,这种问题通常在CNN以大的放大因子进行超分辨率时出现。我们提出了iSeeBetter,一种新的基于GAN的时空视频超分辨率(VSR)方法,可以呈现时间一致的超分辨率视频。iSeeBetter使用循环反投影网络的概念作为其生成器,从当前和相邻帧中提取空间和时间信息。此外,为了提高超分辨率图像的“自然度”,同时消除传统算法中的伪影,我们利用了来自超分辨率生成对抗网络(SRGAN)的伪影。虽然均方误差(MSE)作为主要损失最小化目标提高了PSNR/SSIM,但是这些度量可能无法捕获图像中的细节,从而导致感知质量的错误表示。为了解决这个问题,我们使用四重(MSE,感知,对抗和总变差(TV))损失函数。我们的研究结果表明,iSeeBetter提供卓越的VSR保真度和超越国家的最先进的性能。
2020-09-30 cs.AI cs.CV cs.LG
MotifGen: Spatiotemporal interpolation of misaligned satellite images via multi-source generative modeling, in an application to tropical cyclones
Inria(法国国家信息与自动化研究所);University of Colorado Boulder(科罗拉多大学博尔德分校)
提出首个多源生成模型MotifGen,解决微波卫星图像因重访时间长而缺失的问题,通过自监督任务融合多仪器微波与红外数据,实现热带气旋图像的时空插值,显著提升概率评分和功率谱真实性。
2026-06-24 cs.CV cs.LG
Convolutional Two-Stream Network Fusion for Video Action Recognition
Graz University of Technology(格拉茨技术大学);University of Oxford(牛津大学)
最近应用卷积神经网络(ConvNets)进行视频中的人类动作识别,提出了不同的解决方案,用于合并外观和运动信息。我们研究了多种在空间和时间上融合ConvNet塔的方法,以便最好地利用这种时空信息。我们得出以下发现:(i)空间和时间网络可以在卷积层融合,而不是在softmax层融合,而不会损失性能,但可以大幅节省参数;(ii)最好在最后一个卷积层空间融合此类网络比之前更好,并且在类别预测层进行额外融合可以提高准确性;最后(iii)在时空邻域上汇集抽象卷积特征进一步提高性能。基于这些研究,我们提出了一个新的ConvNet架构的时空融合的视频片段,并评估其性能的标准基准,该架构实现了最先进的结果。
2016-09-26 cs.CV
Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block
Xidian University(西安电子科技大学);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院)
脉冲神经网络(Spiking neural networks,SNNs)作为一种脑启发模型,具有时空信息处理能力、低功耗和高生物相容性等特点。有效的时空特征使其适用于事件流分类。然而,神经形态数据集,如N-MNIST,CIFAR 10-DVS,DVS 128-gesture,需要将单个事件聚合到具有新的更高时间分辨率的帧中以用于事件流分类,这导致高训练和推理延迟。在这项工作中,我们提出了一种时空压缩的方法来聚合单个事件到几个时间步长的突触电流,以减少训练和推理延迟。为了在高压缩比下保持SNN的准确性,我们还提出了一种突触卷积块来平衡相邻时间步长之间的剧烈变化。并引入了具有可学习膜时间常数的多阈值漏积分触发(Leaky Integrate-and-Fire,LIF)算法,以提高其信息处理能力。我们评估所提出的方法的神经形态N-MNIST,CIFAR 10-DVS,DVS 128手势数据集的事件流分类任务。实验结果表明,我们提出的方法优于国家的最先进的精度几乎所有的数据集,使用更少的时间步长。
2022-03-18 cs.CV cs.LG cs.NE
Locate Anything in Videos: Rethinking Efficient Generative Spatio-Temporal Video Grounding
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of California, Merced(加州大学默塞德分校);Apertix(阿珀蒂克斯公司)
针对时空视频定位的自回归解码存在延迟高、误差易传播的问题,提出并行轨迹解码,在VidSTG等数据集上实现显著的延迟降低与吞吐量提升,且可零样本泛化到多项相关任务
2026-08-31 cs.CV
Spatio-Temporal-based Context Fusion for Video Anomaly Detection
Unicom (Shanghai) Industry Internet Co., Ltd.(联通(上海)产业互联网有限公司)
视频异常检测的目的是发现视频中的异常事件,其主要对象是人、车辆等目标对象。视频数据中的每个目标具有丰富的时空上下文信息。现有的方法大多只关注时间上下文,忽略了空间上下文在异常检测中的作用。空间背景信息表示检测目标和周围目标之间的关系。异常检测很有意义。为此,提出了一种基于目标时空上下文融合的视频异常检测算法。首先,通过目标检测网络提取视频帧中的目标,以减少背景干扰。然后计算相邻两帧的光流图。运动特征是利用视频帧中的多个目标同时构建空间上下文,对目标外观和运动特征进行重新编码,最后通过时空双流网络对上述特征进行重构,并用重构误差表示异常评分。该算法在UCSDped2和Avenue数据集上分别实现了98.5%和86.3%的帧级AUC。在UCSDped2数据集上,与时间和空间流网络相比,时空双流网络分别提高了5.1%和0.3%的帧。采用空间上下文编码后,帧级AUC提高了1%,验证了该方法的有效性。
2022-10-18 cs.CV eess.IV
GeneVA: A Dataset of Human Annotations for Generative Text to Video Artifacts
New York University(纽约大学)
针对文本生成视频中的时空伪影问题,提出大规模人工标注数据集GeneVA,用于基准测试和提升生成视频质量。
2025-09-10 cs.CV
Pose-conditioned Spatio-Temporal Attention for Human Action Recognition
Univ Lyon, INSA-Lyon, CNRS, LIRIS(里昂大学,里昂国立应用科学学院,法国国家科学研究中心,里昂信息科学与技术实验室);Laboratoire d’Informatique de l’Université de Tours (EA 6300), INSA Centre Val de Loire(图尔大学信息学实验室,卢瓦尔河谷国立应用科学学院)
我们从多模态视频数据(包括关节姿势和RGB帧)中识别人体动作,并提出了一种双流方法。用卷积模型处理姿态流,该卷积模型将保持来自子序列的数据的3D张量作为输入。一个特定的关节排序,它尊重人体的拓扑结构,确保不同的卷积层对应于有意义的抽象层次。原始RGB流由以来自姿态网络的特征为条件的时空软注意力机制处理。LSTM网络在每个时刻从一组图像位置接收输入。可训练的一瞥传感器提取由姿势流指定的一组预定义位置上的特征,即参与活动的两个人的4只手。外观特征对手部运动和每只手中的物体提供了重要的线索。我们表明,这是很感兴趣的注意力转移到不同的手在不同的时间步骤取决于活动本身。最后,时间注意力机制学习如何随着时间的推移融合LSTM特征。我们在3个数据集上评估了该方法。在最大的人类活动识别数据集NTU-RGB+D以及SBU Kinect Interaction数据集上实现了最先进的结果。在较小的MSR日常活动3D数据集上实现了接近最先进水平的性能。
2017-08-07 cs.CV
4D Spatio-Temporal Convolutional Networks for Object Position Estimation in OCT Volumes
Hamburg University of Technology(汉堡工业大学)
跟踪和定位目标是计算机辅助手术中的核心问题。光学相干层析成像(OCT)由于其高的空间和时间分辨率,可以用作光学跟踪系统。最近,3D卷积神经网络(CNN)已经显示出使用单个体积OCT图像进行标记对象的姿态估计的有前途的性能。虽然这种方法仅依赖于空间信息,但OCT允许OCT图像体积的时间流以高体积速率捕获对象的运动。在这项工作中,我们系统地将3D CNN扩展到4D时空CNN,以评估附加时间信息对标记对象跟踪的影响。在各种架构中,我们的结果表明,使用OCT体积流并采用4D时空卷积,与使用3D CNN的单体积处理相比,平均绝对误差降低了30%。
2020-07-02 cs.CV eess.IV
Hierarchical Representations for Spatio-Temporal Visual Attention Modeling and Understanding
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
该博士论文围绕视频中的时空视觉注意力建模,提出层次化表示方法,包括一个上下文感知的生成式概率模型和一个先估计自顶向下时空注意力再用于时间域建模的深度网络架构。
2023-08-09 cs.AI cs.CV cs.LG
Generative Adversarial Networks for Spatio-Spectral Compression of Hyperspectral Images
BIFOLD - Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所)
本文针对高光谱图像的空间-光谱冗余问题,基于HiFiC模型提出了结合SE模块和3D卷积的两种新模型,实现了在更低比特率下更高质量的空谱联合压缩。
2024-11-14 cs.CV eess.IV
Self-supervised Action Representation Learning from Partial Spatio-Temporal Skeleton Sequences
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
提出部分时空学习框架,通过中心空间掩码和运动注意力时间掩码构建部分骨架序列,利用无负样本三元流结构学习局部关系,在多个数据集上达到SOTA并具鲁棒性。
2023-02-22 cs.CV
GenStream: Semantic Streaming Framework for Generative Reconstruction of Human-centric Media
Alpen-Adria-Universitaet(阿尔卑斯-亚得里亚大学)
GenStream提出用骨骼关键点、相机参数和静态3D背景等元数据替代视频帧传输,经生成模型重建,实现99.9%以上带宽压缩,为以人为中心媒体流式传输开辟新方向。
2026-09-17 cs.AI cs.CV cs.MM
Dual-stream Spatio-Temporal GCN-Transformer Network for 3D Human Pose Estimation
School of Information and Electronic Engineering, Zhejiang University of Science and Technology(浙江科技大学信息电子工程学院)
本文提出双流时空GCN-Transformer网络,通过并行通道建模人体骨骼的时空关系,融合全局与局部特征,实现3D人体姿态估计的高精度。
2026-04-20 cs.CV
Towards Generalizable Person Re-identification with a Bi-stream Generative Model
可推广的人再识别(re-ID)由于其强大的适应能力,在看不见的数据域引起了越来越多的关注。然而,现有的解决方案通常忽略交叉相机(例如,照明和分辨率差异)或行人未对准(例如,视点和姿态差异),这在适应新领域时容易导致较差的泛化能力。在本文中,我们将这些困难表述为:1)摄像机(CC)问题,这表示不同的相机引起的各种人的外观变化; 2)摄像机(CP)问题,这表示在不同的相机视点或改变姿势的情况下,由同一身份的人引起的行人错位。为了解决上述问题,本文提出了一种双流生成模型(BGM),该模型融合了摄像机不变的全局特征和摄像机对齐的局部特征来学习图像的细粒度表示,包含一个编码网络和两个流解码子网络。在原始行人图像的引导下,通过过滤跨相机干扰因素,使用一个流来学习用于CC问题的相机不变全局特征。对于CP问题,另一个流使用信息完整的密集语义对齐的部分地图学习行人对齐的局部特征。提出了部分加权的损失函数,以减小缺失部分对行人线形的影响。大量的实验表明,我们的方法优于国家的最先进的方法在大规模的可推广的re-ID基准,涉及领域泛化设置和跨域设置。
2022-06-26 cs.CV
Generative Neural Video Compression via Video Diffusion Prior
School of Information and Communication Engineering, Communication University of China(信息与通信工程学院,通信大学);School of Computer Science, Peking University(计算机学院,北京大学)
GNVC-VD通过结合视频扩散先验和序列级去噪,实现了高效的生成神经视频压缩,显著减少了闪烁伪影并提升了感知质量。
2026-02-23 cs.CV
A Spatiotemporal Semantic Importance-Guided Unified Compression and Editing Framework for AI-Generated Videos
The Hong Kong Polytechnic University(香港理工大学);University of Science and Technology of China(中国科学技术大学)
针对AI生成视频的压缩与编辑需求,提出统一框架,利用冻结生成器作为先验,通过三种时空语义重要性引导技术实现高效压缩与结构保持的提示编辑。
2026-10-06 cs.CV cs.MM