Efficient Human Vision Inspired Action Recognition using Adaptive Spatiotemporal Sampling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta Reality Labs Research（Meta现实实验室）
利用视频中的时空冗余的自适应采样对于具有有限计算和电池资源的可穿戴设备上的始终在线动作识别至关重要。常用的固定采样策略是不感知上下文的，并且可能对视觉内容进行欠采样，从而对计算效率和准确性产生不利影响。受人类视觉感知机制中的中心凹视觉和前注意处理概念的启发，我们引入了一种新的自适应时空采样方案来实现高效的动作识别。我们的系统以低分辨率预扫描全局场景上下文，并决定跳过或请求显著区域的高分辨率特征以进行进一步处理。我们在EPIC-KITCHENS和UCF-101数据集上验证了该系统的动作识别能力，并表明与最先进的基线相比，我们提出的方法可以大大加快推理速度，并具有可容忍的准确性损失。源代码可在https://github.com/knmac/adaptive_spatiotemporal上获得。
2022-07-14 cs.CV
Spatiotemporal Filtering for Event-Based Action Recognition
National University of Singapore（新加坡国立大学）；Singapore Institute for Neurotechnology（新加坡神经技术研究所）
在本文中，我们解决了具有挑战性的问题，动作识别，使用基于事件的相机。为了识别大多数手势动作，通常需要更高的时间精度来采样视觉信息。动作是由运动定义的，因此，当使用基于事件的相机时，通常不需要重新采样整个场景。神经形态，基于事件的相机已经提出了一种替代视觉信息采集异步时间编码像素强度的变化，通过时间上精确的尖峰（10微秒分辨率），使他们很好地装备动作识别。然而，存在其他挑战，这是固有的基于事件的成像器，如较高的信噪比，和时空稀疏的信息。一种选择是将事件数据转换为帧，但这可能导致显著的时间精度损失。在这项工作中，我们引入时空滤波的尖峰事件域，作为一种替代方式的通道时空信息通过一个卷积神经网络。滤波器是局部时空权重矩阵，以无监督的方式从尖峰事件数据中学习。我们发现，适当的时空滤波显着提高了CNN的性能，超越了最先进的基于事件的DVS手势数据集。在我们新记录的动作识别数据集上，与生成时空滤波器的其他标准方法相比，我们的方法显示出显着的改进。
2019-03-17 cs.CV
STM: SpatioTemporal and Motion Encoding for Action Recognition
Zhejiang University（浙江大学）；SenseTime Group Limited（商汤集团有限公司）
时空特征和运动特征是视频动作识别的两个重要信息，二者相互补充。最近的最先进的方法采用3D CNN流来学习时空特征，并采用另一个流来学习运动特征。在这项工作中，我们的目标是有效地编码这两个功能在一个统一的二维框架。为此，我们首先提出了一个STM块，其中包含一个逐行时空模块（CSTM），以呈现时空特征和逐行运动模块（CMM），以有效地编码运动特征。然后，我们将ResNet架构中的原始残差块替换为STM块，通过引入非常有限的额外计算成本来形成简单而有效的STM网络。大量的实验表明，所提出的STM网络在时间相关数据集（即，Something-Something v1 & v2和Jester）和场景相关数据集（即，Kinetics-400、UCF-101和HMDB-51），同时对时空和运动特征进行编码。
2019-08-16 cs.CV
Learning Spatiotemporal Features for Infrared Action Recognition with 3D Convolutional Neural Networks
Raytheon BBN Technologies（雷神BBN技术公司）
与可见光谱相机相比，红外（IR）成像具有实现更鲁棒的动作识别系统的潜力，这是由于对照明条件和外观变化的敏感性较低。虽然从可见光谱成像收集的视频上的动作识别任务受到了很大的关注，但红外视频中的动作识别却很少被探索。我们的目标是利用成像数据在这种方式的动作识别任务。在这项工作中，我们提出了一种新的双流三维卷积神经网络（CNN）的架构，通过引入区分码层和相应的区分码损失函数。提出的网络处理红外图像和基于红外的光流场序列。我们在可见光谱Sports-1 M动作数据集上预训练3D CNN模型，并在红外动作识别（InfAR）数据集上对其进行微调。据我们所知，这是3D CNN首次应用于IR域中的动作识别。我们对应用于不同3D CNN输出的不同融合方案（加权平均、单层和双层神经网络）进行了详细分析。实验结果表明，我们的方法可以在InfAR数据集上实现最先进的平均精度（AP）性能：（1）所提出的双流3D CNN实现了最佳报告的77.5% AP，以及（2）我们应用于光流场的3D CNN模型实现了最佳报告的单流75.42% AP。
2017-05-18 cs.AI cs.CV cs.LG
Human-AI Divergence in Ego-centric Action Recognition under Spatial and Spatiotemporal Manipulations
University of Surrey（索尔福德大学）；Newcastle University（新卡茨大学）
本文通过大规模研究揭示了人类与AI在空间和时空操作下动作识别的性能差异，发现人类依赖稀疏语义线索，而AI则依赖上下文特征。
2026-03-09 cs.AI cs.CV
Spatiotemporal Pyramid Network for Video Action Recognition
Tsinghua University（清华大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
双流卷积网络在视频动作识别任务中表现出强大的性能。其关键思想是通过在空间和时间上融合卷积网络来学习时空特征。然而，它仍然不清楚如何在多个抽象级别的空间和时间结构之间的相关性建模。首先，如果两个视频共享相似的背景，则空间流倾向于失败。第二，如果两个动作在短片段中相似，尽管从长远来看是不同的，那么时间流可能会被愚弄。我们提出了一种新的时空金字塔网络融合的空间和时间的特点，在金字塔结构，使他们可以相互加强。从体系结构的角度来看，我们的网络构成了分层融合策略，可以作为一个整体使用统一的时空损失进行训练。一系列的烧蚀实验支持每个融合策略的重要性。从技术角度来看，我们将时空紧致双线性算子引入到视频分析任务中。该算子能够有效地训练双线性融合操作，该操作可以捕获空间和时间特征之间的全部相互作用。我们的最终网络在标准视频数据集上实现了最先进的结果。
2019-03-04 cs.CV
Correlation Net: Spatiotemporal multimodal deep learning for action recognition
Hiroshima University（广岛大学）；Universitas Brawijaya（布劳爪哇大学）
本文描述了一个网络，捕捉多模态相关性在任意时间戳。所提出的方案作为一个互补的，扩展的多模态卷积神经网络（CNN）的网络。深度CNN的动作识别需要空间流和时间流，但是过拟合减少和融合这两个流仍然是开放的问题。现有的融合方法对两个流进行平均。在这里，我们提出了一个具有香农融合的相关网络，用于学习预训练的CNN。远程视频可以由任意时间上的时空相关性组成，其可以通过从简单的全连接层形成相关性网络来捕获。这种方法被认为是对现有网络融合方法的补充。在UCF-101和HMDB-51数据集上的对比实验验证了多模态相关的重要性。多模态相关提高了视频识别结果的准确性。
2019-12-16 cs.CV
Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
图卷积网络（GCN）已经成为基于卷积的动作识别的主要方法。然而，他们仍然遭受两个问题，即邻域约束和纠缠时空特征表示。大多数研究都集中在改进图拓扑的设计，以解决第一个问题，但他们还没有充分探讨后者。在这项工作中，我们设计了一个解开时空Transformer（DSTT）块，以克服上述限制的GCN在三个步骤：（i）功能解开时空分解;（ii）全球时空关注捕捉相关性在全球范围内;和（iii）本地信息增强利用更多的本地信息。在此基础上，我们提出了一种新的架构，命名为分层图卷积骨架Transformer（HGCT），以利用GCN的互补优势（即，局部拓扑、时间动态和层次）和Transformer（即，全球背景和动态注意力）。HGCT是轻量级和计算效率。定量分析表明了HGCT的优越性和良好的解释性。
2022-01-10 cs.AI cs.CV
Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
对比学习已被成功地利用来学习动作表示，以解决基于半监督模型的动作识别问题。然而，大多数基于对比学习的方法只对混合时空信息的全局特征进行对比，混淆了帧级和关节级反映不同语义的时空特定信息。因此，我们提出了一种新的时空解耦和挤压对比学习（SDS-CL）框架，全面学习更丰富的表示基于动作的联合对比空间压缩功能，时间压缩功能，和全局功能。在SDS-CL中，我们设计了一种新的时空解耦的内部-内部注意（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦的内部注意映射，以及关节和运动特征之间的空间和时间解耦的内部注意映射，来获得时空解耦的注意特征，以捕获时空特定的信息。此外，我们提出了一个新的空间压缩时间对比损失（STL），一个新的时间压缩空间对比损失（TSL），和全局对比损失（GL）的对比空间压缩关节和运动特征在帧水平，时间压缩关节和运动特征在关节水平，以及全局关节和运动特征在骨架水平。在四个公共数据集上的实验结果表明，与其他竞争性方法相比，SDS-CL算法具有更好的性能.
2023-02-05 cs.CV
Fully-Coupled Two-Stream Spatiotemporal Networks for Extremely Low Resolution Action Recognition
Indiana University, Bloomington（印第安纳大学伯明顿分校）；University of Central Florida（中佛罗里达大学）；Midea Corporate Research Center（美的企业研究中心）
随着摄像头和计算机视觉越来越多地融入我们的日常生活，包括家庭内的智能设备，一个新出现的主要挑战是如何保护人们的隐私。一个潜在的解决方案是捕获和记录执行感兴趣的任务所需的最少量的信息。在本文中，我们提出了一个完全耦合的双流时空架构，用于在极低分辨率（例如，12x16像素）视频。我们提供了一个有效的方法来提取空间和时间特征，并将它们聚合成一个强大的功能表示整个动作视频序列。我们还考虑如何在训练过程中纳入高分辨率视频，以便构建更好的低分辨率动作识别模型。我们对两个公开的数据集进行了评估，显示出对最先进技术的显着改进。
2018-01-11 cs.CV
Building a Multi-modal Spatiotemporal Expert for Zero-shot Action Recognition with CLIP
Northwestern Polytechnical University（西北工业大学）
针对CLIP直接微调用于零样本动作识别（ZSAR）时捕捉时空动态的不足，提出基于CLIP的时空动态双元组（STDD）框架，通过视觉侧时空交叉注意力和语义侧动作语义知识图谱增强，在多个基准上超越现有最优方法。
2025-02-09 cs.CV
SMV-EAR: Bring Spatiotemporal Multi-View Representation Learning into Efficient Event-Based Action Recognition
Rui Fan（瑞·范）；Weidong Hao（郝伟东）
SMV-EAR提出了一种基于时空多视角表示学习的高效事件基动作识别方法，通过翻译不变的密集转换、双分支动态融合架构和生物启发的时序扭曲增强，提升了识别准确率并降低了计算成本。
2026-01-24 cs.CV
SCD-Net: Spatiotemporal Clues Disentanglement Network for Self-supervised Skeleton-based Action Recognition
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）
本文提出自监督对比学习框架 SCD-Net，通过解耦时空线索并引入带结构约束的掩码策略，在多个基准数据集的下游任务上显著优于现有 SOTA 方法。
2023-09-11 cs.CV
Video Jigsaw: Unsupervised Learning of Spatiotemporal Context for Video Action Recognition
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种自监督学习方法，以联合推理的空间和时间的视频识别上下文。最近的自监督方法使用了空间上下文[9，34]以及时间相干性[32]，但两者的组合需要大量的预处理，例如通过数百万个视频帧[59]跟踪对象或计算光流以确定具有高运动的帧区域[30]。我们建议在一个自监督框架中结合空间和时间上下文，而无需任何繁重的预处理。我们将多个视频帧划分为补丁网格，并训练网络从多个帧中解决这些补丁上的拼图游戏。因此，网络经过训练，可以正确识别视频帧内补丁的位置以及补丁随时间的位置。我们还提出了一种新的置换策略，优于随机置换，同时显着减少计算和内存的限制。我们使用我们训练的网络进行迁移学习任务，如视频活动识别，并在两个基准视频动作识别数据集上展示了我们方法的强度，而不使用这些数据集中的单个帧对我们提出的视频拼图网络进行无监督预训练。
2018-08-22 cs.CV
Action Recognition by Hierarchical Mid-level Action Elements
Stanford University（斯坦福大学）
人类动作的真实视频在多个粒度级别上表现出丰富的时空结构：一个动作总是可以在空间和时间上分解为多个更细粒度的元素。为了捕捉这种直觉，我们建议表示视频的中层动作元素（MAE），其中每个MAE对应于视频中的动作相关的时空段的层次结构。我们引入了一种无监督的方法来从视频中生成这种表示。我们的方法是能够区分动作相关的片段从背景片段，并表示在多个时空分辨率的行动。给定一组时空段生成的训练数据，我们引入了一个判别聚类算法，自动发现MAES在多个级别的粒度。我们开发了结构化的模型，捕捉一组丰富的空间，时间和层次之间的关系段，其中的动作标签和多层次的MAE标签联合推断。该模型在多个动作识别基准测试中达到了最先进的性能。此外，我们证明了我们的模型在实际应用中的有效性，如大规模未修剪视频中的动作识别和动作解析。
2015-08-31 cs.CV
Spatiotemporal Fusion in 3D CNNs: A Probabilistic View
Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
尽管在静态图像识别方面取得了成功，但用于时空信号任务（例如视频中的人类动作识别）的深度神经网络在过去几年中仍然存在低效率和低效率。最近，人类专家投入了更多的精力来分析3D卷积神经网络（3D CNN）中不同组件的重要性，以设计更强大的时空学习骨干。其中，时空融合是其中的一个关键。它控制在推理过程中如何在每一层提取空间和时间信号。以前的尝试通常从ad-hoc设计开始，这些设计经验性地结合某些卷积，然后根据训练相应网络获得的性能得出结论。这些方法只支持对有限数量的融合策略进行网络级分析。在本文中，我们建议将时空融合策略转换成一个概率空间，这使我们能够执行网络级的各种融合策略的评估，而不必单独进行训练。此外，我们还可以获得细粒度的数值信息，如层级偏好的时空融合的概率空间内。我们的方法大大提高了时空融合分析的效率。基于概率空间，我们进一步生成新的融合策略，在四个著名的动作识别数据集上实现了最先进的性能。
2020-04-10 cs.CV
Recognition of Multiple Food Items in a Single Photo for Use in a Buffet-Style Restaurant
The University of Tokyo（东京大学）；Japan Institute of Sports Sciences（日本体育科学研究所）
我们研究了在一张照片中的多个食物项目的图像识别，重点是自助餐厅应用程序，其中菜单在每顿饭的变化，每个类只有几个图像可用。在检测食物区域后，我们进行分层识别。我们评估我们的结果，比较两个基线方法。
2019-03-03 cs.CV
Interactive Spatiotemporal Token Attention Network for Skeleton-based General Interactive Action Recognition
Sun Yat-sen University（中山大学）；Tencent Technology (Shenzhen) Co., Ltd.（腾讯科技（深圳）有限公司）；Peking University（北京大学）
针对交互动作识别中主体多样性问题，提出ISTA-Net，通过交互式时空Token统一表示多主体动作，结合多头自注意力与3D卷积联合建模时空与交互关系，并引入主体重排消除顺序依赖，在四个数据集上优于现有方法。
2023-07-14 cs.AI cs.CV cs.RO
Leveraging Context to Support Automated Food Recognition in Restaurants
Georgia Institute of Technology（佐治亚理工学院）
移动相机的普及导致了食物照片的急剧增加，这些照片反映了人们吃什么。在本文中，我们研究了如何拍摄我们在餐馆吃的东西可以用于自动化食品日记的目的。我们建议利用照片拍摄的背景，以及有关餐厅的其他信息，在线提供，再加上最先进的计算机视觉技术来识别正在消费的食物。为此，我们展示了基于图像的识别在餐馆吃的食物，通过训练一个分类器，从餐馆的在线菜单数据库的图像。我们评估了我们的系统在不受约束的，现实世界的设置与食物图像在10家餐馆在5种不同类型的食物（美国，印度，意大利，墨西哥和泰国）的性能。
2015-10-07 cs.CV
A Generically Contrastive Spatiotemporal Representation Enhancement for 3D Skeleton Action Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
本文提出可插拔的CSRE框架，通过时空特征分解与正负样本对比学习增强3D骨架动作表示，并在五个基准和五种编码器上验证了一致提升。
2025-03-17 cs.CV
A Deeper Dive Into What Deep Spatiotemporal Networks Encode: Quantifying Static vs. Dynamic Information
York University（约克大学）；Vector Institute for AI（向量人工智能研究所）；Ryerson University（瑞尔森大学）；University of Guelph（圭尔夫大学）；Samsung AI Centre Toronto（三星多伦多人工智能中心）
深度时空模型被用于各种计算机视觉任务中，例如动作识别和视频对象分割。目前，对这些模型在其中间表示中捕获了哪些信息的理解有限。例如，虽然已经观察到动作识别算法受到单个静态帧中的视觉外观的严重影响，但是与对动态信息（例如，运动）的偏置相比，不存在用于评估潜在表示中的这种静态偏置的定量方法。我们通过提出一种新的方法来量化任何时空模型的静态和动态偏差来应对这一挑战。为了显示我们的方法的有效性，我们分析了两个广泛研究的任务，动作识别和视频对象分割。我们的主要发现有三个方面：（一）大多数检查时空模型偏向于静态信息，虽然，某些双流架构与交叉连接显示出更好的平衡之间的静态和动态信息捕获。(ii)一些通常被认为偏向于动态的数据集实际上偏向于静态信息。(iii)架构中的各个单元（通道）可以偏向静态、动态或两者的组合。
2022-06-06 cs.CV
Spatiotemporal Attention-based Semantic Compression for Real-time Video Recognition
Aarhus University（奥胡斯大学）；University of Oulu（奥卢大学）
本文提出一种基于时空注意力的自编码器STAE架构，通过帧与空间注意力模块及熵编码实现视频语义压缩，并在接收端使用3D-2D CNN解码器重建信息，实验证明其压缩率高且精度损失小。
2023-05-22 cs.CV cs.NI
HalluciNet-ing Spatiotemporal Representations Using a 2D-CNN
University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）
使用3D卷积神经网络（CNN）学习的时空表示目前用于动作相关任务的最新方法中。然而，与更简单的2D-CNN架构相比，3D-CNN因内存和计算资源密集而臭名昭着。我们建议从3D-CNN教师和2D-CNN学生中产生时空表示的幻觉。通过要求2D-CNN预测未来并直观地了解即将发生的活动，鼓励它更深入地了解行动及其演变方式。幻觉任务被视为辅助任务，可以与多任务学习设置中的任何其他动作相关任务一起使用。彻底的实验评估表明，幻觉任务确实有助于提高动作识别，动作质量评估和动态场景识别任务的性能。从实践的角度来看，能够在没有实际3D-CNN的情况下实现时空表示的幻觉可以实现在资源受限的场景中的部署，例如具有有限的计算能力和/或较低的带宽。Codebase可在这里获得：https://github.com/ParitoshParmar/HalluciNet。
2020-10-21 cs.CV
Multiview Transformers for Video Recognition
Google Research（谷歌研究院）；Michigan State University（密歇根州立大学）；Brown University（布朗大学）
视频理解需要在多个时空分辨率上进行推理--从短的细粒度运动到在较长持续时间内发生的事件。虽然Transformer架构最近已经发展到最先进的水平，但它们没有明确地对不同的时空分辨率进行建模。为此，我们提出了多视图Transformers的视频识别（MTV）。我们的模型由独立的编码器组成，用于表示输入视频的不同视图，并通过横向连接来融合视图之间的信息。我们提出了彻底的消融研究，我们的模型，并表明MTV一贯表现优于单视图同行的精度和计算成本在一系列的模型尺寸。此外，我们在六个标准数据集上实现了最先进的结果，并通过大规模预训练进一步改进。代码和检查点可在https://github.com/google-research/scenic/tree/main/scenic/projects/mtv上获得。
2022-05-31 cs.CV cs.LG
Evolving Skeletons: Motion Dynamics in Action Recognition
Australian National University（澳大利亚国立大学）；Griffith University（格里菲斯大学）
本研究在NTU-60和NTU-120数据集上，使用ST-GCN和Hyperformer模型全面评估传统骨架序列与Taylor变换骨架，分析其运动动力学增强潜力与当前挑战，强调创新骨架建模技术的必要性。
2025-02-24 cs.AI cs.CV cs.LG
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Self-Supervised Spatiotemporal Feature Learning via Video Rotation Prediction
The City University of New York（纽约城市大学）；NVIDIA Research（英伟达研究院）
深度神经网络的成功通常需要大量的训练数据进行标记，这是昂贵的，并且在规模上是不可行的，特别是对于视频采集。为了缓解这个问题，在本文中，我们提出了3DRotNet：一种完全自监督的方法，可以从未标记的视频中学习时空特征。将一组旋转应用于所有视频，并将借口任务定义为这些旋转的预测。在完成这项任务时，3DRotNet实际上被训练来理解视频中的语义概念和动作。换句话说，它学习时空视频表示，可以将其转移以改善小数据集中的视频理解任务。我们广泛的实验成功地证明了所提出的框架在动作识别上的有效性，从而使最先进的自监督方法得到了显着的改进。使用来自大型数据集的自监督预训练3DRotNet，与从头开始训练的模型相比，UCF 101和HMDB 51的识别准确率分别提高了20.4%和16.7%。
2019-04-04 cs.CV
Online Spatiotemporal Action Detection and Prediction via Causal Representations
Oxford Brookes University（牛津布鲁克斯大学）；University of Oxford（牛津大学）
在这篇论文中，我们主要从在线和实时处理的角度来研究视频动作理解问题。我们从传统的离线时空动作检测管道到在线时空动作管检测系统的转换开始。动作管是一组随时间连接的边界，它在空间和时间上限制动作实例。接下来，我们通过回归将现有的动作管扩展到未来，探索此类检测方法的未来预测能力。后来，我们试图建立在线/因果表示可以在各种任务上实现与离线三维（3D）卷积神经网络（CNN）类似的性能，包括动作识别，时间动作分割和早期预测。
2020-08-31 cs.AI cs.CV
Cross-Modal Learning with 3D Deformable Attention for Action Recognition
Keimyung University（启明大学）
针对多模态时空特征融合难题，提出含3D可变形、局部关节步幅和时间步幅注意力的跨模态Transformer，在四个基准上无需预训练即达到SOTA水平并具可解释性。
2023-08-17 cs.CV
KGS-GCN: Kinematics-Driven Gaussian Splatting and Probabilistic Topology for Skeleton-Based Action Recognition
提出KGS-GCN，通过运动学驱动的高斯泼溅模块将稀疏骨架序列渲染为多视角连续热图，并利用概率拓扑策略构建自适应先验邻接矩阵，以轻量级参数实现高效动作识别。
2026-07-02 cs.AI cs.CV
From Pixels to Privacy: Temporally Consistent Video Anonymization via Token Pruning for Privacy Preserving Action Recognition
Aalborg University（奥尔堡大学）；Aarhus University（奥胡斯大学）；Poineer Centre for AI（先锋人工智能中心）；University of Southern Denmark（南丹麦大学）；Milestone System（Milestone系统公司）
本文提出一种基于注意力机制的时空视频匿名化框架，通过分离效用和隐私特征，实现对隐私保护的行动识别。
2026-03-27 cs.CV
StegaVAR: Privacy-Preserving Video Action Recognition via Steganographic Domain Analysis
StegaVAR通过隐写领域分析实现视频动作识别的隐私保护，提出STeP和CroDA方法提升隐写分析效果。
2025-12-14 cs.CV
SpatioTemporal Focus for Skeleton-based Action Recognition
Peking University（北京大学）
图卷积网络（GCN）由于其强大的数据拓扑建模能力而被广泛应用于基于卷积的动作识别中。我们认为，性能最近提出的基于candion的动作识别方法是有限的，由以下因素。首先，预定义的图结构在整个网络中共享，缺乏对多粒度语义信息建模的灵活性和能力。其次，全局关节之间的关系没有被图局部卷积充分利用，这可能会失去隐含的关节相关性。例如，诸如跑步和挥手之类的动作是通过身体部位和关节的共同运动来执行的，例如，腿和手臂，然而，它们在物理连接中位于远处。受最近的注意力机制的启发，我们提出了一个多粒度的上下文聚焦模块，称为MCF，从身体关节和部位捕获动作关联关系信息。因此，MCF可以获得更可解释的表示不同的骨骼动作序列。在这项研究中，我们遵循了通常的做法，即采用密集样本策略的输入骨架序列，这带来了很多冗余，因为实例的数量与动作无关。为了减少冗余，一个时间的歧视焦点模块，称为TDF，开发捕获的时间动态的局部敏感点。MCF和TDF被集成到标准的GCN网络中，形成一个统一的体系结构，称为STF-Net。值得注意的是，STF-Net提供了基于多粒度上下文聚合和时间依赖性从这些骨架拓扑结构中捕获鲁棒运动模式的能力。大量的实验结果表明，我们的STF-Net在三个具有挑战性的基准NTU RGB+D 60，NTU RGB+D 120和Kinetics-skeleton上显着实现了最先进的结果。
2022-03-31 cs.CV
Higher-order Network for Action Recognition
Carnegie Mellon university（卡内基梅隆大学）
捕捉时空动态是视频识别中的一个重要课题。在本文中，我们提出了可学习的高阶操作作为一个通用的家庭的积木捕捉时空动态从RGB输入视频空间。与高阶函数类似，高阶运算的权重本身也来自于具有可学习参数的数据。经典架构，如残差学习和网络中网络是一阶运算，其中权重直接从数据中学习。高阶操作使捕获上下文敏感的模式（如运动）变得更容易。自注意力模型也是高阶运算，但注意力权重主要是从仿射运算或点积计算的。可学习的高阶操作可以更通用和灵活。实验表明，在视频识别任务中，我们的高阶模型可以在Something-Something（V1和V2），Kinetics和Charades数据集上实现与现有最先进方法相同或更好的结果。
2019-11-19 cs.CV
Exploring Explainability in Video Action Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视频动作识别领域可解释性研究不足的问题，本文提出基于TCAV的Video-TCAV方法量化概念重要性，设计机器辅助概念生成方案，并验证时变概念的价值，构建了可定量测试动作识别假设的框架，推动该领域可解释性研究。
2024-04-13 cs.AI cs.CV
IF-TTN: Information Fused Temporal Transformation Network for Video Action Recognition
National University of Defense Technology（国防科技大学）
有效的时空特征表示是基于视频的动作识别任务的关键。针对区分时空特征学习问题，在流行的时间段网络（TSN）框架的基础上，提出了用于动作识别的信息融合时间变换网络（IF-TTN）。在网络中，信息融合模块（IFM）被设计为融合每个视频片段的多个ConvNet级别的外观和运动特征，形成短期视频描述符。以融合特征为输入，采用时间变换网络（TTN）来建模相邻片段之间的中期时间变换。由于TSN本身通过分段共识来描述长期的时间结构，因此该网络综合考虑了多粒度的时间特征。我们的IF-TTN在两个最流行的动作识别数据集上实现了最先进的结果：UCF 101和HMDB 51。实证研究表明，我们的架构是强大的输入运动地图的质量。用压缩视频流中的运动矢量代替光流，性能与基于流的方法相当，而测试速度提高了10倍。
2019-04-11 cs.CV
Adaptive Runge-Kutta Dynamics for Spatiotemporal Prediction
School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（人工智能学院，中国科学院大学，北京，中国）
本文提出了一种基于自适应龙格-库塔方法和频率增强傅里叶模块的物理引导神经网络，用于更精确地建模时空动态，并在多个任务中取得了优于现有方法的性能。
2026-02-23 cs.AI cs.CV
Exploring Adaptive Masked Reconstruction for Self-Supervised Skeleton-Based Action Recognition
Hefei University of Technology（合肥工业大学）；Jilin University（吉林大学）；Zhejiang Gongshang University（浙江工商大学）；University of Science and Technology of China（中国科学技术大学）
提出自适应掩码重建（AMR）框架，通过解耦编码器-解码器并引入自适应引导模块，加速预训练并提升下游动作识别精度，在多个数据集上超越现有方法。
2026-06-11 cs.CV
Efficient Spatialtemporal Context Modeling for Action Recognition
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）；Shaanxi Provincial Key Lab on Speech and Image Information Processing（陕西省语音与图像信息处理重点实验室）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
上下文信息在动作识别中起着重要的作用。局部操作很难模拟具有长距离间隔的两个元素之间的关系。然而，直接对任意两点之间的上下文信息进行建模会带来巨大的计算和存储成本，特别是对于动作识别，其中存在额外的时间维度。受分割任务中使用的2D交叉注意的启发，我们提出了一个递归的3D交叉注意（RCCA-3D）模型来建模视频中密集的长距离时空上下文信息，用于动作识别。全局上下文被分解为稀疏关系映射。我们在每一时刻沿水平、垂直和深度方向对同一直线上的点之间的关系进行建模，形成一个三维的纵横交错的结构，并利用递归机制重复相同的操作，将直线上的点之间的关系传递到平面上，最终传递到整个时空空间。与非局部方法相比，所提出的RCCA-3D模块减少了25%和30%的视频上下文建模的参数和FLOP的数量。我们在三个数据集上使用两个最新的动作识别网络评估RCCA-3D的性能，并对架构进行了深入分析，获得了分解和融合关系映射的最佳方法。与其他国家的最先进的方法的比较表明，我们的模型的有效性和效率。
2021-04-06 cs.AI cs.CV
Convolutional Two-Stream Network Fusion for Video Action Recognition
Graz University of Technology（格拉茨技术大学）；University of Oxford（牛津大学）
最近应用卷积神经网络（ConvNets）进行视频中的人类动作识别，提出了不同的解决方案，用于合并外观和运动信息。我们研究了多种在空间和时间上融合ConvNet塔的方法，以便最好地利用这种时空信息。我们得出以下发现：（i）空间和时间网络可以在卷积层融合，而不是在softmax层融合，而不会损失性能，但可以大幅节省参数;（ii）最好在最后一个卷积层空间融合此类网络比之前更好，并且在类别预测层进行额外融合可以提高准确性;最后（iii）在时空邻域上汇集抽象卷积特征进一步提高性能。基于这些研究，我们提出了一个新的ConvNet架构的时空融合的视频片段，并评估其性能的标准基准，该架构实现了最先进的结果。
2016-09-26 cs.CV
Learning Spatiotemporal Features via Video and Text Pair Discrimination
Nanjing University（南京大学）
当前的视频表示严重依赖于从手动注释的视频数据集学习，这是耗时且昂贵的获取。我们观察到视频自然伴随着丰富的文本信息，如YouTube标题和Instagram标题。在本文中，我们利用这种视觉-文本连接以有效的弱监督方式学习时空特征。我们提出了一个通用的跨模态对歧视（CPD）的框架来捕捉视频和其相关文本之间的这种相关性。具体而言，我们采用噪声对比估计来解决大量成对实例类所带来的计算问题，并设计了一个实用的课程学习策略。我们在标准视频数据集（Kinetics-210 k）和未经策划的网络视频数据集（Instagram-300 k）上训练我们的CPD模型以证明其有效性。在没有进一步微调的情况下，学习的模型在线性分类协议下获得了对Kinetics的动作分类的竞争结果。此外，我们的视觉模型提供了一个有效的初始化，以微调下游任务，这产生了显着的性能增益UCF 101和HMDB 51上的动作识别，与现有的最先进的自我监督训练方法相比。此外，我们的CPD模型产生了一个新的艺术状态的zero-shot动作识别UCF 101直接利用学习的视觉文本嵌入。该代码将在https://github.com/MCG-NJU/CPD-Video上提供。
2021-01-28 cs.CV
Flatten: Video Action Recognition is an Image Classification task
Capital Normal University（首都师范大学）
该研究提出即插即用的视频表示架构Flatten，通过展平操作将三维时空视频数据转为二维空间信息，使普通图像分类模型可直接完成视频动作识别，在多个常用数据集和经典图像模型上验证了性能提升效果。
2024-08-17 cs.AI cs.CV
MVFNet: Multi-View Fusion Network for Efficient Video Recognition
Baidu Inc.（百度公司）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
时空建模网络及其复杂性是视频动作识别领域的两个研究热点。现有的国家的最先进的方法已经取得了很好的精度，而有效的时空建模解决方案的性能稍逊于复杂性。在本文中，我们试图同时获得效率和效果。首先，除了传统地将H x W x T视频帧视为时空信号（从高度-宽度空间平面观看）之外，我们还建议从其他两个高度-时间和宽度-时间平面对视频进行建模，以彻底捕获视频的动态特性。其次，我们的模型是基于2D CNN主干设计的，并且在设计时考虑了模型的复杂性。具体来说，我们引入了一种新的多视图融合（MVF）模块，利用可分离卷积的视频动态效率。它是一个即插即用的模块，可以插入到现成的2D CNN中，形成一个简单而有效的模型，称为MVFNet。此外，MVFNet可以被认为是一个通用的视频建模框架，它可以在不同的设置下专门用于现有的方法，如C2 D，SlowOnly和TSM。在流行的基准上进行了广泛的实验（即，Something-Something V1 & V2、Kinetics、UCF-101和HMDB-51）来展示其优越性。所提出的MVFNet可以实现最先进的性能与2D CNN的复杂性。
2021-01-05 cs.AI cs.CV
Encoding Surgical Videos as Latent Spatiotemporal Graphs for Object and Anatomy-Driven Reasoning
University of Strasbourg（斯特拉斯堡大学）；IHU-Strasbourg, Institute of Image-Guided Surgery（斯特拉斯堡图像引导外科研究所（IHU-Strasbourg））；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学综合医院基金会IRCCS）；Institute for Research Against Digestive Cancer (IRCAD)（消化道癌症研究所（IRCAD））
本研究提出将手术视频编码为融合长期时间边的潜在时空图，并引入结合先验知识与时间一致性的图编辑模块修正误差，在安全关键视图预测和手术阶段识别任务中取得优异结果，验证了表示的有效性。
2023-12-11 cs.CV
Gradient Boundary Histograms for Action Recognition
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；University of Ottawa（渥太华大学）
本文提出了一种高效的局部时空描述子-梯度边界直方图（GBH）。所提出的GBH描述符是建立在简单的时空梯度，这是快速计算。我们证明，它可以更好地表示局部结构和运动比其他基于梯度的描述符，并显着优于他们在大型现实数据集。综合评价表明，该方法在保持识别精度的同时，大大降低了空间分辨率，既提高了识别效率，又节省了内存。
2014-12-03 cs.CV
End-to-End Semantic Video Transformer for Zero-Shot Action Recognition
Amazon（亚马逊）；University of South Florida（南佛罗里达大学）
虽然视频动作识别多年来一直是一个活跃的研究领域，但zero-shot动作识别直到最近才开始获得关注。在这项工作中，我们提出了一种新的端到端训练的Transformer模型，该模型能够有效地捕获长距离时空依赖性，与使用3D-CNN的现有方法相反。此外，为了解决一个常见的模糊性，在现有的作品类，可以被认为是以前看不见的，我们提出了一个新的实验设置，满足零样本学习的前提下，通过避免训练和测试类之间的重叠动作识别。在UCF-101、HMDB-51和ActivityNet数据集上，所提出的方法在zero-shot动作识别中的前1名准确率方面显著优于现有技术。代码和拟议的实验设置可在GitHub上获得：https://github.com/Secure-and-Intelligent-Systems-Lab/SemanticVideoTransformer
2022-12-02 cs.AI cs.CV
VSViG: Real-time Video-based Seizure Detection via Skeleton-based Spatiotemporal ViG
CenBRAIN Neurotech（CenBRAIN神经科技公司）；Westlake University（西湖大学）；Epilepsy Center, SAHZU, Zhejiang University（浙江大学附属邵逸夫医院癫痫中心）
提出基于骨架时空 Vision Graph 神经网络的 VSViG，结合概率累积决策规则，实现低延迟、低算力、零误检的实时视频癫痫发作检测。
2024-07-08 cs.CV
Self-supervised Spatiotemporal Representation Learning by Exploiting Video Continuity
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Manitoba（曼尼托巴大学）
最近的自我监督视频表示学习方法已经发现了显着的成功，通过探索视频的基本属性，例如速度，时间顺序等。这项工作利用了一个重要的，但未充分探索的视频，视频连续性，以获得监督信号的自我监督表示学习。具体来说，我们制定了三个新的连续性相关的借口任务，即连续性的理由，不连续性本地化，缺失部分近似，共同监督视频表示学习的共享骨干。这种自我监督的方法，被称为连续性感知网络（CPNet），解决了这三个任务，并鼓励骨干网络学习本地和远程运动和上下文表示。它在多个下游任务上优于现有技术，例如动作识别，视频检索和动作定位。此外，视频连续性可以与用于表示学习的其他粗粒度视频属性互补，并且将所提出的借口任务集成到现有技术可以产生很大的性能增益。
2022-01-12 cs.CV cs.LG
Enhancing Video Understanding: Deep Neural Networks for Spatiotemporal Analysis
School of Electrical and Computer Engineering, College of Engineering, University of Tehran（德黑兰大学工程学院电气与计算机工程学院）；School of Cognitive Sciences, Institute for Research in Fundamental Sciences (IPM)（基础科学研究所认知科学学院）
针对视频主导数字领域下对视频内容分析算法的迫切需求，本文探讨视频时空特征与深度神经网络在视频理解的进展，回顾模型趋势、问题及解决方案，并比较相关数据集，以推动视频理解技术发展。
2025-02-11 cs.AI cs.CV
Win-Fail Action Recognition
University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）
当前的视频/动作理解系统在大型识别任务上表现出令人印象深刻的性能。然而，他们可能只限于学习识别时空模式，而不是试图彻底理解这些行为。为了促进对视频更真实、更深入的理解，我们引入了成败动作识别的任务--区分各种活动中成功和失败的尝试。我们引入了第一个配对的赢-失败动作理解数据集，其中包含来自以下领域的样本：“一般特技”，“互联网赢-失败”，“特技射击”和“派对游戏”。“与现有的动作识别数据集不同，类内变化很高，这使得任务具有挑战性，但可行。我们系统地分析了与原型动作识别网络和一个新的视频检索任务的输赢任务/数据集的特点。虽然目前的动作识别方法在我们的任务/数据集上运行良好，但它们仍然存在很大的差距，无法实现高性能。我们希望激励更多的工作，以真正理解行动/视频。数据集可从https://github.com/ParitoshParmar/Win-Fail-Action-Recognition获得。
2021-02-15 cs.CV cs.LG
ReynoldsFlow: Physics-Inspired Spatiotemporal Flow Representation for Video Understanding
The University of Melbourne（墨尔本大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）
针对现有视频理解方法计算成本高、运动表示鲁棒性差的问题，提出基于RTT和HHD的ReynoldsFlow，分解运动为CF和DF分量，可提升下游任务性能且兼具轻量高效性。
2026-08-21 cs.AI cs.CV
Retrieving and Highlighting Action with Spatiotemporal Reference
AIST（产业技术综合研究所）；Keio University（庆应义塾大学）
在本文中，我们提出了一个框架，通过增强当前的深度跨模态检索方法，联合检索和时空突出显示视频中的动作。我们的工作承担了一项新颖的任务，即在未经修剪的视频设置中可视化动作发生的位置和时间。动作高亮是一个细粒度的任务，相比传统的动作识别任务，重点是分类或基于窗口的定位。利用弱监督注释字幕，我们的框架获得时空相关图，并生成本地嵌入的名词和动词的标题。通过实验，我们表明，我们的模型生成各种地图的条件下，不同的行动，在传统的视觉推理方法只去尽可能显示一个单一的确定性显着图。此外，我们的模型在MSR-VTT数据集上将检索召回率提高了2-3%。
2020-05-19 cs.CL cs.CV cs.IR
Skip-Clip: Self-Supervised Spatiotemporal Representation Learning by Future Clip Order Ranking
Canadian Institute for Advanced Research（加拿大高等研究院）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Guelph（圭尔夫大学）；Apple Inc（苹果公司）
深度神经网络需要收集和注释大量数据才能成功训练。为了缓解标注瓶颈，我们提出了一种新的自监督表示学习方法时空特征提取的视频。我们引入了Skip-Clip，一种利用视频中的时间相干性的方法，通过训练一个深度模型来进行未来的剪辑顺序排名，该模型以上下文剪辑为条件，作为视频未来预测的替代目标。我们表明，使用我们的方法学习的功能是可推广的，并强烈转移到下游任务。对于UCF 101数据集上的动作识别，我们比随机初始化获得了51.8%的改进，并且优于使用膨胀的ImageNet参数初始化的模型。Skip-Clip还实现了与最先进的自我监督方法竞争的结果。
2019-10-28 cs.CV
Event Voxel Set Transformer for Spatiotemporal Representation Learning on Event Streams
City University of Hong Kong（香港城市大学）；Beijing University of Technology（北京工业大学）；Hunan Normal University（湖南师范大学）；University of Macau（澳门大学）
本文提出事件体素集合Transformer（EVSTr），通过将事件流转换为体素集合并结合多尺度邻居嵌入、体素自注意力和分段建模策略，实现高效时空表示学习，在物体分类和动作识别上取得领先性能。
2024-09-02 cs.CV
