Physics-Driven Spatiotemporal Modeling for AI-Generated Video Detection
South China University of Technology（华南理工大学）；University of Science and Technology of China（中国科学技术大学）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室）；Pazhou Lab（琶洲实验室）；University of Melbourne（墨尔本大学）；Hunan University（湖南大学）；Hong Kong Baptist University（香港 Baptist大学）
Shuhai Zhang, ZiHao Lian, Jiahao Yang, Daiyuan Li, Guoxuan Pang, Feng Liu, Bo Han, Shutao Li, Mingkui Tan
AI-generated videos have achieved near-perfect visual realism (e.g., Sora), urgently necessitating reliable detection mechanisms. However, detecting such videos faces significant challenges in modeling high-dimensional spatiotemporal dynamics and identifying subtle anomalies that violate physical laws. In this paper, we propose the first physics-driven AI-generated video detection paradigm based on probability flow conservation principles. Specifically, we propose a statistic called Normalized Spatiotemporal Gradient (NSG), which quantifies the ratio of spatial probability gradients to temporal density changes, explicitly capturing deviations from natural video dynamics. Leveraging pre-trained diffusion models, we develop an NSG estimator through spatial gradients approximation and motion-aware temporal modeling without complex motion decomposition while preserving physical constraints. Building on this, we propose an NSG-based video detection method (NSG-VD) that computes the Maximum Mean Discrepancy (MMD) between NSG features of the test and real videos as a detection metric. Last, we derive an upper bound of NSG feature distances between real and generated videos, proving that generated videos exhibit amplified discrepancies due to distributional shifts. Extensive experiments confirm that NSG-VD outperforms state-of-the-art baselines by 16.00% in Recall and 10.75% in F1-Score, validating the superior performance of NSG-VD. The source code is available at https://github.com/ZSHsh98/NSG-VD.
STRPM: A Spatiotemporal Residual Predictive Model for High-Resolution Video Prediction
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peking University（北京大学）
A Survey: Spatiotemporal Consistency in Video Generation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
GlobalPaint: Spatiotemporal Coherent Video Outpainting with Global Feature Guidance
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（人机混合增强智能国家重点实验室，人工智能与机器人研究院，西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
Using 3D Convolutional Neural Networks to Learn Spatiotemporal Features for Automatic Surgical Gesture Recognition in Video
National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）；University Hospital Carl Gustav Carus（卡尔·古斯塔夫·卡鲁斯大学医院）；TU Dresden（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人在环触觉互联网中心）
STAU: A SpatioTemporal-Aware Unit for Video Prediction and Beyond
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术创新研发中心）
Latent Spatiotemporal Adaptation for Generalized Face Forgery Video Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；RealAI
Video-CoT: A Comprehensive Dataset for Spatiotemporal Understanding of Videos Based on Chain-of-Thought
Institute of Automation, CAS（中国科学院自动化研究所）；School of Artifcial Intelligence, UCAS（中国科学技术大学人工智能学院）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）；Shenzhen International GraduateSchool,Tsinghua University（深圳国际研究生院，清华大学）；State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，北京大学计算机学院）
Spatiotemporal Action Recognition in Restaurant Videos
Carnegie Mellon University（卡内基梅隆大学）
时空动作识别是对视频中的动作进行定位和分类的任务。我们的项目将此任务应用于分析餐厅工作人员准备食物的视频片段，其潜在应用包括自动结账和库存管理。这些视频与研究人员习惯的标准化数据集截然不同，因为它们涉及小对象，快速动作和众所周知的不平衡数据类。我们探索两种方法。第一种方法涉及熟悉的对象检测器You Only Look Once，另一种方法应用最近提出的动作识别模拟，You Only Watch Once。首先，我们使用卷积LSTM设计并实现了一种新颖的、经常性的YOLO修改，并探索了这种网络训练中的各种微妙之处。在第二部分中，我们研究了YOWO三维卷积捕捉我们独特数据集的时空特征的能力
Spatiotemporal CNNs for Pornography Detection in Videos
UFSCar - Federal University of Sao Carlos（圣卡洛斯联邦大学）；IFSP - Federal Institute of Education of Sao Paulo（圣保罗联邦教育学院）；UNESP - Sao Paulo State University（圣保罗州立大学）
随着越来越多地使用社交网络和移动设备，发布在互联网上的视频数量呈指数级增长。在互联网上发布的不适当内容中，色情是最令人担忧的内容之一，因为青少年和儿童可以访问。在本研究中，评估了两种时空CNN，VGG-C3 D CNN和ResNet R（2+1）D CNN，用于视频中的色情检测。使用Pornography-800数据集的实验结果表明，这些时空CNN的性能优于一些基于视觉词袋的最先进方法，并且与其他基于CNN的方法相比具有竞争力，准确率达到95.1%。
SSTVOS: Sparse Spatiotemporal Transformers for Video Object Segmentation
University of Toronto（多伦多大学）；University of Guelph（圭尔夫大学）；Université de Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；Modiface Inc（Modiface公司）；Vector Institute（矢量研究所）
Deepfake Video Detection with Spatiotemporal Dropout Transformer
Institute of Information Engineering, Chinese Academy of Science（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
Towards Improving Spatiotemporal Action Recognition in Videos
Carnegie Mellon University（卡内基梅隆大学）
时空动作识别处理视频中动作的定位和分类。受最新的实时对象检测器You Only Watch Once（YOWO）的启发，我们的目标是修改其结构，以提高动作检测精度并减少计算时间。具体来说，我们提出了四种新的方法，试图改善YOWO和解决不平衡的类视频的问题，通过修改的损失函数。我们考虑两个中等大小的数据集来应用我们对YOWO的修改-流行的关节注释人体运动数据库（J-HMDB-21）和由卡内基梅隆大学的初创公司Agot. AI提供的餐厅视频片段的私人数据集。后者涉及小对象的快速移动动作以及不平衡的数据类，使得动作本地化任务更具挑战性。我们在GitHub存储库https://github.com/stoneMo/YOWOv2中实现了我们提出的方法。
