Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而，没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中，我们提出了在视频的每一帧中估计3D姿态，并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性，提高了3D姿态估计精度。
2020-11-04 cs.CV
Skepxels: Spatio-temporal Image Representation of Human Skeleton Joints for Action Recognition
The University of Western Australia（西澳大学）
人体骨骼关节可以很容易地从视频中提取出来以去除背景噪声，因此在动作分析中很受欢迎。然而，当前的骨架表示并不能完全受益于使用CNN的机器学习。我们提出了"Skepxels"的时空表示骨架序列，充分利用"本地"关节之间的相关性，使用二维卷积核的CNN。我们使用Skepxels将骨架视频转换为灵活尺寸的图像，并开发了一个基于CNN的框架，用于使用所得图像进行有效的人类动作识别。Skepxels通过最大化唯一的距离度量来编码关于帧中的骨架关节的丰富的时空信息，该距离度量在骨架图像中使用的不同关节布置上协作地定义。此外，它们在编码复合语义概念（例如关节的位置和速度）方面是灵活的。所提出的动作识别利用表示在一个分层的方式，首先捕捉骨骼关节与Skeppels之间的微观时间关系，然后利用它们的宏观时间关系，通过计算傅立叶时间金字塔的CNN功能的骨架图像。我们使用所提出的方法扩展了Inception-ResNet CNN架构，并在大规模NTU人类活动数据集上将最先进的准确率提高了4.4%。在中等规模的N-UCLA和UTH-MHAD数据集上，我们的方法分别比现有的结果高出5.7%和9.3%。
2018-08-03 cs.CV
Enhancing Quality for VVC Compressed Videos by Jointly Exploiting Spatial Details and Temporal Structure
The Hong Kong University of Science and Technology（香港科技大学）；University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们提出了一个多功能视频编码（VVC）压缩视频的质量增强网络，通过联合利用空间细节和时间结构（SDTS）。该网络由时间结构融合子网和空间细节增强子网组成。前一个子网络用于估计和补偿跨帧的时间运动，后一个子网络用于减少压缩伪影，提高压缩视频的重建质量。实验结果表明，我们的SDTS为基础的方法的有效性。
2019-05-22 cs.CV
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
Fudan University（复旦大学）；University of Maryland, College Park（马里兰大学学院公园分校）
VideoLoom是一种用于联合空间-时间理解的视频大语言模型，通过LoomData-8.7k数据集和LoomBench基准测试，在多个视频理解任务中取得优异性能。
2026-01-12 cs.CV
Temporal Action Detection by Joint Identification-Verification
University of Electronic Science and Technology of China（电子科技大学）；Northeastern University（东北大学）
时序动作检测的目的不仅是识别动作类别，而且还检测未修剪视频中每个动作实例的开始时间和结束时间。该任务的关键挑战是准确地对动作进行分类并确定每个动作实例的时间边界。在时间动作检测基准测试程序THUMOS 2014中，同一动作类别存在较大的差异，而不同动作类别之间存在较多的相似性，这限制了时间动作检测的性能。为了解决这个问题，我们建议使用联合识别验证网络，以减少内部动作的变化和扩大相互作用的差异。联合识别-验证网络是一种基于3D ConvNets的连体网络，它可以同时预测视频提案片段输入对的动作类别和相似性得分。在具有挑战性的THUMOS 2014数据集上进行的大量实验结果表明，与现有的未修剪视频中的时间动作检测方法相比，我们所提出的方法是有效的。
2018-10-19 cs.CV
Joint Temporal Pooling for Improving Skeleton-based Action Recognition
University of Wollongong（卧龙岗大学）；Advanced Multimedia Research Lab（先进多媒体研究实验室）
针对传统时间池化方法忽略运动信息保留、对所有帧同等处理的问题，本文提出联合运动自适应时间池化JMAP方法及帧级、关节级两种变体，在NTU RGB+D 120与PKU-MDD数据集上验证了其对骨架动作识别的提升效果。
2024-08-18 cs.CV
Joint Flow: Temporal Flow Fields for Multi Person Tracking
University of Bonn（波恩大学）
在这项工作中，我们提出了一个在线的多人姿态跟踪方法，该方法适用于两个连续的帧$I_{t-1}$和$I_t$。我们的时间网络的一般公式允许依赖于任何多人姿势估计方法作为空间网络。从空间网络中，我们提取图像特征和姿势特征的两个帧。这些特征作为我们预测时间流场（TFF）的时间模型的输入。这些TFF是指示每个身体关节将从帧$I_{t-1}$移动到帧$I_t$的方向的矢量场。这种新颖的表示允许制定检测到的关节的相似性度量。这些相似性被用作二分图优化问题中的二进制势，以便执行多个姿态的跟踪。我们表明，这些TFF可以通过相对较小的CNN网络学习，同时实现最先进的多人姿态跟踪结果。
2018-07-20 cs.CV
Learning Joint Spatial-Temporal Transformations for Video Inpainting
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
高质量的视频修复是一个很有前途但又具有挑战性的任务。现有的方法采用注意力模型，通过从参考帧中搜索缺失的内容来完成一帧，并进一步逐帧完成整个视频。然而，这些方法可能会受到沿着空间和时间维度的不一致的注意力结果的影响，这通常会导致视频中的模糊和时间伪影。在本文中，我们提出了一个联合学习时空Transformer网络（STTN）的视频修复。具体来说，我们同时填补丢失的区域在所有输入帧的自我注意，并建议优化STTN的时空对抗损失。为了显示所提出的模型的优越性，我们进行定量和定性的评价，使用标准的静止掩模和更真实的运动物体掩模。演示视频可在https://github.com/researchmm/STTN上获得。
2020-07-20 cs.CV
A Decoupled Spatio-Temporal Framework for Skeleton-based Action Segmentation
Nankai University（南开大学）；Tianjin University（天津大学）
针对骨骼动作分割中时空耦合建模导致的长序列过度平滑与关节差异被忽略问题，本文提出DeST框架，通过分组自适应交互和关节独立时间建模提升性能并降低计算复杂度。
2023-12-10 cs.CV
Joint Optical Flow and Temporally Consistent Semantic Segmentation
TU Darmstadt（达姆施塔特工业大学）
随着自主系统的发展，视觉场景理解的重要性和需求不断增加。因此，已经有大量的研究致力于语义分割和密集运动估计。在本文中，我们提出了一种方法，联合估计光流和时间一致的语义分割，这两个问题域紧密相连，并相互利用。语义分割向其相关联的像素提供关于合理物理运动的信息，并且准确的像素级时间对应性增强了时间域中的语义分割的准确性。我们展示了我们的方法的好处KITTI基准，在那里我们观察流和分割的性能增益。我们实现了最先进的光流结果，并在具有挑战性但至关重要的动态对象上大幅优于所有已发表的算法。
2016-07-26 cs.CV
Focal and Global Spatial-Temporal Transformer for Skeleton-based Action Recognition
Zhengzhou University（郑州大学）；DAMO Academy, Alibaba Group (U.S.) Inc（阿里巴巴集团（美国）达摩院）；University of Wollongong（伍伦贡大学）
尽管Transformer在各种视觉任务中取得了很大的进步，但它仍然是基于视觉的动作识别的探索不足，只有少数尝试。此外，这些方法直接在空间和时间维度上计算所有关节的成对全局自注意，低估了判别性局部关节和短程时间动态的影响。在这项工作中，我们提出了一种新的焦点和全球时空Transformer网络（FG-STFormer），它配备了两个关键组件：（1）FG-SFormer：焦点关节和全球部分耦合空间Transformer。它迫使网络专注于分别为学习到的有区别的空间关节和人体部位建模相关性。选择性的局灶节点消除了无信息节点在积累相关性过程中的负面影响。同时，焦点关节和身体部位之间的相互作用被纳入通过相互交叉注意来增强空间依赖性。(2)FG-TFormer：焦点和全局时间Transformer。扩展时间卷积被集成到全局自注意力机制中，以显式地捕获关节或身体部位的局部时间运动模式，这对使时间Transformer工作至关重要。在NTU-60，NTU-120和NW-UCLA三个基准上的大量实验结果表明，我们的FG-STFormer超越了所有现有的基于变压器的方法，并与最先进的基于GCN的方法相媲美。
2022-10-06 cs.CV
Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
对比学习已被成功地利用来学习动作表示，以解决基于半监督模型的动作识别问题。然而，大多数基于对比学习的方法只对混合时空信息的全局特征进行对比，混淆了帧级和关节级反映不同语义的时空特定信息。因此，我们提出了一种新的时空解耦和挤压对比学习（SDS-CL）框架，全面学习更丰富的表示基于动作的联合对比空间压缩功能，时间压缩功能，和全局功能。在SDS-CL中，我们设计了一种新的时空解耦的内部-内部注意（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦的内部注意映射，以及关节和运动特征之间的空间和时间解耦的内部注意映射，来获得时空解耦的注意特征，以捕获时空特定的信息。此外，我们提出了一个新的空间压缩时间对比损失（STL），一个新的时间压缩空间对比损失（TSL），和全局对比损失（GL）的对比空间压缩关节和运动特征在帧水平，时间压缩关节和运动特征在关节水平，以及全局关节和运动特征在骨架水平。在四个公共数据集上的实验结果表明，与其他竞争性方法相比，SDS-CL算法具有更好的性能.
2023-02-05 cs.CV
Distance-Aware Joint Spatio-Temporal Graph Contrastive Learning for Major Depressive Disorder Diagnosis
School of Information Technology and Communication, Griffith University, Australia（信息科技与通信学院，格里菲斯大学，澳大利亚）
针对动态功能连接在重度抑郁症诊断中的噪声、频域信息利用不足及时空分离建模问题，提出基于霍克斯过程先验的联合时空图对比学习框架HWSTCL，通过谱节点描述符、指数距离衰减边权重和核加权对比目标，实现可靠时空表示并提升诊断性能。
2026-05-22 cs.CV
Video Inpainting by Jointly Learning Temporal Structure and Spatial Details
Megvii (Face++)（旷视（Face++））；Shenzhen Research Inst. of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong（香港中文大学）
我们提出了一种新的数据驱动的视频修复方法，用于恢复视频帧的丢失区域。提出了一种新的深度学习体系结构，该体系结构包含两个子网络：时间结构推理网络和空间细节恢复网络。时间结构推理网络建立在3D全卷积架构上：它只学习完成低分辨率视频卷，因为3D卷积的计算成本很高。低分辨率结果为空间细节恢复网络提供了时间指导，空间细节恢复网络使用2D全卷积网络执行基于图像的修补，以产生原始分辨率的恢复视频帧。这种两步网络设计确保了每个帧的空间质量和跨帧的时间相干性。我们的方法以端到端的方式联合训练两个子网络。我们在三个数据集上提供了定性和定量的评估，证明了我们的方法优于以前基于学习的视频修复方法。
2018-12-03 cs.CV
Joint Image-Instance Spatial-Temporal Attention for Few-shot Action Recognition
Shanghai Jiao Tong University（上海交通大学）；The University of Tokyo（东京大学）；E-surfing Vision Technology Co., Ltd.（天翼视觉科技有限公司）
针对少样本动作识别中图像级特征含背景噪声、忽视动作相关实例的问题，提出I2ST，通过实例感知与联合图像-实例时空注意力增强特征表达。
2025-03-11 cs.CV
TBP-Former: Learning Temporal Bird's-Eye-View Pyramid for Joint Perception and Prediction in Vision-Centric Autonomous Driving
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）；Shanghai AI Laboratory（上海人工智能实验室）
以视觉为中心的联合感知和预测（PSENS）已经成为自动驾驶研究的一个新兴趋势。它从原始RGB图像中预测周围环境中交通参与者的未来状态。然而，由于不可避免的几何失真，同步在多个相机视图和时间戳处获得的特征并进一步利用这些时空特征仍然是一个关键的挑战。为了解决这个问题，我们提出了一个时间鸟瞰金字塔Transformer（TBP-Former）的视觉为中心的PADER，其中包括两个新颖的设计。首先，提出了姿态同步的BEV编码器，以在任何时间将具有任何相机姿态的原始图像输入映射到共享和同步的BEV空间，以实现更好的时空同步。其次，引入时空金字塔Transformer，在时空先验的支持下，综合提取多尺度BEV特征并预测未来BEV状态。在nuScenes数据集上进行的大量实验表明，我们提出的框架总体上优于所有最先进的基于视觉的预测方法。
2023-03-22 cs.CV
MixSTE: Seq2seq Mixed Spatio-Temporal Encoder for 3D Human Pose Estimation in Video
Wuhan University（武汉大学）；Soochow University（苏州大学）；Technical University of Munich（慕尼黑工业大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
最近的基于变换的解决方案已经被引入到通过全局地考虑所有帧之间的身体关节来学习时空相关性来从2D关键点序列估计3D人体姿势。我们观察到不同关节的运动有很大的不同。然而，以前的方法不能有效地模型的固体帧间对应的每个关节，导致空间-时间相关性的学习不足。我们提出了MixSTE（混合时空编码器），它有一个时间Transformer块来分别模拟每个关节的时间运动和一个空间Transformer块来学习关节间的空间相关性。这两个块交替使用，以获得更好的时空特征编码。此外，网络输出从输入视频的中心帧扩展到整个帧，从而提高了输入和输出序列之间的相干性。在三个基准（Human3.6M、MPI-INF-3DHP和HumanEva）上进行了广泛的实验。结果表明，我们的模型优于国家的最先进的方法，10.9%的P-MPJPE和7.6%的MPJPE。该代码可在https://github.com/JinluZhang1126/MixSTE上获得。
2022-04-25 cs.CV
Joint Visual-Temporal Embedding for Unsupervised Learning of Actions in Untrimmed Sequences
University of Notre Dame（圣母大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）
在动作识别领域，理解未修剪视频中复杂动作的结构是一项具有挑战性的任务。这里的一个问题是，该任务通常需要大量手动注释的分钟甚至小时长的视频数据，但是注释这样的数据非常耗时，并且不容易自动化或扩展。为了解决这个问题，本文提出了一种基于联合视觉-时间嵌入空间的未裁剪视频序列动作无监督学习方法。为此，我们将基于预测U-Net架构的视觉嵌入与时间连续函数相结合。由此产生的表示空间允许检测相关的动作集群的基础上，他们的视觉以及他们的时间外观。该方法在三个标准基准数据集上进行了评估，早餐动作，INRIA YouTube教学视频和50沙拉。我们表明，所提出的方法是能够提供一个有意义的视觉和时间嵌入的视觉线索存在于连续的视频帧，是适合的任务，无监督的时间分割的行动。
2020-09-30 cs.CV
Learning Dynamical Human-Joint Affinity for 3D Pose Estimation in Videos
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Shanghai AI Laboratory（上海人工智能实验室）
图卷积网络（GCN）已成功用于视频中的3D人体姿态估计。然而，它往往是建立在固定的人体关节亲和力，根据人体骨骼。这可能会降低GCN处理视频中复杂的时空姿态变化的适应能力。为了缓解这个问题，我们提出了一种新的动态图网络（DG-Net），它可以动态地识别人体关节的亲和力，并估计3D姿态自适应学习空间/时间的联合关系从视频。与传统的图卷积不同，我们引入动态空间/时间图卷积（DSG/DTG）来发现每个视频样本的空间/时间人体关节亲和力，这取决于该视频中人体关节之间的空间距离/时间运动相似性。因此，它们可以有效地理解哪些关节在空间上更接近和/或具有一致的运动，以在将2D姿态提升到3D姿态时减少深度模糊性和/或运动不确定性。我们对三个流行的基准进行了广泛的实验，例如，Human3.6M、HumanEva-I和MPI-INF-3DHP，其中DG-Net以更少的输入帧和模型大小优于许多最近的SOTA方法。
2021-09-15 cs.CV
SyncDPO: Enhancing Temporal Synchronization in Video-Audio Joint Generation via Preference Learning
Renmin University of China（中国人民大学）；Westlake University（西湖大学）
本文提出SyncDPO框架，通过引入基于规则的负样本生成策略提升视频音频联合生成的时序同步能力，并在多个基准测试中验证了其有效性。
2026-05-12 cs.CV
Jointly Learning Spatial, Angular, and Temporal Information for Enhanced Lane Detection
本文提出联合利用光场成像中的空间、角度与时间信息，结合二维光场表示、LSTM和改进CNN，在困难条件下显著提升车道检测性能，为自动驾驶感知提供新思路。
2024-05-05 cs.CV
Joint Representation of Temporal Image Sequences and Object Motion for Video Object Detection
Hanyang University（汉阳大学）；SK Telecom（SK电讯）
在本文中，我们提出了一种新的视频对象检测器（VoD）的方法称为时间特征聚合和运动感知的VoD（TM-VoD），它产生一个联合表示的时间图像序列和对象运动。建议的TM-VoD聚合的视觉特征图提取的卷积神经网络应用时间注意门控和空间特征对齐。该时间特征聚合以分层方式在两个阶段中执行。在第一阶段中，视觉特征映射通过门控注意模型在像素级融合。在第二阶段，该方法聚合后，对齐的对象特征使用时间框偏移校准和加权后，根据余弦相似性度量的功能。建议的TM-VoD也发现在两个连续的步骤中的对象的运动的表示。首先基于相邻视觉特征图之间的增量变化计算像素级运动特征。然后，从感兴趣区域（RoI）对齐的像素级运动特征和框坐标的顺序变化获得框级运动特征。最后，将所有这些特征连接起来，以产生VoD对象的联合表示。在ImageNet VID数据集上进行的实验表明，该方法优于现有的VoD方法，并实现了与最先进的VoD相当的性能。
2020-11-20 cs.CV
T-JEPA: A Temporal Joint-Embedding Predictive Architecture for Learning Better Remote Sensing Representations
National University of Defense Technology（国防科技大学）
T-JEPA提出时间联合嵌入预测架构，利用EO序列稀疏时间采样作为监督，通过时间间隔条件化潜在转换学习表示，在匹配预训练条件下取得静态与时间任务领先迁移性能。
2026-10-06 cs.CV
NCSTR: Node-Centric Decoupled Spatio-Temporal Reasoning for Video-based Human Pose Estimation
Griffith University（格里菲斯大学）
本文提出NCSTR框架，通过融合视觉、时间和结构推理，解决视频人体姿态估计中的模糊、遮挡和复杂时空动态问题，通过双分支解耦时空注意力图和节点空间专家融合模块提升姿态估计精度。
2026-03-20 cs.CV
Learning Coupled Spatial-temporal Attention for Skeleton-based Action Recognition
Beihang University（北京航空航天大学）
在本文中，我们提出了一个耦合的时空注意力（CSTA）模型的基于动作识别，其目的是找出最具歧视性的关节和帧在空间和时间域的同时。传统的方法通常认为骨骼序列中的所有关节或帧都同等重要，这对模糊和冗余的信息是不鲁棒的。为了解决这个问题，我们首先通过两个子网络分别为不同的关节和帧学习两组权重，这使得模型具有“关注”相对信息部分的能力。然后，我们计算叉积的关节和帧的权重的时空耦合的注意。此外，我们的CSTA机制可以很容易地插入到现有的分层CNN模型（CSTA-CNN），以实现其功能。在最近收集的UESTC数据集和目前最大的NTU数据集上进行的大量实验结果表明，我们提出的方法对基于手势的动作识别是有效的。
2019-09-23 cs.CV
Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking
The Hong Kong University of Science and Technology（香港科技大学）
直接从序列图像中学习多个三维目标的运动是困难的，而几何光束法平差缺乏定位不可见目标质心的能力。为了利用深度神经网络强大的目标理解能力，同时解决精确的几何建模以实现一致的轨迹估计，我们提出了一种基于时空联合优化的立体3D目标跟踪方法。从网络中，我们检测相邻图像上的相应的2D边界框，并回归初始3D限界框。然后使用基于区域的网络预测与对象质心相关联的密集对象线索（局部深度和局部坐标）。同时考虑到即时定位精度和运动一致性，我们的优化模型之间的关系的对象质心和观察到的线索到一个联合的时空误差函数。所有的历史线索将被总结，以有助于通过每帧边缘化策略的当前估计，而无需重复计算。KITTI跟踪数据集的定量评估表明，我们的方法优于以前的基于图像的3D跟踪方法的显着利润率。我们还报告了多个类别和更大数据集（KITTI raw和Argoverse Tracking）的广泛结果，以供未来的基准测试。
2020-04-20 cs.CV
Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-Identification
Peking University（北京大学）
由于源域和目标域之间存在较大的域间隙，以及目标域上标记数据的缺乏，无监督域自适应人员重新识别（ReID）具有挑战性。本文通过结合局部单热分类和全局多类分类来联合执行视觉和时间一致性来应对这一挑战。局部独热分类算法在一个训练批中分配不同的人物ID，然后采用自适应分类（SAC）模型对它们进行分类。全局多类分类是通过使用基于记忆的时间引导聚类（MTC）在整个未标记的训练集上预测标签来实现的。MTC通过考虑视觉相似性和时间一致性来预测多类标签，以确保标签预测的质量。这两个分类模型结合在一个统一的框架中，有效地利用了未标记的数据进行区分性特征学习。在三个大规模ReID数据集上的实验结果表明，该方法在无监督和无监督域自适应ReID任务中均具有较好的性能.例如，在无监督设置下，我们的方法优于最近的无监督域自适应方法，后者利用更多的标签进行训练。
2020-07-21 cs.CV
SkateFormer: Skeletal-Temporal Transformer for Human Action Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出SkateFormer，一种骨骼-时间变换器，通过划分关节和帧并执行分区自注意力，高效捕捉动作识别中的关键骨骼-时间关系，在多个基准上超越现有最先进方法。
2024-07-17 cs.CV
MoChat: Joints-Grouped Spatio-Temporal Grounding LLM for Multi-Turn Motion Comprehension and Description
Central South University（中南大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；Xinjiang University（新疆大学）
针对现有模型在动作时机识别和多轮交互上的局限，提出多模态大模型MoChat，通过关节分组骨架编码器与LLM嵌入结合实现时空感知，并构建多轮对话数据联合训练，首次实现人体动作的细粒度时空定位。
2024-10-15 cs.CV
FISR: Deep Joint Frame Interpolation and Super-Resolution with a Multi-scale Temporal Loss
Korea Advanced Institute of Science and Technology（韩国科学技术院）
超分辨率（SR）已被广泛用于将低分辨率传统视频转换为高分辨率（HR）视频，以适应显示器（例如，UHD TV）的分辨率增加。然而，人类更容易注意到在较大尺寸的显示器上呈现的HR视频中的运动伪影（例如，运动抖动）。因此，广播标准支持用于UHD（超高清）视频的更高帧速率（4K@60 fps，8K@120 fps），这意味着仅应用SR不足以产生真正的高质量视频。因此，为了对传统视频进行上转换以用于实际应用，不仅需要SR，而且需要视频帧内插（VFI）。在本文中，我们首先提出了一个联合VFI-SR框架，用于将视频的时空分辨率从2K 30 fps提升到4K 60 fps。为此，我们提出了一种新的训练方案，该方案具有多尺度时间损失，对输入视频序列进行时间正则化，可以应用于任何一般的视频相关任务。通过大量的实验对所提出的结构进行了深入的分析。
2022-02-07 cs.CV
Unsupervised Domain Adaptation with Temporal-Consistent Self-Training for 3D Hand-Object Joint Reconstruction
École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
深度学习-当有注释数据集可用于训练它们处理测试时将遇到的场景和照明条件时，用于手部对象3D姿态和形状估计的解决方案现在非常有效。不幸的是，情况并非总是如此，人们往往不得不求助于在合成数据上训练它们，这并不能保证它们在实际情况下工作良好。在本文中，我们介绍了一种有效的方法来解决这一挑战，利用循环生成对抗网络（CycleGAN）内的3D几何约束来执行领域自适应。此外，与大多数现有作品相比，这些作品未能利用未标记的真实视频中丰富的时间信息作为监督来源，我们建议强制执行短期和长期的时间一致性，以自我监督的方式微调域适应模型。我们将证明，我们的方法优于国家的最先进的3D手对象关节重建方法在三个广泛使用的基准，并将使我们的代码公开。
2020-12-21 cs.CV
JCDNet: Joint of Common and Definite phases Network for Weakly Supervised Temporal Action Localization
Alibaba DAMO Academy（阿里巴巴达摩院）
弱监督时间动作定位的目的是定位动作实例在未经修剪的视频，只有视频级的监督。我们见证了不同的行动记录共同的阶段，例如，跳高和跳远中的助跑。这些不同的动作被定义为联合动作，其其余部分是确定的阶段，例如，在跳高中跳过横杆。相对于普通相位，已有研究中的定相相位更容易局部化。大多数人将此任务表述为多实例学习范式，其中公共阶段往往与背景相混淆，并影响联合动作的本地化完整性。为了应对这一挑战，我们提出了一个共同的和确定的相位网络（JCDNet），通过提高联合行动的特征可辨别性。具体地说，我们设计了一个类感知判别模块，以提高在分类的粗确定相位特征的指导下的共同相位的贡献。此外，我们引入了一个时间注意力模块，通过建模时间依赖性来学习鲁棒的动作性分数，区分公共相位和背景。在三个数据集（THUMOS 14，ActivityNetv1.2和一个联合动作子集）上进行的大量实验表明，JCDNet与最先进的方法相比具有竞争力的性能。关键词：弱监督学习，时间动作局部化，联合动作
2023-03-30 cs.CV
Kinematics Modeling Network for Video-based Human Pose Estimation
Beijing University of Posts and Telecommunications（北京邮电大学）；Chinese Academy of Surveying and Mapping（中国测绘科学研究院）；Southwest Jiaotong University（西南交通大学）；Wuhan University（武汉大学）
针对视频人体姿态估计中关节时序相关性被忽视的问题，提出即插即用KMM模块与递归定位的KIMNet，并在两个基准上达到最先进性能。
2024-04-17 cs.CV
Disentangled Diffusion-Based 3D Human Pose Estimation with Hierarchical Spatial and Temporal Denoiser
提出DDHPose，一种基于解耦扩散的3D人体姿态估计方法，通过在扩散过程中解耦骨骼长度与方向并引入分层时空去噪器（HSTDenoiser），有效缓解层级误差累积，提升了单目3D姿态估计的精度。
2025-06-30 cs.CV
Temporal Transformer Networks: Joint Learning of Invariant and Discriminative Time Warping
Arizona State University（亚利桑那州立大学）
许多时间序列分类问题涉及开发对时间错位不变的度量。在人体活动分析中，由于各种原因，包括不同的初始相位，传感器采样率，和弹性时间扭曲，由于受试者特定的生物力学的时间错位出现。过去在这方面的工作只着眼于通过弹性时间对齐来减少类内变异。在本文中，我们提出了一种基于模型和数据驱动的混合方法来学习扭曲函数，不仅减少了类内变异，而且增加了类间分离。我们称之为时间Transformer网络（TTN）。TTN是一个可解释的可微分模块，可以很容易地集成在分类网络的前端。该模块能够通过生成导致速率鲁棒表示的依赖于输入的扭曲函数来减少类内方差。同时，它通过学习更具区分力的扭曲函数来增加类间方差。我们使用所提出的框架在具有挑战性的数据集上的3D动作识别中显示了强基线的改进。当训练集较小时，这种改进尤其明显。
2019-06-13 cs.CV
Joint Recognition and Segmentation of Actions via Probabilistic Integration of Spatio-Temporal Fisher Vectors
University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）；NICTA（澳大利亚国家信息通信技术中心）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
我们提出了一个分层的方法来进行联合分类和分割的多动作识别。一个给定的视频（包含几个连续的动作）通过一系列重叠的时间窗口进行处理。时间窗口中的每个帧通过选择性的低级别时空特征来表示，这些特征有效地捕获相关的局部动态。来自每个窗口的特征被表示为Fisher向量，其捕获一阶和二阶统计量。不是直接对每个Fisher向量进行分类，而是将其转换为类别概率的向量。然后，通过在帧级整合类概率来获得每个帧的最终分类决策，这利用了时间窗口的重叠。实验在两个数据集上进行：s-KTH（KTH数据集的拼接版本，用于模拟多动作）和具有挑战性的CMU-MMAC数据集。在s-KTH上，所提出的方法实现了85.0%的准确率，显著优于最近基于Gestival和Hestival的两种方法，分别获得78.3%和71.2%。在CMU-MMAC上，该方法的准确率为40.9%，优于GMM和HMM方法，分别为33.7%和38.4%。此外，所提出的系统平均比基于GMM的方法快40倍。
2016-10-04 cs.CV
Skeleton-Based Action Segmentation with Multi-Stage Spatial-Temporal Graph Convolutional Neural Networks
KU Leuven（鲁汶大学）
识别和时间分割运动捕捉序列中的细粒度动作的能力对于人体运动分析的应用至关重要。运动捕捉通常用光学或惯性测量系统来执行，其将人类运动编码为人类关节位置和取向的时间序列或其高阶表示。最先进的动作分割方法使用多个阶段的时间卷积。其主要思想是使用几层时间卷积生成初始预测，并在多个阶段上改进这些预测，也使用时间卷积。虽然这些方法捕捉长期的时间模式，初始预测没有充分考虑人类关节之间的空间层次结构。为了解决这个问题，我们最近引入了多级时空图卷积神经网络（MS-GCN）。我们的框架用空间图卷积和扩张的时间卷积取代了时间卷积的初始阶段，这更好地利用了关节的空间配置及其长期的时间动态。我们的框架与五项任务的四个强基线进行了比较。实验结果表明，我们的框架是一个强有力的基线为基础的动作分割。
2022-10-09 cs.CV
Temporal Consistency Two-Stream CNN for Human Motion Prediction
Beijing University of Posts and Telecommunications（北京邮电大学）
融合对于双流网络至关重要。在本文中，我们提出了一种新的时间融合（TF）模块，融合两个流关节的信息来预测人体运动，包括一个时间级联和一个强化轨迹时空（TST）块，专门设计来保持预测的时间一致性。特别地，时间级联保持来自两个流的初步预测的时间一致性。同时，TST块改善了时空特征耦合。然而，TF模块可以增加第一预测姿态和给定姿态之间以及每个预测姿态之间的时间连续性。该融合基于由动态速度流（V-Stream）和静态位置流（P-Stream）组成的双流网络，因为我们发现关节的速度信息改善了短期预测，而关节的位置信息更好地用于长期预测，并且它们在运动预测中是互补的。最后，我们的方法在三个基准数据集上取得了令人印象深刻的结果，包括H3.6M，CMU-Mocap和3DPW的短期和长期预测，证实了其有效性和效率。
2021-04-11 cs.CV
Dynamic Action Recognition: A convolutional neural network model for temporally organized joint location data
Worcester Polytechnic Institute（伍斯特理工学院）
动机：识别视频中的人类动作是一项具有挑战性的任务，在各个领域都有应用。这一领域的先前作品使用了来自2D或3D相机的图像。很少有人使用人类动作可以通过3D空间中关节的运动轻松识别的想法，而是使用递归神经网络（RNN）进行建模。卷积神经网络（CNN）甚至能够识别数据中的复杂模式，这使得它适合用于检测人类行为。因此，我们建立了一个CNN模型，它可以使用联合数据预测人类活动。此外，使用联合数据表示具有比图像或视频表示更低维度的益处。这使得我们的模型比RNN模型更简单，更快。在这项研究中，我们开发了一个六层卷积网络，它将形式为15x1961x4的每个输入特征向量简化为一维二进制向量，从而为我们提供预测的活动。结果：我们的模型能够正确识别活动，准确率高达87%。关节数据来自康奈尔活动数据集，其中包括日常活动，如谈话，放松，饮食，烹饪等。
2016-12-20 cs.CV
UniTeD: Unified Temporal Diffusion for Joint Perception and Planning in Autonomous Driving
Nullmax；Westlake University（西湖大学）
提出UniTeD框架，通过共享生成空间的迭代去噪统一建模感知与规划，引入时域过渡模块和锚点刷新策略，在多个基准上达到最先进性能。
2026-06-25 cs.CV
Accelerated Reconstruction of Perfusion-Weighted MRI Enforcing Jointly Local and Nonlocal Spatio-temporal Constraints
Technical University of Munich（慕尼黑工业大学）；GE Global Research（通用电气全球研发中心）；Harvard Medical School（哈佛医学院）
灌注加权磁共振成像（MRI）是一种成像技术，允许通过注射血管内顺磁性造影剂（CA）来测量感兴趣器官中的组织灌注。由于在许多应用中对高时间和空间分辨率的偏好，这种模式可以显著受益于加速的数据采集。在本文中，我们具体解决的问题，重建灌注MR图像系列从一个子集的k空间数据。我们提出的方法是出于观察，灌注成像的时间变化（动态）往往表现出跨不同的空间尺度的相关性。因此，我们提出了一个模型，联合惩罚的基础上获得的时间梯度图像的体素偏差，和补丁之间的时空邻域的整个图像序列的差异。我们验证了我们的方法上的动态磁敏感对比（DSC）-MRI和动态对比增强（DCE）-MRI脑灌注数据集从10个肿瘤患者。与最先进的重建方法相比，我们提供了重建性能和灌注参数估计的广泛分析。临床数据集上的实验结果表明，我们的重建模型可以通过精确估计灌注参数，同时保留空间图像细节和重建完整的灌注时间-强度曲线（TIC），从而实现高达8倍的加速。
2017-08-25 cs.CV
Temporal Event Stereo via Joint Learning with Stereoscopic Flow
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对事件相机时间密集连续的特性，提出结合立体视觉流联合学习的时间事件立体匹配框架，仅用视差图训练立体流以聚合时间信息，在MVSEC和DSEC数据集上达SOTA且计算高效。
2024-07-15 cs.CV
Spatio-Temporal Joint Density Driven Learning for Skeleton-Based Action Recognition
Advanced Multimedia Research Lab, University of Wollongong, Australia（沃林根大学先进多媒体研究实验室）
本文提出时空关节密度（STJD）度量骨架动静交互，识别主关节引导自监督学习，并设计STJD-CL对比策略与STJD-MP重建方法，在多个数据集上显著提升动作识别性能。
2025-05-29 cs.CV
Joint Spatio-Temporal Modeling for the Semantic Change Detection in Remote Sensing Images
Information Engineering University（信息工程大学）；University of Trento（特伦托大学）；Shandong Normal University（山东师范大学）
本文针对遥感图像语义变化检测中变化样本有限、语义信息难以利用的问题，提出SCanFormer显式建模双时相“从—到”语义转变，并结合时空约束引导语义学习，构建SCanNet网络，在两个基准数据集上取得SOTA精度。
2023-04-18 cs.CV
Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking
Tsinghua University（清华大学）；Aibee Inc（爱笔智能）
多目标跟踪（MOT）的最新趋势是利用深度学习来提高跟踪性能。在本文中，我们提出了一种新的解决方案命名为transSTAM，它利用Transformer有效地建模每个对象的外观特征和对象之间的时空关系。TransSTAM由两个主要部分组成：（1）编码器利用Transformer强大的自注意机制来学习每个tracklet的区分特征;（2）解码器采用标准的交叉注意力机制来通过考虑时空和外观特征来建模tracklet和检测之间的亲和力。TransSTAM有两个主要优点：（1）它完全基于编码器-解码器架构，具有紧凑的网络设计，因此计算效率高;（2）它可以在一个模型中有效地学习时空和外观特征，从而实现更好的跟踪精度。所提出的方法在包括MOT 16，MOT 17和MOT 20在内的多个公共基准上进行了评估，并且相对于所有基准上的先前最先进的方法，它在IDF 1和HOTA中实现了明显的性能改进。我们的代码可在\url{https://github.com/icicle4/TranSTAM}上获得。
2022-05-31 cs.CV
REArtGS++: Generalizable Articulation Reconstruction with Temporal Geometry Constraint via Planar Gaussian Splatting
Hefei Institutes of Physical Science, Chinese Academy of Sciences（合肥物理科学研究院，中国科学院）；University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）；RoboticsX, Tencent（腾讯机器人院）；Shanghai Jiao Tong University（上海交通大学）
REArtGS++通过引入时序几何约束和平面高斯散射，提升关节物体在不同状态下的通用表面重建和参数估计能力。
2026-02-05 cs.CV
Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking
Stanford University（斯坦福大学）
多任务学习的最新研究揭示了在单个神经网络中解决相关问题的好处。3D目标检测和多目标跟踪（MOT）是预测和关联对象实例在时间上的位置的两个严重交织的问题。然而，大多数以前的作品在3D MOT处理的检测器作为一个预先分离的管道，不相交的检测器的输出作为输入到跟踪器。在这项工作中，我们提出了Minkowski Tracker，这是一个稀疏的时空R-CNN，它联合解决了目标检测和跟踪。受基于区域的CNN（R-CNN）的启发，我们提出将跟踪作为对象检测器R-CNN的第二阶段来解决，该对象检测器预测跟踪的分配概率。首先，Minkowski Tracker将4D点云作为输入，通过4D稀疏卷积编码器网络生成时空鸟瞰图（BEV）特征图。然后，我们提出的TrackAlign聚合BEV特征中的跟踪感兴趣区域（ROI）特征。最后，Minkowski Tracker根据ROI特征预测的检测到跟踪匹配概率更新跟踪及其置信度得分。我们在大规模的实验中表明，我们的方法的整体性能增益是由于四个因素：1。4D编码器的时间推理提高了检测性能2.目标检测和MOT的多任务学习共同增强对方3.检测到跟踪匹配分数学习隐式运动模型以增强跟踪分配4。检测到跟踪匹配分数提高了跟踪置信度分数的质量。因此，Minkowski Tracker在Nuscenes数据集跟踪任务上实现了最先进的性能，而无需手动设计运动模型。
2022-08-26 cs.CV
Joint Network based Attention for Action Recognition
Peking University（北京大学）；Beijing Institute of Technology（北京理工大学）
通过在一个网络中提取空间和时间特征，双流ConvNets可以在动作识别中实现最先进的性能。然而，这样的框架通常遭受两个独立流之间的空间和时间信息的单独处理，并且难以捕获动作的长期时间依赖性。更重要的是，它无法找到一个动作的突出部分，比如说，最有鉴别力的框架来识别动作。为了解决这些问题，\textbf{j}点\textbf{n}网络为基础的\textbf{a} tentence（JNA），在这项研究中提出。我们发现，全连接融合，分支选择和空间注意力机制是完全不可行的动作识别。因此，在我们的联合网络中，空间和时间分支在训练阶段共享一些信息。我们还引入了一个时间域上的注意力机制来捕捉长期依赖性，同时找到突出的部分。在两个基准数据集UCF 101和HMDB 51上进行了广泛的实验。实验结果表明，该方法可以显着提高动作识别性能，并在两个数据集上取得了最先进的结果。
2016-11-16 cs.CV
Towards Generalizable Surgical Activity Recognition Using Spatial Temporal Graph Convolutional Networks
University of Rennes 1（雷恩第一大学）；INSERM（法国国家健康与医学研究院）；Gazi University（加齐大学）
手术活动的建模和识别是一个有趣的研究问题。虽然最近的一些作品研究了手术活动的自动识别，但这些作品在不同任务和不同数据集上的通用性仍然是一个挑战。我们引入了一种模态，是强大的场景变化，这是能够推断部分信息，如方向和相对空间关系。建议的方式是基于时空图形表示的手术工具在视频中，手术活动识别。为了探索其有效性，我们建模和识别手术手势与建议的方式。我们构建连接手术工具的联合姿态估计的空间图。然后，我们将每个关节连接到连续帧中的对应关节，形成表示关节随时间的轨迹的帧间边缘。然后，我们学习分层时空图表示使用时空图卷积网络（ST-GCN）。我们的实验表明，学习的时空图形表示在手术手势识别中表现良好，即使单独使用。我们用JIGSAWS数据集的缝合任务进行实验，其中手势识别的机会基线为10%。我们的结果表明，平均准确率为68%，这表明有显着的改善。学习的层次时空图表示可以单独使用，级联或作为手术活动识别的补充模式，因此为未来的研究提供了一个基准。据我们所知，我们的论文是第一次使用手术工具的时空图表示，和姿势为基础的骨架表示一般，手术活动识别。
2020-08-13 cs.CV
DG-STGCN: Dynamic Spatial-Temporal Modeling for Skeleton-based Action Recognition
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Lab（上海人工智能实验室）
图卷积网络（GCN）已被广泛应用于基于手势的动作识别。我们注意到，现有的基于GCN的方法主要依赖于规定的图形结构（即，手动定义的骨架关节拓扑），这限制了它们捕捉关节之间复杂相关性的灵活性。为了超越这一限制，我们提出了一个新的框架，基于动作识别，即动态组时空GCN（DG-STGCN）。它包括两个模块，DG-GCN和DG-TCN，分别用于空间和时间建模。特别是，DG-GCN使用学习的亲和矩阵来捕获动态图形结构，而不是依赖于规定的图形结构，而DG-TCN执行具有不同感受野的分组时间卷积，并结合了用于自适应多级时间建模的动态关节骨架融合模块。在广泛的基准测试中，包括NTURGB+D、Kinetics-Skeleton、BABEL和Toyota SmartHome，DG-STGCN的表现始终优于最先进的方法，而且往往有显著的优势。
2022-10-12 cs.CV
Spatio-temporal MLP-graph network for 3D human pose estimation
Concordia University（康考迪亚大学）
针对现有图卷积方法忽略时间相关性、难以处理遮挡与模糊的问题，提出结合关节混合MLP与加权雅可比图滤波的时空网络，在两个基准上超越最新方法。
2023-08-29 cs.CV
STLight: a Fully Convolutional Approach for Efficient Predictive Learning by Spatio-Temporal joint Processing
University of Zurich（苏黎世大学）；Google（谷歌公司）；Sapienza, University of Rome（罗马大学）；Max Planck Society（马克斯·普朗克学会）；Meta
提出STLight全卷积时空预测学习方法，通过时空维度重排和纯卷积框架混合特征，在STL基准上实现SOTA性能并显著提升计算效率。
2024-11-15 cs.CV
TSR-Ego: Temporally Guided Stereo Refinement Framework for Egocentric 3D Human Pose Estimation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对自中心3D人体姿态估计难题，提出TSR-Ego框架，结合短期运动证据与投影引导特征采样，通过因果深度可分离时间卷积和多种自注意力机制细化3D关节查询，实验证明其性能领先，尤其在真实世界序列中优势明显。
2026-07-13 cs.CV
Action Recognition with Spatio-Temporal Visual Attention on Skeleton Image Sequences
基于3D骨架序列的动作识别以其快速性和鲁棒性而受到广泛关注。最近提出的基于卷积神经网络（CNN）的方法在学习骨架序列的时空表示方面表现出良好的性能。尽管先前的基于CNN的方法实现了良好的识别精度，但存在两个潜在地限制性能的问题。首先，通过以固定顺序链接关节来生成先前的骨架表示。对应的语义不清，关节间的结构信息丢失。其次，以前的模型没有能力集中在信息关节。注意力机制对于基于骨架的动作识别是非常重要的，因为存在时空关键阶段，而联合预测可能是不准确的。为了解决这两个问题，我们提出了一种新的CNN为基础的骨架动作识别方法。我们首先重新设计的骨架表示与深度优先的树遍历顺序，这增强了骨架图像的语义意义，更好地保留了相关的结构信息。然后，我们提出了一个双分支注意力架构的想法，专注于时空的关键阶段，并过滤掉不可靠的联合预测。首先介绍了一种结构最简单的基本注意力模型。通过改进这两个分支的结构，我们进一步提出了一个全局长序列注意力网络（GLAN）。此外，为了调整内核的时空纵横比，更好地捕捉长期的依赖关系，我们提出了一个子序列注意力网络（SSAN），采取子图像序列作为输入。我们在NTU RGB+D和SBU Kinetic Interaction上的实验结果优于现有技术。该模型在UCF 101和Kinetics的噪声估计姿势上得到了进一步验证。
2018-04-11 cs.CV
