Neural Marionette: Unsupervised Learning of Motion Skeleton and Latent Dynamics from Volumetric Video
Seoul National University(首尔大学)
我们提出了神经木偶,一种无监督的方法,从动态序列中发现骨骼结构,并学习生成与观察到的运动动态一致的各种运动。给定任意运动下关节体的点云观察的视频流,我们的方法发现未知的低维骨架关系,可以有效地表示运动。然后利用所发现的结构将动态序列的运动先验编码到潜在结构中,该潜在结构可以被解码为相对关节旋转以表示完整的骨架运动。我们的方法在没有任何关于潜在运动或骨架结构的先验知识的情况下工作,并且我们证明了所发现的结构在表示4D运动序列时甚至可以与手工标记的地面真实骨架相媲美。骨架结构嵌入了可能的运动空间的一般语义,可以为不同的场景生成运动。我们验证了所学习的运动先验可推广到多模态序列生成、两个姿势的插值和运动重定向到不同的骨架结构。
2022-02-17 cs.AI cs.CV
Skeleton-Based Action Recognition Using Spatio-Temporal LSTM Network with Trust Gates
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);University of Sydney(悉尼大学)
在过去的几年中,基于手势的人体动作识别吸引了大量的研究关注。最近的工作试图利用递归神经网络来模拟人体关节的3D位置配置之间的时间依赖关系,以便更好地分析骨骼数据中的人类活动。所提出的工作扩展了这一想法,空间域以及时间域,以更好地分析隐藏的来源,在这两个领域的人类骨骼序列内的动作相关的信息。基于Kinect骨架数据的图形结构,提出了一种有效的基于树结构的遍历框架。为了处理骨架数据中的噪声,在LSTM模块中引入了一种新的门控机制,通过该机制,网络可以学习序列数据的可靠性,并相应地调整输入数据对存储在单元存储单元中的长期上下文表示的更新过程的影响。此外,本文还在LSTM单元中引入了一种新的多模态特征融合策略。在七个具有挑战性的人体动作识别基准数据集上的综合实验结果证明了该方法的有效性。
2017-06-26 cs.CV
Contracting Skeletal Kinematics for Human-Related Video Anomaly Detection
Sapienza University of Rome(罗马第一大学)
提出COSKAD模型,利用图卷积网络编码骨骼运动并收缩嵌入到最小体积潜在空间,在多个人类相关视频异常检测基准上达到最先进性能。
2024-07-23 cs.CV
Space-Time Representation of People Based on 3D Skeletal Data: A Review
Colorado School of Mines(科罗拉多矿业学院)
基于三维视觉感知数据的时空人体表示是一个快速发展的研究领域。基于信息源,这些表示可以基于RGB-D信息或3D骨架数据被广泛地分类为两组。近年来,基于人体模型的人体表示方法由于其对视点、人体尺度和运动速度变化的鲁棒性以及实时性、在线性等优点,受到了广泛的研究和关注。本文提出了一个全面的调查现有的时空表示的人的三维骨架数据的基础上,并提供了一个信息的分类和分析这些方法的角度,包括信息形态,表示编码,结构和过渡,和功能工程。我们还提供了一个简短的概述骨架采集设备和构建方法,招募了一些公共基准数据集的骨架数据,并讨论了潜在的未来研究方向。
2017-02-04 cs.CV
DynSTG-Mamba: Dynamic Spatio-Temporal Graph Mamba with Cross-Graph Knowledge Distillation for Gait Disorders Recognition
本文提出DynSTG-Mamba框架,结合动态时空图神经网络与Mamba建模骨骼运动序列,并通过跨图关系知识蒸馏压缩模型,在多个步态障碍数据集上以轻量架构取得领先的识别性能。
2025-09-22 cs.CV
Skepxels: Spatio-temporal Image Representation of Human Skeleton Joints for Action Recognition
The University of Western Australia(西澳大学)
人体骨骼关节可以很容易地从视频中提取出来以去除背景噪声,因此在动作分析中很受欢迎。然而,当前的骨架表示并不能完全受益于使用CNN的机器学习。我们提出了"Skepxels"的时空表示骨架序列,充分利用"本地"关节之间的相关性,使用二维卷积核的CNN。我们使用Skepxels将骨架视频转换为灵活尺寸的图像,并开发了一个基于CNN的框架,用于使用所得图像进行有效的人类动作识别。Skepxels通过最大化唯一的距离度量来编码关于帧中的骨架关节的丰富的时空信息,该距离度量在骨架图像中使用的不同关节布置上协作地定义。此外,它们在编码复合语义概念(例如关节的位置和速度)方面是灵活的。所提出的动作识别利用表示在一个分层的方式,首先捕捉骨骼关节与Skeppels之间的微观时间关系,然后利用它们的宏观时间关系,通过计算傅立叶时间金字塔的CNN功能的骨架图像。我们使用所提出的方法扩展了Inception-ResNet CNN架构,并在大规模NTU人类活动数据集上将最先进的准确率提高了4.4%。在中等规模的N-UCLA和UTH-MHAD数据集上,我们的方法分别比现有的结果高出5.7%和9.3%。
2018-08-03 cs.CV
Skeletor: Skeletal Transformers for Robust Body-Pose Estimation
University of Surrey(萨里大学)
除了从2D估计3D中的基本模糊性之外,由于诸如低分辨率、运动模糊和遮挡之类的因素,从单个单视场视频预测3D人体姿势可能是非常具有挑战性的。从独立图像直接回归3D姿态的方法可能特别容易受到这些因素的影响,并且导致骨架估计中的抖动、噪声和/或不一致。如果考虑到场景和骨架的时间演变,其中大部分可以克服。然而,我们提出了一种新的基于Transformer的网络,它可以以无监督的方式学习姿势和运动的分布,而不是跟踪身体部位并试图在时间上平滑它们。我们称之为骷髅。Skeletor克服了检测中的不准确性,并纠正了部分或整个骨架损坏。Skeletor使用强大的先验知识,从2500万帧中学习,以平滑一致地纠正骨架序列。Skeletor可以实现这一点,因为它通过基于Transformer的神经网络隐式地学习人体运动的时空背景。大量的实验表明,Skeletor在3D人体姿态估计方面实现了改进的性能,并进一步为手语翻译等下游任务提供了好处。
2021-04-23 cs.CV
STAR: Skeletal Token Alignment and Rearrangement for Interaction Recognition
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School(北京大学深圳研究生院通用人工智能国家重点实验室);University at Buffalo SUNY(纽约州立大学布法罗分校);Department of Computer and Information Science, University of Pennsylvania(宾夕法尼亚大学计算机与信息科学系)
针对人机和人与人交互识别,提出STAR方法,通过骨骼令牌对齐与重排,利用实体重排、交互式时空令牌及视觉交互编码等组件,结合骨骼与RGB视频数据学习特征,经对比学习对齐表示,实验验证其性能优于现有方法。
2026-07-21 cs.AI cs.CV
FuSSI-Net: Fusion of Spatio-temporal Skeletons for Intention Prediction Network
Chalmers University of Technology(查尔姆斯理工大学);Volvo Cars Technology USA(沃尔沃汽车美国技术公司);Volvo Car Corporation(沃尔沃汽车公司);University of California, Berkeley(加州大学伯克利分校)
行人意图识别对于开发鲁棒和安全的自动驾驶(AD)和高级驾驶员辅助系统(ADAS)功能非常重要。在这项工作中,我们开发了一个端到端的行人意图框架,在白天和夜间的情况下表现良好。我们的框架依赖于对象检测边界框结合人体姿态的骨架特征。我们研究了早期,晚期和组合(早期和晚期)融合机制,以利用骨骼特征并减少误报,以及提高意图预测性能。早期融合机制的行人意图分类的AP为0.89,精确率/召回率为0.79/0.89。此外,我们提出了三个新的指标,以适当地评估行人的意图系统。在这些新的意图预测评估指标下,所提出的端到端网络提供了准确的行人意图,比实际的危险动作提前半秒。
2020-05-15 cs.CV cs.LG eess.IV
Stroke3D: Lifting 2D strokes into rigged 3D model via latent diffusion models
ReLER, CCAI, Zhejiang University(ReLER、CCAAI、浙江大学);DBMI, HMS, Harvard University(DBMI、HMS、哈佛大学)
Stroke3D通过潜在扩散模型,将用户绘制的2D笔触和文本提示转化为拟合的3D模型,实现可控的骨骼生成和纹理网格合成。
2026-02-16 cs.CV
CourtMotion: Learning Event-Driven Motion Representations from Skeletal Data for Basketball
Amazon(亚马逊公司);Tel Aviv University(特拉维夫大学)
CourtMotion通过图神经网络和Transformer架构,从骨骼数据中学习事件驱动的运动表示,提升篮球比赛事件预测和分析的准确性。
2025-12-09 cs.CV cs.MA
Frequency Guidance Matters: Skeletal Action Recognition by Frequency-Aware Mixed Transformer
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Corporation(微软公司);University of Central Florida(中佛罗里达大学)
针对相似骨骼动作判别难的问题,本文提出频率感知混合 Transformer(FreqMixFormer),通过频率注意力解构关节频率表示并融合空间与时间特征,在 NTU RGB+D 等三个数据集上取得领先性能。
2024-07-29 cs.CV
An Enhanced Adversarial Network with Combined Latent Features for Spatio-Temporal Facial Affect Estimation in the Wild
Pompeu Fabra University(庞培法布拉大学);University of Augsburg(奥格斯堡大学);Imperial College London(伦敦帝国学院)
情感计算由于其在不同领域的大量应用,近年来引起了研究界的关注。在这种情况下,视频数据的出现,使人们能够丰富广泛使用的空间特征,包括时间信息。然而,这种时空建模通常会导致非常高维的特征空间和大量的数据,使得训练困难且耗时。本文针对这些缺点,提出了一种新的模型,有效地提取空间和时间的数据特征,通过其增强的时间建模的基础上的潜在功能。我们提出的模型由三个主要的网络组成,即生成器、鉴别器和组合器,它们在对抗环境中进行训练,并结合课程学习,以实现我们的自适应注意力模块。在我们的实验中,我们通过报告我们在AFEW-VA和SEWA数据集上的竞争结果来展示我们方法的有效性,这表明时间建模在定性和定量方面都提高了影响估计。此外,我们发现,包括注意力机制导致最高的精度提高,因为它的权重似乎与面部运动的外观,无论是在时间定位和强度。最后,我们观察到约160 ms的序列长度是时间建模的最佳序列长度,这与利用类似长度的其他相关发现一致。
2021-02-18 cs.CV cs.HC
Latent Spatiotemporal Adaptation for Generalized Face Forgery Video Detection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);RealAI
针对未知伪造方法下人脸伪造视频检测泛化不足的问题,提出 LAST,在隐空间建模并半监督自适应时空模式,结合真实视频自监督预训练,实现更优泛化与鲁棒性。
2024-10-24 cs.CV
Mesh4D: 4D Mesh Reconstruction and Tracking from Monocular Video
VGG, University of Oxford(视觉研究院、牛津大学);Nanyang Technological University(南洋理工大学);Naver Labs Europe(Naver欧洲实验室)
Mesh4D通过紧凑的潜在空间和潜在扩散模型,实现从单目视频中高效重建动态物体的4D网格和运动。
2026-01-08 cs.CV
Evolving Skeletons: Motion Dynamics in Action Recognition
Australian National University(澳大利亚国立大学);Griffith University(格里菲斯大学)
本研究在NTU-60和NTU-120数据集上,使用ST-GCN和Hyperformer模型全面评估传统骨架序列与Taylor变换骨架,分析其运动动力学增强潜力与当前挑战,强调创新骨架建模技术的必要性。
2025-02-24 cs.AI cs.CV cs.LG
LaST-VLA: Thinking in Latent Spatio-Temporal Space for Vision-Language-Action in Autonomous Driving
LaST-VLA通过潜在空间-时间推理框架,结合双特征对齐机制和渐进式SFT训练策略,提升自动驾驶中的视觉-语言-动作处理能力,实现更安全的物理基础推理。
2026-03-12 cs.CV
DanceFusion: A Spatio-Temporal Skeleton Diffusion Transformer for Audio-Driven Dance Motion Reconstruction
Tsinghua University(清华大学)
DanceFusion提出一种时空骨架扩散Transformer框架,结合层级VAE与扩散模型,处理短视频中不完整噪声骨架数据,实现与音乐同步的高保真舞蹈动作重建与生成,性能超越现有方法。
2024-11-07 cs.CV
Unsupervised Spatio-temporal Latent Feature Clustering for Multiple-object Tracking and Segmentation
Marquette University(马凯特大学)
视频序列中多个运动对象的时间标识符的一致性是一个具有挑战性的问题。这个问题的解决方案将直接影响多个对象跟踪和分割问题。我们提出了一种策略,将时间识别任务作为一个时空聚类问题。我们提出了一种无监督学习方法,使用卷积和完全连接的自动编码器,我们称之为深度异构自动编码器,从分割掩码和检测边界框中学习判别特征。我们从预训练的实例分割网络中提取掩码及其相应的边界框,并使用任务相关的不确定性权重联合训练自编码器以生成共同的潜在特征。然后,我们构建约束图,鼓励满足一组已知的时间条件的对象之间的关联。然后将特征向量和约束图提供给kmeans聚类算法以分离潜在空间中的相应数据点。我们使用具有挑战性的合成和真实世界的多对象视频数据集来评估我们的方法的性能。我们的研究结果表明,我们的技术优于几个国家的最先进的方法。
2021-11-05 cs.CV
Representation-Centric Survey of Supervised Skeletal Action Recognition and the New Benchmark
School of Computing, Australian National University(澳大利亚国立大学计算学院);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);OPPO US Research Center(OPPO美国研究中心);Carnegie Mellon University(卡内基梅隆大学);University of Western Australia(西澳大利亚大学);Curtin University(Curtin大学);School of Engineering and Built Environment, Griffith University(格里菲斯大学工程与环境学院);School of Medicine, Yale University(耶鲁大学医学院)
本文以输入表示类型(关节坐标、骨骼向量、运动流及扩展表示)为中心,系统综述了监督式3D骨骼动作识别方法,并提出了包含多视角、复杂多人交互等挑战的大规模数据集ANUBIS,通过实验揭示了动作-特征依赖关系及多表示融合的局限性。
2026-05-30 cs.CV
Real-time Online Action Detection Forests using Spatio-temporal Contexts
Imperial College London(帝国理工学院);University of Bath(巴斯大学)
在线动作检测(OAD)是具有挑战性的,因为1)由于实时的【形】处理要求,鲁棒但计算上昂贵的特征不能被直接使用,以及2)动作的定位和分类甚至必须在它们被完全观察到之前执行。我们提出了一个新的随机森林(RF)为基础的在线动作检测框架,以解决这些挑战。我们的算法使用计算效率高的骨骼关节功能。通过使用从原始RGBD图像中提取的基于鲁棒卷积神经网络(CNN)的特征,加上当前感兴趣帧与过去和未来帧之间的时间关系,实现了高精度。虽然这些高质量的特征在实时的【形】测试场景中不可用,但我们证明它们可以有效地用于训练RF分类器:我们使用这些时空上下文来制作RF的新分裂函数,从而改善RF的叶节点统计。具有挑战性的MSRRON3D,G3D和OAD数据集的实验表明,我们的算法显着提高了最先进的在线动作检测算法的准确性,同时实现了现有的基于基于小波变换的RF分类器的实时的【形】效率。
2016-10-28 cs.CV
UniSplat: Unified Spatio-Temporal Fusion via 3D Latent Scaffolds for Dynamic Driving Scene Reconstruction
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Voyager Research, Didi Chuxing;The University of Hong Kong(香港大学)
UniSplat提出基于三维潜在支架的统一时空融合框架,结合双分支解码器与静态高斯持久记忆,解决稀疏多相机动态驾驶场景重建问题,在新视角合成上达到最优性能。
2025-11-06 cs.CV
Skeletons in Flow: Graph Structured Flow Matching for Human Motion Prediction
针对人体运动预测的多样性与物理一致性需求,提出图结构化流匹配(GSFM),利用时空骨骼图和条件速度场生成未来轨迹,在AMASS上验证精度与多样性,并泛化至Human3.6M。
2026-09-29 cs.CV cs.RO
Leveraging Spatio-Temporal Dependency for Skeleton-Based Action Recognition
Yonsei University(延世大学)
针对现有基于骨架的动作识别方法多单独处理时空依赖的问题,提出融合STC模块与DK-GC的STC-Net,自适应建模时空依赖且无额外参数量,在四个基准上取得SOTA性能。
2023-07-19 cs.CV
Spatio-temporally separable non-linear latent factor learning: an application to somatomotor cortex fMRI data
TReNDS Center(TReNDS中心);Georgia Institute of Technology(佐治亚理工学院);Charite University Hospital(夏里特大学医院);Georgia State University(佐治亚州立大学)
功能性磁共振成像(fMRI)数据包含复杂的时空动力学,因此研究人员已经开发出在提取相关和可解释动力学的同时降低信号维数的方法。功能磁共振成像数据模型,可以执行全脑发现的动态潜在因素的研究不足。线性独立分量分析模型等方法的优点已得到广泛认可,然而,这些模型的非线性扩展在识别方面提出了挑战。深度学习方法提供了一条前进的道路,但有效的空间权重共享的新方法对于处理高维数据和噪声的存在至关重要。我们的方法概括了非欧几里德神经影像数据的权重共享,首先进行光谱聚类体素之间的结构和功能的相似性的基础上。然后,可以将谱簇及其分配用作自适应多层感知器(MLP)混合器模型中的补丁,以在输入点之间共享参数。为了鼓励时间独立的潜在因素,我们在损失中使用了额外的总相关项。我们的方法进行评估的数据与多个电机子任务,以评估该模型是否捕捉到解开的潜在因素,对应于每个子任务。然后,为了评估我们进一步发现的潜在因素,我们将每个潜在因素的空间位置与运动侏儒进行比较。最后,我们表明,我们的方法捕捉任务效果优于目前的黄金标准的源信号分离,独立分量分析(ICA)。
2022-05-26 cs.CV
Skeleton-based Action Recognition via Temporal-Channel Aggregation
基于骨架的动作识别方法受到时空骨架图语义提取的限制。然而,目前的方法有困难,有效地结合从时间和空间图形维度的功能,往往是厚的一边和薄的其他。在本文中,我们提出了一个时间-通道聚合图卷积网络(TCA-GCN),学习空间和时间的拓扑结构动态和有效地聚合拓扑特征在不同的时间和通道维度的动作识别。我们使用时间聚合模块来学习时间维度特征和通道聚合模块来有效地将空间动态通道拓扑特征与时间动态拓扑特征相结合。此外,我们提取多尺度的骨骼特征的时间建模和融合他们的注意力机制。大量的实验表明,我们的模型结果优于NTU RGB+D,NTU RGB+D 120和NW-UCLA数据集上的最先进的方法。
2022-08-08 cs.CV
Learning Latent Spatio-Temporal Compositional Model for Human Action Recognition
Sun Yat-Sen University(中山大学);IBM Research(IBM研究院)
动作识别是多媒体理解中的一个重要问题。本文通过建立一个表达性的组合动作模型来解决这个问题。我们在视频中的一个动作实例建模与合奏的时空组成:一些离散的时间锚帧,其中每一个被进一步分解到一个布局的可变形部分。通过这种方式,我们的模型可以识别时空与或图(STAOG)来表示动作的潜在结构,例如三级跳远,摇摆和跳高。STAOG模型包括四层:(i)底部的一批叶节点,用于检测视频补丁内的各种动作部分;(ii)底部的或节点,即开关变量,以激活它们的子叶节点用于结构可变性;(iii)锚定帧内的与节点,用于验证空间组成;以及(iv)顶部的根节点,用于聚合时间锚定帧上的分数。此外,上下文之间的相互作用被定义在空间和时间域的叶节点。对于模型训练,我们开发了一种新的弱监督学习算法,该算法迭代地确定结构配置(例如,与或节点相关联的叶节点的产生)以及多层参数的优化。通过充分利用时空组合和相互作用,我们的方法很好地处理大的类内动作方差(例如,不同的视图,个人外观,时空结构)。具有挑战性的数据库上的实验结果表明,我们的方法优于其他竞争方法的性能。
2015-02-01 cs.CV
A Spatio-temporal Transformer for 3D Human Motion Prediction
ETH Zürich(苏黎世联邦理工学院);Peking University(北京大学);Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新型的基于Transformer的体系结构,用于3D人体运动的生成建模任务。以前的工作通常依赖于基于RNN的模型,考虑较短的预测范围,快速达到一个稳定的,往往是难以置信的状态。最近的研究表明,频域中的隐式时间表示也可以有效地预测预定的水平。我们的重点在于学习时空表示自回归,从而产生合理的未来发展在短期和长期。该模型学习骨骼关节的高维嵌入,以及如何通过解耦的时间和空间自注意力机制来组成时间相干的姿势。我们的双注意力概念允许模型直接访问当前和过去的信息,并明确地捕获结构和时间依赖关系。我们的经验表明,这有效地学习了潜在的运动动力学,并减少了自回归模型中观察到的随时间推移的误差积累。我们的模型能够做出准确的短期预测,并在长时间内生成合理的运动序列。我们在https://github.com/eth-ait/motion-transformer上公开发布我们的代码。
2021-11-29 cs.CV
WorldComp2D: Spatio-semantic Representations of Object Identity and Location from Local Views
Department of Semiconductor Engineering, Hanyang University, Republic of Korea(韩世半导体工程系,翰阳大学,大韩民国)
本文提出WorldComp2D框架,通过多尺度局部感受野显式构建潜在空间几何,实现高效的时空语义推理,相比现有轻量模型在参数和FLOPs上减少4.0X和2.2X,保持实时性能。
2026-05-12 cs.CV cs.LG
LASAR: Towards Spatio-temporal Reasoning with Latent Cognitive Map
Sun Yat-sen University(中山大学)
本文提出LASAR架构,通过双记忆系统维护事件经历和语义认知图,并引入ST-CRL对比目标训练该架构,以提升长距离碎片化经验中对细粒度空间关系的编码能力,在标准VLN-CE和VSI-Bench基准上实现了零样本泛化能力的2%-3.5%提升。
2026-05-16 cs.CV
Text-Derived Relational Graph-Enhanced Network for Skeleton-Based Action Segmentation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology Shenzhen(机器人系统国家重点实验室,哈尔滨工业大学深圳)
TRG-Net通过文本生成的图增强方法,提升基于骨架的动作分割性能,实现更精确的动作识别与分类。
2025-03-19 cs.AI cs.CV
Encoding Surgical Videos as Latent Spatiotemporal Graphs for Object and Anatomy-Driven Reasoning
University of Strasbourg(斯特拉斯堡大学);IHU-Strasbourg, Institute of Image-Guided Surgery(斯特拉斯堡图像引导外科研究所(IHU-Strasbourg));Fondazione Policlinico Universitario Agostino Gemelli IRCCS(阿戈斯蒂诺·杰梅利大学综合医院基金会IRCCS);Institute for Research Against Digestive Cancer (IRCAD)(消化道癌症研究所(IRCAD))
本研究提出将手术视频编码为融合长期时间边的潜在时空图,并引入结合先验知识与时间一致性的图编辑模块修正误差,在安全关键视图预测和手术阶段识别任务中取得优异结果,验证了表示的有效性。
2023-12-11 cs.CV
Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models
Zhejiang University(浙江大学);Ant Research(蚂蚁研究院)
本文提出Diffuman4D方法,通过滑动迭代去噪过程增强4D扩散模型的时空一致性,在稀疏视角视频输入下实现高质量且一致的人体新视角视频合成,并在DNA-Rendering和ActorsHQ数据集上显著优于现有方法。
2025-07-17 cs.CV
STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing
Seoul National University(首尔国立大学)
针对视频编辑中时空像素相关性建模不足导致的时序不一致等问题,提出无训练算法STR-Match,利用T2V扩散模型的2D空间注意力和1D时间模块计算STR得分引导潜优化,在重大领域变换下仍生成时序一致且视觉忠实的视频。
2025-06-28 cs.AI cs.CV
STLDM: Spatio-Temporal Latent Diffusion Model for Precipitation Nowcasting
The Hong Kong University of Science and Technology(香港科技大学);Hong Kong Observatory(香港天文台)
STLDM通过结合变分自编码器和条件网络,提出了一种基于扩散的模型,用于提升降水现在预测的精度和效率。
2025-12-24 cs.AI cs.CV cs.LG
Timeripple: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space
Shanghai Jiao Tong University(上海交通大学);Shanghai Qizhi Institute(上海启智研究院);Huawei Technologies Co.,Ltd(华为技术有限公司);Institute of Computing Technology, Chinese Academy of Science(中国科学院计算技术研究所)
针对视频生成中vDiT模型推理延迟问题,利用潜在空间时空相关性,提出轻量级自适应重用策略,通过重用相关令牌部分注意力分数近似计算,相比现有技术计算节省85%,且视频质量损失小。
2026-07-22 cs.AR cs.CV
Enhancing Spatiotemporal Disease Progression Models via Latent Diffusion and Prior Knowledge
Dept. of Math and Computer Science, University of Catania, Italy(数学与计算机科学系,卡塔尼亚大学,意大利);Centre for Medical Image Computing, University College London, UK(医学影像计算中心,伦敦大学学院,英国);School of Physics, Engineering and CS, University of Hertfordshire, UK(物理、工程与计算机科学学院,赫特福德大学,英国)
本研究提出基于潜在扩散的时空疾病进展模型BrLP,通过整合先验知识脑区体积变化辅助模型和LAS技术提升预测准确性,在AD数据集上体积准确率提高22%,图像相似度提高43%。
2024-05-06 cs.AI cs.CV
Dance Your Latents: Consistent Dance Generation through Spatial-temporal Subspace Attention Guided by Motion Flow
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出Dance-Your-Latents框架,通过时空子空间注意力模块和运动流引导的子空间对齐与恢复方法,有效缓解长程注意力分散问题,显著提升生成舞蹈视频的时空一致性。
2023-10-20 cs.CV
LAtent Phase Inference from Short time sequences using SHallow REcurrent Decoders (LAPIS-SHRED)
University of Washington(华盛顿大学);Autodesk Research(欧特克研究院)
本文提出LAPIS-SHRED,通过三阶段流程从稀疏传感器观测中重建和预测完整的时空动态,支持双向推断和多尺度重建,适用于观测受限的运营环境。
2026-04-01 cs.AI cs.CV cs.LG
Fine-Grained Action Recognition with Cross-Attentive Latent Sparse Experts
Edge Hill University(埃奇希尔大学)
提出FineX模型,融合RGB、姿态热图与骨骼图线索,通过交叉注意力和稀疏混合专家实现细粒度动作识别,在多数据集上取得最优,长尾Gym288准确率提升7.6个百分点。
2026-08-17 cs.CV
VideoCanvas: Unified Video Completion from Arbitrary Spatiotemporal Patches via In-Context Conditioning
MMLab, The Chinese University of Hong Kong(香港中文大学MMLab);Kling Team, Kuaishou Technology(快手技术有限公司Kling团队)
提出VideoCanvas框架,通过混合条件化策略(空间上使用零填充全帧画布编码,时间上使用Temporal RoPE插值)实现任意时空视频补全的统一任务,无需修改或重新训练VAE。
2026-05-27 cs.CV
TopoCap: Learning Topology-Agnostic Motion Priors for Monocular Video-to-Animation
Zhili College, Tsinghua University(清华大学致理书院);BNRist, Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系,北京国家信息科学与技术研究中心);VAST
提出TopoCap,首个统一框架,从单目视频提取运动并重定向到任意未见骨骼拓扑的角色,无需测试时优化,通过图CVAE学习通用运动流形和条件流匹配实现。
2026-06-11 cs.CV cs.GR
Drive Any Mesh: 4D Latent Diffusion for Mesh Deformation from Video
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(虚拟现实技术与系统国家重点实验室,北京航空航天大学);School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学);Baidu VIS(百度VIS)
针对现有4D生成方法渲染效率低、人工成本高且跨类别泛化不足的问题,提出 DriveAnyMesh,通过潜集合VAE与时空 transformer 扩散模型,从单目视频生成兼容现代渲染引擎的高质量网格动画。
2025-06-09 cs.CV
4LC: 4D Latent Cache for Efficient Conditioning in Dynamic World Modeling
Shanghai Jiaotong University(上海交通大学);Zhongguancun Academy(中关村学院);Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所);Harbin Institute of Technology(哈尔滨工业大学)
本文提出4LC(4D潜在缓存),基于其开发的4LC-Video模型可高效复用动态世界建模中的静态与动态内容,为多类视频生成任务提供统一条件,无需任务微调即可实现高效条件获取与跨任务场景一致性。
2026-10-14 cs.AI cs.CV
Discriminative Latent Semantic Graph for Video Captioning
Newcastle University(纽卡斯尔大学);University of New South Wales(新南威尔士大学);Durham University(杜伦大学);Hefei CAS Dihuge Automation Co., LTD(合肥中科迪虎自动化有限公司)
视频描述旨在自动生成能够描述给定视频的视觉内容的自然语言句子。现有的生成模型,如编码器-解码器框架,不能显式地从复杂的时空数据中探索对象级交互和帧级信息,以生成语义丰富的字幕。我们的主要贡献是确定未来的视频摘要任务的联合框架中的三个关键问题。1)增强的对象建议:我们提出了一种新的条件图,可以融合时空信息到潜在的对象建议。2)视觉知识:潜在的建议聚合,提出了动态提取视觉词与更高的语义水平。3)句子验证:提出了一种新的判别式语言验证器来验证生成的字幕,以便有效地保留关键语义概念。我们在两个公共数据集(MVSD和MSR-VTT)上的实验表明,在所有指标上,特别是BLEU-4和CIDEr上,与最先进的方法相比,都有显著的改进。我们的代码可在https://github.com/baiyang4/D-LSG-Video-Caption上获得。
2021-08-10 cs.CV
Spatiotemporal Entropy Model is All You Need for Learned Video Compression
Alibaba Group(阿里巴巴集团)
主流视频压缩方法的框架通常由运动预测模块、运动矢量和残差图像压缩模块组成,存在结构复杂和误差传播问题。已经提出了通过用隐式流网络替换运动预测模块来降低复杂度的方法。误差传播感知训练策略也被提出来减轻来自先前解码帧的增量重建误差。虽然这些方法带来了一些改进,但很少关注框架本身。受通过使用单个深度神经网络简化框架来学习图像压缩的成功的启发,很自然地期望通过简单而适当的框架来实现更好的视频压缩性能。因此,我们提出了一个框架,直接压缩原始像素帧(而不是残差图像),其中不需要额外的运动预测模块。相反,熵模型被用来估计时空冗余的潜在空间,而不是像素级,这显着降低了框架的复杂性。具体地说,整个框架是一个压缩模块,由一个统一的自动编码器,产生相同分布的所有帧的潜伏期,和时空熵估计模型,以最小化这些潜伏期的熵。实验结果表明,该方法在多尺度结构相似性(MS-SSIM)度量下优于最新技术(SOTA),在峰值信噪比(PSNR)度量下具有竞争力。
2021-04-13 cs.CV eess.IV
Fast 4D Mesh Generation by Spatio-Temporal Attention Chains
NVIDIA Research(NVIDIA研究)
本文提出一种无需训练的4D网格生成方法,通过时空注意力链加速生成并提升时间对应质量,能够在9秒内生成4D网格,实现13倍速度提升,且能处理长达16倍的视频序列,同时在2D物体跟踪和4D跟踪任务中表现出色,还支持可靠的相机估计。
2026-05-19 cs.CV
STCDiT: Spatio-Temporally Consistent Diffusion Transformer for High-Quality Video Super-Resolution
School of Computer Science and Engineering, Nanjing University of Science and Technology(计算机科学与工程学院,南京理工大学)
STCDiT通过结合运动感知的VAE重建和锚帧指导方法,实现了高质量视频超分辨率,提升了结构保真度和时间一致性。
2025-11-24 cs.CV
Technical Report: Masked Skeleton Sequence Modeling for Learning Larval Zebrafish Behavior Latent Embeddings
University College London(伦敦大学学院);Harbin Institute of Technology(哈尔滨工业大学)
提出自监督掩码骨架序列建模方法,结合Transformer-CNN架构(SSTFormer)捕获幼体斑马鱼游动的时空关节相关性,有效提取行为潜在嵌入并提升相似行为区分度。
2024-03-23 cs.CV
DSTSA-GCN: Advancing Skeleton-Based Gesture Recognition with Semantic-Aware Spatio-Temporal Topology Modeling
Nagaoka University of Technology(长冈技术科学大学);Guizhou College of Electronic Science and Technology(贵州电子科技学院);Guizhou University(贵州大学)
针对现有GCN在手势识别中缺乏动态时空拓扑建模和多尺度结构建模的问题,提出DSTSA-GCN,通过GC-GC、GT-GC和MS-TCN三个模块增强拓扑学习,在多个基准上取得最优性能。
2025-01-21 cs.CV
Spatio-Temporal Joint Density Driven Learning for Skeleton-Based Action Recognition
Advanced Multimedia Research Lab, University of Wollongong, Australia(沃林根大学先进多媒体研究实验室)
本文提出时空关节密度(STJD)度量骨架动静交互,识别主关节引导自监督学习,并设计STJD-CL对比策略与STJD-MP重建方法,在多个数据集上显著提升动作识别性能。
2025-05-29 cs.CV
Spatio-Temporal Instance Learning: Action Tubes from Class Supervision
University of Amsterdam(阿姆斯特丹大学)
这项工作的目标是在视频中的时空动作定位,只使用视频级类标签的监督。国家的最先进的铸造这种弱监督的动作定位制度作为一个多实例学习问题,其中的实例是先验计算的时空建议。我们提出了时空实例学习,而不是将时空学习与训练断开,它可以直接从视频帧中的框建议中进行动作定位。我们概述了我们的模型的假设,并提出了一个最大利润目标和优化与潜变量,使时空学习的行动,从视频标签。我们还提供了一个有效的链接算法和两个重排序策略,以促进和进一步提高动作定位。四个动作数据集上的实验评估表明,我们的方法的有效性,从弱监督本地化。此外,我们展示了如何将其他监督水平和混合物,作为确定最佳监督策略的行动本地化的一步。
2018-11-21 cs.CV
Kinematic Knowledge Maps for Pattern Alignment: Structured Latent Representational Learning in Multimodal Gait Analysis
本研究提出ScoliDetect框架,通过运动学知识图谱(KKM)实现多模态步态分析,其介导的融合结合三模态对比预训练提升了脊柱侧凸筛查的泛化性与可解释性,外部ROC-AUC达0.972。
2026-08-24 cs.CV
HGFreNet: Hop-hybrid GraphFomer for 3D Human Pose Estimation with Trajectory Consistency in Frequency Domain
institutetext: HGFreNet: Hop-hybrid GraphFomer for 3D Human Pose Estimation with Trajectory Consistency in Frequency Domain(机构文本:HGFreNet:Hop-混合图Former 用于具有轨迹一致性的3D人体姿态估计)
针对2D到3D姿态提升中的深度模糊和轨迹抖动问题,提出HGFreNet架构,通过hop-hybrid图注意力模块和频域轨迹一致性约束建模全局时空相关性,在位置精度和时间一致性上超越SOTA方法。
2025-11-03 cs.CV