UniEgoMotion: A Unified Model for Egocentric Motion Reconstruction, Forecasting, and Generation
Stanford University(斯坦福大学);Panasonic Holdings Corporation(松下控股公司);Panasonic R&D Company of America(美国松下研发公司)
提出统一条件扩散模型UniEgoMotion,采用头部中心运动表示,从第一人称图像实现场景感知的自我中心运动重建、预测与生成,并构建EE4D-Motion数据集,性能达最优。
2025-10-16 cs.CV
Human Pose Forecasting via Deep Markov Models
The Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
人体姿态预测是计算机视觉中的一个重要问题,在人机交互、视觉监控和自动驾驶等领域有着广泛的应用。通常,预测算法使用3D骨架序列,并经过训练以预测未来几毫秒。长期预测是具有挑战性的,因为很难估计一个人持续多久的活动。为此,我们的贡献是三方面的:(i)我们提出了一个生成框架的姿态使用变分自编码器基于深度马尔可夫模型(DMM);(ii)我们评估我们的姿态预测使用基于姿态的动作分类器,我们认为更好地反映了主观质量的姿态预测比在坐标空间中的距离;(iii)最后,为了评估新模型,我们引入了一个480,000帧的视频数据集,称为宜家家具组装(Ikea FA),它描绘了人类反复组装和拆卸家具。我们在宜家FA和现有的NTU RGB+D数据集上展示了我们的方法的有希望的结果。
2017-09-05 cs.CV cs.LG
Beyond Point Estimates for Glaucoma Visual Field Forecasting with Diffusion Models
ARTORG Center for Biomedical Engineering Research, UniBe, Switzerland(瑞士UniBe生物医学工程研究中心ARTORG);PeriVision SA, Epalinges, Switzerland(瑞士Epalinges市PeriVision公司);Department of Ophthalmology, Inselspital, Bern, Switzerland(瑞士伯恩Inselspital眼科部门)
提出使用条件去噪扩散模型进行概率性视野预测,生成未来视野的分布,实现校准良好的预测,并在点估计上达到最先进精度,支持从点估计向不确定性感知的临床风险评估转变。
2026-06-29 cs.AI cs.CV
Personalized Pose Forecasting
Lund University(隆德大学);Google Research(谷歌研究院)
针对现有基准忽视个体独特运动模式的问题,本文重新定义人体运动预测任务,提出一种与模型无关的在线个性化方法,利用低参数时间序列模型个性化神经网络姿态预测。
2023-12-06 cs.CV
First-Person Activity Forecasting with Online Inverse Reinforcement Learning
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
我们解决的问题,逐步建模和预测的第一人称相机佩戴者的长期目标:用户会做什么,他们会去哪里,他们寻求什么样的目标。与之前的轨迹预测工作相比,我们的算法DARKO更进一步地推理语义状态(我会拿起一个物体吗?),和未来的目标状态,在空间和时间上都很遥远。DARKO通过在线逆向强化学习(IRL)方法,从用户日常行为的第一人称视觉观察中学习和预测。经典的IRL只发现批量设置中的奖励,而DARKO从流数据中发现用户的状态,转换,奖励和目标。在其他结果中,我们表明DARKO预测目标优于竞争的方法在嘈杂和理想的设置,我们的方法是理论和经验上没有遗憾。
2017-08-06 cs.CV
Snipper: A Spatiotemporal Transformer for Simultaneous Multi-Person 3D Pose Estimation Tracking and Forecasting on a Video Snippet
University of Alberta(阿尔伯塔大学);Meta Reality Labs(Meta现实实验室);Spree3D
本文提出Snipper统一框架,通过可变形注意力机制在单阶段内同时完成多人3D姿态估计、跟踪与运动预测,在三个公开数据集上表现媲美专门的最先进基线。
2023-09-12 cs.CV
Forecasting Characteristic 3D Poses of Human Actions
Technical University of Munich(慕尼黑工业大学);Google(谷歌)
我们提出了预测特征3d姿势的任务:从一个人的短序列观察,预测这个人未来的3d姿势,在一个可能的动作定义,特征姿势-例如,从观察一个人拿起一个苹果,预测这个人吃苹果的姿势。先前的人体运动预测工作以固定的时间间隔估计未来的姿势。虽然很容易定义,但这种逐帧的表述混淆了人类行为的时间和意图方面。相反,我们定义了一个语义上有意义的姿势预测任务,从时间上预测的姿势,从目标导向的行为中汲取灵感。为了预测特征姿态,我们提出了一种概率方法,该方法对可能的特征姿态分布中可能的多模态进行建模。然后,我们以自回归的方式从预测的分布中对未来的姿势假设进行采样,以对关节之间的依赖关系进行建模。为了评估我们的方法,我们构建了一个手动注释的特征3d姿态数据集。我们对这个数据集的实验表明,我们提出的概率方法平均比最先进的方法高出26%。
2022-03-08 cs.CV cs.LG
Graph representation forecasting of patient's medical conditions: towards a digital twin
University of Cambridge(剑桥大学)
目的:现代医学需要从等待和反应,治疗学科转向预防性,跨学科的科学,旨在为患者提供个性化,系统和精确的治疗计划。这项工作的目的是介绍如何整合机器学习方法与机械计算建模可以产生一个可靠的基础设施,运行概率模拟,整个生物体被认为是一个整体。研究方法:我们提出了一个通用框架,该框架由先进的人工智能方法组成,并集成了数学建模,以提供对当前和未来生理条件的全景视图。所提出的架构基于预测临床相关终点(如血压)的图神经网络(GNNs)和提供转录组可集成性概念证明的生成对抗网络(GANs)。结果如下:我们显示了在心血管功能的多个组织中不同信号通路中ACE2过表达的病理影响的调查结果。我们提供了一个概念的证明,使用分子数据来驱动本地和全球的临床参数,并得出未来的轨迹代表患者的生理状态的演变,整合了一个大的组合的临床模型。重要性:我们认为,计算患者的图形表示有可能解决将多尺度计算建模与AI集成的重要技术挑战。我们认为,这项工作代表着向医疗保健数字孪生模型迈出了一步。
2020-09-17 cs.LG stat.ML
SoMoFormer: Multi-Person Pose Forecasting with Transformers
Stanford University(斯坦福大学);Monash University(莫纳什大学)
人体姿态预测是一个涉及复杂人体运动和姿态动力学的具有挑战性的问题。在环境中存在多个人的情况下,一个人的运动也可能受到其他人的运动和动态移动的影响。虽然有几个以前的作品针对多人动态姿态预测的问题,他们往往建模为时间序列的整个姿态序列(忽略关节之间的潜在关系)或一次只输出一个人的未来姿态序列。在本文中,我们提出了一种新的方法,称为社会运动Transformer(SoMoFormer),多人三维姿态预测。我们的Transformer架构独特地将人类运动输入建模为关节序列而不是时间序列,使我们能够在并行预测每个关节的整个未来运动序列的同时对关节进行关注。我们表明,这个问题的重新制定,SoMoFormer自然扩展到多人场景中使用的所有人在一个场景中的关节作为输入查询。使用学习的嵌入来表示关节的类型,人的身份和全局位置,我们的模型学习关节之间和人与人之间的关系,更强烈地关注来自相同或附近的人的关节。SoMoFormer在SoMoF基准测试以及CMU-Mocap和MuPoTS-3D数据集上的长期运动预测性能优于最先进的方法。代码将在发布后提供。
2022-08-30 cs.CV
Trajectory-Aware Body Interaction Transformer for Multi-Person Pose Forecasting
Hangzhou Dianzi University(杭州电子科技大学)
多人姿态预测仍然是一个具有挑战性的问题,特别是在复杂人群场景中建模细粒度的人体交互。现有的方法通常将整个姿势序列表示为时间序列,但忽略了基于骨骼身体部位的人之间的交互影响。在本文中,我们提出了一种新的轨迹感知的身体交互Transformer(TBIFormer)的多人姿态预测,通过有效地建模身体部位的相互作用。具体来说,我们构建了一个时间身体分割模块,将所有的姿势序列转换成一个多人的身体部分序列,以保留基于身体语义的空间和时间信息。然后,我们设计了一个社会身体互动自我注意力(SBI-MSA)模块,利用转换后的序列来学习身体部位动态的个体间和个体内的相互作用。此外,不同于以前的欧氏距离为基础的空间编码,我们提出了一种新的和有效的轨迹感知相对位置编码的SBI-MSA提供歧视性的空间信息和额外的互动线索。在短期和长期两个方面,我们在CMU-Mocap,MuPoTS-3D以及合成数据集(6 ~ 10人)上对我们的框架进行了实证评估,并证明我们的方法大大优于最先进的方法。代码将在接受后公开提供。
2023-03-13 cs.CV
Spatio-Temporal Conditional Diffusion Models for Forecasting Future Multiple Sclerosis Lesion Masks Conditioned on Treatments
McGill University(麦吉尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所)
提出首个治疗感知的时空扩散模型,结合多模态患者数据预测多发性硬化未来病灶演变,在多中心数据集上准确预测六种治疗下的病灶掩码,并支持病灶计数、活动性分类及反事实生成等临床应用。
2025-08-09 cs.CV eess.IV
Forecasting Human-Object Interaction: Joint Prediction of Motor Attention and Actions in First Person Video
Georgia Institute of Technology(佐治亚理工学院);ETH Zürich(苏黎世联邦理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们解决了在第一人称视频中预测人与物体交互的挑战性任务。大多数现有的方法忽略了相机佩戴者如何与对象交互,或者简单地将身体运动视为单独的模态。相反,我们观察到,国际手部运动揭示了未来活动的关键信息。受此启发,我们采用有意的手部运动作为未来的表示,并提出了一种新的深度网络,该网络联合建模和预测以自我为中心的手部运动、交互热点和未来动作。具体来说,我们将未来的手部运动视为运动注意力,并在我们的深度模型中使用潜变量对这种注意力进行建模。预测的运动注意力进一步被用于识别用于预测动作和交互热点的区分性时空视觉特征。我们提出了广泛的实验证明所提出的联合模型的好处。重要的是,我们的模型在EGTEA Gaze+和EPIC-Kitterfly数据集上产生了新的最先进的动作预测结果。我们的项目页面可以在https://aptx4869lm.github.io/ForecastingHOI/上找到
2020-07-20 cs.CV
Human Motion Anticipation with Symbolic Label
University of Bonn(波恩大学)
预测人体运动取决于两个因素:过去的运动和人的意图。虽然第一个因素已被广泛用于预测人体运动的短序列,第二个仍然难以捉摸。在这项工作中,我们通过符号表示来近似一个人的意图,例如细粒度的动作标签,如步行或坐下。预测符号表示比预测具有复杂相互依赖性的全身姿势容易得多。然而,知道未来的动作使得预测人体运动更容易。我们利用这种连接,首先预计符号标签,然后生成人体运动,条件是人体运动输入序列以及预测标签。这允许模型提前许多步预测运动变化并相应地调整姿势。我们在短期和长期人体运动预测方面取得了最先进的成果。
2019-12-13 cs.CV cs.LG
Forecasting Interactive Dynamics of Pedestrians with Fictitious Play
MIT(麻省理工学院);Stanford(斯坦福大学);Oxford(牛津大学);CMU(卡内基梅隆大学)
我们通过使用博弈论编码多行人交互的耦合性质来开发行人动态的预测模型,并基于深度学习的视觉分析来估计个人特定的行为参数。然而,由于以下两个原因,建立用于多行人交互的预测模型是非常具有挑战性的:(1)交互的动态是复杂的相互依赖的过程,其中一个行人的预测行为可以影响其他行人采取的行动,以及(2)动态是可变的,这取决于个人的物理特性(例如,老年人可能走得慢,而年轻人可能走得快)。为了应对这些挑战,我们(1)利用博弈论的概念来模拟多个行人的相互依赖的决策过程,(2)使用视觉分类器来学习从行人外观到行为参数的映射。我们在几个公共的多行人交互视频数据集上评估了我们提出的模型。结果表明,与最先进的方法相比,我们的战略规划模型对人类互动的解释要好25%。
2017-03-28 cs.CV
Forecasting Human Trajectory from Scene History
ShanghaiTech University(上海科技大学);United Imaging Intelligence(联影智能)
由于人类运动的随机性和主观性,预测一个人的未来轨迹仍然是一个具有挑战性的问题。然而,由于场景的限制以及人与人或人与物的交互性,人在受限场景中的运动模式在一定程度上通常遵循有限数量的规则。因此,在这种情况下,一个人也应该遵循其中一个。换句话说,一个人后来的轨迹很可能已经被其他人走过。基于这一假设,我们提出通过从内隐场景学习来预测一个人的未来轨迹。我们称之为场景历史,它内在地源自于过去人与环境的动态场景,即场景历史。我们将场景历史信息分为两类:历史群体轨迹和个体与环境的交互。为了利用这两种类型的信息进行轨迹预测,我们提出了一个新的框架场景历史挖掘网络(SHENet),其中场景历史是利用在一个简单而有效的方法。特别是,我们设计了两个组件:组轨迹银行模块,以提取代表性的组轨迹作为未来路径的候选人,和跨模态交互模块,以模拟个人过去的轨迹和它的周围环境的轨迹细化之间的相互作用。此外,为了减轻由上述人类运动的随机性和主观性引起的地面实况轨迹的不确定性,我们建议将平滑度纳入训练过程和评估指标。我们进行了广泛的评估,以验证我们提出的框架对ETH,UCY以及新的具有挑战性的基准数据集PAV的有效性,与最先进的方法相比,表现出卓越的性能。
2022-10-17 cs.CV
Simple means Faster: Real-Time Human Motion Forecasting in Monocular First Person Videos on CPU
TCS Research and Innovation Labs(塔塔咨询服务研究与创新实验室)
我们提出了一个简单,快速,轻量级的基于RNN的框架,用于预测第一人称单目视频中人类的未来位置。这项工作的主要动机是设计一个网络,可以在CPU上以非常高的速度准确预测未来的轨迹。这种系统的典型应用将是社交机器人或所有人的视觉辅助系统,因为两者都不能拥有高计算能力,以避免变得更重,更低的功率效率和更昂贵。与许多依赖于多种类型的线索(如摄像机自我运动或人类的2D姿势)的方法相比,我们表明,精心设计的仅依赖于边界框的网络模型不仅可以表现得更好,而且可以以非常高的速度预测轨迹,同时尺寸非常低,约为17 MB。具体来说,我们证明了在过去信息的编码阶段使用自动编码器,并在最后使用正则化层可以提高预测的准确性,而开销可以忽略不计。我们使用三个第一人称视频数据集进行实验:CityWalks,FPL和JAAD。我们在CityWalks上训练的简单方法超过了最先进方法(STED)的预测精度,同时在CPU上的速度提高了9.6倍(STED在GPU上运行)。我们还证明了我们的模型可以将zero-shot或仅经过15%的微调后转移到其他类似的数据集,并在这些数据集(FPL和DTP)上与最先进的方法相提并论。据我们所知,我们是第一个在CPU上以每秒78个轨迹的非常高的预测速度准确预测轨迹的人。
2020-11-10 cs.CV cs.RO
Best Practices for 2-Body Pose Forecasting
Sapienza University of Rome(罗马第一大学)
本文系统评估单人姿态预测实践在双人协作预测中的适用性,提出频率输入、时空可分离交互邻接编码及新型双人空间参数初始化方法,在ExPI数据集上较现有最优方法提升21.9%。
2023-04-12 cs.CV
Forecasting Action through Contact Representations from First Person Video
University of Maryland(马里兰大学)
涉及手操作的人类动作是根据手-物体接触的制造和中断来构造的,并且人类对动作的视觉理解依赖于对接触的预期,这一点在认知科学中的开创性工作中得到了证明。从中得到启发,我们引入了以接触为中心的表示和模型,然后我们将其用于动作预测和预期。我们注释了EPIC Kitterfly数据集的一个子集,包括手和物体之间的接触时间,以及手和物体的分割。使用这些注释,我们训练的预期模块,一个模块生产接触预期地图和下一个活动对象分割-新的低层次的表示提供预期的不久的将来的行动的时间和空间特征。在预期模块之上,我们应用了以自我为中心的对象操作图(Ego-OMG),这是一个用于动作预期和预测的框架。Ego-OMG通过使用一个图来建模联系人描述的动作状态之间的转换,从而对更长期的时间语义关系进行建模。使用Ego-OMG中的预期模块产生了最先进的结果,分别在EPIC Kitchild Action Anticipation Challenge的看不见和看得见的测试集上获得了第一名和第二名,并在EPIC Kitchild的动作预期和动作预测任务上获得了最先进的结果。我们对预期模块的特征进行消融研究,以评估其效用。
2021-02-01 cs.AI cs.CV
Relational Action Forecasting
Google Research(谷歌研究院);University of Maryland(马里兰大学)
本文主要研究视频中的多人动作预测。更确切地说,给定H个先前帧的历史,目标是检测演员并预测他们在接下来的T个帧中的未来动作。我们的方法通过构建一个递归图,使用Faster R-CNN作为节点获得的演员建议,联合建模不同演员之间的时间和空间交互。我们的方法学习选择一个子集的判别关系,而不需要明确的监督,从而使我们能够处理具有挑战性的视觉数据。我们将我们的模型称为判别关系递归网络(DRRN)。行动预测AVA的评估表明,我们所提出的方法相比,简单的基线的有效性。此外,我们显着提高了J-HMDB上早期动作分类任务的性能,从之前的SOTA的48%提高到60%。
2019-04-08 cs.CV
Multi-Camera Trajectory Forecasting: Pedestrian Trajectory Prediction in a Network of Cameras
University of Warwick(华威大学);Nanyang Technological University(南洋理工大学)
我们介绍了多摄像机轨迹预测(MCTF)的任务,其中一个对象的未来轨迹预测的摄像机网络。先前的工作考虑在单个相机视图中预测轨迹。我们的工作是第一个考虑在多个不重叠的相机视图预测的挑战性场景。这在诸如重新识别和多目标多相机跟踪的任务中具有广泛的适用性。为了促进这一新领域的研究,我们发布了Warwick-NTU多摄像机预测数据库(WNMF),这是一个来自15个同步摄像机网络的多摄像机行人轨迹的独特数据集。为了准确地标记这个大型数据集(600小时的视频片段),我们还开发了一种半自动化的注释方法。一个有效的MCTF模型应该主动预测一个人将在何时何地重新出现在摄像机网络中。在本文中,我们考虑的任务,预测下一个摄像头的行人将重新出现后,离开另一个摄像头的视图,并提出了几个基线的方法。标记的数据库可在线获得:https://github.com/olly-styles/Multi-Camera-Trajectory-Forecasting。
2020-05-01 cs.CV
Generative Hybrid Representations for Activity Forecasting with No-Regret Learning
Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);UC Berkeley(加州大学伯克利分校)
自动推理人类未来的行为是一个困难的问题,但有重要的实际应用辅助系统。这种困难的部分原因是学习系统无法表示所有类型的行为。一些行为,比如运动,最好用连续表示来描述,而另一些行为,比如拿起一个杯子,最好用离散表示来描述。此外,人类的行为通常不是固定的:人们可以改变他们的习惯和惯例。这表明这些系统必须能够不断学习和适应。在这项工作中,我们开发了一个有效的深度生成模型,以联合预测一个人未来的离散动作和连续运动。在大规模以自我为中心的数据集EPIC-KITCHENS上,我们观察到我们的方法生成了高质量和多样化的样本,同时表现出比相关生成模型更好的泛化能力。最后,我们提出了一个变体来从流数据中不断学习我们的模型,观察其实际有效性,并从理论上证明其学习效率。
2020-04-03 cs.AI cs.CV cs.LG
Egocentric Human Trajectory Forecasting with a Wearable Camera and Multi-Modal Fusion
Imperial College London(帝国理工学院);Tencent Robotics X(腾讯Robotics X);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学)
在本文中,我们解决的问题预测的轨迹自我中心的相机佩戴者(自我人)在拥挤的空间。从不同相机佩戴者在现实世界中行走的数据中学习到的轨迹预测能力可以转移到帮助视障人士导航,以及在移动机器人中灌输人类导航行为,从而实现更好的人机交互。为此,构建了一个新的以自我为中心的人类轨迹预测数据集,包含佩戴相机在拥挤空间中导航的人的真实轨迹,以及提取的丰富上下文数据。我们提取并利用三种不同的模态来预测相机佩戴者的轨迹,即,他/她的过去轨迹、附近人的过去轨迹以及诸如场景语义或场景深度的环境。一个基于transformer的编码器-解码器神经网络模型,集成了一种新的级联交叉注意力机制,融合多种形式,已被设计用于预测未来的轨迹的相机佩戴者。已经进行了大量的实验,结果表明,我们的模型优于自我中心的人类轨迹预测的最先进的方法。
2022-07-07 cs.CV
TEMPO: Efficient Multi-View Pose Estimation, Tracking, and Forecasting
Carnegie Mellon University(卡内基梅隆大学)
TEMPO通过循环计算2D特征并融合时空信息,在保持高效的同时提升了多视角3D姿态估计、跟踪与预测的准确性,实现跨数据集泛化。
2023-09-14 cs.CV
Gaze Beyond the Frame: Forecasting Egocentric 3D Visual Span
Seoul National University(首尔国立大学);Carnegie Mellon University(卡内基梅隆大学);Reality Labs Research at Meta(Meta现实实验室)
本文提出EgoSpanLift方法,通过将自聚焦视觉跨度预测从2D转换到3D,实现对三维环境未来视觉聚焦的高效预测,并构建了大规模基准测试集。
2025-11-23 cs.CV
Transformer Networks for Trajectory Forecasting
University of Verona(维罗纳大学);Inception Institute of Artificial Intelligence(创世纪人工智能研究所);Sapienza University of Rome(罗马大学)
最近在预测人的运动方面取得的最大成功是基于LSTM模型,所有最近的进展都是通过对人与人之间的社交互动以及人与场景的互动进行建模来实现的。我们质疑LSTM模型的使用,并提出了Transformer Networks用于轨迹预测的新用途。这是从LSTM的顺序逐步处理到Transformers的仅基于注意力的记忆机制的根本转变。特别是,我们考虑了原始的Transformer网络(TF)和更大的双向Transformer(BERT),所有自然语言处理任务的最新技术。我们提出的Transformers预测场景中单个人的轨迹。这些是“简单”模型,因为每个人都是单独建模的,没有任何复杂的人-人或场景交互项。特别是,没有花里胡哨的TF模型在TrajNet的最大和最具挑战性的轨迹预测基准上获得了最好的分数。此外,它的扩展预测了多个合理的未来轨迹,在ETH + UCY的5个数据集上与更工程化的技术表现相当。最后,我们表明,Transformers可能会处理丢失的意见,因为它可能是真实的传感器数据的情况。代码可在https://github.com/FGiuliari/Trajectory-Transformer上获得。
2020-10-21 cs.CV
Uncertainty-aware State Space Transformer for Egocentric 3D Hand Trajectory Forecasting
OPPO US Research Center(OPPO美国研究中心);University at Buffalo(布法罗大学);Michigan State University(密歇根州立大学);Texas A&M University(得克萨斯农工大学)
本文提出不确定性感知状态空间Transformer(USST),结合注意力机制、任意不确定性、速度约束和视觉提示微调,用于从自我中心RGB视频预测三维手部轨迹,并在H2O和EgoPAT3D上验证其优越性。
2023-09-17 cs.CV
EggHand: A Multimodal Foundation Model for Egocentric Hand Pose Forecasting
DGIST, Republic of Korea(韩国忠南科学技术院)
本文提出EggHand模型,通过结合视觉-语言-动作模型的动作解码器和第一人称视频-文本编码器,实现对第一人称视频中手姿态序列的预测,提升了在剧烈视角变化下的鲁棒性和可控性。
2026-05-08 cs.CV
Joint-Relation Transformer for Multi-Person Motion Prediction
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出Joint-Relation Transformer,通过引入关节间相对距离和个体内外物理约束等关系信息,并设计关系感知融合层,有效提升多人运动预测精度,在多个基准上取得显著性能改进。
2023-10-27 cs.CV
Robot Interaction Behavior Generation based on Social Motion Forecasting for Human-Robot Interaction
Technische Universität Wien (TU Wien)(维也纳技术大学);German Aerospace Center(德国航空航天中心)
提出共享人-机器人表示空间中的 ECHO 模型,通过基于周围智能体细化个体运动实现社会运动预测,并据此生成可由文本控制的实时人机交互行为。
2024-04-08 cs.CV cs.HC cs.RO
PGformer: Proxy-Bridged Game Transformer for Multi-Person Highly Interactive Extreme Motion Prediction
The University of Hong Kong(香港大学);DAMO Academy, Alibaba(阿里巴巴达摩院);Zhejiang University(浙江大学)
本文提出PGformer模型,通过交叉查询注意力模块和代理单元学习多人高度交互姿态轨迹间的双向依赖关系,有效解决了极端运动协同预测问题,并在多个数据集上取得优异性能。
2024-01-07 cs.CV
Interact with me: Joint Egocentric Forecasting of Intent to Interact, Attitude and Social Actions
University of Glasgow(格拉斯哥大学);University of Warwick(沃里克大学)
本文提出 SocialEgoNet,一种基于图的分层多任务时空框架,从第一人称视角仅用 1 秒骨骼视频联合预测互动意图、态度和动作,在 JPL-Social 数据集上以 83.15% 平均准确率实现实时推理并优于基线。
2025-05-08 cs.CV cs.HC
Toward Reliable Human Pose Forecasting with Uncertainty
EPFL(洛桑联邦理工学院)
该研究针对人体姿态预测领域缺乏统一基准和不确定性分析不足的问题,开发了开源评估库并提出两类不确定性建模方法,实现短期预测性能提升及更优的不确定性估计。
2024-04-12 cs.CV cs.HC cs.RO
Lighter Stacked Hourglass Human Pose Estimation
人体姿态估计(HPE)是计算机视觉中最具挑战性的任务之一,因为人体天生是可变形的,因此其姿态具有如此大的变化。HPE旨在正确识别给定图像或视频中单个人或多个人的主要关节位置。在图像或视频中定位人的关节是可以应用于动作识别和对象跟踪的重要任务。与许多计算机视觉任务一样,慧与在该领域引入深度学习后取得了巨大进步。在本文中,我们关注Newell等人提出的HPE基于深度学习的方法之一,他们称之为堆叠沙漏网络。他们的方法被广泛应用于许多应用中,被认为是这一领域的最佳作品之一。他们的方法的主要重点是在所有可能的尺度上捕获尽可能多的信息,以便对局部特征和全身位置进行连贯的理解。他们的研究结果表明,重要的线索,如一个人的方向,四肢的排列,和相邻关节的相对位置,可以从多个尺度在不同的分辨率。为此,他们使用单个管道来处理多个分辨率的图像,其中包括一个跳过层,以避免丢失每个分辨率的空间信息。图像的分辨率可以低至4x4,以确保包含更小的空间特征。在这项研究中,我们研究了结构修改对网络计算速度和准确性的影响。
2021-07-28 cs.CV eess.IV