AddBiomechanics Dataset: Capturing the Physics of Human Motion at Scale
Stanford University（斯坦福大学）；University of Bath（巴斯大学）；Rice University（莱斯大学）
Keenon Werling, Janelle Kaneda, Alan Tan, Rishi Agarwal, Six Skov, Tom Van Wouwe, Scott Uhlrich, Nicholas Bianco, Carmichael Ong, Antoine Falisse, Shardul Sapko… 展开作者
Keenon Werling, Janelle Kaneda, Alan Tan, Rishi Agarwal, Six Skov, Tom Van Wouwe, Scott Uhlrich, Nicholas Bianco, Carmichael Ong, Antoine Falisse, Shardul Sapkota, Aidan Chandra, Joshua Carter, Ezio Preatoni, Benjamin Fregly, Jennifer Hicks, Scott Delp, C. Karen Liu
While reconstructing human poses in 3D from inexpensive sensors has advanced significantly in recent years, quantifying the dynamics of human motion, including the muscle-generated joint torques and external forces, remains a challenge. Prior attempts to estimate physics from reconstructed human poses have been hampered by a lack of datasets with high-quality pose and force data for a variety of movements. We present the AddBiomechanics Dataset 1.0, which includes physically accurate human dynamics of 273 human subjects, over 70 hours of motion and force plate data, totaling more than 24 million frames. To construct this dataset, novel analytical methods were required, which are also reported here. We propose a benchmark for estimating human dynamics from motion using this dataset, and present several baseline results. The AddBiomechanics Dataset is publicly available at https://addbiomechanics.org/download_data.html.
ClimbingCap: Multi-Modal Dataset and Method for Rock Climbing in World Coordinate
Xiamen University（厦门大学）；School of Informatics, Xiamen University（厦门大学信息学院）；China National Climbing Team（国家攀岩队）；Ningbo Sports Work Training Team（宁波市体育工作训练队）；ShanghaiTech University（上海科技大学）；ETH Zürich（苏黎世联邦理工学院）；ETH AI Center, ETH Zürich（苏黎世联邦理工学院AI中心）
DogMo: A Large-Scale Multi-View RGB-D Dataset for 4D Canine Motion Recovery
School of Computer Science & Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Yangtze Delta Region Academy of Beijing Institute of Technology（北京理工大学扬子江地区学院）
SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science and Technology（华中科技大学）
EventCap: Monocular 3D Capture of High-Speed Human Motions using an Event Camera
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua University（清华大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Robotics Institute（机器人研究所）；Hong Kong University of Science and Technology（香港科技大学）
Capturing the motion of every joint: 3D human pose and shape estimation with independent tokens
Southeast University（东南大学）；Tencent（腾讯）
在本文中，我们提出了一种新的方法来估计三维人体姿态和形状从单目视频。该任务需要从单目图像或视频中直接恢复像素对齐的3D人体姿势和体型，由于其固有的模糊性，这是具有挑战性的。为了提高精度，现有的方法高度依赖于初始化的平均姿态和形状作为先验估计和参数回归与迭代误差反馈的方式。此外，基于视频的方法对图像级特征的整体变化进行建模，以在时间上增强单帧特征，但无法捕获关节级的旋转运动，并且不能保证局部时间一致性。为了解决这些问题，我们提出了一种新的基于transformer的模型，设计了独立的令牌。首先，我们介绍了三种与图像功能：\textit{joint rotation tokens, shape token, and camera token}无关的标记。通过Transformer层逐步与图像特征进行交互，这些令牌学习从大规模数据中编码人类3D关节旋转，体型和位置信息的先验知识，并更新以估计以给定图像为条件的SMPL参数。其次，受益于所提出的基于令牌的表示，我们进一步使用时间模型来专注于捕获每个关节的旋转时间信息，这在经验上有利于防止局部的大抖动。尽管概念上很简单，但所提出的方法在3DPW和Human3.6M数据集上获得了优异的性能。使用ResNet-50和Transformer架构，它在具有挑战性的3DPW的PA-MPJPE度量上获得了42.0 mm的误差，大大优于最先进的同行。代码将…
MotionJEPA: Preventing Temporal Feature Collapse by Capturing Visual Changes in Latent Space
University of Oxford（牛津大学）；vivo Tech Research GmbH（vivo科技研究有限公司）；Bielefeld University（比勒费尔德大学）；Slater Labs（Slater实验室）；Cold Spring Harbor Laboratory（冷泉港实验室）；Brown University（布朗大学）；AMI Labs（AMI实验室）；vivo BlueImage Lab, vivo Mobile Communication Co., Ltd., China（vivo蓝心影像实验室，维沃移动通信有限公司）
AdaptiveAE: An Adaptive Exposure Strategy for HDR Capturing in Dynamic Scenes
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学多媒体信息处理国家重点实验室，计算机科学学院）；National Engineering Research Center of Visual Technology, School of Computer Science, Peking University（北京大学视觉技术国家工程研究中心，计算机科学学院）
EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
LEAD: Latent Realignment for Human Motion Diffusion
University of Cyprus（塞浦路斯大学）；Ecole Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；Institut Polytechnique de Paris（巴黎理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；CYENS - Centre of Excellence（CYENS卓越中心）；Amazon（亚马逊公司）
Learning Motion Priors for 4D Human Body Capture in 3D Scenes
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）
从单目视频中恢复复杂场景中的高质量3D人体运动对于从AR/VR到机器人的许多应用都很重要。然而，捕捉现实的人的场景交互，同时处理遮挡和部分视图，是具有挑战性的，目前的方法仍然远远没有达到令人信服的结果。我们通过提出LEMO：LEarning human MOtion priors for 4D human body capture来解决这个问题。通过利用大规模运动捕捉数据集AMASS，我们引入了一种新的运动平滑先验，它大大减少了在序列中恢复的姿势所表现出的抖动。此外，为了处理身体场景交互中经常发生的接触和遮挡，我们设计了一个接触摩擦项和一个通过每个实例自监督训练获得的接触感知运动填充器。为了证明所提出的运动先验的有效性，我们将它们组合成一个新的管道，用于3D场景中的4D人体捕获。通过我们的管道，我们展示了高质量的4D人体捕捉，重建平滑的运动和物理上合理的身体场景交互。代码和数据可在https://sanweiliti.github.io/LEMO/LEMO.html上获得。
Decoupling Ego-Motion from Target Dynamics via Dual-Interval Motion Cues for UAV Detection
Department of Robotics, School of Advanced Manufacturing and Robotics（机器人学院，先进制造与机器人学院）；State Key Laboratory of Turbulence and Complex Systems（湍流与复杂系统国家重点实验室）；Peking University（北京大学）；Great Bay University（大湾大学）
Motion Generation Review: Exploring Deep Learning for Lifelike Animation with Manifold
Beijing Institute of Technology（北京理工大学）；Zhengzhou Academy Of Intelligent Technology（郑州智能技术研究院）；School of Optics and Photonics, Beijing Institute of Technology（北京理工大学光电学院）；Beijing Engineering Research Center of Mixed Reality and Advanced Display（北京市混合现实与先进显示工程技术研究中心）
