Consensus-based Optimization for 3D Human Pose Estimation in Camera Coordinates
Paris Seine University(巴黎塞纳大学);ENSEA(国立电子与应用技术学院);CNRS(法国国家科学研究中心);Samsung Research Institute(三星研究院);Université Paris Saclay(巴黎萨克雷大学);École des Ponts(巴黎高科路桥学校)
3D人体姿态估计经常被视为估计相对于根身体关节的3D姿态的任务。另外,我们提出了一个三维人体姿态估计方法在相机坐标,它允许有效地结合2D注释数据和3D姿态和一个简单的多视图概括。为此,我们将问题转换为视锥空间姿态估计,其中绝对深度预测和联合相对深度估计被解开。通过逆相机投影在相机坐标中获得最终3D预测。在此基础上,我们还提出了一种基于共识的优化算法,用于从未校准的图像进行多视图预测,这需要一个单目训练过程。虽然我们的方法是间接绑定到训练相机的内在,它仍然收敛的相机具有不同的内在参数,导致相干估计的比例因子。我们的方法改进了已知3D人体姿势数据集的最新技术,在最常见的基准测试中将预测误差降低了32%。我们还报告了我们的结果,在绝对位姿位置误差,达到80毫米的单目估计和51毫米的多视图,平均。
2021-08-20 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia(不列颠哥伦比亚大学)
从单幅图像中估计人体姿态是一个具有挑战性的问题,通常通过监督学习来解决。不幸的是,标记的训练数据还不存在许多人类活动,因为3D注释需要专用的运动捕捉系统。因此,我们提出了一种无监督的方法,该方法可以学习从单个图像中预测3D人体姿势,同时只使用2D姿势数据进行训练,这些数据可以是众包的,并且已经广泛使用。为此,我们估计最有可能通过随机投影的3D姿势,使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识,但我们学习了相机角度的分布,这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上,我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
Predicting Camera Viewpoint Improves Cross-dataset Generalization for 3D Human Pose Estimation
University of California, Irvine(加州大学欧文分校)
随着大规模地面真实运动捕获数据集的出现,三维人体姿态的单目估计引起了越来越多的关注。然而,可用的训练数据的多样性是有限的,目前还不清楚在何种程度上的方法概括外的特定datasets,他们是trainedon.In这项工作中,我们进行了系统的研究的多样性和偏见存在于特定的数据集和跨数据集概括其效果在一个汇编的5姿势datasets。我们特别专注于系统的差异,相对于身体为中心的坐标系的相机视点的分布。基于这一观察,我们提出了一个辅助任务,预测相机的观点,除了姿势。我们发现,经过训练以联合预测视点和姿势的模型系统地显示出显着改善的跨数据集泛化。
2020-04-07 cs.CV
CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by Leveraging In-the-wild 2D Annotations
Amazon Lab126(亚马逊Lab126);University of Washington(华盛顿大学)
为了提高3D人体姿态估计器的泛化能力,许多现有的基于深度学习的模型专注于向训练姿态添加不同的增强。然而,数据增强技术仅限于“可见”的姿态组合,并且难以推断具有罕见的“不可见”关节位置的姿态。为了解决这个问题,我们提出了CameraPose,这是一个弱监督的框架,用于从单个图像中估计3D人体姿势,它不仅可以应用于2D-3D姿势对,还可以应用于2D单独的注释。通过添加相机参数分支,任何野外2D注释都可以被馈送到我们的管道中,以提高训练多样性,并且可以通过重新投影回2D来隐式地学习3D姿势。此外,CameraPose还引入了一个具有置信度引导损失的细化网络模块,以进一步提高2D姿态估计器提取的噪声2D关键点的质量。实验结果表明,CameraPose在跨场景数据集上带来了明显的改进。值得注意的是,它在最具挑战性的数据集3DPW上比基线方法好3 mm。此外,通过将我们提出的细化网络模块与现有的3D姿态估计器相结合,可以提高它们在跨场景评估中的性能。
2023-01-08 cs.CV
MetaFuse: A Pre-trained Fusion Model for Human Pose Estimation
Peking University(北京大学);Deepwise AI Lab(深睿医疗人工智能实验室);Microsoft Research Asia(微软亚洲研究院)
跨视角特征融合是解决人体姿态估计中遮挡问题的关键。目前的融合方法需要为每对相机训练单独的模型,使得它们难以缩放。在这项工作中,我们介绍了MetaMap,这是一种从Panoptic数据集中的大量相机中学习的预训练融合模型。该模型可以有效地适应或微调一对新的相机使用少量的标记图像。Metatron强大的自适应能力在很大程度上是由于所提出的将原始融合模型分解为两个部分:(1)由所有相机共享的通用融合模型,以及(2)轻量级相机相关变换。此外,通用模型是从许多相机学习的元学习风格的算法,以最大限度地提高其适应能力,以各种相机的姿态。我们在实验中观察到,MetaQuotes在公共数据集上的微调性能大大优于最先进的技术,这验证了它在实践中的价值。
2020-03-30 cs.CV
Economical Quaternion Extraction from a Human Skeletal Pose Estimate using 2-D Cameras
P.E.S University(PES大学);Center for Internet of Things(物联网中心)
本文提出一种利用 MediaPipe 框架从二维相机帧中提取四元数以估计人体骨骼姿态的新算法,在低于50毫秒延迟下运行,降低了传统立体相机的成本与延迟,适用于边缘计算环境下的自主机器人实时检测与反应。
2023-09-14 cs.CV
Multi-perspective monitoring of wildlife and human activities from camera traps and drones with deep learning models
the University of Texas at Dallas(德克萨斯大学达拉斯分校);Auburn University(奥本大学);San Diego State University(圣地亚哥州立大学);University of Florida(佛罗里达大学)
本研究在尼泊尔奇旺国家公园结合相机陷阱与无人机热红外影像,利用YOLOv11s和增强型Faster RCNN等深度学习模型自动检测野生动物与人类活动,并通过空间格局分析识别活动热点及潜在冲突区域,为保护管理和冲突缓解提供多视角监测支持。
2025-08-21 cs.CV
Ray3D: ray-based 3D human pose estimation for monocular absolute 3D localization
Aibee Inc.(爱笔智能有限公司);Beijing Technology and Business University(北京工商大学)
在本文中,我们提出了一种新的单目射线为基础的三维(Ray3D)绝对人体姿态估计与校准相机。从单目2D姿态输入中精确且可推广的绝对3D人体姿态估计是一个不适定问题。为了解决这一挑战,我们将输入从像素空间转换为3D归一化射线。这种转换使我们的方法鲁棒相机的内在参数的变化。为了处理野外相机外部参数变化,Ray3D明确地将相机外部参数作为输入,并联合建模3D姿态光线和相机外部参数之间的分布。这种新颖的网络设计是Ray3D方法突出通用性的关键。为了全面了解相机内外参数变化如何影响绝对3D关键点定位的准确性,我们对三个单人3D基准以及一个合成基准进行了深入的系统实验。这些实验表明,我们的方法显着优于现有的最先进的模型。我们的代码和合成数据集可以在https://github.com/YxZhxn/Ray3D上找到。
2022-10-27 cs.CV
Camera Distortion-aware 3D Human Pose Estimation in Video with Optimization-based Meta-Learning
KAIST(韩国科学技术院)
现有的3D人体姿态估计算法在无失真数据集上训练,当应用于具有特定相机失真的新场景时,性能下降。在本文中,我们提出了一个简单而有效的模型,三维人体姿态估计在视频中,可以快速适应任何失真环境,利用MAML,一个代表性的基于优化的Meta学习算法。我们认为一个序列的二维关键点在一个特定的失真作为一个单一的任务MAML。然而,由于在失真的环境中没有大规模的数据集,我们提出了一种有效的方法来从未失真的2D关键点生成合成失真数据。对于评估,我们假设两个实际的测试情况,这取决于运动捕捉传感器是否可用。特别是,我们提出了推理阶段优化使用骨长度的对称性和一致性。广泛的评估表明,我们提出的方法成功地适应各种程度的失真在测试阶段,并优于现有的国家的最先进的方法。所提出的方法在实践中是有用的,因为它不需要相机校准和额外的计算在测试设置。
2021-12-03 cs.CV
CanonPose: Self-Supervised Monocular 3D Human Pose Estimation in the Wild
Leibniz University Hannover(汉诺威莱布尼茨大学);UBC Vancouver(不列颠哥伦比亚大学温哥华校区)
从单幅图像中估计人体姿态是计算机视觉中的一个具有挑战性的问题,它需要大量的带标签的训练数据来精确求解。不幸的是,对于许多人类活动(\eg户外运动),这样的训练数据并不存在,并且很难或者甚至不可能用传统的运动捕捉系统来获取。我们提出了一种自监督的方法,学习一个单一的图像3D姿态估计从未标记的多视图数据。为此,我们利用多视图的一致性约束,解开观察到的2D姿态到底层的3D姿态和相机旋转。与大多数现有方法相比,我们不需要校准相机,因此可以从移动相机中学习。然而,在静态相机设置的情况下,我们提出了一个可选的扩展,将多个视图上的恒定相对相机旋转纳入我们的框架。成功的关键是新的,无偏见的重建目标,混合跨视图和训练样本的信息。该方法在两个基准数据集(Human3.6M和MPII-INF-3DHP)和野外SkiPose数据集上进行了评估。
2020-11-30 cs.CV
VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Environment
Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
我们提出了一种方法来估计多个人从多个摄像机视图的3D姿态。与以前的工作,需要建立跨视图对应的基础上嘈杂和不完整的2D姿态估计,我们提出了一个端到端的解决方案,直接在$3$ D空间,因此避免了在2D空间中做出错误的决定。为了实现这一目标,所有摄像机视图中的特征都被扭曲并聚集在一个共同的3D空间中,并被馈送到立方体建议网络(CPN)中,以粗略地定位所有人。然后,我们提出了姿态回归网络(PRN)来估计每个建议的详细3D姿态。该方法对实际中经常发生的遮挡具有鲁棒性。没有花里胡哨,它在公共数据集上的表现优于最先进的技术。代码将在https://github.com/microsoft/multiperson-pose-estimation-pytorch上发布。
2020-08-24 cs.CV
Monocular 2D Camera-based Proximity Monitoring for Human-Machine Collision Warning on Construction Sites
City University of Hong Kong(香港城市大学);Architecture and Civil Engineering Research Center, Shenzhen Research Institute of City University of Hong Kong(香港城市大学深圳研究院建筑与土木工程研究中心)
本研究提出仅用普通2D相机结合单目3D目标检测与后处理分类,实现建筑工地实时人机碰撞预警,并公开虚拟数据集验证,为早期预警提供经济可行的新方案。
2023-10-19 cs.CV
Pose Estimation for Human Wearing Loose-Fitting Clothes: Obtaining Ground Truth Posture Using HFR Camera and Blinking LEDs
Kogakuin University(工学院大学)
人体姿态估计,特别是运动员,可以帮助提高他们的表现。然而,如果受试者穿着宽松的衣服,如滑雪/滑雪板穿着,则使用现有的方法,如人类注释,这种估计是困难的。本研究开发了一种方法,用于获得的真值数据的二维(2D)的人穿着宽松的衣服构成。这种方法使用快速冲洗发光二极管(LED)。受试者被要求穿着宽松的衣服,并将LED放在目标关节上。通过选择薄的薄膜状宽松衣服,使用相机直接观察LED。所提出的方法通过使用高帧率相机以240 fps捕获场景,并通过提取LED开和关帧来渲染两个30 fps的图像序列。考虑到人体运动的速度,两个视频序列之间的时间差异可以忽略不计。LED开启视频用于手动注释接头,从而获得真值数据。此外,LED关闭视频(相当于30 fps的标准视频)证实了现有基于机器学习的方法和手动注释的准确性。实验结果表明,该方法可以获得标准RGB视频的真值数据。此外,据透露,无论是手动注释还是最先进的姿态估计器都无法获得目标关节的正确位置。
2022-12-08 cs.CV
Multi-View Person Matching and 3D Pose Estimation with Arbitrary Uncalibrated Camera Networks
Carnegie Mellon University(卡内基梅隆大学)
本文提出PME方法,将跨视角人员匹配建模为带规模约束和来源约束的聚类问题,仅依赖预训练二维姿态检测器,无需相机位姿和三维训练数据即可实现高精度人员匹配与三维姿态估计。
2023-12-04 cs.CV
3D Human Pose Estimation in Multi-View Operating Room Videos Using Differentiable Camera Projections
Centre for Artificial Intelligence, Meander Medisch Centrum(米德尔医疗中心人工智能中心);University of Twente(特文特大学)
本文提出利用可微摄像机投影,通过3D损失端到端训练2D CNN,直接优化多视角手术室视频中的3D人体姿态估计,在MVOR数据集上优于2D空间优化方法。
2022-10-21 cs.CV
Improving 2D Human Pose Estimation in Rare Camera Views with Synthetic Data
Czech Technical University in Prague(布拉格捷克技术大学);Faculty of Electrical Engineering(电气工程学院);Department of Cybernetics(控制论系);Visual Recognition Group(视觉识别组)
针对人体姿态估计方法多聚焦常见视角的局限,提出基于SMPL的RePoGen合成数据生成方法,实验证明其数据可提升罕见视角姿态估计性能且不影响常见视角效果,并验证了解剖合理性非性能必要前提。
2024-04-20 cs.CV
From Sharp to Blur: Unsupervised Domain Adaptation for 2D Human Pose Estimation Under Extreme Motion Blur Using Event Cameras
KAIST(韩国科学技术院)
针对运动模糊导致人体姿态估计性能下降的问题,提出利用事件相机的无监督域适应方法,结合事件增强生成运动感知模糊图像与学生-教师伪标签迭代框架,实现目标域无标注下的鲁棒姿态估计。
2025-07-30 cs.CV
Event Camera as Region Proposal Network
Technical University Dortmund(多特蒙德工业大学)
受人类视杆细胞充当视觉区域候选网络的启发,本研究用事件相机替换detectron2中Mask R-CNN的RPN来生成运动物体候选,在精度相当的情况下提升了检测速度、降低了计算成本。
2023-05-01 cs.CV
Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image
Seoul National University(首尔国立大学);Kwangwoon University(光云大学)
虽然最近在3D人体姿态估计方面取得了显着的改进,但大多数先前的方法仅处理单人情况。在这项工作中,我们首先提出了一个完全基于学习的,相机距离感知自顶向下的方法,从一个单一的RGB图像的三维多人姿态估计。所提出的系统的管道由人体检测,绝对三维人体根定位,根相对三维单人姿势估计模块。我们的系统实现了与最先进的3D单人姿势估计模型相当的结果,而无需任何地面实况信息,并且在公开数据集上显着优于以前的3D多人姿势估计方法。该代码可在https://github.com/mks0601/3DMPPE_ROOTNET_RELEASE、https://github.com/mks0601/3DMPPE_POSENET_RELEASE上获得。
2019-08-17 cs.CV
Probabilistic Triangulation for Uncalibrated Multi-View 3D Human Pose Estimation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出概率三角化模块,通过蒙特卡洛采样从2D特征迭代估计相机位姿分布,实现未校准多视图3D人体姿态的端到端估计,在精度与泛化性间取得平衡。
2023-09-09 cs.CV
VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Universidad Rey Juan Carlos(胡安卡洛斯国王大学)
我们提出了第一个实时的方法来捕捉完整的全球三维骨骼姿态的人在一个稳定的,时间上一致的方式使用一个单一的RGB相机。我们的方法结合了一个新的卷积神经网络(CNN)为基础的姿态回归与运动骨架拟合。我们新颖的全卷积姿态公式实时的联合回归2D和3D关节位置,并且不需要紧密裁剪的输入帧。一种实时的运动学骨架拟合方法使用CNN输出以在相干运动学骨架的基础上产生时间稳定的3D全局姿态重建。这使得我们的方法是第一个单目RGB方法可用于实时的应用程序,如3D字符控制-到目前为止,只有单目方法为这样的应用程序采用专门的RGB-D相机。我们的方法的准确性在定量上与最好的离线3D单目RGB姿态估计方法相当。我们的结果在质量上与单目RGB-D方法(如Kinect)的结果相当,有时甚至更好。然而,我们表明,我们的方法比RGB-D解决方案更广泛地适用,即它适用于户外场景,社区视频和低质量的商品RGB相机。
2017-05-03 cs.CV cs.GR
LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-timestamp 3D Human Pose Estimation
Department of Automation, BNRist, Tsinghua University, China(自动化系、北京人工智能研究院、清华大学、中国)
本文提出LiCamPose,结合多视角RGB和稀疏点云数据,通过单帧实现鲁棒的3D人体姿态估计,并设计了合成数据生成器和无监督域适应策略,验证了方法在多种数据集上的泛化能力。
2026-05-07 cs.CV
A Temporal Densely Connected Recurrent Network for Event-based Human Pose Estimation
Hunan Normal University(湖南师范大学);Zhejiang University of Technology(浙江工业大学);City University of Hong Kong(香港城市大学);Soochow University(苏州大学)
本文提出一种密集连接循环架构,通过建模时序与非时序几何一致性来恢复基于事件相机的人体姿态估计中缺失的身体部位,并构建了大规模多模态数据集验证其有效性。
2023-04-06 cs.CV
Event-based Egocentric Human Pose Estimation in Dynamic Environment
Keio University(庆应义塾大学);JST Presto(日本科学技术振兴机构先驱计划)
提出基于事件相机的自我中心人体姿态估计新任务及首个框架D-EventEgo,通过运动分割模块去除动态物体干扰,在合成数据集的五项指标中四项优于基线。
2025-05-28 cs.CV
Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry
Mercedes-Benz AG(梅赛德斯-奔驰集团);Universität Ulm(乌尔姆大学)
我们提出了一个自监督学习算法的三维人体姿态估计的一个人的基础上的多视图摄像机系统和二维人体姿态估计为每个视图。为了训练我们的模型,由深度神经网络表示,我们提出了一种四损失函数学习算法,其不需要任何2D或3D身体姿势地面实况。所提出的损失函数利用多视图几何来重建3D身体姿态估计并在相机视图上施加身体姿态约束。我们的方法在训练期间利用所有可用的相机视图,而推理是单视图。在我们的评估中,我们在Human3.6M和HumanEva基准测试中表现出了良好的性能,同时我们还对MPI-INF-3DHP数据集进行了泛化研究,以及几个消融结果。总的来说,我们优于所有的自监督学习方法,并达到监督和弱监督学习方法的可比结果。我们的代码和模型是公开的
2021-08-17 cs.CV
Estimating Egocentric 3D Human Pose in Global Space
MPI Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);Facebook Reality Labs(Facebook现实实验室)
使用单个鱼眼相机的以自我为中心的3D人体姿态估计最近变得流行,因为它允许在不受约束的环境中捕获广泛的日常活动,这对于使用外部相机的传统由外向内运动捕获是困难的。然而,现有的方法有几个局限性。一个突出的问题是,所估计的姿势位于鱼眼相机的局部坐标系中,而不是在世界坐标系中,这对于许多应用是限制性的。此外,这些方法遭受有限的准确性和时间不稳定性,由于由单眼设置和严重遮挡在强烈扭曲的自我中心的角度引起的模糊性。为了解决这些局限性,我们提出了一种新的方法,使用一个单一的头戴式鱼眼相机的自我中心的全球3D身体姿态估计。为了实现准确和时间稳定的全局姿态,通过最小化热图重投影误差并强制执行从mocap数据集学习的局部和全局身体运动先验,在帧序列上执行时空优化。实验结果表明,我们的方法优于国家的最先进的方法在定量和定性。
2021-08-24 cs.CV
Multimodal Active Measurement for Human Mesh Recovery in Close Proximity
Toyota Motor Corporation(丰田汽车公司);Toyota Technological Institute(丰田工业大学)
针对近距离物理人机交互中相机观测不全导致人体姿态估计精度低的问题,提出融合相机与触觉、测距传感器的主动测量框架,动态优化观测位置并融合多模态数据,在模拟和真实场景中均提升了估计精度。
2024-10-08 cs.CV cs.RO
Active Human Pose Estimation via an Autonomous UAV Agent
University of Maryland - College Park(马里兰大学帕克分校)
本文提出由 NeRF 数据生成、机载视角误差估计网络和约束感知组合规划器构成的自主无人机系统,以主动选择视角克服自遮挡并改进二维人体姿态估计。
2024-07-01 cs.CV cs.RO
Automatic Camera Control and Directing with an Ultra-High-Definition Collaborative Recording System
Hasselt University(哈瑟尔特大学);tUL(林堡大学学院);Flanders Make(法兰德斯制造研究院)
从多个摄像机角度捕捉事件可以为观众提供该事件的最完整和最有趣的图片。为了适合广播,人类导演需要决定在每个时间点播放什么。随着摄像机角度的增加,这可能变得很麻烦。全方位或广角摄像机的引入使事件能够被更完整地捕捉,这使得导演更难选择一个好镜头。在本文中,提出了一种系统,给定多个超高分辨率的视频流的事件,可以生成一个视觉上令人愉快的序列的镜头,管理,以遵循相关的动作的事件。由于该算法是通用的,它可以应用于大多数以人类为特征的场景。所提出的方法允许在需要实时广播时进行在线处理,以及在相机操作的质量是优先级时进行离线处理。目标检测用于检测输入流中的人和其他感兴趣的对象。检测到的感兴趣的人,以及基于电影惯例的一组规则,用于确定要显示哪个视频流以及该视频流的哪个部分是虚拟帧。用户可以提供许多设置来确定如何解释这些规则。该系统能够通过消除镜头失真来处理来自不同广角视频流的输入。使用用户研究表明,对于许多不同的情况下,所提出的自动化导演能够捕捉到一个事件,具有美观的视频组合和人性化的镜头切换行为。
2022-08-10 cs.CV cs.MM
AESOP: Asymmetric Human-Camera Generation with Translation-Intensity Control
East China Normal University(华东师范大学);Peking University(北京大学);Sun Yat-sen University(中山大学);Tencent(腾讯)
AESOP提出统一的不对称框架,通过独立人体路径和共享相机生成器,并利用轨迹对学习平移强度条件,在PulpMotion数据集上实现高质量相机生成与强度控制。
2026-10-12 cs.CV
WATCH: World-aware Allied Trajectory and pose reConstruction for Camera and Human
针对野外单目视频全局人体运动重建中相机信息利用不足的问题,提出WATCH框架,通过解析航向角分解和世界模型启发的相机轨迹整合机制,实现端到端轨迹重建的最优性能。
2026-09-23 cs.CV
SmartMocap: Joint Estimation of Human and Camera Motion using Uncalibrated RGB Cameras
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学)
提出SmartMocap,利用未标定RGB相机,以地面平面为共同参考并引入短时运动先验,通过多阶段优化联合估计人体与相机运动,在多类数据集上表现优异。
2023-04-01 cs.CV
PACE: Human and Camera Motion Estimation from in-the-wild Videos
NVIDIA(英伟达);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
提出联合优化框架,结合SLAM与人体运动先验解耦野外视频中的人体与相机运动,并引入批量优化先验和新合成数据集,显著提升了运动估计精度与效率。
2023-10-20 cs.CV
HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
本文提出首个大规模高质量人物图像动画数据集HumanVid,结合真实与合成数据并引入相机轨迹生成方法,同时建立CamAnimate基线模型,在人体姿态和相机运动控制上达到最先进性能。
2024-11-21 cs.AI cs.CV cs.LG
Large Area 3D Human Pose Detection Via Stereo Reconstruction in Panoramic Cameras
Profactor GmbH(普罗法克特有限公司);JKU(约翰内斯·开普勒大学)
我们提出了一种新的三维人体姿态检测器使用两个全景摄像机。我们表明,将鱼眼视角转换为直线视图可以直接应用二维深度学习姿势估计方法,而无需明确需要昂贵的重新训练步骤来补偿鱼眼图像失真。通过利用全景相机,我们的方法是能够准确地估计在一个大的视野中的人的姿态。这使得我们的方法适用于人体工程学分析和其他姿势为基础的评估。
2019-07-01 cs.CV
UniMoCa: Unifying Motion and Camera Controls as Visual Proxies for Faithful Human Video Generation
SJTU(上海交通大学)
UniMoCa是统一运动与相机控制的视觉代理框架,提出MCVP表征并构建MCVP-Video数据集,在Wan2.2 I2V上实现视频生成多方面性能提升且复杂度低
2026-08-04 cs.CV
BodySLAM: Joint Camera Localisation, Mapping, and Human Motion Tracking
Imperial College London(帝国理工学院);Technische Universität München(慕尼黑工业大学)
从视频中估计人体运动是一个活跃的研究领域,由于其许多潜在的应用。大多数最先进的方法预测人体形状和姿势估计的个人图像,并不利用视频中可用的时间信息。许多“野外”的人体运动序列是由运动的摄像机捕获的,这增加了摄像机和人体运动合并的复杂性。因此,我们提出了BodySLAM,一个单目SLAM系统,共同估计的位置,形状和姿态的人体,以及相机的轨迹。我们还引入了一种新的人体运动模型来约束连续的身体姿势和观察场景的规模。通过一系列的实验对视频序列的运动单目摄像机捕捉到的人体运动,我们证明了BodySLAM提高了估计的所有人体参数和摄像机的姿势相比,估计这些分别。
2022-07-24 cs.CV cs.RO
TROPHIES: Temporal Reconstruction of Places, Humans, and Cameras from Multi-view Videos
National University of Singapore(新加坡国立大学)
提出TROPHIES框架,通过联合估计动态人体、静态场景和相机姿态,实现多视角视频中全局一致的四维重建。
2026-06-01 cs.CV
Decoupling Human and Camera Motion from Videos in the Wild
University of California, Berkeley(加州大学伯克利分校)
我们提出了一种方法来重建全球人类的轨迹从视频在野外。我们的优化方法将摄像机和人体运动结合起来,使我们能够将人放置在同一个世界坐标系中。大多数现有的方法不对相机运动建模;依赖于背景像素来推断3D人体运动的方法通常需要完整的场景重建,这对于野外视频通常是不可能的。然而,即使当现有的SLAM系统不能恢复精确的场景重建时,背景像素运动仍然提供足够的信号来约束相机运动。我们表明,相对摄像机估计以及数据驱动的人体运动先验可以解决场景规模的模糊性和恢复全球人类轨迹。我们的方法可以在具有挑战性的野外视频(如PoseTrack)中稳健地恢复人的全局3D轨迹。我们量化了我们对3D人体数据集Egobody现有方法的改进。我们进一步证明,我们恢复的相机比例允许我们在一个共享的坐标系,这提高了下游跟踪的性能PoseTrack的多个人的运动的原因。代码和视频结果可以在https://vye16.github.io/slahmr上找到。
2023-03-20 cs.CV
From Camera to World: A Plug-and-Play Module for Human Mesh Transformation
University of Science and Technology of China(科学技术大学)
本文提出Mesh-Plug模块,通过结合RGB图像和深度图估计相机旋转参数,实现从相机坐标到世界坐标的人体网格转换,提升了真实场景中3D人体重建的准确性。
2025-12-17 cs.CV
GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras
NVIDIA(英伟达);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种方法,从动态摄像机记录的单目视频三维全球人体网格恢复。我们的方法对严重和长期的遮挡是鲁棒的,即使人体超出摄像机的视野,也能跟踪人体。为了实现这一点,我们首先提出了一个深度生成运动填充器,它基于可见运动自回归地填充被遮挡人类的身体运动。此外,与以前的工作相比,我们的方法在一致的全局坐标中重建人体网格,即使使用动态相机。由于人体运动和摄像机姿态的联合重建是欠约束的,我们提出了一个全局轨迹预测器,生成全球人体轨迹的基础上,局部身体运动。使用预测的轨迹作为锚点,我们提出了一个全局优化框架,细化预测的轨迹,优化相机姿态,以匹配视频证据,如2D关键点。在具有挑战性的室内和野外动态摄像机数据集上的实验表明,该方法在运动填充和全局网格恢复方面明显优于现有方法。
2022-03-30 cs.AI cs.CV cs.GR
Simultaneously Recovering Multi-Person Meshes and Multi-View Cameras with Human Semantics
School of Automation, Southeast University(东南大学自动化学院);Key Laboratory of Measurement and Control of Complex Systems of Engineering, Ministry of Education(教育部复杂工程系统测量与控制重点实验室)
本文提出一种无需标定工具的多视角多人运动捕捉方法,通过结合人体语义、姿态-几何一致性和潜在运动先验,实现相机参数与人体网格的一步同时恢复。
2024-12-25 cs.CV
Multi-Person 3D Pose Estimation from Multi-View Uncalibrated Depth Cameras
Carnegie Mellon University(卡内基梅隆大学);Waymo;Meta
针对多视角RGB三维人体姿态方法需多视角、已标定相机且依赖真实姿态训练的问题,提出无需训练回归模型的MVD-HPE流程,结合深度引导相机位姿估计与深度约束姿态优化,在自采数据集上性能优于现有无回归方案。
2024-01-28 cs.CV
WHAC: World-grounded Humans and Cameras
SenseTime Research(商汤科技研究院);The University of Tokyo(东京大学);Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
提出WHAC框架,利用人体运动提供的绝对空间线索与相机坐标系下的深度估计,联合恢复世界坐标系下SMPL-X人体模型与相机姿态,并引入合成数据集WHAC-A-Mole,实验验证其优越性。
2024-03-19 cs.AI cs.CV cs.GR
Laplacian LRR on Product Grassmann Manifolds for Human Activity Clustering in Multi-Camera Video Surveillance
Beijing University of Technology(北京工业大学);The University of Sydney(悉尼大学);Dalian University of Technology(大连理工大学)
在多摄像机视频监控中,如何正确表示来自不同摄像机的视频并将其有效融合以用于特定应用(如人体活动识别和聚类)是一个挑战。本文提出了一种新的多摄像机视频数据表示方法,即乘积格拉斯曼流形(PGM),将视频序列建模为格拉斯曼流形上的点,并以乘积流形的形式将其整合为一个整体。此外,通过在乘积流形上引入新的几何度量,将传统的低秩表示(LRR)模型扩展到PGM上,并且新的LRR模型可以用于聚类非线性数据,例如多摄像机视频数据。为了验证该方法的有效性,在东直门交通枢纽人群动作、ACT 42人体动作和SKIG人体动作等多摄像机视频数据集上进行了聚类实验。实验结果表明,该方法优于许多国家的最先进的聚类方法。
2016-06-13 cs.CV
Multi-HMR 2: Multi-Person Camera-Centric Human Detection, Mesh Recovery and Tracking
NAVER LABS Europe(NAVER LABS欧洲)
提出基于DETR的框架Multi-HMR 2,联合预测场景一致相机和人体网格,实现度量3D定位与跟踪,无需真实内参或视频监督,在保持骨盆中心性能的同时显著提升检测与定位精度。
2026-06-16 cs.CV
Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation
Alibaba DAMO Academy(阿里巴巴达摩院);Fudan University(复旦大学);Hupan Lab(虎扑实验室);Shanghai Innovation Institute(上海创新研究院)
Uni3C提出统一3D增强框架,通过即插即用的PCDController点云控制模块和联合对齐3D世界引导,实现视频生成中相机与人体运动的精确协同控制,显著优于现有方法。
2025-09-20 cs.CV
Dynamic Multi-Person Mesh Recovery From Uncalibrated Multi-View Cameras
Southeast University(东南大学)
动态多人网格恢复是近年来三维视觉领域的一个研究热点。然而,很少有工作集中在多人运动捕捉从未校准的相机,这主要面临两个挑战:一个是人与人之间的相互作用和遮挡引入固有的二义性,相机校准和运动捕捉;另一个是,缺乏密集的对应关系,可以用来约束稀疏的相机几何形状在一个动态的多人场景。我们的核心思想是将运动先验知识同时优化外部相机参数和人体网格从嘈杂的人类语义。首先,我们引入了一个物理几何一致性,以减少低,高频率的噪声检测到的人类语义。然后提出了一种新的潜在运动先验,同时优化外部相机参数和相干的人体运动从轻微的噪声输入。实验结果表明,通过一步优化可以得到准确的摄像机参数和人体运动。这些代码将在~ \url{https://www.yangangwang.com}上公开提供。
2021-10-20 cs.CV
MUC: Mixture of Uncalibrated Cameras for Robust 3D Human Body Reconstruction
ShanghaiTech University(上海科技大学);Shanghai Jiao Tong University(上海交通大学);Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能医疗科技有限公司);Shanghai Clinical Research and Trial Center(上海临床研究中心)
本研究提出MUC方法,通过未标定多相机视角重建3D人体,利用神经网络基于关节距离分布为各视角分配权重,并动态融合网格表面,将重建模型扩展至SMPL-X,支持任意数量相机的灵活部署。
2024-08-24 cs.CV
Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model
The University of Tokyo(东京大学);Osaka University(大阪大学)
本文讨论了视频运动捕获,即从多摄像机图像中重建人体运动的三维模型。在从每个摄像机图像中计算出部分置信度图之后,应用所提出的时空滤波器来提供具有准确性和平滑性的人体运动数据以用于人体运动分析。时空滤波器使用人体骨架,并在两次逆运动学计算中混合时间平滑。实验结果表明,在规则运动和反向运动情况下,每个关节的平均位置误差分别为26.1mm和38.8mm。
2019-12-10 cs.CV cs.RO
Egocentric Human Trajectory Forecasting with a Wearable Camera and Multi-Modal Fusion
Imperial College London(帝国理工学院);Tencent Robotics X(腾讯Robotics X);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学)
在本文中,我们解决的问题预测的轨迹自我中心的相机佩戴者(自我人)在拥挤的空间。从不同相机佩戴者在现实世界中行走的数据中学习到的轨迹预测能力可以转移到帮助视障人士导航,以及在移动机器人中灌输人类导航行为,从而实现更好的人机交互。为此,构建了一个新的以自我为中心的人类轨迹预测数据集,包含佩戴相机在拥挤空间中导航的人的真实轨迹,以及提取的丰富上下文数据。我们提取并利用三种不同的模态来预测相机佩戴者的轨迹,即,他/她的过去轨迹、附近人的过去轨迹以及诸如场景语义或场景深度的环境。一个基于transformer的编码器-解码器神经网络模型,集成了一种新的级联交叉注意力机制,融合多种形式,已被设计用于预测未来的轨迹的相机佩戴者。已经进行了大量的实验,结果表明,我们的模型优于自我中心的人类轨迹预测的最先进的方法。
2022-07-07 cs.CV
Human Following for Wheeled Robot with Monocular Pan-tilt Camera
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
人类跟随移动机器人已经见证了显着的进步,由于其潜在的现实世界的应用。目前大多数人跟随系统都配备了深度传感器来获取人与机器人之间的距离信息,这受到感知要求和噪声的影响。本文设计了一种带单目云台摄像机的轮式移动机器人系统,该系统能够在跟踪目标的同时保持对目标的跟踪。该系统由快速的人体检测器、实时准确的视觉跟踪器、移动机器人和云台摄像机的统一控制器组成。在视觉跟踪算法中,利用暹罗网络和光流信息同时对人体进行定位和回归。为了实现对单目摄像机的跟踪控制,引入了人体身高约束来设计控制器。在实验中,人以下进行了分析,在模拟和真实的机器人平台,这表明整个系统的有效性和鲁棒性。
2019-09-13 cs.CV cs.RO
Three-dimensional Human Tracking of a Mobile Robot by Fusion of Tracking Results of Two Cameras
Chuo University(中央大学)
本文提出了一种过程,使用两个摄像机来获得三维(3D)信息的目标对象的人体跟踪。综合两台摄像机的人体检测和跟踪结果,获得三维信息。OpenPose用于人体检测。在一般处理立体相机的情况下,尽可能精确地获取整个场景的距离图像,然后处理距离图像。然而,存在诸如不正确的匹配和用于校准过程的计算成本的问题。提出了一种新的立体视觉框架来解决这些问题。通过目标跟踪实验验证了该框架和方法的有效性。
2020-07-03 cs.CV cs.RO
Human Leg Motion Tracking by Fusing IMUs and RGB Camera Data Using Extended Kalman Filter
Sharif University of Technology(谢里夫理工大学)
人体运动捕捉经常用于研究康复和临床问题,以及为娱乐业提供逼真的动画。基于IMU的系统以及基于标记的运动跟踪系统是最流行的跟踪运动的方法,因为它们的实现成本低并且重量轻。本文提出了一种基于四元数的扩展卡尔曼滤波器方法来恢复一组IMU传感器数据与摄像机标记系统数据融合的人腿段运动。本文提出了一种扩展卡尔曼滤波器的方法来融合两个惯性测量单元和一个RGB摄像机的数据,用于人体腿部运动跟踪。基于惯性传感器和摄像标记系统的互补特性,在引入的新测量模型中,通过三个测量方程更新大腿和小腿的姿态数据。通过摄像机标记系统跟踪骨盆关节的位置,可以对人体进行定位。一个数学模型已被用来估计关节的深度在2D图像。所提出的算法的效率进行评估的光学运动跟踪系统。
2020-12-07 cs.CV