A Survey on fMRI-based Brain Decoding for Reconstructing Multimodal Stimuli
Beijing Institute of Basic Medical Sciences(北京基础医学研究所);School of Computer Science and Information Engineering, Hefei University of Technology (HFUT)(合肥工业大学计算机与信息工程学院);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);Zhejiang University(浙江大学);Australian Artificial Intelligence Institute, Faculty of Engineering and Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院澳大利亚人工智能研究所);School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院)
本综述系统梳理了基于fMRI的多模态刺激重建脑解码领域的最新进展,总结了相关数据集、脑区与方法分类,评估了模型性能,指出了挑战并提出未来研究方向,为该领域提供参考。
2025-03-20 cs.CV
Reconstructing NBA Players
University of Washington(华盛顿大学)
从一张照片中进行三维人体姿态和形状估计已经取得了很大的进展。然而,由于具有挑战性的身体姿势、建模服装和自我遮挡,最先进的结果仍然存在误差。篮球比赛领域特别具有挑战性,因为它展示了所有这些挑战。在本文中,我们介绍了一种新的方法重建的篮球运动员,优于国家的最先进的。我们的方法的关键是一种新的方法,用于创建poseable,皮肤模型的NBA球员,和一个大型数据库的网格(来自NBA2K19视频游戏),我们正在发布的研究社区。基于这些模型,我们介绍了一种新的方法,作为输入的一张照片的穿着球员在任何篮球姿势,并输出一个高分辨率的网格和3D姿态的球员。我们证明了国家的最先进的,单一的图像的身体形状重建的方法有很大的改善。
2020-07-27 cs.CV
SSD-Poser: Avatar Pose Estimation with State Space Duality from Sparse Observations
Academy for Engineering & Technology, Fudan University(复旦大学工程与技术学院);College of Vocational and Technical Teacher Education, Shanghai Polytechnic University(上海理工大学职业技术与教师教育学院)
SSD-Poser提出一种轻量模型,利用状态空间对偶性和频率感知解码器,从HMD稀疏观测中实现实时高精度全身姿态估计。
2025-04-25 cs.CV cs.HC
R3-Avatar: Record and Retrieve Temporal Codebook for Reconstructing Photorealistic Human Avatars
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The University of Tokyo(东京大学);Beihang University(北京航空航天大学)
本文提出 R3-Avatar,通过时间码本记录外观并按相似姿态检索,实现兼顾可动画性与照片级真实感的人体化身重建。
2025-03-17 cs.CV
Reconstructing normal section profiles of 3D revolving structures via pose-unconstrained multi-line structured-light vision
Beihang University(北京航空航天大学);Beijing Technology and Business University(北京工商大学)
训练的车轮是一个三维旋转的几何结构。在铁路安全领域,车轮正截面轮廓重构是确定车轮关键几何参数和磨耗的有效途径。现有的重建方法通常需要传感器在受约束的位置和姿态下工作,灵活性差,视角有限。提出了一种基于多线结构光视觉传感器获取的多个旋转体三维通用截面轮廓的无姿态约束法向截面轮廓重建框架。首先建立了一个模型,利用对应点估计三维回转体几何结构的轴线和法向截面轮廓。然后,我们将模型嵌入到一个迭代算法,以优化相应的点,最终重建准确的法向截面轮廓。对三维车轮法向截面轮廓的重建进行了实验研究。实验结果表明,该算法的平均精度为0.068mm,重复性好,标准偏差为0.007mm。它对传感器的姿态变化也是鲁棒的。我们提出的框架和模型一般化到任何三维轮式旋转部件。
2020-04-27 cs.CV eess.IV
Animal Avatars: Reconstructing Animatable 3D Animals from Casual Videos
Meta;University College London(伦敦大学学院)
提出一种从单目视频构建可动画化狗虚拟形象的方法,通过4D联合求解姿态与外观,利用连续表面嵌入改进SMAL模型拟合,并设计隐式双面网格纹理,在CoP3D和APTv2数据集上优于现有方法。
2024-03-25 cs.CV
Reconstructing Close Human Interactions from Multiple Views
State Key Laboratory of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Hong Kong University of Science and Technology(香港科技大学);Capital University of Physical Education and Sports(首都体育学院);WeBank(微众银行)
针对多视角近距离交互多人姿态重建中遮挡、关联歧义、训练数据少的问题,提出结合3D条件体素网络与合成训练数据的新系统,精度显著优于现有方法且通用性强。
2024-01-29 cs.CV
Tracking and Reconstructing Hand Object Interactions from Point Cloud Sequences in the Wild
Peking University(北京大学);Beijing Institute for General AI(北京通用人工智能研究院);Virginia Tech(弗吉尼亚理工大学);Stanford University(斯坦福大学);Tsinghua University(清华大学);Columbia University(哥伦比亚大学)
在这项工作中,我们解决了具有挑战性的任务,联合跟踪手对象的姿势和重建他们的形状从深度点云序列在野外,给定的初始姿势在帧0。我们首次提出了一个基于点云的手关节跟踪网络,HandTrackNet,估计帧间的手关节运动。我们的HandTrackNet提出了一种新的手部姿势规范化模块,以减轻跟踪任务,产生准确和强大的手关节跟踪。然后,我们的管道通过将预测的手部关节转换为基于模板的参数化手部模型MANO来重建整只手。对于对象跟踪,我们设计了一个简单而有效的模块,估计对象SDF从第一帧,并进行基于优化的跟踪。最后,采用联合优化步骤进行手和物体的联合推理,消除了遮挡引起的模糊性,并进一步细化了手的姿态。在训练期间,整个流水线只看到纯粹的合成数据,这些数据是用足够的变化和深度模拟合成的,以便于泛化。整个管道与泛化差距有关,因此可以直接转换为真实的野外数据。我们在两个真实的手部对象交互数据集上评估了我们的方法,例如HO3D和DexYCB,没有任何微调。我们的实验表明,所提出的方法显着优于以前的国家的最先进的基于深度的手和对象的姿态估计和跟踪方法,运行在帧速率为9 FPS。
2022-09-24 cs.CV
LucidFusion: Reconstructing 3D Gaussians with Arbitrary Unposed Images
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);Johns Hopkins University(约翰斯·霍普金斯大学);SkyWork AI(天工智联(SkyWork AI))
LucidFusion提出相对坐标图与相对坐标高斯,将无姿态图像对齐到主视图并通过可微光栅化恢复一致几何,实现任意数量无姿态输入的快速稳健3D重建。
2025-03-08 cs.CV
Reconstructing Small 3D Objects in front of a Textured Background
Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(布拉格捷克理工大学捷克信息学、机器人与控制论研究所)
我们提出了一个完整的3D重建技术的小物体移动在前面的纹理背景。它是多体运动恢复结构的一种特殊变体,只针对两个物体。场景在几个静态配置中被捕获,在这些静态配置之间,两个对象的相对姿态可能会改变。我们单独重建每个静态配置,并通过找到捕获场景其他配置的相机的多个姿势来局部分割点。然后,将局部分割结果组合,并且将重建合并到场景的结果模型中。在真实工件的实验中,我们表明,我们的方法具有实际的优势,从各个方面重建3D对象。在这种情况下,我们的方法优于国家的最先进的。我们将我们的方法集成到国家的最先进的三维重建流水线COLMAP。
2021-05-24 cs.CV
AHAP: Reconstructing Arbitrary Humans from Arbitrary Perspectives with Geometric Priors
AHAP通过融合多视角几何信息,实现无需相机标定的任意视角人类重建,提升了在现实场景中的适用性和效率。
2026-03-13 cs.CV
Graph-based Normalizing Flow for Human Motion Generation and Reconstruction
KTH Royal Institute of Technology(瑞典皇家理工学院)
数据驱动的人体骨骼运动建模方法在交互式媒体和社交机器人中有着广泛的应用。在这些领域中,由于例如错过的标记检测,对于从不完美的输入数据生成高保真样本和鲁棒地重建运动仍然存在挑战。在本文中,我们提出了一个概率生成模型来合成和重建长时间的运动序列的条件下,过去的信息和控制信号,如个人移动的路径。我们的方法通过引入一个新的基于图的模型来适应现有的工作MoGlow。该模型利用时空图卷积网络(ST-GCN)有效地捕获多尺度下骨骼运动数据的空间结构和时间相关性。我们评估的模型上的混合物的动作捕捉数据集的人类运动与脚步和骨骼长度分析。结果表明,我们的模型在重建丢失的标记,并取得可比的结果,产生现实的未来构成的优势。当输入是不完美的,我们的模型表现出改进的鲁棒性的生成。
2021-04-07 cs.CV cs.LG
GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos
Baidu Inc.(百度公司)
本文提出GVA方法,通过姿态细化与表面引导重初始化,从单目视频重建高保真3D高斯化身,实现照片级真实感新视角合成及精细姿态控制。
2024-03-19 cs.CV
Improved Trajectory Reconstruction for Markerless Pose Estimation
Shirley Ryan AbilityLab(雪莉·瑞安能力实验室);Northwestern University(西北大学);Stanford University(斯坦福大学)
无标记位姿估计允许从多个同步和校准的视图重建人体运动,并且具有使运动分析(包括步态分析)容易和快速的潜力。这可以更频繁地量化步态障碍的特征,从而更好地监测干预措施的结果和反应。然而,不同的关键点检测器和重建算法对无标记位姿估计精度的影响尚未得到彻底评估。我们测试了这些算法的选择从多摄像机系统从一个异构的样本中看到的25个人在康复医院的数据。我们发现,使用自上而下的关键点检测器并使用隐式函数重建轨迹可以实现准确,平滑和解剖学上合理的轨迹,与仅8mm的GaitRite走道相比,步长估计中存在噪声。
2023-03-08 cs.CV
TexHOI: Reconstructing Textures of 3D Unknown Objects in Monocular Hand-Object Interaction Scenes
Department of Computer Science, The University of Texas at Dallas(计算机科学系,德克萨斯大学达拉斯分校)
TexHOI提出一种从单目视频重建手物交互场景中未知物体高保真纹理的方法,通过辐射场复合渲染、手物姿态优化和物理渲染参数细化,首次显式建模手对光照与阴影的影响,超越现有最优方法。
2025-02-04 cs.CV
TempCLR: Reconstructing Hands via Time-Coherent Contrastive Learning
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们介绍了Temptum,一个新的时间相干的对比学习方法的结构化回归任务的三维手重建。与以前的时间对比方法的手姿态估计,我们的框架考虑时间的一致性,在其增强方案,并占沿时间方向的手姿态的差异。我们的数据驱动方法利用了未标记的视频和标准的CNN,而不依赖于合成数据、伪标签或专门的架构。我们的方法在HO-3D和FreiHAND数据集上分别将PA-V2 V中全监督手部重建方法的性能提高了15.9%和7.6%,从而建立了新的最先进的性能。最后,我们证明了我们的方法产生更平滑的手重建随着时间的推移,是更强大的重闭塞相比,我们定量和定性显示以前的最先进的。我们的代码和模型将在https://eth-ait.github.io/tempclr上提供。
2022-09-01 cs.CV
Reconstructing Objects along Hand Interaction Timelines in Egocentric Video
University of Bristol, UK(英国布里斯托大学);Max Planck Institute for Intelligent Systems, Tübingen, Germany(德国图宾根马克斯·普朗克智能系统研究所)
提出ROHIT任务,通过定义手交互时间线(HIT)并利用约束优化与传播(COP)框架,在无3D真值的情况下,从第一人称视频中重建刚性物体的姿态,显著提升重建精度。
2026-06-02 cs.CV
Reconstructing Hand-Held Objects from Monocular Video
The University of Sydney(悉尼大学);Zhejiang University(浙江大学);Image Derivative Inc.(Image Derivative公司);Shanghai AI Laboratory(上海人工智能实验室)
提出了一种从单目视频中重建手持物体的方法。与许多最近通过训练的网络直接预测对象几何形状的方法相比,所提出的方法不需要任何关于对象的先验知识,并且能够恢复更准确和详细的对象几何形状。关键的想法是,手的运动自然地提供了多个视图的对象和运动可以可靠地估计的手姿态跟踪器。然后,通过求解多视图重建问题来恢复物体的几何形状。我们设计了一种基于隐式神经表示的方法来解决重建问题,并解决不精确的手姿态估计,相对手对象运动,以及小对象的几何优化不足的问题。我们还提供了一个新收集的数据集与3D地面真相,以验证所提出的方法。
2022-11-30 cs.CV
Reconstructing Humans with a Biomechanically Accurate Skeleton
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Zhejiang University(浙江大学)
本文提出一种利用生物力学精确骨骼模型从单张图像重建三维人体的方法,通过Transformer估计参数并迭代细化伪标签,在极端姿态下优于现有方法,且能生成更自然的关节旋转。
2025-03-27 cs.CV
Reconstructing Groups of People with Hypergraph Relational Reasoning
Southeast University(东南大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对拥挤场景中多人网格恢复不准的问题,提出超图关系推理网络,利用人群特征进行重建,实验优于基线方法。
2023-08-30 cs.CV
Humans in 4D: Reconstructing and Tracking Humans with Transformers
University of California, Berkeley(加州大学伯克利分校)
我们提出4DHumans方法,利用Transformer化的HMR 2.0网络进行3D人体重建,并结合3D跟踪系统实现多人在遮挡下的身份保持,在单目视频跟踪和动作识别任务上达到最先进水平。
2023-08-31 cs.CV
Pixel2ISDF: Implicit Signed Distance Fields based Human Body Model from Multi-view and Multi-pose Images
Dalian University of Technology(大连理工大学);University of California, Merced(加州大学默塞德分校);Northwestern Polytechnical University(西北工业大学);ZMO AI Inc.(ZMO人工智能公司)
在这份报告中,我们专注于重建在规范空间中的多个视图和姿势的人作为输入的衣服的人。为了实现这一点,我们利用SMPLX模型在规范空间中的几何先验来学习几何重建的隐式表示。基于观察到的构成网格和规范空间中的网格之间的拓扑结构是一致的,我们提出了学习潜在代码的构成网格利用多个输入图像,然后分配潜在代码的规范空间中的网格。具体来说,我们首先利用法线和几何网络来提取SMPLX网格上每个顶点的特征向量。与2D图像相比,法线映射被采用以更好地泛化到不可见的图像。然后,从多个图像的姿态网格上的每个顶点的特征是由MLP集成。作为潜在代码的集成功能锚定到SMPLX网格在规范空间。最后,每个三维点的潜在代码被提取并用于计算SDF。我们的工作,重建人体形状的规范姿势达到第三次性能的WCPA MVP-人体挑战赛。
2022-12-06 cs.CV
SPnet: Estimating Garment Sewing Patterns from a Single Image
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出SPnet,从单张姿态用户图像通过两阶段方法(预测T姿态服装图像并估计缝纫版型参数)重建可自适应变形到任意姿态的三维服装,克服了直接重建导致新姿态下不自然的问题。
2023-12-26 cs.AI cs.CV
Reconstructing 3D Human Pose from RGB-D Data with Occlusions
University College London(伦敦大学学院)
提出一种基于场景信息和先验知识缩小解空间的方法,通过神经网络估计自由区处理遮挡部位,利用截断阴影体积约束可见部位,并用体积匹配策略,在PROX数据集上实现更准确合理的三维人体重建。
2023-10-15 cs.CV cs.GR
Reconstructing Close Human Interaction with Appearance and Proxemics Reasoning
Southeast University(东南大学);National University of Singapore(新加坡国立大学);Sichuan University(四川大学);Agency for Science, Technology and Research, Singapore(新加坡科技研究局);CFAR, Agency for Science, Technology and Research, Singapore(新加坡科技研究局)
本文提出一种双分支优化框架,结合外观线索、社交距离先验和物理约束,从自然视频中准确重建近距离人类交互,并构建了伪真值数据集,在多个基准上优于现有方法。
2025-07-03 cs.CV
PO-MSCKF: An Efficient Visual-Inertial Odometry by Reconstructing the Multi-State Constrained Kalman Filter with the Pose-only Theory
College of Intelligent Science and Technology, National University of Defense Technology(国防科技大学智能科学学院)
针对MSCKF视觉惯性里程计因特征位置误差导致精度退化的问题,提出基于仅位姿多视图几何重构的PO-MSCKF方法,通过建立仅与运动状态相关的重投影残差消除空间投影需求与3D重建误差,在多数据集上提升了精度与一致性。
2024-07-02 cs.CV cs.RO
CryoHype: Reconstructing a thousand cryo-EM structures with transformer-based hypernetworks
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
CryoHype通过变换器超网络实现高通量冷冻电镜结构重建,解决混合分子物种的组分异质性问题,实现1000个结构的高精度重建。
2026-03-19 cs.CV
CAD-NeRF: Learning NeRFs from Uncalibrated Few-view Images by CAD Model Retrieval
National University of Defense Technology(国防科技大学)
CAD-NeRF针对无位姿少视图NeRF重建难题,提出通过ShapeNet CAD模型库检索相似形状作为密度监督与位姿初始化,并联合优化密度场变形和相机位姿,实现自监督高精度重建。
2025-05-05 cs.CV
J-NeuS: Joint field optimization for Neural Surface reconstruction in urban scenes with limited image overlap
Noah’s Ark, Huawei Paris Research Center, France(华为巴黎研究中心);CAOR, Mines-Paris PSL, France(Mines-Paris PSL)
针对城市场景驾驶序列图像重叠度低导致神经隐式表面重建效果差的问题,提出J-NeuS混合重建方法,通过跨表示不确定性估计、双辐射场联合优化与引导采样,在主流驾驶数据集上超越同期最先进方法。
2025-09-30 cs.CV
AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors
University of Tübingen(图宾根大学);Imperial College London(帝国理工学院);KAUST(阿卜杜拉国王科技大学)
本文提出AHOY方法,通过高斯点云和视频扩散先验从真实视频中重建完整可动画3D人体,解决遮挡挑战,提出四点贡献:生成监督、两阶段架构、解耦策略、头身监督。
2026-06-28 cs.CV
Polarization Human Shape and Pose Dataset
University of Alberta(阿尔伯塔大学);Simon Fraser University(西蒙弗雷泽大学);School of Automation, China University of Geosciences(中国地质大学自动化学院);University of Guelph(圭尔夫大学)
偏振图像能够捕获偏振反射光,保留物体的丰富几何线索,这促使其最近在重建感兴趣的物体的详细表面法线中的应用。同时,受最近从单色图像中估计人体形状的突破的启发,我们试图研究偏振相机的几何线索是否可以用于估计详细的人体形状的新问题。这导致了Polarization Human Shape and Pose Dataset(PHSPD)的策展,这是我们自主开发的各种人体形状和姿势的偏振图像数据集。
2020-07-29 cs.CV
InpaintHuman: Reconstructing Occluded Humans with Multi-Scale UV Mapping and Identity-Preserving Diffusion Inpainting
Hangzhou Dianzi University(杭州电子科技大学);Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团);Wuhan University(武汉大学);University of Melbourne(墨尔本大学)
InpaintHuman通过多尺度UV映射和身份保持扩散修复技术,从被遮挡的单目视频中生成高保真、完整且可动画的3D人类化身。
2026-01-05 cs.CV
Reconstructing Vechicles from a Single Image: Shape Priors for Road Scene Understanding
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
在自动驾驶的背景下,我们提出了一种从单个(RGB)图像重建车辆的方法。虽然这个问题似乎是不适定的,但我们证明了关于车辆的3D形状如何投影到图像的先验知识可以用来推理相反的过程,即,形状如何从2D投影到3D。我们将这些知识编码在\emph{shape priors}中,这些知识是在一个小的关键点注释数据集上学习的。然后,我们制定了一个形状感知的调整问题,使用学习的形状先验恢复的3D姿态和形状的查询对象从图像。对于形状表示和推理,我们利用卷积神经网络(CNN)的目标和关键点定位任务的最新成功,并训练一种新的级联全卷积架构,以定位图像中的车辆\emph{keypoints}。然后,形状感知调整鲁棒地恢复形状(检测到的关键点的3D位置),同时填充被遮挡的关键点。为了解决由于错误检测到的关键点而引起的估计误差,我们使用迭代重新加权最小二乘(IRLS)方案进行鲁棒优化,并作为每个预测关键点的副产品表征噪声模型。我们在自动驾驶基准上评估了我们的方法,并提出了优于现有单眼和立体方法的结果。
2016-09-29 cs.CV cs.RO
SRHand: Super-Resolving Hand Images and 3D Shapes via View/Pose-aware Neural Image Representations and Explicit 3D Meshes
School of Computing, KAIST(计算机学院,韩国科学技术院)
SRHand提出几何感知隐式图像函数,联合优化隐式表示与显式三维手部网格,从低分辨率图像实现多视角/姿态一致的高保真手部纹理与精细三维几何重建。
2025-09-26 cs.CV
Reconstructing Signing Avatars From Video Using Linguistic Priors
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出SGNify,利用适用于手语的语言先验约束3D手部姿态,从野外单目视频自动重建富有表现力的手语虚拟化身,并在可懂度与自然度上超越现有方法。
2023-04-20 cs.CV cs.GR
WALT3D: Generating Realistic Training Data from Time-Lapse Imagery for Reconstructing Dynamic Objects under Occlusion
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊公司)
本文提出WALT3D框架,利用延时影像和现成二维/三维预测自动生成带伪真值的大规模遮挡数据集,以剪贴画方式合成真实遮挡场景,显著提升城市场景中车辆和行人等被严重遮挡物体的二维与三维重建性能。
2024-04-01 cs.CV
StableGrasp: Reconstructing Physically Stable Human Hand Grasps from Single Images
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对单图像人手抓取物理稳定性不足的问题,提出StableGrasp可微仿真优化框架,分离视觉姿态与控制目标,联合优化几何与控制,生成更稳定且视觉一致的抓取。
2026-10-08 cs.CV cs.GR cs.RO
Reconstructing Three-Dimensional Models of Interacting Humans
Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所);Lund University(隆德大学)
本文针对三维人类交互重建中接触细节缺失的问题,提出交互特征估计模型(ISP)确保接触一致性,构建了CHI3D和FlickrCI3D等大型数据集,并提供多格式运动数据、评估服务器和公开基准。
2023-08-04 cs.CV
SocialMirror: Reconstructing 3D Human Interaction Behaviors from Monocular Videos with Semantic and Geometric Guidance
ShanghaiTech University(上海科技大学);Nanyang Technological University(南洋理工大学);Guangzhou Institute of Energy Conversion, CAS(广州能源研究所,中国科学院);University of Science and Technology of China(中国科学技术大学);The Chinese University of Hong Kong(香港中文大学);Inceptio Technology(Inceptio科技);Shanghai Jiao Tong University(上海交通大学)
本文提出SocialMirror框架,通过语义和几何引导解决单目视频中人体重建的挑战,实现高精度交互行为重建,展现强大的泛化能力。
2026-04-15 cs.CV
FvOR: Robust Joint Shape and Pose Optimization for Few-view Object Reconstruction
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司)
在计算机视觉中,从少量的图像观测重建精确的三维物体模型仍然是一个具有挑战性的问题。最先进的方法通常假设准确的相机姿势作为输入,这在现实环境中可能难以获得。在本文中,我们提出了FvOR,这是一种基于学习的对象重建方法,它可以预测精确的3D模型,给出一些带有噪声输入姿势的图像。我们的方法的核心是一个快速和强大的多视图重建算法,共同完善三维几何和相机姿态估计使用可学习的神经网络模块。我们在ShapeNet上提供了针对此问题的最先进方法的全面基准。我们的方法实现了一流的结果。它也比最近的基于优化的方法IDR快两个数量级。我们的代码在\url{https://github.com/zhenpeiyang/FvOR/}上发布
2022-05-16 cs.CV
ROSA: Reconstructing Object Shape and Appearance Textures by Adaptive Detail Transfer
University of Bonn(波恩大学)
提出逆向渲染方法ROSA,通过空间自适应网格分辨率优化几何体,并利用基于瓦片的方法在高分辨率纹理中重建精细外观细节,克服了传统重建方法中网格低效和纹理分辨率受限的问题。
2025-01-30 cs.CV
Exploiting temporal context for 3D human pose estimation in the wild
University of Oxford(牛津大学);DeepMind(深度思维)
我们提出了一种基于调整的算法,用于从单目视频中恢复精确的3D人体姿态和网格。与以前的算法操作单帧,我们表明,重建一个人在整个序列提供了额外的约束,可以解决歧义。这是因为视频通常会给出一个人的多个视图,但整体体型不会改变,3D位置变化缓慢。我们的方法不仅改进了标准的基于mocap的数据集,如人类3.6M -我们在其中显示了定量改进-而且还改进了具有挑战性的野外数据集,如动力学。基于我们的算法,我们提出了一个新的数据集,其中包含来自Kinetics的超过300万帧YouTube视频,并自动生成3D姿势和网格。我们表明,通过对3DPW和HumanEVA数据集进行评估,在此数据上重新训练单帧3D姿态估计器可以提高真实世界和mocap数据的准确性。
2019-05-10 cs.CV
hSMAL: Detailed Horse Shape and Pose Reconstruction for Motion Pattern Recognition
KTH(瑞典皇家理工学院);MPI Intelligent Systems(马克斯·普朗克智能系统研究所);Univrses AB(Univrses公司);SLU(瑞典农业科学大学);Silo AI(Silo AI公司);IMATI-CNR(意大利国家研究委员会应用数学与信息技术研究所)
在本文中,我们提出了我们的初步工作,基于模型的行为分析的马运动。我们的方法是基于SMAL模型,一个3D铰接的动物形状的统计模型。我们定义了一个新的SMAL模型的基础上,一个新的模板,骨架和形状空间的马从$37$马玩具。我们测试了我们的hSMAL模型在从3D mocap数据和图像重建马的准确性。我们将hSMAL模型应用于视频中的跛行检测问题,其中我们将模型拟合到图像中以恢复3D姿态并在姿态数据上训练ST-GCN网络。与在mocap点上训练的相同网络的比较说明了我们方法的好处。
2021-06-18 cs.CV
AnimalLift: Reconstructing Animatable 3D Animals from a Single Image by Learning Canonical Shape, Texture, and Fur Maps
Australian National University(澳大利亚国立大学);University of Oxford(牛津大学)
AnimalLift提出从单张图像重建结构化、可动画化的3D动物资产,通过统一规范空间和UV对齐毛发贴图实现几何、纹理与毛发的联合预测,支持动画、编辑与模拟。
2026-09-10 cs.CV
Unsupervised Multi-Person 3D Human Pose Estimation From 2D Poses Alone
University of Southampton(南安普顿大学)
针对现有无监督2D-3D人体姿态估计方法无法适配多人场景的透视歧义问题,提出通过预测相机相对骨盆仰角、独立提升2D姿态再整合到共享3D坐标系的方法,在CHI3D数据集上验证有效并建立基准。
2024-03-12 cs.CV
Matryoshka Networks: Predicting 3D Geometry via Nested Shape Layers
TU Darmstadt(达姆施塔特工业大学);Intel Labs(英特尔实验室)
在本文中,我们开发了新的,高效的2D编码的3D几何,这使得重建完整的3D形状从一个单一的图像在高分辨率。其核心思想是将三维形状重建问题转化为二维预测问题。为此,我们首先开发了一个简单的基线网络,它可以预测参考视图每个像素处的整个体素管。通过利用经过验证的2D像素预测任务架构,我们获得了最先进的结果,明显优于纯粹基于体素的方法。我们通过提出一种记忆高效的形状编码,将此基线扩展到更高的分辨率,该编码将3D形状递归分解为嵌套的形状层,类似于Matryoshka娃娃的碎片。这使得重建高度详细的形状与复杂的拓扑结构,在广泛的实验中证明,我们显然优于以前的八叉树为基础的方法,尽管有一个更简单的架构,使用标准的网络组件。我们的Matryoshka网络进一步支持从ID或形状相似性重建形状,以及形状采样。
2018-04-29 cs.CV
ProPLIKS: Probablistic 3D human body pose estimation
FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Siemens Healthineers AG(西门子医疗保健股份公司)
本文提出ProPLIKS概率3D人体姿态估计方法,利用面向SO(3)的Möbius归一化流建模姿态不确定性,并在RGB与X射线数据集上验证其优于现有方法。
2024-12-05 cs.CV
Pose-NDF: Modeling Human Pose Manifolds with Neural Distance Fields
University of Tübingen(图宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Meta Reality Labs Research(Meta现实实验室)
我们提出了姿势NDF,一个连续的模型,合理的人类构成的神经距离场(NDF)的基础上。姿态或运动先验对于生成真实的新姿态和从噪声或部分观测重建准确姿态是重要的。Pose-NDF学习一个可能的姿态流形作为神经隐式函数的零水平集,将3D隐式曲面建模的思想扩展到高维域SO(3)^K,其中人类姿态由单个数据点定义,由K个四元数表示。所得到的高维隐函数可以相对于输入姿态进行微分,并且因此可以用于通过在三维超球面的集合上使用梯度下降来将任意姿态投影到流形上。与以前的基于VAE的人类姿势先验(将姿势空间转换为高斯分布)相比,我们对实际姿势流形进行建模,保留姿势之间的距离。我们证明,PoseNDF优于现有的最先进的方法,作为一个在各种下游任务的优先级,从去噪真实世界的人类mocap数据,从遮挡数据的姿态恢复到3D姿态重建图像。此外,我们表明,它可以用来生成更多样化的构成随机采样和投影比基于VAE的方法。
2022-07-27 cs.CV
PoseKernelLifter: Metric Lifting of 3D Human Pose using Sound
Samsung AI Center NY(三星人工智能中心纽约);University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Minnesota Twin Cities(明尼苏达大学双城分校)
从单视点图像重建度量尺度下的人体三维姿态是一个几何不适定问题。例如,我们不能在没有附加场景假设的情况下从单个视图图像测量人到相机的确切距离(例如,已知高度)。现有的基于学习的方法通过按比例重建3D姿势来规避这个问题。然而,有许多应用,如虚拟远程呈现,机器人,和增强现实,需要度量尺度重建。在本文中,我们表明,随着图像记录的音频信号,提供补充信息,以重建度量的3D姿态的人。关键的见解是,当音频信号穿过3D空间时,它们与身体的交互提供了关于身体姿势的度量信息。基于这一认识,我们引入了一个称为姿态核的时不变传递函数-由身体姿态引起的音频信号的脉冲响应。姿态核的主要特性是:(1)其包络与3D姿态高度相关,(2)时间响应对应于到达时间,指示到麦克风的度量距离,以及(3)它对场景几何配置的变化是不变的。因此,它很容易推广到看不见的场景。我们设计了一个多级3D CNN,它融合了音频和视觉信号,并学习以度量尺度重建3D姿态。我们表明,我们的多模态方法在现实世界的场景中产生准确的度量重建,这是不可能的,与国家的最先进的提升方法,包括参数网格回归和深度回归。
2021-12-03 cs.CV cs.SD eess.AS
Again-Pose: Anchor-Guided Adaptive Inter-Frame Motion Cues Propagating for High-quality Human Pose Reconstruction
提出Again-Pose框架,通过显式识别高质量锚帧并传播运动线索来修复退化帧的姿态,解决极端运动场景下姿态重建的鲁棒性问题。
2026-06-28 cs.CV
Reconstructing Hands in 3D with Transformers
UC Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学);New York University(纽约大学)
本文提出全 Transformer 架构的 HaMeR,通过扩大训练数据与 ViT 模型规模,从单目图像中准确鲁棒地恢复 3D 手部网格,并在多个基准及新建 HInt 数据集上显著超越基线。
2023-12-08 cs.CV
S3O: A Dual-Phase Approach for Reconstructing Dynamic Shape and Skeleton of Articulated Objects from Single Monocular Video
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出两阶段 S3O 方法,在无预定义模型、相机位姿或关键点标注的条件下,从单目视频联合重建关节式物体的形状、骨架与运动,并通过 PlanetZoo 等数据集验证其精度与约 60% 的训练提速。
2024-05-21 cs.CV
TAPE: Temporal Attention-based Probabilistic human pose and shape Estimation
University of Crete(克里特大学);Foundation for Research and Technology - Hellas (FORTH)(希腊研究与技术基金会(FORTH))
针对单目视频3D人体姿态形状重建的遮挡、映射模糊等问题,提出基于时序注意力的概率估计方法TAPE,用注意力网络编码时序特征、归一化流输出逐帧时序概率分布,性能优于SOTA且可作为优化方法的有效先验。
2023-04-29 cs.CV
PF-LRM: Pose-Free Large Reconstruction Model for Joint Pose and Shape Prediction
Adobe Research(奥多比研究中心);HKU(香港大学);Stanford(斯坦福大学);Texas A&M University(德克萨斯农工大学)
提出PF-LRM模型,通过自注意力机制交换3D与2D特征,并利用可微PnP求解器,从少量无位姿图像中在约1.3秒内联合预测3D形状与相机位姿,展现出强大的跨数据集泛化能力及下游任务适用性。
2023-11-23 cs.CV