Linked Dynamic Graph CNN: Learning on Point Cloud via Linking Hierarchical Features
Southern University of Science and Technology(南方科技大学);The University of British Columbia(不列颠哥伦比亚大学);Tsinghua University(清华大学)
点云是一种常见的几何数据,可以帮助机器人鲁棒地理解环境,因此点云学习的需求非常迫切。然而,点云是稀疏的、非结构化的和无序的,这不能被传统的卷积神经网络(CNN)或递归神经网络(RNN)准确地识别。幸运的是,图卷积神经网络(Graph CNN)可以处理稀疏和无序的数据。因此,本文提出了一种直接对点云进行分类和分割的链接动态图CNN(LDG CNN)。我们删除了转换网络,从动态图中链接层次特征,冻结特征提取器,并重新训练分类器以提高LDGCNN的性能。我们使用理论分析和可视化来解释我们的网络。通过实验,我们证明了所提出的LDGCNN在两个标准数据集上实现了最先进的性能:ModelNet40和ShapeNet。
2019-08-06 cs.CV
L-PR: Exploiting LiDAR Fiducial Marker for Unordered Low Overlap Multiview Point Cloud Registration
York University(约克大学)
本文提出L-PR框架,利用LiDAR基准标记解决无序低重叠多视角点云配准问题,通过改进检测和两级图优化,超越现有方法,并助力数据采集与训练。
2025-02-05 cs.CV cs.RO
Multi-view 3D Reconstruction with Transformer
University of British Columbia(不列颠哥伦比亚大学);University of Science and Technology of China(中国科学技术大学);University of Michigan(密歇根大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
到目前为止,基于深度CNN的方法已经在多视图3D对象重建中取得了最先进的结果。尽管这些方法取得了长足的进步,但其两个核心模块--多视角特征提取和融合,通常是分开研究的,而对不同视角下的目标关系研究较少。在本文中,最近的巨大成功的启发自注意力为基础的Transformer模型,我们重新制定的多视图三维重建序列到序列的预测问题,并提出了一个新的框架命名为三维体积Transformer(伏特)这样一个任务。与以前使用单独设计的基于CNN的方法不同,我们将特征提取和视图融合统一在单个Transformer网络中。我们的设计的一个自然优势在于在多个无序输入之间使用自我注意来探索视图到视图的关系。在ShapeNet -一个大规模的3D重建基准数据集上,我们的方法在多视图重建中实现了新的最先进的精度,与其他基于CNN的方法相比,参数更少($70\%$更少)。实验结果也表明我们的方法具有很强的缩放能力。我们的代码将公开提供。
2021-03-24 cs.CV
View Inter-Prediction GAN: Unsupervised Representation Learning for 3D Shapes by Learning Global Shape Memories to Support Local View Predictions
Tsinghua University(清华大学);University of Maryland, College Park(马里兰大学帕克分校)
在本文中,我们提出了一种新的无监督表示学习方法的三维形状,这是一个重要的研究挑战,因为它避免了收集监督数据所需的手动工作。我们的方法训练基于RNN的神经网络架构来解决每个形状的多视图帧间预测任务。给定一个形状的多个邻近视图,我们将视图间预测定义为预测输入视图之间的中心视图,并在低层特征空间中重建输入视图的任务。我们的方法的关键思想是实现的形状表示为形状特定的全局记忆,是共享的所有局部视图间预测每个形状。直观地,该存储器使系统能够聚合对于更好地解决每个形状的视图帧间预测任务有用的信息,并且利用该存储器作为与视图无关的形状表示。我们的方法获得了最好的结果,使用L_2和对抗损失的视图帧间预测任务的组合。我们证明了VIP-GAN在三个大规模3D形状基准的无监督3D特征学习中优于最先进的方法。
2018-11-07 cs.CV
ARAPDiffusion: Geometry-Distribution Feedback for Deformable 3D Shape Generation
University of Texas at Austin(德克萨斯大学);Westlake University(西拉丘学院)
提出ARAPDiffusion,一种潜在扩散模型,通过注入ARAP变形模型作为正则化损失,学习变形形状集合的连续形状空间,减少对大量3D训练数据的依赖。
2026-09-29 cs.CV
Refine3DNet: Scaling Precision in 3D Object Reconstruction from Multi-View RGB Images using Attention
College of Engineering Trivandrum(特里凡得琅工程学院)
提出融合 CNN、transformer 自注意力与三维细化网络的 Refine3DNet,并用 JTSO 训练,实现任意视角单/多视图 RGB 到三维体素的高精度重建,在 ShapeNet 上取得最优 IOU。
2024-12-01 cs.CV
Pixels, voxels, and views: A study of shape representations for single view 3D object shape prediction
University of California, Irvine(加州大学尔湾分校);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文的目标是比较基于表面和体积的三维物体形状表示,以及以观察者为中心和以物体为中心的参考帧的单视图三维形状预测。我们提出了一种新的算法,用于从多个视点预测深度图,以单个深度或RGB图像作为输入。通过修改网络和评估模型的方式,我们可以直接比较体素与表面的优点,以及以观察者为中心与以对象为中心的优点,以熟悉与不熟悉的对象,如从RGB或深度图像预测的那样。在我们的研究结果中,我们表明,基于表面的方法优于体素表示的对象从新的类,并产生更高的分辨率输出。我们还发现,使用以观察者为中心的坐标是有利的新的对象,而对象为中心的表示更好地为更熟悉的对象。有趣的是,坐标框架显着影响学习的形状表示,以对象为中心的放置更重要的是隐式识别对象类别和观众为中心的形状表示,较少依赖于类别识别。
2018-06-12 cs.CV
Render4Completion: Synthesizing Multi-View Depth Maps for 3D Shape Completion
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一种新的方法,通过合成多视图深度图的三维形状完成。虽然以前的形状完成工作依赖于体积表示,网格或点云,但我们建议使用来自一组固定视角的多视图深度图作为我们的形状表示。这使我们能够摆脱体积表示和点云的内存限制,将形状完成转换为图像到图像的转换问题。具体来说,我们从一组固定的视点渲染不完整形状的深度图,并在每个视图中执行深度图完成。与单独完成每个视图的图像到图像转换网络不同,我们的新网络,多视图完成网络(MVCN),利用来自3D形状的所有视图的信息来帮助完成每个视图。这使得MVCN能够利用来自不同深度视图的更多信息,以在单个深度视图完成中实现高精度,并保持不同视图中完成的深度图像之间的一致性。得益于多视图表示和新颖的网络结构,MVCN显着提高了在大规模基准的3D形状完成的准确性相比,最先进的。
2019-09-21 cs.CV
HRGE-Net: Hierarchical Relational Graph Embedding Network for Multi-view 3D Shape Recognition
Xi’an Jiaotong University(西安交通大学)
基于视图的方法通过投影的2D图像识别3D形状,实现了3D形状识别的最先进性能。基于视点的方法面临的一个重要挑战是如何将从二维图像中提取的多视点特征聚合成全局的三维形状描述符。在这项工作中,我们提出了一种新的功能聚合网络,通过充分调查的意见之间的关系。以多视图图像为节点构建关系图,通过对视图间的成对关系和相邻关系进行建模,设计关系图嵌入。通过逐步粗化图,构建层次关系图嵌入网络(HRGE-Net),将多视图特征聚合为全局形状描述子。大量的实验表明,HRGE-Net在基准数据集上实现了最先进的3D形状分类和检索性能。
2019-08-27 cs.CV
ShapeCaptioner: Generative Caption Network for 3D Shapes by Learning a Mapping from Parts Detected in Multiple Views to Sentences
Tsinghua University(清华大学);University of Maryland(马里兰大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
3D形状字幕是3D形状理解中具有挑战性的应用。从最近的多视图为基础的方法的标题显示,他们不能捕捉部分级的3D形状的特征。这导致字幕中缺乏人类倾向于关注的详细部件级别描述。为了解决这个问题,我们提出了ShapeCaptioner(一种生成字幕网络),根据多个视图中检测到的语义部件执行3D形状字幕。我们的新颖之处在于从3D形状分割中学习多个视图中的部分检测知识,并将这些知识转移到促进学习从3D形状到句子的映射。具体来说,ShapeCaptioner使用我们新颖的部件类特定聚合来聚合在多个彩色视图中检测到的部件以表示3D形状,然后采用序列到序列模型来生成标题。我们出色的结果表明,ShapeCaptioner可以学习3D形状特征,更详细的部分特征,以促进更好的3D形状字幕比以前的工作。
2019-07-31 cs.CV
3D Shape Induction from 2D Views of Multiple Objects
University of Massachusetts - Amherst(马萨诸塞大学阿默斯特分校)
在本文中,我们研究的问题,诱导分布在三维结构给定的二维视图的多个对象从未知的观点。我们的方法称为“投影生成对抗网络“(PrGANs),它训练了一个3D形状的深度生成模型,其投影与输入的2D视图的分布相匹配。投影模块的添加允许我们在学习阶段不使用任何3D、视点信息或注释的情况下推断底层3D形状分布。我们表明,我们的方法产生的3D形状的质量与在3D数据上训练的GANs相当,包括椅子,飞机和汽车等形状类别。实验还表明,将二维形状分解为几何和视点的表示导致了良好的二维形状生成模型。关键的优势是,我们的模型允许我们预测3D,视点,并以完全无监督的方式从输入图像生成新的视图。
2016-12-18 cs.CV
Conditional Single-view Shape Generation for Multi-view Stereo Reconstruction
Tsinghua University(清华大学)
在本文中,我们提出了一个新的角度对基于图像的形状生成。大多数现有的基于深度学习的形状重建方法采用单视图确定性模型,该模型有时不足以确定单个地面实况形状,因为后部被遮挡。在这项工作中,我们首先引入了一个条件生成网络模型的不确定性单视图重建。然后,我们制定了多视图重建的任务,作为每个单一的图像上的预测的形状空间的交集。我们设计了新的可微制导,包括前端约束,多样性约束,和一致性损失,使有效的单视图条件生成和多视图合成。实验结果和消融研究表明,我们提出的方法优于国家的最先进的方法的三维重建测试误差,并证明其泛化能力的真实世界的数据。
2019-04-21 cs.CV
Shape-Aware Human Pose and Shape Reconstruction Using Multi-View Images
University of Maryland(马里兰大学)
我们提出了一个可扩展的神经网络框架,从多视角图像重建人体的三维网格,在SMPL模型的子空间。使用多视点图像可以显著降低投影模糊问题,提高服装下三维人体的重建精度。我们的实验表明,该方法受益于从我们的管道生成的合成数据集,因为它具有良好的变量控制的灵活性,并可以提供地面实况验证。我们的方法优于现有的方法对现实世界的图像,特别是形状估计。
2019-08-26 cs.CV
3D Shape Completion with Multi-view Consistent Inference
University of Maryland, College Park(马里兰大学帕克分校)
3D形状完成对于使机器能够从部分观察中感知对象的完整几何形状非常重要。为了解决这个问题,已经提出了基于视图的方法。这些方法将形状表示为多个深度图像,这些深度图像可以被反向投影以产生对应的3D点云,并且它们通过学习使用神经网络来完成每个深度图像来执行形状完成。虽然基于视图的方法可以得到最先进的结果,但它们目前在推理阶段并不强制执行已完成视图之间的几何一致性。为了解决这个问题,我们提出了一个多视图一致性推理技术的三维形状完成,我们表示为一个能量最小化问题,包括一个数据项和一个正则化项。我们将正则化项制定为一致性损失,鼓励多个视图之间的几何一致性,而数据项保证优化的视图不会偏离学习的形状描述符太多。实验结果表明,我们的方法比以前的技术更准确地完成形状。
2019-11-28 cs.CV
Multi-view Consistency as Supervisory Signal for Learning Shape and Pose Prediction
University of California, Berkeley(加州大学伯克利分校)
我们提出了一个学习单视图形状和姿势预测的框架,而不使用直接监督。我们的方法允许在训练期间利用来自未知姿势的多视图观察作为监督信号。我们提出的训练设置强制执行来自同一实例的两个视图的独立预测的形状和姿势之间的几何一致性。因此,我们学习预测形状的紧急规范(视图不可知)框架以及相应的姿势预测。我们使用ShapeNet数据集展示了实证和定性结果,并观察到与依赖更强监管形式的先前技术相比具有竞争力的性能。我们还展示了我们的框架在现实环境中的适用性,这超出了现有技术的范围:使用由在线产品图像组成的训练数据集,其中潜在的形状和姿势是未知的。
2018-04-24 cs.CV
Fine-Grained 3D Shape Classification with Hierarchical Part-View Attentions
Tsinghua University(清华大学);University of Maryland, College Park(马里兰大学帕克分校)
细粒度三维形状分类对于形状理解和分析具有重要意义,是一个具有挑战性的研究课题。然而,由于缺乏细粒度的三维形状基准,细粒度的三维形状分类的研究很少被探索。为了解决这个问题,我们首先引入了一个新的3D形状数据集(名为FG 3D数据集),该数据集具有细粒度的类标签,包括飞机,汽车和椅子三个类别。每个类别都由细粒度级别的几个子类别组成。根据我们在这个细粒度数据集下的实验,我们发现最先进的方法受到同一类别中子类别之间的小方差的限制。为了解决这个问题,我们进一步提出了一种新的细粒度的三维形状分类方法FG 3D-Net捕获细粒度的局部细节的三维形状从多个渲染视图。具体地说,我们首先训练一个区域建议网络(RPN),在一般语义部分检测的基准下检测多个视图中的一般语义部分。然后,我们设计了一个层次化的零件视图注意力聚合模块,通过聚合一般语义的零件特征来学习全局形状表示,从而保留了3D形状的局部细节。部分视图注意模块分层利用部分级和视图级的注意力,以增加我们的功能的可辨别性。部分级注意突出每个视图中的重要部分,而视图级注意突出同一对象的所有视图中的区别性视图。此外,我们还集成了一个递归神经网络(RNN)来捕获来自不同视点的序列视图之间的空间关系。在细粒度的3D形状数据集上的实验结果表明,该方法优于其他最先进的方法。
2020-12-28 cs.CV
ShapeClipper: Scalable 3D Shape Learning from Single-View Images via Geometric and CLIP-based Consistency
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
ShapeClipper利用CLIP编码一致性和现成法线几何约束,从单视图分割图像中重建三维形状,无需多视图或姿态标注,并在多个真实数据集上超越现有方法。
2023-04-13 cs.CV
ShapeCodes: Self-Supervised Feature Learning by Lifting Views to Viewgrids
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(脸书人工智能研究院)
我们引入了一种无监督的特征学习方法,将3D形状信息嵌入到单视图图像表示中。其主要思想是一个自我监督的训练目标,只给定一个2D图像,要求对象的所有不可见视图都可以从学习的特征中预测。我们实现这个想法作为一个编码器-解码器卷积神经网络。该网络将未知类别和未知视点的输入图像映射到潜在空间,解卷积解码器可以从该潜在空间最好地将图像“提升”到其完整的视图网格,从所有视角显示对象。我们的类不可知的训练过程鼓励代表捕捉基本的形状原语和语义的数据驱动的方式-没有手动语义标签。我们在两个广泛使用的形状数据集上的结果表明:1)我们的方法成功地学习执行“心理旋转”,即使是在训练过程中看不到的对象; 2)学习的潜在空间是对象识别的强大表示,优于几种现有的无监督特征学习方法。
2018-07-31 cs.CV
MANet: Multimodal Attention Network based Point- View fusion for 3D Shape Recognition
三维形状识别作为三维视觉研究的一个重要课题,受到了越来越多的关注。3D数据的激增鼓励了基于3D数据的各种深度学习方法。现在已经有许多基于点云数据或多视图数据的深度学习模型。然而,在大数据时代,整合两种不同模态的数据以获得统一的3D形状描述符势必会提高识别精度。因此,本文提出了一种基于多模态注意力机制的融合网络用于三维形状识别。考虑到多视点数据的局限性,提出了一种软注意方案,利用全局点云特征对多视点特征进行过滤,实现了两种特征的有效融合。更具体地说,我们通过挖掘每个多视图图像对整体形状识别的贡献来获得增强的多视图特征,然后融合点云特征和增强的多视图特征以获得更具鉴别力的3D形状描述符。在ModelNet40数据集上进行了相关实验,实验结果验证了该方法的有效性。
2020-02-28 cs.CV
ViewFormer: View Set Attention for Multi-view 3D Shape Understanding
Renmin University of China(中国人民大学)
本研究提出多视图3D形状理解模型ViewFormer,通过视图集视角与自适应注意力聚合多视图信息,仅用少量参数就在多个数据集和基准任务上刷新了识别与检索性能纪录。
2023-04-29 cs.CV
Planes vs. Chairs: Category-guided 3D shape learning without any 3D cues
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
我们提出了一种新的三维形状重建方法,学习预测一个隐式的三维形状表示从一个单一的RGB图像。我们的方法使用一组没有视点注释的多个对象类别的单视图图像,迫使模型在没有3D监督的情况下跨多个对象类别学习。为了便于学习,这种最小的监督,我们使用类别标签来指导形状学习与一种新的分类度量学习方法。我们还利用对抗和视点正则化技术来进一步理清视点和形状的影响。我们获得了第一个结果,大规模(超过50个类别)的单视点形状预测使用一个单一的模型,没有任何3D线索。我们也是第一个检查和量化类信息在单视图监督三维形状重建的好处。我们的方法在ShapeNet-13、ShapeNet-55和Pascal 3D+上实现了优于最先进方法的性能。
2022-04-21 cs.CV
PVRNet: Point-View Relation Neural Network for 3D Shape Recognition
Tsinghua University(清华大学);Xiamen University(厦门大学);University of Maryland, College Park(马里兰大学帕克分校)
三维(3D)形状识别在计算机视觉领域引起了广泛的研究关注。深度学习的进步鼓励了用于3D特征表示的各种深度模型。针对点云和多视图数据这两种常用的三维数据形态,提出了不同的模型,并取得了显著的效果。然而,点云和视图之间的关系却很少被研究。在本文中,我们介绍了点视图关系网络(PVRNet),一个有效的网络设计,很好地融合了视图功能和点云功能与建议的关系评分模块。更具体地,基于关系得分模块,首先通过融合点云特征和具有点单视图关系的每个单视图特征来提取点单视图融合特征,然后通过融合点云特征和具有点多视图关系的不同数目的视图的特征来提取点多视图融合特征。最后,将点-单视图融合特征和点-多视图融合特征进一步结合起来,实现了三维形状的统一表示。我们提出的PVRNet已经在ModelNet 40数据集上进行了评估,用于3D形状分类和检索。实验结果表明,我们的模型可以实现显着的性能改善相比,国家的最先进的模型。
2018-12-02 cs.CV
PVNet: A Joint Convolutional Network of Point Cloud and Multi-View for 3D Shape Recognition
Tsinghua University(清华大学);Xiamen University(厦门大学)
三维物体识别在多媒体和计算机视觉领域引起了广泛的研究关注。随着最近深度学习的激增,具有不同表示的各种深度模型已经实现了最先进的性能。其中,基于点云和多视图的三维形状表示是最近很有前途的,其相应的深度模型在三维形状识别上表现出显着的性能。然而,有很少的努力集中点云数据和多视图数据的三维形状表示,这是,在我们的考虑,是有益的,相互补偿。在本文中,我们提出了点视图网络(PVNet),第一个框架集成的点云和多视图数据对联合三维形状识别。更具体地说,嵌入注意力融合方案提出,可以采用高层次的功能,从多视图数据建模的内在相关性和区分不同的结构特征从点云数据。特别地,将区分性描述量化并利用为软注意力掩模以进一步细化3D形状的结构特征。我们已经在ModelNet40数据集上评估了所提出的方法,用于3D形状分类和检索任务。实验结果和国家的最先进的方法的比较表明,我们的框架可以实现卓越的性能。
2018-08-23 cs.CV
Addressing the Shape-Radiance Ambiguity in View-Dependent Radiance Fields
Chalmers University of Technology(查尔姆斯理工大学)
我们提出了一种方法,用于处理辐射场中的视图相关信息,以帮助三维重建的收敛性和质量。具有视角依赖性的辐射场遭受所谓的形状辐射模糊性,这可能导致不正确的几何形状,给定视角依赖性颜色的高角分辨率。我们建议在每个摄像机前增加一个差分平面,目的是在训练过程中分离视图相关和朗伯分量。我们还提出了一个额外的步骤,我们训练,但不存储,一个低分辨率的视图相关的功能,有助于隔离的表面,如果这样的分离被证明是困难的。这些添加对性能和内存使用的影响很小,但可以重建具有高度镜面反射组件的场景,而无需任何其他显式处理视图依赖性(如球谐函数)。
2022-03-03 cs.CV
Auto-MVCNN: Neural Architecture Search for Multi-view 3D Shape Recognition
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
在三维形状识别中,基于多视图的方法利用人类的视角来分析三维形状,并取得了显著的成果。现有的大多数深度学习研究工作都采用手工网络作为骨干,因为它们具有很高的特征提取能力,并且也受益于ImageNet预训练。然而,这些网络架构是否适合3D分析仍不清楚。在本文中,我们提出了一种神经结构搜索方法Auto-MVCNN,它是专门为优化多视图3D形状识别中的结构而设计的。Auto-MVCNN扩展了基于梯度的框架来处理多视图图像,通过自动搜索融合单元来探索视图特征之间的内在相关性。此外,我们开发了一个端到端的计划,以提高检索性能,通过权衡参数搜索。大量的实验结果表明,搜索的架构显着优于手动设计的同行在各个方面,我们的方法达到了最先进的性能在同一时间。
2020-12-10 cs.CV
A Divide et Impera Approach for 3D Shape Reconstruction from Multiple Views
University of Bologna(博洛尼亚大学);Google Inc.(谷歌公司);Technische Universität München(慕尼黑工业大学)
由于最近由深度学习推动的突破,从单个或多个图像中估计物体的3D形状已经越来越受欢迎。大多数方法以规范姿势回归完整的对象形状,可能基于学习的先验知识外推被遮挡的部分。然而,他们的观点不变的技术往往放弃了从输入图像中可见的独特结构。相比之下,本文提出了依赖于通过合并来自给定视图的可见信息的视点变体重建。我们的方法分为三个步骤。从物体的稀疏视图开始,我们首先通过估计所有对之间的相对姿态将它们对齐到一个公共坐标系中。然后,受传统体素雕刻的启发,我们从图像上的轮廓和它们的相对姿态生成对象的占用网格。最后,我们改进初始重建以构建一个干净的3D模型,该模型保留了每个视点的细节。为了验证所提出的方法,我们对ShapeNet参考基准进行了相对姿态估计和3D形状重建方面的综合评估。
2020-11-18 cs.CV
Non-rigid 3D shape retrieval based on multi-view metric learning
Dalian University of Technology(大连理工大学)
本文提出了一种新的多视角度量学习算法,旨在提高三维非刚体形状检索的效率。随着非刚体三维形状分析的发展,出现了许多形状描述子。本征描述符可以被探索以构造用于非刚性3D形状检索任务的各种本征表示。不同的内在表示(特征)集中在不同的几何属性来描述同一个3D形状,这使得表示是相关的。因此,联合学习不同表示的多个度量是可能的和必要的。我们提出了一种有效的多视图度量学习算法,通过扩展边缘Fisher分析(MFA)到多视图域,并探索希尔伯特-施密特独立准则(HSCI)作为一个多样性项,以共同学习新的度量。在我们的方法中,不同的类可以通过MFA分离。同时,HSCI被用来使多个表示是一致的。学习的度量可以减少多个表示之间的冗余,并提高检索结果的准确性。在SHREC的10个基准上进行了实验,结果表明,该方法优于现有的非刚性三维形状检索方法。
2019-03-20 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR(新加坡科研局信息通信研究院)
本文提出PEVA-Net,利用CLIP和提示增强视图聚合,同时解决零样本与少样本多视图三维形状识别,并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
NodeSLAM: Neural Object Descriptors for Multi-View Shape Reconstruction
Dyson Robotics Laboratory, Imperial College London(戴森机器人实验室,帝国理工学院)
场景表示的选择对于它所需的形状推理算法和它所支持的智能应用都至关重要。我们提出了高效和可优化的多类学习对象描述符,以及一个新的概率和差分渲染引擎,用于从一个或多个RGB-D图像中进行有原则的完整对象形状推断。我们的框架允许准确且鲁棒的3D对象重建,从而支持多种应用,包括机器人抓取和放置、增强现实以及第一个能够与相机轨迹联合优化对象姿势和形状的对象级SLAM系统。
2020-10-10 cs.CV
Single-view Object Shape Reconstruction Using Deep Shape Prior and Silhouette
University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
从单幅图像重建三维形状是一个高度不适定的问题。现代基于深度学习的系统试图通过经由深度网络学习从图像到形状的端到端映射来解决这个问题。在本文中,我们的目标是解决这个问题,通过在线优化框架的启发,传统的方法。我们的框架采用了深度自动编码器来学习一组3D对象形状的潜在代码,这些代码使用高斯混合模型(GMM)通过概率形状先验进行拟合。在推理时,形状和姿态由图像线索和深度形状先验两者引导联合优化,而不依赖于来自任何训练的深度网络的初始化。令人惊讶的是,即使没有训练端到端网络,我们的方法也实现了与最先进方法相当的性能,这表明在这个方向上迈出了有希望的一步。
2019-08-01 cs.CV
Method for the generation of depth images for view-based shape retrieval of 3D CAD model from partial point cloud
Jeonbuk National University(全北国立大学);Kyungpook National University(庆北国立大学)
激光扫描仪可以很容易地以点云的形式获取物理环境的几何数据。从点云数据中识别物体是工业三维重建中经常需要解决的问题,它不仅需要几何信息,还需要语义信息。然而,识别过程往往是三维重建的瓶颈,因为它需要专业知识和密集的劳动。为了解决这个问题,已经开发了各种方法来通过从输入几何查询中检索数据库中的对应模型来识别对象。近年来,将几何数据转换为图像并应用基于视图的3D形状检索的技术已经证明了高精度。深度图像将深度值编码为像素的强度,常用于基于视点的三维形状检索。然而,由于遮挡和视线的限制,从物体上采集的几何数据往往是不完整的。由遮挡点云生成的图像由于信息丢失而降低了基于视点的三维物体检索的性能。本文提出了一种基于视点的点云三维形状检索的视点和图像分辨率估计方法。提出了通过从采样视点和图像分辨率计算数据采集速率和密度来自动选择视点和图像分辨率。实验结果表明,该方法在不同的数据集上对图像的检索性能进行了比较。此外,基于视图的三维形状检索性能与深度卷积神经网络已与所提出的方法进行了实验。
2020-06-30 cs.CV
Point Transformer
Ulm University(乌尔姆大学)
在这项工作中,我们提出了点Transformer,一个深度神经网络,直接对无序和非结构化的点集进行操作。我们设计的点Transformer提取本地和全球的特点,并通过引入本地-全球的注意力机制,其目的是捕捉空间点的关系和形状信息的表示。为此,我们提出了SortNet,作为Point Transformer的一部分,它通过基于学习的分数选择点来诱导输入排列不变性。Point Transformer的输出是一个排序且排列不变的特征列表,可以直接纳入常见的计算机视觉应用程序中。我们评估我们的标准分类和部分分割基准的方法,以证明竞争力的结果相比,以前的工作。代码可在https://github.com/engelnico/point-transformer上公开获取
2021-10-14 cs.CV
3D Bird Reconstruction: a Dataset, Model, and Shape Recovery from a Single View
University of Pennsylvania(宾夕法尼亚大学)
动物姿态的自动捕捉正在改变我们研究神经科学和社会行为的方式。运动携带重要的社会线索,但目前的方法不能鲁棒地估计动物的姿势和形状,特别是对于诸如鸟类的社会动物,其通常被彼此和环境中的物体遮挡。为了解决这个问题,我们首先介绍了一个模型和多视图优化方法,我们使用它来捕捉独特的形状和姿态空间显示的活鸟。然后,我们介绍了一个管道和实验的关键点,面具,姿势和形状回归,恢复准确的鸟类姿态从单一的意见。最后,我们提供了广泛的多视图关键点和面具注释收集一组15个社会鸟类一起住在一个室外的鸟舍。该项目的网站上有视频、结果、代码、网格模型和Penn Aviary Dataset,可以在https://marcbadger.github.io/avian-mesh上找到。
2020-08-13 cs.CV
Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture
National Key Laboratory of General Artificial Intelligence, BIGAI(北京通用人工智能研究院 通用人工智能全国重点实验室);Tsinghua University(清华大学);Peking University(北京大学)
本文提出单视图神经隐式形状与辐射场(SSR)表示及两阶段学习课程,从单张图像同时高保真重建物体形状和纹理,在3D-FRONT和Pix3D上分别提升27.7%和11.6%,并支持新视角渲染与三维场景编辑。
2023-11-01 cs.CV
Multi-view Human Pose and Shape Estimation Using Learnable Volumetric Aggregation
Carnegie Mellon University(卡内基梅隆大学)
从RGB图像中估计人体姿态和形状是对基于标记的运动捕获的高度寻求的替代方案,基于标记的运动捕获是费力的,需要昂贵的设备,并且将捕获限制在实验室环境中。然而,基于单目视觉的算法仍然受到旋转模糊性的影响,并且还没有准备好在医疗保健应用中进行翻译,其中高精度是至关重要的。虽然来自多个视角的数据融合可以克服这些挑战,但目前的算法需要进一步改进以获得临床上可接受的精度。在本文中,我们提出了一个可学习的体积聚合方法来重建三维人体姿态和形状从校准的多视图图像。我们使用人体的参数表示,这使得我们的方法直接适用于医疗应用。与以前的方法相比,我们的框架显示出更高的准确性和更大的承诺,实时预测,鉴于其成本效益。
2020-11-26 cs.CV
MHR-Net: Multiple-Hypothesis Reconstruction of Non-Rigid Shapes from 2D Views
University of Technology Sydney(悉尼科技大学);Baidu Research(百度研究院);Zhejiang University(浙江大学)
我们提出了MHR-Net,一种从运动中恢复非刚体运动(NRSfM)的新方法。MHR-Net旨在为2D视图找到一组合理的重建,并从该组中选择最可能的重建。为了应对非刚性形状的无监督生成的挑战,我们在MHR网络中开发了一种新的确定性基础和随机变形方案。首先将非刚性形状表示为粗形状基和柔性形状变形之和,然后对变形部分进行不确定性建模,生成多个假设。在此基础上,在最佳假设条件下,利用重投影损失对MHR-Net进行优化。此外,我们设计了一种新的Procrustean残差损失,减少了相似形状之间的刚性旋转,进一步提高了性能。实验表明,MHR-Net在Human3.6M,SURREAL和300-VW数据集上实现了最先进的重建精度。
2023-01-12 cs.CV
PRAGO: Differentiable Multi-View Pose Optimization From Objectness Detections
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);Pattern Analysis and Computer Vision (PAVIS)(模式分析与计算机视觉实验室)
针对小规模稀疏相机位姿图的可微估计难题,提出PRAGO方法,利用目标性检测精化旋转平均,在7-Scenes上旋转误差相对降低21%。
2024-03-15 cs.CV
VSFormer: Mining Correlations in Flexible View Set for Multi-view 3D Shape Understanding
Renmin University of China(中国人民大学)
针对现有基于视图的3D形状理解方法对视图关系假设过强、相关性学习间接的问题,提出基于排列不变视图集的VSFormer模型,显式学习视图相关性,在多个3D识别与检索基准上取得最优性能。
2024-09-14 cs.CV
Fostering Generalization in Single-view 3D Reconstruction by Learning a Hierarchy of Local and Global Shape Priors
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Freiburg(弗莱堡大学)
单视图3D对象重建已经取得了很大的进展,但方法仍然难以推广到训练过程中看不到的新形状。常见的方法主要依赖于学习的全局形状先验,因此,忽略详细的局部观察。在这项工作中,我们解决这个问题,通过学习的层次结构的先验知识在不同层次的地方从地面真实输入深度图。我们认为,利用当地的先验知识,使我们的方法,以有效地利用输入的意见,从而提高在可见区域的新形状的推广。同时,局部和全局先验的结合使未观察到的部分产生有意义的幻觉,从而产生一致的3D形状。我们表明,分层的方法比全球性的方法更好地推广。它不仅在类的不同实例之间进行泛化,而且还跨类和对象的不可见排列进行泛化。
2021-04-01 cs.CV
Shape-guided Gaussian Splatting for Sparse-View X-ray 3D Reconstruction
Polytechnique Montréal(蒙特利尔综合理工学院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);CHUM - University of Montreal Hospital(蒙特利尔大学医院中心)
提出形状引导的高斯溅射框架,利用统计形状模型约束高斯位置和密度正则化,在仅5个稀疏视角下实现解剖一致的重建,PSNR提升2.83 dB。
2026-09-10 cs.CV
Generalizing Single-View 3D Shape Retrieval to Occlusions and Unseen Objects
Simon Fraser University(西蒙弗雷泽大学);Brown University(布朗大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
本文系统评估了单视图3D形状检索在遮挡、未见3D形状和未见对象上的表现,提出合成数据集生成流程,通过预训练加微调显著提升了模型的鲁棒性。
2023-12-31 cs.CV
Single-View 3D Object Reconstruction from Shape Priors in Memory
School of Electrical and Data Engineering, University of Technology Sydney(悉尼科技大学电气与数据工程学院);Harbin Institute of Technology(哈尔滨工业大学)
用于单视图3D对象重建的现有方法直接学习将图像特征变换成3D表示。然而,这些方法是脆弱的图像包含嘈杂的背景和严重的闭塞,因为提取的图像特征不包含足够的信息来重建高质量的3D形状。人类通常使用来自图像的不完整或嘈杂的视觉线索来从他们的记忆中检索类似的3D形状并重建物体的3D形状。受此启发,我们提出了一种新的方法,名为Mem 3D,明确地构造形状先验,以补充图像中缺失的信息。具体地说,形状先验是以“图像-体素”对的形式存在于记忆网络中,在训练过程中通过精心设计的写入策略存储。我们还提出了一个体素三元组损失函数,有助于检索精确的三维形状,高度相关的输入图像从形状先验。引入基于LSTM的形状编码器从检索的3D形状中提取信息,这对于恢复严重遮挡或复杂环境中的对象的3D形状是有用的。实验结果表明,Mem 3D显着提高了重建质量,并在ShapeNet和Pix 3D数据集上与最先进的方法相比表现良好。
2021-03-04 cs.CV
Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation
Fudan University(复旦大学);Google LLC(谷歌公司);Nuro, Inc.(Nuro公司)
我们研究的问题,形状生成的三维网格表示从几个彩色图像与已知的相机构成。虽然许多以前的作品学习直接从先验知识中产生幻觉的形状,但我们通过利用图卷积网络的交叉视图信息来进一步提高形状质量。我们的模型不是建立一个从图像到3D形状的直接映射函数,而是学习预测一系列变形,以迭代地改进粗糙的形状。受传统的多视图几何方法的启发,我们的网络对初始网格顶点位置周围的附近区域进行采样,并使用从多个输入图像构建的感知特征统计来推断最佳变形。大量的实验表明,我们的模型产生准确的3D形状,不仅从输入的角度来看,在视觉上似乎是合理的,但也很好地对准任意的观点。在物理驱动架构的帮助下,我们的模型还表现出跨不同语义类别、输入图像数量和网格初始化质量的泛化能力。
2019-08-16 cs.CV
Look, Cast and Mold: Learning 3D Shape Manifold from Single-view Synthetic Data
在现实世界中推断物体的立体结构是一个具有挑战性的实际任务。为深度模型配备这种能力通常需要大量的3D监督,这是很难获得的。很有希望的是,我们可以简单地从合成数据中受益,其中成对的地面实况很容易获得。然而,考虑到不同的纹理,形状和上下文,域间隙是不平凡的。为了克服这些困难,我们提出了一个视觉感知自适应网络的单视图三维重建,被称为VPAN。为了将该模型推广到真实场景,我们提出了几个方面:(1)外观:从单个视图中视觉上合并空间结构,以增强表示的表现力;(2)投射:通过跨模态语义对比映射将2D图像特征感知对齐到3D形状先验;(3)模具:通过将嵌入转换为所需的流形来重建目标的立体形状。在多个基准上的实验表明,该方法在通过单视图从合成数据学习三维形状流形方面是有效的和鲁棒的。所提出的方法在Pix 3D数据集上的性能优于最新技术,IoU为0.292,CD为0.108,在Pascal 3D+上达到IoU为0.329,CD为0.104。
2022-06-07 cs.CV
3D Shape Segmentation with Geometric Deep Learning
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
具有高密度顶点的3D形状的语义分割可能由于大的存储器需求而不切实际。为了使这个问题在计算上易于处理,我们提出了一种基于神经网络的方法,产生3D增强视图的3D形状,以解决整个分割的子分割问题。通过将3D形状的顶点和法线投影到从形状周围的不同视点获取的2D规则网格上来获得3D增强视图。然后,这些3D视图由卷积神经网络处理,以产生每个顶点的语义类集合上的概率分布函数(pdf)。然后,这些PDF文件被重新投影到原始3D形状上,并通过条件随机场使用上下文信息进行后处理。我们验证我们的方法使用公开的数据集和使用摄影测量技术重建的真实物体的3D形状。我们将我们的方法与最先进的替代方案进行比较。
2020-02-02 cs.CV
One Ring to Rule Them All: a simple solution to multi-view 3D-Reconstruction of shapes with unknown BRDF via a small Recurrent ResNet
Australian National University(澳大利亚国立大学);The University of Tokyo(东京大学);National Institute of Informatics(国立情报学研究所)
本文提出了一种简单的方法,解决了一个开放的问题,多视图三维重建的对象与未知的和通用的表面材料,由一个自由移动的相机和自由移动的点光源成像。对象可以具有任意(例如非朗伯)、空间变化(或处处不同)的表面反射率(svBRDF)。我们的解决方案由两个小型神经网络(称为“形状网络”和“BRDFNet”)组成,每个网络大约有1,000个神经元,分别用于参数化未知形状和未知svBRDF。我们的方法的关键是一个特殊的网络设计(即,一个具有全局反馈或“环”连接的ResNet),它具有可证明的保证,可以找到一个有效的几何形状参数化。尽管潜在的问题是高度非凸的,因此不切实际的解决传统的优化技术,我们的方法可靠地收敛到高质量的解决方案,即使没有初始化。大量的实验证明了我们的方法的优越性,它自然使广泛的特殊效果的应用,包括新颖的视图合成,重新照明,材料修饰,形状交换,而无需额外的编码工作。我们鼓励读者观看我们的演示视频以获得更好的可视化效果。
2021-04-11 cs.CV
Deep Single-View 3D Object Reconstruction with Visual Hull Embedding
Beijing Institute of Technology(北京理工大学);Microsoft Research(微软研究院)
三维物体重建是许多机器人和人工智能问题的基本任务。在深度卷积神经网络(CNN)的辅助下,三维物体重建在近年来取得了显著的进展。然而,可能由于3D对象空间的维度过高,深度CNN的结果往往容易丢失一些形状细节。在本文中,我们提出了一种方法,旨在保留更多的形状细节,提高重建质量。我们方法的关键思想是利用CNN的对象掩码和姿态估计,通过在网络内部构建概率单视图视觉外壳来辅助3D形状学习。我们的方法首先使用CNN预测粗略的形状以及对象的姿势和轮廓,然后是一种新的3D细化CNN,它使用构建的概率视觉外壳细化粗略的形状。在合成数据和真实图像上的实验结果表明,嵌入单视图视觉壳进行形状细化,可以恢复更多的形状细节,提高与输入图像的形状一致性,从而显著提高重建质量。
2018-09-10 cs.CV
Y^2Seq2Seq: Cross-Modal Representation Learning for 3D Shape and Text by Joint Reconstruction and Prediction of View and Word Sequences
Tsinghua University(清华大学);University of Maryland(马里兰大学)
最近的方法采用3D体素来表示3D形状,但由于3D体素的立方复杂性导致的计算成本,这将该方法限制为低分辨率。因此,该方法缺乏详细的几何形状。为了解决这个问题,我们提出了Y^2Seq2Seq,一个基于视图的模型,通过联合重建和预测视图和单词序列来学习跨模态表示。具体地,Y^2Seq2Seq的网络架构通过两个耦合的“Y”样序列到序列(Seq2Seq)结构桥接嵌入在两个模态中的语义含义。此外,我们的新的层次约束进一步增加了歧视性的跨模态表示,采用更详细的歧视性信息。在跨模态检索和三维形状字幕上的实验结果表明,Y^2Seq2Seq的检索性能优于现有的方法。
2018-11-07 cs.CV
Learning 3D Shapes as Multi-Layered Height-maps using 2D Convolutional Networks
Technische Universität Kaiserslautern(凯泽斯劳滕工业大学);DFKI Kaiserslautern(德国人工智能研究中心凯泽斯劳滕分部)
我们提出了一种新的3D形状的全局表示,适用于2D CNN的应用。我们将3D形状表示为多层高度图(MLH),在每个网格位置,我们存储高度图的多个实例,从而表示隐藏在几层遮挡后面的3D形状细节。我们提出了一种新的视图合并方法,用于合并视图相关信息(例如,MLH描述符)。由于使用2D CNN的能力,与基于体素的输入相比,我们的方法在输入分辨率方面具有很高的内存效率。结合MLH描述符和我们的多视图合并,我们在ModelNet数据集上实现了最先进的分类结果。
2018-07-26 cs.CV
3D-GMNet: Single-View 3D Shape Recovery as A Gaussian Mixture
Kyoto University(京都大学);JST, PRESTO(日本科学技术振兴机构 PRESTO)
在本文中,我们介绍了3D-GMNet,一个深度神经网络,用于从单个图像重建3D物体形状。顾名思义,3D-GMNet将3D形状恢复为高斯混合。与体素、点云或网格相比,高斯混合表示提供了具有小内存占用的分析表达式,同时准确地表示目标3D形状。同时,它还提供了许多其他优势,包括即时姿态估计和可控的细节重建,同时还可以将其解释为点云、体积和网格模型。我们通过引入两个新的损失函数(3D高斯混合损失和2D多视图损失),使用单输入图像和相应的3D模型对3D-GMNet进行端到端的训练,这两个损失函数共同实现了精确的形状重建作为核密度估计。我们彻底评估了3D-GMNet的有效性与合成和真实图像的对象。结果表明,准确的重建与紧凑的表示,也实现了新的应用单图像三维重建。
2020-08-15 cs.CV
MV-CLIP: Multi-View CLIP for Zero-shot 3D Shape Recognition
School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院)
针对预训练语言-图像模型向3D形状识别泛化置信度低的问题,提出基于视图选择与分层提示的MV-CLIP方法,无需额外训练即在多个3D数据集上取得优异零样本分类性能。
2024-09-11 cs.CV
Black-Box Test-Time Shape REFINEment for Single View 3D Reconstruction
UC San Diego(加州大学圣迭戈分校)
从物体的图像重建物体的3D形状,即单视图3D重建,最近已经取得了很大的进展。然而,有人建议,目前的方法只是采用“最近邻”的策略,而不是真正理解输入图像背后的形状。在本文中,我们严格地表明,对于许多最先进的方法,这个问题表现为(1)粗重建和输入图像之间的不一致,以及(2)无法跨域推广。因此,我们提出了REFINE,一个后处理网格细化步骤,可以很容易地集成到任何黑盒方法在文献中的管道。在测试时,REFINE会针对每个网格实例优化网络,以促进网格和给定对象视图之间的一致性。这与正则化损失的新颖组合一起减少了域间隙并实现了最先进的性能。我们相信,这种新的范例是迈向强大,准确的重建,保持相关的新的重建网络的重要一步。
2021-08-23 cs.CV
MD-ProjTex: Texturing 3D Shapes with Multi-Diffusion Projection
Bilkent University(比尔肯特大学);Adobe(奥多比公司)
MD-ProjTex利用预训练扩散模型,通过UV空间多视角一致性机制融合噪声预测并联合更新去噪方向,实现了快速且3D一致的文本引导纹理生成,计算效率与结果质量均优于现有方法。
2025-04-03 cs.CV
Differentiable Stereopsis: Meshes from multiple views using differentiable rendering
UC Berkeley(加州大学伯克利分校);Meta AI
我们提出了微分立体,多视图立体视觉的方法,重建形状和纹理从几个输入视图和嘈杂的相机。我们配对传统的立体视觉和现代微分渲染,建立一个端到端的模型,预测纹理的3D网格的对象具有不同的拓扑结构和形状。我们将立体视觉视为一个优化问题,并通过简单的梯度下降同时更新形状和相机。我们进行了广泛的定量分析,并与传统的多视图立体视觉技术和最先进的基于学习的方法进行了比较。我们展示了具有挑战性的现实世界场景的令人信服的重建,以及具有复杂形状,拓扑结构和纹理的丰富对象类型。项目网页:https://shubham-goel.github.io/ds/
2022-09-23 cs.CV