Efficient Implicit Neural Compression of Point Clouds via Learnable Activation in Latent Space
Zhejiang University(浙江大学)
提出PICO框架,利用潜空间可学习激活的LeAFNet网络进行点云隐式神经压缩,在几何和属性压缩上优于传统方法,D1 PSNR平均提升4.92 dB。
2025-04-20 cs.CV
Robust Structured Declarative Classifiers for 3D Point Clouds: Defending Adversarial Attacks with Implicit Gradients
University of Kansas(堪萨斯大学);Worcester Polytechnic Institute(伍斯特理工学院);Ryerson University(瑞尔森大学)
用于3D点云分类的深度神经网络(如PointNet)已被证明易受对抗攻击的攻击。当前的对抗性防御者通常学会通过重建来对(被攻击的)点云进行降噪,然后将它们作为输入提供给分类器。与文献相比,我们提出了一个强大的结构化声明分类器的点云分类,其中的内部约束优化机制可以有效地防御对抗攻击通过隐式梯度。这样的分类器可以使用双层优化框架来制定。我们进一步提出了一个有效的和高效的实例化我们的方法,即格点分类器(LPC),基于结构化稀疏编码的permutohedral格和2D卷积神经网络(CNN)是端到端的可训练。我们在七种不同的攻击者下在ModelNet 40和ScanNet上展示了最先进的鲁棒点云分类性能。例如,在最近的JGBA攻击下,我们在每个数据集上实现了89.51%和83.16%的测试准确率,比DUP-Net和IF-Defense与PointNet的性能高出约70%。演示代码可在https://zhang-vislab.github.io上获得。
2022-03-29 cs.CV
Implicit Filtering for Learning Neural Signed Distance Functions from 3D Point Clouds
Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);School of Software, Tsinghua University(清华大学软件学院)
针对无方向点云重建SDF易丢失边缘细节的问题,提出利用梯度沿邻近点滤波零水平集并扩展至非零水平集的非线性隐式滤波方法,在物体与场景基准上优于现有方法。
2024-09-10 cs.CV
Domain Adaptation on Point Clouds via Geometry-Aware Implicits
Zhejiang University(浙江大学);Stanford University(斯坦福大学);Peking University(北京大学)
针对点云跨传感器、跨生成流程导致的域差距,本文提出以几何感知隐式表示为自监督任务,并结合无符号距离场自适应计算,在 PointDA-10 和 GraspNet 上优于现有无监督域适应方法。
2021-12-17 cs.CV
Deep Implicit Templates for 3D Shape Representation
Department of Automation Tsinghua University(清华大学自动化系)
深度隐函数(Deep Implicit Function,DIF)作为一种三维形状表示方法,由于其简洁性和较强的表示能力,在三维视觉领域越来越受欢迎。然而,不同于基于多边形网格的模板,它仍然是一个挑战,推理密集的对应关系或其他语义关系的形状表示的DIF,这限制了它的应用在纹理传输,形状分析等,为了克服这一限制,也使DIF更可解释,我们提出了深隐式模板,一个新的3D形状表示,支持显式对应推理深隐式表示。我们的主要思想是制定DIF作为模板隐式函数的条件变形。为此,我们提出了Spatial Warping LSTM,它将条件空间变换分解为多个仿射变换,并保证泛化能力。此外,训练损失是精心设计的,以实现高的重建精度,同时学习一个合理的模板与准确的对应关系,在一个无监督的方式。实验表明,我们的方法不仅可以学习一个共同的隐式模板的形状集合,但也建立了密集的对应关系,同时在所有的形状没有任何监督。
2021-05-13 cs.CV
Efficient Topology-Controlled Sampling of Implicit Shapes
Massachusetts Institute of Technology(麻省理工学院)
从隐式定义的形状的分布采样,使用于图像分割的各种能量泛函的分析。最近的工作描述了一个计算效率高的大都会黑斯廷斯方法来完成这项任务。在这里,我们扩展了该框架,以便在采样器的每次迭代中接受样本,从而实现一个数量级的收敛速度。此外,我们将展示如何将拓扑约束。
2012-05-16 cs.CV
3DIAS: 3D Shape Reconstruction with Implicit Algebraic Surfaces
Seoul National University(首尔大学)
三维形状表示对三维形状重建有着重要的影响。基于基元的表示主要通过一组简单的隐式基元来近似3D形状,但是基元的低几何复杂性限制了形状分辨率。此外,为任意形状设置足够数量的基元是具有挑战性的。为了克服这些问题,我们提出了一个受约束的隐式代数曲面作为原语,具有较少的可学习系数和较高的几何复杂性,以及一个深层神经网络来产生这些原语。我们的实验表明,我们的方法在表示能力方面的优越性相比,在单一的RGB图像三维形状重建的最先进的方法。此外,我们证明了我们的方法可以以无监督的方式语义学习3D形状的片段。该代码可从https://myavartanoo.github.io/3dias/公开获取。
2021-08-19 cs.CV
Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们提出了一种新的变形隐式场(DIF)表示建模的三维形状的一个类别,并产生密集的形状之间的对应关系。使用DIF,3D形状由跨类别共享的模板隐式字段以及专用于每个形状实例的3D变形字段和校正字段来表示。形状对应可以很容易地建立使用它们的变形场。我们的神经网络,被称为DIF网络,共同学习形状潜在空间和属于一个类别的3D对象的这些字段,而不使用任何对应或部分标签。学习后的DIF-Net还可以提供反映形状结构差异的可靠对应不确定性度量。实验表明,DIF-Net不仅可以生成高保真的3D形状,还可以在不同形状之间建立高质量的密集对应关系。我们还展示了几个应用程序,如纹理传输和形状编辑,我们的方法实现了令人信服的结果,不能实现以前的方法。
2021-03-29 cs.CV
Implicit Shape Completion via Adversarial Shape Priors
Technical University of Munich(慕尼黑工业大学)
提出了一种新的神经隐式形状方法来完成部分点云。为此,我们将有条件的Deep-SDF架构与学习的对抗性形状先验相结合。更具体地说,我们的网络将部分输入转换为全局潜在代码,然后通过隐式的带符号距离生成器恢复完整的几何形状。此外,我们还训练PointNet++接口,以促使生成器生成合理的、全局一致的重建。通过这种方式,我们有效地解耦了预测形状的挑战,这些形状既真实,即模仿训练集的姿势分布,又准确,因为它们复制了部分输入观察。在我们的实验中,我们展示了完成部分形状的最先进的性能,考虑到人造物体(例如飞机,椅子等)。和可变形形状类别(人体)。最后,我们证明了我们的对抗性训练方法导致了视觉上合理的重建,这些重建在恢复给定对象的缺失部分时高度一致。
2022-04-21 cs.CV
Mushroom Segmentation and 3D Pose Estimation from Point Clouds using Fully Convolutional Geometric Features and Implicit Pose Encoding
School of Electrical and Computer Engineering, National Technical University of Athens(雅典国立技术大学电气与计算机工程学院)
本文提出一种基于全卷积几何特征和隐式姿态编码的深度学习方法,利用合成点云数据训练网络,实现蘑菇分割与三维姿态估计,并在真实数据上验证有效性。
2024-04-17 cs.CV
Learning Implicit Glyph Shape Representation
Tsinghua University(清华大学);BNRist(北京国家信息科学技术研究中心)
在本文中,我们提出了一种新的隐式的图形表示,该模型的字形包围的二次曲线的形状图元,自然能够生成任意高分辨率的图形图像。通过对字形重构和插值任务的实验,验证了该结构化隐式表示方法能够同时描述字形的结构特征和风格特征。此外,基于所提出的表示,我们设计了一个简单而有效的解开网络具有挑战性的一次性字体风格转移问题,并取得了最好的结果相比,国家的最先进的替代品在定量和定性比较。受益于这种表示,我们生成的字形有可能通过后处理转换为矢量字体,减少光栅化图像和矢量图形之间的差距。我们希望这项工作可以提供一个强大的工具,二维形状的分析和合成,并启发进一步开发的隐式表示的二维形状建模。
2021-06-16 cs.CV
Implicit Guidance and Explicit Representation of Semantic Information in Points Cloud: A Survey
School of Information and Communication Engineering, Beijing University of Posts and Telecommunications (BUPT)(北京邮电大学信息与通信工程学院);Key Laboratory of Trustworthy Distributed Computing and Service (BUPT), Ministry of Education, China(教育部可信分布式计算与服务重点实验室)
本文综述点云中语义信息的隐式引导与显式表示,梳理相关任务、进展、数据集、挑战及开源论文资源。
2025-01-07 cs.CV
IF-Defense: 3D Adversarial Point Cloud Defense via Implicit Function based Restoration
Tsinghua University(清华大学);Stanford University(斯坦福大学)
点云是一种重要的三维数据表示方法,广泛应用于许多重要的应用领域。利用深度神经网络,最近的工作在处理3D点云方面取得了巨大成功。然而,这些深度神经网络容易受到各种3D对抗攻击的攻击,这些攻击可以概括为两种主要类型:影响局部点分布的点扰动,以及导致几何形状急剧变化的表面变形。在本文中,我们通过学习从受攻击的点云恢复干净的点云来同时解决上述两种攻击。更具体地说,我们提出了一个IF-Defense框架,以直接优化具有几何感知和分布感知约束的输入点的坐标。前者旨在通过隐式函数恢复点云表面,而后者鼓励均匀分布的点。我们的实验结果表明,IF-Defense在PointNet,PointNet++,DGCNN,PointConv和RS-CNN上实现了对现有3D对抗攻击的最新防御性能。例如,与以前的方法相比,IF-Defense在PointNet上对显著点丢弃攻击的分类准确率提高了20.02%,对LG-GAN攻击的分类准确率提高了16.29%。我们的代码可在https://github.com/Wuziyi616/IF-Defense上获得。
2021-03-18 cs.CV
GenCorres: Consistent Shape Matching via Coupled Implicit-Explicit Shape Generative Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
提出无监督联合形状匹配方法 GenCorres,通过耦合隐式与显式形状生成模型,在更大合成形状集合上约束变形并统一一致匹配与成对匹配,实验显著优于现有方法。
2024-04-16 cs.CV
RIM-Net: Recursive Implicit Fields for Unsupervised Learning of Hierarchical Shape Structures
National University of Defense Technology(国防科技大学);Shandong University(山东大学);Simon Fraser University(西蒙弗雷泽大学)
我们介绍RIM-Net,一个神经网络,学习递归隐域的无监督推理的层次形状结构。我们的网络递归地将输入的3D形状分解为两个部分,从而产生二叉树层次结构。树的每一级对应于形状部件的组装,表示为隐式函数,以重建输入形状。在树的每个节点处,同时特征解码和形状分解由它们各自的特征和部分解码器执行,并且权重在相同的层次级别上共享。作为隐式场解码器,部分解码器被设计为经由双向分支重构来分解子形状,其中每个分支预测定义高斯的一组参数以用作用于形状重构的局部点分布。由于每个层次都考虑了重建损失,每个节点都有分解损失,我们的网络训练不需要任何地面实况分割,更不用说层次了。通过广泛的实验和与最先进替代方案的比较,我们证明了RIM-Net分层结构推理的质量、一致性和可解释性。
2022-03-28 cs.CV
Edge Preserving Implicit Surface Representation of Point Clouds
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);SmartMore Co., Ltd.(思谋科技有限公司);National University of Defense Technology(国防科技大学)
直接从原始数据中学习隐式曲面由于其优良的性能,近年来已成为三维重建任务中非常有吸引力的表示方法。然而,随着原始数据质量的恶化,隐式函数往往导致不满意的重建结果。为此,我们提出了一种新的边缘保持隐式曲面重建方法,它主要包括一个可微Laplican正则化和动态边缘采样策略。其中,微分Laplacian正则化算子能有效缓解点云质量恶化导致的隐式曲面不光滑;同时,为了减少隐式曲面边缘区域的过度平滑,提出了一种在点云锐边附近采样的动态边缘提取策略,有效避免了Laplacian正则化算子对所有区域的平滑。最后,我们将它们与一个简单的正则化项相结合,以实现鲁棒的隐式曲面重建。实验结果表明,与现有的方法相比,该方法明显提高了三维重建结果的质量。实验结果表明,该方法可以方便有效地应用于点云边缘特征提取、法线估计等分析任务。
2023-01-12 cs.CV cs.GR
Towards Implicit Text-Guided 3D Shape Generation
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
在这项工作中,我们将探索从文本生成3D形状的挑战性任务。除了现有的作品,我们提出了一种新的方法,文本引导的3D形状生成,能够产生高保真的形状与给定的文本描述相匹配的颜色。这项工作有几个技术贡献。首先,我们解耦的形状和颜色的预测学习文本和形状中的特征,并提出了词级空间Transformer相关的文字特征从文本和形状的空间特征。此外,我们设计了一个循环损失,以鼓励文本和形状之间的一致性,并引入形状IMLE多样化生成的形状。此外,我们扩展的框架,使文本引导的形状操作。在现有最大的文本形状基准上的大量实验表明了这项工作的优越性。代码和模型可在https://github.com/liuzhengzhe/Towards-Implicit Text-Guided-Shape-Generation上获得。
2022-03-28 cs.CV
iRBSM: A Deep Implicit 3D Breast Shape Model
OTH Regensburg(雷根斯堡应用技术大学);University Hospital Regensburg(雷根斯堡大学医院)
提出首个女性乳房深度隐式3D形状模型iRBSM,采用隐式神经表示在原始3D扫描上训练,免除非刚性配准,能捕捉精细结构并在表面重建任务中优于RBSM,支持单图3D重建。
2024-12-17 cs.CV
Learning Implicit Functions for Topology-Varying Dense 3D Shape Correspondence
Michigan State University(密歇根州立大学)
本文的目标是以无监督的方式学习拓扑变化对象的密集3D形状对应。传统的隐式函数估计给定形状潜码的3D点的占用。相反,我们的新隐式函数为每个3D点生成一个部分嵌入向量,该向量被假设为与相同对象类别的另一个3D形状中的密集对应点相似。此外,我们实现了密集的对应,通过一个反函数映射从部分嵌入到相应的3D点。这两个函数联合学习几个有效的损失函数,以实现我们的假设,与编码器产生的形状潜码。在推理过程中,如果用户选择源形状上的任意点,我们的算法可以自动生成一个置信度分数,指示目标形状上是否存在对应关系,以及对应的语义点(如果存在)。这种机制本质上有利于具有不同部件构造的人造物体。我们的方法的有效性证明,通过无监督的三维语义对应和形状分割。
2020-10-26 cs.CV
ImpliCity: City Modeling from Satellite Images with Deep Implicit Occupancy Fields
ETH Zurich(苏黎世联邦理工学院)
高分辨率光学卫星传感器与密集立体算法相结合,使得从太空重建3D城市模型成为可能。然而,在实践中,这些模型是相当嘈杂的,往往错过小的几何特征,在图像中清晰可见。我们认为,有限的质量的一个原因可能是太早,启发式减少三角形的三维点云的一个明确的高度场或表面网格。为了充分利用点云和底层图像,我们引入了ImpliCity,这是一种3D场景的神经表示,它是一个隐式的连续占用场,由点云和一对立体正射照片的学习嵌入驱动。我们表明,这种表示,使高质量的DSM的提取:图像分辨率为0.5 $\,$米,ImpliCity达到了$\approx\,$ 0.7 $\,$米的中位数高度误差和优于竞争的方法,特别是w.r.t.建筑重建,具有复杂的屋顶细节,光滑的表面,直,规则的轮廓。
2022-05-06 cs.CV
Correspondence-Free Point Cloud Registration with SO(3)-Equivariant Implicit Shape Representations
University of Michigan(密歇根大学)
提出了一种点云旋转配准的无对应方法。我们学习了特征空间中每个点云的嵌入,该特征空间保留了SO(3)-等方差属性,这是由等变神经网络的最新发展实现的。通过将等变特征学习与隐式形状模型相结合,所提出的形状配准方法实现了三个主要优点。首先,数据关联的必要性被删除,因为在类似于PointNet的网络架构中的置换不变属性。其次,由于SO(3)-等方差性质,特征空间中的配准可以使用Horn方法以封闭形式求解。第三,由于配准和隐式形状重建的联合训练,配准对点云中的噪声具有鲁棒性。实验结果表明,与现有的无对应深度配准方法相比,该方法具有更好的性能。
2021-11-25 cs.CV cs.LG
Flow-based GAN for 3D Point Cloud Generation from a Single Image
University of Twente(特文特大学)
从单个二维图像生成三维点云对于三维场景理解应用是非常重要的。为了重建图像中所示的对象的整个3D形状,现有的基于深度学习的方法使用点云的显式或隐式生成建模,然而,其质量有限。在这项工作中,我们的目标是通过引入混合显式-隐式生成建模方案来缓解这个问题,该方案继承了基于流的显式生成模型,用于以任意分辨率采样点云,同时通过利用隐式生成对抗网络(GANs)来改善点云的详细3D结构。我们在大规模合成数据集ShapeNet上进行了评估,实验结果证明了该方法的优越性能。此外,我们的方法的泛化能力证明了跨类别的合成图像,以及通过测试的真实图像从PASCAL 3D+数据集。
2022-10-08 cs.CV
Learning Implicit Functions for Dense 3D Shape Correspondence of Generic Objects
Michigan State University(密歇根州立大学)
本文的目标是以无监督的方式学习拓扑变化通用对象的密集3D形状对应关系。传统的隐式函数估计给定形状潜码的3D点的占用。相反,我们的新隐式函数产生一个概率嵌入,以表示部分嵌入空间中的每个3D点。假设对应点在嵌入空间中是相似的,我们通过从部分嵌入向量到对应的3D点的反函数映射来实现稠密对应。这两个函数与几个有效的和不确定性感知的损失函数联合学习,以实现我们的假设,以及编码器生成的形状潜码。在推理过程中,如果用户选择源形状上的任意点,我们的算法可以自动生成一个置信度分数,指示目标形状上是否存在对应关系,以及对应的语义点(如果存在)。这种机制本质上有利于具有不同部件构造的人造物体。我们的方法的有效性证明,通过无监督的三维语义对应和形状分割。
2022-12-29 cs.CV
A novel tree-structured point cloud dataset for skeletonization algorithm evaluation
College of Computer Science(计算机学院);Chongqing University(重庆大学)
从散乱点云中提取曲线骨架是计算机视觉和三维数据预处理与可视化的基础任务。从点云数据中提取骨架是一个重要的研究课题。但由于缺乏标准的具有地面真实骨架的点云数据集,使得这些算法的评价变得困难。在本文中,我们构建了一个全新的树结构的点云数据集,包括地面真骨架,和点云模型。此外,在干净的点云上构建了四种类型的点云:含噪声点云、含缺失数据点云、不同密度点云和密度分布不均匀点云。我们首先使用树编辑器建立树的骨架和相应的网格模型。由于隐式曲面具有很好的表现力,能够很好地保留复杂树枝模型的边缘和细节,因此我们采用隐式曲面对三角网格进行建模。利用隐式曲面,将虚拟扫描仪应用于点云的采样。最后,考虑到骨架提取的挑战,我们介绍了不同的方法来建立四种不同类型的点云模型。该数据集可用作骨架提取算法的标准数据集。并且可以通过将地面真实骨架与提取的骨架进行比较来执行骨架提取算法之间的评估。
2020-01-09 cs.CV
SDF-StyleGAN: Implicit SDF-Based StyleGAN for 3D Shape Generation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们提出了一种基于StyleGAN 2的深度学习方法来生成3D形状,称为SDF-StyleGAN,目的是减少生成的形状和形状集合之间的视觉和几何差异。我们将StyleGAN 2扩展到3D生成,并利用隐式符号距离函数(SDF)作为3D形状表示,并引入两种新的全局和局部形状判别器,区分真实和虚假的SDF值和梯度,以显着改善形状几何形状和视觉质量。我们进一步使用基于阴影图像的Fréchet起始距离(FID)分数来补充3D生成模型的评估指标,以更好地评估生成形状的视觉质量和形状分布。形状生成的实验表明,SDF-StyleGAN的性能优于国家的最先进的。我们进一步证明了SDF-StyleGAN在各种任务的有效性的基础上,GAN反演,包括形状重建,形状完成从部分点云,单视图图像为基础的形状生成,和形状样式编辑。广泛的消融研究证明了我们的框架设计的有效性。我们的代码和训练模型可以在https://github.com/Zhengxinyang/SDF-StyleGAN上找到。
2022-06-24 cs.CV
GIFS: Neural Implicit Function for General Shape Representation
UC San Diego(加州大学圣迭戈分校);TuSimple(图森未来)
针对传统神经隐式函数仅能表示单层水密形状的问题,本文提出GIFS,通过建模点对是否被表面分隔来表示非水密及多层表面形状,并在ShapeNet上取得更优重建与渲染效果。
2022-07-02 cs.CV
ReshapeIT: Reliable Shape Interaction with Implicit Template for Anatomical Structure Reconstruction
Institute of Medical Robotics, Shanghai Jiao Tong University(上海交通大学医学机器人研究所);Jarvis Research Center, Tencent Youtu Lab(腾讯优图实验室贾维斯研究中心);University of Chinese Academy of Sciences(中国科学院大学)
本文提出ReShapeIT网络,通过共享隐式模板场、变形场和模板交互模块在连续空间中重建解剖结构,并在肝脏、胰腺和肺叶数据集上取得优于现有方法的重建精度。
2024-09-30 cs.CV
GridPull: Towards Scalability in Learning Implicit Representations from 3D Point Clouds
Tsinghua University(清华大学);Wayne State University(韦恩州立大学)
针对3D点云表面重建中现有隐式表示学习方法可扩展性差的问题,提出无神经组件的GridPull方法,通过网格离散距离场、损失函数保连续性、树结构加速距离计算,在精度与效率上优于现有方法。
2023-08-25 cs.CV
LISR: Learning Linear 3D Implicit Surface Representation Using Compactly Supported Radial Basis Functions
Indian Institute of Technology Jodhpur(焦特布尔印度理工学院)
针对3D点云隐式表面重建中传统径向基函数神经网络难以收敛到全局解的问题,提出利用紧支撑径向基函数进行线性隐式表面表示,并在监督框架下学习,实现了优于现有方法的重建与补全效果。
2024-02-11 cs.CV
Multiresolution Deep Implicit Functions for 3D Shape Representation
Google(谷歌);ShanghaiTech University(上海科技大学)
我们介绍了多分辨率深度隐式函数(MDIF),一个分层表示,可以恢复精细的几何细节,同时能够执行全局操作,如形状完成。我们的模型代表了一个复杂的3D形状,具有层次结构的潜在网格,可以解码为不同的细节级别,并实现更好的准确性。对于形状完成,我们提出了潜在的网格丢弃来模拟潜在空间中的部分数据,因此将完成功能推迟到解码器端。这与我们的多分辨率设计一起显着提高了仅解码器潜在优化下的形状完成质量。据我们所知,MDIF是第一个深度隐式函数模型,可以同时(1)表示不同级别的细节并允许渐进解码;(2)支持编码器-解码器推理和仅解码器潜在优化,并实现多个应用;(3)执行详细的仅解码器形状完成。实验证明了其在各种3D重建任务中相对于现有技术的优越性能。
2021-09-16 cs.CV
Unsigned Orthogonal Distance Fields: An Accurate Neural Implicit Representation for Diverse 3D Shapes
Donghua University(东华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出无符号正交距离场(UODFs)神经隐式表示,通过仅沿正交方向定义最小无符号距离,使每个空间点可直接访问最近表面点,从而在多样三维形状重建中避免插值误差并提升精度。
2024-04-01 cs.CV
3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models
National University of Singapore(新加坡国立大学);Technical University of Munich(慕尼黑工业大学);Bernard M. Baruch College(伯纳德·M·巴鲁克学院);Stanford University(斯坦福大学);Computational Design Institute(计算设计研究所);Adobe(奥多比公司)
扩散模型在图像生成方面表现出了巨大的潜力,在生成多样性方面击败了GANs,并具有相当的图像质量。然而,它们对3D形状的应用仅限于点或体素表示,这些表示在实践中不能准确地表示3D表面。我们提出了一个扩散模型的神经隐式表示的3D形状,在潜在的自动解码器的空间。这使我们能够生成多样化和高质量的3D表面。我们还表明,我们可以在图像或文本上调整我们的模型,以使用CLIP嵌入实现图像到3D的生成和文本到3D的生成。此外,将噪声添加到现有形状的潜在代码中,使我们能够探索形状的变化。
2022-12-15 cs.CV
Online Adaptation for Implicit Object Tracking and Shape Reconstruction in the Wild
University of California San Diego(加利福尼亚大学圣地亚哥分校);TuSimple(图森未来)
针对杂乱、部分观测 LiDAR 场景,提出利用视频连续性在线自适应 DeepSDF 的统一框架,实现三维跟踪与形状重建相互迭代增强,并在 Waymo、KITTI 上显著超越现有方法。
2022-07-05 cs.CV
Range Image-Based Implicit Neural Compression for LiDAR Point Clouds
Graduate School of Information Science and Technology(信息科学与技术研究生学校);The University of Osaka(大阪大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
本文提出基于隐式神经表示的范围图像压缩方法,通过分割深度和掩码图像并采用模型剪枝和量化技术,实现对LiDAR点云的高效压缩。
2026-01-28 cs.CV
Optimizing Implicit Neural Representations from Point Clouds via Energy-Based Models
The University of Tokyo(东京大学);KAUST(阿卜杜拉国王科技大学);Albert Inc.(艾伯特公司)
针对三维点云曲面重建任务,提出利用能量基模型优化隐式神经表示的方法,以坐标神经网络绝对值为能量函数,可适配点云噪声幅度,抗噪鲁棒性优于传统方法。
2023-11-05 cs.CV cs.LG
Steerable Anatomical Shape Synthesis with Implicit Neural Representations
University of Twente(特温特大学);Technical Medical (TechMed) Centre(技术医学中心)
本文提出一种基于隐式神经表示的可控解剖形状生成模型,通过学习解耦的潜在表示实现对形状变化的细粒度控制,在保证高质量形状生成与解剖合理性的同时,支持针对特定患者群体的目标解剖修改。
2025-04-04 cs.CV
EXIM: A Hybrid Explicit-Implicit Representation for Text-Guided 3D Shape Generation
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);Tel-Aviv University(特拉维夫大学)
本文提出EXIM混合显式-隐式三维形状表示,通过显式阶段控制拓扑、隐式阶段细化形状与着色,实现无需逐形状优化和人工标注文本的高保真文本引导三维形状生成,并可用于风格一致的室内场景生成。
2023-11-30 cs.CV
Implicit and Efficient Point Cloud Completion for 3D Single Object Tracking
Huazhong University of Science and Technology(华中科技大学);CVTE Research(CVTE研究院)
基于点云的3D单目标跟踪越来越受到人们的关注。虽然取得了许多突破,但我们也暴露出两个严重的问题。通过大量的分析,我们发现目前的方法的预测方式是非鲁棒的,即,暴露了预测分数和实际定位精度之间的未对准差距。另一个问题是稀疏点返回将破坏SOT任务的特征匹配过程。基于这些见解,我们引入了两个新的模块,即,自适应细化预测(ARP)和目标知识转移(TKT),以解决他们,分别。为此,我们首先设计了一个强大的管道来提取区分特征,并与注意力机制进行匹配。然后,ARP模块提出了解决错位问题,通过聚合所有预测的候选人有价值的线索。最后,TKT模块的设计,有效地克服了不完整的点云,由于稀疏和遮挡问题。我们称之为PCET。通过在KITTI和Waymo开放数据集上进行广泛的实验,我们的模型在保持较低计算成本的同时,实现了最先进的性能。
2023-02-09 cs.CV
Adversarial Generation of Continuous Implicit Shape Representations
TU Dortmund University(多特蒙德工业大学)
这项工作提出了一种生成对抗架构,用于基于符号距离表示生成三维形状。虽然形状的深层生成主要是通过体素和表面点云方法来解决的,但我们的生成器学习在给定先验潜在信息的情况下近似空间中任何点的符号距离。虽然在结构上类似于生成点云方法,但该公式可以在推理期间使用任意点密度进行评估,从而在生成的输出中产生细粒度的细节。此外,我们研究了使用逐步增长的体素或点处理网络作为鉴别器的效果,并提出了一个改进方案,以加强发电机的能力,在建模的零等值面决策边界的形状。我们训练我们的方法在ShapeNet基准数据集和验证,定量和定性,其性能生成逼真的3D形状。
2020-03-26 cs.CV
Latent Partition Implicit with Surface Codes for 3D Representation
Tsinghua University(清华大学);Wayne State University(韦恩州立大学)
深隐函数在各种三维计算机视觉任务中表现出了卓越的形状建模能力。一个缺点是它们很难将3D形状表示为多个部分。当前的解决方案学习各种基元并直接在空间空间中混合基元,但仍然很难准确地逼近3D形状。为了解决这个问题,我们引入了一种新的隐式表示来表示一个单一的3D形状作为一组部分在潜在的空间,对高度准确和可解释的形状建模。我们的见解是,无论是部分学习和部分混合可以进行更容易地在潜在的空间比在空间空间。我们称之为潜在分区隐式(LPI),因为它的能力铸造的全局形状建模成多个局部零件造型,分割的全局形状的统一。LPI使用表面代码将形状表示为符号距离函数(SDF)。每个表面代码都是一个潜在的代码,代表一个中心在表面上的零件,这使我们能够灵活地利用形状的内在属性或附加的表面属性。最终,LPI可以重建形状和形状上的部分,这两者都是合理的网格。LPI是一种多层次的表示,它可以在训练后将形状划分为不同数量的部分。LPI可以在没有地面实况符号距离、点法线或任何零件分区监督的情况下学习。在重建精度和模型可解释性方面,LPI在广泛使用的基准测试下优于最新方法。我们的代码、数据和模型可在https://github.com/chenchao15/LPI上获得。
2022-07-23 cs.CV
Learning Category-level Shape Saliency via Deep Implicit Surface Networks
South China University of Technology(华南理工大学);Samsung USA(三星美国);I2R ASTAR(新加坡科技研究局资讯通信研究院)
本文的动机是从一个基本的好奇心是什么定义一类对象的形状。例如,我们可能知道飞机有翅膀,椅子有腿。鉴于同一类别的不同实例之间的形状变化很大,我们正式感兴趣的是为连续物体表面上的单个点定义一个量;该量指定单个表面点如何有助于形成作为类别的形状。我们把这样的数量作为类别级别的形状显着性或形状显着性的简称。从技术上讲,我们建议从深层隐式表面网络中学习同一类别的形状实例的显着性图;隐式表面场中采样点的显着性得分通过约束输入潜在代码的能力来预测。我们还通过额外的对比训练损失来增强显着性预测。我们期望这样的学习表面地图的形状显着性具有平滑,对称和语义代表性的属性。我们通过比较我们的方法与其他方法的显着性计算来验证这些属性。值得注意的是,我们表明,通过利用学习的形状显着性,我们能够重建对象表面的类别显着或实例特定的部分;学习的显着性的语义代表性也反映在其有效性,以指导更好的点云分类的表面点的选择。
2020-12-14 cs.CV
Self-Supervised Arbitrary-Scale Point Clouds Upsampling via Implicit Neural Representation
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Peking University Shenzhen Graduate School(北京大学深圳研究生院);Tsinghua University(清华大学)
点云上采样是一个具有挑战性的问题,从给定的稀疏输入生成密集和均匀的点云。大多数现有的方法要么采取基于端到端监督学习的方式,其中大量的稀疏输入和密集的地面实况对被利用作为监督信息;要么将不同比例因子的上缩放处理为独立的任务,并且必须构建多个网络来处理具有不同因子的上采样。在本文中,我们提出了一种新的方法,同时实现自监督和放大灵活的点云上采样。我们制定点云上采样的任务,寻找最近的投影点的隐式表面上的种子点。为此,我们定义了两个隐式神经函数来分别估计投影方向和距离,可以通过两个借口学习任务来训练。实验结果表明,我们的自监督学习为基础的计划取得竞争力,甚至更好的性能比监督学习为基础的国家的最先进的方法。源代码可在https://github.com/xnowbzhao/sapcu上公开获得。
2022-04-18 cs.CV cs.GR
Deep Learning on Implicit Neural Representations of Shapes
University of Bologna(博洛尼亚大学)
在过去的几年里,隐式神经表征(INR)已经成为一种强大的工具,可以连续编码各种不同的信号,如图像,视频,音频和3D形状。当应用于3D形状时,INR允许克服到目前为止使用的流行离散表示的碎片和缺点。然而,考虑到INR存在于神经网络中,目前尚不清楚是否以及如何将它们馈送到旨在解决下游任务的深度学习管道中。在本文中,我们提出了这个研究问题,并提出了inr2vec,一个框架,可以计算一个紧凑的潜在表示输入INR在一个单一的推理通过。我们验证了inr2vec可以有效地嵌入由输入INR表示的3D形状,并展示了如何将生成的嵌入馈送到深度学习管道中,以通过专门处理INR来解决多个任务。
2023-02-10 cs.CV
SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
神经隐式表面表示已经成为一种有前途的范例,以连续和分辨率无关的方式捕获3D形状。然而,使它们适应铰接的形状并非易事。现有方法学习将变形映射到规范点的向后扭曲场。然而,这是有问题的,因为向后扭曲场是姿势相关的,因此需要大量数据来学习。为了解决这个问题,我们引入了SNARF,它结合了多边形网格的线性混合蒙皮(LBS)与神经隐式曲面的优点,通过学习向前变形场而无需直接监督。这个变形场是在规范的,姿势独立的空间中定义的,允许泛化到看不见的姿势。单独从已设定的网格中学习变形场是具有挑战性的,因为变形点的对应关系是隐式定义的,并且在拓扑变化下可能不是唯一的。我们提出了一个前向蒙皮模型,发现所有的正则对应的任何变形点,使用迭代求根。我们通过隐式微分推导出分析梯度,从而实现从具有骨骼变换的3D网格的端到端训练。与最先进的神经隐式表示相比,我们的方法更好地推广到看不见的姿势,同时保持准确性。我们展示了我们的方法在具有挑战性的情况下(穿着)3D人类在不同的和看不见的姿势。
2021-11-29 cs.CV
Holistic 3D Scene Understanding from a Single Image with Implicit Representation
University of Electronic Science and Technology of China(电子科技大学);Google(谷歌);ETH Zürich(苏黎世联邦理工学院)
我们提出了一个新的管道,从一个单一的图像,可以预测物体的形状,物体姿态和场景布局的整体三维场景理解。由于它是一个高度不适定的问题,现有的方法通常遭受不准确的形状和布局的估计,特别是对于杂乱的场景,由于对象之间的严重遮挡。我们建议利用最新的深度隐式表示来解决这一挑战。我们不仅提出了一个基于图像的局部结构隐式网络,以提高物体的形状估计,但也通过一种新的隐式场景图神经网络,利用隐式局部对象的功能,细化三维物体的姿态和场景布局。还提出了一种新的物理违规损失,以避免对象之间的不正确的上下文。大量的实验表明,我们的方法优于国家的最先进的方法在物体形状,场景布局估计,和3D目标检测。
2021-08-22 cs.CV
Deep Level Sets: Implicit Surface Representations for 3D Shape Inference
Queensland University of Technology(昆士兰科技大学);University of Queensland(昆士兰大学)
现有的3D表面表示方法无法准确地分类像素和它们的方向躺在一个对象的边界。从而导致粗糙的表示,这通常需要后处理步骤来提取3D表面网格。为了克服这一限制,我们提出了一个端到端的可训练模型,直接预测隐式表面表示的任意拓扑结构,通过优化一个新的几何损失函数。具体来说,我们建议将输出表示为连续嵌入函数的定向水平集,并通过引入变分形状推理公式将其纳入深度端到端学习框架。我们调查我们的方法的3D表面预测的任务上的好处,并证明其能力,以产生一个更准确的重建相比,基于体素的表示。我们进一步表明,我们的模型是灵活的,可以应用于各种形状推理问题。
2019-01-21 cs.CV
Shape-Oriented Convolution Neural Network for Point Cloud Analysis
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
点云是三维几何信息编码的主要数据结构。与其他传统的视觉数据(如图像和视频)不同,这些不规则点描述了3D对象的复杂形状特征,这使得形状特征学习成为点云分析的重要组成部分。为此,形状导向的消息传递计划被称为ShapeConv提出专注于表示学习的基础形状形成的每个局部相邻点。尽管存在这种形状内关系学习,但ShapeConv还被设计为通过捕获局部底层形状之间的长期依赖关系来合并来自形状间关系的上下文效果。这种面向形状的操作符被堆叠到我们的分层学习架构中,即面向形状的卷积神经网络(SOCNN),用于点云分析。大量的实验已经被执行,以评估其在点云分类和零件分割任务中的意义。
2020-04-20 cs.CV
Implicit field supervision for robust non-rigid shape matching
École Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院)
建立两个非刚性变形形状之间的对应关系是视觉计算中最基本的问题之一。现有的方法往往表现出较弱的弹性时,提出了与现实世界的数据,如噪声,离群值,自遮挡等挑战。另一方面,自动解码器已经表现出强大的表达能力,在学习几何有意义的潜在嵌入。然而,它们在\emph{shape analysis}中的使用受到限制。在本文中,我们介绍了一种基于自动解码器框架的方法,该方法在固定模板上学习连续的形状变形场。通过一种新的\emph{Signed Distance Regularisation}(SDR)来监控曲面上点的形变场和曲面外点的正则化,学习模板和形状\emph{volumes}之间的对齐。经过清洁防水网格、\emph{without}和任何数据增强的培训,我们在受损数据和真实世界扫描上展示了令人信服的性能。
2022-07-21 cs.CV
Exploiting Implicit Rigidity Constraints via Weight-Sharing Aggregation for Scene Flow Estimation from Point Clouds
本文提出一种隐式利用刚性约束的权重共享聚合(WSA)方法和形变度模块,并将其集成到PointPWC-Net构建WSAFlowNet,在FlyingThings3D和KITTI数据集上大幅提升了场景流估计性能。
2023-04-01 cs.CV
CloudWalker: Random walks for 3D point cloud shape analysis
Technion - Israel Institute of Technology(以色列理工学院);Australian National University(澳大利亚国立大学)
本文提出CloudWalker方法,通过在3D点云中进行多次随机游走来施加结构,学习逐点和逐游走表示并在推理时聚合预测,在分类和检索任务上达到最优。
2023-05-17 cs.CV
A Latent Implicit 3D Shape Model for Multiple Levels of Detail
CVLab, EPFL(EPFL计算机视觉实验室);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出一种多尺度、带宽受限的潜在条件隐式神经形状模型,可在单一网络中支持多细节层次并保证表面平滑,重建质量媲美单层次SOTA。
2024-09-10 cs.CV
Hybrid-CSR: Coupling Explicit and Implicit Shape Representation for Cortical Surface Reconstruction
University of California, Irvine(加州大学欧文分校);Yale University(耶鲁大学);Meta
本研究提出混合几何深度学习模型Hybrid-CSR,结合显式隐式表示实现皮层表面重建,搭配拓扑校正流水线,在三个脑数据集上的准确性等指标优于现有方法。
2023-07-23 cs.CV
Walk in the Cloud: Learning Curves for Point Clouds Shape Analysis
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
离散点云对象缺乏足够的3D几何形状描述符。本文提出了一种新的点云虚拟曲线聚合方法。连接点(曲线)的序列最初通过在点云中进行引导行走进行分组,然后聚合以增强其逐点特征。我们提供了一个有效的实施建议的聚合策略,包括一个新的曲线分组操作符,然后由曲线聚合操作符。我们的方法在几个点云分析任务上进行了基准测试,其中我们在ModelNet40分类任务上实现了94.2%的最新分类准确率,在ShapeNetPart分割任务上实现了86.8的实例IoU,在ModelNet40正常估计任务上实现了0.11的余弦误差。
2021-07-29 cs.CV
Neural Implicit 3D Shapes from Single Images with Spatial Patterns
Peking University(北京大学);Shandong University(山东大学)
神经隐函数在从单个图像重建3D形状方面取得了令人印象深刻的结果。然而,当图像中存在遮挡、视图和外观的显著变化时,用于描述隐函数的3D点采样的图像特征不太有效。为了更好地编码图像特征,我们研究了几何感知卷积核,以利用所提出的\emph{spatial pattern}的点采样的几何关系,即,结构化点集。具体地,内核在来自空间图案的3D点的2D投影处操作。在空间模式的支持下,2D内核对对于3D重建任务至关重要的几何信息进行编码,而传统内核主要考虑外观信息。此外,为了使网络能够发现更多的自适应空间模式,以进一步捕获非本地上下文信息,内核被设计为可变形的空间模式生成器操纵。在人工数据集和真实数据集上的实验结果表明了该方法的优越性。预先训练的模型、代码和数据可在https://github.com/yixin26/SVR-SP上获得。
2022-01-31 cs.CV