ShapeClipper: Scalable 3D Shape Learning from Single-View Images via Geometric and CLIP-based Consistency
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
ShapeClipper利用CLIP编码一致性和现成法线几何约束,从单视图分割图像中重建三维形状,无需多视图或姿态标注,并在多个真实数据集上超越现有方法。
2023-04-13 cs.CV
Signature of Geometric Centroids for 3D Local Shape Description and Partial Shape Matching
University of Science and Technology of China(中国科学技术大学)
从不同视图获取的深度扫描可能包含噪声、遮挡和变化的点密度等干扰。我们提出了一种新的签名几何质心描述符,支持直接形状匹配的扫描,而不需要任何预处理,如扫描去噪或转换成一个网格。首先,我们构建描述符体素化的局部形状在一个唯一定义的局部参考框架和连接几何质心和点密度特征提取的每个体素。其次,我们通过只使用相应的体素都是非空的,从而支持匹配不完整的局部形状,如那些接近扫描边界的描述符进行比较。第三,我们提出了一个描述符显着性措施,并计算它从一个矢量图,以提高形状匹配性能。我们证明了描述符的鲁棒性和有效性的形状匹配,通过比较它与三个国家的最先进的描述符,并将其应用到对象/场景重建和3D对象识别。
2016-12-26 cs.CV
Geometrically Consistent Partial Shape Matching
TU Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Bonn(波恩大学)
本文提出一种基于整数线性规划的部分形状匹配方法,通过整合深度形状特征并采用由粗到细的优化方案,实现了低分辨率形状上的全局最优匹配,显著提升了部分形状匹配的可靠性与平滑度。
2023-09-10 cs.CV
Geometric Digital Twinning of Industrial Facilities: Retrieval of Industrial Shapes
University of Florida(佛罗里达大学);University of Cambridge(剑桥大学)
本文设计,实现和基准测试一种新的形状检索方法,可以准确地匹配个人标记的点簇(实例)现有的工业设施与各自的CAD模型。它采用图像和点云深度学习网络的组合来分类实例并将其匹配到几何相似的CAD模型。它扩展了我们以前的研究几何数字孪生生成从点云数据,这是目前一个繁琐的,手动的过程。实验结果表明,该网络能够可靠地检索CAD模型,准确率为85.2%.所提出的研究是一个基本框架,使几何数字孪生(gDT)管道,并将真正的几何配置到数字孪生。
2022-02-10 cs.CV
Shapes2Toon: Generating Cartoon Characters from Simple Geometric Shapes
Ahsanullah University of Science and Technology(阿赫桑努拉科技大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
动画片是我们娱乐文化的重要组成部分。虽然画卡通并不适合所有人,但使用基本几何图元的排列来近似角色是艺术中相当常见的技术。这种技术背后的关键动机是,人体-以及卡通人物-可以分解为各种基本几何图元。有许多教程可以演示如何使用基本形状的适当排列来绘制图形,从而帮助我们创建卡通人物。这种技术是非常有益的儿童在教他们如何画漫画。在本文中,我们开发了一个工具-shape 2 toon-,旨在通过利用生成对抗网络,结合几何图元(即圆),并根据给定的近似生成卡通人物(即米老鼠)自动化这种方法。为此,我们创建了一个几何表示的卡通人物的数据集。我们在我们的数据集上应用图像到图像的翻译技术,并在本文中报告结果。实验结果表明,该系统可以从输入的几何图形布局中生成卡通人物。此外,我们还展示了一个基于网络的工具,作为我们工作的实际意义。
2022-11-03 cs.CV
Geo-SIC: Learning Deformable Geometric Shapes in Deep Image Classifiers
University of Virginia(弗吉尼亚大学)
可变形形状提供了图像中呈现的对象的重要且复杂的几何特征。然而,这样的信息往往是失踪或未充分利用作为隐含的知识在许多图像分析任务。本文介绍了Geo-SIC,这是第一个在变形空间中学习可变形形状的深度学习模型,用于提高图像分类的性能。我们引入了一个新设计的框架,(i)同时从图像和潜在的形状空间与大类内变化的功能;(ii)通过允许直接存取图像数据的底层几何特征,获得增加模型的可解释性。特别是,我们开发了一个提升的分类网络,配备了一个无监督学习的几何形状表示,其特征在于每个类内的同构变换。与以前使用预提取形状的方法相比,我们的模型提供了一种更基本的方法,通过与图像分类器一起自然学习最相关的形状特征。我们证明了我们的方法在模拟的2D图像和真实的3D脑磁共振(MR)图像上的有效性。实验结果表明,我们的模型大大提高了图像分类的准确性,增加了模型的可解释性的额外好处。我们的代码可在https://github.com/jw4hv/Geo-SIC上公开获取
2022-10-25 cs.CV
Improving Shape Awareness and Interpretability in Deep Networks Using Geometric Moments
Arizona State University(亚利桑那州立大学)
本文提出一种受几何矩启发的深度学习模型,通过可训练网络生成坐标基和仿射参数以任务特定方式实现特征几何不变性,在标准图像分类数据集上性能超越基线和ResNet模型,并显著提升了特征的可解释性。
2023-05-22 cs.CV
GLASS: Geometric Latent Augmentation for Shape Spaces
University College London(伦敦大学学院);Adobe Research(奥多比研究中心);IIT Bombay(印度理工学院孟买分校)
我们研究了在非常稀疏的3D模型集合上训练生成模型的问题。我们使用几何激励的能量来增强,从而提升示例(训练)模型的稀疏集合。我们分析尽可能刚性(ARAP)能量的Hessian,以从底层(局部)形状空间采样并投影到底层(局部)形状空间,并使用增强的数据集来训练变分自编码器(VAE)。我们对构建VAE潜在空间和增强相关数据集的过程进行了改进,以逐步揭示更丰富,更具表现力的生成空间,用于创建几何和语义有效的样本。我们的框架允许我们训练生成3D模型,即使是一小部分质量良好的3D模型,这通常是很难策划。我们广泛地评估我们的方法对一组强基线,提供消融研究,并证明对建立形状对应的应用。我们提出了多个有趣和有意义的形状变化的例子,即使从3-10个训练形状开始。
2022-04-29 cs.CV
GSNet: Joint Vehicle Pose and Shape Reconstruction with Geometrical and Scene-aware Supervision
The Hong Kong University of Science and Technology(香港科技大学);Kwai Inc.(快手公司)
我们提出了一个新的端到端的框架命名为GSNet(几何和场景感知网络),它联合估计6DoF姿态和重建详细的3D汽车形状从单一的城市街景。GSNet采用独特的四向特征提取和融合方案,并在单次向前传递中直接回归6DoF姿势和形状。大量的实验表明,我们的多样性特征提取和融合方案可以大大提高模型的性能。GSNet基于分而治之的3D形状表示策略,重建具有非常详细的3D车辆形状(1352个顶点和2700个面)。这种密集的网格表示进一步引导我们考虑几何一致性和场景上下文,并启发了一种新的多目标损失函数来正则化网络训练,这反过来又提高了6D姿态估计的准确性,并验证了联合执行这两项任务的优点。我们在最大的多任务ApolloCar3D基准上评估GSNet,并在定量和定性方面实现了最先进的性能。项目页面可在https://lkeab.github.io/gsnet/上找到。
2020-07-26 cs.CV
3D Shape Segmentation with Geometric Deep Learning
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
具有高密度顶点的3D形状的语义分割可能由于大的存储器需求而不切实际。为了使这个问题在计算上易于处理,我们提出了一种基于神经网络的方法,产生3D增强视图的3D形状,以解决整个分割的子分割问题。通过将3D形状的顶点和法线投影到从形状周围的不同视点获取的2D规则网格上来获得3D增强视图。然后,这些3D视图由卷积神经网络处理,以产生每个顶点的语义类集合上的概率分布函数(pdf)。然后,这些PDF文件被重新投影到原始3D形状上,并通过条件随机场使用上下文信息进行后处理。我们验证我们的方法使用公开的数据集和使用摄影测量技术重建的真实物体的3D形状。我们将我们的方法与最先进的替代方案进行比较。
2020-02-02 cs.CV
3D Textured Shape Recovery with Learned Geometric Priors
ETH Zurich(苏黎世联邦理工学院)
从部分扫描中恢复3D纹理形状对于许多现实世界的应用至关重要。现有的方法已经证明了隐函数表示的有效性,但它们遭受严重遮挡和变化的对象类型的部分输入,这极大地阻碍了它们在现实世界中的应用价值。本技术报告介绍了我们的方法,以解决这些限制,结合学习几何先验。为此,我们从学习的姿势预测中生成SMPL模型,并将其融合到部分输入中,以添加人体的先验知识。我们还提出了一种新的完整性感知的限界框适应处理不同级别的规模和部分扫描的partialness。
2022-09-07 cs.CV
Partial-to-Partial Shape Matching with Geometric Consistency
Technical University of Munich(慕尼黑工业大学);University of Bonn(波恩大学)
针对三维扫描导致的部分到部分形状匹配难题,本文利用几何一致性约束,提出基于三角形乘积空间的整数非线性规划及线性整数规划剪枝算法,并构建新类间数据集,在类内与类间基准上均超越现有SOTA方法。
2024-05-10 cs.CV
Training-free Spatially Grounded Geometric Shape Encoding (Technical Report)
Microsoft Research(微软研究院)
本文提出XShapeEnc,一种无需训练的通用空间几何形状编码策略,通过分解几何形状和姿态,利用正交Zernike基和频率传播操作,实现高效、可逆且频率丰富的紧凑表示,适用于多种二维空间任务。
2026-05-09 cs.CV
Second-order Shape Optimization for Geometric Inverse Problems in Vision
我们开发了一种形状空间优化方法,即,曲面的模重新参数化集。与以前提出的梯度流不同,我们通过对Hessian形状的精细近似来实现超线性收敛速度,Hessian形状通常很难计算,并且存在一系列退化。我们的分析突出了平均曲率运动的作用与一阶方案相比:而不是表面积,我们的方法惩罚变形,无论是通过其Dirichlet能量或总变分。后正则化火花的发展交替方向的乘子方法的三角形网格。其中,共轭梯度求解器使我们能够绕过在整体优化过程中出现的高斯正规方程的形成。我们结合了所有上述的想法在一个通用的几何变分正则Levenberg-Marquardt型方法适用于各种形状泛函,取决于表面的固有属性,如正常的字段和曲率,以及它的嵌入到空间。有希望的实验结果报告。
2014-04-13 cs.CV
Learned 3D Shape Representations Using Fused Geometrically Augmented Images: Application to Facial Expression and Action Unit Detection
本文提出了一种方法来学习通用的多模态网格表面表示使用一种新的计划融合纹理和几何数据。我们的方法定义了在网格表面或其下采样版本上计算的不同几何描述符之间的逆映射,以及网格的相应2D纹理图像,允许构建融合几何增强图像(FGAI)。这种新的融合模式使我们能够通过简单地采用标准的卷积神经网络在转移学习模式中以高效的方式从3D数据中学习特征表示。与现有的方法相比,该方法是计算和内存效率,保留固有的几何信息,并学习高度区分的特征表示,有效地融合形状和纹理信息在数据级。我们的方法的有效性证明了面部动作单元检测和表情分类的任务。在博斯普鲁斯海峡和BU-4DFE数据集上进行的大量实验表明,与最先进的解决方案相比,我们的方法在性能上有显著提高
2019-04-08 cs.CV
Fast Globally Optimal and Geometrically Consistent 3D Shape Matching
University of Bonn(波恩大学);Lamarr Institute(拉马尔研究所)
针对3D形状匹配中几何一致性难保障的问题,提出将形状表面表示为循环路径、通过超积图最小代价环流求解全局最优一致匹配的可扩展框架,实验验证其高效且高质量。
2025-07-29 cs.CV cs.GR
HybridSDF: Combining Deep Implicit Shapes and Geometric Primitives for 3D Shape Representation and Manipulation
EPFL(洛桑联邦理工学院);Neural Concept
深隐式曲面擅长于建模一般形状,但并不总是捕捉制造对象中存在的不规则性,而这是简单几何图元特别擅长的。在本文中,我们提出了一种表示相结合的潜在和显式的参数,可以解码成一组深隐和几何形状是相互一致的。因此,我们可以有效地对制造对象中共存的复杂和高度规则的形状进行建模。这使得我们的方法能够以高效和精确的方式操纵3D形状。
2022-09-08 cs.AI cs.CG cs.CV
Combinative Matching for Geometric Shape Assembly
POSTECH;Samsung Research America(三星美国研究院);RLWRLD
本文提出组合匹配方法,通过显式建模互锁形状的相同表面与相反体积占用,并结合等变神经网络估计方向,有效减少匹配歧义,在几何组装任务上超越现有技术。
2025-11-01 cs.AI cs.CV
3D Geometric Shape Assembly via Efficient Point Cloud Matching
POSTECH(浦项科技大学);Seoul National University(首尔大学)
针对3D几何形状组装任务,提出基于粗细两级点云局部对应匹配的PMTR框架,通过近似高阶特征变换层PMT实现零件配合面可靠匹配,在Breaking Bad基准上性能与效率均超现有最优方法。
2024-07-15 cs.AI cs.CV
Leveraging SE(3) Equivariance for Learning 3D Geometric Shape Assembly
本文提出利用 SE(3) 等变性解耦零件的形状与位姿,并将其扩展到多零件相关表示,以提升 3D 几何碎片装配性能。
2023-12-18 cs.AI cs.CV
Disentangling Geometric Deformation Spaces in Generative Latent Shape Models
University of Toronto(多伦多大学);Samsung Toronto AI Research Center(三星多伦多人工智能研究中心);Vector Institute for Artificial Intelligence(矢量人工智能研究所)
3D对象的完整表示需要以可解释的方式表征变形空间,从单个实例的关节到跨类别的形状变化。在这项工作中,我们改进了先前的生成模型的几何解纠缠的三维形状,其中的空间对象的几何形状被分解为刚性方向,非刚性姿势,和内在的形状。所得到的模型可以从原始的3D形状中训练,没有对应关系,标签,甚至刚性对齐,使用经典的光谱几何和结构化潜在表示空间的概率解纠缠的组合。我们的改进包括更复杂的处理旋转不变性和使用一个同构流网络来桥接潜在的光谱空间。潜在空间的几何结构赋予了对象的变形空间的可解释的表征。此外,它还支持姿势转移和姿势感知检索等任务,而无需监督。我们评估我们的模型的生成建模,表示学习,和解纠缠性能,显示出改进的旋转不变性和内在-外在因子分解质量比以前的模型。
2023-03-19 cs.CV cs.LG
Automatic Parameterization for Aerodynamic Shape Optimization via Deep Geometric Learning
ISAE-SUPAERO(法国高等航空航天学院)
本研究提出两种基于深度几何学习的气动外形优化自动参数化模型,结合新型正则化损失实现网格变形整合,模型完全可微,经二维翼型实验验证并明确了各自适用场景。
2023-05-03 cs.CV physics.flu-dyn
Learning to Assemble Geometric Shapes
Pohang University of Science and Technology (POSTECH)(浦项科技大学);POSCO(浦项制铁公司)
将零件组装成一个物体是一个组合问题,它出现在现实世界的各种背景下,涉及科学和工程中的许多应用。以前的相关工作处理有限的情况下,相同的单元零件或拼图风格的部分纹理形状,这大大减轻了组合的问题的挑战。在这项工作中,我们介绍了更具挑战性的形状组装问题,其中涉及具有不明显连接的任意形状的无纹理碎片,然后提出了一种基于学习的方法来解决它。我们证明了各种场景下的形状组装任务的有效性,包括具有异常碎片的任务(例如,丢失和失真)、不同的片段数目以及不同的旋转离散化。
2022-06-20 cs.CV cs.LG
Geometric Point Attention Transformer for 3D Shape Reassembly
Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对3D部件重组装中几何关系建模不足的问题,提出GPAT,融合全局与局部几何特征及位姿,并通过几何循环迭代细化,提升绝对位姿估计与对齐精度。
2024-12-01 cs.AI cs.CV cs.LG
A Scalable Combinatorial Solver for Elastic Geometrically Consistent 3D Shape Matching
TU Munich(慕尼黑工业大学);University of Bonn(波恩大学);MPI Informatics(马克斯·普朗克信息学研究所)
我们提出了一个可扩展的组合算法,用于全局优化的空间几何一致的3D形状之间的映射。我们使用Windheuser等人(ICCV 2011)提出的数学上优雅的形式主义,其中3D形状匹配被制定为保持方向的同构空间上的整数线性规划。到目前为止,由于其复杂的约束结构和庞大的规模,所得到的公式具有有限的实际适用性。我们提出了一种新的原始启发式加上拉格朗日对偶问题,是几个数量级的速度比以前的求解器。这使我们能够处理比以前可解的三角形多得多的形状。我们在不同的数据集上展示了令人信服的结果,甚至展示了我们可以解决匹配两个部分形状而没有完整形状的挑战性设置。我们的代码可在http://github.com/paul0noah/sm-comb上公开获取。
2022-04-27 cs.CV cs.GR math.OC
Geometric Shape Features Extraction Using a Steady State Partial Differential Equation System
Kyoto University(京都大学)
本文提出了一种将稳态偏微分方程(PDE)系统作为边值问题来处理的从二值图像数据中提取几何形状特征的统一方法。偏微分方程和函数的制定,以提取厚度,方向,和骨架同时进行。所提出的方法的主要优点是,方向的定义没有衍生物和厚度的计算是不强加的拓扑约束的目标形状。一个一维的解析解提供了验证所提出的方法。此外,二维数值算例证实了所提出的方法的有效性。
2019-04-13 cs.AI cs.CV cs.GR
Learning Fourier shapes to probe the geometric world of deep neural networks
Shaanxi Key Laboratory of Deep Space Exploration Intelligent Information Technology(陕西深空探测智能信息技术重点实验室);School of Information and Communications Engineering(信息与通信工程学院)
本文提出端到端可微框架,用傅里叶级数参数化形状并结合环绕数映射与能量约束,证明优化形状可作为语义载体、可解释性工具和可泛化对抗范式,为探测DNN几何理解开辟新途径。
2025-11-07 cs.AI cs.CV cs.LG