PyFRep: Shape Modeling with Differentiable Function Representation
提出基于函数表示的可微几何建模框架,利用自动微分计算空间或形状参数导数,应用于曲率估计、符号距离函数计算及参数拟合,并开源发布。
2025-04-19 cs.GR
Divergence-Free Shape Interpolation and Correspondence
我们提出了一种新的方法来建模和计算嵌入在$\mathbb{R}^D$中的形状之间的变形场。我们的框架结合了自然插值的两个输入形状和计算对应的同时。其关键思想是使用Karhunen-Loève展开来计算在由粗到细的基础上表示的无发散变形场。其优点是不需要离散嵌入空间,变形是体积保持的。此外,优化是在形状的下采样版本上完成的,但变形可以应用于任何分辨率,而不会严重增加复杂性。我们展示了TOSCA和FAUST数据集的形状对应、配准、内插和外推结果。
2018-10-16 cs.CV cs.GR
DR-KFS: A Differentiable Visual Similarity Metric for 3D Shape Reconstruction
Simon Fraser University(西蒙弗雷泽大学);Beihang University(北京航空航天大学)
为了提高三维重建的质量,我们引入了一种差分视觉相似性度量来训练深度神经网络。该度量通过测量从形状可区分地渲染的多视图图像之间的距离来比较两个3D形状。重要的是,图像空间距离也是可微的,并测量视觉相似性,而不是像素级失真。具体而言,相似性由从比较图像的概率关键点图计算的HardNet特征的均方误差定义。我们的差分视觉形状相似性度量可以很容易地插入到各种3D重建网络中,取代它们基于失真的损失,例如倒角或地球移动器距离,从而优化网络权重,以产生具有更好结构保真度和视觉质量的重建。我们证明了这两个客观的,使用著名的形状指标的检索和分类任务,是独立于我们的新指标,并通过主观的感知研究。
2020-03-31 cs.CV cs.GR
Differentiable Topology Estimating from Curvatures for 3D Shapes
Imperial College London(帝国理工学院)
针对数据驱动3D形状分析与生成中从局部表示估计全局拓扑特征的挑战,提出一种可微分算法,通过计算Weingarten映射、提取曲率并积分估计拓扑不变量,实现高精度、高效计算,可无缝集成到深度学习框架。
2024-11-28 cs.CV cs.GR
SDFDiff: Differentiable Rendering of Signed Distance Fields for 3D Shape Optimization
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了SDFDiff,一种新的基于图像的形状优化方法,使用可微渲染的3D形状表示的有符号的距离函数(SDF)。与其他表示方法相比,SDF的优势在于它们可以表示具有任意拓扑结构的形状,并且它们保证了表面的防水性。我们将我们的方法应用到多视图三维重建的问题,在那里我们实现了高重建质量,并可以捕捉复杂的拓扑结构的三维物体。此外,我们采用多分辨率策略,以获得一个强大的优化算法。我们进一步证明了我们基于SDF的可微分渲染器可以与深度学习模型集成,这为在没有3D监督的情况下学习3D对象的方法提供了选择。特别是,我们将我们的方法应用于单视图三维重建,并取得了最先进的结果。
2022-02-22 cs.CV cs.GR cs.LG
Differentiable Convex Polyhedra Optimization from Multi-view Images
College of Computing & Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Monash University(莫纳什大学);Sensetime Research(商汤科技研究院)
本文提出一种结合对偶变换与三平面交点的可微凸多面体优化方法,无需隐式场即可实现高效形状表示与重建。
2024-07-22 cs.CV cs.GR
DMesh++: An Efficient Differentiable Mesh for Complex Shapes
University of Maryland(马里兰大学);Adobe Research(Adobe研究)
DMesh++提出一种高效可微网格处理方法,将复杂度从O(N)降至O(log N)并显著降低内存占用,可从点云或多视图图像重建复杂二维和三维形状。
2025-07-06 cs.CV cs.GR cs.LG
DiffSDFSim: Differentiable Rigid-Body Dynamics With Implicit Shapes
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
可微物理是计算机视觉和机器人技术中用于场景理解和交互推理的强大工具。现有的方法经常局限于具有简单形状或预先已知形状的对象。在本文中,我们提出了一种新的方法来表示物体形状隐式使用符号距离场(SDF)的摩擦接触可微物理。我们的模拟支持接触点计算,即使涉及的形状是非凸的。此外,我们提出了区分对象形状的动态,以促进形状优化使用基于梯度的方法的方法。在我们的实验中,我们证明了我们的方法允许基于模型的推断的物理参数,如摩擦系数,质量,力或形状参数的轨迹和深度图像观察在几个具有挑战性的合成场景和一个真实的图像序列。
2022-01-10 cs.CV cs.GR cs.LG
Neurally Integrated Finite Elements for Differentiable Elasticity on Evolving Domains
NVIDIA(英伟达)
本文提出用小型神经网络拟合积分点并结合混合有限元,构建对形状和材料可微的隐式弹性模拟器,支持三维重建中的前向模拟、编辑模拟及物理驱动的形状与拓扑优化。
2025-04-08 cs.CV cs.GR
Shape As Points: A Differentiable Poisson Solver
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);UC Berkeley(加州大学伯克利分校);University of Tübingen(图宾根大学);Microsoft(微软)
近年来,神经内隐表征由于其表达能力和灵活性在三维重建中得到了广泛的应用。然而,神经内隐表征的内隐性质导致推理时间缓慢,并且需要仔细初始化。在本文中,我们重新审视了经典的但无处不在的点云表示,并引入了一个可微的点到网格层,使用可微的泊松表面重建(PSR),允许一个GPU加速的快速解决方案的指示函数给定的定向点云。可微分PSR层使我们能够通过隐式指示器字段有效且可微分地桥接显式3D点表示与3D网格,从而实现表面重建指标(如倒角距离)的端到端优化。因此,点和网格之间的这种对偶性允许我们将形状表示为定向的点云,这些点云是明确的、轻量级的和富有表现力的。与神经隐式表示相比,我们的Shape-As-Points(SAP)模型更具可解释性,轻量级,并将推理时间加快了一个数量级。与其他显式表示,如点,补丁和网格相比,SAP产生拓扑不可知的,水密的流形表面。我们展示了SAP在无方向点云曲面重建和基于学习的重建任务中的有效性。
2021-11-08 cs.CV cs.GR
DiffAqua: A Differentiable Computational Design Pipeline for Soft Underwater Swimmers with Shape Interpolation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);ETH Zurich(苏黎世联邦理工学院)
由于软体运动员的自由度很高,因此软体运动员的计算设计具有挑战性。在本文中,我们提出了一个可微管道共同设计一个软游泳的几何形状和控制器。我们的管道解锁了基于梯度的算法,比传统的无梯度解决方案更有效地发现新颖的游泳者设计。我们提出Wasserstein重心作为软水下游泳者的几何设计的基础,因为它是可区分的,可以自然地通过最佳运输生物启发的基础形状之间的插值。通过将此设计空间与可微仿真和控制相结合,我们可以有效地优化柔软的水下游泳者的性能,比基线方法具有更少的仿真。我们证明了我们的方法在各种设计问题上的有效性,如快速,稳定和节能游泳,并证明了多目标设计的适用性。
2021-05-05 cs.GR cs.LG cs.RO
Shape From Tracing: Towards Reconstructing 3D Object Geometry and SVBRDF Material from Images via Differentiable Path Tracing
Brown University(布朗大学);Stanford University(斯坦福大学)
从多个视图重建对象几何体和材质通常需要优化。可微分路径追踪是一个有吸引力的框架,因为它可以重现复杂的外观效果。然而,由于计算成本高,它很难使用。在本文中,我们将探讨如何使用可微光线追踪来细化初始粗网格和每个网格面的材料表示。在模拟中,我们发现,它是可能的,以重建精细的几何和材料细节,从低分辨率的输入视图,允许高质量的重建在几个小时内,尽管路径追踪的费用。重建成功地消除了材质属性中的着色、阴影和全局光照效果(如漫反射)的歧义。我们展示了不同几何初始化的影响,包括空间雕刻,多视图立体视觉,和3D神经网络。最后,与输入捕捉使用智能手机视频和消费者360?摄像机的照明估计,我们还展示了如何完善初始重建的现实世界中的对象在不受约束的环境。
2020-12-06 cs.CV cs.GR
UltraDiff: Differentiable Ray Tracing in Ultrasound for Shape Optimization
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
UltraDiff将可微渲染扩展到超声,通过路径空间积分与蒙特卡洛估计实现梯度优化,在无监督B-mode图像上恢复椎体表面,达到竞争性几何精度。
2026-10-07 cs.CV cs.GR
ShaDDR: Interactive Example-Based Geometry and Texture Generation via 3D Shape Detailization and Differentiable Rendering
Simon Fraser University(西蒙菲莎大学);Amazon(亚马逊公司)
提出ShaDDR,一种基于示例的深度生成网络,通过多分辨率体素上采样和可微渲染对粗糙体素进行几何细节化与条件纹理生成,实现快速交互式高分辨率3D形状建模。
2023-11-22 cs.CV cs.GR cs.LG