Attention-based Part Assembly for 3D Volumetric Shape Modeling
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫光学、电子与精密工程研究所);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心)
针对3D体积形状的部件装配问题,提出VoxAttention注意力架构及通道级部件注意力变体,以学习部件关系并生成变换,实验表明其优于多数最先进方法。
2023-04-17 cs.CV
Composite Shape Modeling via Latent Space Factorization
Stanford University(斯坦福大学);PSL Research University(巴黎文理研究大学)
我们提出了一种新的神经网络架构,称为分解器,作曲家,语义结构感知的三维形状建模。我们的方法利用基于自动编码器的流水线,并产生一个新的因式分解形状嵌入空间,其中形状集合的语义结构转化为数据相关的子空间因式分解,并且形状组合和分解成为嵌入坐标上的简单线性运算。我们进一步建议使用显式学习的零件变形模块来建模形状装配,该模块利用3D空间Transformer网络来执行网络内体积网格变形,并且允许我们端到端地训练整个系统。由此产生的网络允许我们执行现有方法无法实现的部件级形状操作。我们广泛的消融研究,比较基线方法和定性分析表明,所提出的方法的性能得到改善。
2019-10-30 cs.CV
Modeling 3D Shapes by Reinforcement Learning
The University of Hong Kong(香港大学);Technical University of Munich(慕尼黑工业大学)
我们将探索如何使用深度强化学习(RL)使机器能够像人类建模者一样建模3D形状。在Maya等3D建模软件中,建模者通常通过两个步骤创建网格模型:(1)使用一组图元近似形状;(2)编辑图元的网格以创建详细的几何形状。受这种基于艺术家的建模的启发,我们提出了一个基于RL的两步神经框架来学习3D建模策略。通过在交互式环境中采取行动和收集奖励,代理首先学习将目标形状解析为图元,然后编辑几何形状。为了有效地训练建模代理,我们引入了一种新的训练算法,结合启发式策略,模仿学习和强化学习。实验结果表明,Agent能够学习到良好的策略,生成规则的、结构感知的网格模型,验证了所提出的强化学习框架的可行性和有效性。
2020-09-17 cs.CV
Parametric Shape Modeling and Skeleton Extraction with Radial Basis Functions using Similarity Domains Network
我们演示了使用相似域(SD)的形状建模和骨架提取。最近提出的SD,他们可以利用在神经网络框架,以帮助我们分析形状。在相似域网络(SDNs)中,采用具有不同形状参数的径向基函数对SDs进行建模。在本文中,我们演示了如何使用SDN首先帮助我们根据SD对基于像素的图像进行建模,然后演示如何使用这些学习的SD来提取形状的骨架。
2019-06-01 cs.CV cs.LG
Landmark-free Statistical Shape Modeling via Neural Flow Deformations
Zuse Institute Berlin(柏林祖斯研究所);University of Zurich(苏黎世大学);Technical University of Munich(慕尼黑工业大学);Freie Universität Berlin(柏林自由大学)
统计形状建模的目的是捕获给定群体内发生的解剖结构的形状变化。形状模型被用于许多任务,例如形状重建和图像分割,以及形状生成和分类。现有的形状先验要么需要训练样本之间的密集对应,要么缺乏鲁棒性和拓扑保证。我们提出了FlowSSM,一种新的形状建模方法,学习形状的变化,而不需要密集的训练实例之间的对应关系。它依赖于连续变形流的层次结构,由神经网络参数化。我们的模型在为股骨远端和肝脏提供表现力和鲁棒的形状方面优于最先进的方法。我们发现,新兴的潜在代表性是歧视性的分离健康的病理形状。最后,我们证明了它的有效性,从部分数据的形状重建任务。我们的源代码是公开的(https://github.com/davecasp/flowssm)。
2022-09-14 cs.CV cs.LG
Particle-Based Shape Modeling for Arbitrary Regions-of-Interest
Scientific Computing and Imaging Institute, School of Computing, University of Utah(犹他大学计算学院科学计算与成像研究所)
本文提出一种基于粒子的形状建模扩展方法,利用网格场定义自由形式约束并引入二次惩罚优化,实现对任意感兴趣区域的高效形状建模,在合成及医学数据集上验证了有效性。
2023-12-29 cs.CV
MorphoFlow: Sparse-Supervised Generative Shape Modeling with Adaptive Latent Relevance
Kahlert School of Computing, Scientific Computing
MorphoFlow通过自适应潜在相关性权重,从稀疏表面标注直接学习紧凑的概率形状表示,实现高分辨率重建和解构解剖变异模式。
2026-04-13 cs.CV
A Mesh Is Worth 512 Numbers: Spectral-domain Diffusion Modeling for High-dimension Shape Generation
Leiden University(莱顿大学);BMW Group(宝马集团);Technical University of Munich(慕尼黑工业大学)
本文提出谱域扩散框架SpoDify,利用SVD将复杂网格高效编码为低维隐编码,无需训练自编码器即可实现高质量三维形状生成,在样本和GPU资源受限场景下优势显著。
2025-03-09 cs.CV
PRISM: Probabilistic Representation for Integrated Shape Modeling and Generation
Technical University of Munich(慕尼黑工业大学);Google(谷歌)
PRISM提出一种结合类别扩散模型、统计形状模型与高斯混合模型的三维形状生成方法,以提升部件级几何与语义建模的质量和可控性。
2025-04-06 cs.CV
Benchmarking off-the-shelf statistical shape modeling tools in clinical applications
University of Utah(犹他大学);Sorbonne University(索邦大学);Inria(法国国家信息与自动化研究所);Florida International University(佛罗里达国际大学);Inserm(法国国家健康与医学研究院);CNRS(法国国家科学研究中心)
统计形状建模(SSM)作为新一代的形态测量方法,在生物学和医学领域得到了广泛的应用。体内成像的技术进步导致了开源计算工具的发展,这些工具可以自动化解剖形状及其群体水平变异性的建模。然而,在依赖于形态定量的临床应用中对这些工具的评估和验证方面做的工作很少(例如,植入物设计和损伤筛选)。在这里,我们系统地评估了广泛使用的,最先进的SSM工具,即ShapeWorks,Deformetrica和SPHARM PDM的结果。我们使用定量和定性指标来评估不同工具的形状模型。我们提出了解剖标志/测量推断和病变筛查的验证框架。我们还提出了一种病变筛查方法,以客观地表征微妙的异常形状变化方面的学习人口水平的统计控制。结果表明,SSM工具显示出不同程度的变形,其中,由于估计表面对应性的分组方法,与SPHARM-PDM的模型相比,ShapeWorks和Deformetrica模型更加一致。此外,与SPHARM-PDM模型相比,发现ShapeWorks和Deformetrica形状模型可捕获临床相关的群体水平变异性。
2020-09-07 cs.CV
3DILG: Irregular Latent Grids for 3D Generative Modeling
KAUST(阿卜杜拉国王科技大学);Technical University of Munich(慕尼黑工业大学)
我们提出了一种新的表示编码的3D形状神经领域。该表示被设计为与Transformer架构兼容,并且有利于形状重建和形状生成。神经领域的现有工作是基于网格的表示,在规则网格上定义潜伏期。相比之下,我们在不规则网格上定义潜伏期,使我们的表示具有稀疏性和自适应性。在从点云进行形状重建的背景下,我们建立在不规则网格上的形状表示在重建精度方面改进了基于网格的方法。对于形状生成,我们的表示促进高质量的形状生成使用自回归概率模型。我们展示了不同的应用程序,提高了目前的最新技术水平。首先,我们展示了从一个更高分辨率的图像的概率形状重建的结果。其次,我们训练一个概率模型,条件是非常低的分辨率图像。第三,我们将我们的模型应用于类别条件生成。所有的概率实验证实,我们能够生成详细和高质量的形状,以产生新的最先进的生成式3D形状建模。
2022-10-17 cs.CV
Multi-chart Generative Surface Modeling
Weizmann Institute of Science(魏茨曼科学研究所)
介绍了一种基于深度神经网络的三维形状生成模型。一个新的图像状(即,张量)数据表示的genus-zero三维形状。它基于这样的观察:复杂的形状可以通过多个参数化(图表)很好地表示,每个参数化都集中在形状的不同部分。新的张量数据表示被用作生成对抗网络的输入,用于3D形状生成任务。三维形状张量表示是基于一个多图表结构,享有形状覆盖属性和规模平移刚性。尺度平移刚性有助于高质量的3D形状学习,并确保独特的重建。多图表结构使用3D形状(具有任意连接性)的数据集和它们之间的稀疏对应作为输入。我们的算法的输出是一个生成模型,它学习形状分布,能够生成新的形状,插值形状,并探索生成的形状空间。该方法的有效性被证明的解剖形状生成任务,包括人体和骨骼(牙齿)的形状生成。
2019-03-03 cs.CV
Generative Modeling of Shape-Dependent Self-Contact Human Poses
Codec Avatars Lab, Meta(Meta 形态生成实验室);The University of Tokyo(东京大学);KAIST(韩国科学技术院)
针对自接触姿态与体型关联数据不足的问题,本文构建Goliath-SC数据集,并提出体型条件化的部位级潜在扩散自接触先验,用于提升单视图姿态估计。
2025-09-27 cs.CV
Elastic Shape Analysis of Brain Structures for Predictive Modeling of PTSD
Florida State University(佛罗里达州立大学);Emory University(埃默里大学)
越来越多的证据表明,大脑形态学在预测和分类精神障碍方面的重要性。然而,目前绝大多数的形状方法严重依赖于顶点分析,可能无法成功地捕捉皮层下结构的复杂性。此外,过去的工作不包括这些结构和暴露因素之间的相互作用。具有这种相互作用的预测建模在诸如PTSD的异质性精神障碍中是最重要的,其中创伤暴露与大脑形状变化相互作用以影响行为。我们提出了一个全面的框架,克服了这些限制,表示大脑子结构作为连续的参数化表面和量化的形状差异,使用弹性形状指标。使用弹性形状度量,我们计算形状总结皮层下的数据,并表示其主要分数的个人形状。这些表示允许可视化工具,帮助本地化的变化时,这些PC是不同的。随后,这些PC、辅助暴露变量及其相互作用用于回归建模。我们将我们的方法应用于Grady创伤项目的数据,该项目的目标是使用大脑子结构的形状预测PTSD的临床指标。我们的分析显示,弹性形状分析的预测能力大大高于广泛使用的方法,如顶点形状分析,甚至体积分析。它有助于识别与PTSD严重程度变化相关的大脑形状的局部变形。据我们所知,这是第一种脑形状分析方法之一,可以将预处理步骤无缝集成在一个保护伞下,以提高准确性,并且自然能够解释脑形状与其他协变量之间的相互作用,从而在建模临床结果时产生卓越的预测性能。
2021-05-24 cs.CV stat.AP
Unsupervised Primitive Discovery for Improved 3D Generative Modeling
Inception Institute of Artificial Intelligence(起点人工智能研究院);National University of Defense Technology(国防科技大学);Australian National University(澳大利亚国立大学);Sun Yat-sen University(中山大学);University of Canberra(堪培拉大学);Data61, Commonwealth Scientific and Industrial Research Organization(联邦科学与工业研究组织Data61)
三维形状生成是一个具有挑战性的问题,由于高维的输出空间和复杂的部分配置的现实世界中的对象。因此,现有的算法在3D形状的精确生成建模中遇到困难。在这里,我们提出了一种新的因式分解生成模型的3D形状生成,依次从粗过渡到细尺度的形状生成。为此,我们引入了一个无监督的原始发现算法的基础上高阶条件随机场模型。在第一阶段中,使用形状的基本部分作为属性,对参数化的3D表示进行建模。在下一阶段,通过向形状添加精细比例细节来进一步细化该表示。我们的研究结果表明,改进的表示能力的生成模型和新生成的3D形状更好的质量样本。此外,我们的原语生成方法可以准确地解析到一个简化的表示常见的对象。
2019-06-09 cs.CV
ShapeCraft: LLM Agents for Structured, Textured and Interactive 3D Modeling
Imperial College London(伦敦帝国学院);Hong Kong University of Science and Technology(香港科学与技术大学)
针对文本生成 3D 资产存在网格非结构化、交互性弱的问题,本文提出多智能体框架 ShapeCraft,利用 GPS 图表示与迭代程序化建模绘制,生成可编辑、带纹理的交互式 3D 资产。
2025-10-20 cs.CV
Learning Implicit Fields for Generative Shape Modeling
Simon Fraser University(西蒙弗雷泽大学)
我们提倡使用隐式字段的学习生成模型的形状,并引入一个隐式字段解码器,称为IM-NET,形状生成,旨在提高视觉质量的生成的形状。隐式字段为3D空间中的每个点分配一个值,以便可以将形状提取为等值面。IM-NET被训练成通过二元分类器来执行此分配。具体地说,它获取一个点坐标,以及一个对形状进行编码的特征向量,并输出一个指示该点是否在形状之外的值。通过用我们的隐式解码器替换传统解码器进行表示学习(通过IM-AE)和形状生成(通过IM-GAN),我们展示了生成形状建模,插值和单视图3D重建等任务的优异结果,特别是在视觉质量方面。代码和补充材料可在https://github.com/czq142857/implicit-decoder上获得。
2019-09-16 cs.CV cs.GR cs.LG
Unsupervised Domain Adaptation through Shape Modeling for Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学);Johns Hopkins University(约翰斯·霍普金斯大学);East China Normal University(华东师范大学)
形状信息是医学图像中器官分割的重要先验信息。然而,目前大多数基于深度学习的分割算法没有考虑形状信息,这可能导致偏向纹理。我们的目标是明确的形状建模和使用它来帮助医学图像分割。以前的方法提出了基于变分自编码器(VAE)的模型来学习特定器官的形状分布,并使用它通过将其拟合到学习的形状分布中来自动评估分割预测的质量。在此基础上,我们的目标是将VAE纳入当前的分割管道。具体来说,我们提出了一个新的无监督领域自适应管道的基础上的伪损失和VAE重建损失下的师生学习范式。这两种损失同时得到优化,反过来,提高了分割任务的性能。在三个公共胰腺分割数据集以及两个内部胰腺分割数据集上的广泛实验显示出一致的改进,Dice分数至少增加2.8分,证明了我们的方法在挑战无监督领域自适应场景中的有效性。我们希望这项工作将推进医学成像中的形状分析和几何学习。
2022-07-06 cs.CV
Implicit Neural Representations for Generative Modeling of Living Cell Shapes
Masaryk University(马萨里克大学);University of Twente(特文特大学)
允许合成真实细胞形状的方法可以帮助生成训练数据集,以改善生物医学图像中的细胞跟踪和分割。用于细胞形状合成的深度生成模型需要细胞形状的轻量级和灵活的表示。然而,常用的基于体素的表示不适合高分辨率的形状合成,多边形网格在建模拓扑结构变化(如细胞生长或有丝分裂)时具有局限性。在这项工作中,我们建议使用水平集的符号距离函数(SDF)来表示细胞的形状。我们将神经网络优化为3D+时域中任意点处SDF值的隐式神经表示。该模型的条件是一个潜在的代码,从而允许新的和看不见的形状序列的合成。我们在C语言上定量和定性地验证了我们的方法。生长和分裂的线虫细胞,以及具有生长的复杂丝状伪足突起的肺癌细胞。我们的研究结果表明,合成细胞的形状描述符类似于真实细胞的形状描述符,并且我们的模型能够在3D+时间内生成拓扑上合理的复杂细胞形状序列。
2022-10-06 cs.CV cs.LG
An intelligent approach towards automatic shape modeling and object extraction from satellite images using cellular automata based algorithm
MANIT-Bhopal(曼尼特-博帕尔)
自动特征提取领域在过去的十年中已经见证了许多智能方法的应用,然而这些方法的检测精度受到限制,因为对象的几何形状和上下文知识没有得到足够的考虑。在本文中,我们提出了一个框架工作的准确检测功能,自动插值,并解释建模特征形状以及上下文知识,使用先进的技术,如SVRF,细胞神经网络,核心集,和MACA。已开发的方法进行了比较,与当代方法使用不同的统计措施。对各种卫星图像的调查表明,CNN的做法取得了相当大的成功。CNN在有效地对不同的复杂特征进行建模方面是有效的,并且使用紧身胸衣优化大大降低了该方法的复杂性。该系统使用CNN-Prolog方法动态地使用光谱和空间信息来表示上下文知识。该系统在提供智能插值和解释随机特征方面也被证明是有效的。
2013-03-27 cs.CV
Partitioned Shape Modeling with On-the-Fly Sparse Appearance Learning for Anterior Visual Pathway Segmentation
Children’s National Medical Center(国家儿童医学中心)
由于颅神经(如前视觉通路(AVP))的尺寸较小,沿其路径的结构变化以及邻近的解剖结构,因此在MRI中对颅神经(如AVP)进行MRI定量具有挑战性。病理异常视神经(例如视神经胶质瘤)的分割由于其形状在不可预测的位置处的变化而带来额外的挑战。在这项工作中,我们提出了一个分区的联合统计形状模型的方法与稀疏外观学习的健康和病理AVP的分割。我们的主要贡献是:(2)通过使用(1)中获得的初始分割实时训练模型来适应病理区域以及细微变化的区域的细化模型;(3)分层可变形框架,以将尺度信息并入分区形状和外观模型中。我们的方法,名为PAScAL(分割的形状和外观学习),评价了21个MRI扫描(15个健康+6个胶质瘤病例)从儿科患者(年龄2-17)。实验结果表明,所提出的局部形状和稀疏外观为基础的学习方法显着优于分割方法在病理数据的分析。
2015-08-05 cs.CV
Automatic hippocampal surface generation via 3D U-net and active shape modeling with hybrid particle swarm optimization
Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学)
在本文中,我们提出并验证了一个全自动的海马表面生成管道,通过3D U-网络耦合主动形状建模(ASM)。拟议的管道主要包括三个步骤。首先,对于每个磁共振图像,采用3D U-网来获得每个半球的自动海马分割。然后,对一组预先获得的模板表面进行ASM,通过主成分分析生成平均形状和形状变化参数。最后利用混合粒子群优化算法搜索最佳形状变化参数,使分割结果最佳匹配。然后从平均形状和形状变化参数生成海马表面。观察到所提出的管道在两个半球处提供具有高精度、正确解剖拓扑结构和足够平滑度的海马表面。
2021-09-14 cs.CV cs.LG cs.NE
Neural Deformable Models for 3D Bi-Ventricular Heart Shape Reconstruction and Modeling from 2D Sparse Cardiac Magnetic Resonance Imaging
Rutgers University(罗格斯大学);NVIDIA(英伟达);New York University School of Medicine(纽约大学医学院)
本文提出神经可变形模型(NDM),通过可学习的全局与局部变形从二维稀疏CMR数据重建三维双心室形状,实现点云稠密化、网格生成与形状配准,性能优于传统方法。
2024-11-21 cs.CV
Pix3D: Dataset and Methods for Single-Image 3D Shape Modeling
Massachusetts Institute of Technology(麻省理工学院);Shanghai Jiao Tong University(上海交通大学);Google Research(谷歌研究院)
本文从三个方面研究了基于单幅图像的三维形状建模。首先,我们提出了Pix 3D,一个大规模的基准与像素级的2D-3D对齐的不同的图像形状对。Pix 3D在形状相关的任务中有着广泛的应用,包括重建、检索、视点估计等。然而,构建如此大规模的数据集是非常具有挑战性的;现有的数据集要么只包含合成数据,要么缺乏2D图像和3D形状之间的精确对齐,要么只有少量的图像。其次,我们通过行为研究校准3D形状重建的评估标准,并使用它们来客观和系统地基准Pix 3D上的尖端重建算法。第三,我们设计了一种同时执行3D重建和姿态估计的新型模型;我们的多任务学习方法在这两项任务上都实现了最先进的性能。
2018-04-12 cs.CV cs.LG
Adaptive Particle-Based Shape Modeling for Anatomical Surface Correspondence
Scientific Computing and Imaging Institute, Kahlert School of Computing, University of Utah(科学计算与成像研究所,计算学院,犹他大学)
本文针对粒子形状建模缺乏自适应性的问题,提出邻域对应损失和测地线对应算法,在保持配置一致性的同时提高表面适应性,并在挑战性数据集上验证了有效性和可扩展性。
2025-07-10 cs.CV
Spatiotemporal Cardiac Statistical Shape Modeling: A Data-Driven Approach
Scientific Computing and Imaging Institute(科学计算与成像研究所);University of Utah(犹他大学);School of Computing(计算学院)
随着时间的推移,解剖结构变化的临床研究可以大大受益于人口水平的形状量化,或时空统计形状建模(SSM)。这样的工具使得能够表征与感兴趣的群组相关的患者器官周期或疾病进展。构造形状模型需要建立定量形状表示(例如,对应的地标)。基于粒子的形状建模(PSM)是一种数据驱动的SSM方法,通过优化标志位置来捕获群体水平的形状变化。然而,它假设了横断面研究设计,因此在代表随时间推移的形状变化方面具有有限的统计功效。用于对时空或纵向形状变化进行建模的现有方法需要预定义的形状图集和通常在横截面上构建的预构建的形状模型。本文提出了一种数据驱动的方法的启发PSM方法来学习人口级的时空形状变化直接从形状数据。我们引入了一种新的SSM优化方案,该方案产生的地标在整个人口(受试者间)和整个时间序列(受试者内)都是一致的。我们应用所提出的方法从房颤患者的4D心脏数据,并证明其有效性,在代表左心房的动态变化。此外,我们表明,我们的方法优于基于图像的方法时空SSM相对于生成时间序列模型,线性动态系统(LDS)。LDS拟合使用通过我们的方法优化的时空形状模型提供了更好的泛化和特异性,表明它准确地捕获了潜在的时间依赖性。
2022-09-06 cs.CV cs.LG eess.IV
Template NeRF: Towards Modeling Dense Shape Correspondences from Category-Specific Object Images
City University of Hong Kong(香港城市大学);Xi’an Jiaotong University(西安交通大学)
我们提出了神经辐射场(NeRF)与模板,被称为模板NeRF,用于建模外观和几何形状,并同时生成密集的形状对应的对象之间的同一类别,只有多视图构成的图像,而不需要任何3D监督或地面真理的对应知识。学习的密集对应关系可以很容易地用于各种基于图像的任务,如关键点检测,零件分割和纹理转移,以前需要特定的模型设计。我们的方法也可以适应一个或Few-Shot的方式,只给一个或几个实例的类别的注释转移。使用周期性激活和特征线性调制(FiLM)条件,我们将3D数据上的深层隐式模板引入3D感知图像合成流水线NeRF。通过将同一类别内的对象实例表示为共享NeRF模板的形状和外观变化,我们所提出的方法可以针对各种对象类在图像上实现密集形状对应推理。我们展示了结果和应用程序的合成和现实世界的数据与竞争力的结果相比,其他方法的基础上的三维信息。
2021-11-08 cs.CV
LV-Net: Anatomy-aware lateral ventricle shape modeling with a case study on Alzheimer's disease
School of Computing, KAIST(韩国釜山科学技术院计算机学院)
LV-Net 通过解剖学感知的侧脑室-海马联合模板变形实现个体化三维侧脑室建模,提升重建精度和形状统计可靠性,并成功识别与阿尔茨海默病显著相关的侧脑室子区域。
2025-08-21 cs.CV cs.GR
Shape Defense Against Adversarial Attacks
Quintic AI
人类在很大程度上依赖于形状信息来识别物体。相反,卷积神经网络(CNN)更偏向于纹理。这也许是CNN容易受到对抗性样本影响的主要原因。在这里,我们将探讨如何将形状偏差纳入CNN以提高其鲁棒性。提出了两种算法,根据观察,边缘是不变的,以温和的不可察觉的扰动。在第一种方法中,分类器在图像上进行逆向训练,边缘图作为额外的通道。在推理时,重新计算边缘图并将其连接到图像。在第二种算法中,训练条件GAN以将来自干净和/或扰动图像的边缘图转换为干净图像。在对应于输入的边缘图的生成图像上进行推断。在10个数据集上的实验结果表明,该算法能够有效抵抗FGSM和$\ell_\infty$ PGD-40攻击.此外,我们还证明了a)边缘信息也可以使其他对抗性训练方法受益,b)在边缘增强输入上训练的CNN比仅在RGB图像上训练的CNN更能抵抗自然图像损坏,如运动模糊,脉冲噪声和JPEG压缩。从更广泛的角度来看,我们的研究表明,CNN没有充分考虑到对鲁棒性至关重要的图像结构。代码可在:~\url{https://github.com/aliborji/Shapedefense.git}获得。
2021-12-06 cs.AI cs.CV cs.LG
ATLAS: Decoupling Skeletal and Shape Parameters for Expressive Parametric Human Modeling
Meta;Carnegie Mellon University(卡内基梅隆大学)
ATLAS从60万高分辨率扫描中学习高保真人体模型,通过将网格表示锚定在骨架上解耦形状与骨骼基,从而提升形状表现力、支持细粒度身体属性定制,并实现独立于软组织的关键点拟合,在复杂姿态拟合上优于现有方法。
2025-08-21 cs.CV
Latent Partition Implicit with Surface Codes for 3D Representation
Tsinghua University(清华大学);Wayne State University(韦恩州立大学)
深隐函数在各种三维计算机视觉任务中表现出了卓越的形状建模能力。一个缺点是它们很难将3D形状表示为多个部分。当前的解决方案学习各种基元并直接在空间空间中混合基元,但仍然很难准确地逼近3D形状。为了解决这个问题,我们引入了一种新的隐式表示来表示一个单一的3D形状作为一组部分在潜在的空间,对高度准确和可解释的形状建模。我们的见解是,无论是部分学习和部分混合可以进行更容易地在潜在的空间比在空间空间。我们称之为潜在分区隐式(LPI),因为它的能力铸造的全局形状建模成多个局部零件造型,分割的全局形状的统一。LPI使用表面代码将形状表示为符号距离函数(SDF)。每个表面代码都是一个潜在的代码,代表一个中心在表面上的零件,这使我们能够灵活地利用形状的内在属性或附加的表面属性。最终,LPI可以重建形状和形状上的部分,这两者都是合理的网格。LPI是一种多层次的表示,它可以在训练后将形状划分为不同数量的部分。LPI可以在没有地面实况符号距离、点法线或任何零件分区监督的情况下学习。在重建精度和模型可解释性方面,LPI在广泛使用的基准测试下优于最新方法。我们的代码、数据和模型可在https://github.com/chenchao15/LPI上获得。
2022-07-23 cs.CV
Controllable Shape Modeling with Neural Generalized Cylinder
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Adobe Research(奥多比研究院);Shenzhen University(深圳大学)
针对神经符号距离场形状难以直观编辑的问题,提出神经广义圆柱体方法,通过相对坐标实现显式操控,在多种非刚性变形任务中表现出有效性与高效性,还可实现形状融合。
2024-09-18 cs.CV cs.GR
Sign-Agnostic Implicit Learning of Surface Self-Similarities for Shape Modeling and Reconstruction from Raw Point Clouds
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室);Peng Cheng Lab(鹏城实验室);Southern University of Science and Technology(南方科技大学)
从物体的原始点云进行形状建模和重建是视觉和图形学研究中的一个基本挑战。经典的方法考虑解析形状先验,然而,当扫描点偏离清洁和完整的理想条件时,它们的性能下降。数据驱动的方法最近取得了重要进展,该方法从辅助训练形状集学习隐式表面表示的全局和/或局部模型。基于局部曲面片的自相似形状模式在整个物体表面上重复的普遍现象,我们的目标是推进数据驱动的策略,并提出学习局部隐式曲面网络以实现整个表面的共享、自适应建模,从而从原始点云直接进行表面重建;我们还通过改进各个表面块的优化潜在代码之间的相关性来增强表面自相似性的杠杆作用。考虑到原始点的方向可能不可用或有噪声,我们将符号不可知学习扩展到我们的局部隐式模型中,这使得我们能够从无符号输入中恢复局部表面的有符号隐式场。我们将我们的框架称为表面自相似性的符号不可知内隐学习(SAIL-S3)。通过对局部符号翻转进行全局后优化,SAIL-S3能够直接对原始的、无方向的点云进行建模,并重建高质量的物体表面。实验结果表明,该方法优于现有的方法。
2021-06-08 cs.CV
Statistical Shape Modeling of Biventricular Anatomy with Shared Boundaries
University of Utah(犹他大学)
统计形状建模(SSM)是一个有价值的和强大的工具,以产生一个复杂的解剖结构,使定量分析和形状及其变化的比较详细的表示。SSM应用数学,统计学和计算将形状解析为定量表示(如对应点或地标),这将有助于回答有关人群中解剖变异的各种问题。复杂的解剖结构具有许多不同的部分,它们具有不同的相互作用或复杂的结构。例如,心脏是四腔解剖结构,腔室之间具有若干共享边界。心脏腔室的协调和有效收缩对于充分灌注整个身体的终末器官是必要的。心脏的这些共享边界内的细微形状变化可以指示导致不协调收缩和不良终末器官灌注的潜在病理变化。早期检测和可靠的量化可以提供对理想治疗技术和干预时机的洞察。然而,现有的SSM方法达不到显式建模共享边界的统计数据。本文提出了一种通用的和灵活的数据驱动的方法,用于建立多器官解剖结构的统计形状模型,共享边界,捕获整个人口中的个体解剖结构及其共享边界表面的形态和对齐变化。我们证明了所提出的方法的有效性,使用双心室心脏数据集,通过开发形状模型,一致参数化的心脏双心室结构和室间隔(共享边界面)的人口数据。
2022-09-12 cs.CV eess.IV
3D Menagerie: Modeling the 3D shape and pose of animals
IMATI-CNR(意大利国家研究委员会应用数学与信息技术研究所);University of Maryland(马里兰大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
在学习逼真的、有关节的人体3D模型方面已经做了大量的工作。相比之下,尽管有许多应用,但很少有这样的动物模型。主要的挑战是动物比人类更不合作。最好的人体模型是从数千个特定姿势的人的3D扫描中学习的,这对活体动物来说是不可行的。因此,我们从一小组任意姿势的玩具雕像的3D扫描中学习我们的模型。我们采用了一种新的基于部分的形状模型来计算初始注册的扫描。然后,我们规范化他们的姿势,学习统计形状模型,并一起优化配准和模型。通过这种方式,我们可以准确地对齐来自不同四足动物家族的动物扫描,这些动物具有非常不同的形状和姿势。通过注册到一个公共模板,我们学习了一个表示动物的形状空间,包括狮子,猫,狗,马,牛和河马。动物形状可以从模型中采样,摆姿势,动画,并适合数据。我们通过将其拟合到真实动物的图像(包括在训练中看不到的物种)来演示泛化。
2017-04-12 cs.CV
Global-to-Local Modeling for Video-based 3D Human Pose and Shape Estimation
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
基于视频的3D人体姿态和形状估计通过帧内精度和帧间平滑度进行评估。虽然这两个度量负责不同范围的时间一致性,但是现有技术的方法将它们视为统一的问题并且使用单调的建模结构(例如,RNN或基于注意力的块)来设计他们的网络。然而,使用单一类型的建模结构很难平衡短期和长期时间相关性的学习,并且可能使网络偏向其中之一,导致不期望的预测,如全局位置偏移,时间不一致和局部细节不足。为了解决这些问题,我们建议在端到端的框架,全球到本地Transformer(GLoT)的长期和短期相关性的建模结构解耦。首先,引入全局Transformer,并采用掩蔽姿态和形状估计策略进行长期建模。该策略通过随机掩蔽多个帧的特征,激励全局Transformer学习更多的帧间相关性。其次,本地Transformer负责利用人体网格上的本地细节,并通过利用交叉注意力与全局Transformer进行交互。此外,层次空间相关回归进一步引入细化帧内估计解耦的全局-局部表示和隐式运动约束。我们的GLoT超越了以前最先进的方法,在流行的基准上具有最低的模型参数,即,3DPW、MPI-INF-3DHP和Human3.6M。代码可在https://github.com/sxl142/GLoT上获得。
2023-03-26 cs.CV
Adaptive Modeling Against Adversarial Attacks
School of Computing, University of Singapore(新加坡大学计算学院)
对抗性训练,即用对抗性数据训练深度学习模型的过程,是深度学习模型最成功的对抗性防御方法之一。我们已经发现,如果我们微调这个模型的推理阶段,以适应敌对的输入,与额外的信息,对抗训练模型的白盒攻击的鲁棒性可以进一步提高。我们介绍了一种算法,“后训练”的模型在推理阶段之间的原始输出类和“邻居”类,与现有的训练数据。预训练的Fast-FGSM CIFAR 10分类器基础模型对白盒投影梯度攻击(PGD)的准确率可以从46.8%显著提高到64.5%。
2021-12-23 cs.CV cs.LG
DeepSSM: A Deep Learning Framework for Statistical Shape Modeling from Raw Images
Scientific Computing and Imaging Institute, University of Utah(犹他大学科学计算与成像研究所);School of Computing, University of Utah(犹他大学计算学院);Comprehensive Arrhythmia Research and Management Center, University of Utah(犹他大学综合心律失常研究与管理中心)
统计形状建模是表征解剖形态学变化的重要工具。使用3D成像和随后的配准、分割和形状特征的一些提取或到一些低维形状空间上的投影的流水线来测量感兴趣的典型形状,这有助于随后的统计分析。已经提出了许多用于构建紧凑形状表示的方法,但是由于图像预处理操作的顺序而通常是不切实际的,所述图像预处理操作涉及显著的参数调整、手动描绘和/或用户的质量控制。我们建议DeepSSM:一种直接从3D图像中提取低维形状表示的深度学习方法,几乎不需要参数调整或用户帮助。DeepSSM使用卷积神经网络(CNN),同时定位感兴趣的生物结构,建立对应关系,并将这些点投影到点分布模型中PCA加载形式的低维形状表示上。为了克服训练图像的有限可用性的挑战,我们提出了一种新的数据增强程序,使用现有的对应关系的一个相对较小的一组处理图像的形状统计,以创建合理的训练样本与已知的形状参数。因此,我们将有限的CT/MRI扫描(40-50)转化为训练CNN所需的数千张图像。训练完成后,CNN会自动为看不见的图像生成准确的低维形状表示。我们验证了DeepSSM在三种不同应用中的应用,这些应用涉及建模儿科头颅CT以表征颅缝早闭,股骨CT扫描识别股骨髋臼撞击引起的髋关节形态畸形,以及左心房MRI扫描用于房颤复发预测。
2018-09-28 cs.CV cs.LG
Interactive 3D Modeling with a Generative Adversarial Network
Princeton University(普林斯顿大学)
本文提出了使用生成对抗网络(GAN)的想法,以帮助新手用户在设计现实世界的形状与一个简单的界面。用户使用绘画界面(如Minecraft)编辑体素网格。然而,在任何时候,他/她都可以执行SNAP命令,该命令使用学习的投影算子将当前体素网格投影到潜在形状流形上,然后使用学习的生成器网络生成类似但更真实的形状。然后,用户可以编辑结果形状并再次捕捉,直到他/她对结果满意为止。这种方法的主要优点是,投影和生成运算符帮助新手用户创建对象形状的背景分布特征的3D模型,但不必指定所有细节。核心的新研究思路是使用GAN来支持这种应用。3D GANs以前曾用于形状生成、插值和完成,但从未用于交互式建模。该应用程序的新挑战是学习投影算子,该算子采用任意3D体素模型并在形状流形上产生潜在向量,从该形状流形可以生成相似且逼真的形状。我们为SNAP处理管道的这个和其他步骤开发算法,并将它们集成到一个简单的建模工具中。这些算法和工具的实验表明,GANs为计算机辅助交互建模提供了一种有前途的方法。
2018-01-07 cs.CV cs.GR
On the Evaluation and Validation of Off-the-shelf Statistical Shape Modeling Tools: A Clinical Application
Scientific Computing and Imaging Institute, University of Utah(犹他大学科学计算与成像研究所)
统计形状建模(SSM)已被证明是有用的,在许多领域的生物学和医学作为新一代的形态定量分析的解剖形状的方法。最近,高分辨率体内解剖图像的可用性增加,导致开源计算工具的开发和分布,以前所未有的细节和统计能力来模拟解剖形状及其在人群中的变异性。尽管如此,很少有工作的评价和验证等工具的临床应用,依赖于形态定量治疗计划。为了解决这种缺乏确认的问题,我们在设计房颤(AF)患者左心耳(LAA)封堵器以预防卒中的背景下,系统地评估了广泛使用的现成SSM工具(即,ShapeWorks、SPHARM-PDM和Deformetrica)的结局,其中LAA封堵不完全可能比没有封堵更糟糕。本研究的动机是SSM在闭合器械几何设计中的潜在作用,这可以通过人群水平统计学和患者特定器械选择来了解,这是由解剖测量驱动的,可以通过将患者水平解剖结构与人群水平形态测量学相关联来自动化。因此,了解不同SSM工具对最终分析的影响对于在实际临床场景中仔细选择要部署的工具至关重要。结果表明,与Deformetrica和SPHARM-PDM的模型相比,ShapeWorks模型的估计测量值更一致。此外,与SPHARM-PDM模型相比,ShapeWorks和Deformetrica形状模型捕获了临床相关的群体水平变异性。
2018-10-03 cs.CV
Cardiac Motion Modeling with Parallel Transport and Shape Splines
Inria(法国国家信息与自动化研究所)
在压力或容量超负荷的情况下,探测心脏功能可能是困难的,因为形状和deformations.In这项工作中,我们使用LDDMM框架和并行传输估计和重新定位右心室的变形之间的相互作用。然后,我们提出了一个归一化的变形幅度的程序,和一个二阶样条模型来表示完整的心脏收缩。该方法被应用到3D网格的右心室超声心动图314例患者分为三个疾病类别和对照组的序列提取。我们在模型参数中发现了病理之间的显着差异,揭示了对每种疾病动态的见解。
2021-02-17 cs.CV math.DG
Mending Neural Implicit Modeling for 3D Vehicle Reconstruction in the Wild
Uber ATG;University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院)
从单个视图的稀疏、部分观测重建高质量的3D对象对于计算机视觉、机器人和图形学中的各种应用至关重要。虽然最近的神经隐式建模方法在合成或密集数据上显示出有希望的结果,但它们在稀疏和有噪声的真实世界数据上表现不佳。我们发现,一个流行的神经隐式模型的局限性是由于缺乏强大的形状先验和缺乏适当的正则化。在这项工作中,我们展示了高质量的野外形状重建,使用:(i)深度编码器作为形状潜在代码的鲁棒初始化器;(ii)潜在代码的正则化测试时间优化;(iii)深度编码器作为学习的高维形状先验;(iv)新的课程学习策略,其允许模型学习合成数据上的形状先验,并将它们平滑地转移到稀疏的真实世界数据。我们的方法可以更好地捕捉全局结构,在遮挡和稀疏观测上表现良好,并且与地面真实形状配准良好。我们在两个真实世界的数据集上展示了优于最先进的3D对象重建方法的性能。
2021-11-25 cs.CV
Improved Modeling of 3D Shapes with Multi-view Depth Maps
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一个简单而有效的通用框架,通过利用CNN在2D图像生成方面的最新进展来建模3D形状。仅使用对象的单个深度图像,我们可以输出3D对象的密集多视图深度图表示。我们简单的编码器-解码器框架,包括一个新的身份编码器和类条件视点生成器,生成3D一致的深度图。我们的实验结果证明了我们的方法的双重优势。首先,我们可以直接借用在2D图像域中工作良好的架构到3D。其次,我们可以有效地生成高分辨率的3D形状与低计算内存。我们的定量评估表明,我们的方法是优于现有的深度图方法重建和合成3D对象,并与其他表示,如点云,体素网格和隐式函数的竞争力。
2020-09-07 cs.CV cs.GR cs.LG
S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);University of Southern California(南加州大学);Massachusetts Institute of Techonology(麻省理工学院)
在诸如虚拟现实或机器人仿真测试等各种应用中,构建和动画化人是构建虚拟世界的重要组成部分。由于具有不同形状,姿势和服装的人类呈指数级变化,因此开发可以从真实世界数据自动重建和动画人类的方法至关重要。为了实现这一目标,我们将行人的形状,姿势和蒙皮权重表示为直接从数据中学习的神经隐式函数。这种表示使我们能够处理各种不同的行人形状和姿势,而无需显式拟合人体参数化身体模型,从而使我们能够处理更广泛的人体几何形状和拓扑结构。我们证明了我们的方法在各种数据集上的有效性,并表明我们的重建优于现有的最先进的方法。此外,我们的重新动画实验表明,我们可以从单个RGB图像(和/或可选的LiDAR扫描)作为输入生成3D人体动画。
2021-01-17 cs.CV
Building Statistical Shape Spaces for 3D Human Modeling
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);INRIA Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部);GoalControl GmbH(GoalControl有限责任公司)
从扫描数据库中学习的3D人体形状和姿态的统计模型已经发展成为解决各种视觉和图形问题的有价值的工具。不幸的是,大多数公开可用的模型的表现力有限,因为它们是在非常小的数据库上学习的,几乎不能反映人体形状的真实变化。在本文中,我们通过从最大的商用扫描数据库中重建广泛使用的统计身体表示,并将所得模型提供给社区(访问http://humanshape.mpi-inf.mpg.de)。由于预处理数千次扫描以学习模型本身就是一个挑战,我们通过开发强大的扫描对齐最佳实践解决方案来做出贡献,这些解决方案可以定量地导致最佳学习模型。我们还公开了这些预处理步骤的实现。我们广泛地评估了我们的新模型的精度和通用性的提高,并显示其改进的性能,从稀疏的输入数据的人体重建。
2017-03-03 cs.CV
SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling
Tsinghua University(清华大学);VAST;The Chinese University of Hong Kong(香港中文大学)
SparseFlex提出稀疏等值面表示,实现高分辨率任意拓扑三维网格重建与生成,显著降低内存消耗并提升精度。
2025-03-27 cs.CV
Dynamical And-Or Graph Learning for Object Shape Modeling and Detection
Sun Yat-Sen University(中山大学)
本文研究了一种新的判别式的基于部分的模型来表示和识别对象的形状与或图。我们定义这个模型由三层组成:叶节点与协作边缘本地化的局部零件,或节点指定的开关的叶节点,和根节点编码的全球验证。提出了一种从CCCP [23]扩展的判别学习算法,以动态方式训练模型:模型结构(例如,与OR节点相关联的叶节点的配置)在迭代期间通过优化多层参数而自动确定。我们的方法的优点是双重的。(i)与或图模型使我们能够很好地处理大的类内方差和背景杂波从图像中检测对象的形状。(ii)所提出的学习算法能够获得的与或图表示,而不需要精心的监督和初始化。我们在几个具有挑战性的数据库上验证了所提出的方法(例如,INRIA-Horse、ETHZ-Shape和IUC-People),并且它的性能优于最先进的方法。
2015-02-03 cs.CV
Shape-aware Sampling Matters in the Modeling of Multi-Class Tubular Structures
Institute of Medical Robotics, Shanghai Jiao Tong University, Shanghai, China(上海交通大学医学机器人研究所);Department of Automation, Shanghai Jiao Tong University, Shanghai, China(上海交通大学自动化系)
针对现有深度学习方法侧重体素重叠精度、忽略细粒度管状形状复杂性导致拓扑保持不足的问题,提出形状感知采样方法,通过分形维数自适应分配采样patch尺寸、最小路径代价骨架化优化目标函数,在两个数据集上同时提升了重叠精度与拓扑完整性。
2025-06-14 cs.CV eess.IV
Statistical Hand Shape Modeling from Clinical CT Scans Using Deep Learning and Implicit Skinning
Dept. of Computer Science and Engineering(计算机科学与工程系);Özyeğin University(奥兹耶尼大学);Dept. of Artificial Intelligence and Data Engineering(人工智能与数据工程系);Osteoid Inc.(Osteoid公司)
本文提出了一种AI辅助的重建流程,利用深度学习和隐式皮肤技术对临床CT扫描中的手部解剖结构进行分割和分析,通过统计形状建模提高生物力学、人机工程学和医疗诊断的应用价值。
2026-05-16 cs.CV
Geometry-Guided Modeling of Foundation Features Enables Generalizable Object Shape Deformation Learning
Department of Computer Science and Engineering, The Chinese University of Hong Kong, Hong Kong SAR, China(香港中文大学计算机科学与工程系);Zhejiang Innovation Center for Humanoid Robotics, Ningbo, China(浙江省人形机器人创新中心);State Key Laboratory of Industrial Control and Technology, Zhejiang University, Hangzhou, China(浙江省工业控制技术重点实验室)
提出一种几何引导的特征建模机制和视图自适应特征聚合模块,通过变形类别级形状模板实现单目3D形状恢复,在形状变化和视角多样性上显著优于现有方法。
2026-09-03 cs.CV
Sparse Modeling of Intrinsic Correspondences
Tel Aviv University(特拉维夫大学);Università della Svizzera Italiana(瑞士意大利语区大学);Duke University(杜克大学)
我们提出了一种新的稀疏建模方法,非刚性形状匹配只使用检测可重复区域的能力。作为我们算法的输入,我们只得到两个形状中的两组区域;没有提供描述符,因此不知道区域之间的对应关系,也不知道两个形状中有多少区域对应。我们表明,即使这样的稀缺信息,它是可能的,以建立非常准确的对应关系的形状,通过使用稀疏建模领域的方法,这是第一个非平凡的使用稀疏模型的形状对应。我们制定的置换稀疏编码的问题,在其中,我们同时解决一个未知的置换排序的两个形状和功能表示的一个未知的对应关系的区域。我们还提出了一个强大的变种能够处理不完全匹配。数值上,该问题是有效地解决交替的线性分配和稀疏编码问题的解决方案。所提出的方法进行了定性和定量评价标准基准包含合成和扫描对象。
2012-09-28 cs.CG cs.CV cs.GR
PaNDaS: Learnable Deformation Modeling with Localized Control
Univ. Lille(里尔大学);Centrale Lille(中央里尔高等学院);Ecole Polytechnique(巴黎综合理工学院);Laboratoire Paul Painleve(保罗·潘勒韦实验室);Institut Mines-Télécom(国立高等矿业电信学校联盟);IMT Nord Europe(北欧洲电信与矿业学院)
针对非刚性形状的局部形变难题,提出点级可学习形变框架PaNDaS,无需推理优化即可实现局部控制、姿态混合与形状生成,并在人体表面数据上取得领先重建和插值精度。
2025-03-15 cs.CV
Fully Understanding Generic Objects: Modeling, Segmentation, and Reconstruction
Michigan State University(密歇根州立大学)
从2D图像推断通用对象的3D结构是计算机视觉的长期目标。传统的方法要么完全从CAD生成的合成数据学习,这在从真实图像推断方面有困难,要么经由固有分解生成2.5D深度图像,这与全3D重建相比是有限的。一个根本的挑战在于如何利用大量真实的2D图像,而无需任何3D地面实况。为了解决这个问题,我们采取了另一种方法与半监督学习。也就是说,对于一个2D图像的一个通用的对象,我们分解成潜在的表示类别,形状和轮廓,照明和摄像机投影矩阵,解码的表示分割的3D形状和轮廓分别,并融合这些组件渲染图像很好地逼近输入图像。使用类别自适应的3D联合占有场(JOF),我们表明,完整的形状和仿射建模使我们能够利用真实的2D图像在建模和模型拟合。我们的方法的有效性是通过从一个单一的图像,无论是合成或真实的,和形状分割优越的三维重建证明。
2021-04-02 cs.CV
Non-rigid Structure-from-Motion: Temporally-smooth Procrustean Alignment and Spatially-variant Deformation Modeling
School of Electronics and Information, Northwestern Polytechnical University(西北工业大学电子信息学院)
本文针对非刚性运动恢复结构中的运动模糊和低秩建模过度惩罚剧烈变形问题,提出时间平滑普氏对齐模块和空间加权低秩约束方法,有效提升了3D变形重建效果。
2025-03-04 cs.AI cs.CV