Dynamic Surface Function Networks for Clothed Human Bodies
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems, Tübingen（蒂宾根马克斯·普朗克智能系统研究所）
我们提出了一种新的方法，时间相干重建和跟踪的衣服的人。给定一个单目RGB-D序列，我们学习一个基于动态表面函数网络的特定于人的身体模型。为此，我们明确地使用多层感知器（MLP），它被嵌入到SMPL身体模型的规范空间的人的表面建模。通过经典的前向渲染，可以使用模板网格的拓扑来光栅化所表示的表面。对于模板网格的每个表面点，评估MLP以预测实际表面位置。为了处理姿势相关的变形，MLP以SMPL姿势参数为条件。我们表明，这种表面表示以及姿态参数可以学习的自我监督的方式使用的原则，分析合成和可微光栅化。结果，我们能够从输入数据重建时间相干的网格序列。底层表面表示可以用于合成重建的人的新动画，包括姿势相关的变形。
2021-08-12 cs.CV cs.GR
Deep Deformation Detail Synthesis for Thin Shell Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
在基于物理的布料动画中，丰富的褶皱和详细的褶皱是以昂贵的计算资源和巨大的劳动调整为代价的。数据驱动技术致力于通过数据库显著减少计算。一种类型的方法依赖于人的姿势来合成不能应用于普通布料的合身服装。另一种类型的方法在没有这种限制的情况下向粗网格添加细节。然而，现有的工作通常使用基于坐标的表示，不能应付大规模的变形，并要求密集的粗和细网格之间的顶点对应。此外，由于这些方法仅添加细节，因此它们需要粗网格接近细网格，这可能是不可能的，或者在生成细网格时需要不切实际的约束。为了解决这些挑战，我们开发了一个时间和空间上尽可能一致的变形表示（称为TS-ACAP）和DeformTransformer网络来学习从低分辨率网格到详细网格的映射。此TS-ACAP表示旨在确保布料动画连续大规模变形的空间和时间一致性。通过这种表示，我们的DeformTransformer网络首先使用两个基于网格的编码器来分别提取粗特征和细特征。为了将粗略特征转换为精细特征，我们利用由帧级注意力机制组成的Transformer网络来确保预测的时间一致性。实验结果表明，该方法能够在高帧速率下，在不同的数据集上生成可靠的真实感动画，比基于物理的模拟快10 ~ 35倍，并且具有比现有方法更好的细节合成能力.
2021-02-23 cs.CV cs.GR
Temporally Coherent Full 3D Mesh Human Pose Recovery from Monocular Video
最近，深度学习的进步使得从单个图像中恢复人体姿势的完整3D网格成为可能。然而，这一概念的扩展到视频恢复时间上连贯的姿态仍然是未开发的。这方面的一个主要挑战是缺乏适当注释的视频数据来学习所需的深度模型。现有的人体姿势数据集只提供2D或3D骨骼关节注释，而数据集也记录在受约束的环境中。我们首先贡献了一种技术来合成具有丰富的3D注释的单眼动作视频，这些注释适合于学习用于全网格3D人体姿势恢复的计算模型。与现有的方法相比，简单地“纹理映射”的衣服到三维人体姿势模型，我们的方法结合了基于物理的逼真的衣服变形与人体运动。生成的视频涵盖了各种各样的人类动作，姿势和视觉外观，而注释记录准确的人体姿势动态和人体表面信息。我们的第二个主要贡献是一个端到端的可训练递归神经网络，用于从单目视频中恢复完整的姿态网格。使用提出的视频数据和基于LSTM的递归结构，我们的网络显式地学习对视频中的时间相干性进行建模，并在恢复的网格上施加几何一致性。我们建立了所提出的模型的有效性与定量和定性分析使用建议和基准数据集。
2019-07-01 cs.CV cs.GR
TailorNet: Predicting Clothing in 3D as a Function of Human Pose, Shape and Garment Style
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
在本文中，我们提出了TailorNet，这是一种神经模型，它预测3D服装变形作为三个因素的函数：姿势，形状和风格（服装几何形状），同时保留皱纹细节。这超越了先前的模型，先前的模型要么特定于一种风格和形状，要么概括为不同的形状，产生平滑的结果，尽管是特定于风格的。我们的假设是，（即使是非线性的）例子组合平滑了高频成分，如细皱纹，这使得学习这三个因素共同困难。我们技术的核心是将变形分解为高频和低频分量。虽然低频分量是用MLP从姿势、形状和样式参数预测的，但高频分量是用形状样式特定姿势模型的混合预测的。混合物的权重使用窄带宽内核计算，以保证仅组合具有相似高频模式的预测。通过在规范姿势中计算变形的子空间来获得风格变化，该子空间满足物理约束，例如相互渗透和覆盖在身体上。TailorNet提供的3D服装保留了从基于物理的模拟（PBS）中学习到的皱纹，同时运行速度提高了1000倍以上。与PBS相比，TailorNet易于使用且完全可区分，这对于计算机视觉算法至关重要。几个实验表明，TailorNet比以前的工作产生更逼真的结果，甚至在AMASS数据集的序列上生成时间相干变形，尽管是在不同数据集的静态姿势上训练的。为了刺激在这个方向上的进一步研究，我们将制作一个由55800帧组成的数据集，以及我们的模型在https://virtualhumans.mpi-inf.mpg.de/tailornet上…
2020-03-15 cs.CV cs.GR
Adaptive Mesh Approach for Predicting Algorithm Behavior with Application to Visibility Culling in Computer Graphics
我们提出了一个简洁的近似描述，并有效地获得这种描述的方法，通过自适应随机抽样的性能（运行时间，内存消耗，或任何其他profileable数值量）的给定算法的一些低维矩形网格的输入。形式上的正确性证明在合理的假设下考虑的算法，和该方法的实际效益证明通过预测观察员的位置和观看方向的遮挡剔除算法产生净性能的好处或损失相比，一个简单的蛮力渲染器。
2009-03-12 cs.GR cs.PF
Predicting Loose-Fitting Garment Deformations Using Bone-Driven Motion Networks
Zhejiang University（浙江大学）；Tencent（腾讯）
我们提出了一种学习算法，它使用骨骼驱动的运动网络来预测交互速率下的宽松服装网格的变形。给定一件衣服，我们生成一个模拟数据库，并使用皮肤分解从模拟网格序列中提取虚拟骨骼。在运行时，我们以顺序的方式分别计算低频和高频变形。通过将人体运动转化为虚拟骨骼的运动来预测低频变形，并利用虚拟骨骼运动的全局信息和低频网格中提取的局部信息来估计高频变形。此外，我们的方法可以估计由模拟参数的变化引起的服装变形（例如，织物的弯曲刚度），使用RBF核集成训练的网络，用于不同的模拟参数集。通过广泛的比较，我们表明，我们的方法优于国家的最先进的方法在预测精度方面的网格变形约20%的RMSE和10%的Hausdorff距离和STED。代码和数据可在https://github.com/non-void/VirtualBones上获得。
2022-05-28 cs.CV cs.GR cs.LG
NeuralClothSim: Neural Deformation Fields Meet the Thin Shell Theory
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出NeuralClothSim，一种基于薄壳理论和神经形变场的准静态布料模拟器，实现连续、内存高效且分辨率无关的模拟，支持硬边界条件、材料插值和模拟编辑。
2024-11-07 cs.GR cs.LG
Intrinsic and Triangulation-Agnostic Attention: A Simple and Powerful Approach for Learning on Meshes
Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Kiel University（基尔大学）
该研究为三角形网格学习提出内在与三角剖分无关的注意力机制，通过基于几何处理原理修改注意力机制，用内在网络创建相关量并经有限元离散化设计运行机制，实验表明该方法在多个任务上超当前最优水平。
2026-07-29 cs.CV cs.GR
Active Learning of Neural Collision Handler for Complex 3D Mesh Deformations
University of Maryland at College Park（马里兰大学帕克分校）；Tencent America（腾讯美国）；Facebook Reality Labs Research（Facebook现实实验室研究部）
提出了一种鲁棒的学习算法来检测和处理三维变形网格中的碰撞。我们的碰撞检测器表示为一个双层深自动编码器与注意力机制，确定碰撞网格子部分。我们使用数值优化算法来解决网络引导的渗透。我们学习的碰撞处理程序可以解决具有数千个顶点的不可见高维网格的碰撞。为了在如此大且不可见的空间中获得稳定的网络性能，我们根据网络推断中的错误逐步插入新的冲突数据。我们使用分析碰撞检测器自动标记这些数据，并逐步微调我们的检测网络。我们评估我们的方法来碰撞处理复杂的，3D网格来自几个数据集具有不同的形状和拓扑结构，包括数据集对应的穿着和脱衣服的人的姿势，布料模拟，和人手使用多视图捕获系统获得的姿势。我们的方法优于监督学习方法，并实现了$93.8-98.1\%$的准确性相比，地面实况分析方法。与现有的学习方法相比，我们的方法在碰撞检查方面导致$5.16\%-25.50\%$较低的假阴性率，在碰撞处理方面导致$9.65\%-58.91\%$较高的成功率。
2021-10-08 cs.CV cs.GR
Thin-Shell-SfT: Fine-Grained Monocular Non-rigid 3D Surface Tracking with Neural Deformation Fields
MPI for Informatics（马克斯·普朗克信息学研究所）；VIA Research Center（VIA研究中心）；IIT Jodhpur（焦特布尔印度理工学院）
针对单目视频中可变形表面重建缺乏细粒度细节的问题，提出Thin-Shell-SfT方法，采用连续时空神经场与薄壳物理先验，结合三维高斯泼溅可微渲染，实现高精度非刚性三维跟踪。
2025-03-25 cs.CV cs.GR cs.LG
PolyGen: An Autoregressive Generative Model of 3D Meshes
DeepMind（深度思维）
多边形网格是三维几何的有效表示，在计算机图形学、机器人技术和游戏开发中具有核心重要性。现有的基于学习的方法避免了使用3D网格的挑战，而是使用与神经架构和训练方法更兼容的替代对象表示。我们提出了一种方法，模型的网格直接，预测网格顶点和面顺序使用基于变换器的架构。我们的模型可以对一系列输入进行调节，包括对象类、体素和图像，并且由于模型是概率性的，因此它可以生成在模糊场景中捕获不确定性的样本。我们证明该模型能够生成高质量、可用的网格，并为网格建模任务建立对数似然基准。我们还评估了表面重建指标与替代方法的条件模型，并证明了竞争力的表现，尽管没有直接在这项任务上进行训练。
2020-02-23 cs.CV cs.GR cs.LG
AutoPoly: Predicting a Polygonal Mesh Construction Sequence from a Silhouette Image
The University of Tokyo（东京大学）；Tencent America（腾讯美国）；Carleton University（卡尔顿大学）
多边形建模是计算机图形学内容创建的核心任务。建模的复杂性，在操作的数量和顺序以及执行它们所需的时间方面，使得学习和执行具有挑战性。我们的目标是自动获得一个给定目标的多边形建模序列。然后，人们可以通过观察结果序列来学习多边形建模，并通过从自动生成的结果开始来加快建模过程。作为一个起点，在未来建立一个系统的3D建模，我们解决了2D形状建模问题，并提出AutoPoly，一种混合方法，从剪影图像生成多边形网格构造序列。我们的方法的核心思想是使用蒙特卡罗树搜索（MCTS）算法和可微渲染分别预测顺序的拓扑动作和几何动作。我们的混合方法可以改变拓扑结构，而最近提出的逆形状估计方法，使用微分渲染只能处理一个固定的拓扑结构。我们新颖的奖励函数鼓励MCTS选择拓扑动作，导致一个更简单的形状没有自相交。我们进一步设计了两种基于深度学习的方法来改进MCTS搜索过程中的扩展和模拟步骤：一种是$n$步“未来动作预测”网络（nFAP-Net），用于生成潜在拓扑动作的候选者;另一种是形状扭曲网络（WarpNet），用于在给定预测的渲染图像和拓扑动作的情况下预测多边形形状。我们证明了我们的方法对多个人造物体类别的2D多边形形状的效率。
2022-03-29 cs.CG cs.CV cs.GR
Fully Convolutional Graph Neural Networks for Parametric Virtual Try-On
Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）；SEDDI Labs（SEDDI实验室）
我们提出了一种基于学习的方法，虚拟试穿应用程序的基础上，一个完全卷积的图神经网络。与针对特定服装或网格拓扑进行训练的现有数据驱动模型相比，我们的完全卷积模型可以处理大量服装，这些服装表示为具有任意网格拓扑的参数预定义2D面板，包括长裙，衬衫和紧身上衣。在引擎盖下，我们新颖的几何深度学习方法通过解耦三个不同的变形源来学习悬垂3D服装，这些变形源决定了服装的合身程度：服装类型、目标体型和材料。具体来说，我们首先学习一个回归预测的3D悬垂的输入参数服装时，穿着的平均体型。然后，在网格拓扑优化步骤之后，我们为输入服装类型生成足够的细节级别，我们进一步变形网格以再现由目标体型引起的变形。最后，我们预测精细尺度的细节，如主要取决于服装材料的皱纹。我们定性和定量地证明，我们的完全卷积方法在泛化能力和内存要求方面优于现有方法，因此它为虚拟试穿应用程序打开了更通用的基于学习的模型的大门。
2020-09-09 cs.CV cs.GR
Text2Mesh: Text-Driven Neural Stylization for Meshes
University of Chicago（芝加哥大学）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们开发了直观的控件来编辑3D对象的样式。我们的框架，Text2Mesh，通过预测符合目标文本提示的颜色和局部几何细节来风格化3D网格。我们考虑使用固定的网格输入（内容）与学习的神经网络，我们称之为神经风格的场网络耦合的3D对象的解纠缠表示。为了修改风格，我们获得一个文本提示（描述风格）和一个程式化的网格之间的相似性得分，通过利用CLIP的代表性力量。Text2Mesh既不需要预先训练的生成模型，也不需要专门的3D网格数据集。它可以处理低质量的网格（非流形，边界等）。具有任意亏格，并且不需要UV参数化。我们证明了我们的技术的能力，在各种各样的3D网格合成无数的风格。
2021-12-06 cs.CL cs.CV cs.GR
