Text2Mesh: Text-Driven Neural Stylization for Meshes
University of Chicago(芝加哥大学);Tel Aviv University(特拉维夫大学)
在这项工作中,我们开发了直观的控件来编辑3D对象的样式。我们的框架,Text2Mesh,通过预测符合目标文本提示的颜色和局部几何细节来风格化3D网格。我们考虑使用固定的网格输入(内容)与学习的神经网络,我们称之为神经风格的场网络耦合的3D对象的解纠缠表示。为了修改风格,我们获得一个文本提示(描述风格)和一个程式化的网格之间的相似性得分,通过利用CLIP的代表性力量。Text2Mesh既不需要预先训练的生成模型,也不需要专门的3D网格数据集。它可以处理低质量的网格(非流形,边界等)。具有任意亏格,并且不需要UV参数化。我们证明了我们的技术的能力,在各种各样的3D网格合成无数的风格。
2021-12-06 cs.CL cs.CV cs.GR
Mesh Draping: Parametrization-Free Neural Mesh Transfer
Tel Aviv University(特拉维夫大学);ETH Zurich(苏黎世联邦理工学院)
尽管最近在几何建模方面取得了进展,但3D网格建模仍然涉及专家的大量手工劳动。在本文中,我们介绍网格覆盖:一种神经方法,用于将现有的网格结构从一种形状转换为另一种形状。该方法将源网格覆盖在目标几何体上,同时寻求保留源网格的精心设计的特征。在其核心,我们的方法变形的源网格使用渐进的位置编码。我们表明,通过利用逐渐增加的频率来指导神经优化,我们能够实现稳定和高质量的网格传输。我们的方法是简单的,需要很少的用户指导,相比当代的表面映射技术,依赖于参数化或仔细的手动调整。最重要的是,网格覆盖是一种无参数化的方法,因此适用于各种目标形状表示,包括点云,多边形汤和非流形网格。我们证明了转移网格仍然忠实于源网格设计特征,并在同一时间适合目标几何形状。
2021-10-11 cs.CV cs.GR cs.LG
Neural Mesh Flow: 3D Manifold Mesh Generation via Diffeomorphic Flows
University of California, San Diego(加州大学圣地亚哥分校)
网格是虚拟世界中三维实体的重要表示形式。渲染、模拟和3D打印等应用需要网格是多种多样的,这样它们就可以像它们所代表的真实对象一样与世界交互。现有方法生成的网格具有很高的几何精度,但流形性较差。在这项工作中,我们提出了神经网格流(NMF)生成两个流形网格亏格0形状。具体来说,NMF是一个形状自动编码器,由几个神经常微分方程(NODE)[1]块组成,通过渐进地变形球形网格来学习精确的网格几何形状。与最先进的方法相比,训练NMF更简单,因为它不需要任何显式的基于网格的正则化。实验结果表明,非负矩阵分解方法可以用于单视图网格重建、全局形状参数化、纹理映射、形状变形和对应等应用。重要的是,我们证明了使用NMF生成的流形网格更适合于基于基于物理的渲染和模拟。代码和数据已发布。
2020-12-02 cs.CV
Neural Parameterization for Dynamic Human Head Editing
The Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室);City University of Hong Kong(香港城市大学)
隐式辐射函数作为一种强大的场景表示方法,用于重建和绘制三维场景的照片级真实感视图。然而,这些表示遭受差的可编辑性。另一方面,多边形网格等显式表示允许轻松编辑,但不适合重建动态人类头部的精确细节,例如精细的面部特征,头发,牙齿和眼睛。在这项工作中,我们提出了神经参数化(NeP),一种混合表示,提供了隐式和显式方法的优点。NeP能够进行照片级真实感渲染,同时允许对场景几何形状和外观进行细粒度编辑。我们首先通过将3D几何参数化到2D纹理空间来解开几何和外观。我们通过引入显式线性变形混合层来启用几何可编辑性。变形由一组稀疏的关键点控制,这些关键点可以显式和直观地位移以编辑几何形状。对于外观,我们开发了一个混合的2D纹理,包括一个显式的纹理图,易于编辑和隐式的视图和时间相关的残差模型的时间和视图的变化。我们将我们的方法与几种重建和编辑基线进行比较。结果表明,NeP实现了几乎相同水平的渲染精度,同时保持高的可编辑性。
2022-10-27 cs.CV cs.GR
Flatten Anything: Unsupervised Neural Surface Parameterization
City University of Hong Kong(香港城市大学);Texas A&M University(德克萨斯农工大学);Nanyang Technological University(南洋理工大学)
本文提出无监督神经模型FAM,通过双向循环映射和可解释子网络学习3D点到自适应UV坐标的映射,实现无需预切割、支持点云和复杂拓扑的自动曲面参数化。
2024-10-26 cs.CG cs.CV
Subdivision-Based Mesh Convolution Networks
Tsinghua University(清华大学);Cardiff University(卡迪夫大学)
卷积神经网络(CNN)在二维计算机视觉中取得了重大突破。然而,它们的不规则结构使得很难直接在网格上利用CNN的潜力。细分曲面提供了一种层次多分辨率结构,其中封闭的2流形三角形网格中的每个面与三个面精确相邻。受这两个观察的启发,本文提出了SubdivNet,这是一个创新的通用CNN框架,用于具有Loop细分序列连接的3D三角形网格。在2D图像中的网格面和像素之间进行类比,使我们能够提出一个网格卷积算子来聚合附近面的局部特征。通过利用人脸邻域,这种卷积可以支持标准的2D卷积网络概念,例如可变内核大小,步幅和膨胀。基于多分辨率层次,我们使用池层,均匀合并成一个四个面和一个上采样方法,分裂成四个面。因此,许多流行的2D CNN架构可以容易地适应于处理3D网格。具有任意连通性的网格可以通过自参数化重新划分为具有Loop细分序列连通性,使SubdivNet成为一种通用方法。广泛的评估和各种应用证明了SubdivNet的有效性和效率。
2021-12-29 cs.CV cs.GR cs.LG
FlexPara: Flexible Neural Surface Parameterization
City University of Hong Kong(香港城市大学);TiMi L1 Studio of Tencent Games(腾讯游戏天美L1工作室);Texas A&M University(德克萨斯A&M大学)
针对传统表面参数化受限于拓扑与配置固定的问题,本文提出无监督神经优化框架FlexPara,通过几何可解释子网络构建双向映射与自适应多图分配,实现灵活可控的全局/多图参数化,实验验证其通用性与优越性。
2025-11-17 cs.CV
ParaPoint: Learning Global Free-Boundary Surface Parameterization of 3D Point Clouds
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学)
本文提出ParaPoint,一种无监督神经学习流程,通过双向循环映射框架实现三维点云的全局自由边界曲面参数化,并设计了有效损失函数与微分几何约束,实验验证了其有效性。
2024-03-15 cs.CV
3D Face Parsing via Surface Parameterization and 2D Semantic Segmentation Network
Southeast University(东南大学);City University of Hong Kong(香港城市大学)
人脸解析是将人脸的语义标记以像素为单位分配给计算机,这是许多先进人脸技术的基础。与二维人脸分析相比,三维人脸分析显示出更大的潜力,以实现更好的性能和进一步的应用,但由于三维网格数据的计算仍然是具有挑战性的。最近的工作介绍了不同的方法用于3D表面分割,但性能仍然有限。本文提出了一种基于“3D-2D-3D”策略的三维人脸分析方法。通过人脸参数化算法将采集到的三维人脸数据转换为包含空间和纹理信息的拓扑圆盘状二维人脸图像,并提出了一种专用的二维网络CPFNet,利用多尺度技术和特征聚合实现二维参数化人脸数据的语义分割。然后将二维语义结果逆映射到三维人脸数据,最终实现三维人脸解析。实验结果表明,CPFNet和“3D-2D-3D”策略都实现了高质量的3D人脸解析,并且在定性和定量比较中优于最先进的2D网络和3D方法。
2022-06-18 cs.CV
A Large-Scale 3D Face Mesh Video Dataset via Neural Re-parameterized Optimization
POSTECH(浦项科技大学);Krafton Inc.(Krafton公司);Yonsei University(延世大学)
针对野外动态视频难生成可靠3D人脸标签的问题,研究提出NeuFace神经重参数化优化方法,构建大规模标注的NeuFace-dataset,可提升3D人脸重建精度并助力人脸运动先验学习。
2023-10-06 cs.AI cs.CV
DANTE-W: Diffuse Albedo Neural Texturing in the Wild
Tsinghua University(清华大学)
提出DANTE-W神经纹理框架,利用神经表示融合生成式先验,通过物理神经渲染恢复高保真漫反射反照率纹理,提升重光照保真度。
2026-07-01 cs.CV cs.GR
NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field
State Key Lab of CAD&CG, College of Computer Science, Zhejiang University(浙江大学计算机科学学院CAD&CG国家重点实验室);Ant Research(蚂蚁研究院);Google(谷歌);ByteDance(字节跳动)
提出一种基于网格顶点的解耦神经辐射场表示,实现几何、纹理和语义引导的高效体积编辑,包括网格引导几何编辑、纹理交换填充绘制及语义编辑。
2026-06-18 cs.CV
Neural Marching Cubes
Simon Fraser University(西蒙菲莎大学)
我们介绍神经Marching立方体(NMC),一个数据驱动的方法,用于从离散隐式场提取三角形网格。经典MC由隔离到各个立方体的粗镶嵌模板定义。虽然已经提出了更精细的镶嵌,但它们在确定每个立方体中的顶点位置和局部网格拓扑时都做出了启发式假设,例如三线性。原则上,这些方法中没有一种可以重建揭示附近立方体之间的相干性或依赖性的几何特征(例如,锐边),因为这样的信息未被考虑,导致对真实的潜在隐式场的差的估计。为了解决这些挑战,我们从深度学习的角度重新铸造MC,通过设计更适合保留几何特征的镶嵌模板,并从训练网格中学习顶点位置和网格拓扑,以考虑来自附近立方体的上下文信息。我们开发了一个紧凑的每立方体参数化来表示输出三角形网格,同时与神经处理兼容,以便可以采用简单的3D卷积网络进行训练。我们表明,所有拓扑情况下,在每个立方体,适用于我们的设计可以很容易地得出使用我们的表示,由此产生的镶嵌也可以自然和有效地获得以下几个设计准则。此外,我们的网络学习具有有限感受野的局部特征,因此它可以很好地推广到新的形状和新的数据集。我们评估我们的神经MC方法的定量和定性比较所有知名的MC变体。特别是,我们展示了我们的网络恢复边缘和角落等尖锐特征的能力,这是MC及其变体的一个长期问题。我们的网络还重建本地网状拓扑结构更准确地比以前的方法。
2021-09-03 cs.CV cs.GR cs.LG
DreamUV: Unwrap Artist-like UV by End-to-End Flow Matching
South China University of Technology(华南理工大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Lightspeed(光速)
提出DreamUV,将UV展开建模为生成式流匹配问题,通过学习网格条件传输过程生成艺术家风格的UV布局,并引入边界感知训练和模型在环微调策略,在专业数据集上生成更直边界和更紧轴对齐岛屿。
2026-06-23 cs.AI cs.CV