Latent Space Subdivision: Stable and Controllable Time Predictions for Fluid Flow
Technical University of Munich(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了一个端到端的训练神经网络架构,以强大的预测具有高时间稳定性的流体流动的复杂动态。我们专注于单相烟雾模拟在2D和3D不可压缩的Navier-Stokes(NS)方程的基础上,这是相关的广泛的实际问题。为了实现对长期流序列的稳定预测,卷积神经网络(CNN)被训练用于空间压缩,结合由堆叠的长短期记忆(LSTM)层组成的时间预测网络。我们的核心贡献是一种新的潜在空间细分(LSS),将各自的输入量分离到编码的潜在空间域的各个部分。这允许有区别地改变编码量而不干扰剩余的潜在空间值,因此最大化外部控制。通过选择性地对预测的潜在空间点的一部分,我们提出的方法能够鲁棒地预测复杂物理问题的长期序列。此外,我们强调了对潜在空间创建进行循环训练的好处,这是由空间压缩网络执行的。
2020-03-12 cs.GR cs.LG stat.ML
Learning Mesh Representations via Binary Space Partitioning Tree Networks
Simon Fraser University(西蒙弗雷泽大学);Google Brain(谷歌大脑)
多边形网格无处不在,但在深度学习革命中只扮演了相对次要的角色。最先进的3D形状神经生成模型通过昂贵的等值面来学习隐式函数并生成网格。我们克服了这些挑战,采用经典的空间数据结构,从计算机图形学,二进制空间分割(BSP),以促进三维学习。BSP的核心操作是递归细分三维空间以获得凸集。通过利用这一特性,我们设计了BSP-Net,这是一种通过凸分解来学习表示3D形状而无需监督的网络。该网络被训练为使用从在一组平面上构建的BSP树获得的一组凸度来重建形状,其中平面和凸度都由学习的网络权重定义。BSP-Net直接输出多边形网格从推断的凸。生成的网格是防水的、紧凑的(即,低多边形),并且非常适合于表示尖锐的几何形状。我们表明,BSP-Net的重建质量是有竞争力的,从国家的最先进的方法,同时使用更少的原语。我们还探索了BSP-Net的变体,包括使用更通用的解码器进行重建,使用比平面更通用的图元,以及使用变分自动编码器训练生成模型。代码可在https://github.com/czq142857/BSP-NET-original上获得。
2021-07-02 cs.CV cs.GR cs.LG
Mesh Draping: Parametrization-Free Neural Mesh Transfer
Tel Aviv University(特拉维夫大学);ETH Zurich(苏黎世联邦理工学院)
尽管最近在几何建模方面取得了进展,但3D网格建模仍然涉及专家的大量手工劳动。在本文中,我们介绍网格覆盖:一种神经方法,用于将现有的网格结构从一种形状转换为另一种形状。该方法将源网格覆盖在目标几何体上,同时寻求保留源网格的精心设计的特征。在其核心,我们的方法变形的源网格使用渐进的位置编码。我们表明,通过利用逐渐增加的频率来指导神经优化,我们能够实现稳定和高质量的网格传输。我们的方法是简单的,需要很少的用户指导,相比当代的表面映射技术,依赖于参数化或仔细的手动调整。最重要的是,网格覆盖是一种无参数化的方法,因此适用于各种目标形状表示,包括点云,多边形汤和非流形网格。我们证明了转移网格仍然忠实于源网格设计特征,并在同一时间适合目标几何形状。
2021-10-11 cs.CV cs.GR cs.LG
An Improved Structured Mesh Generation Method Based on Physics-informed Neural Networks
National University of Defense Technology(国防科技大学)
网格生成技术是许多需要数值模拟的领域的关键技术。随着数值算法变得更有效,计算机变得更强大,用于网格生成的时间百分比变得更高。本文提出了一种改进的结构化网格生成方法。该方法将网格划分问题公式化为与物理信息神经网络相关的全局优化问题。通过智能求解物理边界约束偏微分方程得到网格。为了提高神经网络的预测精度,我们还引入了一种新的辅助线策略和一个有效的网络模型在网格划分。该策略首先使用先验辅助线来提供地面真实数据,然后使用这些数据来构造损失项以更好地约束后续训练的收敛。实验结果表明,该方法是有效的和鲁棒的。它可以精确地近似从计算域到物理域的映射(变换),并能够快速生成高质量的结构化网格。
2022-10-18 cs.GR cs.LG physics.flu-dyn
TetGAN: A Convolutional Neural Network for Tetrahedral Mesh Generation
University of Chicago(芝加哥大学);Tel Aviv University(特拉维夫大学);Purdue University(普渡大学)
我们提出了TetGAN,一个用于生成四面体网格的卷积神经网络。我们表示使用不规则的四面体网格编码的占用和位移场的形状。我们的公式可以定义四面体卷积,池化和上采样操作,以合成具有可变拓扑属的显式网格连接。所提出的神经网络层在每个四面体上学习深度特征,并学习在多个尺度上提取空间区域内的模式。我们说明了我们的技术编码成一个语义有意义的潜在空间,可用于形状编辑和合成四面体网格的能力。我们的项目页面位于https://threedle.github.io/tetGAN/。
2022-10-11 cs.CV cs.GR cs.LG
Mesh Processing Non-Meshes via Neural Displacement Fields
针对非网格表面表示适配成熟网格处理流水线成本高的问题,提出紧凑神经位移场方法,通过学习粗网格到目标表面的神经映射实现轻量传输,支持流形/Delaunay网格提取及标量场压缩,为交互式几何处理提供新方案。
2025-08-16 cs.GR
Multi-View Mesh Reconstruction with Neural Deferred Shading
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);Queen Mary University of London(伦敦玛丽女王大学);HU Berlin(柏林洪堡大学)
本文提出了一种基于分析合成的方法,用于任意材质和光照条件下不透明物体的快速多视点三维重建。现有技术的方法使用神经表面表示和神经渲染两者。虽然灵活,但神经表面表示是优化运行时的一个重要瓶颈。相反,我们将表面表示为三角形网格,并围绕三角形光栅化和神经着色构建可微分渲染管道。渲染器用于梯度下降优化,其中三角形网格和神经着色器两者被联合优化以再现多视图图像。我们在公共3D重建数据集上评估了我们的方法,并表明它可以匹配传统基线和神经方法的重建精度,同时在优化运行时超过它们。此外,我们研究了着色器,发现它可以学习可解释的外观表示,从而实现3D材质编辑等应用。
2022-12-08 cs.CV cs.GR cs.LG
StructuredField: Unifying Structured Geometry and Radiance Field
提出 StructuredField 表示法,利用结构化四面体网格重新参数化为 3D Gaussian 原语实现高保真可微渲染,结合分层隐式细分和无翻转同胚约束,生成无翻转且共形的高质量网格,重建效果媲美 3DGS 并支持物理仿真等应用。
2025-08-11 cs.GR
SubDGuide: A Modeler-Inspired Agentic Workflow for Mesh-to-SubD Reconstruction
Mercedes-Benz AG(梅赛德斯-奔驰集团);Technical University of Darmstadt(达姆施塔特工业大学)
SubDGuide是受建模者启发的智能体工作流,用于网格到细分曲面重建,分两阶段执行,在多项指标上优于自动重网格化与一次性规划,可支持六个多模态规划器。
2026-10-09 cs.GR
3DMeshNet: A Three-Dimensional Differential Neural Network for Structured Mesh Generation
National University of Defense Technology(国防科技大学)
本文提出3DMeshNet,通过将网格微分方程嵌入无监督神经损失并结合重加权、梯度投影与有限差分,实现高质量三维结构化网格快速生成。
2024-05-07 cs.AI cs.GR
MagicClay: Sculpting Meshes With Generative Neural Fields
针对神经场缺乏增量控制、网格难以神经优化的问题,提出MagicClay混合框架,协同维持网格与SDF表示一致性,支持文本引导的网格区域雕刻与连续编辑,生成效果优于现有技术。
2024-10-09 cs.GR
MeshSuite: A Unified Benchmark for Triangle- and Mesh-Based Neural Rendering
Nanjing University of Science and Technology(南京理工大学);State Key Laboratory of Intelligent Manufacturing of Advanced Construction Machinery(先进工程机械智能制造国家重点实验室);University of Surrey(萨里大学)
MeshSplatBench是基于三角形的神经渲染统一基准,建立标准化评估协议,分层Unity部署协议,审计重建表面拓扑,揭示图形就绪性需多维度整体对齐,源代码将发布。
2026-10-30 cs.CV cs.GR
3D Mesh Segmentation via Multi-branch 1D Convolutional Neural Networks
人们对将深度学习应用于3D网格分割的兴趣越来越大。我们观察到:1)现有的基于特征的技术通常对特征识别很慢或敏感,2)比较研究很少,3)技术通常存在可重复性问题。这项研究在两个方面作出了贡献。首先,我们提出了一种新的卷积神经网络(CNN)的网格分割。它使用1D数据,过滤器和多分支架构来单独训练多尺度特征。再加上一种新的计算共形因子(CF)的方法,我们的技术显然优于现有的工作。其次,我们公开提供了几种深度学习技术的实现,即神经网络(NN),自动编码器(AE)和CNN,其架构至少有两层深。这项研究的意义在于,它提出了一种强大的CF形式,提供了一种新颖而准确的CNN技术,并对几种深度学习技术进行了全面的研究,以进行基线比较。
2018-02-01 cs.GR
MESH2IR: Neural Acoustic Impulse Response Generator for Complex 3D Scenes
University of Maryland(马里兰大学)
我们提出了一个基于网格的神经网络(MESH 2 IR)生成声脉冲响应(IR)的室内三维场景表示使用网格。IR用于在交互式应用和音频处理中创建高质量的声音体验。我们的方法可以处理输入的三角形网格与任意拓扑结构(2K -3 M三角形)。我们提出了一种新的训练技术,训练MESH 2 IR使用能量衰减救济,并强调其好处。我们还表明,在使用我们提出的技术预处理的IR上训练MESH 2 IR显着提高了IR生成的准确性。我们通过使用图卷积网络将3D场景网格转换到潜在空间来减少网格空间中的非线性。我们的MESH 2 IR比CPU上的几何声学算法快200倍以上,并且可以在NVIDIA GeForce RTX 2080 Ti GPU上为给定的室内3D场景生成每秒超过10,000个IR。声学度量用于表征声学环境。我们表明,从我们的MESH 2 IR预测的IR的声学指标与地面实况相匹配,误差小于10%。我们还强调了MESH 2 IR在音频和语音处理应用中的优势,如语音去混响和语音分离。据我们所知,我们是第一个基于神经网络的方法来预测IR从一个给定的三维场景网格实时。
2022-07-11 cs.CV cs.GR cs.LG
A Graph Neural Network Approach for Temporal Mesh Blending and Correspondence
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳加尔分校)
提出自监督图神经网络框架,解决网格不对应时的混合问题,通过Red-Blue MPNN估计对应并条件细化,生成逼真变形。
2023-06-23 cs.CV cs.GR
Joint Optimization of Triangle Mesh, Material, and Light from Neural Fields with Neural Radiance Cache
本文提出结合神经场与神经辐射缓存的逆渲染框架,通过单次弹射可微MC光线追踪联合优化三角网格、PBR材质和HDR光照,避免间接光照被烘焙进材质,实现高质量重建。
2025-06-06 cs.GR
Advances in Neural 3D Mesh Texturing: A Survey
Simon Fraser University(西蒙弗雷泽大学)
本文综述了神经3D网格纹理化的最新进展,涵盖纹理合成、迁移和补全方法,并提出了统一的分类体系。
2026-05-28 cs.CV cs.GR
Text2Mesh: Text-Driven Neural Stylization for Meshes
University of Chicago(芝加哥大学);Tel Aviv University(特拉维夫大学)
在这项工作中,我们开发了直观的控件来编辑3D对象的样式。我们的框架,Text2Mesh,通过预测符合目标文本提示的颜色和局部几何细节来风格化3D网格。我们考虑使用固定的网格输入(内容)与学习的神经网络,我们称之为神经风格的场网络耦合的3D对象的解纠缠表示。为了修改风格,我们获得一个文本提示(描述风格)和一个程式化的网格之间的相似性得分,通过利用CLIP的代表性力量。Text2Mesh既不需要预先训练的生成模型,也不需要专门的3D网格数据集。它可以处理低质量的网格(非流形,边界等)。具有任意亏格,并且不需要UV参数化。我们证明了我们的技术的能力,在各种各样的3D网格合成无数的风格。
2021-12-06 cs.CL cs.CV cs.GR
Neural Clustering for Prefractured Mesh Generation in Real-time Object Destruction
Kyung Hee University(庆熙大学)
本文提出将预破碎网格生成建模为点云无序分割问题,利用基于物理数据集训练的深度神经网络预测物体结构薄弱点,从而在实时破坏中生成高质量且可直接使用的破碎结果。
2025-02-07 cs.CV cs.GR
Mesh Compression with Quantized Neural Displacement Fields
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Ericsson Inc.(爱立信公司)
本文提出一种基于隐式神经表示的3D三角网格压缩方法,通过小型神经网络编码位移场来细化粗糙网格,在4倍至380倍压缩比下实现最先进性能并保留复杂几何纹理。
2025-03-28 cs.CV cs.GR
NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing
Zhejiang University(浙江大学);Google(谷歌)
近年来,神经隐式绘制技术得到了迅速发展,并在新的视图合成和三维场景重建方面显示出巨大的优势。然而,用于编辑目的的现有神经渲染方法提供有限的功能,例如,刚性变换,或不适用于日常生活中一般对象的细粒度编辑。在本文中,我们提出了一种新的基于网格的表示,通过编码的神经隐式字段与解纠缠的几何和纹理代码的网格顶点,这有利于一组编辑功能,包括网格引导的几何编辑,指定的纹理编辑与纹理交换,填充和绘画操作。为此,我们开发了几种技术,包括可学习的符号指示器,以放大基于网格表示的空间可扩展性,蒸馏和微调机制,使一个稳定的收敛,和空间感知的优化策略,以实现精确的纹理编辑。在真实数据和合成数据上的大量实验和编辑实例证明了该方法在表示质量和编辑能力上的优越性。代码可以在项目网页上找到:https://zju3dv.github.io/neumesh/。
2022-07-25 cs.CV cs.GR
A convolutional neural network for teeth margin detection on 3-dimensional dental meshes
Peking University School and Hospital of Stomatology(北京大学口腔医学院·口腔医院);Beihang University(北京航空航天大学);Shanxi Medical University(山西医科大学)
提出了一种用于三维牙网格顶点分类的卷积神经网络,并将其用于牙齿边缘检测。构造一个扩展层,收集相邻顶点特征的统计值,并利用卷积神经网络计算每个顶点的新特征。提出了一种端到端的神经网络,以顶点的坐标、曲率和距离等特征作为输入,输出每个顶点的分类标签。设计了几种不同扩展层参数的网络结构和一个无扩展层的基线网络,并用1156个牙体网格进行训练。在145个牙齿网格上验证了准确度,召回率和精确度,以评价最佳网络结构,最后在另外144个牙齿网格上进行测试。所有具有扩展层的网络都比基线表现得更好,最好的一个在验证数据集和测试数据集上都达到了0.877的准确度。
2021-07-07 cs.AI cs.CV cs.GR
DA Wand: Distortion-Aware Selection using Neural Mesh Parameterization
University of Chicago(芝加哥大学);Adobe Research(奥多比研究院)
我们提出了一种神经技术学习选择一个局部的子区域周围的一个点,可用于网格参数化。我们框架的动机是由用于在表面上进行贴花,纹理或绘画的交互式工作流程驱动的。我们的主要思想是将分割概率作为经典参数化方法的权重,在神经网络框架内实现为一个新的可微参数化层。我们训练一个分割网络来选择3D区域,这些区域被参数化为2D并受到由此产生的失真的惩罚,从而产生失真感知的分割。训练后,用户可以使用我们的系统交互式地选择网格上的一个点,并获得一个大的,有意义的区域周围的选择,诱导低失真参数化。我们的代码和项目页面目前可用。
2023-03-24 cs.CV cs.GR
Human Performance Modeling and Rendering via Neural Animated Mesh
ShanghaiTech University(上海科技大学);NeuDim Digital Technology (Shanghai) Co.,Ltd.(纽迪姆数字科技(上海)有限公司);DGene Digital Technology Co., Ltd.(帝晶数字科技有限公司);KU Leuven(鲁汶大学)
最近,我们看到了用于照片真实人体建模和渲染的神经进步的巨大进步。然而,将它们集成到现有的基于网格的下游应用管道中仍然具有挑战性。在本文中,我们提出了一种全面的神经方法,用于高质量的重建,压缩和渲染密集的多视图视频中的人类表演。我们的核心直觉是将传统的动画网格工作流程与一类新的高效神经技术联系起来。我们首先介绍一个神经表面重建器,用于在几分钟内生成高质量的表面。它将截断有符号距离场(TSDF)的隐式体绘制与多分辨率哈希编码结合在一起。我们进一步提出了一个混合神经跟踪器来生成动画网格,它结合了显式非刚性跟踪与隐式动态变形的自监督框架。前者提供了回到规范空间的粗略扭曲,而后者隐式的使用4D哈希编码进一步预测位移,就像我们的重建器一样。然后,我们讨论了使用所获得的动画网格的渲染方案,从动态纹理到各种带宽设置下的lumigraph渲染。为了在质量和带宽之间取得复杂的平衡,我们提出了一个分层的解决方案,首先渲染6个虚拟视图,覆盖表演者,然后进行遮挡感知神经纹理混合。我们证明了我们的方法在各种基于网格的应用程序和各种平台上的照片般逼真的自由视图体验中的有效性,即,通过移动AR将虚拟人表演插入到真实环境中,或使用VR耳机沉浸式观看才艺表演。
2022-09-18 cs.CV cs.GR
Implicit-ARAP: Efficient Handle-Guided Neural Field Deformation via Local Patch Meshing
University of Milano-Bicocca(米兰比可卡大学);Pegaso University(佩加索大学);Sapienza University of Rome(罗马大学);University of Bonn(波恩大学);Lamarr Institute(拉马尔研究所)
针对神经场在空间约束下难以高质量、鲁棒且高效变形的问题,提出基于局部块网格的句柄引导方法以优化 ARAP 能量,并证明其优于基线。
2025-09-29 cs.CV cs.GR
Mesh Neural Cellular Automata
EPFL(瑞士联邦理工学院);Google Research(谷歌研究)
MeshNCA是一种无需UV映射即可实时生成高质量3D动态纹理的神经元细胞自动机方法,通过多模态监督和用户交互实现了纹理合成的泛化能力。
2024-05-16 cs.AI cs.CV cs.GR
Dense Graph Convolutional Neural Networks on 3D Meshes for 3D Object Segmentation and Classification
Shenzhen University(深圳大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);The University of Nottingham(诺丁汉大学)
本文提出了一种新的设计图卷积神经网络(GCN)的三维网格的三维目标分割和分类。我们使用网格的面作为基本处理单元,并将3D网格表示为每个节点对应于一个面的图形。为了提高图形的描述能力,我们引入了一个1-环面邻域结构,以获得新的多维空间和结构特征来表示图形节点。基于这种新的图表示,我们设计了一个密集连接的图卷积块,将局部和区域特征聚合为关键构造组件,以构建有效和高效的实用GCN模型,用于3D对象分类和分割。我们将展示实验结果,以表明我们的新技术优于现有技术,其中我们的模型具有最少的参数,并且在许多基准数据集上一致地达到最高的准确度。我们还将提出消融研究,以证明我们的设计原则的合理性和我们的实际模型的有效性。
2021-06-30 cs.CV cs.GR