Primal-Dual Mesh Convolutional Neural Networks
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);MIT(麻省理工学院)
几何深度学习领域的最新研究已经引入了神经网络,它允许通过定义三角形网格上的卷积(有时是池化)操作来对三维几何数据执行推理任务。然而,这些方法要么将输入网格视为图形,并且不利用网格的特定几何属性进行特征聚合和下采样,要么专门用于网格,但依赖于卷积的严格定义,其不能正确捕获网格的局部拓扑。我们提出了一种方法,结合了这两种类型的方法的优点,同时解决他们的局限性:我们扩展了从图神经网络文献绘制的原始对偶框架三角形网格,并定义卷积的两种类型的图从输入网格。我们的方法将3D网格的边和面的特征作为输入,并使用注意力机制动态地聚合它们。同时,我们引入了一个池化操作与精确的几何解释,允许处理的网格连接的变化,通过聚类网格面在一个任务驱动的方式。我们提供的理论见解,我们的方法使用的工具,从网格简化文献。此外,我们通过实验验证了我们的方法在形状分类和形状分割的任务,在那里我们获得了与最新技术水平相当或更高的性能。
2020-10-23 cs.CG cs.CV cs.LG
InfoGNN: End-to-end deep learning on mesh via graph neural networks
Zhejiang Sci-Tech University(浙江理工大学);NingboTech University(宁波工程学院);ShanDong University(山东大学)
本文提出端到端框架InfoGNN,将网格模型视为图以处理不规则数据,并设计InfoConv和InfoMP模块充分利用点位置及面法线等特征,在网格分类与分割任务中表现优异。
2025-03-04 cs.CV cs.LG
GATMesh: Clock Mesh Timing Analysis using Graph Neural Networks
Computer Science and Engineering University of California(计算机科学与工程大学加州大学)
针对时钟网格分析难题,提出基于图神经网络的GATMesh框架,建模网格图并训练于SPICE数据,实现高精度(平均延迟误差5.27ps)和47146倍加速。
2025-07-08 cs.AI cs.AR cs.LG
MQENet: A Mesh Quality Evaluation Neural Network Based on Dynamic Graph Attention
Beijing Technology and Business University(北京工商大学)
针对现有网格质量评估方法不全面客观的问题,提出基于动态图注意力的神经网络MQENet,将网格评估视为图分类,并引入两种预处理算法提升信息性和转换效率,在NACA-Market基准上验证了有效性。
2023-09-03 cs.CE cs.LG cs.NA
Mesh motion in fluid-structure interaction with deep operator networks
Simula Research Laboratory(西穆拉研究所)
针对流固耦合中的网格运动问题,提出基于深度算子网络的网格运动模型,经基准问题及双调和模型失效场景测试,其性能与双调和网格运动模型相当。
2024-02-01 cs.LG cs.NA math.NA
N-Cloth: Predicting 3D Cloth Deformation with Mesh-Based Networks
Zhejiang University(浙江大学);Tencent(腾讯);University of Maryland at College Park(马里兰大学帕克分校)
我们提出了一种新的基于网格的学习方法(N-Cloth),用于合理的3D布料变形预测。我们的方法是通用的,可以处理布或障碍物表示的三角形网格与任意拓扑结构。我们使用图卷积将布料和物体网格转换到一个潜在的空间中,以减少网格空间中的非线性。我们的网络可以预测目标三维布料网格变形的基础上的初始状态的布料网格模板和目标的障碍物网格。我们的方法可以处理复杂的布料网格高达100 K的三角形和场景与各种对象对应的SMPL人类,非SMPL人类或刚体。在实践中,我们的方法可以用于在NVIDIA GeForce RTX 3090 GPU上以30-45 fps的速度生成合理的布料模拟。我们强调了它相对于之前基于学习的方法和基于物理的布料模拟器的优势。
2022-05-28 cs.GR cs.LG
GAMesh: Guided and Augmented Meshing for Deep Point Networks
University of California, Irvine(加利福尼亚大学尔湾分校)
我们提出了一种新的网格化算法,称为引导和增强网格,GAMesh,它使用一个网格之前,生成一个点网络的输出点的表面。通过将输出点投影到该先验上并简化生成的网格,GAMesh确保曲面具有与网格先验相同的拓扑结构,但其几何保真度由点网络控制。这使得GAMesh独立于输出点的密度和分布,这是传统表面重建算法中常见的伪影。我们表明,这种分离的几何拓扑结构可以有几个优点,特别是在单视图的形状预测,公平的评价点网络和重建表面的网络输出稀疏点云。我们进一步表明,通过使用GAMesh训练点网络,我们可以直接优化顶点位置以生成具有任意拓扑结构的自适应网格。
2020-10-19 cs.CG cs.CV cs.GR
SieveNet: Selecting Point-Based Features for Mesh Networks
Shanghai Jiao Tong University(上海交通大学);Huawei(华为)
针对重网格化后网格特征难以保留原始几何信息的问题,提出SieveNet范式,结合重网格化的规则拓扑与原始网格失真感知点采样的精确几何信息,无需手工特征工程即可适配现成网络,在分类分割任务上表现更优。
2023-08-24 cs.CV cs.LG
MeshCNN: A Network with an Edge
Tel Aviv University(特拉维夫大学);Amazon(亚马逊)
多边形网格为3D形状提供了有效的表示。它们明确地捕获形状表面和拓扑结构,并利用非均匀性来表示大的平坦区域以及尖锐,复杂的特征。然而,这种不均匀性和不规则性抑制了使用结合卷积和池化操作的神经网络的网格分析工作。在本文中,我们利用网格的独特属性,使用MeshCNN直接分析3D形状,MeshCNN是一种专门为三角形网格设计的卷积神经网络。类似于经典的CNN,MeshCNN通过利用其内在的测地线连接,结合了在网格边缘上操作的专用卷积和池化层。卷积应用于边和它们的入射三角形的四个边,并且池化通过保留表面拓扑的边折叠操作来应用,从而为后续卷积生成新的网格连接。MeshCNN学习哪些边要折叠,从而形成一个任务驱动的过程,在这个过程中,网络暴露和扩展重要的特征,同时丢弃冗余的特征。我们证明了我们的任务驱动的池应用于3D网格的各种学习任务的有效性。
2019-02-13 cs.CV cs.GR cs.LG
An Improved Structured Mesh Generation Method Based on Physics-informed Neural Networks
National University of Defense Technology(国防科技大学)
网格生成技术是许多需要数值模拟的领域的关键技术。随着数值算法变得更有效,计算机变得更强大,用于网格生成的时间百分比变得更高。本文提出了一种改进的结构化网格生成方法。该方法将网格划分问题公式化为与物理信息神经网络相关的全局优化问题。通过智能求解物理边界约束偏微分方程得到网格。为了提高神经网络的预测精度,我们还引入了一种新的辅助线策略和一个有效的网络模型在网格划分。该策略首先使用先验辅助线来提供地面真实数据,然后使用这些数据来构造损失项以更好地约束后续训练的收敛。实验结果表明,该方法是有效的和鲁棒的。它可以精确地近似从计算域到物理域的映射(变换),并能够快速生成高质量的结构化网格。
2022-10-18 cs.GR cs.LG physics.flu-dyn
Mesh Field Theory: Port-Hamiltonian Formulation of Mesh-Based Physics
University of Tokyo(东京大学)
提出网格场理论(MeshFT)及其神经实现MeshFT-Net,通过端口-哈密顿形式化分离物理的拓扑与度量结构,实现近零能量漂移和强物理保真度。
2026-10-19 cs.LG
Highly Available Data Parallel ML training on Mesh Networks
Google Inc(谷歌公司)
数据并行ML模型可能需要几天或几周的时间在几个加速器上进行训练。培训的长时间依赖于可用于作业的资源群集,以在整个持续时间内保持运行。在网状网络上,这是具有挑战性的,因为故障将在网格中创建漏洞。数据包必须绕过故障芯片才能实现完全连接。在本文中,我们提出的技术,路由梯度求和所有减少交通周围的芯片上的2-D网格。我们通过MLPerf-v0.7 ResNet-50和BERT基准测试来评估我们的容错allreduce技术的性能。性能结果显示,对512和1024 TPU-v3芯片上的训练吞吐量的影响最小。
2020-11-06 cs.DC cs.LG
Hierarchical Multi-resolution Mesh Networks for Brain Decoding
Middle East Technical University(中东技术大学);Tohoku University(东北大学)
我们提出了一个新的框架,称为分层多分辨率网状网络(HMMNs),它建立了一组大脑网络在多个时间分辨率的功能磁共振成像信号来代表潜在的认知过程。建议的框架,第一,分解的功能磁共振成像信号到不同的频率子带,使用小波变换。然后,在每个子带上通过组合一组局部网格形成一个大脑网络,称为网格网络。围绕每个解剖区域的局部性是相对于基于功能连接的邻域系统来定义的。网格弧的权重估计的平均区域的时间序列之间形成的岭回归。在最后一步中,在不同子带处获得的网状网络的邻接矩阵被集成用于在分层学习架构(称为模糊堆叠泛化(FSG))下进行大脑解码。在人类连接组计划任务-fMRI数据集上的实验结果表明,该模型能够通过提取多个子带的网格弧权值的互补信息来成功区分任务。我们研究的网状网络在不同的分辨率使用网络的措施,即,节点度,节点强度,介数中心性和全球效率的拓扑特性;和调查的解剖区域的连接性,在认知任务。我们观察到不同的子带获得的网络拓扑结构之间的显着变化。我们还分析了分类器集成的多样性,训练的网状网络在多个子带,并观察到,在合奏中的分类器相互合作,以融合在每个子带释放的互补信息。我们的结论是,功能磁共振成像数据,在认知任务中记录,嵌入不同的信息在每个分辨率的解剖区域。
2017-01-11 cs.CV cs.LG cs.NE
TetGAN: A Convolutional Neural Network for Tetrahedral Mesh Generation
University of Chicago(芝加哥大学);Tel Aviv University(特拉维夫大学);Purdue University(普渡大学)
我们提出了TetGAN,一个用于生成四面体网格的卷积神经网络。我们表示使用不规则的四面体网格编码的占用和位移场的形状。我们的公式可以定义四面体卷积,池化和上采样操作,以合成具有可变拓扑属的显式网格连接。所提出的神经网络层在每个四面体上学习深度特征,并学习在多个尺度上提取空间区域内的模式。我们说明了我们的技术编码成一个语义有意义的潜在空间,可用于形状编辑和合成四面体网格的能力。我们的项目页面位于https://threedle.github.io/tetGAN/。
2022-10-11 cs.CV cs.GR cs.LG
The MeSH-gram Neural Network Model: Extending Word Embedding Vectors with MeSH Concepts for UMLS Semantic Similarity and Relatedness in the Biomedical Domain
Normandie Univ.(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息处理、图像与系统实验室)
在生物医学领域中提取概念之间的语义相似性仍然是一项具有挑战性的任务。最近基于嵌入向量的方法越来越受欢迎,因为它们可以有效地捕捉语义关系。其基本思想是,两个含义接近的单词会收集类似的上下文。在这项研究中,我们提出了一个新的神经网络模型命名为MeSH-gram,它依赖于一个直截了当的方法,扩展了skip-gram神经网络模型考虑MeSH(医学主题词)描述符,而不是单词。在公开可用的语料库PubMed MEDLINE上训练,MeSH-gram在手动注释语义相似性的参考标准上进行评估。首先将MeSH-gram与具有大小为300的向量的skip-gram在几个窗口上下文中进行比较。更深入的比较与现有的十几个模型。所有获得的人类分数和计算的相似性之间的Spearman等级相关性的结果表明,MeSH-gram优于skip-gram模型,并且与最好的方法相当,但需要更多的计算和外部资源。
2018-11-28 cs.CL cs.DL cs.IR
Augmented Equivariant Mesh Networks for Anatomical Segmentation
Department of Pathology and Molecular Medicine(病理学与分子医学系)
本文提出EAMS,基于等变网格神经网络,结合内在网格描述符和解剖感知先验,实现鲁棒的解剖网格分割,在不同监督类型下表现优异。
2026-10-02 cs.CV cs.LG
Convolutional Neural Network on Semi-Regular Triangulated Meshes and its Application to Brain Image Data
National University of Singapore(新加坡国立大学)
我们开发了一个卷积神经网络(CNN)上的半规则三角网格,其顶点有6个邻居。所提出的CNN的关键块,包括卷积和下采样,直接在顶点域中定义。利用半正则网格的有序性,将卷积定义在一个顶点域上,这一点与经典卷积的空间定义有很大的不同。此外,嵌入在3D欧几里得空间中的半规则网格的下采样可以实现4、16、64等的下采样率。我们基于阿尔茨海默病神经成像倡议(ADNI)的3169次MRI扫描,展示了这种基于顶点的图CNN用于轻度认知障碍(MCI)和阿尔茨海默病(AD)的分类。我们比较了基于顶点的图CNN与谱图CNN的性能。
2019-04-15 cs.LG stat.ML
M2N: Mesh Movement Networks for PDE Solvers
ShanghaiTech University(上海科技大学);Imperial College London(帝国理工学院);ETH Zürich(苏黎世联邦理工学院);Tsinghua University(清华大学);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室);University College London(伦敦大学学院)
主流的偏微分方程(PDE)数值求解器需要使用网格离散化物理域。网格移动方法的目的是通过增加网格分辨率来提高数值解的精度,同时减少其他地方不必要的分辨率。然而,诸如Monge-Ampere方法的网格移动方法需要辅助方程的解,这可能是极其昂贵的,特别是当网格被频繁地调整时。在本文中,我们提出了我们最好的知识,第一个基于学习的端到端的网格运动框架的PDE求解器。基于学习的网格移动方法的关键要求是减少网格缠结,边界一致性,并推广到不同分辨率的网格。为了实现这些目标,我们引入了神经样条模型和图形注意力网络(GAT)分别到我们的模型。虽然基于神经样条的模型为大变形提供了更大的灵活性,但基于GAT的模型可以处理具有更复杂形状的域,并且更好地执行精细的局部变形。我们验证我们的方法上固定和时间相关的,线性和非线性方程,以及规则和不规则形状的域。与传统的Monge-Ampere方法相比,我们的方法可以大大加快网格自适应过程,同时实现可比的数值误差减少。
2022-04-24 cs.LG cs.NA math.NA
Neural 3D Mesh Renderer
The University of Tokyo(东京大学);RIKEN(理化学研究所)
对于2D图像背后的3D世界建模,哪种3D表示最合适?多边形网格因其紧凑性和几何特性而成为一种很有前途的候选网格。然而,使用神经网络从2D图像建模多边形网格并不简单,因为从网格到图像的转换或渲染涉及称为光栅化的离散操作,这会阻止反向传播。因此,在这项工作中,我们提出了一个近似的梯度光栅化,使渲染集成到神经网络。使用这个渲染器,我们执行单图像三维网格重建与剪影图像监督和我们的系统优于现有的基于体素的方法。此外,我们还首次在2D监控下执行基于梯度的3D网格编辑操作,例如2D到3D样式转换和3D DeepDream。这些应用程序展示了将网格渲染器集成到神经网络中的潜力和我们提出的渲染器的有效性。
2017-11-20 cs.CV cs.LG
Mesh convolutional neural networks for wall shear stress estimation in 3D artery models
University of Twente(特文特大学);University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究院)
计算流体动力学(CFD)是一种有价值的工具,用于个性化,无创评估动脉中的血液动力学,但其复杂性和耗时的性质,禁止在实践中大规模使用。最近,已经研究了使用深度学习快速估计表面网格上的壁面剪切应力(WSS)等CFD参数。然而,现有的方法通常依赖于表面网格的手工重新参数化以匹配卷积神经网络架构。在这项工作中,我们建议改为使用网格卷积神经网络,直接在相同的有限元表面网格计算流体力学中使用。我们训练和评估我们的方法在两个数据集的合成冠状动脉模型有和没有分叉,使用从CFD模拟获得的地面真相。我们证明了我们灵活的深度学习模型可以准确地预测这个表面网格上的3D WSS向量。我们的方法在不到5 [s]的时间内处理新的网格,始终实现了$\leq$ 1.6 [%]的归一化平均绝对误差,并在90.5 [%]的中位数近似精度超过了测试集的峰值,与以前发表的工作相比,这是有利的。这证明了使用网格卷积神经网络的CFD替代建模用于动脉模型中的血液动力学参数估计的可行性。
2022-01-20 cs.CV cs.LG physics.flu-dyn
Subdivision-Based Mesh Convolution Networks
Tsinghua University(清华大学);Cardiff University(卡迪夫大学)
卷积神经网络(CNN)在二维计算机视觉中取得了重大突破。然而,它们的不规则结构使得很难直接在网格上利用CNN的潜力。细分曲面提供了一种层次多分辨率结构,其中封闭的2流形三角形网格中的每个面与三个面精确相邻。受这两个观察的启发,本文提出了SubdivNet,这是一个创新的通用CNN框架,用于具有Loop细分序列连接的3D三角形网格。在2D图像中的网格面和像素之间进行类比,使我们能够提出一个网格卷积算子来聚合附近面的局部特征。通过利用人脸邻域,这种卷积可以支持标准的2D卷积网络概念,例如可变内核大小,步幅和膨胀。基于多分辨率层次,我们使用池层,均匀合并成一个四个面和一个上采样方法,分裂成四个面。因此,许多流行的2D CNN架构可以容易地适应于处理3D网格。具有任意连通性的网格可以通过自参数化重新划分为具有Loop细分序列连通性,使SubdivNet成为一种通用方法。广泛的评估和各种应用证明了SubdivNet的有效性和效率。
2021-12-29 cs.CV cs.GR cs.LG
Learning Mesh Representations via Binary Space Partitioning Tree Networks
Simon Fraser University(西蒙弗雷泽大学);Google Brain(谷歌大脑)
多边形网格无处不在,但在深度学习革命中只扮演了相对次要的角色。最先进的3D形状神经生成模型通过昂贵的等值面来学习隐式函数并生成网格。我们克服了这些挑战,采用经典的空间数据结构,从计算机图形学,二进制空间分割(BSP),以促进三维学习。BSP的核心操作是递归细分三维空间以获得凸集。通过利用这一特性,我们设计了BSP-Net,这是一种通过凸分解来学习表示3D形状而无需监督的网络。该网络被训练为使用从在一组平面上构建的BSP树获得的一组凸度来重建形状,其中平面和凸度都由学习的网络权重定义。BSP-Net直接输出多边形网格从推断的凸。生成的网格是防水的、紧凑的(即,低多边形),并且非常适合于表示尖锐的几何形状。我们表明,BSP-Net的重建质量是有竞争力的,从国家的最先进的方法,同时使用更少的原语。我们还探索了BSP-Net的变体,包括使用更通用的解码器进行重建,使用比平面更通用的图元,以及使用变分自动编码器训练生成模型。代码可在https://github.com/czq142857/BSP-NET-original上获得。
2021-07-02 cs.CV cs.GR cs.LG
Shape Deformation Networks for Automated Aortic Valve Finite Element Meshing from 3D CT Images
Department of Computer Science, University of Miami(计算机科学系,迈阿密大学);Sutra Medical Inc(Sutra医疗公司);Department of Mechanical Engineering, Texas Tech University(机械工程系,德克萨斯技术大学)
本文提出一种结合深度神经网络的模板拟合方法,从3D CT图像生成结构化四边形主动脉瓣网格,通过统一模板确保跨患者网格拓扑一致,并简化损失函数以提升网格质量与建模效率。
2025-11-05 cs.CV cs.LG eess.IV
UAV-Aided Decentralized Learning over Mesh Networks
EURECOM(欧洲通信学院)
分散式学习使无线网络设备能够协作地训练仅依赖于设备到设备(D2D)通信的机器学习(ML)模型。众所周知,分散优化算法的收敛速度严重依赖于网络的连通性程度,网络拓扑结构越密集,收敛时间越短。因此,由于其无线节点的通信范围有限,现实世界的网状网络的局部连接性破坏了分散式学习协议的效率,使其可能无法实现。在这项工作中,我们调查的作用,无人驾驶航空器(UAV),用作飞行接力,在促进分散的学习程序,在这种具有挑战性的条件。我们提出了一个优化的无人机轨迹,这是定义为一系列的航路点,无人机访问顺序,以便在稀疏连接的用户组之间传输情报。然后,我们提供了一系列的实验,突出了无人机在网状网络分散学习的背景下的重要作用。
2022-05-31 cs.IT cs.LG eess.SP