Facilitating Graph Neural Networks with Random Walk on Simplicial Complexes
Tsinghua University（清华大学）；Peking University（北京大学）
本文系统研究单纯复形上不同阶随机游走对图神经网络表达力的促进作用，提出边级位置编码 EdgeRWSE 和 Hodge1Lap，并将其推广到高阶单纯形，通过实验验证了方法的有效性。
2023-10-30 cs.CG cs.LG
SGAT: Simplicial Graph Attention Network
Nanyang Technological University（南洋理工大学）
异构图具有多个节点和边类型，并且比同构图在语义上更丰富。为了学习这种复杂的语义，许多用于异构图的图神经网络方法使用元路径来捕获节点之间的多跳交互。通常，来自非目标节点的特征不被并入学习过程中。然而，可能存在涉及多个节点或边的非线性高阶相互作用。在本文中，我们提出了单纯形图注意力网络（SGAT），单纯复杂的方法来表示这种高阶的相互作用，将功能从非目标节点上的简单。然后，我们使用注意力机制和上邻接生成表示。我们经验证明了我们的方法与异构图数据集上的节点分类任务的有效性，并进一步显示SGAT的能力，通过采用随机节点特征提取结构信息。数值实验表明，SGAT性能优于其他当前最先进的异构图学习方法。
2022-07-24 cs.LG
E(n) Equivariant Message Passing Simplicial Networks
University of Amsterdam（阿姆斯特丹大学）
本文提出 E(n) 等变消息传递单纯复形网络（EMPSNs），通过学习高维单纯形特征并引入几何信息，提升了几何图学习的等变性与性能，有效缓解过平滑问题。
2023-10-22 cs.AI cs.LG
Topological Neural Tangent Kernel
Department of Computer Science, University of California Santa Barbara（加州大学圣芭芭拉分校计算机科学系）
本文提出拓扑神经切线核，通过结合低阶和高阶霍奇相互作用，使核对拓扑结构敏感，提升高阶交互的建模能力，验证了拓扑结构在关系学习中的有效性。
2026-05-01 cs.LG cs.SI math.AT
Weisfeiler and Lehman Go Topological: Message Passing Simplicial Networks
University of Cambridge（剑桥大学）；Twitter（推特）；Imperial College London（帝国理工学院）；University of New South Wales（新南威尔士大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加州大学洛杉矶分校）
图机器学习的成对交互范例主要支配关系系统的建模。然而，图本身不能捕捉到许多复杂系统中存在的多层次的相互作用，这种计划的表达能力被证明是有限的。为了克服这些限制，我们提出了消息传递单纯网络（MPSN），一类模型，执行单纯复合体（SC）上的消息传递。为了从理论上分析我们的模型的表现力，我们引入了一个简单的Weisfeiler-Lehman（SWL）着色程序来区分非同构的SC。我们与SWL的权力区分非同构图的问题，并表明，SWL和MPSNs是严格更强大的WL测试和不低于3-WL测试的强大。我们通过比较我们的模型与传统的具有ReLU激活的图神经网络（GNNs），根据它们可以表示的函数的线性区域的数量来深化分析。我们经验上支持我们的理论主张，表明MPSN可以区分具有挑战性的强正则图，GNN失败，当配备定向等变层时，与GNN基线相比，它们可以提高定向SC的分类精度。
2021-06-14 cs.LG cs.SI
Directed Semi-Simplicial Learning with Applications to Brain Activity Decoding
Istituto Italiano di Tecnologia（意大利理工学院）；Delft University of Technology（代尔夫特理工大学）；Harvard University（哈佛大学）；University of Aberdeen（阿伯丁大学）
本文提出半单纯神经网络（SSNs）以解决高阶定向模式学习问题，通过在脑活动解码中实现更优性能，展示了基于拓扑模型的结构化数据学习潜力。
2026-03-02 cs.LG
Advancing Graph Neural Networks with HL-HGAT: A Hodge-Laplacian and Attention Mechanism Approach for Heterogeneous Graph-Structured Data
National University of Singapore（新加坡国立大学）；the Hong Kong Polytechnic University（香港理工大学）；Fujian Agriculture and Forestry University（福建农林大学）；the University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究提出HL-HGAT模型，通过Hodge-Laplacian算子和注意力机制学习跨$k$-单纯形的异构信号表示，有效解决多种图应用问题。
2024-04-22 cs.CV cs.LG
Higher-order Graph Convolutional Network with Flower-Petals Laplacians on Simplicial Complexes
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）
针对图神经网络难以建模和量化高阶交互的问题，本文提出基于 FP Laplacian 的 HiGCN，利用可学习滤波器跨拓扑尺度提取特征并度量交互强度，在多项图任务上达到最先进性能。
2024-01-18 cond-mat.stat-mech cs.AI cs.LG
Node Classification via Simplicial Interaction with Augmented Maximal Clique Selection
Department of Big Data Convergence, Chonnam National University（convergence大数据部门，全州国民大学）；Mitch Daniels School of Business, Purdue University（Daniels商学院，普渡大学）
针对高阶网络中全团冗余、极大团导致节点训练失衡的问题，提出选择性加入非极大团的增强极大团策略，并结合 GNN 半监督学习提升节点分类性能。
2025-09-28 cs.AI cs.LG cs.SI
Simplicial Message Passing for Chemical Property Prediction
Fujian Institute of Research on the Structure of Matter（福建物质结构研究所）；Chinese Academy of Sciences（中国科学院）；East China Normal University（华东师范大学）
本文提出单纯形消息传递（SMP）框架，通过聚合任意阶单纯复形信息并构建层次结构，突破传统MPNN在捕获分子拓扑信息上的局限，在量子化学性质预测中取得最先进结果。
2023-06-09 cond-mat.mtrl-sci cs.LG physics.chem-ph
BScNets: Block Simplicial Complex Neural Networks
Princeton University（普林斯顿大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
单纯神经网络（SNN）最近已经成为图学习的最新方向，其将卷积架构的思想从节点空间扩展到图上的单纯复合体。而不是主要评估节点之间的成对关系，在目前的实践中，单纯复形允许我们描述高阶的相互作用和多节点图结构。通过建立在卷积运算和新的块Hodge-Laplacian之间的连接，我们提出了用于链接预测的第一个SNN。我们的新块简单复杂神经网络（BScNets）模型通过系统地结合不同维度的多个高阶图结构之间的显著交互来概括现有的图卷积网络（GCN）框架。我们讨论了BScNets背后的理论基础，并说明了它在八个真实世界和合成数据集上的链接预测的实用性。我们的实验表明，BScNets在保持低计算成本的同时，显著优于最先进的模型。最后，我们展示了BScNets作为跟踪COVID-19等传染病传播和衡量医疗风险缓解策略有效性的新的有前途的替代方案的实用性。
2021-12-13 cs.LG stat.ML
SIMAP: A simplicial-map layer for neural networks
Universidad Loyola Andalucía（洛约拉安达卢西亚大学）；University of Sevilla（塞维利亚大学）
本文提出SIMAP层，作为深度学习模型中替代经典稠密最终层的可解释模块，通过基于固定最大单纯形和矩阵乘法算法高效计算重心细分，增强了SMNNs的可解释性与结构连通性保持能力。
2024-03-22 cs.LG math.AT
Topological Neural Networks: Mitigating the Bottlenecks of Graph Neural Networks via Higher-Order Interactions
Sapienza University of Rome（罗马大学）
本研究提出拓扑神经网络框架，通过高维结构传播消息缓解图神经网络的过挤压瓶颈，并提出了单纯注意力网络、胞腔注意力网络及增强型胞腔同构网络，有效捕获传统模型易遗漏的高阶依赖关系。
2024-02-10 cs.AI cs.LG
Torsion Graph Neural Networks
Hunan University（湖南大学）；Nanyang Technological University（南洋理工大学）；Nankai University（南开大学）
提出 TorGNN，利用解析挠率作为边权重刻画图局部结构，在链接预测和节点分类任务上超越多种最先进模型。
2023-06-23 cs.AI cs.LG
Principled Simplicial Neural Networks for Trajectory Prediction
Rice University（莱斯大学）
我们考虑单纯复形数据的神经网络架构的建设。在研究单纯复形的链复形上的映射时，我们定义了单纯神经网络体系结构的三个理想性质：即排列等变性，方向等变性和单纯意识。前两个性质分别说明了单纯复形中的节点索引和单形方向是任意的。最后一个属性编码了期望的特征，即神经网络的输出取决于整个单纯复形而不是其维度的子集。基于这些属性，我们提出了一个简单的卷积架构，植根于工具从代数拓扑，轨迹预测的问题，并表明，它服从所有这三个属性时，一个奇数，非线性激活函数使用。然后，我们证明了这种架构在合成和真实数据集上外推轨迹的有效性，特别强调了不可见轨迹的可推广性。
2021-06-07 cs.LG cs.SI
Hypergraph Neural Sheaf Diffusion: A Symmetric Simplicial Set Framework for Higher-Order Learning
POSTECH；Center for Geometry and Physics, Institute for Basic Science (IBS)（几何与物理中心，基础科学研究所）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对超图缺乏固有邻接和定向系统、难以构建任意阶层拉普拉斯的问题，提出对称单纯提升框架，推出首个超图神经层扩散模型HNSD，解决了超图学习的定向模糊与邻接稀疏问题，在基准测试中表现优异。
2025-07-30 cs.LG math.AT
Generalized Simplicial Attention Neural Networks
Harvard University（哈佛大学）；Sapienza University of Rome（罗马大学）；Universitas Mercatorum（Mercatorum大学）
针对图方法无法捕捉复杂系统多向交互的问题，提出广义单纯形注意力神经网络（GSANs），利用单纯形Dirac算子设计掩码自注意力机制处理高阶单纯形数据，并证明其具备置换等变性与单纯形感知性，在多项任务中表现优于现有图与单纯形模型。
2024-10-15 cs.AI cs.LG math.AT
Continuous Simplicial Neural Networks
LTCI, Télécom Paris Institut Polytechnique de Paris（巴黎理工信息计算学院）；EPFL, Lausanne, Switzerland（瑞士洛桑联邦理工学院）；CentraleSupélec, Inria Université Paris-Saclay（中央超导学院、法国国家信息与自动化技术研究所、巴黎萨克雷大学）
本文提出连续单纯复形神经网络（COSIMO），基于单纯复形上的偏微分方程，在扰动下保持稳定性并有效控制过平滑，在复杂噪声环境中性能优于现有离散SNN。
2025-10-24 cs.LG
Simplicial Representation Learning with Neural $k$-Forms
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Helmholtz Munich（慕尼黑亥姆霍兹中心）；Technical University of Munich (TUM)（慕尼黑工业大学）
本文提出利用神经 $k$-形式对单纯复形进行表示学习，无需消息传递，具备可解释性与几何一致性，并在几何图任务上优于现有方法。
2024-03-15 cs.LG math.AT
Trainable and Explainable Simplicial Map Neural Networks
Universidad Loyola Andalucía（安大路西亚洛约拉大学）；University of Seville（塞维利亚大学）
针对单纯映射神经网络（SMNNs）固定权重缺乏泛化能力及需构建凸多胞体的高维应用瓶颈，提出基于数据集支撑子集的训练过程与超球面投影替代方法，并引入可解释性与有效实现。
2024-03-12 cs.AI cs.LG math.AT
T-SNN: Temporal Simplicial Neural Network for EEG Decoding
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出T-SNN，将EEG表示为演变单纯复形序列，联合学习高阶交互与时间演变，在SEED-VII情绪识别任务上优于多种基线，并支持多模态解码。
2026-09-29 cs.LG q-bio.NC
Simplicial Convolutional Neural Networks
Delft University of Technology（代尔夫特理工大学）
图可以通过将网络数据表示为节点并将其成对关系表示为边来对网络数据进行建模。最近，信号处理和神经网络已经被扩展到处理和学习图上的数据，在诸如图信号重构、图或节点分类以及链接预测的任务中取得了成就。然而，这些方法仅适用于定义在图的节点上的数据。在本文中，我们提出了一个单纯卷积神经网络（SCNN）架构，从定义在单纯形上的数据中学习，例如，节点，边，三角形等。我们研究了SCNN的排列和方向的等方差，复杂性和频谱分析。最后，我们测试了SCNN的性能归咎于引文的合著复杂。
2021-10-06 cs.LG eess.SP
Simplicial Attention Neural Networks
这项工作的目的是介绍单纯注意网络（SAN），即，新的神经架构，其对利用掩蔽的自我注意层的单纯复合体上定义的数据进行操作。基于拓扑信号处理的形式参数，我们引入了一种适当的自注意机制，能够处理不同层的数据组件（例如，节点、边、三角形等），同时学习如何以完全面向任务的方式对给定拓扑域的上下邻域进行加权。拟议的SAN概括了当前大多数架构可用于处理定义在单纯复形上的数据。所提出的方法相比，优于其他方法时，适用于不同的（归纳和转导）的任务，如轨迹预测和缺失的数据插补引文复合体。
2022-03-26 cs.LG cs.NE
Higher-Order Topological Directionality and Directed Simplicial Neural Networks
Istituto Italiano di Tecnologia（意大利技术研究院）；Delft University of Technology（代尔夫特理工大学）；Harvard University（哈佛大学）
针对高阶拓扑模型强制对称化关系的问题，提出高阶方向性概念并构建 Dir-SNN，以建模有向非单纯形交互，理论与实验证明其表达力和任务性能优势。
2025-01-16 cs.LG
Learning From Simplicial Data Based on Random Walks and 1D Convolutions
RWTH Aachen University（亚琛工业大学）
针对高阶拓扑计算模型计算成本高的问题，提出基于随机游走与一维卷积的单纯复形神经网络架构SCRaWl，可灵活控本且表达能力独特，实证性能优于同类模型。
2024-04-04 cs.LG
Two-hidden-layer Feedforward Neural Networks are Universal Approximators: A Constructive Approach
University of Seville（塞维利亚大学）
众所周知，人工神经网络是一种通用的逼近器。经典的结果证明，给定n维空间上紧集上的连续函数，则存在一个逼近该函数的单隐层前馈网络。这一结果证明了该性质的存在性，但没有给出求该性质的方法.本文对两隐层前馈网络给出了证明该性质的构造性方法.这种方法是基于一个近似的连续函数的单纯映射。一旦给出了空间的三角剖分，就可以获得具体的体系结构和权重集。近似的质量取决于单纯复形对空间覆盖的细化。
2020-07-16 cs.LG math.AT stat.ML
Pooling Strategies for Simplicial Convolutional Networks
Sapienza University of Rome（罗马第一大学）
本文的目标是介绍单纯卷积神经网络的池化策略。受图池化方法的启发，我们引入了单纯池化层的一般公式，该公式执行：i）单纯信号的局部聚合; ii）采样集的原则选择; iii）下采样和单纯拓扑自适应。然后定制通用层以设计四种不同的池化策略（即，max、top-k、self-attention和separated top-k）。此外，我们利用分层架构中的建议层，降低复杂性，同时以不同的分辨率表示数据。真实数据基准的数值结果（即，流和图分类）说明了所提出的方法相对于现有技术的优点。
2022-10-11 cs.LG eess.SP
Topo-MLP : A Simplicial Network Without Message Passing
IBM（国际商业机器公司）
针对高阶网络模型依赖消息传递、在连通信息缺失或受损时推理效果不佳的问题，提出纯MLP架构的Topo-MLP单纯形网络，结合HONC损失隐式融入结构信息，兼具更快的推理速度与结构鲁棒性。
2023-12-19 cs.AI cs.CV cs.LG
Measuring the Privacy Leakage via Graph Reconstruction Attacks on Simplicial Neural Networks (Student Abstract)
Texas Tech University（德克萨斯理工大学）；Xavier University of Louisiana（泽维尔大学路易斯安那分校）；The Ohio State University（俄亥俄州立大学）
在本文中，我们通过研究图表示是否可以被反转来恢复用于生成它们的图，通过图重构攻击（GRA）来测量隐私泄漏。我们提出了一个GRA，通过一个图形解码器，最大限度地减少部分图和重建图之间的重建损失的表示恢复图的邻接矩阵。我们研究了在图上训练的三种类型的表示，即，表示输出从图卷积网络（GCN），图注意力网络（GAT），和我们提出的单纯神经网络（SNN）通过高阶组合拉普拉斯算子。与仅编码成对关系的前两种类型的表示不同，第三种类型的表示，即，SNN输出、编码高阶交互（例如，同调特征）之间的节点。我们发现，SNN的输出揭示了最低的隐私保护能力，以保护GRA，其次是GAT和GCN，这表明了建立更多的私人表示与高阶节点信息，可以防御潜在的威胁，如GRA的重要性。
2023-02-08 cs.CR cs.LG
Convolutional Learning on Simplicial Complexes
Delft University of Technology（代尔夫特理工大学）
我们提出了一个单纯复卷积神经网络（SCCNN）来学习单纯复体上的数据表示。它执行卷积的基础上，通过共同的面孔和cofaces独立的多跳单纯邻接，并捕捉间单纯耦合，推广最先进的。在研究单纯域和数据空间的对称性，它被证明是置换和定向等变，因此，将这种归纳偏见。基于Hodge理论，我们进行了频谱分析，以了解SCCNN如何在不同频率下调节数据，表明通过面和共面的卷积在两个正交的数据空间中运行。最后，我们研究了SCCNN的稳定性域变形和检查各种因素的影响。实验结果表明，高阶卷积和单纯形间耦合的单纯形预测和轨迹预测的好处。
2023-01-26 cs.LG
A Topological Deep Learning Framework for Neural Spike Decoding
University of Tennessee Knoxville（田纳西大学诺克斯维尔分校）；Army Research Lab（陆军研究实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一个结合无监督单纯复形发现与单纯卷积循环神经网络的拓扑深度学习框架，用于解码头部方向与网格细胞尖峰数据，实现头部方向和轨迹预测。
2023-09-06 cs.LG cs.NE stat.ML
Clustering with Simplicial Complexes
Indian Institute of Science（印度科学学院）；ENS de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们提出了一种新的聚类算法，基于二阶单纯形（又名填充三角形）对网络中的节点进行分组，以利用高阶网络交互。我们定义了一个单纯的电导函数，它最小化，产生一个最佳的分区与较高的密度填充三角形内的集合，而填充三角形的密度是较小的跨集。为此，我们提出了一个单纯邻接算子，通过二阶单纯形捕捉节点之间的关系。这使我们能够扩展著名的Cheeger不等式来聚类单纯复形。然后，利用Cheeger不等式，我们提出了单纯谱聚类算法。我们报告的合成和真实世界的网络数据的数值实验结果，以证明所提出的方法的有效性。
2023-03-14 cs.LG eess.SP
Deep Neural Networks and Finite Elements of Any Order on Arbitrary Dimensions
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文证明 ReLU 和 ReLU² 深度神经网络可表示任意维度单纯形网格上任意阶 Lagrange 有限元函数，提出基于几何分解的基函数全局表达公式，首次实现深度神经网络系统生成一般连续分片多项式函数。
2024-01-11 cs.LG cs.NA math.NA
Privacy-Preserving Representation Learning for Text-Attributed Networks with Simplicial Complexes
Texas Tech University（德克萨斯理工大学）
尽管最近的网络表示学习（NRL）在文本属性网络中的工作表现出了各种图形推理任务的优越性能，但当节点代表人或与人相关的变量时，学习网络表示总是会引起隐私问题。此外，利用来自图的结构信息的标准NRL首先将成对关系编码到学习的表示中，然后分析其属性。这种方法从根本上与关系涉及多个点的问题不一致，并且拓扑结构必须在成对相互作用之外进行编码。幸运的是，拓扑数据分析（TDA）的机制，特别是单纯神经网络（SNN）提供了一个数学上严格的框架来学习节点之间的高阶交互。通过成对交互，研究SNN的表示输出是否比图神经网络（GNN）的常规表示输出更脆弱是至关重要的。在我的论文中，我将首先研究通过SNN学习单纯复形的文本属性表示（RT 4SC）。然后，我将对SNN表示输出的两种潜在攻击进行研究：（1）成员推断攻击，它推断图的某个节点是否在GNN模型的训练数据内;（2）图重构攻击，它推断文本属性网络的机密边缘。最后，我将研究一种保护隐私的确定性差分私有交替方向乘法器方法，以从SNN中学习安全的表示输出，这些SNN捕获多尺度关系，并促进文本属性网络上从局部结构到全局不变特征的传递。
2023-02-09 cs.CR cs.LG
Geometry-Aware Simplicial Message Passing
AIDOS Lab, University of Fribourg（AIDOS实验室，弗里堡大学）
本文提出几何感知的单纯形消息传递方法，通过引入顶点坐标提升表达能力，并结合欧拉特征变换提供完整不变量，验证了几何模型的层次结构。
2026-09-28 cs.CG cs.LG math.AT
HiPoNet: A Multi-View Simplicial Complex Network for High Dimensional Point-Cloud and Single-Cell Data
Yale University（耶鲁大学）；Boise State University（博伊西州立大学）；University College London（伦敦大学学院）
HiPoNet是一种多视角单纯复形网络，通过特征重加权构建高阶复形并利用单纯小波变换提取多尺度特征，用于高维点云和单细胞数据的分类、回归及表示学习，在实验中优于现有模型。
2025-05-26 cs.LG math.AT
Signal processing on simplicial complexes
RWTH Aachen University（亚琛工业大学）；Université Paris-Sud（巴黎第十一大学）；Rice University（莱斯大学）
到目前为止，高阶网络主要是在研究复杂系统结构的背景下考虑的，即，连接组成实体的高阶或多路关系。最近，许多研究已经考虑了明确说明这种高阶依赖性的动态过程，例如，在流行病传播过程或舆论形成的背景下。在本章中，我们将关注一个密切相关但又截然不同的第三个视角：我们如何使用高阶关系来处理高阶网络结构所支持的信号和数据。特别是，我们调查如何从信号处理的想法支持定期域，如时间序列或图像，可以扩展到图形和单纯形复合体。我们讨论傅立叶分析，信号去噪，信号插值，并通过基于单纯复形神经网络的非线性处理。我们的发展的关键是霍奇拉普拉斯矩阵，一个多关系运算符，利用单纯复形的特殊结构，并概括了理想的性质的拉普拉斯矩阵在图形信号处理。
2022-02-02 cs.DM cs.LG eess.SP
Signal Processing on Higher-Order Networks: Livin' on the Edge ... and Beyond
RWTH Aachen University（亚琛工业大学）；Rice University（莱斯大学）；Université Paris-Sud（巴黎第十一大学）
在本教程中，我们将对高阶网络上的信号处理这一新兴主题进行教学处理。从离散和图形信号处理中进行类比，我们介绍了用于处理单纯复形和超图数据的构建块，这两种常见的高阶网络抽象可以包含polyadic关系。我们提供简单的复合物和超图的简要介绍，特别强调这些结构上支持的信号处理所需的概念。具体来说，我们讨论傅立叶分析，信号去噪，信号插值，节点嵌入，并通过神经网络的非线性处理，使用这两个高阶网络模型。在单纯复形的背景下，我们特别关注使用霍奇拉普拉斯矩阵的信号处理，霍奇拉普拉斯矩阵是一种多关系运算符，它利用单纯复形的特殊结构，并将拉普拉斯矩阵在图形信号处理中的理想特性推广。对于超图，我们提出了矩阵和张量表示，并讨论了采用一个或另一个的权衡。我们还强调了限制和潜在的研究途径，既告知从业人员，并激励新的研究人员对该领域的贡献。
2022-02-20 cs.LG cs.SI physics.soc-ph
Latent Space Topology Evolution in Multilayer Perceptrons
Department of Applied Mathematics I, University of Sevilla（应用数学一系，塞维利亚大学）
本文提出基于单纯塔和双持续性分析的拓扑框架，用于解释多层感知机内部表示，并通过组合算法与轨迹可视化识别冗余层和关键拓扑转变。
2025-06-02 cs.LG math.AT
Fuzzy Simplicial Networks: A Topology-Inspired Model to Improve Task Generalization in Few-shot Learning
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
深度学习在拥有大量数据的环境中取得了巨大的成功，但在数据有限的情况下却举步维艰。少样本学习算法旨在解决这一限制，旨在很好地推广到具有有限数据的新任务。通常，模型是在看不见的类和数据集上进行评估的，这些类和数据集是由与训练它们相同的基本任务定义的（例如类别成员资格）。人们还可以问，一个模型在多大程度上可以泛化到固定数据集中根本不同的任务（例如：从类别成员关系转移到涉及检测对象方向或数量的任务）。为了将这种转变形式化，我们定义了“任务独立性”的概念，并为已建立的计算机视觉数据集确定了三组新的标签，这些数据集测试了模型推广到利用数据中正交属性的任务的能力。我们使用这些数据集来研究基于度量的Few-Shot模型的失效模式。基于我们的研究结果，我们引入了一个新的Few-Shot模型，称为模糊简单网络（FSN），它利用拓扑结构更灵活地表示有限数据中的每个类。特别是，FSN模型不仅可以为给定的类形成多个表示，而且还可以开始捕获表征深度网络编码空间中类流形的低维结构。我们表明，FSN在本文介绍的具有挑战性的任务上优于最先进的模型，同时在标准的Few-Shot基准测试中保持竞争力。
2020-09-23 cs.AI cs.CV cs.LG
Characterizing and Measuring the Similarity of Neural Networks with Persistent Homology
SEGITTUR（西班牙旅游技术与管理公司（SEGITTUR））；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
表征神经网络的结构特性是至关重要的，但人们对其了解甚少，并且网络之间没有完善的相似性度量。在这项工作中，我们观察到，神经网络可以表示为抽象的单纯复形，并通过持久同源性（PH）使用其拓扑“指纹”进行分析。然后，我们描述了一个基于PH的表示提出的神经网络的特征和测量相似性。我们凭经验证明了这种表示在几个数据集中作为不同架构的描述符的有效性。这种基于拓扑数据分析的方法是更好地理解神经网络的一个步骤，并作为一个有用的相似性度量。
2021-05-31 cs.LG math.AT
Graph and Simplicial Complex Prediction Gaussian Process via the Hodgelet Representations
University College London（伦敦大学学院）；California Institute of Technology（加州理工学院）；University of Fribourg（弗里堡大学）；University of Oxford（牛津大学）；Valence Labs（Valence实验室）
针对数据稀缺下图神经网络过拟合问题，研究将高斯过程框架扩展至单纯复形，结合Hodge分解纳入同调信息，提升了多种应用中的预测性能。
2025-05-16 cs.AI cs.LG
Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes
Sapienza University of Rome（罗马大学）
本文提出一种基于Mamba状态空间模型的拓扑深度学习架构，用于单纯复形上的高阶交互建模，通过序列化节点邻域实现任意阶结构直接通信，性能与现有最优模型相当。
2024-09-18 cs.AI cs.LG
Convolutional Filtering in Simplicial Complexes
Delft University of Technology（代尔夫特理工大学）
本文提出了卷积滤波的数据，其结构可以由单纯复形（SC）建模。SC是一种数学工具，它不仅可以将成对关系捕捉为图形，还可以解释高阶网络结构。这些滤波器是通过遵循卷积运算的移位和求和原理来构建的，并依赖于Hodge-Laplacian在单纯形内移位信号。但是，由于在SC中，我们也有单形间耦合，我们使用的关联矩阵转移信号在相邻的单形，并建立一个滤波器组，联合过滤来自不同级别的信号。我们证明了一些有趣的性质，建议的滤波器组，包括置换和方向等方差，计算复杂性是线性的SC尺寸，和频谱解释使用的简单傅里叶变换。我们说明了所提出的方法与数值实验。
2022-12-16 cs.LG eess.SP
Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；SEGITTUR（西班牙旅游技术与创新管理公司）
神经网络的训练通常用验证（保持）集来监视，以估计模型的泛化。这样做不是测量模型的内在属性，以确定它是否正确地学习。在这项工作中，我们建议研究与代数拓扑，特别是持久同源（PH）的神经网络的训练。利用神经网络的单纯复表示，研究了不同结构和多个数据集的神经网络学习过程中PH图距离的演化。结果表明，连续神经网络状态之间的PH图距离与验证精度相关，这意味着神经网络的泛化误差可以在没有任何保持集的情况下进行内在估计.
2021-05-31 cs.AI cs.LG math.AT
Exponential Expressivity of ReLU$^k$ Neural Networks on Gevrey Classes with Point Singularities
ETH Zürich（苏黎世联邦理工学院）
本文证明了ReLU和ReLU$^2$神经网络能以指数速率模拟多面体域上具有点奇异的Gevrey正则函数，并建立了与$hp$-有限元自由度成正比的网络规模关系。
2024-06-14 cs.LG cs.NA math.NA
