A Constructive Approach for One-Shot Training of Neural Networks Using Hypercube-Based Topological Coverings
在本文中,我们提出了一种新的构造性方法,用于使用几何方法训练深度神经网络。我们表明,拓扑覆盖可以用来定义一类分布式线性矩阵不等式,这反过来又直接指定的形状和深度的神经网络架构。关键的洞察力是线性矩阵不等式及其约束数据形状的能力之间的基本关系,以及现代神经网络中采用的整流线性单元(ReLU)激活函数。我们发现,单位覆盖的几何形状和覆盖孔隙率是两个设计变量覆盖建设性的学习,发挥了关键作用,在定义模型的复杂性和概括性的神经网络分类。在覆盖建构学习的背景下,这些发现强调了模型复杂性和过度拟合(由数据覆盖中的元素数量量化)与测试数据的可推广性之间的古老权衡。最后,我们在Iris、MNIST和Wine数据集上对算法进行了基准测试,结果表明,该构造性算法能够一次性训练深度神经网络分类器,在减少训练时间的情况下实现同等或更高水平的训练和测试分类精度。
2019-01-09 cs.LG stat.ML
Universal approximation theorem for neural networks with inputs from a topological vector space
Institute of Mathematics and Mechanics(数学与力学研究所);Center for Mathematics and its Applications, Khazar University(哈扎尔大学数学及其应用中心)
本文针对拓扑向量空间输入的前馈神经网络,证明其能逼近该扩展输入空间上的任意连续函数,从而扩展了神经网络的适用范围。
2024-09-19 cs.LG cs.NE stat.ML
Depth-Width Trade-offs for Neural Networks via Topological Entropy
Harvard University(哈佛大学);Zhejiang University(浙江大学)
深度学习理论研究的核心问题之一是理解深度、宽度和节点数量等结构属性如何影响深度神经网络的表达能力。在这项工作中,我们展示了一个新的联系之间的表达能力的深度神经网络和拓扑熵的动力系统,它可以用来表征深度和宽度的权衡神经网络。利用结构参数给出了具有连续半代数单元的神经网络的拓扑熵的一个上界。具体地,具有$l$层和每层$m$节点的ReLU网络的拓扑熵由$O(l\log m)$上界。此外,如果神经网络是某个函数$f$的良好逼近,则神经网络的规模相对于$f$的拓扑熵具有指数下界.讨论了拓扑熵与振荡次数、周期和Lipschitz常数之间的关系。
2020-10-15 cs.LG
Exploring Topological Bias in Heterogeneous Graph Neural Networks
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文研究了异构图神经网络中的拓扑偏差问题,提出了一种基于节点映射值差异的去偏结构,通过对比学习提升HGNN性能。
2025-12-04 cs.LG stat.ML
Understanding Deep Neural Networks Using Topological Data Analysis
Cornell University(康奈尔大学);Air Force Research Laboratory(美国空军研究实验室)
深度神经网络(DNN)是黑箱算法。它们使用梯度下降反向传播技术进行训练,该技术训练每层中的权重,以最小化训练误差。因此,无法直接解释由此产生的权重。使用拓扑数据分析(TDA),我们可以深入了解神经网络是如何思考的,特别是通过分析验证图像通过每一层时的激活值。
2018-10-31 cs.LG
A Differential Topological View of Challenges in Learning with Feedforward Neural Networks
fortiss – Landesforschungsinstitut des Freistaats Bayern(fortiss——巴伐利亚自由州州立研究所)
在深度神经网络(DNN)理论中的许多未解决的难题中,有三个最基本的挑战高度需要解决,即可表达性,可优化性和可推广性。尽管在使用各种理论(例如,信息瓶颈理论、稀疏表示、统计推断、黎曼几何等)寻求答案方面已经取得了重大进展,到目前为止,还没有一个单一的理论能够为所有这些挑战提供解决方案。在这项工作中,我们建议从事微分拓扑理论来解决这三个问题。通过将感兴趣的数据集建模为光滑流形,DNN可以被认为是光滑流形之间的光滑映射的组合。具体来说,我们的工作提供了DNN损失景观的差分拓扑视图,宽度和深度之间的相互作用在可表达性,以及可概括性的调节。最后,在深度表示学习的背景下,我们进一步应用商拓扑来研究DNN的架构,这使得能够捕获数据中与特定学习任务相关的干扰因素。
2018-11-26 cs.LG stat.ML
Conditional Uncertainty Quantification for Tensorized Topological Neural Networks
New York University(纽约大学);University of Michigan - Ann Arbor(密歇根大学安娜堡分校);Temple University(天普大学);University of California, Riverside(加州大学河滨分校)
本文提出CF-T2NN方法,通过张量分解和拓扑知识学习对图结构数据进行严格的不确定性量化,并在10个真实数据集上验证了其在图分类任务中优于现有方法。
2024-10-20 cs.LG stat.ML
Learnable Topological Features for Phylogenetic Inference via Graph Neural Networks
Peking University(北京大学)
系统发育树拓扑结构信息在系统发育推断中起着重要作用。然而,为特定的系统发育推理任务找到合适的拓扑结构往往需要大量的设计工作和领域专业知识。本文提出了一种新的基于可学习拓扑特征的系统发育推理结构表示方法。通过将最小化Dirichlet能量的原始节点特征与现代图表示学习技术相结合,我们的可学习拓扑特征可以提供系统发育树的有效结构信息,这些系统发育树自动适应不同的下游任务,而无需领域专业知识。我们证明了我们的方法的有效性和效率的模拟数据树概率估计任务和挑战性的真实数据变分贝叶斯系统发育推理问题的基准。
2023-02-17 cs.LG q-bio.PE stat.ML
Topological Data Analysis for Arrhythmia Detection through Modular Neural Networks
Fujitsu(富士通);Inria(法国国家信息与自动化研究所)
本文提出了一种创新的通用深度学习方法,用于从ECG信号中监测心脏状况。我们将重点放在异常心跳(称为心律失常)的检测和分类上。在构建深度学习模型的过程中,我们强烈坚持泛化,这对新的看不见的病人是有效的。我们的方法的新颖性依赖于使用拓扑数据分析作为我们的多通道架构的基础,以减少由于个体差异造成的偏差。我们表明,我们的结构达到了最先进的心律失常检测和分类方法的性能。
2019-06-13 cs.LG eess.SP stat.ML
A Variational Topological Neural Model for Cascade-based Diffusion in Networks
Sorbonne Université(巴黎索邦大学);LIP6(巴黎第六大学(LIP6))
在文献中已经提出了许多工作来捕捉网络中的扩散动力学。虽然他们中的一些人定义了图形马尔可夫模型来提取网络中节点感染之间的时间关系,但其他人认为扩散事件是通过递归神经模型的感染序列。在本文中,我们提出了一个模型在这两个极端的十字路口,它嵌入了历史的感染节点的扩散作为隐藏的连续状态。根据内容在到达给定节点之前所遵循的轨迹,影响概率的分布可能会有所不同。然而,内容轨迹通常隐藏在数据中,这会导致具有挑战性的学习问题。我们提出了一个拓扑递归神经模型,具有良好的实验性能的扩散建模和预测。
2018-12-28 cs.LG cs.SI stat.ML
Topological Data Analysis of Neural Network Layer Representations
California Institute of Technology(加州理工学院)
本文对如何在神经网络层的内部表示中保持拓扑特征进行了粗略的研究。利用拓扑数据分析中的持久同调技术,计算了一个简单前馈神经网络对带有Klein瓶状扭曲的修正环面的层表示的拓扑特征.该网络似乎在早期层中近似同胚,然后在更深层中显着改变数据的拓扑结构。由此产生的噪声阻碍了持久同源性计算这些特征的能力,然而类似的拓扑特征似乎在具有双射激活函数的网络中持续更长时间。
2022-07-01 cs.AI cs.LG
Deep Function Machines: Generalized Neural Networks for Topological Layer Expression
Machine Learning at Berkeley(伯克利机器学习);University of California, Berkeley(加州大学伯克利分校)
在本文中,我们提出了一种广义的深度神经网络,称为深度函数机(DFM)。DFM作用于任意(可能是无限)维的向量空间,我们证明了一族DFM对输入数据的维数是不变的;也就是说,模型的参数化并不直接取决于输入的质量(例如:高分辨率图像)。利用这一推广,我们提供了一个新的理论的泛逼近的有界非线性算子之间的函数空间。然后,我们建议DFMs提供了一个表达框架,设计新的神经网络层类型的拓扑考虑。最后,我们介绍了一种新的架构,RippLeNet,分辨率不变的计算机视觉,凭经验达到最先进的不变性。
2017-11-06 cs.CV cs.LG stat.ML
Topological Fraud Detection in Latent Transaction Spaces
提出在拓扑匿名化嵌入上结合迭代无监督过滤与监督式精准识别的欺诈检测方法,实现超低延迟、隐私保护的分流,无需泄露个人身份信息即可标记可疑活动。
2026-10-14 cs.CR cs.LG
Topological Expressivity of ReLU Neural Networks
Technische Universität Berlin(柏林工业大学)
本文用Betti数量化ReLU网络在二分类中的拓扑简化能力,给出给定架构可实现简化的上下界,证明深度网络相较浅层具有指数级拓扑表达优势。
2024-06-10 cs.DM cs.LG math.AT
Topological Graph Neural Networks
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所);KU Leuven(鲁汶大学);Helmholtz Munich(亥姆霍兹慕尼黑中心);Technical University of Munich(慕尼黑工业大学)
图神经网络(GNN)是处理图学习任务的强大架构,但已被证明对循环等重要子结构不敏感。我们提出了TOGL,一个新的层,采用持久同源性的图的全局拓扑信息。TOGL可以很容易地集成到任何类型的GNN中,并且比消息传递GNN更具有严格的表达性(根据Weisfeiler-Lehman图同构测试)。使用TOGL增强GNN可以提高图和节点分类任务的预测性能,无论是在合成数据集上,这些数据集可以由人类使用其拓扑结构进行分类,但不能由普通GNN进行分类,还是在现实世界的数据上。
2022-03-17 cs.LG math.AT stat.ML
On shallow feedforward neural networks with inputs from a topological space
Institute of Mathematics and Mechanics(数学力学研究所);Center for Mathematics and its Applications(数学及其应用中心)
本文研究了输入来自拓扑空间的浅层前馈神经网络,证明了其通用逼近能力,并应用该结果得到了适用于紧致度量空间的Kolmogorov叠加定理的近似版本。
2026-10-27 cs.LG math.FA
Topological Structure Learning for Weakly-Supervised Out-of-Distribution Detection
Shandong University(山东大学)
分发外(OOD)检测是在开放世界中安全部署模型的关键。对于OOD检测,收集足够的分布(ID)标记数据通常比未标记数据更耗时且成本更高。当ID标记数据有限时,以前的OOD检测方法不再优越,因为它们高度依赖于ID标记数据的量。基于有限的ID标记数据和足够的未标记数据,我们定义了一个新的设置称为弱监督分布外检测(WSOOD)。为了解决这个问题,我们提出了一种有效的方法,称为拓扑结构学习(TSL)。首先,TSL使用对比学习方法为ID和OOD数据建立初始拓扑结构空间。其次,TSL挖掘初始拓扑空间中的有效拓扑连接。最后,基于有限的ID标记数据和挖掘的拓扑连接,TSL在一个新的拓扑空间中重构拓扑结构,以增加ID和OOD实例的可分离性。对几个有代表性的数据集的广泛研究表明,TSL显着优于国家的最先进的,验证了我们的方法在新的WSOOD设置的有效性和鲁棒性。
2022-09-16 cs.CV cs.LG
Universal Approximation and the Topological Neural Network
Department of Mathematical and Statistical Sciences, University of Alberta(阿尔伯塔大学数学与统计科学系);Statistics Canada(加拿大统计局)
本文提出拓扑神经网络和分布神经网络,将输入从有限维空间推广到吉洪诺夫空间和博雷尔测度空间,并通过强通用逼近定理证明其能任意逼近一致连续函数,从而扩展深度集合等深度学习概念。
2023-05-26 cs.LG
Activation Landscapes as a Topological Summary of Neural Network Performance
University of Florida(佛罗里达大学)
我们使用拓扑数据分析(TDA)来研究数据在通过深度神经网络(DNN)的连续层时如何转换。我们计算网络每一层的激活数据的持久同源性,并使用持久性景观总结这些信息。所得到的特征图提供了网络的信息可视化和用于统计分析和机器学习的内核。我们观察到拓扑复杂度通常随着训练而增加,并且拓扑复杂度不会随着每一层而降低。
2021-10-19 cs.LG math.AT
Topological Data Analysis for Unsupervised Anomaly Detection and Customer Segmentation on Banking Data
IMTF
本文将拓扑数据分析(TDA)的Mapper算法和持久同调应用于银行数据,开发无监督流程实现异常检测与客户细分,结合拓扑数学与行业用例提供可操作见解。
2025-08-19 cs.CG cs.LG
Machine Learning Topological Invariants with Neural Networks
在这封信中,我们监督训练神经网络,以区分不同的拓扑相位的拓扑带绝缘体的上下文中。在用具有手征对称性的一维绝缘体的哈密顿量进行训练后,神经网络可以以接近100%的准确率预测它们的拓扑缠绕数,即使对于训练数据中不包括的具有较大缠绕数的哈密顿量也是如此。这些结果表明,神经网络可以从局部输入中捕获量子相位的全局和非线性拓扑特征。通过打开神经网络,我们确认网络确实学习了缠绕数公式的离散版本。我们还对对称性的作用和正则化技术在将机器学习应用于物理系统时的相反效果做了一些评论。
2018-01-19 cond-mat.dis-nn cond-mat.mes-hall cond-mat.str-el
Topological Uncertainty: Monitoring trained neural networks through persistence of activation graphs
DataShape - Inria(数据形态 - 法国国家信息与自动化研究所);Fujitsu Laboratories Ltd.(富士通研究所)
虽然神经网络能够在各种各样的环境中达到惊人的性能,但在复杂任务上正确训练网络需要专业知识,并且从计算的角度来看可能是昂贵的。在工业应用中,来自开放世界环境的数据可能与训练网络的基准数据集有很大不同。能够在不重新训练网络的情况下监测这种变化的存在至关重要。在这篇文章中,我们开发了一种方法来监测训练的神经网络的激活图的拓扑性质的基础上。对于每一个新的观察结果,我们都分配了一个拓扑不确定性,这个分数旨在通过调查整个网络而不是像从业者通常做的那样只调查最后一层来评估预测的可靠性。我们的方法完全在训练后水平上工作,不需要对网络架构、优化方案进行任何假设,也不需要使用数据增强或辅助数据集;并且可以忠实地应用于大范围的网络架构和数据类型。我们通过实验展示了拓扑不确定性在训练网络选择,分布外检测和移位检测的背景下的潜力,无论是在合成的还是真实的图像和图形数据集上。
2021-05-07 cs.AI cs.LG stat.ML
Neural Approximation of Graph Topological Features
Wangxuan Institute of Computer Technology(王选计算机研究所);Peking University(北京大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Halıcıoğlu Data Science Institute(哈利奇奥卢数据科学研究所);University of California(加利福尼亚大学);Stony Brook University(石溪大学)
基于持久同源性的拓扑特征捕捉了高阶结构信息,从而增强了图神经网络方法。然而,计算扩展的持久同源性摘要对于大而密集的图仍然很慢,并且可能是学习管道的严重瓶颈。受最近神经算法推理成功的启发,我们提出了一种新的图神经网络来有效地估计图上的扩展持久性图(EPD)。我们的模型建立在算法见解的基础上,并受益于更好的监督和与EPD计算算法更紧密的一致性。我们验证了我们的方法与令人信服的实证结果近似EPD和下游图表示学习任务。我们的方法也很高效;在大型密集图上,我们将计算速度加快了近100倍。
2022-11-15 cs.LG
From Classical to Topological Neural Networks Under Uncertainty
Department of Mathematics, University of Tennessee, Knoxville(田纳西大学数学系);U.S. Army DEVCOM Army Research Laboratory(美国陆军 DEVCOM 军事研究实验室)
本文研究了在不确定性下从经典到拓扑神经网络的发展,探讨了拓扑深度学习与贝叶斯方法在军事应用中的潜力。
2026-02-10 cs.AI cs.LG
A Topological Framework for Deep Learning
Santa Clara University(圣克拉拉大学)
我们利用经典的事实,从拓扑结构表明,分类问题在机器学习总是可以解决的非常温和的条件下。此外,我们证明了softmax分类网络通过有限的拓扑移动序列作用于输入拓扑空间以实现分类任务。此外,给定一个训练数据集,我们展示了如何拓扑形式主义可以用来建议适当的架构选择神经网络设计的数据上的分类器进行训练。最后,我们展示了神经网络的架构如何不能独立于底层数据的形状来选择。为了证明这些结果,我们提供了示例数据集,并从拓扑角度展示了神经网络如何对它们进行操作。
2021-06-21 cs.CG cs.LG math.AT
Dimensionality reduction and width of deep neural networks based on topological degree theory
School of Mathematics and Statistics, Huazhong University of Science and Technology(数学与统计学学院,华中科技大学);Hubei Key Laboratory of Engineering Modeling and Scientific Computing , Huazhong University of Science and Technology(工程建模与科学计算湖北省重点实验室,华中科技大学)
本文基于拓扑度理论建立紧致空间嵌入链接与降维可分离性的数学框架,并借此为深度神经网络的分类与逼近问题提供新见解。
2025-11-10 cs.LG math.GN
Neural Topological Ordering for Computation Graphs
Qualcomm AI Research(高通人工智能研究院);Google LLC(谷歌有限责任公司);University of Amsterdam(阿姆斯特丹大学)
最近的工作机器学习的组合优化已经表明,基于学习的方法可以优于探试法在速度和性能方面。在本文中,我们考虑的问题,找到一个最佳的拓扑顺序上的有向无环图的内存最小化的问题,在编译器中出现的焦点。我们提出了一个端到端的机器学习为基础的方法,使用编码器-解码器框架的拓扑排序。我们的编码器是一种新的注意力为基础的图神经网络架构称为\emph{Topoformer},它使用不同的拓扑转换的DAG的消息传递。由编码器产生的节点嵌入被转换成节点优先级,其被解码器用于生成拓扑顺序上的概率分布。我们训练我们的模型的数据集的综合生成的图形称为分层图。我们表明,我们的模型优于,或与几个拓扑排序基线,同时显着更快的合成图与多达2k个节点。我们还训练和测试我们的模型上的一组现实世界的计算图,显示性能的改善。
2022-10-07 cs.LG
Data Topology-Dependent Upper Bounds of Neural Network Widths
KAIST(韩国科学技术院)
本文通过数据集拓扑特征(如紧凸多面体、单纯复形和Betti数)推导三层ReLU网络的宽度上界,并据此证明其通用逼近性质及梯度下降收敛性。
2023-05-25 cs.AI cs.LG stat.ML
Topological Understanding of Neural Networks, a survey
Texas A&M University(德州农工大学)
我们来看看神经网络的内部结构,它通常被视为一个黑匣子。最简单和最容易理解的事情是看一个二进制分类,并试图理解神经网络采取的方法。我们回顾了不同的激活函数的意义,与之相关的网络结构类型,以及一些经验数据。我们发现了一些有趣的观察结果,并有可能在这些想法的基础上验证真实数据集的过程。我们提出了一些可能的实验,期待在三个不同的方向。
2023-01-23 cs.LG math.AT
A Topological Deep Learning Framework for Neural Spike Decoding
University of Tennessee Knoxville(田纳西大学诺克斯维尔分校);Army Research Lab(陆军研究实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一个结合无监督单纯复形发现与单纯卷积循环神经网络的拓扑深度学习框架,用于解码头部方向与网格细胞尖峰数据,实现头部方向和轨迹预测。
2023-09-06 cs.LG cs.NE stat.ML
TopoDetect: Framework for Topological Features Detection in Graph Embeddings
University of Quebec at Montreal(蒙特利尔魁北克大学)
TopoDetect是一个Python软件包,允许用户调查重要的拓扑特征,如节点的度,它们的三角形计数或它们的局部聚类得分,是否保留在图表示模型的嵌入中。此外,该框架使嵌入的可视化根据节点之间的拓扑特征的分布。此外,TopoDetect使我们能够通过评估嵌入对下游学习任务(如聚类和分类)的性能来研究保留这些特征的效果。
2021-10-08 cs.AI cs.LG
Shapley Homology: Topological Analysis of Sample Influence for Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学);McGill University(麦吉尔大学)
为训练机器学习模型而收集的数据样本通常被假设为独立同分布(iid)。最近的研究表明,这种假设可能是有问题的,因为它简化了结构化数据的流形。这激发了不同的研究领域,如数据投毒,模型改进和机器学习模型的解释。在这项工作中,我们研究了样本的影响,确定其基础流形的内在拓扑特征。我们提出了Shapley同调框架,它提供了一个定量度量的影响,一个简单的复杂的同源性的样本。通过将影响解释为概率度量,我们进一步定义了反映数据流形复杂性的熵。我们的实证研究表明,当使用0维同源性时,在相邻图上,具有较高影响分数的样本对神经网络确定图连通性的准确性有更大的影响,并且对一些规则文法,其较高的熵值意味着更难学习。
2019-10-15 cs.LG math.AT stat.ML
Topological Neural Networks go Persistent, Equivariant, and Continuous
Aalto University(阿尔托大学);Federal Institute of Ceará(塞阿拉联邦学院);YaiYai Ltd(YaiYai有限公司)
本文提出TopNets框架,统一了TNNs与持续同调方法,并扩展至几何复形的等变与连续空间设置,理论证明其能增强网络表达能力,在抗体设计等任务上表现优异。
2024-06-05 cs.LG
Topological Regularization for Graph Neural Networks Augmentation
Jilin University(吉林大学);University of Trento(特伦托大学)
图形数据的复杂性和非欧结构阻碍了类似于计算机视觉中的数据增强方法的发展。提出了一种基于拓扑正则化的图节点特征扩充方法,将拓扑结构信息引入到端到端模型中。具体来说,我们首先通过基于随机游走的无监督表示学习方法获得节点的拓扑嵌入。然后将拓扑嵌入作为附加特征和原始节点特征输入到对偶图神经网络中进行传播,得到节点的两种不同的高阶邻域表示。在此基础上,我们提出了一种正则化技术来弥合两种不同节点表示之间的差异,消除了直接使用图的拓扑特征所带来的不利影响,大大提高了性能。我们已经在大量数据集上进行了广泛的实验,以证明我们的模型的有效性。
2021-04-03 cs.AI cs.LG
Improvement in Alzheimer's Disease MRI Images Analysis by Convolutional Neural Networks Via Topological Optimization
University of California, Irvine(加州大学欧文分校)
本文提出将Fourier拓扑优化用于MRI图像预处理,以增强脑结构边界和对比度,并结合VGG16、ResNet50、InceptionV3和Xception等CNN架构,显著提升了阿尔茨海默病的分类精度。
2023-10-25 cs.LG eess.IV
Topological Data Analysis for Anomaly Detection in Host-Based Logs
The Alan Turing Institute(艾伦·图灵研究所);The British Library(大英图书馆)
拓扑数据分析(TDA)使从业人员能够分析网络安全数据的全局结构。我们使用TDA在基于主机的日志中进行异常检测,这些日志是通过开源Logging Made Easy(LME)项目收集的。我们提出了一种方法,直接从Windows日志中建立单纯复合体的过滤,使其内在结构的分析,使用拓扑工具。我们比较持久的同源性和频谱图和超图拉普拉斯算子作为特征向量对标准日志嵌入计数事件的功效,并发现计算机日志的拓扑和频谱嵌入包含用于对异常日志进行分类的判别信息,该信息是标准嵌入的补充。最后,我们讨论了我们的方法被用作异常检测的一个可解释的框架的一部分的潜力。
2022-04-25 cs.AI cs.CR cs.LG
Leveraging The Topological Consistencies of Learning in Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院)
最近,已经开发了一些方法来准确预测深度神经网络(DNN)在特定任务上的测试性能,给出了其底层拓扑结构的统计数据。然而,由于在时间和内存方面的高计算成本,进一步利用这一新发现的见解进行实际应用是棘手的。在这项工作中,我们定义了一类新的拓扑特征,可以准确地描述学习的进展,同时在运行时快速计算。此外,我们提出的拓扑特征很容易进行反向传播,这意味着它们可以被纳入端到端训练。我们新开发的DNN的实用拓扑表征允许一组额外的应用。我们首先展示了我们可以在没有测试集和不需要高性能计算的情况下预测DNN的性能。我们还证明了DNN的拓扑特征在估计任务相似性方面是有效的。最后,我们证明了我们可以通过主动约束DNN的拓扑结构来诱导DNN的学习。这为在元学习框架中限制DNN的底层结构开辟了新的途径。
2021-11-30 cs.CV cs.LG
Deep Learning Topological Invariants of Band Insulators
Tsinghua University(清华大学);Peking University(北京大学);Massachusetts Institute of Technology(麻省理工学院);Collaborative Innovation Center of Quantum Matter(量子物质协同创新中心)
在这项工作中,我们设计并训练深度神经网络来预测拓扑不变量为绕组数的AIII类一维四带绝缘体和拓扑不变量为陈数的A类二维两带绝缘体的拓扑不变量。给定动量空间中的哈密顿量作为输入,神经网络可以预测两类的拓扑不变量,准确率接近或高于90%,即使是不变量超出训练数据集的哈密顿量。尽管神经网络的复杂性,我们发现某些中间隐藏层的输出类似于AIII类模型的缠绕角或A类模型的立体角(Berry曲率),这表明神经网络基本上捕获了拓扑不变量的数学公式。我们的工作证明了神经网络预测复杂模型的拓扑不变量的能力,并提供了一个例子,即使是深度神经网络也是可以理解的。
2018-06-09 cond-mat.str-el cs.AI cs.LG
Architectures of Topological Deep Learning: A Survey of Message-Passing Topological Neural Networks
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of San Francisco(旧金山大学)
本文综述了消息传递拓扑神经网络,通过统一数学与图形符号比较现有架构,梳理拓扑深度学习在关系系统中的应用、挑战与未来方向。
2024-02-21 cs.LG
Spot the Difference: Detection of Topological Changes via Geometric Alignment
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学)
几何对齐出现在各种应用中,范围从领域自适应、最佳传输和机器学习中的归一化流;计算机视觉中的光流和学习增强以及生物医学成像中的可变形配准。一个反复出现的挑战是拓扑结构不相同的结构域的对齐;这是一个经常被忽视的问题,可能会在下游分析中引入偏差。作为解决这种对齐问题的第一步,我们提出了一个无监督的算法,用于检测图像拓扑结构的变化。该模型是基于一个条件变分自动编码器,并检测两个图像之间的拓扑变化,在注册步骤。我们占下的空间变化和意想不到的变换在图像中的拓扑变化。我们的方法在两个任务和数据集上进行了验证:检测细胞显微图像中的拓扑变化,以及无监督异常检测脑成像。
2021-10-26 cs.CV cs.LG eess.IV
Topological Data Analysis for Neural Network Analysis: A Comprehensive Survey
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
本综述全面探讨了拓扑数据分析(TDA)在神经网络分析中的应用,利用持久同调和Mapper等工具,从四大领域系统梳理了如何通过拓扑信息分析网络的架构、决策边界、内部表示及训练动力学,并总结了其在泛化能力、对抗检测和模型选择等方面的实际意义与未来挑战。
2024-01-03 cs.LG math.AT
Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey
University of Vienna(维也纳大学)
由于架构复杂性和数据集大小的稳步增加,深度神经网络(DNN)中的训练和推理已经导致用于减少DNN训练和推理的时间和空间要求的策略的发展,这在训练发生在资源受限的计算环境中或推理是时间关键应用的一部分的场景中特别重要。在本次调查中,我们的目标是提供一个总体概述和分类的国家的最先进的(SOTA)的技术,以减少DNN的训练和推理时间和空间复杂度,特别是侧重于架构的适应。
2021-07-28 cs.AI cs.LG
Mathematical Invariant-Enabled Topological Neural Networks for Molecular and Materials Property Prediction
University of Georgia(佐治亚大学);University of San Francisco(旧金山大学);Cambridge University(剑桥大学)
本文提出数学不变量启发的拓扑神经网络(MITNN),通过多视角数学不变量与拓扑架构结合,提升分子和材料性质预测性能,并在多个任务中优于现有方法。
2026-10-07 cs.LG q-bio.BM
Vulnerability Detection via Topological Analysis of Attention Maps
Institute for Information Transmission Problems of Russian Academy of Sciences(俄罗斯科学院信息传输问题研究所)
本文提出利用拓扑数据分析工具从BERT注意力矩阵中提取特征,使传统机器学习模型在漏洞检测上达到与预训练语言模型CodeBERTa相当的性能。
2024-10-04 cs.AI cs.LG math.AT
Comparative Study of Neural Network Methods for Solving Topological Solitons
Saitama Institute of Technology(埼玉工业大学)
本文提出一种新的神经网络方法高效求解拓扑孤子,并与物理信息神经网络比较,证明其在保持相同精度的同时计算时间更短,为研究孤子动力学开辟了新途径。
2024-11-22 cs.AI cs.LG hep-th
Deep Neural Networks as the Semi-classical Limit of Topological Quantum Neural Networks: The problem of generalisation
Laboratori Nazionali di Frascati INFN(意大利国家核物理研究院弗拉斯卡蒂国家实验室);INFN sezione Roma “Tor Vergata”(意大利国家核物理研究院罗马第二大学分部);Department of Mathematics and Statistics, Idaho State University(爱达荷州立大学数学与统计系);Department of Physics, University of Rome “La Sapienza”(罗马第一大学物理系);Department of Mechanics and Aerospace Engineering, Southern University of Science and Technology(南方科技大学力学与航空航天工程系);Allen Discovery Center, Tufts University(塔夫茨大学艾伦发现中心);College of Design and Innovation, Tongji University(同济大学设计与创新学院)
本文提出利用基于拓扑量子场论的监督学习框架理解深度神经网络的泛化问题,将深度神经网络视为拓扑量子神经网络的半经典极限,解释了过拟合行为,并在感知机范例中应用新算法实现了无需训练即达到标准网络相似结果。
2024-10-11 cs.CG cs.LG math-ph
Topological Detection of Trojaned Neural Networks
Stony Brook University(石溪大学);Morgan Stanley(摩根士丹利);IST Austria(奥地利科学与技术研究所);City University of New York(纽约城市大学)
众所周知,深度神经网络存在安全问题。一个特别的威胁是特洛伊木马攻击。当攻击者通过特洛伊木马的训练样本悄悄地操纵模型的行为时,就会发生这种情况,这些样本以后可以被利用。在基本神经科学原理的指导下,我们发现了特洛伊模型特征的微妙但关键的结构偏差。在我们的分析中,我们使用拓扑工具。它们使我们能够对网络中的高阶依赖关系进行建模,鲁棒地比较不同的网络,并定位结构异常。一个有趣的观察是,木马模型开发了从输入到输出层的捷径。受这些观察的启发,我们设计了一个策略,木马模型的鲁棒检测。与标准基线相比,它在多个基准测试中显示出更好的性能。
2021-06-11 cs.CG cs.LG
Topological Neural Operators
Imperial College London(伦敦帝国学院);University of San Francisco(旧金山大学)
提出拓扑神经算子(TNOs),利用离散外微积分在细胞复形上实现跨维度耦合,并通过分层结构提升长程信息传播,在PDE基准上优于现有算子。
2026-06-08 cs.AI cs.LG
Topological Neural Networks: Mitigating the Bottlenecks of Graph Neural Networks via Higher-Order Interactions
Sapienza University of Rome(罗马大学)
本研究提出拓扑神经网络框架,通过高维结构传播消息缓解图神经网络的过挤压瓶颈,并提出了单纯注意力网络、胞腔注意力网络及增强型胞腔同构网络,有效捕获传统模型易遗漏的高阶依赖关系。
2024-02-10 cs.AI cs.LG
Topologically-Stabilized Graph Neural Networks: Empirical Robustness Across Domains
University of Belgrade, Faculty of Mathemtatics, Studentski trg
本文提出了一种结合持续同调特征和稳定性正则化的图神经网络方法,通过多尺度拓扑特征提升模型在跨领域数据集上的鲁棒性,同时保持较高的准确性。
2025-12-15 cs.LG cs.SI
Topological Signatures of ReLU Neural Network Activation Patterns
Applied Math and Computational Sciences University of Pennsylvania(应用数学与计算科学大学公园大学);Department of Mathematics Colorado State University(数学系科罗拉多州立大学);Departments of Mechanical Engineering & Computational Mathematics, Sciences and Engineering (CMSE) Michigan State University(机械工程与计算数学、科学与工程系密歇根州立大学);Department of Mathematics University of Washington(数学系华盛顿大学);Georgia Tech Research Institute(佐治亚理工研究学院)
研究ReLU神经网络激活模式的拓扑特征,分析特征空间的多面体分解,探讨Fiedler分区与决策边界的关系以及回归任务中同调与训练损失和多面体单元数的行为模式。
2026-01-09 cs.AI cs.CG cs.LG
Topological Feature Compression for Molecular Graph Neural Networks
提出一种结合压缩高阶拓扑信号与标准分子特征的图神经网络架构,在多个分子和材料基准上实现最佳准确性与鲁棒性,并开源代码。
2025-09-23 cs.LG
Topological derivative approach for deep neural network architecture adaptation
本文提出基于拓扑导数的深度神经网络架构适应方法,通过拓扑导数确定最优层插入位置及参数初始化,提升模型性能。
2026-02-28 cs.AI cs.LG
Do Neural Networks Trained with Topological Features Learn Different Internal Representations?
Colorado State University(科罗拉多州立大学);University of Texas, El Paso(德克萨斯大学埃尔帕索分校);University of Washington(华盛顿大学);Michigan State University(密歇根州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
越来越多的工作利用通过拓扑数据分析提取的特征来训练机器学习模型。虽然这一领域,有时被称为拓扑机器学习(TML),已经取得了一些显着的成功,从拓扑特征学习的过程如何不同于从原始数据学习的过程的理解仍然是有限的。在这项工作中,我们开始解决这个更大问题的一个组成部分,询问使用拓扑特征训练的模型是否学习到与使用原始原始数据训练的模型所学习到的数据的内部表示根本不同的数据的内部表示。为了量化"不同“,我们利用了两个流行的度量标准,可以用来衡量神经网络,神经拼接和中心内核对齐内的数据的隐藏表示的相似性。从这些,我们得出了一系列关于拓扑特征训练如何改变和不改变模型学习的表示的结论。也许不足为奇的是,我们发现,在结构上,在拓扑特征上训练和评估的模型的隐藏表示与在相应的原始数据上训练和评估的模型相比有很大的不同。另一方面,我们的实验表明,在某些情况下,这些表示可以使用简单的仿射变换来协调(至少在解决相应任务所需的程度上)。我们推测,这意味着在原始数据上训练的神经网络在进行预测的过程中可能会提取一些有限的拓扑特征。
2022-11-14 cs.CV cs.LG math.AT