EX-RAY: Distinguishing Injected Backdoor from Natural Features in Neural Networks by Examining Differential Feature Symmetry
Purdue University(普渡大学);Rutgers University(罗格斯大学)
后门攻击向模型注入恶意行为,使得嵌入有触发器的输入被错误分类为攻击者所需的目标标签。然而,自然特征可能表现得像触发器,一旦嵌入就会导致错误分类。虽然它们是不可避免的,但错误地将它们识别为注入的触发器会导致后门扫描中的错误警告。因此,一个突出的挑战是区分自然特征和注入的后门。我们开发了一种新的对称特征差分方法,该方法可以识别分离两个类的最小特征集。如果相应的触发器包含的特征不同于区分受害者和目标类的特征集,则认为后门被注入。我们在数以千计的模型上评估了这项技术,包括来自TrojAI第2-4轮比赛的干净和木马模型以及ImageNet上的一些模型。现有的后门扫描技术可能产生数百个假阳性(即,被识别为特洛伊木马的干净模型)。我们的技术消除了78-100%的误报(通过最先进的扫描仪ABS),误报率小幅增加0- 30%,实现了17-41%的整体准确性提高,并有助于在排行榜上实现最佳性能。它还提高了其他扫描仪的性能。它优于使用L2距离和归因技术的假阳性去除方法。我们还展示了它在检测许多语义后门攻击方面的潜力。
2021-03-17 cs.AI cs.CR cs.LG
TamperNN: Efficient Tampering Detection of Deployed Neural Nets
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Irisa(法国信息与随机系统研究所);LAAS/CNRS(法国国家科学研究中心系统分析与体系结构实验室)
神经网络正在为嵌入式设备和物联网的部署提供动力。应用范围从个人助理到自动驾驶汽车等关键应用。最近的研究表明,从神经网络获得的模型可以被特洛伊木马攻击;攻击者可以在面对精心制作的输入时触发任意模型行为。这对这些已部署设备的安全性和可靠性具有关键影响。我们引入新的算法来检测篡改部署的模型,特别是分类。在我们考虑的远程交互设置中,所提出的策略是识别模型输入空间的标记,如果模型受到攻击,这些标记可能会改变类别,从而允许用户检测可能的篡改。这种设置使我们的建议与广泛的场景兼容,例如嵌入式模型或通过预测API公开的模型。我们实验这些篡改检测算法上的规范MNIST数据集,在三种不同类型的神经网络,面对五种不同的攻击(木马,量化,微调,压缩和水印)。然后,我们使用最先进的数据集(VGGFace 2)验证了五个大型模型(VGG 16,VGG 19,ResNet,MobileNet,DenseNet),并报告了有效检测模型篡改的可能性。
2019-09-05 cs.CR cs.CV cs.LG
An Embarrassingly Simple Approach for Trojan Attack in Deep Neural Networks
Texas A&M University(德克萨斯农工大学)
随着深度神经网络(DNN)在高风险应用中的广泛应用,DNN模型的安全问题受到了广泛关注。在本文中,我们研究了一个特定的安全问题,称为木马攻击,其目的是攻击部署DNN系统依赖于隐藏的触发模式插入恶意黑客。我们提出了一种无训练的攻击方法,这是不同于以往的工作,其中特洛伊木马的行为注入重新训练模型上中毒的数据集。具体来说,我们不改变原始模型中的参数,而是在目标模型中插入一个微小的木马模块(TrojanNet)。当输入被特殊触发器标记时,带有恶意特洛伊木马的受感染模型可以将输入错误分类为目标标签。拟议的TrojanNet具有几个很好的特性,包括(1)它通过微小的触发模式激活,并对其他信号保持沉默,(2)它是模型不可知的,可以注入大多数DNN,大大扩展其攻击场景,(3)与传统的特洛伊木马攻击方法相比,免训练机制节省了大量的训练工作。实验结果表明,TrojanNet能够同时向所有标签注入木马(全标签木马攻击),在不影响原任务模型准确性的情况下,实现100%的攻击成功率。实验分析进一步表明,现有的木马检测算法无法检测到TrojanNet攻击。该代码可在https://github.com/trx14/TrojanNet上获得。
2020-06-18 cs.CR cs.LG
An Adaptive Black-box Backdoor Detection Method for Deep Neural Networks
UC San Diego(加州大学圣地亚哥分校);San Diego State University(圣地亚哥州立大学)
随着机器学习(ML)的兴起,大量的智能应用被开发出来。深度神经网络(DNN)在医疗诊断和自动驾驶等各个领域都表现出了前所未有的性能。虽然DNN广泛应用于安全敏感领域,但它们被认为容易受到由隐形触发器控制和激活的神经特洛伊木马(NT)攻击。在本文中,我们的目标是设计一个强大的和自适应的木马检测方案,检查是否一个预先训练的模型已被木马部署之前。现有的工作忽略了触发分布的内在属性,并试图使用简单的几何学来重建触发模式,即,将给定模型刺激到错误输出。因此,它们的检测时间和有效性受到限制。我们利用像素触发器通常具有空间依赖性的观察结果,并提出了第一个基于触发器近似的黑盒木马检测框架,该框架能够在输入空间中快速且可扩展地搜索触发器。此外,我们的方法还可以检测嵌入在特征空间中的木马,其中某些过滤器转换用于激活木马。我们进行了大量的实验,以研究我们的方法在各种数据集和ML模型上的性能。实证结果表明,我们的方法在公共TrojAI数据集上实现了0.93的ROC-AUC得分。我们的代码可以在https://github.com/xinqiaozhang/adatrojan上找到
2022-04-08 cs.CR cs.LG
Rapid and Precise Topological Comparison with Merge Tree Neural Networks
Tulane University(杜兰大学);Montana State University(蒙大拿州立大学)
本文提出归并树神经网络 MTNN,利用图神经网络嵌入和拓扑注意力机制实现快速精确的归并树相似度比较,在保持错误率低于0.1%的同时将速度提升超过100倍。
2024-10-04 cs.CG cs.LG
Depth-Width Trade-offs for Neural Networks via Topological Entropy
Harvard University(哈佛大学);Zhejiang University(浙江大学)
深度学习理论研究的核心问题之一是理解深度、宽度和节点数量等结构属性如何影响深度神经网络的表达能力。在这项工作中,我们展示了一个新的联系之间的表达能力的深度神经网络和拓扑熵的动力系统,它可以用来表征深度和宽度的权衡神经网络。利用结构参数给出了具有连续半代数单元的神经网络的拓扑熵的一个上界。具体地,具有$l$层和每层$m$节点的ReLU网络的拓扑熵由$O(l\log m)$上界。此外,如果神经网络是某个函数$f$的良好逼近,则神经网络的规模相对于$f$的拓扑熵具有指数下界.讨论了拓扑熵与振荡次数、周期和Lipschitz常数之间的关系。
2020-10-15 cs.LG
MDTD: A Multi Domain Trojan Detector for Deep Neural Networks
University of Washington(华盛顿大学);Western Washington University(西华盛顿大学)
本文提出MDTD,一种多域木马检测器,利用输入样本到决策边界的距离,在测试时识别包含木马触发器的输入,适用于图像、音频和图数据,并在多个数据集上有效检测不同触发器。
2023-09-03 cs.CR cs.LG
Understanding Deep Neural Networks Using Topological Data Analysis
Cornell University(康奈尔大学);Air Force Research Laboratory(美国空军研究实验室)
深度神经网络(DNN)是黑箱算法。它们使用梯度下降反向传播技术进行训练,该技术训练每层中的权重,以最小化训练误差。因此,无法直接解释由此产生的权重。使用拓扑数据分析(TDA),我们可以深入了解神经网络是如何思考的,特别是通过分析验证图像通过每一层时的激活值。
2018-10-31 cs.LG
TAD: Trigger Approximation based Black-box Trojan Detection for AI
随着机器学习(ML)的兴起,大量的智能应用被开发出来。深度神经网络(DNN)在医疗诊断和自动驾驶等各个领域都表现出了前所未有的性能。虽然DNN广泛应用于安全敏感领域,但它们被认为容易受到由隐形触发器控制和激活的神经特洛伊木马(NT)攻击。我们称这种脆弱的模型为对抗性人工智能(AI)。在本文中,我们的目标是设计一个强大的木马检测方案,检查预训练的AI模型是否在部署之前被木马感染。现有的工作忽略了触发分布的内在属性,并试图使用简单的几何学来重建触发模式,即,将给定模型刺激到错误输出。因此,它们的检测时间和有效性受到限制。我们利用像素触发器通常具有空间依赖性的观察结果,并提出了一种基于触发器近似的特洛伊木马检测框架,该框架可以在输入空间中快速和可扩展地搜索触发器。此外,恶意软件还可以检测嵌入在特征空间中的特洛伊木马,其中某些过滤器转换用于激活特洛伊木马。我们进行了大量的实验,以研究在各种数据集和ML模型上的性能。实证结果显示,木马在公共TrojAI数据集1上的ROC-AUC得分为0:91,每个模型的平均检测时间为7:1分钟。
2021-04-20 cs.AI cs.CR cs.LG
DeBUGCN -- Detecting Backdoors in CNNs Using Graph Convolutional Networks
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
针对深度神经网络易受后门攻击的问题,提出基于图卷积网络的后门检测方法DeBUGCN,通过将DNN权重构建为图层并用GCN二分类,在多数据集上验证其鲁棒性、模型无关性及更优的速度与准确率。
2025-02-25 cs.CV cs.LG
Universal Approximation and the Topological Neural Network
Department of Mathematical and Statistical Sciences, University of Alberta(阿尔伯塔大学数学与统计科学系);Statistics Canada(加拿大统计局)
本文提出拓扑神经网络和分布神经网络,将输入从有限维空间推广到吉洪诺夫空间和博雷尔测度空间,并通过强通用逼近定理证明其能任意逼近一致连续函数,从而扩展深度集合等深度学习概念。
2023-05-26 cs.LG
Topological Data Analysis of Neural Network Layer Representations
California Institute of Technology(加州理工学院)
本文对如何在神经网络层的内部表示中保持拓扑特征进行了粗略的研究。利用拓扑数据分析中的持久同调技术,计算了一个简单前馈神经网络对带有Klein瓶状扭曲的修正环面的层表示的拓扑特征.该网络似乎在早期层中近似同胚,然后在更深层中显着改变数据的拓扑结构。由此产生的噪声阻碍了持久同源性计算这些特征的能力,然而类似的拓扑特征似乎在具有双射激活函数的网络中持续更长时间。
2022-07-01 cs.AI cs.LG
Neural Approximation of Graph Topological Features
Wangxuan Institute of Computer Technology(王选计算机研究所);Peking University(北京大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Halıcıoğlu Data Science Institute(哈利奇奥卢数据科学研究所);University of California(加利福尼亚大学);Stony Brook University(石溪大学)
基于持久同源性的拓扑特征捕捉了高阶结构信息,从而增强了图神经网络方法。然而,计算扩展的持久同源性摘要对于大而密集的图仍然很慢,并且可能是学习管道的严重瓶颈。受最近神经算法推理成功的启发,我们提出了一种新的图神经网络来有效地估计图上的扩展持久性图(EPD)。我们的模型建立在算法见解的基础上,并受益于更好的监督和与EPD计算算法更紧密的一致性。我们验证了我们的方法与令人信服的实证结果近似EPD和下游图表示学习任务。我们的方法也很高效;在大型密集图上,我们将计算速度加快了近100倍。
2022-11-15 cs.LG
A Topological Framework for Deep Learning
Santa Clara University(圣克拉拉大学)
我们利用经典的事实,从拓扑结构表明,分类问题在机器学习总是可以解决的非常温和的条件下。此外,我们证明了softmax分类网络通过有限的拓扑移动序列作用于输入拓扑空间以实现分类任务。此外,给定一个训练数据集,我们展示了如何拓扑形式主义可以用来建议适当的架构选择神经网络设计的数据上的分类器进行训练。最后,我们展示了神经网络的架构如何不能独立于底层数据的形状来选择。为了证明这些结果,我们提供了示例数据集,并从拓扑角度展示了神经网络如何对它们进行操作。
2021-06-21 cs.CG cs.LG math.AT
Neural Topological Ordering for Computation Graphs
Qualcomm AI Research(高通人工智能研究院);Google LLC(谷歌有限责任公司);University of Amsterdam(阿姆斯特丹大学)
最近的工作机器学习的组合优化已经表明,基于学习的方法可以优于探试法在速度和性能方面。在本文中,我们考虑的问题,找到一个最佳的拓扑顺序上的有向无环图的内存最小化的问题,在编译器中出现的焦点。我们提出了一个端到端的机器学习为基础的方法,使用编码器-解码器框架的拓扑排序。我们的编码器是一种新的注意力为基础的图神经网络架构称为\emph{Topoformer},它使用不同的拓扑转换的DAG的消息传递。由编码器产生的节点嵌入被转换成节点优先级,其被解码器用于生成拓扑顺序上的概率分布。我们训练我们的模型的数据集的综合生成的图形称为分层图。我们表明,我们的模型优于,或与几个拓扑排序基线,同时显着更快的合成图与多达2k个节点。我们还训练和测试我们的模型上的一组现实世界的计算图,显示性能的改善。
2022-10-07 cs.LG
Nonparametric Topological Layers in Neural Networks
University of Nevada, Reno(内华达大学雷诺分校)
各种拓扑技术和工具已被应用到神经网络的网络复杂性,可解释性和性能方面。这条研究路线的一个基本假设是存在一个全局(欧几里德)坐标系,在该坐标系上构建拓扑层。尽管有有希望的结果,但这种\textit{topologization}方法尚未被广泛采用,因为拓扑化层的参数化花费相当多的时间,更重要的是,缺乏理论基础,没有该理论基础,神经网络的性能仅达到次优性能。本文提出了一种用于神经网络的可学习拓扑层,而不需要欧几里得空间;相反,所提出的构造只需要一个一般度量空间,除了内积,即,希尔伯特空间因此,所提出的拓扑层的相应参数化是免费的用户指定的超参数,这排除了昂贵的参数化阶段和相应的次优网络的可能性。
2021-11-27 cs.LG stat.ML
Topological Expressivity of ReLU Neural Networks
Technische Universität Berlin(柏林工业大学)
本文用Betti数量化ReLU网络在二分类中的拓扑简化能力,给出给定架构可实现简化的上下界,证明深度网络相较浅层具有指数级拓扑表达优势。
2024-06-10 cs.DM cs.LG math.AT
On shallow feedforward neural networks with inputs from a topological space
Institute of Mathematics and Mechanics(数学力学研究所);Center for Mathematics and its Applications(数学及其应用中心)
本文研究了输入来自拓扑空间的浅层前馈神经网络,证明了其通用逼近能力,并应用该结果得到了适用于紧致度量空间的Kolmogorov叠加定理的近似版本。
2026-10-27 cs.LG math.FA
Topological Neural Networks go Persistent, Equivariant, and Continuous
Aalto University(阿尔托大学);Federal Institute of Ceará(塞阿拉联邦学院);YaiYai Ltd(YaiYai有限公司)
本文提出TopNets框架,统一了TNNs与持续同调方法,并扩展至几何复形的等变与连续空间设置,理论证明其能增强网络表达能力,在抗体设计等任务上表现优异。
2024-06-05 cs.LG
Activation Landscapes as a Topological Summary of Neural Network Performance
University of Florida(佛罗里达大学)
我们使用拓扑数据分析(TDA)来研究数据在通过深度神经网络(DNN)的连续层时如何转换。我们计算网络每一层的激活数据的持久同源性,并使用持久性景观总结这些信息。所得到的特征图提供了网络的信息可视化和用于统计分析和机器学习的内核。我们观察到拓扑复杂度通常随着训练而增加,并且拓扑复杂度不会随着每一层而降低。
2021-10-19 cs.LG math.AT
Analysis on the Nonlinear Dynamics of Deep Neural Networks: Topological Entropy and Chaos
the University of Tennessee(田纳西大学)
深度神经网络(DNN)的理论解释仍然是一个悬而未决的问题。在本文中,DNN被认为是一个离散时间动力系统,由于其分层结构。在动力学的非线性提供的复杂性进行了分析的拓扑熵和混沌特征的李雅普诺夫指数。DNN的动力学揭示的属性被应用于分析相应的分类和泛化能力。
2019-01-08 cs.LG stat.ML
Local and global topological complexity measures OF ReLU neural network functions
Boston College(波士顿学院);University of Oregon(俄勒冈大学)
本文利用广义分段线性Morse理论为ReLU神经网络函数定义局部与全局拓扑复杂度,构造典范多面体复形和形变收缩作为计算模型,并证明局部复杂度可任意高。
2024-04-01 cs.CG cs.LG math.AT
Architectures of Topological Deep Learning: A Survey of Message-Passing Topological Neural Networks
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of San Francisco(旧金山大学)
本文综述了消息传递拓扑神经网络,通过统一数学与图形符号比较现有架构,梳理拓扑深度学习在关系系统中的应用、挑战与未来方向。
2024-02-21 cs.LG
From Classical to Topological Neural Networks Under Uncertainty
Department of Mathematics, University of Tennessee, Knoxville(田纳西大学数学系);U.S. Army DEVCOM Army Research Laboratory(美国陆军 DEVCOM 军事研究实验室)
本文研究了在不确定性下从经典到拓扑神经网络的发展,探讨了拓扑深度学习与贝叶斯方法在军事应用中的潜力。
2026-02-10 cs.AI cs.LG
Deep Neural Networks as the Semi-classical Limit of Topological Quantum Neural Networks: The problem of generalisation
Laboratori Nazionali di Frascati INFN(意大利国家核物理研究院弗拉斯卡蒂国家实验室);INFN sezione Roma “Tor Vergata”(意大利国家核物理研究院罗马第二大学分部);Department of Mathematics and Statistics, Idaho State University(爱达荷州立大学数学与统计系);Department of Physics, University of Rome “La Sapienza”(罗马第一大学物理系);Department of Mechanics and Aerospace Engineering, Southern University of Science and Technology(南方科技大学力学与航空航天工程系);Allen Discovery Center, Tufts University(塔夫茨大学艾伦发现中心);College of Design and Innovation, Tongji University(同济大学设计与创新学院)
本文提出利用基于拓扑量子场论的监督学习框架理解深度神经网络的泛化问题,将深度神经网络视为拓扑量子神经网络的半经典极限,解释了过拟合行为,并在感知机范例中应用新算法实现了无需训练即达到标准网络相似结果。
2024-10-11 cs.CG cs.LG math-ph
Dimensionality reduction and width of deep neural networks based on topological degree theory
School of Mathematics and Statistics, Huazhong University of Science and Technology(数学与统计学学院,华中科技大学);Hubei Key Laboratory of Engineering Modeling and Scientific Computing , Huazhong University of Science and Technology(工程建模与科学计算湖北省重点实验室,华中科技大学)
本文基于拓扑度理论建立紧致空间嵌入链接与降维可分离性的数学框架,并借此为深度神经网络的分类与逼近问题提供新见解。
2025-11-10 cs.LG math.GN
Topological Deep Learning: Classification Neural Networks
Santa Clara University(圣克拉拉大学)
拓扑深度学习是一种形式主义,旨在将拓扑语言引入深度学习,以便利用最小数学结构来形式化在一般深度学习问题中出现的问题。这是一系列文章的第一篇,目的是介绍和研究这种形式主义。在这篇文章中,我们定义和研究的分类问题,在机器学习的拓扑设置。使用这个拓扑框架,我们展示了在神经网络的背景下,分类问题是可能的或不可能的。最后,我们展示了我们的拓扑设置如何立即照亮这个问题的各个方面,使用传统的工具是不容易明显的。
2021-02-16 cs.LG math.AT stat.ML
Topological Understanding of Neural Networks, a survey
Texas A&M University(德州农工大学)
我们来看看神经网络的内部结构,它通常被视为一个黑匣子。最简单和最容易理解的事情是看一个二进制分类,并试图理解神经网络采取的方法。我们回顾了不同的激活函数的意义,与之相关的网络结构类型,以及一些经验数据。我们发现了一些有趣的观察结果,并有可能在这些想法的基础上验证真实数据集的过程。我们提出了一些可能的实验,期待在三个不同的方向。
2023-01-23 cs.LG math.AT
Topological Feature Compression for Molecular Graph Neural Networks
提出一种结合压缩高阶拓扑信号与标准分子特征的图神经网络架构,在多个分子和材料基准上实现最佳准确性与鲁棒性,并开源代码。
2025-09-23 cs.LG
PersLay: A Neural Network Layer for Persistence Diagrams and New Graph Topological Signatures
持久性图是拓扑数据分析中最常用的描述符,它对数据的拓扑属性进行了编码,并在数据科学的许多不同应用中发挥了关键作用。然而,由于持久性图的(度量)空间不是希尔伯特,它们最终成为大多数机器学习技术的困难输入。为了解决这个问题,已经提出了几种向量化方法,将持久性图嵌入到有限维欧几里得空间或(隐式)无限维希尔伯特空间中。在这项工作中,我们专注于建立在图形之上的持久性图。依靠扩展的持久性理论和所谓的热核签名,我们展示了如何图可以编码(扩展)持久性图在一个可证明的稳定的方式。然后,我们提出了一个通用的和通用的框架,学习持久性图的矢量化,其中包括文献中使用的矢量化技术。最后,我们通过在现实生活中的图数据集上实现分类任务的竞争性得分,展示了我们设置的实验实力。
2020-03-09 cs.CG cs.LG math.AT
Universal approximation theorem for neural networks with inputs from a topological vector space
Institute of Mathematics and Mechanics(数学与力学研究所);Center for Mathematics and its Applications, Khazar University(哈扎尔大学数学及其应用中心)
本文针对拓扑向量空间输入的前馈神经网络,证明其能逼近该扩展输入空间上的任意连续函数,从而扩展了神经网络的适用范围。
2024-09-19 cs.LG cs.NE stat.ML
Topological Regularization for Graph Neural Networks Augmentation
Jilin University(吉林大学);University of Trento(特伦托大学)
图形数据的复杂性和非欧结构阻碍了类似于计算机视觉中的数据增强方法的发展。提出了一种基于拓扑正则化的图节点特征扩充方法,将拓扑结构信息引入到端到端模型中。具体来说,我们首先通过基于随机游走的无监督表示学习方法获得节点的拓扑嵌入。然后将拓扑嵌入作为附加特征和原始节点特征输入到对偶图神经网络中进行传播,得到节点的两种不同的高阶邻域表示。在此基础上,我们提出了一种正则化技术来弥合两种不同节点表示之间的差异,消除了直接使用图的拓扑特征所带来的不利影响,大大提高了性能。我们已经在大量数据集上进行了广泛的实验,以证明我们的模型的有效性。
2021-04-03 cs.AI cs.LG
Improvement in Alzheimer's Disease MRI Images Analysis by Convolutional Neural Networks Via Topological Optimization
University of California, Irvine(加州大学欧文分校)
本文提出将Fourier拓扑优化用于MRI图像预处理,以增强脑结构边界和对比度,并结合VGG16、ResNet50、InceptionV3和Xception等CNN架构,显著提升了阿尔茨海默病的分类精度。
2023-10-25 cs.LG eess.IV
Weisfeiler Lehman Test on Combinatorial Complexes: Generalized Expressive Power of Topological Neural Networks
Jiangsu Key Laboratory of Networked Collective Intelligence, School of Mathematics, Southeast University(江苏网络化集体智能重点实验室,东南大学数学学院)
提出组合复形Weisfeiler-Lehman(CCWL)框架,通过四种结构邻域统一拓扑神经网络的表达能力,并证明在特定条件下可简化为仅使用上下邻域桥信息,实例化为CCIN网络,实验验证其有效性。
2026-06-17 cs.LG
Leveraging The Topological Consistencies of Learning in Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院)
最近,已经开发了一些方法来准确预测深度神经网络(DNN)在特定任务上的测试性能,给出了其底层拓扑结构的统计数据。然而,由于在时间和内存方面的高计算成本,进一步利用这一新发现的见解进行实际应用是棘手的。在这项工作中,我们定义了一类新的拓扑特征,可以准确地描述学习的进展,同时在运行时快速计算。此外,我们提出的拓扑特征很容易进行反向传播,这意味着它们可以被纳入端到端训练。我们新开发的DNN的实用拓扑表征允许一组额外的应用。我们首先展示了我们可以在没有测试集和不需要高性能计算的情况下预测DNN的性能。我们还证明了DNN的拓扑特征在估计任务相似性方面是有效的。最后,我们证明了我们可以通过主动约束DNN的拓扑结构来诱导DNN的学习。这为在元学习框架中限制DNN的底层结构开辟了新的途径。
2021-11-30 cs.CV cs.LG
Higher-Order Topological Directionality and Directed Simplicial Neural Networks
Istituto Italiano di Tecnologia(意大利技术研究院);Delft University of Technology(代尔夫特理工大学);Harvard University(哈佛大学)
针对高阶拓扑模型强制对称化关系的问题,提出高阶方向性概念并构建 Dir-SNN,以建模有向非单纯形交互,理论与实验证明其表达力和任务性能优势。
2025-01-16 cs.LG
Machine Learning Topological Invariants with Neural Networks
在这封信中,我们监督训练神经网络,以区分不同的拓扑相位的拓扑带绝缘体的上下文中。在用具有手征对称性的一维绝缘体的哈密顿量进行训练后,神经网络可以以接近100%的准确率预测它们的拓扑缠绕数,即使对于训练数据中不包括的具有较大缠绕数的哈密顿量也是如此。这些结果表明,神经网络可以从局部输入中捕获量子相位的全局和非线性拓扑特征。通过打开神经网络,我们确认网络确实学习了缠绕数公式的离散版本。我们还对对称性的作用和正则化技术在将机器学习应用于物理系统时的相反效果做了一些评论。
2018-01-19 cond-mat.dis-nn cond-mat.mes-hall cond-mat.str-el
Topological Signatures of ReLU Neural Network Activation Patterns
Applied Math and Computational Sciences University of Pennsylvania(应用数学与计算科学大学公园大学);Department of Mathematics Colorado State University(数学系科罗拉多州立大学);Departments of Mechanical Engineering & Computational Mathematics, Sciences and Engineering (CMSE) Michigan State University(机械工程与计算数学、科学与工程系密歇根州立大学);Department of Mathematics University of Washington(数学系华盛顿大学);Georgia Tech Research Institute(佐治亚理工研究学院)
研究ReLU神经网络激活模式的拓扑特征,分析特征空间的多面体分解,探讨Fiedler分区与决策边界的关系以及回归任务中同调与训练损失和多面体单元数的行为模式。
2026-01-09 cs.AI cs.CG cs.LG
Towards Interaction Detection Using Topological Analysis on Neural Networks
Texas A&M University(得克萨斯农工大学);Tencent Company(腾讯公司)
检测输入特征之间的统计相互作用是一项至关重要且具有挑战性的任务。最近的进展表明,从训练好的神经网络中提取学习到的交互是可能的。人们还观察到,在神经网络中,任何相互作用的特征必须遵循一个强加权连接到共同的隐藏单元。受此启发,本文提出从一个新的拓扑角度,通过分析神经网络的连通性来研究交互检测问题。特别是,我们提出了一个新的措施来量化的相互作用强度,持久同源性理论的基础上广受好评。在此基础上,提出了一种持久性交互检测算法(PID).我们提出的算法在几个合成和现实世界的数据集上使用不同的超参数进行交互检测任务的评估。实验结果验证了PID算法优于最先进的基线。
2020-11-04 cs.LG stat.ML
Copresheaf Topological Neural Networks: A Generalized Deep Learning Framework
Vinci4D;University of San Francisco(旧金山大学);Technical University of Munich(慕尼黑技术大学);Stanford University(斯坦福大学);PolyShape;Imperial College London(伦敦帝国学院);MCML
本文提出copresheaf拓扑神经网络(CTNNs),一种基于代数拓扑的统一深度学习框架,可泛化多种架构,有效解决长程依赖、过平滑等挑战,并在结构化数据基准上优于传统模型。
2025-10-26 cs.LG
Topological Data Analysis for Neural Network Analysis: A Comprehensive Survey
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
本综述全面探讨了拓扑数据分析(TDA)在神经网络分析中的应用,利用持久同调和Mapper等工具,从四大领域系统梳理了如何通过拓扑信息分析网络的架构、决策边界、内部表示及训练动力学,并总结了其在泛化能力、对抗检测和模型选择等方面的实际意义与未来挑战。
2024-01-03 cs.LG math.AT
Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey
University of Vienna(维也纳大学)
由于架构复杂性和数据集大小的稳步增加,深度神经网络(DNN)中的训练和推理已经导致用于减少DNN训练和推理的时间和空间要求的策略的发展,这在训练发生在资源受限的计算环境中或推理是时间关键应用的一部分的场景中特别重要。在本次调查中,我们的目标是提供一个总体概述和分类的国家的最先进的(SOTA)的技术,以减少DNN的训练和推理时间和空间复杂度,特别是侧重于架构的适应。
2021-07-28 cs.AI cs.LG
Mathematical Invariant-Enabled Topological Neural Networks for Molecular and Materials Property Prediction
University of Georgia(佐治亚大学);University of San Francisco(旧金山大学);Cambridge University(剑桥大学)
本文提出数学不变量启发的拓扑神经网络(MITNN),通过多视角数学不变量与拓扑架构结合,提升分子和材料性质预测性能,并在多个任务中优于现有方法。
2026-10-07 cs.LG q-bio.BM
On transversality of bent hyperplane arrangements and the topological expressiveness of ReLU neural networks
Boston College(波士顿学院)
设F:R^n -> R是一个前馈ReLU神经网络。众所周知,对于任何参数的选择,F是连续的和分段(仿射)线性的。我们为系统研究F的体系结构如何影响其可能的二元分类任务决策区域的几何和拓扑奠定了一些基础。遵循微分拓扑中光滑函数的经典进展,我们首先定义了通用的横向ReLU神经网络的概念,并证明几乎所有的ReLU网络都是通用的和横向的。然后,我们定义了一个部分定向的线性1-复域的F和确定的属性,这个复杂的决策区域的有界连通分量的存在产生的障碍。我们使用这个障碍来证明一个通用的,横向的ReLU网络F:R^n -> R的决策区域具有一个维度为(n + 1)的单个隐藏层,可以有不超过一个有界连通分量。
2021-12-02 cs.CG cs.LG math.CO
Topological Neural Operators
Imperial College London(伦敦帝国学院);University of San Francisco(旧金山大学)
提出拓扑神经算子(TNOs),利用离散外微积分在细胞复形上实现跨维度耦合,并通过分层结构提升长程信息传播,在PDE基准上优于现有算子。
2026-06-08 cs.AI cs.LG
Topological Neural Networks: Mitigating the Bottlenecks of Graph Neural Networks via Higher-Order Interactions
Sapienza University of Rome(罗马大学)
本研究提出拓扑神经网络框架,通过高维结构传播消息缓解图神经网络的过挤压瓶颈,并提出了单纯注意力网络、胞腔注意力网络及增强型胞腔同构网络,有效捕获传统模型易遗漏的高阶依赖关系。
2024-02-10 cs.AI cs.LG
Topologically-Stabilized Graph Neural Networks: Empirical Robustness Across Domains
University of Belgrade, Faculty of Mathemtatics, Studentski trg
本文提出了一种结合持续同调特征和稳定性正则化的图神经网络方法,通过多尺度拓扑特征提升模型在跨领域数据集上的鲁棒性,同时保持较高的准确性。
2025-12-15 cs.LG cs.SI
Ontology Neural Networks for Topologically Conditioned Constraint Satisfaction
Department of Mechanical Engineering Soongsil University Seoul, Republic of Korea(机械工程系首尔大学韩国)
本研究提出一种结合拓扑条件和梯度稳定机制的本体神经网络框架,通过优化方法在约束满足任务中实现高效且可解释的优化。
2026-01-08 cs.LG stat.ML
Topology of Out-of-Distribution Examples in Deep Neural Networks
Sandia National Laboratories(桑迪亚国家实验室)
本研究利用深度神经网络潜在层嵌入的拓扑特征(地标)来表征分布外示例,发现OOD示例的持久性显著更长,表明DNN难以对其进行拓扑简化,为OOD检测提供了新思路。
2025-01-21 cs.LG
Topological derivative approach for deep neural network architecture adaptation
本文提出基于拓扑导数的深度神经网络架构适应方法,通过拓扑导数确定最优层插入位置及参数初始化,提升模型性能。
2026-02-28 cs.AI cs.LG
Topological Insights into Sparse Neural Networks
Eindhoven University of Technology(埃因霍温理工大学);Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Twente(特文特大学);Scuola Superiore Sant’Anna(圣安娜高等研究院)
稀疏神经网络是减少部署深度神经网络的资源需求的有效方法。最近,出现了自适应稀疏连接的概念,允许通过在训练期间优化稀疏结构来从头开始训练稀疏神经网络。然而,比较不同的稀疏拓扑结构,并确定稀疏拓扑结构如何在训练过程中演变,特别是对于涉及稀疏结构优化的情况,仍然是具有挑战性的开放问题。这种比较变得越来越复杂,因为可能的拓扑比较的数量随着网络的规模呈指数级增加。在这项工作中,我们介绍了一种方法来理解和比较稀疏神经网络拓扑结构的图论的角度。我们首先提出神经网络稀疏拓扑距离(NNSTD)来度量不同稀疏神经网络之间的距离。此外,我们证明了稀疏神经网络可以在性能方面优于过参数化模型,即使没有任何进一步的结构优化。最后,我们还表明,自适应稀疏连接总是可以揭示大量的稀疏子网络与非常不同的拓扑结构优于密集模型,通过量化和比较他们的拓扑进化过程。后一项发现补充了彩票假说,表明有一种更有效和更强大的方法来找到“中奖彩票”。总之,我们的研究结果开始使稀疏神经网络更好的理论理解,并证明了使用图论来分析它们的实用性。
2020-07-04 cs.LG stat.ML
Learnable Topological Features for Phylogenetic Inference via Graph Neural Networks
Peking University(北京大学)
系统发育树拓扑结构信息在系统发育推断中起着重要作用。然而,为特定的系统发育推理任务找到合适的拓扑结构往往需要大量的设计工作和领域专业知识。本文提出了一种新的基于可学习拓扑特征的系统发育推理结构表示方法。通过将最小化Dirichlet能量的原始节点特征与现代图表示学习技术相结合,我们的可学习拓扑特征可以提供系统发育树的有效结构信息,这些系统发育树自动适应不同的下游任务,而无需领域专业知识。我们证明了我们的方法的有效性和效率的模拟数据树概率估计任务和挑战性的真实数据变分贝叶斯系统发育推理问题的基准。
2023-02-17 cs.LG q-bio.PE stat.ML
A Constructive Approach for One-Shot Training of Neural Networks Using Hypercube-Based Topological Coverings
在本文中,我们提出了一种新的构造性方法,用于使用几何方法训练深度神经网络。我们表明,拓扑覆盖可以用来定义一类分布式线性矩阵不等式,这反过来又直接指定的形状和深度的神经网络架构。关键的洞察力是线性矩阵不等式及其约束数据形状的能力之间的基本关系,以及现代神经网络中采用的整流线性单元(ReLU)激活函数。我们发现,单位覆盖的几何形状和覆盖孔隙率是两个设计变量覆盖建设性的学习,发挥了关键作用,在定义模型的复杂性和概括性的神经网络分类。在覆盖建构学习的背景下,这些发现强调了模型复杂性和过度拟合(由数据覆盖中的元素数量量化)与测试数据的可推广性之间的古老权衡。最后,我们在Iris、MNIST和Wine数据集上对算法进行了基准测试,结果表明,该构造性算法能够一次性训练深度神经网络分类器,在减少训练时间的情况下实现同等或更高水平的训练和测试分类精度。
2019-01-09 cs.LG stat.ML
A Variational Topological Neural Model for Cascade-based Diffusion in Networks
Sorbonne Université(巴黎索邦大学);LIP6(巴黎第六大学(LIP6))
在文献中已经提出了许多工作来捕捉网络中的扩散动力学。虽然他们中的一些人定义了图形马尔可夫模型来提取网络中节点感染之间的时间关系,但其他人认为扩散事件是通过递归神经模型的感染序列。在本文中,我们提出了一个模型在这两个极端的十字路口,它嵌入了历史的感染节点的扩散作为隐藏的连续状态。根据内容在到达给定节点之前所遵循的轨迹,影响概率的分布可能会有所不同。然而,内容轨迹通常隐藏在数据中,这会导致具有挑战性的学习问题。我们提出了一个拓扑递归神经模型,具有良好的实验性能的扩散建模和预测。
2018-12-28 cs.LG cs.SI stat.ML