Learnable Topological Features for Phylogenetic Inference via Graph Neural Networks
Peking University(北京大学)
系统发育树拓扑结构信息在系统发育推断中起着重要作用。然而,为特定的系统发育推理任务找到合适的拓扑结构往往需要大量的设计工作和领域专业知识。本文提出了一种新的基于可学习拓扑特征的系统发育推理结构表示方法。通过将最小化Dirichlet能量的原始节点特征与现代图表示学习技术相结合,我们的可学习拓扑特征可以提供系统发育树的有效结构信息,这些系统发育树自动适应不同的下游任务,而无需领域专业知识。我们证明了我们的方法的有效性和效率的模拟数据树概率估计任务和挑战性的真实数据变分贝叶斯系统发育推理问题的基准。
2023-02-17 cs.LG q-bio.PE stat.ML
Exploring Topological Bias in Heterogeneous Graph Neural Networks
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文研究了异构图神经网络中的拓扑偏差问题,提出了一种基于节点映射值差异的去偏结构,通过对比学习提升HGNN性能。
2025-12-04 cs.LG stat.ML
Quantum Topological Graph Neural Networks for Detecting Complex Fraud Patterns
Department of Electrical Engineering(电气工程系);Sharif University of Technology(谢里夫技术大学);Department of Electrical and Electronic Engineering(电气与电子工程系);Shahed University(沙赫德大学)
QTGNN结合量子嵌入、拓扑分析和变分图卷积,提供一种理论严谨且实用的金融欺诈检测方法。
2025-12-03 cs.AI cs.LG
Topological Graph Neural Networks
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所);KU Leuven(鲁汶大学);Helmholtz Munich(亥姆霍兹慕尼黑中心);Technical University of Munich(慕尼黑工业大学)
图神经网络(GNN)是处理图学习任务的强大架构,但已被证明对循环等重要子结构不敏感。我们提出了TOGL,一个新的层,采用持久同源性的图的全局拓扑信息。TOGL可以很容易地集成到任何类型的GNN中,并且比消息传递GNN更具有严格的表达性(根据Weisfeiler-Lehman图同构测试)。使用TOGL增强GNN可以提高图和节点分类任务的预测性能,无论是在合成数据集上,这些数据集可以由人类使用其拓扑结构进行分类,但不能由普通GNN进行分类,还是在现实世界的数据上。
2022-03-17 cs.LG math.AT stat.ML
Graph Neural Networks for Topological Feature Extraction in ECG Classification
University of Siena(锡耶纳大学)
针对ECG分类中基于图神经网络的拓扑特征利用不足的问题,提出三种结合拓扑特征提取与图同构网络的心跳分类方法,在PTB Diagnostics数据集上最高实现99.38%的心律失常分类准确率。
2023-11-02 cs.CL cs.LG eess.SP
Depth-Width Trade-offs for Neural Networks via Topological Entropy
Harvard University(哈佛大学);Zhejiang University(浙江大学)
深度学习理论研究的核心问题之一是理解深度、宽度和节点数量等结构属性如何影响深度神经网络的表达能力。在这项工作中,我们展示了一个新的联系之间的表达能力的深度神经网络和拓扑熵的动力系统,它可以用来表征深度和宽度的权衡神经网络。利用结构参数给出了具有连续半代数单元的神经网络的拓扑熵的一个上界。具体地,具有$l$层和每层$m$节点的ReLU网络的拓扑熵由$O(l\log m)$上界。此外,如果神经网络是某个函数$f$的良好逼近,则神经网络的规模相对于$f$的拓扑熵具有指数下界.讨论了拓扑熵与振荡次数、周期和Lipschitz常数之间的关系。
2020-10-15 cs.LG
Understanding Deep Neural Networks Using Topological Data Analysis
Cornell University(康奈尔大学);Air Force Research Laboratory(美国空军研究实验室)
深度神经网络(DNN)是黑箱算法。它们使用梯度下降反向传播技术进行训练,该技术训练每层中的权重,以最小化训练误差。因此,无法直接解释由此产生的权重。使用拓扑数据分析(TDA),我们可以深入了解神经网络是如何思考的,特别是通过分析验证图像通过每一层时的激活值。
2018-10-31 cs.LG
Universal Approximation and the Topological Neural Network
Department of Mathematical and Statistical Sciences, University of Alberta(阿尔伯塔大学数学与统计科学系);Statistics Canada(加拿大统计局)
本文提出拓扑神经网络和分布神经网络,将输入从有限维空间推广到吉洪诺夫空间和博雷尔测度空间,并通过强通用逼近定理证明其能任意逼近一致连续函数,从而扩展深度集合等深度学习概念。
2023-05-26 cs.LG
Topological Data Analysis of Neural Network Layer Representations
California Institute of Technology(加州理工学院)
本文对如何在神经网络层的内部表示中保持拓扑特征进行了粗略的研究。利用拓扑数据分析中的持久同调技术,计算了一个简单前馈神经网络对带有Klein瓶状扭曲的修正环面的层表示的拓扑特征.该网络似乎在早期层中近似同胚,然后在更深层中显着改变数据的拓扑结构。由此产生的噪声阻碍了持久同源性计算这些特征的能力,然而类似的拓扑特征似乎在具有双射激活函数的网络中持续更长时间。
2022-07-01 cs.AI cs.LG
Architectures of Topological Deep Learning: A Survey of Message-Passing Topological Neural Networks
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of San Francisco(旧金山大学)
本文综述了消息传递拓扑神经网络,通过统一数学与图形符号比较现有架构,梳理拓扑深度学习在关系系统中的应用、挑战与未来方向。
2024-02-21 cs.LG
Extending the Universal Approximation Theorem for a Broad Class of Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas(坎皮纳斯州立大学)
本文通过引入非退化超复代数概念,将万能逼近定理扩展至一大类超复数值神经网络,涵盖复数、四元数和tessarines等代数,为该类网络的存在性提供了理论支撑。
2022-09-06 cs.LG
Nonparametric Topological Layers in Neural Networks
University of Nevada, Reno(内华达大学雷诺分校)
各种拓扑技术和工具已被应用到神经网络的网络复杂性,可解释性和性能方面。这条研究路线的一个基本假设是存在一个全局(欧几里德)坐标系,在该坐标系上构建拓扑层。尽管有有希望的结果,但这种\textit{topologization}方法尚未被广泛采用,因为拓扑化层的参数化花费相当多的时间,更重要的是,缺乏理论基础,没有该理论基础,神经网络的性能仅达到次优性能。本文提出了一种用于神经网络的可学习拓扑层,而不需要欧几里得空间;相反,所提出的构造只需要一个一般度量空间,除了内积,即,希尔伯特空间因此,所提出的拓扑层的相应参数化是免费的用户指定的超参数,这排除了昂贵的参数化阶段和相应的次优网络的可能性。
2021-11-27 cs.LG stat.ML
Topological Expressivity of ReLU Neural Networks
Technische Universität Berlin(柏林工业大学)
本文用Betti数量化ReLU网络在二分类中的拓扑简化能力,给出给定架构可实现简化的上下界,证明深度网络相较浅层具有指数级拓扑表达优势。
2024-06-10 cs.DM cs.LG math.AT
On shallow feedforward neural networks with inputs from a topological space
Institute of Mathematics and Mechanics(数学力学研究所);Center for Mathematics and its Applications(数学及其应用中心)
本文研究了输入来自拓扑空间的浅层前馈神经网络,证明了其通用逼近能力,并应用该结果得到了适用于紧致度量空间的Kolmogorov叠加定理的近似版本。
2026-10-27 cs.LG math.FA
Activation Landscapes as a Topological Summary of Neural Network Performance
University of Florida(佛罗里达大学)
我们使用拓扑数据分析(TDA)来研究数据在通过深度神经网络(DNN)的连续层时如何转换。我们计算网络每一层的激活数据的持久同源性,并使用持久性景观总结这些信息。所得到的特征图提供了网络的信息可视化和用于统计分析和机器学习的内核。我们观察到拓扑复杂度通常随着训练而增加,并且拓扑复杂度不会随着每一层而降低。
2021-10-19 cs.LG math.AT
Analysis on the Nonlinear Dynamics of Deep Neural Networks: Topological Entropy and Chaos
the University of Tennessee(田纳西大学)
深度神经网络(DNN)的理论解释仍然是一个悬而未决的问题。在本文中,DNN被认为是一个离散时间动力系统,由于其分层结构。在动力学的非线性提供的复杂性进行了分析的拓扑熵和混沌特征的李雅普诺夫指数。DNN的动力学揭示的属性被应用于分析相应的分类和泛化能力。
2019-01-08 cs.LG stat.ML
From Classical to Topological Neural Networks Under Uncertainty
Department of Mathematics, University of Tennessee, Knoxville(田纳西大学数学系);U.S. Army DEVCOM Army Research Laboratory(美国陆军 DEVCOM 军事研究实验室)
本文研究了在不确定性下从经典到拓扑神经网络的发展,探讨了拓扑深度学习与贝叶斯方法在军事应用中的潜力。
2026-02-10 cs.AI cs.LG
Dimensionality reduction and width of deep neural networks based on topological degree theory
School of Mathematics and Statistics, Huazhong University of Science and Technology(数学与统计学学院,华中科技大学);Hubei Key Laboratory of Engineering Modeling and Scientific Computing , Huazhong University of Science and Technology(工程建模与科学计算湖北省重点实验室,华中科技大学)
本文基于拓扑度理论建立紧致空间嵌入链接与降维可分离性的数学框架,并借此为深度神经网络的分类与逼近问题提供新见解。
2025-11-10 cs.LG math.GN
Universal approximation theorem for neural networks with inputs from a topological vector space
Institute of Mathematics and Mechanics(数学与力学研究所);Center for Mathematics and its Applications, Khazar University(哈扎尔大学数学及其应用中心)
本文针对拓扑向量空间输入的前馈神经网络,证明其能逼近该扩展输入空间上的任意连续函数,从而扩展了神经网络的适用范围。
2024-09-19 cs.LG cs.NE stat.ML
Topological Deep Learning: Classification Neural Networks
Santa Clara University(圣克拉拉大学)
拓扑深度学习是一种形式主义,旨在将拓扑语言引入深度学习,以便利用最小数学结构来形式化在一般深度学习问题中出现的问题。这是一系列文章的第一篇,目的是介绍和研究这种形式主义。在这篇文章中,我们定义和研究的分类问题,在机器学习的拓扑设置。使用这个拓扑框架,我们展示了在神经网络的背景下,分类问题是可能的或不可能的。最后,我们展示了我们的拓扑设置如何立即照亮这个问题的各个方面,使用传统的工具是不容易明显的。
2021-02-16 cs.LG math.AT stat.ML
Topological Grammars for Data Approximation
提出了一种多维数据近似的{ \it拓扑文法}方法。对于具有复杂拓扑结构的数据,我们定义了低维的{ \it主三次复合体},并给出了数据集的最佳近似的复杂性。这个复形是线性和非线性主流形的推广,并将它们作为特例。将最优主复形的构造问题转化为一系列二次泛函的极小化问题。这些二次泛函在弹性能方面有物理上透明的解释。对于能量计算,整个复合体被表示为节点和弹簧的系统。拓扑上,主复形是一维连续体(用图表示)的产物,文法描述了这些连续体在最佳复形构造过程中如何变换。这种分解的整个过程到一维变换使用二次能量泛函的最小化,使我们能够构建有效的算法。
2006-07-28 cs.LG cs.NE
Topological Understanding of Neural Networks, a survey
Texas A&M University(德州农工大学)
我们来看看神经网络的内部结构,它通常被视为一个黑匣子。最简单和最容易理解的事情是看一个二进制分类,并试图理解神经网络采取的方法。我们回顾了不同的激活函数的意义,与之相关的网络结构类型,以及一些经验数据。我们发现了一些有趣的观察结果,并有可能在这些想法的基础上验证真实数据集的过程。我们提出了一些可能的实验,期待在三个不同的方向。
2023-01-23 cs.LG math.AT
Improvement in Alzheimer's Disease MRI Images Analysis by Convolutional Neural Networks Via Topological Optimization
University of California, Irvine(加州大学欧文分校)
本文提出将Fourier拓扑优化用于MRI图像预处理,以增强脑结构边界和对比度,并结合VGG16、ResNet50、InceptionV3和Xception等CNN架构,显著提升了阿尔茨海默病的分类精度。
2023-10-25 cs.LG eess.IV
Universal Approximation Theorem for Neural Networks
九州大学大学院数理学府
神经网络的逼近能力是否有理论保证?这个问题的答案是“神经网络的通用逼近定理“。该定理指出,在适当的设置下,神经网络在一定的函数空间中是稠密的。本文对前向神经网络的普适逼近定理、逼近速度问题(中间单元数与逼近误差的关系)以及日本的Barron空间作了全面的解释。
2021-02-19 cs.AI cs.LG
Machine Learning Topological Invariants with Neural Networks
在这封信中,我们监督训练神经网络,以区分不同的拓扑相位的拓扑带绝缘体的上下文中。在用具有手征对称性的一维绝缘体的哈密顿量进行训练后,神经网络可以以接近100%的准确率预测它们的拓扑缠绕数,即使对于训练数据中不包括的具有较大缠绕数的哈密顿量也是如此。这些结果表明,神经网络可以从局部输入中捕获量子相位的全局和非线性拓扑特征。通过打开神经网络,我们确认网络确实学习了缠绕数公式的离散版本。我们还对对称性的作用和正则化技术在将机器学习应用于物理系统时的相反效果做了一些评论。
2018-01-19 cond-mat.dis-nn cond-mat.mes-hall cond-mat.str-el
Leveraging The Topological Consistencies of Learning in Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院)
最近,已经开发了一些方法来准确预测深度神经网络(DNN)在特定任务上的测试性能,给出了其底层拓扑结构的统计数据。然而,由于在时间和内存方面的高计算成本,进一步利用这一新发现的见解进行实际应用是棘手的。在这项工作中,我们定义了一类新的拓扑特征,可以准确地描述学习的进展,同时在运行时快速计算。此外,我们提出的拓扑特征很容易进行反向传播,这意味着它们可以被纳入端到端训练。我们新开发的DNN的实用拓扑表征允许一组额外的应用。我们首先展示了我们可以在没有测试集和不需要高性能计算的情况下预测DNN的性能。我们还证明了DNN的拓扑特征在估计任务相似性方面是有效的。最后,我们证明了我们可以通过主动约束DNN的拓扑结构来诱导DNN的学习。这为在元学习框架中限制DNN的底层结构开辟了新的途径。
2021-11-30 cs.CV cs.LG
Towards Interaction Detection Using Topological Analysis on Neural Networks
Texas A&M University(得克萨斯农工大学);Tencent Company(腾讯公司)
检测输入特征之间的统计相互作用是一项至关重要且具有挑战性的任务。最近的进展表明,从训练好的神经网络中提取学习到的交互是可能的。人们还观察到,在神经网络中,任何相互作用的特征必须遵循一个强加权连接到共同的隐藏单元。受此启发,本文提出从一个新的拓扑角度,通过分析神经网络的连通性来研究交互检测问题。特别是,我们提出了一个新的措施来量化的相互作用强度,持久同源性理论的基础上广受好评。在此基础上,提出了一种持久性交互检测算法(PID).我们提出的算法在几个合成和现实世界的数据集上使用不同的超参数进行交互检测任务的评估。实验结果验证了PID算法优于最先进的基线。
2020-11-04 cs.LG stat.ML
Topological Data Analysis for Neural Network Analysis: A Comprehensive Survey
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
本综述全面探讨了拓扑数据分析(TDA)在神经网络分析中的应用,利用持久同调和Mapper等工具,从四大领域系统梳理了如何通过拓扑信息分析网络的架构、决策边界、内部表示及训练动力学,并总结了其在泛化能力、对抗检测和模型选择等方面的实际意义与未来挑战。
2024-01-03 cs.LG math.AT
Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey
University of Vienna(维也纳大学)
由于架构复杂性和数据集大小的稳步增加,深度神经网络(DNN)中的训练和推理已经导致用于减少DNN训练和推理的时间和空间要求的策略的发展,这在训练发生在资源受限的计算环境中或推理是时间关键应用的一部分的场景中特别重要。在本次调查中,我们的目标是提供一个总体概述和分类的国家的最先进的(SOTA)的技术,以减少DNN的训练和推理时间和空间复杂度,特别是侧重于架构的适应。
2021-07-28 cs.AI cs.LG
Mathematical Invariant-Enabled Topological Neural Networks for Molecular and Materials Property Prediction
University of Georgia(佐治亚大学);University of San Francisco(旧金山大学);Cambridge University(剑桥大学)
本文提出数学不变量启发的拓扑神经网络(MITNN),通过多视角数学不变量与拓扑架构结合,提升分子和材料性质预测性能,并在多个任务中优于现有方法。
2026-10-07 cs.LG q-bio.BM
Topological Detection of Trojaned Neural Networks
Stony Brook University(石溪大学);Morgan Stanley(摩根士丹利);IST Austria(奥地利科学与技术研究所);City University of New York(纽约城市大学)
众所周知,深度神经网络存在安全问题。一个特别的威胁是特洛伊木马攻击。当攻击者通过特洛伊木马的训练样本悄悄地操纵模型的行为时,就会发生这种情况,这些样本以后可以被利用。在基本神经科学原理的指导下,我们发现了特洛伊模型特征的微妙但关键的结构偏差。在我们的分析中,我们使用拓扑工具。它们使我们能够对网络中的高阶依赖关系进行建模,鲁棒地比较不同的网络,并定位结构异常。一个有趣的观察是,木马模型开发了从输入到输出层的捷径。受这些观察的启发,我们设计了一个策略,木马模型的鲁棒检测。与标准基线相比,它在多个基准测试中显示出更好的性能。
2021-06-11 cs.CG cs.LG
Topological Neural Operators
Imperial College London(伦敦帝国学院);University of San Francisco(旧金山大学)
提出拓扑神经算子(TNOs),利用离散外微积分在细胞复形上实现跨维度耦合,并通过分层结构提升长程信息传播,在PDE基准上优于现有算子。
2026-06-08 cs.AI cs.LG
Deep Invertible Approximation of Topologically Rich Maps between Manifolds
South Dakota State University(南达科他州立大学);University of Helsinki(赫尔辛基大学);University of Basel(巴塞尔大学);Rice University(莱斯大学)
我们怎样才能设计出神经网络,使其能够对拓扑上有趣的流形之间的映射进行稳定的通用逼近?答案是坐标投影。基于拓扑数据分析(TDA)的神经网络使用诸如持久同源性之类的工具来学习数据的拓扑签名并稳定训练,但可能不是通用近似器或具有稳定逆。其他架构普遍近似子流形上的数据分布,但仅当后者由单个图表给出时,使它们无法学习改变拓扑的地图。通过利用局部bilipschitz映射,覆盖空间和局部同胚之间的拓扑相似性,并通过使用机器学习中的通用近似参数,我们发现一种形式为$\mathcal{T} \circ p \circ \mathcal{E}$的新型网络,其中$\mathcal{E}$是内射网络,$p$是固定坐标投影,$\mathcal{T}$是双射网络,是嵌入在$\mathbb{R}^n$中的紧致光滑子流形之间的局部自同态的泛逼近器。我们强调的情况下,目标地图改变拓扑结构。此外,我们发现,通过约束投影$p$,我们的网络的多值反演可以计算而不牺牲普遍性。作为一个应用程序,我们表明,学习一个群不变函数与未知的组行动自然减少到学习局部有限群的同构的问题。我们的理论使我们能够恢复轨道的群体行动。我们还概述了我们的架构,以解决分子成像的对称性的可能的扩展。最后,我们的分析通知生成问题的拓扑表达的起始空间的选择。
2022-10-02 cs.LG math.AT
Ontology Neural Networks for Topologically Conditioned Constraint Satisfaction
Department of Mechanical Engineering Soongsil University Seoul, Republic of Korea(机械工程系首尔大学韩国)
本研究提出一种结合拓扑条件和梯度稳定机制的本体神经网络框架,通过优化方法在约束满足任务中实现高效且可解释的优化。
2026-01-08 cs.LG stat.ML
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University(普林斯顿大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们证明了对于低维解析函数,深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
Topological derivative approach for deep neural network architecture adaptation
本文提出基于拓扑导数的深度神经网络架构适应方法,通过拓扑导数确定最优层插入位置及参数初始化,提升模型性能。
2026-02-28 cs.AI cs.LG
Topological Insights into Sparse Neural Networks
Eindhoven University of Technology(埃因霍温理工大学);Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Twente(特文特大学);Scuola Superiore Sant’Anna(圣安娜高等研究院)
稀疏神经网络是减少部署深度神经网络的资源需求的有效方法。最近,出现了自适应稀疏连接的概念,允许通过在训练期间优化稀疏结构来从头开始训练稀疏神经网络。然而,比较不同的稀疏拓扑结构,并确定稀疏拓扑结构如何在训练过程中演变,特别是对于涉及稀疏结构优化的情况,仍然是具有挑战性的开放问题。这种比较变得越来越复杂,因为可能的拓扑比较的数量随着网络的规模呈指数级增加。在这项工作中,我们介绍了一种方法来理解和比较稀疏神经网络拓扑结构的图论的角度。我们首先提出神经网络稀疏拓扑距离(NNSTD)来度量不同稀疏神经网络之间的距离。此外,我们证明了稀疏神经网络可以在性能方面优于过参数化模型,即使没有任何进一步的结构优化。最后,我们还表明,自适应稀疏连接总是可以揭示大量的稀疏子网络与非常不同的拓扑结构优于密集模型,通过量化和比较他们的拓扑进化过程。后一项发现补充了彩票假说,表明有一种更有效和更强大的方法来找到“中奖彩票”。总之,我们的研究结果开始使稀疏神经网络更好的理论理解,并证明了使用图论来分析它们的实用性。
2020-07-04 cs.LG stat.ML
A Constructive Approach for One-Shot Training of Neural Networks Using Hypercube-Based Topological Coverings
在本文中,我们提出了一种新的构造性方法,用于使用几何方法训练深度神经网络。我们表明,拓扑覆盖可以用来定义一类分布式线性矩阵不等式,这反过来又直接指定的形状和深度的神经网络架构。关键的洞察力是线性矩阵不等式及其约束数据形状的能力之间的基本关系,以及现代神经网络中采用的整流线性单元(ReLU)激活函数。我们发现,单位覆盖的几何形状和覆盖孔隙率是两个设计变量覆盖建设性的学习,发挥了关键作用,在定义模型的复杂性和概括性的神经网络分类。在覆盖建构学习的背景下,这些发现强调了模型复杂性和过度拟合(由数据覆盖中的元素数量量化)与测试数据的可推广性之间的古老权衡。最后,我们在Iris、MNIST和Wine数据集上对算法进行了基准测试,结果表明,该构造性算法能够一次性训练深度神经网络分类器,在减少训练时间的情况下实现同等或更高水平的训练和测试分类精度。
2019-01-09 cs.LG stat.ML
A Variational Topological Neural Model for Cascade-based Diffusion in Networks
Sorbonne Université(巴黎索邦大学);LIP6(巴黎第六大学(LIP6))
在文献中已经提出了许多工作来捕捉网络中的扩散动力学。虽然他们中的一些人定义了图形马尔可夫模型来提取网络中节点感染之间的时间关系,但其他人认为扩散事件是通过递归神经模型的感染序列。在本文中,我们提出了一个模型在这两个极端的十字路口,它嵌入了历史的感染节点的扩散作为隐藏的连续状态。根据内容在到达给定节点之前所遵循的轨迹,影响概率的分布可能会有所不同。然而,内容轨迹通常隐藏在数据中,这会导致具有挑战性的学习问题。我们提出了一个拓扑递归神经模型,具有良好的实验性能的扩散建模和预测。
2018-12-28 cs.LG cs.SI stat.ML
Topological Measurement of Deep Neural Networks Using Persistent Homology
Waseda University(早稻田大学)
深度神经网络(DNN)的内部表示是不可破译的,这使得调整DNN模型,控制其训练过程以及解释其输出变得困难。在本文中,我们提出了一种新的方法来研究DNN的内部表示,通过拓扑数据分析(TDA)。持久同源性(PH),TDA中的杰出方法之一,用于研究训练DNN的复杂性。我们在训练的DNN上构建团复合体,并计算DNN的一维PH。PH揭示了DNN中多个神经元在不同分辨率下的组合效应,这在不使用PH的情况下很难被捕获。使用全连接网络(FCN)以及在MNIST和CIFAR-10数据集上训练的FCN和卷积神经网络(CNN)相结合的网络进行了评估。评估结果表明,DNN的PH反映了神经元的过剩和问题的难度,使PH成为研究DNN内部表示的主要方法之一。
2021-06-06 cs.AI cs.LG
Optimal Function Approximation with Relu Neural Networks
Faculty of Information Technology, Beijing University of Technology(北京工业大学信息学部)
本文研究了一元凸函数的前馈Relu神经网络最优逼近问题。我们感兴趣的是以下问题:什么是最小的近似误差给定的数量近似线性件?我们建立了最佳逼近的充要条件和唯一性,并给出了最佳逼近误差的上下界。Relu神经网络架构,然后提出产生这些最佳的近似。最后,我们提出了一个算法来寻找最佳的近似,以及证明其收敛性和验证它与实验结果。
2019-09-10 cs.LG stat.ML
Deep Learning Topological Invariants of Band Insulators
Tsinghua University(清华大学);Peking University(北京大学);Massachusetts Institute of Technology(麻省理工学院);Collaborative Innovation Center of Quantum Matter(量子物质协同创新中心)
在这项工作中,我们设计并训练深度神经网络来预测拓扑不变量为绕组数的AIII类一维四带绝缘体和拓扑不变量为陈数的A类二维两带绝缘体的拓扑不变量。给定动量空间中的哈密顿量作为输入,神经网络可以预测两类的拓扑不变量,准确率接近或高于90%,即使是不变量超出训练数据集的哈密顿量。尽管神经网络的复杂性,我们发现某些中间隐藏层的输出类似于AIII类模型的缠绕角或A类模型的立体角(Berry曲率),这表明神经网络基本上捕获了拓扑不变量的数学公式。我们的工作证明了神经网络预测复杂模型的拓扑不变量的能力,并提供了一个例子,即使是深度神经网络也是可以理解的。
2018-06-09 cond-mat.str-el cs.AI cs.LG
On the validity of kernel approximations for orthogonally-initialized neural networks
DeepMind
在这篇文章中,我们扩展核函数近似结果的神经网络与高斯分布的权重,单层网络初始化使用Haar分布的随机正交矩阵(与可能的重新缩放)。这是使用随机矩阵理论的最新结果完成的。
2021-04-13 cs.LG cs.NE
Error bounds for approximations with deep ReLU neural networks in $W^{s,p}$ norms
Technische Universität Berlin(柏林工业大学);University of Oxford(牛津大学)
我们分析了深度ReLU神经网络对Sobolev-正则函数相对于较弱Sobolev范数的逼近率。首先,我们基于ReLU网络的演算构建具有ReLU激活函数的人工神经网络,这些函数可以达到一定的近似率。其次,我们建立了ReLU神经网络对Sobolev-正则函数类的逼近下界。我们的研究结果将ReLU网络逼近论的最新进展扩展到与偏微分方程数值分析应用最相关的领域。
2019-02-21 cs.LG math.FA
Comparative Study of Neural Network Methods for Solving Topological Solitons
Saitama Institute of Technology(埼玉工业大学)
本文提出一种新的神经网络方法高效求解拓扑孤子,并与物理信息神经网络比较,证明其在保持相同精度的同时计算时间更短,为研究孤子动力学开辟了新途径。
2024-11-22 cs.AI cs.LG hep-th
Topological DeepONets and a generalization of the Chen-Chen operator approximation theorem
本文提出拓扑深度ONets,扩展陈-陈算子近似定理至局部凸空间,实现对连续算子的统一近似。
2026-03-12 cs.LG cs.NE math.FA
Deep Function Machines: Generalized Neural Networks for Topological Layer Expression
Machine Learning at Berkeley(伯克利机器学习);University of California, Berkeley(加州大学伯克利分校)
在本文中,我们提出了一种广义的深度神经网络,称为深度函数机(DFM)。DFM作用于任意(可能是无限)维的向量空间,我们证明了一族DFM对输入数据的维数是不变的;也就是说,模型的参数化并不直接取决于输入的质量(例如:高分辨率图像)。利用这一推广,我们提供了一个新的理论的泛逼近的有界非线性算子之间的函数空间。然后,我们建议DFMs提供了一个表达框架,设计新的神经网络层类型的拓扑考虑。最后,我们介绍了一种新的架构,RippLeNet,分辨率不变的计算机视觉,凭经验达到最先进的不变性。
2017-11-06 cs.CV cs.LG stat.ML
Approximation of functions by neural networks
TU Dresden(德累斯顿工业大学)
研究了超立方体上可测函数的仿射神经网络逼近问题。我们的主要成就是一个近似的任何可测量的功能$f \colon W_n \to [-1,1]$到一个规定的精度$\varepsilon>0$由有限数量的神经元,只依赖于$\varepsilon$,而不是功能$f$或$n \in \mathbb N$。
2019-01-29 cs.LG stat.ML
A comparison of rational and neural network based approximations
本文比较了有理逼近与神经网络在函数逼近中的效率,发现有理逼近在变量数相同时更优,并提出通过控制约束矩阵条件数改进有理逼近算法以处理高维优化问题。
2023-09-07 cs.LG math.OC
Do Neural Networks Trained with Topological Features Learn Different Internal Representations?
Colorado State University(科罗拉多州立大学);University of Texas, El Paso(德克萨斯大学埃尔帕索分校);University of Washington(华盛顿大学);Michigan State University(密歇根州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
越来越多的工作利用通过拓扑数据分析提取的特征来训练机器学习模型。虽然这一领域,有时被称为拓扑机器学习(TML),已经取得了一些显着的成功,从拓扑特征学习的过程如何不同于从原始数据学习的过程的理解仍然是有限的。在这项工作中,我们开始解决这个更大问题的一个组成部分,询问使用拓扑特征训练的模型是否学习到与使用原始原始数据训练的模型所学习到的数据的内部表示根本不同的数据的内部表示。为了量化"不同“,我们利用了两个流行的度量标准,可以用来衡量神经网络,神经拼接和中心内核对齐内的数据的隐藏表示的相似性。从这些,我们得出了一系列关于拓扑特征训练如何改变和不改变模型学习的表示的结论。也许不足为奇的是,我们发现,在结构上,在拓扑特征上训练和评估的模型的隐藏表示与在相应的原始数据上训练和评估的模型相比有很大的不同。另一方面,我们的实验表明,在某些情况下,这些表示可以使用简单的仿射变换来协调(至少在解决相应任务所需的程度上)。我们推测,这意味着在原始数据上训练的神经网络在进行预测的过程中可能会提取一些有限的拓扑特征。
2022-11-14 cs.CV cs.LG math.AT
Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Instituto de Pesquisa Eldorado(埃尔多拉多研究所)
本文引入非退化代数概念,将通用逼近定理从实值及部分超复数值神经网络推广到广泛的向量值神经网络。
2024-08-09 cs.LG cs.NE
Deep Neural Networks as the Semi-classical Limit of Topological Quantum Neural Networks: The problem of generalisation
Laboratori Nazionali di Frascati INFN(意大利国家核物理研究院弗拉斯卡蒂国家实验室);INFN sezione Roma “Tor Vergata”(意大利国家核物理研究院罗马第二大学分部);Department of Mathematics and Statistics, Idaho State University(爱达荷州立大学数学与统计系);Department of Physics, University of Rome “La Sapienza”(罗马第一大学物理系);Department of Mechanics and Aerospace Engineering, Southern University of Science and Technology(南方科技大学力学与航空航天工程系);Allen Discovery Center, Tufts University(塔夫茨大学艾伦发现中心);College of Design and Innovation, Tongji University(同济大学设计与创新学院)
本文提出利用基于拓扑量子场论的监督学习框架理解深度神经网络的泛化问题,将深度神经网络视为拓扑量子神经网络的半经典极限,解释了过拟合行为,并在感知机范例中应用新算法实现了无需训练即达到标准网络相似结果。
2024-10-11 cs.CG cs.LG math-ph
Approximation Rates for Neural Networks with General Activation Functions
Pennsylvania State University(宾夕法尼亚州立大学)
本文证明了关于具有一般激活函数的神经网络的逼近速度的一些新结果。我们的第一个结果是关于一个两层神经网络的多项式衰减非sigmoidal激活函数的近似率。我们扩展了以前获得的维数无关的逼近率这一类新的激活函数。我们的第二个结果给出了一个较弱的,但仍然尺寸独立,近似率为一个较大的类的激活函数,删除多项式衰减假设。这个结果适用于任何有界的,可积的激活函数。最后,我们证明了一个分层抽样的方法可以用来提高多项式衰减激活函数的近似率在温和的附加假设。
2021-01-03 cs.LG math.CA
Approximation error of single hidden layer neural networks with fixed weights
本文给出了具有两个固定权值的单隐层神经网络逼近误差的显式表达式。
2022-03-04 cs.LG math.CA stat.ML