Are Labels Necessary for Neural Architecture Search?
Johns Hopkins University(约翰霍普金斯大学);Facebook AI Research(Facebook人工智能研究院)
计算机视觉中现有的神经网络架构-无论是由人类还是机器设计-通常都使用图像及其相关标签。在本文中,我们提出了一个问题:我们能否仅使用图像而不使用人工标注的标签来找到高质量的神经架构?为了回答这个问题,我们首先定义了一个新的设置,称为无监督神经架构搜索(UnNAS)。然后,我们进行了两组实验。在基于样本的实验中,我们训练了大量(500)不同的架构,无论是监督或无监督的目标,并发现与标签和无标签的架构排名是高度相关的。在基于搜索的实验中,我们使用各种无监督目标运行一个成熟的NAS算法(DARTS),并报告说,没有标签搜索的架构可以与使用标签搜索的架构竞争。总之,这些结果揭示了一个潜在的令人惊讶的发现,即标签是不必要的,仅凭图像统计数据就足以识别良好的神经结构。
2020-08-03 cs.CV cs.LG
Persformer: A Transformer Architecture for Topological Machine Learning
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);L2F SA(L2F公司)
拓扑数据分析(TDA)的主要挑战之一是从持久图中提取机器学习算法直接可用的特征。实际上,持久性图本质上是$\mathbb{R}^2$中的点的(多)集合,并且不能以直接的方式被视为向量。在本文中,我们将介绍$\texttt{Persformer}$,它是第一个接受持久性图作为输入的Transformer神经网络体系结构。$\texttt{Persformer}$架构在经典合成和图形基准数据集上的性能显著优于以前的拓扑神经网络架构。此外,它还满足一个普适逼近定理。这使我们能够介绍拓扑机器学习的第一个可解释性方法,我们在两个例子中探索。
2022-09-26 cs.LG math.AT
Differentiable Neural Architecture Transformation for Reproducible Architecture Improvement
Hana Institute of Technology(Hana技术研究所)
最近,神经结构搜索(NAS)方法被引入,并在许多基准测试中表现出令人印象深刻的性能。在这些NAS研究中,神经架构Transformer(NAT)旨在改进给定的神经架构,以在保持计算成本的同时具有更好的性能。然而,NAT具有缺乏再现性的局限性。在本文中,我们提出了可微神经架构转换,是可再生的和有效的。所提出的方法在各种架构上表现出稳定的性能。在两个数据集上进行了广泛的再现性实验,即,CIFAR-10和Tiny Imagenet的实验结果表明,该方法的性能明显优于NAT,并适用于其他模型和数据集。
2020-06-15 cs.CV cs.LG stat.ML
Depth-Width Trade-offs for Neural Networks via Topological Entropy
Harvard University(哈佛大学);Zhejiang University(浙江大学)
深度学习理论研究的核心问题之一是理解深度、宽度和节点数量等结构属性如何影响深度神经网络的表达能力。在这项工作中,我们展示了一个新的联系之间的表达能力的深度神经网络和拓扑熵的动力系统,它可以用来表征深度和宽度的权衡神经网络。利用结构参数给出了具有连续半代数单元的神经网络的拓扑熵的一个上界。具体地,具有$l$层和每层$m$节点的ReLU网络的拓扑熵由$O(l\log m)$上界。此外,如果神经网络是某个函数$f$的良好逼近,则神经网络的规模相对于$f$的拓扑熵具有指数下界.讨论了拓扑熵与振荡次数、周期和Lipschitz常数之间的关系。
2020-10-15 cs.LG
Understanding Deep Neural Networks Using Topological Data Analysis
Cornell University(康奈尔大学);Air Force Research Laboratory(美国空军研究实验室)
深度神经网络(DNN)是黑箱算法。它们使用梯度下降反向传播技术进行训练,该技术训练每层中的权重,以最小化训练误差。因此,无法直接解释由此产生的权重。使用拓扑数据分析(TDA),我们可以深入了解神经网络是如何思考的,特别是通过分析验证图像通过每一层时的激活值。
2018-10-31 cs.LG
On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures
University of Basel(巴塞尔大学)
神经切线核(NTK)是构建深度学习理论的一个重要里程碑。它的预测,即足够宽的神经网络表现为核方法,或等效为随机特征模型,已被证实为某些宽架构的经验。NTK理论如何对标准神经网络架构进行建模仍然是一个悬而未决的问题,这些架构的宽度在实践中很常见,并在ImageNet等复杂数据集上进行了训练。我们对两个著名的卷积神经网络架构(即AlexNet和LeNet)进行了经验研究,发现它们的行为与有限宽度NTK的行为有很大的差异。对于这些网络的更宽版本,其中通道的数量和完全连接层的宽度增加,偏差减小。
2020-06-24 cs.CV cs.LG stat.ML
Topological Data Analysis of Neural Network Layer Representations
California Institute of Technology(加州理工学院)
本文对如何在神经网络层的内部表示中保持拓扑特征进行了粗略的研究。利用拓扑数据分析中的持久同调技术,计算了一个简单前馈神经网络对带有Klein瓶状扭曲的修正环面的层表示的拓扑特征.该网络似乎在早期层中近似同胚,然后在更深层中显着改变数据的拓扑结构。由此产生的噪声阻碍了持久同源性计算这些特征的能力,然而类似的拓扑特征似乎在具有双射激活函数的网络中持续更长时间。
2022-07-01 cs.AI cs.LG
Differentiable Neural Architecture Learning for Efficient Neural Network Design
Jiangnan University(江南大学);University of Jinan(济南大学);University of Surrey(萨里大学)
随着深度卷积神经网络(CNN)的发展,自动化神经网络设计受到了越来越多的关注,尤其是涉及它们在嵌入式和移动平台上的部署。神经架构搜索(NAS)面临的最大问题之一是需要大量候选神经架构来进行训练,例如使用强化学习和进化优化算法,这需要巨大的计算成本。即使是最近的可微分神经架构搜索(DNAS)也基于学习的架构参数的概率分布对少量候选神经架构进行采样,以选择最终的神经架构。为了解决这个计算复杂性的问题,我们引入了一种新的\emph{architecture parameterisation}基于缩放sigmoid函数,并提出了一个通用的\emph{Differentiable Neural Architecture Learning}(DNAL)方法来优化神经网络结构,而不需要评估候选神经网络。具体来说,对于随机超网以及传统的CNN,我们构建了一个新的通道模块层,其架构组件由缩放的sigmoid函数控制。我们从头开始训练这些神经网络模型。将网络优化解耦为权值优化和结构优化。我们解决了非凸优化问题的神经结构的连续缩放sigmoid方法的收敛保证。大量的实验表明,我们的DNAL方法在神经结构搜索成本方面提供了卓越的性能。通过DNAL学习的最佳网络在准确性、模型大小和计算复杂性方面超过了在基准CIFAR-10和ImageNet-1 K数据集上使用最先进方法生成的网络。
2021-03-03 cs.LG
Network Graph Based Neural Architecture Search
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
神经架构搜索实现了架构设计的自动化。尽管它取得了成功,但它在计算上是昂贵的,并且没有提供关于如何设计理想架构的见解。在这里,我们提出了一种新的搜索神经网络的方法,我们搜索神经网络结构,通过重新连接相应的图和预测的结构性能的图形属性。因为我们没有在整个图空间上执行机器学习,而是使用预测的架构性能来搜索架构,所以搜索过程非常高效。我们发现基于图的搜索可以给出一个合理的好的预测理想的架构。此外,我们发现图形属性是有效的预测架构性能。我们的工作提出了一种新的方法来搜索神经结构,并提供了神经结构设计的见解。
2021-12-15 cs.LG
Deep Function Machines: Generalized Neural Networks for Topological Layer Expression
Machine Learning at Berkeley(伯克利机器学习);University of California, Berkeley(加州大学伯克利分校)
在本文中,我们提出了一种广义的深度神经网络,称为深度函数机(DFM)。DFM作用于任意(可能是无限)维的向量空间,我们证明了一族DFM对输入数据的维数是不变的;也就是说,模型的参数化并不直接取决于输入的质量(例如:高分辨率图像)。利用这一推广,我们提供了一个新的理论的泛逼近的有界非线性算子之间的函数空间。然后,我们建议DFMs提供了一个表达框架,设计新的神经网络层类型的拓扑考虑。最后,我们介绍了一种新的架构,RippLeNet,分辨率不变的计算机视觉,凭经验达到最先进的不变性。
2017-11-06 cs.CV cs.LG stat.ML
Do Neural Networks Trained with Topological Features Learn Different Internal Representations?
Colorado State University(科罗拉多州立大学);University of Texas, El Paso(德克萨斯大学埃尔帕索分校);University of Washington(华盛顿大学);Michigan State University(密歇根州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
越来越多的工作利用通过拓扑数据分析提取的特征来训练机器学习模型。虽然这一领域,有时被称为拓扑机器学习(TML),已经取得了一些显着的成功,从拓扑特征学习的过程如何不同于从原始数据学习的过程的理解仍然是有限的。在这项工作中,我们开始解决这个更大问题的一个组成部分,询问使用拓扑特征训练的模型是否学习到与使用原始原始数据训练的模型所学习到的数据的内部表示根本不同的数据的内部表示。为了量化"不同“,我们利用了两个流行的度量标准,可以用来衡量神经网络,神经拼接和中心内核对齐内的数据的隐藏表示的相似性。从这些,我们得出了一系列关于拓扑特征训练如何改变和不改变模型学习的表示的结论。也许不足为奇的是,我们发现,在结构上,在拓扑特征上训练和评估的模型的隐藏表示与在相应的原始数据上训练和评估的模型相比有很大的不同。另一方面,我们的实验表明,在某些情况下,这些表示可以使用简单的仿射变换来协调(至少在解决相应任务所需的程度上)。我们推测,这意味着在原始数据上训练的神经网络在进行预测的过程中可能会提取一些有限的拓扑特征。
2022-11-14 cs.CV cs.LG math.AT
Topological Expressivity of ReLU Neural Networks
Technische Universität Berlin(柏林工业大学)
本文用Betti数量化ReLU网络在二分类中的拓扑简化能力,给出给定架构可实现简化的上下界,证明深度网络相较浅层具有指数级拓扑表达优势。
2024-06-10 cs.DM cs.LG math.AT
Understanding Architectures Learnt by Cell-based Neural Architecture Search
School of Computing(计算学院);National University of Singapore(新加坡国立大学)
神经架构搜索(NAS)自动搜索给定任务的架构,例如,图像分类和语言建模。近年来,提高搜索效率和有效性越来越受到人们的关注。然而,很少有人致力于理解生成的架构。在本文中,我们首先揭示了现有的NAS算法(例如,DARTS、ENAS)倾向于支持具有宽且浅的单元结构的架构。这些有利的架构一致地实现快速收敛,因此被NAS算法选择。我们的实证和理论研究进一步证实了他们的快速收敛来自于他们的光滑损失景观和准确的梯度信息。尽管如此,这些架构可能不一定导致更好的泛化性能相比,在相同的搜索空间中的其他候选架构,因此进一步的改进是可能的,通过修改现有的NAS算法。
2020-01-01 cs.CV cs.LG stat.ML
An Artificial Neural Network Architecture Based on Context Transformations in Cortical Minicolumns
皮质微柱被认为是皮质组织的模型。它们的功能仍然是一个研究的来源,并没有在人工智能算法的现代网络结构中得到适当的反映。我们假设它的功能,并在本文中描述它。此外,我们展示了这个建议如何允许构建一个新的架构,这不是基于卷积神经网络,测试它的MNIST数据和接收接近卷积神经网络的准确性。我们还表明,所提出的架构具有训练少量的样本的能力。为了实现这些结果,我们使minicolumns记住上下文转换。
2017-12-16 cs.CV cs.LG cs.NE
NSGA-Net: Neural Architecture Search using Multi-Objective Genetic Algorithm
Michigan State University(密歇根州立大学)
本文介绍了NSGA-Net --一种用于神经结构搜索(NAS)的进化方法。NSGA-Net的设计考虑了三个目标:(1)考虑多个和相互冲突的目标的过程,(2)平衡潜在神经网络架构空间的探索和开发的有效过程,以及(3)在一次运行中找到一组不同的权衡网络架构的过程。NSGA-Net是一种基于种群的搜索算法,其在三个步骤中探索潜在神经网络架构的空间,即,基于来自手工制作的架构的先验知识的种群初始化步骤,包括架构的交叉和变异的探索步骤,以及最后的利用步骤,该利用步骤利用存储在被评估的神经架构的整个历史中的隐藏的有用知识,贝叶斯网络实验结果表明,结合最小化误差度量和计算复杂性的双重目标,如FLOPs所测量的,允许NSGA-Net找到有竞争力的神经架构。此外,NSGA-Net在CIFAR-10数据集上实现的出错率与其他最先进的NAS方法相当,同时使用数量级更少的计算资源。这些结果令人鼓舞,并显示出在各种深度学习范式中进一步使用EC方法的前景。
2019-04-18 cs.CV cs.LG cs.NE
GNAS: A Greedy Neural Architecture Search Method for Multi-Attribute Learning
Zhejiang University(浙江大学);Southwest Jiaotong University(西南交通大学);Carnegie Mellon University(卡内基梅隆大学)
深度多属性学习的一个关键问题是有效地发现属性间的关联结构。通常,传统的深度多属性学习方法遵循基于特定任务的专业知识先验知识和仔细的网络调谐手动设计网络架构的管道,从而导致实践中各种复杂场景的可扩展性。为了解决这个问题,我们提出了一种高效的贪婪神经架构搜索方法(GNAS),以自动发现用于多属性学习的最佳树状深度架构。GNAS以贪婪的方式将全局结构的优化逐步分解为单个连接的优化。通过迭代地更新本地架构,全局树状架构得到收敛,其中底层在相关属性之间共享,并且顶层中的分支更多地编码特定于属性的特征。在三个基准多属性数据集上的实验表明了GNAS构造的神经网络结构的有效性和紧凑性,同时也证明了GNAS在搜索神经网络结构方面的有效性。
2018-08-01 cs.CV cs.LG cs.NE
Architectures of Topological Deep Learning: A Survey of Message-Passing Topological Neural Networks
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of San Francisco(旧金山大学)
本文综述了消息传递拓扑神经网络,通过统一数学与图形符号比较现有架构,梳理拓扑深度学习在关系系统中的应用、挑战与未来方向。
2024-02-21 cs.LG
Nonparametric Topological Layers in Neural Networks
University of Nevada, Reno(内华达大学雷诺分校)
各种拓扑技术和工具已被应用到神经网络的网络复杂性,可解释性和性能方面。这条研究路线的一个基本假设是存在一个全局(欧几里德)坐标系,在该坐标系上构建拓扑层。尽管有有希望的结果,但这种\textit{topologization}方法尚未被广泛采用,因为拓扑化层的参数化花费相当多的时间,更重要的是,缺乏理论基础,没有该理论基础,神经网络的性能仅达到次优性能。本文提出了一种用于神经网络的可学习拓扑层,而不需要欧几里得空间;相反,所提出的构造只需要一个一般度量空间,除了内积,即,希尔伯特空间因此,所提出的拓扑层的相应参数化是免费的用户指定的超参数,这排除了昂贵的参数化阶段和相应的次优网络的可能性。
2021-11-27 cs.LG stat.ML
On shallow feedforward neural networks with inputs from a topological space
Institute of Mathematics and Mechanics(数学力学研究所);Center for Mathematics and its Applications(数学及其应用中心)
本文研究了输入来自拓扑空间的浅层前馈神经网络,证明了其通用逼近能力,并应用该结果得到了适用于紧致度量空间的Kolmogorov叠加定理的近似版本。
2026-10-27 cs.LG math.FA
Universal Approximation and the Topological Neural Network
Department of Mathematical and Statistical Sciences, University of Alberta(阿尔伯塔大学数学与统计科学系);Statistics Canada(加拿大统计局)
本文提出拓扑神经网络和分布神经网络,将输入从有限维空间推广到吉洪诺夫空间和博雷尔测度空间,并通过强通用逼近定理证明其能任意逼近一致连续函数,从而扩展深度集合等深度学习概念。
2023-05-26 cs.LG
EmProx: Neural Network Performance Estimation For Neural Architecture Search
Eindhoven University of Technology(埃因霍温理工大学)
通用神经架构搜索方法生成大量需要训练的候选架构,以评估其性能并找到最佳架构。为了最小化搜索时间,我们使用不同的性能估计策略。这些策略的有效性在准确性、拟合度和查询时间方面各不相同。本研究提出了一种新的方法,EmProx评分(嵌入邻近度评分)。类似于神经架构优化(NAO),该方法使用编码器-解码器框架将候选架构映射到连续的嵌入空间。然后,使用基于性能已知的架构的嵌入向量的加权kNN来估计候选者的性能。该方法的性能估计在精度方面与NAO中使用的MLP性能预测器相当,而与NAO相比,训练的速度快近9倍。与目前使用的其他性能估计策略进行基准测试,结果显示出类似的更好的准确性,同时速度快了5到80倍。
2022-06-13 cs.LG
Activation Landscapes as a Topological Summary of Neural Network Performance
University of Florida(佛罗里达大学)
我们使用拓扑数据分析(TDA)来研究数据在通过深度神经网络(DNN)的连续层时如何转换。我们计算网络每一层的激活数据的持久同源性,并使用持久性景观总结这些信息。所得到的特征图提供了网络的信息可视化和用于统计分析和机器学习的内核。我们观察到拓扑复杂度通常随着训练而增加,并且拓扑复杂度不会随着每一层而降低。
2021-10-19 cs.LG math.AT
Analysis on the Nonlinear Dynamics of Deep Neural Networks: Topological Entropy and Chaos
the University of Tennessee(田纳西大学)
深度神经网络(DNN)的理论解释仍然是一个悬而未决的问题。在本文中,DNN被认为是一个离散时间动力系统,由于其分层结构。在动力学的非线性提供的复杂性进行了分析的拓扑熵和混沌特征的李雅普诺夫指数。DNN的动力学揭示的属性被应用于分析相应的分类和泛化能力。
2019-01-08 cs.LG stat.ML
Architecture Matters: Investigating the Influence of Differential Privacy on Neural Network Design
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
更广泛地采用差分私有神经网络的一个障碍是必然的准确性损失。为了解决这个问题,需要更好地理解差分隐私约束下神经网络架构和模型准确性之间的关系。作为第一步,我们测试是否现存的知识架构设计也持有不同的私人设置。我们的研究结果表明,它没有;架构,没有差分隐私表现良好,不一定这样做与差分隐私。因此,神经网络架构设计的现有知识不能无缝地转换到差分隐私上下文中。未来的研究需要更好地了解神经网络架构和模型准确性之间的关系,以便在差分隐私约束下实现更好的架构设计选择。
2021-11-29 cs.LG
Efficient Neural Architecture Search with Performance Prediction
神经网络是一种强大的模型,它具有非凡的能力来提取太复杂而无法被人类或其他机器学习模型注意到的模式。神经网络是第一类可以训练具有大学习能力的端到端系统的模型。然而,我们仍然面临着设计神经网络的艰巨挑战,这需要人类的经验和漫长的试错过程。作为一种解决方案,我们可以使用神经架构搜索来找到手头任务的最佳网络架构。现有的NAS算法通常通过从头开始完全训练来评估新体系结构的适应性,即使在高性能计算机上运行,也会导致令人望而却步的计算成本。在本文中,提出了一个端到端的离线性能预测器,以加快评估采样架构。索引术语-学习曲线预测,神经结构搜索,强化学习。
2021-08-04 cs.LG
Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了萤火虫神经架构下降,渐进和动态增长的神经网络,以共同优化网络的参数和架构的一般框架。我们的方法以最速下降的方式工作,它迭代地在原始网络的功能邻域内找到最佳网络,其中包括一组不同的候选网络结构。通过泰勒近似,可以找到最佳的网络结构的邻域内的贪婪选择过程。我们表明,萤火虫血统可以灵活地使网络更宽更深,并且可以应用于学习准确但资源高效的神经架构,以避免持续学习中的灾难性遗忘。从经验上讲,萤火虫血统在神经结构搜索和持续学习方面都取得了令人满意的结果。特别是,在一个具有挑战性的连续图像分类任务中,它学习的网络尺寸较小,但平均精度高于最先进的方法。
2021-06-21 cs.LG
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification
Korea University(高丽大学);Hallym University(翰林大学);Kyung Hee University(庆熙大学)
随着深度神经网络在各种任务中实现前所未有的性能,用于设计具有自动化过程的神经网络架构的研究领域神经架构搜索(NAS)正在积极进行中。最近,可区分NAS通过将搜索成本降低到训练单个网络的水平而产生了巨大的影响。此外,定义待搜索的候选架构的搜索空间直接影响最终架构的性能。在本文中,我们提出了一个适应计划的搜索空间通过引入一个搜索范围。ProxylessNAS的图像分类任务证明了所提出的方法的有效性。此外,我们可视化的架构参数更新的轨迹,并提供见解,以改善架构搜索。
2022-06-05 cs.LG
Lecture Notes: Neural Network Architectures
Ruprecht-Karls-University of Heidelberg(海德堡鲁普雷希特-卡尔斯大学)
本讲义从数学优化视角介绍神经网络,并系统讲解前馈网络、卷积网络、ResNet和循环网络等主要架构。
2023-04-18 cs.LG math.OC
Conceptual Expansion Neural Architecture Search (CENAS)
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
架构搜索为某些任务优化神经网络的结构,而不是依赖于手动编写。然而,它很慢,因为每个潜在的架构通常都是从头开始训练的。在本文中,我们提出了一种称为概念扩展神经结构搜索(CENAS)的方法,该方法将样本效率,计算创造力启发的迁移学习方法与神经结构搜索相结合。这种方法通过转移现有的权重来近似新模型的参数,比朴素的体系结构搜索更快地找到模型。它通过允许添加特征而不是仅修改现有特征来优于标准迁移学习。我们证明了我们的方法在各种迁移学习任务的效率,性能和参数计数方面优于标准神经结构搜索和迁移学习方法。
2021-10-07 cs.LG
Topological Deep Learning: Classification Neural Networks
Santa Clara University(圣克拉拉大学)
拓扑深度学习是一种形式主义,旨在将拓扑语言引入深度学习,以便利用最小数学结构来形式化在一般深度学习问题中出现的问题。这是一系列文章的第一篇,目的是介绍和研究这种形式主义。在这篇文章中,我们定义和研究的分类问题,在机器学习的拓扑设置。使用这个拓扑框架,我们展示了在神经网络的背景下,分类问题是可能的或不可能的。最后,我们展示了我们的拓扑设置如何立即照亮这个问题的各个方面,使用传统的工具是不容易明显的。
2021-02-16 cs.LG math.AT stat.ML
EENA: Efficient Evolution of Neural Architecture
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
最新的神经结构自动搜索算法性能显著,但在搜索空间中基本上是无方向的,并且在训练每个中间结构时计算量很大。在本文中,我们提出了一种高效的架构搜索方法,称为EENA(神经架构的高效进化)。由于精心设计的变异和交叉操作,进化过程可以由已经学习的信息指导。因此,将需要较少的计算工作,同时搜索和训练时间可以显着减少。在CIFAR-10分类上,EENA使用最少的计算资源(0.65 GPU-天)可以设计出高效的神经结构,在8.47 M参数下实现2.56%的测试误差。此外,发现的最佳架构也可用于CIFAR-100。
2019-08-27 cs.CV cs.LG cs.NE
Architecture Agnostic Neural Networks
California Institute of Technology(加州理工学院)
在本文中,我们探索了另一种方法来合成神经网络架构,灵感来自大脑的随机突触修剪。在人的一生中,许多不同的神经元结构负责执行相同的任务。这表明生物神经网络在某种程度上是结构不可知的。然而,人工网络依赖于其微调的权重和手工制作的架构来实现其卓越的性能。这种对比引出了一个问题:我们能否构建人工架构不可知的神经网络?为了使这项研究有基础,我们利用了稀疏的二进制神经网络来平行大脑的电路。在这种稀疏的二进制范式中,我们对许多二进制架构进行采样,以创建不通过反向传播训练的架构不可知神经网络家族。这些高性能网络家族共享相同的稀疏性和二进制权重分布,并在静态和动态任务中取得成功。总之,我们创建了一个架构流形搜索过程来发现家族或架构不可知的神经网络。
2020-12-11 cs.AI cs.LG
Neural Approximation of Graph Topological Features
Wangxuan Institute of Computer Technology(王选计算机研究所);Peking University(北京大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Halıcıoğlu Data Science Institute(哈利奇奥卢数据科学研究所);University of California(加利福尼亚大学);Stony Brook University(石溪大学)
基于持久同源性的拓扑特征捕捉了高阶结构信息,从而增强了图神经网络方法。然而,计算扩展的持久同源性摘要对于大而密集的图仍然很慢,并且可能是学习管道的严重瓶颈。受最近神经算法推理成功的启发,我们提出了一种新的图神经网络来有效地估计图上的扩展持久性图(EPD)。我们的模型建立在算法见解的基础上,并受益于更好的监督和与EPD计算算法更紧密的一致性。我们验证了我们的方法与令人信服的实证结果近似EPD和下游图表示学习任务。我们的方法也很高效;在大型密集图上,我们将计算速度加快了近100倍。
2022-11-15 cs.LG
Machine Learning Topological Invariants with Neural Networks
在这封信中,我们监督训练神经网络,以区分不同的拓扑相位的拓扑带绝缘体的上下文中。在用具有手征对称性的一维绝缘体的哈密顿量进行训练后,神经网络可以以接近100%的准确率预测它们的拓扑缠绕数,即使对于训练数据中不包括的具有较大缠绕数的哈密顿量也是如此。这些结果表明,神经网络可以从局部输入中捕获量子相位的全局和非线性拓扑特征。通过打开神经网络,我们确认网络确实学习了缠绕数公式的离散版本。我们还对对称性的作用和正则化技术在将机器学习应用于物理系统时的相反效果做了一些评论。
2018-01-19 cond-mat.dis-nn cond-mat.mes-hall cond-mat.str-el
From Classical to Topological Neural Networks Under Uncertainty
Department of Mathematics, University of Tennessee, Knoxville(田纳西大学数学系);U.S. Army DEVCOM Army Research Laboratory(美国陆军 DEVCOM 军事研究实验室)
本文研究了在不确定性下从经典到拓扑神经网络的发展,探讨了拓扑深度学习与贝叶斯方法在军事应用中的潜力。
2026-02-10 cs.AI cs.LG
Simultaneous Weight and Architecture Optimization for Neural Networks
University of Southern California(南加州大学)
提出一种基于多尺度编码器-解码器的神经网络训练框架,通过梯度下降同时学习网络架构与参数,利用稀疏性惩罚发现高性能的稀疏紧凑网络。
2024-10-10 cs.LG
Universal approximation theorem for neural networks with inputs from a topological vector space
Institute of Mathematics and Mechanics(数学与力学研究所);Center for Mathematics and its Applications, Khazar University(哈扎尔大学数学及其应用中心)
本文针对拓扑向量空间输入的前馈神经网络,证明其能逼近该扩展输入空间上的任意连续函数,从而扩展了神经网络的适用范围。
2024-09-19 cs.LG cs.NE stat.ML
Dimensionality reduction and width of deep neural networks based on topological degree theory
School of Mathematics and Statistics, Huazhong University of Science and Technology(数学与统计学学院,华中科技大学);Hubei Key Laboratory of Engineering Modeling and Scientific Computing , Huazhong University of Science and Technology(工程建模与科学计算湖北省重点实验室,华中科技大学)
本文基于拓扑度理论建立紧致空间嵌入链接与降维可分离性的数学框架,并借此为深度神经网络的分类与逼近问题提供新见解。
2025-11-10 cs.LG math.GN
Generative flow induced neural architecture search: Towards discovering optimal architecture in wavelet neural operator
Indian Institute of Technology Delhi(印度德里理工学院);Yardi School of Artificial Intelligence (ScAI)(亚迪人工智能学院)
本研究提出一种生成流诱导的神经架构搜索算法,通过前馈网络学习策略生成WNO超参数序列,以终态奖励引导搜索,在流体力学问题上提升了原始小波神经算子的性能。
2024-05-11 cs.LG
Optimizing the Neural Architecture of Reinforcement Learning Agents
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
强化学习(RL)在过去几年中取得了重大进展。其中最重要的一步是神经网络的广泛应用。然而,这些神经网络的架构通常是手动构建的。在这项工作中,我们研究了最近提出的神经架构搜索(NAS)方法优化RL代理的架构。我们进行了实验的Atari基准,并得出结论,现代NAS方法发现架构的RL代理优于手动选择的。
2021-04-28 cs.AI cs.LG
Neural Topological Ordering for Computation Graphs
Qualcomm AI Research(高通人工智能研究院);Google LLC(谷歌有限责任公司);University of Amsterdam(阿姆斯特丹大学)
最近的工作机器学习的组合优化已经表明,基于学习的方法可以优于探试法在速度和性能方面。在本文中,我们考虑的问题,找到一个最佳的拓扑顺序上的有向无环图的内存最小化的问题,在编译器中出现的焦点。我们提出了一个端到端的机器学习为基础的方法,使用编码器-解码器框架的拓扑排序。我们的编码器是一种新的注意力为基础的图神经网络架构称为\emph{Topoformer},它使用不同的拓扑转换的DAG的消息传递。由编码器产生的节点嵌入被转换成节点优先级,其被解码器用于生成拓扑顺序上的概率分布。我们训练我们的模型的数据集的综合生成的图形称为分层图。我们表明,我们的模型优于,或与几个拓扑排序基线,同时显着更快的合成图与多达2k个节点。我们还训练和测试我们的模型上的一组现实世界的计算图,显示性能的改善。
2022-10-07 cs.LG
Neural Predictor for Neural Architecture Search
Google Brain(谷歌大脑);Duke University(杜克大学)
神经架构搜索方法是有效的,但通常使用复杂的算法来提出最佳架构。我们提出了一种方法,有三个基本步骤,在概念上要简单得多。首先,我们训练N个随机架构以生成N个(架构,验证精度)对,并使用它们来训练回归模型,该回归模型基于架构预测精度。接下来,我们使用这个回归模型来预测大量随机架构的验证精度。最后,我们训练top-K预测架构,并部署具有最佳验证结果的模型。虽然这种方法看起来很简单,但在NASBench-101基准测试中,它的样本效率是正则化进化的20倍以上,并且可以在ImageNet上与基于权重共享的更复杂的方法(如ProxylessNAS)竞争。
2019-12-02 cs.LG stat.ML
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常,图神经网络(GNN)一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此,以前的研究表明,图神经网络的性能变得脆弱时,有异常节点的邻居,由于这种消息传递方法。在本文中,受神经结构搜索方法的启发,我们提出了一种算法,识别异常节点,并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明,我们提出的基于神经结构搜索的抗异常图神经网络(NASAR-GNN)实际上是有效的。
2021-12-19 cs.AI cs.LG
Sub-Architecture Ensemble Pruning in Neural Architecture Search
University of Science and Technology of China(中国科学技术大学);Texas A&M University(得克萨斯农工大学);WeBank(微众银行)
神经网络结构搜索(NAS)由于其灵活性和显著的减轻神经网络设计负担的能力,近年来受到越来越多的关注。然而,为了实现更好的性能,搜索过程通常需要大量的计算,这对于研究人员和从业人员来说可能是负担不起的。虽然最近的尝试采用集成学习方法来减轻巨大的计算成本,但是,他们忽略了集成方法的一个关键属性,即多样性,这导致在最终设计中收集更多类似的子架构,并具有潜在的冗余。为了解决这个问题,我们提出了一种用于NAS集成的修剪方法,称为“神经结构搜索中的子结构包围修剪(SAEP)”。“它的目标是利用多样性,并以较小的规模实现子集成架构,其性能与未修剪的集成架构相当。提出了三种可能的解决方案,以决定哪些子架构修剪在搜索过程中。实验结果表明,该方法的有效性,大大减少了子结构的数量,而不降低性能。
2021-05-28 cs.CV cs.LG cs.NE
Topological Neural Networks over the Air
Sapienza University of Rome(罗马大学);Consorzio Nazionale Interuniversitario per le Telecomunicazioni (CNIT)(意大利国家大学电信联盟)
本文提出一种融合无线信道模型的空中拓扑神经网络,在正则胞腔复形的拓扑卷积中纳入衰落与噪声,提升了现实通信下的鲁棒性与性能。
2025-02-14 cs.IT cs.LG math.IT
Learning to Flow from Generative Pretext Tasks for Neural Architecture Encoding
Kim Jaechul Graduate School of AI(金 Jaechul人工智能研究生院);School of Electrical Engineering(电气工程学院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出神经架构编码预训练方法 FGP,通过重建流代理让普通编码器捕获架构信息流,在无需专门结构的情况下将 Precision-1% 最高提升 106%。
2025-10-21 cs.LG
Are Deep Neural Architectures Losing Information? Invertibility Is Indispensable
Australian National University(澳大利亚国立大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织数据61中心)
自从AlexNet出现以来,为不同任务设计新颖的深度神经架构一直是一个富有成效的研究方向。尽管各种架构在实践中表现出色,但我们研究了一个理论问题:深度神经架构保留输入数据的所有信息的条件是什么?识别深度神经架构的信息无损条件非常重要,因为诸如图像复原之类的任务需要尽可能多地保留输入数据的详细信息。使用互信息的定义,我们表明:当且仅当该结构是可逆的时,深度神经结构可以保留关于给定数据的最大细节。我们验证了我们的可逆恢复自动编码器(IRAE)网络的优势,通过比较它与竞争对手的模型在三个扰动的图像复原任务:图像去噪,JPEG图像解压缩和图像修补。实验结果表明,IRAE始终优于不可逆的。我们的模型甚至包含更少的参数。因此,尝试用它们的可逆对应物替换深度神经架构的标准组件(如残差块和ReLU)可能是值得的。我们相信我们的工作为未来的深度学习研究提供了独特的视角和方向。
2020-09-29 cs.CV cs.IT cs.LG
Optimizing Time Series Forecasting Architectures: A Hierarchical Neural Architecture Search Approach
Institute of Artificial Intelligence(人工智能研究所);Leibniz University Hannover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究中心)
本文提出一种层次化神经架构搜索方法,通过设计层次化搜索空间高效组合多种预测模块,在长期时间序列预测任务上搜索出轻量级高性能架构。
2025-10-23 cs.LG
Scalable Neural Architecture Search for 3D Medical Image Segmentation
Kakao Brain;Seoul National University(首尔大学);MILA, Université de Montréal(MILA,蒙特利尔大学)
在本文中,神经结构搜索(NAS)框架提出了三维医学图像分割,自动优化的神经结构,从一个大的设计空间。我们的NAS框架搜索每一层的结构,包括编码器和解码器中的神经连接和操作类型。由于高分辨率的3D医学图像难以在大的离散结构空间上进行优化,因此还提出了一种基于连续松弛的新的随机采样算法用于基于梯度的可扩展优化。在具有基准数据集的3D医学图像分割任务上,所提出的NAS框架自动设计的架构优于人工设计的3D U-Net,并且这种优化的架构非常适合于被转移到不同的任务。
2019-06-13 cs.CV cs.LG eess.IV
Self-Supervised Neural Architecture Search for Multimodal Deep Neural Networks
Kagoshima University(鹿儿岛大学)
本文提出了一种自监督学习方法,用于多模态深度神经网络的架构搜索,能够在未标记数据上有效设计DNN架构。
2025-12-31 cs.LG cs.NE
Planarian Neural Networks: Evolutionary Patterns from Basic Bilateria Shaping Modern Artificial Neural Network Architectures
Harrisburg University of Science and Technology(哈里斯堡科技大学);Amgen Inc.(安进公司);DevIS LLC(DevIS有限责任公司);Nanjing Audit University(南京审计大学)
本文受涡虫由一个脑和两条神经索构成的神经系统启发,以ResNet为基础提出涡虫式神经网络,并在CIFAR-10/100上验证其图像分类准确率优于基线模型。
2025-01-08 cs.AI cs.CV cs.LG
Topological Understanding of Neural Networks, a survey
Texas A&M University(德州农工大学)
我们来看看神经网络的内部结构,它通常被视为一个黑匣子。最简单和最容易理解的事情是看一个二进制分类,并试图理解神经网络采取的方法。我们回顾了不同的激活函数的意义,与之相关的网络结构类型,以及一些经验数据。我们发现了一些有趣的观察结果,并有可能在这些想法的基础上验证真实数据集的过程。我们提出了一些可能的实验,期待在三个不同的方向。
2023-01-23 cs.LG math.AT
Development of a Neural Network-Based Mathematical Operation Protocol for Embedded Hexadecimal Digits Using Neural Architecture Search (NAS)
Hunter College High School(亨特学院高中);Columbia University(哥伦比亚大学)
开发一种基于机器学习的嵌入式十六进制数字加法算法是有益的。通过比较人类开发的机器学习模型和通过神经结构搜索(NAS)采样的模型,我们确定了一种有效的方法来解决这个问题,最终测试损失为0.2937的人类开发的模型。
2022-11-12 cs.LG cs.NE
ReNAS:Relativistic Evaluation of Neural Architecture Search
Noah’s Ark Lab Huawei Technologies(华为技术有限公司诺亚方舟实验室);Huawei Technologies(华为技术有限公司);The University of Sydney(悉尼大学);Peking University(北京大学)
一个有效的体系结构性能评估方案是神经网络体系结构搜索成功的关键。为了节省计算成本,大多数现有的NAS算法往往训练和评估中间神经网络结构上的一个小的代理数据集有限的训练时期。但是,很难期望在这样一个粗略的评估方式的体系结构的准确的性能估计。本文提出了一种新的神经网络体系结构评估方案,其目的是确定哪种体系结构的性能更好,而不是准确地预测绝对的体系结构性能。因此,我们提出了一个\textbf{relativistic}架构的NAS性能预测器(ReNAS)。我们将神经架构编码为特征张量,并使用预测器进一步细化表示。建议的相对论性能预测器可以部署在离散搜索方法中搜索所需的架构,而无需额外的评估。在NAS-Bench-101数据集上的实验结果表明,对424个(整个搜索空间的$0.1\%$)神经架构及其相应的验证性能进行采样已经足以学习准确的架构性能预测器。我们在NAS-Bench-101和NAS-Bench-201数据集上搜索的神经结构的准确性高于最先进的方法,并显示了所提出的方法的优先级。
2021-09-23 cs.LG cs.NE