Neural Architecture Search Over a Graph Search Space
Jagiellonian University(雅盖隆大学);Google AI(谷歌人工智能)
神经架构搜索(NAS)使许多领域的最先进的架构的发现。然而,NAS的成功取决于搜索空间的定义。当前搜索空间被定义为一个静态的决策序列和一组可用的行动,为每个决策。每个可能的操作序列定义了一个架构。我们提出了一类更具表现力的搜索空间:有向图。在我们的形式主义中,每个决策都是一个顶点,每个动作都是一条边。这允许我们对迭代和分支架构设计决策进行建模。我们在模拟和图像分类实验中展示了基本的迭代和分支搜索结构,并表明图形表示提高了样本效率。
2019-07-31 cs.LG stat.ML
Fine-Grained Stochastic Architecture Search
Google Research(谷歌研究院)
最先进的深度网络通常太大,无法部署在移动设备和嵌入式系统上。移动神经架构搜索(NAS)方法可以自动设计小型模型,但最先进的NAS方法运行成本很高。微分神经结构搜索(DNAS)方法降低了搜索成本,但探索候选结构的有限子空间。在本文中,我们介绍了细粒度随机架构搜索(FiGS),一个可微的搜索方法,搜索一个更大的候选架构集。FIGS同时选择和修改搜索空间中的操作符,通过应用基于逻辑斯谛克-S形分布的结构化稀疏正则化惩罚。我们展示了3个现有搜索空间的结果,匹配或优于原始搜索算法,并在ImageNet上生成最先进的参数高效模型(例如,75.4% top-1,2.6M参数)。使用我们的架构作为SSDLite目标检测的骨干,我们在COCO上实现了显著更高的mAP(例如,25.8具有3.0M参数)比MobileNetV 3和MnasNet。
2020-06-17 cs.LG stat.ML
Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars
University of Freiburg(弗赖堡大学);University of Oxford(牛津大学)
本文提出基于上下文无关文法的统一分层NAS搜索空间构建框架,并设计适配贝叶斯优化的分层核,以支持在超大空间中搜索完整架构并取得优于现有方法的效果。
2023-12-08 cs.AI cs.CV cs.LG
Neural Architecture Search in Embedding Space
Cathay Fincial Holdings(国泰金控)
基于强化学习的神经结构搜索算法可以为神经结构的自动发现提供一个新的框架。然而,由于搜索空间的不连续性和高维性,使得优化困难。为了解决这些问题,我们提出了嵌入空间中的NAS(NASES),这是一个新的框架。与在离散和高维架构空间上搜索的具有强化学习方法的其他NAS不同,该方法使强化学习能够通过使用架构编码器和解码器在嵌入空间中搜索。目前的实验表明,使用NASES程序的最终架构网络的性能与其他流行的NAS方法的CIFAR-10上的图像分类任务相当。实验的结果是有效的,并表明,NASES是非常有效的发现最终的架构,只有$<$ 3.5 GPU小时。当应用结构嵌入搜索和权值初始化时,NASES的性能和有效性令人印象深刻。
2020-03-26 cs.LG stat.ML
Task-Aware Neural Architecture Search
Duke University(杜克大学)
手工制作的神经网络的设计需要大量的时间和资源。神经结构搜索(NAS)中的最新技术已被证明是有竞争力的或优于传统的手工设计,尽管它们需要领域知识,并且通常使用有限的搜索空间。在本文中,我们提出了一种新的框架神经架构搜索,利用字典的基本任务和目标任务和原子之间的相似性的模型字典,因此,产生一个自适应的搜索空间的基础上的字典的基本模型。通过引入基于梯度的搜索算法,我们可以在搜索空间中评估和发现最佳架构,而无需完全训练网络。实验结果表明,我们提出的任务感知方法的有效性。
2021-03-15 cs.AI cs.LG
Evaluating the Search Phase of Neural Architecture Search
EPFL(洛桑联邦理工学院);Daskell;Swisscom Digital Lab(瑞士电信数字实验室)
神经架构搜索(NAS)旨在促进新任务的深度网络设计。现有的技术依赖于两个阶段:搜索架构空间和验证最佳架构。NAS算法目前仅根据其在下游任务上的结果进行比较。虽然直观,但这无法明确评估其搜索策略的有效性。在本文中,我们建议评估NAS搜索阶段。为此,我们比较了NAS搜索策略与随机架构选择的解决方案的质量。我们发现:(i)平均而言,最先进的NAS算法与随机策略执行类似;(ii)广泛使用的权重共享策略将NAS候选的排名降低到不能反映其真实性能的程度,从而降低了搜索过程的有效性。我们相信,我们的评估框架将是设计NAS策略的关键,这些策略可以始终如一地发现优于随机架构的架构。
2019-11-22 cs.LG stat.ML
NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
National University of Singapore(新加坡国立大学)
近年来,人们对神经结构搜索(NAS)的兴趣激增。已经提出了各种算法来提高NAS的搜索效率和有效性,即,以分别降低搜索成本和提高所选结构的泛化性能。然而,这些算法的搜索效率受到搜索过程中模型训练需求的严重限制。为了克服这一限制,我们提出了一种新的NAS算法称为NAS在初始化(NASI),利用神经切线核的能力,能够在初始化时表征候选架构的收敛性能,从而允许模型训练,以完全避免提高搜索效率。除了提高搜索效率外,NASI还在CIFAR-10/100和ImageNet等各种数据集上实现了具有竞争力的搜索效果。此外,NASI被证明是标签和数据不可知的温和条件下,这保证了我们的NASI在不同的数据集上选择的架构的可转移性。
2022-04-25 cs.AI cs.LG
Disentangled Neural Architecture Search
Lenovo Research(联想研究院)
近年来,神经结构搜索在各个领域显示出巨大的潜力。然而,现有的方法严重依赖于一个黑盒控制器来搜索架构,这遭受缺乏可解释性的严重问题。在本文中,我们提出了解开神经结构搜索(DNAS),解开隐藏的表示的控制器到语义上有意义的概念,使神经结构搜索过程可解释。在系统研究的基础上,我们发现了网络架构与其性能之间的相关性,并提出了一种密集采样策略,在可能产生性能良好的架构的有希望的区域进行有针对性的搜索。我们证明:1)DNAS成功地解开了架构表示,包括操作选择、跳过连接和层数。2)得益于可解释性,DNAS可以在不同的FLOPS限制下灵活地找到优秀的体系结构。3)密集采样导致神经结构搜索具有更高的效率和更好的性能。在NASBench-101数据集上,DNAS实现了94.21%的最先进性能,计算成本不到基线方法的1/13。在ImageNet数据集上,DNAS发现了达到22.7%测试误差的竞争架构。我们的方法提供了一个新的角度来理解神经结构搜索。
2020-09-24 cs.LG cs.NE stat.ML
Flexible Channel Dimensions for Differentiable Architecture Search
EPFL(洛桑联邦理工学院)
针对现有通道维度神经架构搜索依赖固定搜索空间的问题,提出带动态通道分配的可微搜索方法,在CIFAR-10上实现与现有方法性能相当的架构,同时提升搜索效率并降低内存需求,无需预设搜索空间。
2023-06-13 cs.AI cs.LG
Understanding Architectures Learnt by Cell-based Neural Architecture Search
School of Computing(计算学院);National University of Singapore(新加坡国立大学)
神经架构搜索(NAS)自动搜索给定任务的架构,例如,图像分类和语言建模。近年来,提高搜索效率和有效性越来越受到人们的关注。然而,很少有人致力于理解生成的架构。在本文中,我们首先揭示了现有的NAS算法(例如,DARTS、ENAS)倾向于支持具有宽且浅的单元结构的架构。这些有利的架构一致地实现快速收敛,因此被NAS算法选择。我们的实证和理论研究进一步证实了他们的快速收敛来自于他们的光滑损失景观和准确的梯度信息。尽管如此,这些架构可能不一定导致更好的泛化性能相比,在相同的搜索空间中的其他候选架构,因此进一步的改进是可能的,通过修改现有的NAS算法。
2020-01-01 cs.CV cs.LG stat.ML
Meta Architecture Search
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院);Ant Financial(蚂蚁金服)
神经架构搜索(NAS)在构建各种任务的最先进模型方面非常成功。不幸的是,计算成本可能使其难以扩展。在本文中,我们首次尝试研究Meta Architecture Search,旨在学习一种与任务无关的表示方法,可以用来加速大量任务的架构搜索过程。我们提出了贝叶斯Meta架构搜索(BASE)框架,它利用贝叶斯制定的架构搜索问题,同时学习整个任务集。我们证明,在Imagenet分类上,我们可以找到一个模型,通过在不到一个小时的时间内从8 GPU天的预训练元网络中调整架构,实现25.7%的前1错误和8.1%的前5错误。通过学习NAS的良好先验知识,我们的方法大大降低了所需的计算成本,同时实现了与当前最先进方法相当的性能-甚至可以快速适应未知数据集找到有竞争力的模型。我们相信我们的框架将为跨多个任务的高效和大规模可扩展的架构搜索研究开辟新的可能性。
2019-11-15 cs.LG stat.ML
A Study of the Learning Progress in Neural Architecture Search Techniques
NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司)
在神经架构搜索中,通过自动搜索过程来确定对给定数据集进行最佳建模的神经网络的结构。Pham等人(2018)提出的高效神经架构搜索(ENAS)最近受到了相当大的关注,因为它能够在极短的搜索时间内找到优秀的架构。在这项工作中,这是出于寻求进一步提高架构搜索的学习速度,我们评估的控制器,在ENAS中产生的架构的学习进度。我们通过比较它在不同的控制器训练时期生成的架构来衡量进度,在从头开始重新训练架构后对其进行评估。作为一个令人惊讶的结果,我们发现学习曲线是完全平坦的,即,就其生成的体系结构的性能而言,控制器没有可观察到的进展。该观察结果在CIFAR-10和CIFAR-100数据集以及两个不同的搜索空间中是一致的。我们的结论是,高质量的ENAS生成的模型是搜索空间设计的结果,而不是控制器的训练,我们的研究结果表明,一次性的架构设计是一个有效的替代架构搜索ENAS。
2019-06-18 cs.LG cs.NE stat.ML
Efficient Neural Architecture Search via Proximal Iterations
Paradigm Inc(第四范式公司);Center for Data Science, Peking University(北京大学数据科学中心);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院)
神经结构搜索(NAS)最近吸引了很多研究的关注,因为它能够识别更好的架构比手工制作的。然而,在离散搜索空间中优化搜索过程的许多NAS方法需要许多GPU天来进行收敛。最近,DARTS,它构造一个可微的搜索空间,然后优化它的梯度下降,可以获得高性能的架构,并减少搜索时间到几天。然而,DARTS仍然很慢,因为它更新所有操作的集合,并且在收敛后仅保留一个。此外,由于操作之间的强相关性,DARTS可以收敛到较差的架构。在本文中,我们提出了一种新的可微神经结构搜索方法的基础上,近端梯度下降(表示为NASP)。与DARTS不同的是,NASP将搜索过程重新定义为一个优化问题,约束条件是在前向和后向传播过程中只允许更新一个操作。针对该约束难以处理的问题,本文提出了一种新的近似迭代算法来求解该约束,并在多个任务上进行了实验,实验结果表明,NASP可以获得比DARTS高10倍的计算速度。
2019-11-20 cs.LG stat.ML
MicroNAS: Zero-Shot Neural Architecture Search for MCUs
University of California, Irvine(加州大学尔湾分校)
本文提出面向MCU的硬件感知零样本NAS框架MicroNAS,通过专门性能指标在无需高昂计算成本的情况下搜索最优架构,实现搜索效率最高提升1104倍、MCU推理速度提升超3.23倍且精度相近。
2024-01-17 cs.AI cs.LG
Differentially-private Federated Neural Architecture Search
University of California San Diego(加州大学圣地亚哥分校);Rutgers University(罗格斯大学)
神经架构搜索,旨在自动搜索架构(例如,卷积,最大池化)的神经网络,最大限度地提高验证性能,最近取得了显着的进展。在许多应用场景中,多方希望通过利用来自各方的数据来协作搜索共享的神经架构。然而,由于隐私问题,没有一方希望其数据被其他方看到。为了解决这个问题,我们提出了联合神经架构搜索(FNAS),其中不同的各方通过交换架构变量的梯度来共同搜索可区分的架构,而不会将其数据暴露给其他各方。为了进一步保护隐私,我们研究了差分私有FNAS(DP-FNAS),它向架构变量的梯度添加随机噪声。为DP-FNAS实现差分隐私提供了理论保证。实验表明,DP-FNAS可以搜索高性能的神经结构,同时保护个人的隐私。代码可在https://github.com/UCSD-AI4H/DP-FNAS上获得
2020-06-22 cs.CR cs.LG stat.ML
POPNASv2: An Efficient Multi-Objective Neural Architecture Search Technique
Politecnico di Milano(米兰理工大学)
自动化的最佳神经网络模型的研究是一个任务,已经获得了越来越多的相关性,在过去的几年里。在这种情况下,神经架构搜索(NAS)代表了最有效的技术,其结果可以与最先进的手工架构相媲美。然而,这种方法需要大量的计算能力和研究时间,这使得它在许多现实世界的场景中无法使用。渐进式神经架构搜索(PNAS)凭借其基于模型的顺序优化策略,代表了面对这一资源问题的可能一步。尽管发现的网络架构的质量,这种技术仍然是有限的研究时间。帕累托最优渐进神经架构搜索(POPNAS)在这个方向上迈出了重要的一步,它通过时间预测器扩展了PNAS,以实现搜索时间和准确性之间的权衡,考虑到多目标优化问题。本文提出了一个新版本的帕累托最优渐进神经结构搜索,称为POPNASv2。我们的方法增强了它的第一个版本,提高了它的性能。我们通过添加新的运算符扩展了搜索空间,并提高了两个预测器的质量,以构建更准确的Pareto前沿。此外,我们引入了细胞等价检查和丰富的搜索策略与自适应贪婪的探索步骤。我们的努力使POPNASv2实现了PNAS般的性能,平均搜索时间加快了4倍。
2022-10-06 cs.AI cs.LG
Probabilistic Neural Architecture Search
Microsoft Research(微软研究院);University of Cambridge(剑桥大学)
在神经结构搜索(NAS)中,自动探索神经网络结构的空间以最大化给定任务的预测精度。尽管最近的方法的成功,大多数现有的方法不能直接应用于大规模的问题,因为它们的计算复杂性或高内存使用。在这项工作中,我们提出了一种神经架构SEarCh(PARSEC)的概率方法,该方法大大降低了内存需求,同时保持了最先进的计算复杂性,从而可以直接搜索更复杂的架构和更大的数据集。我们的方法只需要从搜索空间中训练单个架构所需的内存。这是由于内存高效的采样过程,其中我们学习了高性能神经网络架构上的概率分布。重要的是,这个框架使我们能够将在较小问题上学到的架构分布转移到较大问题上,进一步降低计算成本。我们展示了我们的方法在CIFAR-10和ImageNet应用中的优势,在这些应用中,我们的方法以两倍的计算成本优于方法,并将方法的性能与三个数量级的成本相匹配。
2019-02-13 cs.LG stat.ML
Transfer NAS: Knowledge Transfer between Search Spaces with Transformer Agents
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
神经架构搜索(NAS)的最新进展已经在几个任务上产生了最先进的架构。NAS将人类专家的工作从直接开发新的体系结构转移到设计体系结构搜索空间和有效探索它们的方法。搜索空间定义捕获了关于架构属性的先验知识,并且对于搜索算法的复杂性和性能至关重要。然而,不同的搜索空间定义需要从头开始重新开始学习过程。我们提出了一种新的代理的基础上,Transformer,支持联合训练和有效的转移先验知识之间的多个搜索空间和任务。
2019-06-19 cs.LG stat.ML
Network Graph Based Neural Architecture Search
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
神经架构搜索实现了架构设计的自动化。尽管它取得了成功,但它在计算上是昂贵的,并且没有提供关于如何设计理想架构的见解。在这里,我们提出了一种新的搜索神经网络的方法,我们搜索神经网络结构,通过重新连接相应的图和预测的结构性能的图形属性。因为我们没有在整个图空间上执行机器学习,而是使用预测的架构性能来搜索架构,所以搜索过程非常高效。我们发现基于图的搜索可以给出一个合理的好的预测理想的架构。此外,我们发现图形属性是有效的预测架构性能。我们的工作提出了一种新的方法来搜索神经结构,并提供了神经结构设计的见解。
2021-12-15 cs.LG
Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision
Tsinghua University(清华大学);Wechat, Tencent(腾讯微信)
针对现有GNAS依赖监督标签的问题,本文提出DSGAS模型,通过解耦图超网络、联合解耦自监督训练和带增强的对比搜索,在无监督场景下实现了SOTA性能。
2024-03-08 cs.AI cs.LG
Bonsai-Net: One-Shot Neural Architecture Search via Differentiable Pruners
Newcastle University(纽卡斯尔大学)
One-shot Neural Architecture Search(NAS)旨在最大限度地减少发现最先进模型的计算费用。然而,在过去的一年里,人们的注意力已经吸引到在相同的搜索空间的领先NAS算法使用的朴素随机搜索的可比性能。为了解决这个问题,我们探索的影响,大幅放宽NAS搜索空间,我们提出了Bonsai-Net,一个有效的一次性NAS方法来探索我们放松的搜索空间。Bonsai-Net是围绕修改后的差分修剪器构建的,可以始终如一地发现最先进的架构,这些架构比随机搜索要好得多,参数比其他最先进的方法要少。此外,Bonsai-Net同时执行模型搜索和训练,大大减少了从头开始生成完全训练的模型所需的总时间。
2021-06-04 cs.LG stat.ML
GitGraph - Architecture Search Space Creation through Frequent Computational Subgraph Mining
Swisscom(瑞士电信)
深度神经网络在多个应用领域的巨大成功通常依赖于专家精心设计针对每个任务的网络架构。为了简化该过程并使其更易于访问,新兴的研究努力寻求使用例如进化算法或强化学习或在神经模块的受限空间中的简单搜索来自动化神经网络架构的设计。考虑到搜索空间的典型大小(例如,用于$10$层网络的$10^{10}$候选)和评估单个候选的成本,当前的架构搜索方法非常受限。他们要么依赖于静态的预构建模块来重新组合手头的任务,要么定义一个静态的手工框架,在这个框架中,他们可以从最简单的操作中生成新的架构。在本文中,我们通过利用在线代码存储库中发布的大量神经网络中包含的集体智慧来放宽这些限制。具体地说,我们(a)提取并发布GitGraph,这是一个神经架构及其描述的语料库;(b)我们创建了特定于问题的神经架构搜索空间,作为GitGraph上的文本搜索机制实现;(c)我们提出了一种识别解决每个问题的架构中唯一公共子图的方法(例如,图像处理、强化学习),其然后可以用作新创建的问题特定神经搜索空间中的模块。
2018-01-16 cs.AI cs.LG
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification
Korea University(高丽大学);Hallym University(翰林大学);Kyung Hee University(庆熙大学)
随着深度神经网络在各种任务中实现前所未有的性能,用于设计具有自动化过程的神经网络架构的研究领域神经架构搜索(NAS)正在积极进行中。最近,可区分NAS通过将搜索成本降低到训练单个网络的水平而产生了巨大的影响。此外,定义待搜索的候选架构的搜索空间直接影响最终架构的性能。在本文中,我们提出了一个适应计划的搜索空间通过引入一个搜索范围。ProxylessNAS的图像分类任务证明了所提出的方法的有效性。此外,我们可视化的架构参数更新的轨迹,并提供见解,以改善架构搜索。
2022-06-05 cs.LG
ShuffleNASNets: Efficient CNN models through modified Efficient Neural Architecture Search
University of Tübingen(蒂宾根大学)
通过诡辩搜索算法发现的神经网络架构实现了惊人的良好测试性能,远远超过了大多数人工构建的网络模型。虽然计算效率很高,但它们的设计往往非常复杂,影响了执行速度。此外,在搜索空间之外查找模型在设计上是不可能的。虽然我们的空间仍然有限,但我们在ShuffleNet V2的设计原则和架构的指导下,将无法解释的专家知识实现到经济搜索算法Efficient Neural Architecture Search(ENAS)中。虽然在CIFAR-10上保持了2.85%的基线测试误差,但我们的ShuffleNASNet的复杂性明显降低,需要的参数更少,并且在分类任务中比ENAS基线快两倍。这些模型也可以很好地扩展到低参数空间,实现小于5%的测试误差,几乎没有正则化,只有236 K个参数。
2018-12-07 cs.LG stat.ML
SGAS: Sequential Greedy Architecture Search
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST));Intel Labs(英特尔研究院)
架构设计已经成为成功的深度学习的关键组成部分。自动神经结构搜索(NAS)的最新进展显示了很大的希望。然而,发现的架构往往无法在最终的评估中推广。在搜索阶段具有较高验证准确性的架构在评估中可能表现较差。为了缓解这个常见的问题,我们引入了顺序贪婪结构搜索(SGAS),一种有效的神经结构搜索方法。通过将搜索过程划分为子问题,SGAS以贪婪的方式选择和修剪候选操作。我们将SGAS应用于卷积神经网络(CNN)和图卷积网络(GCN)的搜索架构。大量的实验表明,SGAS是能够找到国家的最先进的架构任务,如图像分类,点云分类和蛋白质相互作用图中的节点分类,以最小的计算成本。请访问www.example.com了解有关SGAS的更多信息。
2020-04-02 cs.CV cs.LG stat.ML
DC-NAS: Divide-and-Conquer Neural Architecture Search
The University of Sydney(悉尼大学)
大多数应用需要高性能的深度神经架构,而这些架构的资源有限。神经结构搜索是一种在给定的巨大搜索空间中自动探索最优深度神经网络的方法。然而,所有子网络通常使用相同的标准进行评估;也就是说,在一小部分训练数据集上提前停止,这是一种不准确且高度复杂的方法。与传统方法相比,我们在这里提出了一种分而治之(DC)方法来有效地搜索深度神经架构。在给定任意搜索空间的情况下,首先根据各层参数或输出特征的变化提取所有子网络的特征表示,然后根据这些表示计算两个不同采样网络之间的相似度。然后,进行k-means聚类,将相似的架构聚合到同一个簇中,在每个簇中单独执行子网络评估。每个集群中的最佳架构稍后被合并以获得最佳神经架构。在几个基准测试上进行的实验结果表明,DC-NAS可以克服不准确的评估问题,在ImageNet数据集上实现$75.1\%$ top-1准确度,这高于使用相同搜索空间的最先进方法。
2020-05-29 cs.LG stat.ML
Transferrable Surrogates in Expressive Neural Architecture Search Spaces
University of Edinburgh(爱丁堡大学);Charles University, Faculty of Mathematics and Physics(查理大学数学与物理系);The Czech Academy of Sciences, Institute of Computer Science(捷克科学院计算机科学研究所);University of Siegen(锡根大学)
本文研究在高表达性NAS搜索空间中训练可迁移代理模型,利用零成本代理指标、神经图特征或微调语言模型预测架构性能,用于过滤不良架构或直接作为搜索目标,从而显著加速搜索并提升最终性能。
2026-11-03 cs.AI cs.LG
Deep Active Learning with a Neural Architecture Search
Technion – Israel Institute of Technology(以色列理工学院)
我们考虑深度神经网络的主动学习。大多数主动学习作品在这方面的重点是研究有效的查询机制,并假设一个合适的网络架构是先验已知的问题。我们挑战这一假设,并提出了一种新的主动策略,使学习算法搜索有效的架构上飞,同时积极学习。我们应用我们的策略使用三个已知的查询技术(softmax响应,MC-辍学,和coresets),并表明所提出的方法压倒性地优于使用固定架构的主动学习。
2019-09-05 cs.LG stat.ML
An Introduction to Neural Architecture Search for Convolutional Networks
University of Macedonia(马其顿大学)
神经网络结构搜索(NAS)是利用优化算法设计最优神经网络结构的研究领域。关于体系结构的搜索空间、优化算法以及候选体系结构的评价方法有很多方法。由于该领域正在以不断增长的速度增长,初学者很难区分专业以及该领域所遵循的新兴方向。在这项工作中,我们介绍了卷积网络NAS的基本概念,以及搜索空间,算法和评估技术的主要进展。
2020-05-22 cs.LG cs.NE stat.ML
HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking
Michigan State University(密歇根州立大学);AInnovation(旷视)
最近,在设计神经网络架构中使用自动方法(通常称为神经架构搜索(NAS))引起了相当大的关注。在这项工作中,我们提出了一个有效的NAS方法,命名为HM-NAS,推广现有的基于权重共享的NAS方法。现有的基于权重共享的NAS方法仍然采用手工设计的算法来生成架构候选。因此,架构候选者的空间被约束在所有可能架构的子集中,使得架构搜索结果次优。HM-NAS通过两项创新解决了这一限制。首先,HM-NAS结合了多级架构编码方案,以能够搜索更灵活的网络架构。其次,它放弃了手工设计的算法,并采用了一个分层掩蔽方案,自动学习和确定最佳架构。与最先进的基于权重共享的方法相比,HM-NAS能够实现更好的架构搜索性能和有竞争力的模型评估精度。没有手工设计的算法所施加的约束,我们搜索的网络包含更灵活和有意义的架构,现有的基于权重共享的NAS方法是无法发现的。
2019-09-07 cs.CV cs.LG stat.ML
Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling
Yokohama National University(横滨国立大学);SkillUp AI Co., Ltd.(SkillUp AI株式会社)
神经架构搜索(NAS)旨在自动化架构设计过程并提高深度神经网络的性能。平台感知的NAS方法同时考虑性能和复杂性,可以找到性能良好的架构和低计算资源。虽然普通的NAS方法由于模型训练的重复而导致巨大的计算成本,但据报道,在搜索过程中仅一次训练包含所有候选架构的超网络的权重的一次性NAS导致较低的搜索成本。该研究重点关注架构复杂度感知的one-shot NAS,该NAS优化由两个指标的加权和组成的目标函数,如预测性能和参数数量。在现有的方法中,架构搜索过程必须以不同的加权和系数运行多次,以获得具有不同复杂度的多个架构。这项研究的目的是减少与寻找多个架构的搜索成本。该方法使用多个分布来生成具有不同复杂度的体系结构,并使用基于重要性采样的多个分布中获得的样本来更新每个分布。所提出的方法允许我们在一个单一的架构搜索,以获得不同的复杂性,从而降低搜索成本的多个架构。将该方法应用于CIAFR-10和ImageNet数据集上的卷积神经网络的结构搜索。因此,与基线方法相比,所提出的方法可以找到具有不同复杂度的多个架构,同时需要更少的计算工作量。
2022-07-21 cs.LG cs.NE stat.ML
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan(大阪大学)
针对现有图神经架构搜索方法缺乏可解释性的问题,提出ExGNAS方法,通过结合简单搜索空间与蒙特卡洛树搜索算法,在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
NASIB: Neural Architecture Search withIn Budget
MIT Media Labs(麻省理工学院媒体实验室);Cisco Systems(思科系统公司);IIIT Sri City(斯里城印度信息技术学院)
神经网络架构搜索(NAS)代表了一类用于生成最优神经网络架构的方法,并且通常在候选架构上进行迭代直到收敛于某个特定度量(如验证损失)。它们受到可用计算资源的限制,特别是在企业环境中。在本文中,我们提出了一种新的NAS方法,称为NASIB,它通过改变探索与开发权衡来适应和调整可用的计算资源(预算)。我们减少了专家的偏见,通过搜索在一个扩大的搜索空间引起的超级核。所提出的方法可以提供架构搜索有用的不同的计算资源和不同的领域以外的自然图像的图像分类,我们缺乏定制的架构图案和领域的专业知识。在CIFAR10上,我们可以在仅1.5 GPU天内搜索比传统现有技术多12倍的候选操作的空间,同时达到接近最先进的精度。虽然我们的方法在指数级更大的搜索空间上搜索,但与大多数现有方法相比,它可能会导致需要较少领域专业知识的新架构。
2019-10-19 cs.CV cs.LG stat.ML
Graph HyperNetworks for Neural Architecture Search
Uber Advanced Technologies Group(优步先进技术集团);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
神经架构搜索(NAS)自动找到最佳的特定于任务的神经网络拓扑结构,性能优于许多手动架构设计。然而,它可能非常昂贵,因为搜索需要训练数千个不同的网络,而每个网络可能持续数小时。在这项工作中,我们提出了图超网络(GHN)来分摊搜索成本:给定一个架构,它通过在图神经网络上运行推理来直接生成权重。GHN对架构的拓扑结构进行建模,因此可以比常规超网络和过早停止更准确地预测网络性能。为了执行NAS,我们随机采样架构,并使用GHN生成的权重作为代理搜索信号的网络的验证准确性。GHN的速度很快--它们的搜索速度比CIFAR-10和ImageNet上的其他随机搜索方法快近10倍。GHN可以进一步扩展到随时预测设置,在那里他们发现网络比最先进的手动设计具有更好的速度-准确性权衡。
2020-12-18 cs.CV cs.LG stat.ML
Edge-featured Graph Neural Architecture Search
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学);Peng Cheng Laboratory(鹏城实验室)
图神经网络(GNNs)已经成功地应用于许多关系任务中的图上的学习表示。近年来,研究者们开始研究神经网络结构搜索(NAS),以减少对人类经验的依赖,探索更好的GNN结构,但这些研究过于强调实体特征,而忽略了隐藏在边缘中的潜在关系信息。为了解决这个问题,我们将边缘特征纳入图搜索空间,并提出边缘特征图神经网络结构搜索,以找到最佳的GNN结构。具体来说,我们设计了丰富的实体和边缘更新操作来学习高阶表示,从而传达更通用的消息传递机制。此外,在我们的搜索空间中的架构拓扑允许探索实体和边缘的复杂特征依赖,这可以有效地优化可微搜索策略。在六个数据集上的三个图形任务的实验表明,EGNAS可以搜索更好的GNN,其性能高于当前最先进的人类设计和基于搜索的GNN。
2021-09-03 cs.AI cs.CV cs.LG
Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?
Michigan State University(密歇根州立大学)
现有的神经架构搜索(NAS)方法要么使用不能很好地扩展的离散编码来编码神经架构,要么采用基于监督学习的方法来联合学习架构表示并优化在引起搜索偏差的这种表示上的架构搜索。尽管广泛使用,在NAS中学习的体系结构表示仍然知之甚少。我们观察到,如果架构表示学习和搜索耦合,神经架构的结构属性很难保持在潜在空间中,导致搜索性能不太有效。在这项工作中,我们根据经验发现,仅使用神经架构而不使用其准确性作为标签的预训练架构表示大大提高了下游架构搜索效率。为了解释这些观察结果,我们可视化了无监督架构表示学习如何更好地鼓励具有相似连接和运算符的神经架构聚集在一起。这有助于将具有相似性能的神经架构映射到潜在空间中的相同区域,并使潜在空间中的架构过渡相对平滑,这大大有利于不同的下游搜索策略。
2020-10-24 cs.CV cs.LG
Neural Architecture Search: A Survey
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Freiburg(弗莱堡大学)
过去几年,深度学习在图像识别、语音识别和机器翻译等各种任务上取得了显著进展。这一进展的一个关键方面是新颖的神经结构。目前采用的架构大多是由人类专家手动开发的,这是一个耗时且容易出错的过程。正因为如此,人们对自动神经结构搜索方法越来越感兴趣。我们提供了一个概述,现有的工作在这一领域的研究和分类,根据三个方面:搜索空间,搜索策略,和性能评估策略。
2019-04-26 cs.LG cs.NE stat.ML
Towards One Shot Search Space Poisoning in Neural Architecture Search
University of Toronto(多伦多大学);ML Collective
我们评估的鲁棒性的神经架构搜索(NAS)算法被称为高效NAS(ENAS)对数据不可知的中毒攻击的原始搜索空间精心设计的无效操作。我们经验证明我们的一杆搜索空间中毒的方法利用ENAS控制器的设计缺陷,降低分类任务的预测性能。只需将两个中毒操作注入搜索空间,我们就可以在CIFAR-10数据集上将子网络的预测出错率提高到90%。
2021-11-13 cs.AI cs.LG cs.NE
Efficient Decoupled Neural Architecture Search by Structure and Operation Sampling
Hana Institute of Technology, Hana TI(韩亚TI韩亚技术研究院);Seoul National University(首尔国立大学)
提出了一种新的基于强化学习的神经网络结构搜索算法,通过解耦结构搜索和操作搜索过程。我们的方法样本的候选模型从多项分布的政策向量上定义的两个独立的搜索空间。与基于RNN控制器的强化学习的传统方法相比,所提出的技术显著提高了架构搜索过程的效率,同时在目标任务中实现了具有竞争力的精度和模型大小。我们的策略向量在整个训练过程中都很容易解释,这允许分析搜索进度和发现的架构; RNN控制器的黑盒特性阻碍了对策略参数更新方面的训练进度的理解。我们的实验证明了出色的性能相比,国家的最先进的方法与搜索成本的一小部分。
2019-10-23 cs.CV cs.LG stat.ML
InstaNAS: Instance-aware Neural Architecture Search
National Tsing-Hua University(国立清华大学);Google Research(谷歌研究院)
传统的神经架构搜索(NAS)旨在找到一个单一的架构,实现最佳的性能,这通常优化任务相关的学习目标,如准确性。然而,单一架构可能不足以代表具有高度多样性和多样性的整个数据集。直观地说,选择精通特定领域功能的领域专家架构可以进一步有利于与架构相关的目标,如延迟。在本文中,我们提出了InstaNAS--一个实例感知的NAS框架--它采用了一个控制器来搜索“架构分布”,而不是单个架构;这使得模型可以为困难的样本使用复杂的架构,这通常会带来与架构相关的成本,而对于那些简单的样本则使用浅架构。在推理阶段,控制器为每个看不见的输入样本分配一个领域专家架构,该架构可以以定制的推理成本实现高精度。在受MobileNetV2启发的搜索空间内进行的实验表明,InstaNAS可以在不影响MobileNetV2的一系列数据集准确性的情况下实现高达48.8%的延迟减少。
2019-05-23 cs.CV cs.LG stat.ML
NeuralArTS: Structuring Neural Architecture Search with Type Theory
University of Toronto(多伦多大学);ML Collective
神经架构搜索(NAS)算法在给定可能操作的初始搜索空间的情况下自动执行查找最佳深度学习架构的任务。开发这些搜索空间通常是手动的,预优化的搜索空间更有效,而不是从头开始搜索。在本文中,我们提出了一个新的框架,称为神经架构类型系统(NeuralArTS),分类的无限集的网络操作在一个结构化的类型系统。我们进一步展示了NeuralArTS如何应用于卷积层,并提出了几个未来的发展方向。
2021-11-05 cs.LG cs.LO cs.PL
ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search
SYSU(中山大学)
如何快速、准确地发现和评估模型的真实强度是神经结构搜索(NAS)的关键挑战之一。为了解决这个问题,我们提出了一个架构驱动的权重预测(ADWP)的神经架构搜索(NAS)的方法。在我们的方法中,我们首先设计一个结构密集的搜索空间,然后训练一个超网络输入随机编码的结构参数。在训练好的超网络中,卷积核的权重可以很好地预测搜索空间中的神经结构。因此,目标架构可以有效地评估,而无需任何微调,从而使我们能够在通用网络的空间中搜索最佳架构(宏搜索)。通过实际的实验,我们评估了所提出的AD-WPNAS发现的模型的性能,结果表明,一个搜索过程可以在CIFAR-10上在4.0 GPU小时内完成。此外,所发现的模型仅用1.52M个参数就获得了2.41%的测试误差,这优于现有的最佳模型。
2020-03-03 cs.LG cs.NE
Learning Architectures from an Extended Search Space for Language Modeling
Northeastern University(东北大学);NiuTrans Research(小牛翻译研究院);Institute of Psychology, CAS(中国科学院心理研究所);Kingsoft AI Lab(金山人工智能研究院)
近年来,神经架构搜索(NAS)取得了显著的进步,但大多数NAS系统将搜索限制在递归或卷积细胞的学习架构上。在本文中,我们扩展了NAS的搜索空间。特别是,我们提出了一种通用的方法来学习细胞内和细胞间的架构(称之为ESS)。为了获得更好的搜索结果,我们设计了一种联合学习方法来同时执行小区内和小区间NAS。我们实现了我们的模型在一个微分架构搜索系统。对于递归神经语言建模,它在PTB和WikiText数据上的表现明显优于强基线,在PTB上具有新的最新技术水平。此外,学习的架构显示出良好的可移植性到其他系统。例如,在一个示例中,它们改进了关于CoNLL和WNUT命名实体识别(NER)任务和CoNLL组块任务的现有技术系统,表明了关于大规模预学习体系结构的有希望的研究路线。
2020-06-05 cs.CL cs.LG stat.ML
Towards Less Constrained Macro-Neural Architecture Search
Universidade da Beira Interior(贝拉内格罗大学)
使用神经架构搜索(NAS)发现的网络在各种任务中实现了最先进的性能,性能超过了人类设计的网络。然而,大多数NAS方法严重依赖于约束搜索的人类定义的假设:架构的外骨架,层数,参数选择和搜索空间。此外,公共搜索空间由可重复的模块(单元)组成,而不是通过设计整个架构(宏搜索)来充分探索架构的搜索空间。施加这样的限制需要深厚的人类专业知识,并将搜索限制在预定义的设置中。在本文中,我们提出了LCMNAS,一种方法,推动NAS的约束较少的搜索空间,通过执行宏搜索,而不依赖于预定义的算法或有界的搜索空间。LCMNAS为NAS管道引入了三个组件:i)利用关于公知架构的信息来基于具有隐藏属性的加权有向图自主地生成复杂搜索空间的方法,ii)从头开始生成完整架构的进化搜索策略,及iii)混合-一种性能评估方法,将初始化阶段的架构信息与较低的保真度评估相结合,以推断其可训练性和能力,模拟复杂函数。我们在13个不同的数据集上进行了实验,结果表明LCMNAS能够以最小的GPU计算量和最先进的结果生成基于细胞和宏的架构。此外,我们对不同NAS组件在基于小区和宏的设置中的重要性进行了广泛的研究。再现性代码在https://github.com/VascoLopes/LCMNAS上公开。
2023-01-06 cs.AI cs.CV cs.LG
Can weight sharing outperform random architecture search? An investigation with TuNAS
Google Research(谷歌研究院);Waymo
基于权重共享的高效神经结构搜索方法在计算机视觉模型的神经结构搜索民主化方面表现出良好的前景。然而,这些有效的方法是否明显优于随机搜索仍有争议。在这里,我们对ImageNet和COCO上的图像分类和检测的一系列越来越大和更具挑战性的搜索空间进行了有效和随机搜索方法之间的彻底比较。虽然这两种方法的效率是依赖于问题的,我们的实验表明,有大的,现实的任务,有效的搜索方法可以提供大量的收益超过随机搜索。此外,我们提出和评估的技术,提高搜索架构的质量,并减少手动超参数调整的需要。源代码和实验数据可在https://github.com/google-research/google-research/tree/master/tunas上获得
2020-08-13 cs.CV cs.LG stat.ML
Single-level Optimization For Differential Architecture Search
本文指出,在双层优化框架下,差分结构搜索(DARTS)使结构参数的梯度偏向于网络权值,结构参数在不同数据集中交替更新。偏差导致不可学习操作的架构参数超过可学习操作的架构参数。此外,使用softmax作为架构参数的激活函数和不适当的学习率会加剧偏差。因此,经常可以观察到,不可学习的操作在搜索阶段占主导地位。为了减少偏差,我们建议使用单级优化来代替双层优化,并使用非竞争性激活函数(如sigmoid)来代替softmax。因此,我们可以稳定地寻找高性能的体系结构。在NAS Benchmark 201上的实验验证了我们的假设,并稳定地找到了接近最优的架构。在DARTS空间上,我们在ImageNet-1 K上以77.0%的top1准确率搜索最先进的架构(训练设置遵循PDARTS,没有任何额外的模块),并稳定地搜索架构,高达76.5%的top1准确率(但不是从搜索的架构中选择最好的),这与当前报告的最佳结果相当。
2020-12-15 cs.LG
Making Differentiable Architecture Search less local
Spotify;University of Bristol(布里斯托大学)
神经结构搜索(NAS)是一种用于自动设计神经网络结构的新方法。可区分神经结构搜索(DARTS)是一种很有前途的NAS方法,可以显著提高搜索效率。然而,它已被证明遭受性能崩溃,搜索往往导致有害的架构。许多最近的作品试图解决这个问题的DARTS通过识别指标提前停止,定期搜索目标,以减少一些操作的主导地位,或改变参数化的搜索问题。在这项工作中,我们假设性能崩溃可能是由于典型的初始架构和权重的局部最优值不佳而引起的。我们通过开发一个更全局的优化方案来解决这个问题,该方案能够在不改变DARTS问题公式的情况下更好地探索空间。我们的实验表明,我们的搜索算法的变化,允许发现的架构,更好的测试性能和更少的参数。
2021-04-21 cs.LG
Self-supervised Neural Architecture Search
Tel Aviv University(特拉维夫大学)
神经结构搜索(NAS)最近已被用于实现各种任务的性能提高,最突出的是在图像分类。然而,当前的搜索策略依赖于大的标记数据集,这限制了它们在仅注释了一小部分数据的情况下的使用。自监督学习在使用未标记数据训练神经网络方面显示出巨大的前景。在这项工作中,我们提出了一种自监督神经结构搜索(SSNAS),它允许在不需要标记数据的情况下找到新的网络模型。我们表明,这样的搜索导致类似的结果,监督训练与“完全标记”NAS,它可以提高性能的自监督学习。此外,我们证明了所提出的方法的优点时,在搜索中的标签的数量相对较小。
2020-07-03 cs.CV cs.LG stat.ML
Efficient Novelty-Driven Neural Architecture Search
Beijing Institute of Technology(北京理工大学);University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学)
One-Shot神经网络结构搜索(NAS)由于能够通过权值共享减少计算时间而受到广泛关注。然而,对最近几项工作的大量实验表明,从超网继承权重的验证准确率与One-Shot NAS重新训练后的测试准确率之间没有正相关性。与设计控制器以找到具有继承权重的最佳性能架构不同,本文关注如何对架构进行采样以训练超网,使其更具预测性。该算法采用单路径超网结构,每一步只优化一小部分权值,大大减少了对内存的需求。此外,我们放弃了设计复杂的基于奖励的结构采样控制器,并采样结构训练基于新颖性搜索的超网。本文提出了一种新的基于新颖性搜索的结构抽样方法,并通过大量的实验验证了该方法的有效性。在相同的搜索空间下,我们的算法获得的最佳架构在CIFAR-10上的测试出错率为2.51%,在单个GPU上的搜索时间仅为7.5小时,在PTB上的验证复杂度为60.02,测试复杂度为57.36。我们还将这些搜索单元结构分别转移到更大的数据集ImageNet和WikiText-2。
2019-07-22 cs.LG cs.NE stat.ML
RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving
UCLA(加州大学洛杉矶分校);DiDi AI Labs(滴滴人工智能实验室)
基于预测器的算法在神经结构搜索(NAS)任务中取得了显着的性能。然而,这些方法的计算成本很高,因为训练性能预测器通常需要从头开始训练和评估数百个架构。沿着这条线以前的工作主要集中在减少所需的架构,以适应预测器的数量。在这项工作中,我们从不同的角度来解决这个挑战-通过减少架构训练的计算预算来提高搜索效率。我们提出了非均匀连续减半(NOSH),分层调度算法,提前终止训练表现不佳的架构,以避免浪费预算。为了有效地利用由NOSH产生的非均匀监督信号,我们将基于预测器的架构搜索制定为利用成对比较的学习排序。由此产生的方法- RANK-NOSH,将搜索预算减少了约5倍,同时在各种空间和数据集上实现了具有竞争力的性能,甚至比以前最先进的基于预测的方法更好。
2021-08-18 cs.AI cs.CV cs.LG
MorphNAS: Differentiable Architecture Search for Morphologically-Aware Multilingual NER
Department of Computer Science & Engineering, PES University, Bengaluru, India(计算机科学与工程系,PES大学,班加罗尔,印度)
MorphNAS提出一种融合文种类型和形态复杂度等语言元特征的可微分架构搜索方法,自动为多语言命名实体识别寻找最优微架构,以提升对形态复杂语言的处理能力。
2025-08-19 cs.AI cs.CL cs.LG
A Neural Architecture Search Method using Auxiliary Evaluation Metric based on ResNet Architecture
Key Laboratory of Intelligent Computing;Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University Xiangtan Hunan China;Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University
本文提出基于ResNet框架的神经架构搜索空间,将验证集损失值作为辅助优化目标,在MNIST、Fashion-MNIST和CIFAR100数据集上成功找到了具竞争力的网络架构。
2025-05-02 cs.AI cs.CV cs.LG
Hierarchical Representations for Efficient Architecture Search
Carnegie Mellon University(卡内基梅隆大学);DeepMind
我们探索有效的神经架构搜索方法,并表明一个简单而强大的进化算法可以发现新的架构具有优异的性能。我们的方法结合了一种新的层次遗传表示方案,模仿人类专家通常采用的模块化设计模式,和一个富有表现力的搜索空间,支持复杂的拓扑结构。我们的算法有效地发现了优于大量手动设计的图像分类模型的架构,在CIFAR-10上获得了3.6%的前1错误,在转移到ImageNet时获得了20.3%的前1错误,这与现有的最佳神经架构搜索方法相比具有竞争力。我们还使用随机搜索呈现结果,在CIFAR-10上实现了0.3%的top-1准确率,在ImageNet上减少了0.1%,同时将搜索时间从36小时减少到1小时。
2018-02-22 cs.CV cs.LG cs.NE
Conceptual Expansion Neural Architecture Search (CENAS)
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
架构搜索为某些任务优化神经网络的结构,而不是依赖于手动编写。然而,它很慢,因为每个潜在的架构通常都是从头开始训练的。在本文中,我们提出了一种称为概念扩展神经结构搜索(CENAS)的方法,该方法将样本效率,计算创造力启发的迁移学习方法与神经结构搜索相结合。这种方法通过转移现有的权重来近似新模型的参数,比朴素的体系结构搜索更快地找到模型。它通过允许添加特征而不是仅修改现有特征来优于标准迁移学习。我们证明了我们的方法在各种迁移学习任务的效率,性能和参数计数方面优于标准神经结构搜索和迁移学习方法。
2021-10-07 cs.LG