Understanding Architectures Learnt by Cell-based Neural Architecture Search
School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
神经架构搜索（NAS）自动搜索给定任务的架构，例如，图像分类和语言建模。近年来，提高搜索效率和有效性越来越受到人们的关注。然而，很少有人致力于理解生成的架构。在本文中，我们首先揭示了现有的NAS算法（例如，DARTS、ENAS）倾向于支持具有宽且浅的单元结构的架构。这些有利的架构一致地实现快速收敛，因此被NAS算法选择。我们的实证和理论研究进一步证实了他们的快速收敛来自于他们的光滑损失景观和准确的梯度信息。尽管如此，这些架构可能不一定导致更好的泛化性能相比，在相同的搜索空间中的其他候选架构，因此进一步的改进是可能的，通过修改现有的NAS算法。
2020-01-01 cs.CV cs.LG stat.ML
A Study of the Learning Progress in Neural Architecture Search Techniques
NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）
在神经架构搜索中，通过自动搜索过程来确定对给定数据集进行最佳建模的神经网络的结构。Pham等人（2018）提出的高效神经架构搜索（ENAS）最近受到了相当大的关注，因为它能够在极短的搜索时间内找到优秀的架构。在这项工作中，这是出于寻求进一步提高架构搜索的学习速度，我们评估的控制器，在ENAS中产生的架构的学习进度。我们通过比较它在不同的控制器训练时期生成的架构来衡量进度，在从头开始重新训练架构后对其进行评估。作为一个令人惊讶的结果，我们发现学习曲线是完全平坦的，即，就其生成的体系结构的性能而言，控制器没有可观察到的进展。该观察结果在CIFAR-10和CIFAR-100数据集以及两个不同的搜索空间中是一致的。我们的结论是，高质量的ENAS生成的模型是搜索空间设计的结果，而不是控制器的训练，我们的研究结果表明，一次性的架构设计是一个有效的替代架构搜索ENAS。
2019-06-18 cs.LG cs.NE stat.ML
Differentially-private Federated Neural Architecture Search
University of California San Diego（加州大学圣地亚哥分校）；Rutgers University（罗格斯大学）
神经架构搜索，旨在自动搜索架构（例如，卷积，最大池化）的神经网络，最大限度地提高验证性能，最近取得了显着的进展。在许多应用场景中，多方希望通过利用来自各方的数据来协作搜索共享的神经架构。然而，由于隐私问题，没有一方希望其数据被其他方看到。为了解决这个问题，我们提出了联合神经架构搜索（FNAS），其中不同的各方通过交换架构变量的梯度来共同搜索可区分的架构，而不会将其数据暴露给其他各方。为了进一步保护隐私，我们研究了差分私有FNAS（DP-FNAS），它向架构变量的梯度添加随机噪声。为DP-FNAS实现差分隐私提供了理论保证。实验表明，DP-FNAS可以搜索高性能的神经结构，同时保护个人的隐私。代码可在https://github.com/UCSD-AI4H/DP-FNAS上获得
2020-06-22 cs.CR cs.LG stat.ML
Network Graph Based Neural Architecture Search
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
神经架构搜索实现了架构设计的自动化。尽管它取得了成功，但它在计算上是昂贵的，并且没有提供关于如何设计理想架构的见解。在这里，我们提出了一种新的搜索神经网络的方法，我们搜索神经网络结构，通过重新连接相应的图和预测的结构性能的图形属性。因为我们没有在整个图空间上执行机器学习，而是使用预测的架构性能来搜索架构，所以搜索过程非常高效。我们发现基于图的搜索可以给出一个合理的好的预测理想的架构。此外，我们发现图形属性是有效的预测架构性能。我们的工作提出了一种新的方法来搜索神经结构，并提供了神经结构设计的见解。
2021-12-15 cs.LG
SGAS: Sequential Greedy Architecture Search
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；Intel Labs（英特尔研究院）
架构设计已经成为成功的深度学习的关键组成部分。自动神经结构搜索（NAS）的最新进展显示了很大的希望。然而，发现的架构往往无法在最终的评估中推广。在搜索阶段具有较高验证准确性的架构在评估中可能表现较差。为了缓解这个常见的问题，我们引入了顺序贪婪结构搜索（SGAS），一种有效的神经结构搜索方法。通过将搜索过程划分为子问题，SGAS以贪婪的方式选择和修剪候选操作。我们将SGAS应用于卷积神经网络（CNN）和图卷积网络（GCN）的搜索架构。大量的实验表明，SGAS是能够找到国家的最先进的架构任务，如图像分类，点云分类和蛋白质相互作用图中的节点分类，以最小的计算成本。请访问www.example.com了解有关SGAS的更多信息。
2020-04-02 cs.CV cs.LG stat.ML
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification
Korea University（高丽大学）；Hallym University（翰林大学）；Kyung Hee University（庆熙大学）
随着深度神经网络在各种任务中实现前所未有的性能，用于设计具有自动化过程的神经网络架构的研究领域神经架构搜索（NAS）正在积极进行中。最近，可区分NAS通过将搜索成本降低到训练单个网络的水平而产生了巨大的影响。此外，定义待搜索的候选架构的搜索空间直接影响最终架构的性能。在本文中，我们提出了一个适应计划的搜索空间通过引入一个搜索范围。ProxylessNAS的图像分类任务证明了所提出的方法的有效性。此外，我们可视化的架构参数更新的轨迹，并提供见解，以改善架构搜索。
2022-06-05 cs.LG
An Introduction to Neural Architecture Search for Convolutional Networks
University of Macedonia（马其顿大学）
神经网络结构搜索（NAS）是利用优化算法设计最优神经网络结构的研究领域。关于体系结构的搜索空间、优化算法以及候选体系结构的评价方法有很多方法。由于该领域正在以不断增长的速度增长，初学者很难区分专业以及该领域所遵循的新兴方向。在这项工作中，我们介绍了卷积网络NAS的基本概念，以及搜索空间，算法和评估技术的主要进展。
2020-05-22 cs.LG cs.NE stat.ML
HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking
Michigan State University（密歇根州立大学）；AInnovation（旷视）
最近，在设计神经网络架构中使用自动方法（通常称为神经架构搜索（NAS））引起了相当大的关注。在这项工作中，我们提出了一个有效的NAS方法，命名为HM-NAS，推广现有的基于权重共享的NAS方法。现有的基于权重共享的NAS方法仍然采用手工设计的算法来生成架构候选。因此，架构候选者的空间被约束在所有可能架构的子集中，使得架构搜索结果次优。HM-NAS通过两项创新解决了这一限制。首先，HM-NAS结合了多级架构编码方案，以能够搜索更灵活的网络架构。其次，它放弃了手工设计的算法，并采用了一个分层掩蔽方案，自动学习和确定最佳架构。与最先进的基于权重共享的方法相比，HM-NAS能够实现更好的架构搜索性能和有竞争力的模型评估精度。没有手工设计的算法所施加的约束，我们搜索的网络包含更灵活和有意义的架构，现有的基于权重共享的NAS方法是无法发现的。
2019-09-07 cs.CV cs.LG stat.ML
Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling
Yokohama National University（横滨国立大学）；SkillUp AI Co., Ltd.（SkillUp AI株式会社）
神经架构搜索（NAS）旨在自动化架构设计过程并提高深度神经网络的性能。平台感知的NAS方法同时考虑性能和复杂性，可以找到性能良好的架构和低计算资源。虽然普通的NAS方法由于模型训练的重复而导致巨大的计算成本，但据报道，在搜索过程中仅一次训练包含所有候选架构的超网络的权重的一次性NAS导致较低的搜索成本。该研究重点关注架构复杂度感知的one-shot NAS，该NAS优化由两个指标的加权和组成的目标函数，如预测性能和参数数量。在现有的方法中，架构搜索过程必须以不同的加权和系数运行多次，以获得具有不同复杂度的多个架构。这项研究的目的是减少与寻找多个架构的搜索成本。该方法使用多个分布来生成具有不同复杂度的体系结构，并使用基于重要性采样的多个分布中获得的样本来更新每个分布。所提出的方法允许我们在一个单一的架构搜索，以获得不同的复杂性，从而降低搜索成本的多个架构。将该方法应用于CIAFR-10和ImageNet数据集上的卷积神经网络的结构搜索。因此，与基线方法相比，所提出的方法可以找到具有不同复杂度的多个架构，同时需要更少的计算工作量。
2022-07-21 cs.LG cs.NE stat.ML
NASIB: Neural Architecture Search withIn Budget
MIT Media Labs（麻省理工学院媒体实验室）；Cisco Systems（思科系统公司）；IIIT Sri City（斯里城印度信息技术学院）
神经网络架构搜索（NAS）代表了一类用于生成最优神经网络架构的方法，并且通常在候选架构上进行迭代直到收敛于某个特定度量（如验证损失）。它们受到可用计算资源的限制，特别是在企业环境中。在本文中，我们提出了一种新的NAS方法，称为NASIB，它通过改变探索与开发权衡来适应和调整可用的计算资源（预算）。我们减少了专家的偏见，通过搜索在一个扩大的搜索空间引起的超级核。所提出的方法可以提供架构搜索有用的不同的计算资源和不同的领域以外的自然图像的图像分类，我们缺乏定制的架构图案和领域的专业知识。在CIFAR10上，我们可以在仅1.5 GPU天内搜索比传统现有技术多12倍的候选操作的空间，同时达到接近最先进的精度。虽然我们的方法在指数级更大的搜索空间上搜索，但与大多数现有方法相比，它可能会导致需要较少领域专业知识的新架构。
2019-10-19 cs.CV cs.LG stat.ML
Graph HyperNetworks for Neural Architecture Search
Uber Advanced Technologies Group（优步先进技术集团）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
神经架构搜索（NAS）自动找到最佳的特定于任务的神经网络拓扑结构，性能优于许多手动架构设计。然而，它可能非常昂贵，因为搜索需要训练数千个不同的网络，而每个网络可能持续数小时。在这项工作中，我们提出了图超网络（GHN）来分摊搜索成本：给定一个架构，它通过在图神经网络上运行推理来直接生成权重。GHN对架构的拓扑结构进行建模，因此可以比常规超网络和过早停止更准确地预测网络性能。为了执行NAS，我们随机采样架构，并使用GHN生成的权重作为代理搜索信号的网络的验证准确性。GHN的速度很快--它们的搜索速度比CIFAR-10和ImageNet上的其他随机搜索方法快近10倍。GHN可以进一步扩展到随时预测设置，在那里他们发现网络比最先进的手动设计具有更好的速度-准确性权衡。
2020-12-18 cs.CV cs.LG stat.ML
Towards modular and programmable architecture search
Petuum；Carnegie Mellon University（卡内基梅隆大学）；TU Wien（维也纳技术大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
神经架构搜索方法能够以专家的最小努力找到高性能深度学习架构。然而，当前的系统专注于特定的用例（例如，卷积图像分类器和递归语言模型），使得它们不适合专家可能希望编写的一般用例。超参数优化系统是通用的，但缺乏易于应用于架构搜索所需的构造。在这项工作中，我们提出了一个形式语言编码搜索空间一般计算图。语言结构允许我们编写模块化的、可组合的和可重用的搜索空间编码，并对搜索空间设计进行推理。我们使用我们的语言编码的搜索空间的架构搜索文献。该语言允许我们解耦搜索空间和搜索算法的实现，允许我们通过一致的接口向搜索算法公开搜索空间。我们的实验表明，我们可以很容易地尝试不同的组合搜索空间和搜索算法，而不必从头开始实现每个组合。我们在本文中发布了我们语言的实现。
2019-09-30 cs.AI cs.LG stat.ML
Neural Architecture Search: A Survey
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
过去几年，深度学习在图像识别、语音识别和机器翻译等各种任务上取得了显著进展。这一进展的一个关键方面是新颖的神经结构。目前采用的架构大多是由人类专家手动开发的，这是一个耗时且容易出错的过程。正因为如此，人们对自动神经结构搜索方法越来越感兴趣。我们提供了一个概述，现有的工作在这一领域的研究和分类，根据三个方面：搜索空间，搜索策略，和性能评估策略。
2019-04-26 cs.LG cs.NE stat.ML
Efficient Decoupled Neural Architecture Search by Structure and Operation Sampling
Hana Institute of Technology, Hana TI（韩亚TI韩亚技术研究院）；Seoul National University（首尔国立大学）
提出了一种新的基于强化学习的神经网络结构搜索算法，通过解耦结构搜索和操作搜索过程。我们的方法样本的候选模型从多项分布的政策向量上定义的两个独立的搜索空间。与基于RNN控制器的强化学习的传统方法相比，所提出的技术显著提高了架构搜索过程的效率，同时在目标任务中实现了具有竞争力的精度和模型大小。我们的策略向量在整个训练过程中都很容易解释，这允许分析搜索进度和发现的架构; RNN控制器的黑盒特性阻碍了对策略参数更新方面的训练进度的理解。我们的实验证明了出色的性能相比，国家的最先进的方法与搜索成本的一小部分。
2019-10-23 cs.CV cs.LG stat.ML
InstaNAS: Instance-aware Neural Architecture Search
National Tsing-Hua University（国立清华大学）；Google Research（谷歌研究院）
传统的神经架构搜索（NAS）旨在找到一个单一的架构，实现最佳的性能，这通常优化任务相关的学习目标，如准确性。然而，单一架构可能不足以代表具有高度多样性和多样性的整个数据集。直观地说，选择精通特定领域功能的领域专家架构可以进一步有利于与架构相关的目标，如延迟。在本文中，我们提出了InstaNAS--一个实例感知的NAS框架--它采用了一个控制器来搜索“架构分布”，而不是单个架构;这使得模型可以为困难的样本使用复杂的架构，这通常会带来与架构相关的成本，而对于那些简单的样本则使用浅架构。在推理阶段，控制器为每个看不见的输入样本分配一个领域专家架构，该架构可以以定制的推理成本实现高精度。在受MobileNetV2启发的搜索空间内进行的实验表明，InstaNAS可以在不影响MobileNetV2的一系列数据集准确性的情况下实现高达48.8%的延迟减少。
2019-05-23 cs.CV cs.LG stat.ML
Learning Architectures from an Extended Search Space for Language Modeling
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究院）；Institute of Psychology, CAS（中国科学院心理研究所）；Kingsoft AI Lab（金山人工智能研究院）
近年来，神经架构搜索（NAS）取得了显著的进步，但大多数NAS系统将搜索限制在递归或卷积细胞的学习架构上。在本文中，我们扩展了NAS的搜索空间。特别是，我们提出了一种通用的方法来学习细胞内和细胞间的架构（称之为ESS）。为了获得更好的搜索结果，我们设计了一种联合学习方法来同时执行小区内和小区间NAS。我们实现了我们的模型在一个微分架构搜索系统。对于递归神经语言建模，它在PTB和WikiText数据上的表现明显优于强基线，在PTB上具有新的最新技术水平。此外，学习的架构显示出良好的可移植性到其他系统。例如，在一个示例中，它们改进了关于CoNLL和WNUT命名实体识别（NER）任务和CoNLL组块任务的现有技术系统，表明了关于大规模预学习体系结构的有希望的研究路线。
2020-06-05 cs.CL cs.LG stat.ML
Single-level Optimization For Differential Architecture Search
本文指出，在双层优化框架下，差分结构搜索（DARTS）使结构参数的梯度偏向于网络权值，结构参数在不同数据集中交替更新。偏差导致不可学习操作的架构参数超过可学习操作的架构参数。此外，使用softmax作为架构参数的激活函数和不适当的学习率会加剧偏差。因此，经常可以观察到，不可学习的操作在搜索阶段占主导地位。为了减少偏差，我们建议使用单级优化来代替双层优化，并使用非竞争性激活函数（如sigmoid）来代替softmax。因此，我们可以稳定地寻找高性能的体系结构。在NAS Benchmark 201上的实验验证了我们的假设，并稳定地找到了接近最优的架构。在DARTS空间上，我们在ImageNet-1 K上以77.0%的top1准确率搜索最先进的架构（训练设置遵循PDARTS，没有任何额外的模块），并稳定地搜索架构，高达76.5%的top1准确率（但不是从搜索的架构中选择最好的），这与当前报告的最佳结果相当。
2020-12-15 cs.LG
Making Differentiable Architecture Search less local
Spotify；University of Bristol（布里斯托大学）
神经结构搜索（NAS）是一种用于自动设计神经网络结构的新方法。可区分神经结构搜索（DARTS）是一种很有前途的NAS方法，可以显著提高搜索效率。然而，它已被证明遭受性能崩溃，搜索往往导致有害的架构。许多最近的作品试图解决这个问题的DARTS通过识别指标提前停止，定期搜索目标，以减少一些操作的主导地位，或改变参数化的搜索问题。在这项工作中，我们假设性能崩溃可能是由于典型的初始架构和权重的局部最优值不佳而引起的。我们通过开发一个更全局的优化方案来解决这个问题，该方案能够在不改变DARTS问题公式的情况下更好地探索空间。我们的实验表明，我们的搜索算法的变化，允许发现的架构，更好的测试性能和更少的参数。
2021-04-21 cs.LG
NeuralArTS: Structuring Neural Architecture Search with Type Theory
University of Toronto（多伦多大学）；ML Collective
神经架构搜索（NAS）算法在给定可能操作的初始搜索空间的情况下自动执行查找最佳深度学习架构的任务。开发这些搜索空间通常是手动的，预优化的搜索空间更有效，而不是从头开始搜索。在本文中，我们提出了一个新的框架，称为神经架构类型系统（NeuralArTS），分类的无限集的网络操作在一个结构化的类型系统。我们进一步展示了NeuralArTS如何应用于卷积层，并提出了几个未来的发展方向。
2021-11-05 cs.LG cs.LO cs.PL
Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?
Michigan State University（密歇根州立大学）
现有的神经架构搜索（NAS）方法要么使用不能很好地扩展的离散编码来编码神经架构，要么采用基于监督学习的方法来联合学习架构表示并优化在引起搜索偏差的这种表示上的架构搜索。尽管广泛使用，在NAS中学习的体系结构表示仍然知之甚少。我们观察到，如果架构表示学习和搜索耦合，神经架构的结构属性很难保持在潜在空间中，导致搜索性能不太有效。在这项工作中，我们根据经验发现，仅使用神经架构而不使用其准确性作为标签的预训练架构表示大大提高了下游架构搜索效率。为了解释这些观察结果，我们可视化了无监督架构表示学习如何更好地鼓励具有相似连接和运算符的神经架构聚集在一起。这有助于将具有相似性能的神经架构映射到潜在空间中的相同区域，并使潜在空间中的架构过渡相对平滑，这大大有利于不同的下游搜索策略。
2020-10-24 cs.CV cs.LG
Conceptual Expansion Neural Architecture Search (CENAS)
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
架构搜索为某些任务优化神经网络的结构，而不是依赖于手动编写。然而，它很慢，因为每个潜在的架构通常都是从头开始训练的。在本文中，我们提出了一种称为概念扩展神经结构搜索（CENAS）的方法，该方法将样本效率，计算创造力启发的迁移学习方法与神经结构搜索相结合。这种方法通过转移现有的权重来近似新模型的参数，比朴素的体系结构搜索更快地找到模型。它通过允许添加特征而不是仅修改现有特征来优于标准迁移学习。我们证明了我们的方法在各种迁移学习任务的效率，性能和参数计数方面优于标准神经结构搜索和迁移学习方法。
2021-10-07 cs.LG
EPNAS: Efficient Progressive Neural Architecture Search
Google Brain（谷歌大脑）；Google Cloud AI（谷歌云人工智能）；Baidu Research（百度研究院）；Horizon Robotics（地平线机器人）；University of Nevada（内华达大学）；Landing AI
在本文中，我们提出了有效的渐进式神经架构搜索（EPNAS），神经架构搜索（NAS），有效地处理大搜索空间，通过一种新的渐进式搜索策略与性能预测的基础上，REINFORCE~ \cite{Williams.1992.PG}。EPNAS旨在并行搜索目标网络，这在GPU/TPU集群等并行系统上更具可扩展性。更重要的是，EPNAS可以推广到具有多个资源约束的架构搜索，\eg，模型大小，计算复杂性或强度，这对于在移动和云等广泛平台中部署至关重要。我们使用CIFAR 10和ImageNet将EPNAS与其他最先进的（SoTA）网络架构（\eg，MobileNetV 2 ~ \cite{mobilenetv2}）和高效的NAS算法（\eg，ENAS~ \cite{pham2018efficient}和PNAS~ \cite{Liu2017b}）进行图像识别任务的比较。在这两个数据集上，EPNAS的\wrt结构的搜索速度和识别精度都优于EPNAS。
2019-07-07 cs.LG
ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search
SYSU（中山大学）
如何快速、准确地发现和评估模型的真实强度是神经结构搜索（NAS）的关键挑战之一。为了解决这个问题，我们提出了一个架构驱动的权重预测（ADWP）的神经架构搜索（NAS）的方法。在我们的方法中，我们首先设计一个结构密集的搜索空间，然后训练一个超网络输入随机编码的结构参数。在训练好的超网络中，卷积核的权重可以很好地预测搜索空间中的神经结构。因此，目标架构可以有效地评估，而无需任何微调，从而使我们能够在通用网络的空间中搜索最佳架构（宏搜索）。通过实际的实验，我们评估了所提出的AD-WPNAS发现的模型的性能，结果表明，一个搜索过程可以在CIFAR-10上在4.0 GPU小时内完成。此外，所发现的模型仅用1.52M个参数就获得了2.41%的测试误差，这优于现有的最佳模型。
2020-03-03 cs.LG cs.NE
Trends in Neural Architecture Search: Towards the Acceleration of Search
Korea University（高丽大学）；Hongik University（弘益大学）；Hallym University（翰林大学）
在现代深度学习研究中，寻找最优（或接近最优）的神经网络模型是主要的研究方向之一，在许多应用中得到了广泛的研究。本文将神经结构搜索的主要研究方向归纳为神经进化算法、基于强化学习的算法和一次性结构搜索方法。最后对三大研究趋势进行了比较。最后，对NAS未来的研究方向进行了展望。
2021-08-19 cs.LG
Hierarchical Representations for Efficient Architecture Search
Carnegie Mellon University（卡内基梅隆大学）；DeepMind
我们探索有效的神经架构搜索方法，并表明一个简单而强大的进化算法可以发现新的架构具有优异的性能。我们的方法结合了一种新的层次遗传表示方案，模仿人类专家通常采用的模块化设计模式，和一个富有表现力的搜索空间，支持复杂的拓扑结构。我们的算法有效地发现了优于大量手动设计的图像分类模型的架构，在CIFAR-10上获得了3.6%的前1错误，在转移到ImageNet时获得了20.3%的前1错误，这与现有的最佳神经架构搜索方法相比具有竞争力。我们还使用随机搜索呈现结果，在CIFAR-10上实现了0.3%的top-1准确率，在ImageNet上减少了0.1%，同时将搜索时间从36小时减少到1小时。
2018-02-22 cs.CV cs.LG cs.NE
Poisoning the Search Space in Neural Architecture Search
University of Toronto（多伦多大学）
事实证明，深度学习是医疗保健和自动驾驶等各个领域的目标检测和图像分割的高效问题解决工具。这种性能的核心在于神经架构设计，这在很大程度上依赖于研究人员的领域知识和先前经验。最近，在给定可能操作的初始搜索空间的情况下，找到最优架构的过程由神经架构搜索（NAS）自动化。在本文中，我们评估了一个这样的算法称为高效NAS（ENAS）对数据不可知中毒攻击的原始搜索空间精心设计的无效操作的鲁棒性。通过评估CIFAR-10数据集上的算法性能，我们经验性地展示了我们的新的搜索空间中毒（SSP）方法和多实例中毒攻击如何利用ENAS控制器中的设计缺陷来导致子网络的预测出错率膨胀。我们的研究结果提供了深入了解的挑战，克服使用NAS更adversarially强大的架构搜索。
2021-06-28 cs.CR cs.LG cs.NE
Sub-Architecture Ensemble Pruning in Neural Architecture Search
University of Science and Technology of China（中国科学技术大学）；Texas A&M University（得克萨斯农工大学）；WeBank（微众银行）
神经网络结构搜索（NAS）由于其灵活性和显著的减轻神经网络设计负担的能力，近年来受到越来越多的关注。然而，为了实现更好的性能，搜索过程通常需要大量的计算，这对于研究人员和从业人员来说可能是负担不起的。虽然最近的尝试采用集成学习方法来减轻巨大的计算成本，但是，他们忽略了集成方法的一个关键属性，即多样性，这导致在最终设计中收集更多类似的子架构，并具有潜在的冗余。为了解决这个问题，我们提出了一种用于NAS集成的修剪方法，称为“神经结构搜索中的子结构包围修剪（SAEP）”。“它的目标是利用多样性，并以较小的规模实现子集成架构，其性能与未修剪的集成架构相当。提出了三种可能的解决方案，以决定哪些子架构修剪在搜索过程中。实验结果表明，该方法的有效性，大大减少了子结构的数量，而不降低性能。
2021-05-28 cs.CV cs.LG cs.NE
You Only Search Once: On Lightweight Differentiable Architecture Search for Resource-Constrained Embedded Platforms
Nanyang Technological University（南洋理工大学）
受益于搜索效率，可区分神经架构搜索（NAS）已发展成为自动设计竞争性深度神经网络（DNN）的最主要替代方案。我们注意到，DNN必须在现实世界场景中严格的硬性能约束下执行，例如，自动驾驶汽车上的运行时延迟。然而，为了获得满足给定性能约束的架构，先前的硬件感知可区分NAS方法必须重复过多的搜索运行以通过试错来手动调整超参数，因此总设计成本成比例地增加。为了解决这个问题，我们引入了一个轻量级的硬件感知的可区分NAS框架，称为LightNAS，努力通过一次性搜索找到满足各种性能约束的所需架构（即，\underline{\textit{you only search once}}）。进行了大量的实验，以显示LightNAS比以前的国家的最先进的方法的优越性。
2022-08-30 cs.LG
RAPDARTS: Resource-Aware Progressive Differentiable Architecture Search
Sandia National Laboratories（桑迪亚国家实验室）；University of California Santa Barbara（加州大学圣巴巴拉分校）
早期的神经网络架构是由所谓的“研究生血统”设计的。从那时起，神经架构搜索（NAS）领域的发展目标是在算法上设计为感兴趣的数据集量身定制的架构。最近，已经创建了基于梯度的NAS方法来快速执行搜索。与替代NAS方法相比，基于代理的方法对搜索施加了更多的结构，从而实现了更快的搜索阶段优化。在现实世界中，衡量神经架构性能的不仅仅是高精度。人们越来越需要高效的神经架构，其中还必须考虑模型大小或延迟等资源。基于代理的NAS也适用于这种多目标优化。在这项工作中，我们扩展了一个流行的基于梯度的NAS方法，以支持一个或多个资源成本。然后，我们进行深入的分析，发现满足单资源约束的分类CIFAR-10的架构。
2019-11-08 cs.LG
Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars
University of Freiburg（弗赖堡大学）；University of Oxford（牛津大学）
本文提出基于上下文无关文法的统一分层NAS搜索空间构建框架，并设计适配贝叶斯优化的分层核，以支持在超大空间中搜索完整架构并取得优于现有方法的效果。
2023-12-08 cs.AI cs.CV cs.LG
Deep Neural Network Approach to Forward-Inverse Problems
Pohang University of Science and Technology（浦项科技大学）；California State University Long Beach（加州州立大学长滩分校）
在本文中，我们使用深度神经网络（DNN）构造微分方程（DE）的近似解。此外，我们提出了一个架构，其中包括通过实验数据，反问题，找到模型参数的过程。也就是说，我们提供了DNN架构的统一框架，该框架同时近似于分析解及其模型参数。该架构包括一个前馈DNN与非线性激活函数依赖于DE，自动微分，降阶，和梯度的最优化方法。我们还从理论上证明了所提出的DNN解决方案收敛到一个分析解在一个合适的函数空间的基本DE。最后，我们进行了数值实验，以验证我们的简化DNN架构的鲁棒性的一维输运方程，二维热方程，二维波动方程，和Lotka-Volterra系统。
2019-07-27 cs.LG cs.NA math.AP
Scalable Reinforcement Learning-based Neural Architecture Search
University of Antwerp（安特卫普大学）；imec（校际微电子中心）；IDLab - Faculty of Applied Engineering（IDLab应用工程学院）
本文提出一种基于强化学习的神经架构搜索方法，智能体学习搜索良好架构而非返回单一最优解，实验表明该方法在搜索空间大小方面具有强可扩展性，但对超参数变化的鲁棒性有限。
2024-10-02 cs.LG
FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search
Southern University of Science and Technology（南方科技大学）
提出结合常规与反向图视图的GNN性能预测器FR-NAS，通过定制损失在多个NAS基准上显著提升预测精度。
2024-04-24 cs.LG
DFG-NAS: Deep and Flexible Graph Neural Architecture Search
Peking University（北京大学）
图神经网络（GNN）已被广泛应用于各种基于图的应用。尽管它们取得了成功，但手动设计行为良好的GNN需要大量的人类专业知识。因此，发现潜在的最佳数据特定GNN架构是低效的。本文提出了DFG-NAS，这是一种新的神经架构搜索（NAS）方法，可以自动搜索非常深入和灵活的GNN架构。与大多数专注于微架构的现有方法不同，DFG-NAS突出了另一个设计层次：寻找关于原子传播（\textbf{\texttt{P}}）和转换（\textbf{\texttt{T}}）操作如何集成和组织到GNN中的宏架构。为此，DFG-NAS提出了一种新的基于消息传递分解的\textbf{\texttt{P-T}}排列组合搜索空间，定义了四种自定义宏结构突变，并采用进化算法进行了高效的搜索。四个节点分类任务的实证研究表明，DFG-NAS优于最先进的手工设计和GNN的NAS方法。
2022-06-17 cs.LG
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
ETH Zurich（苏黎世联邦理工学院）
本研究探讨用浅层前馈网络替代Transformer注意力层，通过知识蒸馏训练，在IWSLT2017上验证其性能媲美原架构，并通过消融实验证明该方法可行，为简化序列到序列模型提供新思路。
2024-02-04 cs.CL cs.LG
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
Tongji University（同济大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，微分搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而，这些方法在评估搜索的架构或将其转移到另一个数据集时通常报告较低的准确性。这可以说是由于搜索和评估场景中的架构深度之间的巨大差距。在本文中，我们提出了一个有效的算法，它允许搜索架构的深度逐渐增长的训练过程中。这带来了两个问题，即较重的计算开销和较弱的搜索稳定性，我们解决了搜索空间近似和正则化，分别。通过显著减少搜索时间（在单个GPU上约7小时），我们的方法在代理数据集（CIFAR10或CIFAR100）和目标数据集（ImageNet）上都实现了最先进的性能。代码可在https://github.com/chenxin061/pdarts上获得。
2019-04-29 cs.CV cs.LG
Neighborhood-Aware Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）
现有的神经架构搜索（NAS）方法通常返回一个具有良好搜索性能的架构，但推广到测试设置很差。为了实现更好的推广，我们提出了一种新的邻域感知NAS制定，以确定在搜索空间的平坦极小架构，与平坦的极小推广比尖锐的极小的假设。短语"平坦最小架构“是指在架构中的小扰动下性能稳定的架构（例如，用跳跃连接代替卷积）。我们的配方需要考虑到“平面度”的架构，通过聚合的性能超过该架构的邻域。我们展示了一个原则性的方式来应用我们的配方现有的搜索算法，包括基于采样的算法和基于梯度的算法。为了便于应用于基于梯度的算法，我们还提出了一个可微表示的邻域的架构。基于我们的公式，我们提出了邻域感知随机搜索（NA-RS）和邻域感知可微结构搜索（NA-DARTS）。值得注意的是，通过简单地使用我们的公式增强DARTS，NA-DARTS的性能优于DARTS，并在已建立的基准测试中实现了最先进的性能，包括CIFAR-10，CIFAR-100和ImageNet。
2021-10-29 cs.CV cs.LG
D-DARTS: Distributed Differentiable Architecture Search
Université Paris-Saclay（巴黎萨克雷大学）；MIT（麻省理工学院）
可区分的ARCHITERMS搜索（DARTS）是最流行的神经架构搜索（NAS）方法之一。它通过权重共享大大降低了搜索成本。然而，它也大大减少了搜索空间，从而排除了潜在的有前途的架构。在本文中，我们提出了D-DARTS，这是一种解决方案，它通过在细胞级别嵌套神经网络来解决这个问题，而不是使用权重共享来产生更多样化和专业化的架构。此外，我们引入了一种新的算法，可以从一些训练过的细胞中获得更深的架构，提高性能并节省计算时间。此外，我们还提出了一种替代的搜索空间（DARTOpti），在其中我们优化了现有的手工架构（例如，而不是从头开始。这种方法伴随着一个新的度量，该度量在我们的自定义搜索空间内测量架构之间的距离。我们的解决方案在多个计算机视觉任务上达到了具有竞争力的性能。代码和预训练模型可以在https://github.com/aheuillet/D-DARTS上访问。
2022-11-01 cs.CV cs.LG
Task-Aware Neural Architecture Search
Duke University（杜克大学）
手工制作的神经网络的设计需要大量的时间和资源。神经结构搜索（NAS）中的最新技术已被证明是有竞争力的或优于传统的手工设计，尽管它们需要领域知识，并且通常使用有限的搜索空间。在本文中，我们提出了一种新的框架神经架构搜索，利用字典的基本任务和目标任务和原子之间的相似性的模型字典，因此，产生一个自适应的搜索空间的基础上的字典的基本模型。通过引入基于梯度的搜索算法，我们可以在搜索空间中评估和发现最佳架构，而无需完全训练网络。实验结果表明，我们提出的任务感知方法的有效性。
2021-03-15 cs.AI cs.LG
Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
卷积神经网络（CNN）的神经结构搜索（NAS）的搜索空间是巨大的。为了减少搜索开销，大多数NAS算法使用固定的外部网络层结构，并且只搜索可重复的单元结构。当使用足够的小区和信道时，这种固定架构表现良好。然而，当架构变得更加轻量级时，性能会显著降低。为了获得更好的轻量级结构，需要更灵活和多样化的神经结构，并且应该为更大的搜索空间设计更有效的方法。受此启发，我们提出了MoARR算法，它利用现有的研究成果和历史信息，快速找到架构，既轻量级和准确。我们使用所发现的高性能细胞来构建网络架构。该方法增加了网络结构的多样性，同时也减少了单元结构设计的搜索空间。此外，设计了一种新的多目标方法，有效地分析历史评价信息，从而高效地搜索精度高、参数少的Pareto最优结构。实验结果表明，MoARR在CIFAR-10上仅用6个GPU时就能实现一个功能强大、轻量级的模型（出错率为1.9%，参数为2.3M），优于现有的模型。探索的架构可转移到ImageNet，并在4.9M参数下达到76.0%的top-1准确率。
2020-08-13 cs.CV cs.LG
Single-DARTS: Towards Stable Architecture Search
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
可区分架构搜索（DARTS）标志着神经架构搜索（NAS）的一个里程碑，拥有简单性和小搜索成本。然而，DARTS仍然遭受频繁的性能崩溃，当一些操作（如跳过连接，零和池）主导架构时，就会发生这种情况。在本文中，我们是第一个指出，这种现象归因于双层优化。我们提出了Single-DARTS，它只使用单级优化，使用同一批数据同时更新网络权重和结构参数。即使单级优化以前已经尝试过，没有文献提供了一个系统的解释，这一点。Single-DARTS取代了原有的两级优化，明显避免了性能崩溃，提高了体系结构搜索的稳定性。实验结果表明，Single-DARTS算法在主流搜索空间上的性能达到了最佳水平。例如，在NAS-Benchmark-201上，搜索到的架构几乎是最优的。我们还验证了单级优化框架比双级优化框架更稳定。我们希望这种简单而有效的方法将提供一些见解差分架构搜索。该代码可在https://github.com/PencilAndBike/Single-DARTS.git上获得。
2021-08-18 cs.CV cs.LG
ReNAS:Relativistic Evaluation of Neural Architecture Search
Noah’s Ark Lab Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Huawei Technologies（华为技术有限公司）；The University of Sydney（悉尼大学）；Peking University（北京大学）
一个有效的体系结构性能评估方案是神经网络体系结构搜索成功的关键。为了节省计算成本，大多数现有的NAS算法往往训练和评估中间神经网络结构上的一个小的代理数据集有限的训练时期。但是，很难期望在这样一个粗略的评估方式的体系结构的准确的性能估计。本文提出了一种新的神经网络体系结构评估方案，其目的是确定哪种体系结构的性能更好，而不是准确地预测绝对的体系结构性能。因此，我们提出了一个\textbf{relativistic}架构的NAS性能预测器（ReNAS）。我们将神经架构编码为特征张量，并使用预测器进一步细化表示。建议的相对论性能预测器可以部署在离散搜索方法中搜索所需的架构，而无需额外的评估。在NAS-Bench-101数据集上的实验结果表明，对424个（整个搜索空间的$0.1\%$）神经架构及其相应的验证性能进行采样已经足以学习准确的架构性能预测器。我们在NAS-Bench-101和NAS-Bench-201数据集上搜索的神经结构的准确性高于最先进的方法，并显示了所提出的方法的优先级。
2021-09-23 cs.LG cs.NE
NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
National University of Singapore（新加坡国立大学）
近年来，人们对神经结构搜索（NAS）的兴趣激增。已经提出了各种算法来提高NAS的搜索效率和有效性，即，以分别降低搜索成本和提高所选结构的泛化性能。然而，这些算法的搜索效率受到搜索过程中模型训练需求的严重限制。为了克服这一限制，我们提出了一种新的NAS算法称为NAS在初始化（NASI），利用神经切线核的能力，能够在初始化时表征候选架构的收敛性能，从而允许模型训练，以完全避免提高搜索效率。除了提高搜索效率外，NASI还在CIFAR-10/100和ImageNet等各种数据集上实现了具有竞争力的搜索效果。此外，NASI被证明是标签和数据不可知的温和条件下，这保证了我们的NASI在不同的数据集上选择的架构的可转移性。
2022-04-25 cs.AI cs.LG
Flexible Channel Dimensions for Differentiable Architecture Search
EPFL（洛桑联邦理工学院）
针对现有通道维度神经架构搜索依赖固定搜索空间的问题，提出带动态通道分配的可微搜索方法，在CIFAR-10上实现与现有方法性能相当的架构，同时提升搜索效率并降低内存需求，无需预设搜索空间。
2023-06-13 cs.AI cs.LG
Self-Supervised Neural Architecture Search for Multimodal Deep Neural Networks
Kagoshima University（鹿儿岛大学）
本文提出了一种自监督学习方法，用于多模态深度神经网络的架构搜索，能够在未标记数据上有效设计DNN架构。
2025-12-31 cs.LG cs.NE
Convergence of backpropagation with momentum for network architectures with skip connections
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们研究了一类深度神经网络，其网络形成有向无环图（DAG）。对于自适应动量梯度下降定义的反向传播，我们证明了一个大类的非线性激活函数的权重收敛。该证明推广了Wu等人（2008）的结果，他们证明了具有一个隐藏层的前馈网络的收敛性。对于DAG架构的有效性的一个例子，我们描述了一个例子，通过自动编码器压缩，并比较顺序前馈网络下的几个指标。
2020-01-19 cs.CV cs.LG
Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）；Stanford University（斯坦福大学）
最近，神经结构搜索（NAS）已经成功地确定了神经网络结构，超过人类设计的大规模图像分类。在本文中，我们研究NAS的语义图像分割。现有的工作往往侧重于寻找可重复的细胞结构，而手工设计的外部网络结构，控制空间分辨率的变化。这种选择简化了搜索空间，但是对于呈现更多网络级架构变化的密集图像预测来说变得越来越成问题。因此，我们建议除了搜索单元级结构之外，还搜索网络级结构，这形成了分层结构的搜索空间。我们提出了一个网络级的搜索空间，其中包括许多流行的设计，并制定了一个公式，允许有效的基于梯度的架构搜索（3 P100 GPU天的城市景观图像）。我们证明了所提出的方法在具有挑战性的Cityscapes，PASCAL VOC 2012和ADE 20 K数据集上的有效性。Auto-DeepLab是我们专门针对语义图像分割搜索的架构，在没有任何ImageNet预训练的情况下达到了最先进的性能。
2019-04-06 cs.CV cs.LG
BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search
Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；DarkMatter AI Research（DarkMatter AI研究院）；University of Oxford（牛津大学）；Alibaba Group（阿里巴巴集团）；RMIT University（皇家墨尔本理工大学）
最近在手工制作的视觉识别神经架构方面的无数突破突出了探索由多样化构建块组成的混合架构的迫切需要。与此同时，神经结构搜索方法正在激增，期望减少人类的努力。然而，NAS方法是否能够高效且有效地处理具有不同候选者（例如CNN和Transformers）的多样化搜索空间仍然是一个悬而未决的问题。在这项工作中，我们提出了块智能自监督神经架构搜索（BossNAS），一种无监督的NAS方法，解决了以前的方法中由于大的权重共享空间和有偏见的监督而导致的架构评级不准确的问题。更具体地说，我们分解成块的搜索空间，并利用一种新的自我监督的训练计划，命名为合奏自举，训练每个块单独搜索他们作为一个整体的人口中心。此外，我们提出了HyTra搜索空间，一个类似于织物的混合CNN变换器搜索空间，具有可搜索的下采样位置。在这个具有挑战性的搜索空间上，我们的搜索模型BossNet-T在ImageNet上的准确率高达82.5%，在计算时间相当的情况下超过EfficientNet 2.4%。此外，我们的方法在ImageNet的规范MBConv搜索空间和CIFAR-100的NATS-Bench大小搜索空间上分别实现了0.78和0.76 Spearman相关性的卓越架构评级准确性，超过了最先进的NAS方法。代码：https://github.com/changlin31/BossNAS
2021-08-19 cs.CV cs.LG
Design Principle Transfer in Neural Architecture Search via Large Language Models
The Hong Kong Polytechnic University（香港理工大学）；Chongqing University（重庆大学）；City University of Hong Kong（香港城市大学）
本文提出基于大语言模型的设计原则迁移（LAPT）框架，通过LLM自动推理并逐步精炼架构设计原则以缩小搜索空间，从而高效提升多任务神经架构搜索的性能与效率。
2024-12-18 cs.CL cs.LG
Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search
EPFL（洛桑联邦理工学院）；Intel（英特尔）
权重共享已经成为神经架构搜索中的事实标准，因为它使搜索能够在商品硬件上完成。然而，最近的工作经验表明，独立架构的性能和相应的共享权重网络的性能之间的排名混乱。这违反了权重共享NAS算法的主要假设，从而限制了它们的有效性。我们通过提出一个正则化项来解决这个问题，该正则化项旨在最大限度地提高共享权重网络的性能排名与使用少量地标架构的独立架构之间的相关性。我们将我们的正则化项到三个不同的NAS算法，并表明它始终提高性能的算法，搜索空间和任务。
2021-04-12 cs.CV cs.LG
Partially-Connected Differentiable Architecture Search for Deepfake and Spoofing Detection
EURECOM（欧洲通信系统工程学院）
本文报告了可区分架构搜索（DARTS）方法在深度伪造和欺骗检测问题中的首次成功应用。作为神经架构搜索的一个例子，DARTS在连续的、可微分的搜索空间上操作，这使得架构和参数都能够通过梯度下降来优化。基于部分连接DARTS的解决方案在搜索空间中使用随机通道掩蔽，以减少GPU时间，并自动学习和优化由卷积运算和残差块组成的复杂神经架构。尽管学习速度很快，几乎没有人力投入，但由此产生的网络与文献中报道的最佳性能系统相比具有竞争力。有些也远没有那么复杂，包含的参数比Res2Net竞争对手少85%。
2021-06-30 cs.LG cs.SD eess.AS
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan（大阪大学）
针对现有图神经架构搜索方法缺乏可解释性的问题，提出ExGNAS方法，通过结合简单搜索空间与蒙特卡洛树搜索算法，在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
Towards Less Constrained Macro-Neural Architecture Search
Universidade da Beira Interior（贝拉内格罗大学）
使用神经架构搜索（NAS）发现的网络在各种任务中实现了最先进的性能，性能超过了人类设计的网络。然而，大多数NAS方法严重依赖于约束搜索的人类定义的假设：架构的外骨架，层数，参数选择和搜索空间。此外，公共搜索空间由可重复的模块（单元）组成，而不是通过设计整个架构（宏搜索）来充分探索架构的搜索空间。施加这样的限制需要深厚的人类专业知识，并将搜索限制在预定义的设置中。在本文中，我们提出了LCMNAS，一种方法，推动NAS的约束较少的搜索空间，通过执行宏搜索，而不依赖于预定义的算法或有界的搜索空间。LCMNAS为NAS管道引入了三个组件：i）利用关于公知架构的信息来基于具有隐藏属性的加权有向图自主地生成复杂搜索空间的方法，ii）从头开始生成完整架构的进化搜索策略，及iii）混合-一种性能评估方法，将初始化阶段的架构信息与较低的保真度评估相结合，以推断其可训练性和能力，模拟复杂函数。我们在13个不同的数据集上进行了实验，结果表明LCMNAS能够以最小的GPU计算量和最先进的结果生成基于细胞和宏的架构。此外，我们对不同NAS组件在基于小区和宏的设置中的重要性进行了广泛的研究。再现性代码在https://github.com/VascoLopes/LCMNAS上公开。
2023-01-06 cs.AI cs.CV cs.LG
Edge-featured Graph Neural Architecture Search
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
图神经网络（GNNs）已经成功地应用于许多关系任务中的图上的学习表示。近年来，研究者们开始研究神经网络结构搜索（NAS），以减少对人类经验的依赖，探索更好的GNN结构，但这些研究过于强调实体特征，而忽略了隐藏在边缘中的潜在关系信息。为了解决这个问题，我们将边缘特征纳入图搜索空间，并提出边缘特征图神经网络结构搜索，以找到最佳的GNN结构。具体来说，我们设计了丰富的实体和边缘更新操作来学习高阶表示，从而传达更通用的消息传递机制。此外，在我们的搜索空间中的架构拓扑允许探索实体和边缘的复杂特征依赖，这可以有效地优化可微搜索策略。在六个数据集上的三个图形任务的实验表明，EGNAS可以搜索更好的GNN，其性能高于当前最先进的人类设计和基于搜索的GNN。
2021-09-03 cs.AI cs.CV cs.LG
