NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
National University of Singapore（新加坡国立大学）
近年来，人们对神经结构搜索（NAS）的兴趣激增。已经提出了各种算法来提高NAS的搜索效率和有效性，即，以分别降低搜索成本和提高所选结构的泛化性能。然而，这些算法的搜索效率受到搜索过程中模型训练需求的严重限制。为了克服这一限制，我们提出了一种新的NAS算法称为NAS在初始化（NASI），利用神经切线核的能力，能够在初始化时表征候选架构的收敛性能，从而允许模型训练，以完全避免提高搜索效率。除了提高搜索效率外，NASI还在CIFAR-10/100和ImageNet等各种数据集上实现了具有竞争力的搜索效果。此外，NASI被证明是标签和数据不可知的温和条件下，这保证了我们的NASI在不同的数据集上选择的架构的可转移性。
2022-04-25 cs.AI cs.LG
Disentangled Neural Architecture Search
Lenovo Research（联想研究院）
近年来，神经结构搜索在各个领域显示出巨大的潜力。然而，现有的方法严重依赖于一个黑盒控制器来搜索架构，这遭受缺乏可解释性的严重问题。在本文中，我们提出了解开神经结构搜索（DNAS），解开隐藏的表示的控制器到语义上有意义的概念，使神经结构搜索过程可解释。在系统研究的基础上，我们发现了网络架构与其性能之间的相关性，并提出了一种密集采样策略，在可能产生性能良好的架构的有希望的区域进行有针对性的搜索。我们证明：1）DNAS成功地解开了架构表示，包括操作选择、跳过连接和层数。2)得益于可解释性，DNAS可以在不同的FLOPS限制下灵活地找到优秀的体系结构。3)密集采样导致神经结构搜索具有更高的效率和更好的性能。在NASBench-101数据集上，DNAS实现了94.21%的最先进性能，计算成本不到基线方法的1/13。在ImageNet数据集上，DNAS发现了达到22.7%测试误差的竞争架构。我们的方法提供了一个新的角度来理解神经结构搜索。
2020-09-24 cs.LG cs.NE stat.ML
Flexible Channel Dimensions for Differentiable Architecture Search
EPFL（洛桑联邦理工学院）
针对现有通道维度神经架构搜索依赖固定搜索空间的问题，提出带动态通道分配的可微搜索方法，在CIFAR-10上实现与现有方法性能相当的架构，同时提升搜索效率并降低内存需求，无需预设搜索空间。
2023-06-13 cs.AI cs.LG
Self-Supervised Neural Architecture Search for Multimodal Deep Neural Networks
Kagoshima University（鹿儿岛大学）
本文提出了一种自监督学习方法，用于多模态深度神经网络的架构搜索，能够在未标记数据上有效设计DNN架构。
2025-12-31 cs.LG cs.NE
A Study of the Learning Progress in Neural Architecture Search Techniques
NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）
在神经架构搜索中，通过自动搜索过程来确定对给定数据集进行最佳建模的神经网络的结构。Pham等人（2018）提出的高效神经架构搜索（ENAS）最近受到了相当大的关注，因为它能够在极短的搜索时间内找到优秀的架构。在这项工作中，这是出于寻求进一步提高架构搜索的学习速度，我们评估的控制器，在ENAS中产生的架构的学习进度。我们通过比较它在不同的控制器训练时期生成的架构来衡量进度，在从头开始重新训练架构后对其进行评估。作为一个令人惊讶的结果，我们发现学习曲线是完全平坦的，即，就其生成的体系结构的性能而言，控制器没有可观察到的进展。该观察结果在CIFAR-10和CIFAR-100数据集以及两个不同的搜索空间中是一致的。我们的结论是，高质量的ENAS生成的模型是搜索空间设计的结果，而不是控制器的训练，我们的研究结果表明，一次性的架构设计是一个有效的替代架构搜索ENAS。
2019-06-18 cs.LG cs.NE stat.ML
MicroNAS: Zero-Shot Neural Architecture Search for MCUs
University of California, Irvine（加州大学尔湾分校）
本文提出面向MCU的硬件感知零样本NAS框架MicroNAS，通过专门性能指标在无需高昂计算成本的情况下搜索最优架构，实现搜索效率最高提升1104倍、MCU推理速度提升超3.23倍且精度相近。
2024-01-17 cs.AI cs.LG
POPNASv2: An Efficient Multi-Objective Neural Architecture Search Technique
Politecnico di Milano（米兰理工大学）
自动化的最佳神经网络模型的研究是一个任务，已经获得了越来越多的相关性，在过去的几年里。在这种情况下，神经架构搜索（NAS）代表了最有效的技术，其结果可以与最先进的手工架构相媲美。然而，这种方法需要大量的计算能力和研究时间，这使得它在许多现实世界的场景中无法使用。渐进式神经架构搜索（PNAS）凭借其基于模型的顺序优化策略，代表了面对这一资源问题的可能一步。尽管发现的网络架构的质量，这种技术仍然是有限的研究时间。帕累托最优渐进神经架构搜索（POPNAS）在这个方向上迈出了重要的一步，它通过时间预测器扩展了PNAS，以实现搜索时间和准确性之间的权衡，考虑到多目标优化问题。本文提出了一个新版本的帕累托最优渐进神经结构搜索，称为POPNASv2。我们的方法增强了它的第一个版本，提高了它的性能。我们通过添加新的运算符扩展了搜索空间，并提高了两个预测器的质量，以构建更准确的Pareto前沿。此外，我们引入了细胞等价检查和丰富的搜索策略与自适应贪婪的探索步骤。我们的努力使POPNASv2实现了PNAS般的性能，平均搜索时间加快了4倍。
2022-10-06 cs.AI cs.LG
Effective, Efficient and Robust Neural Architecture Search
Southern University of Science and Technology（南方科技大学）
对抗攻击的最新进展显示了神经架构搜索（NAS）搜索的深度神经网络的脆弱性。尽管NAS方法可以找到具有最先进性能的网络结构，但NAS中的对抗鲁棒性和资源约束往往被忽略。为了解决这个问题，我们提出了一个有效的，高效的，和鲁棒的神经网络架构搜索（E2RNAS）的方法来搜索一个神经网络架构，考虑到性能，鲁棒性和资源约束。与现有的NAS方法不同的是，E2RNAS方法的目标函数是一个双层多目标优化问题，上层问题是一个多目标优化问题。为了解决提出的目标函数，我们集成了多梯度下降算法，一个广泛研究的基于梯度的多目标优化算法，与双层优化。在基准数据集上的实验表明，所提出的E2RNAS方法可以找到具有优化模型大小和可比分类精度的对抗鲁棒架构。
2020-11-19 cs.LG cs.NE
Differential Evolution for Neural Architecture Search
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
神经体系结构搜索（NAS）方法依赖于用于决定接下来评估哪些体系结构的搜索策略和用于评估它们的性能的性能估计策略（例如，使用完全评估、多保真度评估或一次性模型）。在本文中，我们集中在搜索策略。我们介绍了简单而强大的进化算法的差异进化的NAS社区。使用最简单的性能评估策略的全面评估，我们全面比较了这种搜索策略，正则化的进化和贝叶斯优化，并证明它产生了改进的和更强大的结果为13个表格NAS基准NAS-Bench-101，NAS-Bench-1 Shot 1，NAS-Bench-201和NAS-HPO板凳。
2021-08-09 cs.LG cs.NE
Network Graph Based Neural Architecture Search
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
神经架构搜索实现了架构设计的自动化。尽管它取得了成功，但它在计算上是昂贵的，并且没有提供关于如何设计理想架构的见解。在这里，我们提出了一种新的搜索神经网络的方法，我们搜索神经网络结构，通过重新连接相应的图和预测的结构性能的图形属性。因为我们没有在整个图空间上执行机器学习，而是使用预测的架构性能来搜索架构，所以搜索过程非常高效。我们发现基于图的搜索可以给出一个合理的好的预测理想的架构。此外，我们发现图形属性是有效的预测架构性能。我们的工作提出了一种新的方法来搜索神经结构，并提供了神经结构设计的见解。
2021-12-15 cs.LG
Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision
Tsinghua University（清华大学）；Wechat, Tencent（腾讯微信）
针对现有GNAS依赖监督标签的问题，本文提出DSGAS模型，通过解耦图超网络、联合解耦自监督训练和带增强的对比搜索，在无监督场景下实现了SOTA性能。
2024-03-08 cs.AI cs.LG
GitGraph - Architecture Search Space Creation through Frequent Computational Subgraph Mining
Swisscom（瑞士电信）
深度神经网络在多个应用领域的巨大成功通常依赖于专家精心设计针对每个任务的网络架构。为了简化该过程并使其更易于访问，新兴的研究努力寻求使用例如进化算法或强化学习或在神经模块的受限空间中的简单搜索来自动化神经网络架构的设计。考虑到搜索空间的典型大小（例如，用于$10$层网络的$10^{10}$候选）和评估单个候选的成本，当前的架构搜索方法非常受限。他们要么依赖于静态的预构建模块来重新组合手头的任务，要么定义一个静态的手工框架，在这个框架中，他们可以从最简单的操作中生成新的架构。在本文中，我们通过利用在线代码存储库中发布的大量神经网络中包含的集体智慧来放宽这些限制。具体地说，我们（a）提取并发布GitGraph，这是一个神经架构及其描述的语料库;（b）我们创建了特定于问题的神经架构搜索空间，作为GitGraph上的文本搜索机制实现;（c）我们提出了一种识别解决每个问题的架构中唯一公共子图的方法（例如，图像处理、强化学习），其然后可以用作新创建的问题特定神经搜索空间中的模块。
2018-01-16 cs.AI cs.LG
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification
Korea University（高丽大学）；Hallym University（翰林大学）；Kyung Hee University（庆熙大学）
随着深度神经网络在各种任务中实现前所未有的性能，用于设计具有自动化过程的神经网络架构的研究领域神经架构搜索（NAS）正在积极进行中。最近，可区分NAS通过将搜索成本降低到训练单个网络的水平而产生了巨大的影响。此外，定义待搜索的候选架构的搜索空间直接影响最终架构的性能。在本文中，我们提出了一个适应计划的搜索空间通过引入一个搜索范围。ProxylessNAS的图像分类任务证明了所提出的方法的有效性。此外，我们可视化的架构参数更新的轨迹，并提供见解，以改善架构搜索。
2022-06-05 cs.LG
Transferrable Surrogates in Expressive Neural Architecture Search Spaces
University of Edinburgh（爱丁堡大学）；Charles University, Faculty of Mathematics and Physics（查理大学数学与物理系）；The Czech Academy of Sciences, Institute of Computer Science（捷克科学院计算机科学研究所）；University of Siegen（锡根大学）
本文研究在高表达性NAS搜索空间中训练可迁移代理模型，利用零成本代理指标、神经图特征或微调语言模型预测架构性能，用于过滤不良架构或直接作为搜索目标，从而显著加速搜索并提升最终性能。
2026-11-03 cs.AI cs.LG
WeNet: Weighted Networks for Recurrent Network Architecture Search
Amazon AWS AI（亚马逊AWS人工智能）
近年来，在深度学习中对自动架构搜索的需求越来越大。已经提出了许多方法，并在各种应用中产生了最先进的结果，包括图像分类和语言建模。在本文中，我们提出了一种新的方式架构搜索加权网络（WeNet），它由一些网络，每个分配一个权重。这些权重通过反向传播进行更新，以反映不同网络的重要性。这种加权网络具有类似于混合专家模型的特点。我们在Penn Treebank和WikiText-2上进行实验。我们表明，所提出的WeNet可以找到经常性的架构，从而导致最先进的性能。
2019-04-08 cs.LG cs.NE
An Introduction to Neural Architecture Search for Convolutional Networks
University of Macedonia（马其顿大学）
神经网络结构搜索（NAS）是利用优化算法设计最优神经网络结构的研究领域。关于体系结构的搜索空间、优化算法以及候选体系结构的评价方法有很多方法。由于该领域正在以不断增长的速度增长，初学者很难区分专业以及该领域所遵循的新兴方向。在这项工作中，我们介绍了卷积网络NAS的基本概念，以及搜索空间，算法和评估技术的主要进展。
2020-05-22 cs.LG cs.NE stat.ML
Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling
Yokohama National University（横滨国立大学）；SkillUp AI Co., Ltd.（SkillUp AI株式会社）
神经架构搜索（NAS）旨在自动化架构设计过程并提高深度神经网络的性能。平台感知的NAS方法同时考虑性能和复杂性，可以找到性能良好的架构和低计算资源。虽然普通的NAS方法由于模型训练的重复而导致巨大的计算成本，但据报道，在搜索过程中仅一次训练包含所有候选架构的超网络的权重的一次性NAS导致较低的搜索成本。该研究重点关注架构复杂度感知的one-shot NAS，该NAS优化由两个指标的加权和组成的目标函数，如预测性能和参数数量。在现有的方法中，架构搜索过程必须以不同的加权和系数运行多次，以获得具有不同复杂度的多个架构。这项研究的目的是减少与寻找多个架构的搜索成本。该方法使用多个分布来生成具有不同复杂度的体系结构，并使用基于重要性采样的多个分布中获得的样本来更新每个分布。所提出的方法允许我们在一个单一的架构搜索，以获得不同的复杂性，从而降低搜索成本的多个架构。将该方法应用于CIAFR-10和ImageNet数据集上的卷积神经网络的结构搜索。因此，与基线方法相比，所提出的方法可以找到具有不同复杂度的多个架构，同时需要更少的计算工作量。
2022-07-21 cs.LG cs.NE stat.ML
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan（大阪大学）
针对现有图神经架构搜索方法缺乏可解释性的问题，提出ExGNAS方法，通过结合简单搜索空间与蒙特卡洛树搜索算法，在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
Edge-featured Graph Neural Architecture Search
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
图神经网络（GNNs）已经成功地应用于许多关系任务中的图上的学习表示。近年来，研究者们开始研究神经网络结构搜索（NAS），以减少对人类经验的依赖，探索更好的GNN结构，但这些研究过于强调实体特征，而忽略了隐藏在边缘中的潜在关系信息。为了解决这个问题，我们将边缘特征纳入图搜索空间，并提出边缘特征图神经网络结构搜索，以找到最佳的GNN结构。具体来说，我们设计了丰富的实体和边缘更新操作来学习高阶表示，从而传达更通用的消息传递机制。此外，在我们的搜索空间中的架构拓扑允许探索实体和边缘的复杂特征依赖，这可以有效地优化可微搜索策略。在六个数据集上的三个图形任务的实验表明，EGNAS可以搜索更好的GNN，其性能高于当前最先进的人类设计和基于搜索的GNN。
2021-09-03 cs.AI cs.CV cs.LG
Towards modular and programmable architecture search
Petuum；Carnegie Mellon University（卡内基梅隆大学）；TU Wien（维也纳技术大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
神经架构搜索方法能够以专家的最小努力找到高性能深度学习架构。然而，当前的系统专注于特定的用例（例如，卷积图像分类器和递归语言模型），使得它们不适合专家可能希望编写的一般用例。超参数优化系统是通用的，但缺乏易于应用于架构搜索所需的构造。在这项工作中，我们提出了一个形式语言编码搜索空间一般计算图。语言结构允许我们编写模块化的、可组合的和可重用的搜索空间编码，并对搜索空间设计进行推理。我们使用我们的语言编码的搜索空间的架构搜索文献。该语言允许我们解耦搜索空间和搜索算法的实现，允许我们通过一致的接口向搜索算法公开搜索空间。我们的实验表明，我们可以很容易地尝试不同的组合搜索空间和搜索算法，而不必从头开始实现每个组合。我们在本文中发布了我们语言的实现。
2019-09-30 cs.AI cs.LG stat.ML
Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?
Michigan State University（密歇根州立大学）
现有的神经架构搜索（NAS）方法要么使用不能很好地扩展的离散编码来编码神经架构，要么采用基于监督学习的方法来联合学习架构表示并优化在引起搜索偏差的这种表示上的架构搜索。尽管广泛使用，在NAS中学习的体系结构表示仍然知之甚少。我们观察到，如果架构表示学习和搜索耦合，神经架构的结构属性很难保持在潜在空间中，导致搜索性能不太有效。在这项工作中，我们根据经验发现，仅使用神经架构而不使用其准确性作为标签的预训练架构表示大大提高了下游架构搜索效率。为了解释这些观察结果，我们可视化了无监督架构表示学习如何更好地鼓励具有相似连接和运算符的神经架构聚集在一起。这有助于将具有相似性能的神经架构映射到潜在空间中的相同区域，并使潜在空间中的架构过渡相对平滑，这大大有利于不同的下游搜索策略。
2020-10-24 cs.CV cs.LG
Neural Architecture Search: A Survey
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
过去几年，深度学习在图像识别、语音识别和机器翻译等各种任务上取得了显著进展。这一进展的一个关键方面是新颖的神经结构。目前采用的架构大多是由人类专家手动开发的，这是一个耗时且容易出错的过程。正因为如此，人们对自动神经结构搜索方法越来越感兴趣。我们提供了一个概述，现有的工作在这一领域的研究和分类，根据三个方面：搜索空间，搜索策略，和性能评估策略。
2019-04-26 cs.LG cs.NE stat.ML
On Redundancy and Diversity in Cell-based Neural Architecture Search
University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
搜索结构单元是NAS中的一个主要范例。然而，很少有人关注的分析，基于细胞的搜索空间，即使它是非常重要的NAS的持续发展。在这项工作中，我们从流行的基于细胞的搜索空间的架构进行经验事后分析，发现现有的搜索空间包含高度的冗余：架构性能是最低限度的敏感性变化在大部分的细胞，和普遍采用的设计，如显式搜索减少细胞，显着增加的复杂性，但对性能的影响非常有限。在通过不同的搜索策略发现的架构中，我们始终发现，对架构性能有影响的单元部分通常遵循相似且简单的模式。通过明确地约束细胞，包括这些模式，随机抽样的架构可以匹配，甚至优于最先进的。这些发现投下怀疑我们的能力，发现真正新颖的架构，在现有的基于细胞的搜索空间，并激发我们的改进建议，以指导未来的NAS研究。代码可在https://github.com/xingchenwan/cell-based-NAS-analysis上获得。
2022-03-16 cs.AI cs.LG stat.ML
MFAS: Multimodal Fusion Architecture Search
Orange Labs（法国电信Orange实验室）；Université Caen Normandie（卡昂诺曼底大学）；Samsung AI Centre（三星人工智能中心）
我们解决的问题，找到好的架构多模态分类问题。我们提出了一种新的和通用的搜索空间，跨越了大量的可能的融合架构。为了在建议的搜索空间中找到给定数据集的最佳架构，我们利用了一种高效的基于顺序模型的探索方法，该方法是针对该问题量身定制的。我们证明了作为一个神经架构搜索问题的多模态融合的玩具数据集和其他两个真正的多模态数据集上的广泛实验的价值。我们发现融合架构对于不同领域和数据集大小的问题表现出最先进的性能，包括NTU RGB+D数据集，这是最大的多模态动作识别数据集。
2019-03-15 cs.CV cs.LG cs.NE
FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining
Facebook Inc.（Facebook公司）；UC Berkeley（加州大学伯克利分校）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
神经架构搜索（NAS）产生最先进的神经网络，其性能优于最好的手动设计的对应物。然而，先前的NAS方法在一组训练超参数（即，训练配方），忽略了优越的架构配方组合。为了解决这个问题，我们提出了神经架构-配方搜索（NARS）来同时搜索（a）架构和（b）它们相应的训练配方。NARS利用一个准确度预测器，对架构和训练配方进行联合评分，指导样本选择和排名。此外，为了补偿扩大的搜索空间，我们利用“自由”架构统计（例如，FLOP计数）来预训练预测器，显著提高其样本效率和预测可靠性。在通过约束迭代优化训练预测器之后，我们在CPU分钟内运行快速进化搜索，以生成各种资源约束的架构配方对，称为FBNetV 3。FBNetV 3组成了一个最先进的紧凑型神经网络家族，其性能优于自动和手动设计的竞争对手。例如，FBNetV 3匹配ImageNet上的EfficientNet和ResNeSt精度，FLOP分别减少2.0倍和7.1倍。此外，FBNetV 3为下游目标检测任务带来了显着的性能提升，尽管与基于EfficientNet的同类产品相比，FLOP减少了18%，参数减少了34%，但仍提高了mAP。
2021-03-30 cs.CV cs.LG cs.NE
Single-level Optimization For Differential Architecture Search
本文指出，在双层优化框架下，差分结构搜索（DARTS）使结构参数的梯度偏向于网络权值，结构参数在不同数据集中交替更新。偏差导致不可学习操作的架构参数超过可学习操作的架构参数。此外，使用softmax作为架构参数的激活函数和不适当的学习率会加剧偏差。因此，经常可以观察到，不可学习的操作在搜索阶段占主导地位。为了减少偏差，我们建议使用单级优化来代替双层优化，并使用非竞争性激活函数（如sigmoid）来代替softmax。因此，我们可以稳定地寻找高性能的体系结构。在NAS Benchmark 201上的实验验证了我们的假设，并稳定地找到了接近最优的架构。在DARTS空间上，我们在ImageNet-1 K上以77.0%的top1准确率搜索最先进的架构（训练设置遵循PDARTS，没有任何额外的模块），并稳定地搜索架构，高达76.5%的top1准确率（但不是从搜索的架构中选择最好的），这与当前报告的最佳结果相当。
2020-12-15 cs.LG
SNAS: Stochastic Neural Architecture Search
SenseTime（商汤科技）
我们提出了随机神经结构搜索（SNAS），这是神经结构搜索（NAS）的一种经济的端到端解决方案，它在同一轮反向传播中训练神经操作参数和结构分布参数，同时保持NAS管道的完整性和可区分性。在这项工作中，NAS被重新表述为一个优化问题的参数的联合分布的搜索空间在一个细胞。为了利用通用可微损失中的梯度信息进行结构搜索，提出了一种新的搜索梯度。我们证明，这种搜索梯度优化相同的目标，基于递归学习的NAS，但分配信贷结构的决策更有效。该信用分配进一步增加了本地可分解的奖励，以实施资源有效的约束。在CIFAR-10的实验中，SNAS比基于不可微进化和基于递归学习的NAS需要更少的时间来找到具有最先进精度的细胞架构，这也可以转移到ImageNet。研究还表明，SNAS的子网络可以保持搜索的验证准确性，而基于注意力的NAS需要参数重新训练才能竞争，显示出在大数据集上迈向高效NAS的潜力。我们已经在https://github.com/SNAS-Series/SNAS-Series上发布了我们的实现。
2020-04-01 cs.AI cs.LG stat.ML
Making Differentiable Architecture Search less local
Spotify；University of Bristol（布里斯托大学）
神经结构搜索（NAS）是一种用于自动设计神经网络结构的新方法。可区分神经结构搜索（DARTS）是一种很有前途的NAS方法，可以显著提高搜索效率。然而，它已被证明遭受性能崩溃，搜索往往导致有害的架构。许多最近的作品试图解决这个问题的DARTS通过识别指标提前停止，定期搜索目标，以减少一些操作的主导地位，或改变参数化的搜索问题。在这项工作中，我们假设性能崩溃可能是由于典型的初始架构和权重的局部最优值不佳而引起的。我们通过开发一个更全局的优化方案来解决这个问题，该方案能够在不改变DARTS问题公式的情况下更好地探索空间。我们的实验表明，我们的搜索算法的变化，允许发现的架构，更好的测试性能和更少的参数。
2021-04-21 cs.LG
MONAS: Multi-Objective Neural Architecture Search using Reinforcement Learning
National Tsing-Hua University（国立清华大学）；Google（谷歌）
最近对神经结构搜索的研究表明，自动设计的神经网络与专家制作的结构一样好。虽然大多数现有工作旨在找到优化预测准确性的架构，但这些架构可能具有复杂性，因此不适合部署在某些计算环境（例如，具有有限的功率预算）。我们提出了MONAS，这是一个多目标神经架构搜索的框架，它采用了同时考虑预测准确性和其他重要目标（例如，功耗）。实验结果表明，与现有技术相比，MONAS模型在计算机视觉应用中的分类精度相当或更高，同时满足峰值功率等附加目标。
2018-12-03 cs.AI cs.LG stat.ML
EmProx: Neural Network Performance Estimation For Neural Architecture Search
Eindhoven University of Technology（埃因霍温理工大学）
通用神经架构搜索方法生成大量需要训练的候选架构，以评估其性能并找到最佳架构。为了最小化搜索时间，我们使用不同的性能估计策略。这些策略的有效性在准确性、拟合度和查询时间方面各不相同。本研究提出了一种新的方法，EmProx评分（嵌入邻近度评分）。类似于神经架构优化（NAO），该方法使用编码器-解码器框架将候选架构映射到连续的嵌入空间。然后，使用基于性能已知的架构的嵌入向量的加权kNN来估计候选者的性能。该方法的性能估计在精度方面与NAO中使用的MLP性能预测器相当，而与NAO相比，训练的速度快近9倍。与目前使用的其他性能估计策略进行基准测试，结果显示出类似的更好的准确性，同时速度快了5到80倍。
2022-06-13 cs.LG
Efficient Novelty-Driven Neural Architecture Search
Beijing Institute of Technology（北京理工大学）；University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）
One-Shot神经网络结构搜索（NAS）由于能够通过权值共享减少计算时间而受到广泛关注。然而，对最近几项工作的大量实验表明，从超网继承权重的验证准确率与One-Shot NAS重新训练后的测试准确率之间没有正相关性。与设计控制器以找到具有继承权重的最佳性能架构不同，本文关注如何对架构进行采样以训练超网，使其更具预测性。该算法采用单路径超网结构，每一步只优化一小部分权值，大大减少了对内存的需求。此外，我们放弃了设计复杂的基于奖励的结构采样控制器，并采样结构训练基于新颖性搜索的超网。本文提出了一种新的基于新颖性搜索的结构抽样方法，并通过大量的实验验证了该方法的有效性。在相同的搜索空间下，我们的算法获得的最佳架构在CIFAR-10上的测试出错率为2.51%，在单个GPU上的搜索时间仅为7.5小时，在PTB上的验证复杂度为60.02，测试复杂度为57.36。我们还将这些搜索单元结构分别转移到更大的数据集ImageNet和WikiText-2。
2019-07-22 cs.LG cs.NE stat.ML
Bag of Tricks for Neural Architecture Search
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
虽然神经结构搜索方法在过去几年中取得了成功，并在各种问题上取得了新的最先进的性能，但它们也因不稳定而受到批评，对超参数高度敏感，并且通常不如随机搜索。为了阐明这个问题，我们讨论了一些有助于提高稳定性，效率和整体性能的实际考虑因素。
2021-07-08 cs.AI cs.LG stat.ML
RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving
UCLA（加州大学洛杉矶分校）；DiDi AI Labs（滴滴人工智能实验室）
基于预测器的算法在神经结构搜索（NAS）任务中取得了显着的性能。然而，这些方法的计算成本很高，因为训练性能预测器通常需要从头开始训练和评估数百个架构。沿着这条线以前的工作主要集中在减少所需的架构，以适应预测器的数量。在这项工作中，我们从不同的角度来解决这个挑战-通过减少架构训练的计算预算来提高搜索效率。我们提出了非均匀连续减半（NOSH），分层调度算法，提前终止训练表现不佳的架构，以避免浪费预算。为了有效地利用由NOSH产生的非均匀监督信号，我们将基于预测器的架构搜索制定为利用成对比较的学习排序。由此产生的方法- RANK-NOSH，将搜索预算减少了约5倍，同时在各种空间和数据集上实现了具有竞争力的性能，甚至比以前最先进的基于预测的方法更好。
2021-08-18 cs.AI cs.CV cs.LG
Neural Architecture Search of SPD Manifold Networks
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
本文提出了一种新的对称正定流形网络的神经结构搜索问题，旨在实现SPD神经结构的自动化设计。为了解决这个问题，我们首先介绍了一个几何丰富和多样的SPD神经架构搜索空间的有效SPD单元设计。此外，我们用单个超网的一次性训练过程来建模我们的新NAS问题。基于超网模型，我们利用可微NAS算法在我们的放松连续搜索空间的SPD神经结构搜索。我们的方法对无人机，动作和情感识别任务的统计评估大多提供了比最先进的SPD网络和传统NAS算法更好的结果。实证结果表明，我们的算法在发现性能更好的SPD网络设计方面表现出色，并提供了比最先进的NAS算法搜索轻三倍以上的模型。
2021-06-13 cs.CV cs.LG cs.NE
Neural Architecture Search Over a Graph Search Space
Jagiellonian University（雅盖隆大学）；Google AI（谷歌人工智能）
神经架构搜索（NAS）使许多领域的最先进的架构的发现。然而，NAS的成功取决于搜索空间的定义。当前搜索空间被定义为一个静态的决策序列和一组可用的行动，为每个决策。每个可能的操作序列定义了一个架构。我们提出了一类更具表现力的搜索空间：有向图。在我们的形式主义中，每个决策都是一个顶点，每个动作都是一条边。这允许我们对迭代和分支架构设计决策进行建模。我们在模拟和图像分类实验中展示了基本的迭代和分支搜索结构，并表明图形表示提高了样本效率。
2019-07-31 cs.LG stat.ML
MorphNAS: Differentiable Architecture Search for Morphologically-Aware Multilingual NER
Department of Computer Science & Engineering, PES University, Bengaluru, India（计算机科学与工程系，PES大学，班加罗尔，印度）
MorphNAS提出一种融合文种类型和形态复杂度等语言元特征的可微分架构搜索方法，自动为多语言命名实体识别寻找最优微架构，以提升对形态复杂语言的处理能力。
2025-08-19 cs.AI cs.CL cs.LG
Neural Architecture Search via Bregman Iterations
Friedrich-Alexander University Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）
提出了一种基于Bregman迭代的神经结构搜索策略。该算法从稀疏神经网络出发，以逆尺度空间的方式逐步增加相关参数。这允许网络在搜索空间中选择最佳架构，这使得它针对给定任务进行了良好的设计，例如，通过添加神经元或跳过连接。我们证明，使用我们的方法可以揭示，例如，残差自动编码器的去噪，去模糊和分类任务。代码可在https://github.com/TimRoith/BregmanLearning上获得。
2021-06-04 cs.LG cs.NE math.OC
AutoSNAP: Automatically Learning Neural Architectures for Instrument Pose Estimation
TU Darmstadt（达姆施塔特工业大学）；German Center for Neuro-degenerative Diseases (DZNE)（德国神经退行性疾病中心）；Fraunhofer IGD（弗劳恩霍夫计算机图形学研究所）
尽管最近取得了成功，但深度学习的进步尚未完全转化为计算机辅助干预（CAI）问题，例如手术器械的姿势估计。目前，分类和分割任务的神经架构被采用，忽略了CAI和这些任务之间的显着差异。我们提出了一个自动框架（AutoSNAP）的仪器姿态估计问题，发现和学习的神经网络的架构。我们介绍了1）一个有效的测试环境的姿态估计，2）一个强大的架构表示的基础上，新的符号神经架构模式（SNAP），和3）一个优化的架构，使用一个有效的搜索方案。使用AutoSNAP，我们发现了一种改进的架构（SNAPNet），它的性能优于手工设计的i3PosNet和最先进的架构搜索方法DARTS。
2020-06-26 cs.CV cs.LG
Hierarchical Representations for Efficient Architecture Search
Carnegie Mellon University（卡内基梅隆大学）；DeepMind
我们探索有效的神经架构搜索方法，并表明一个简单而强大的进化算法可以发现新的架构具有优异的性能。我们的方法结合了一种新的层次遗传表示方案，模仿人类专家通常采用的模块化设计模式，和一个富有表现力的搜索空间，支持复杂的拓扑结构。我们的算法有效地发现了优于大量手动设计的图像分类模型的架构，在CIFAR-10上获得了3.6%的前1错误，在转移到ImageNet时获得了20.3%的前1错误，这与现有的最佳神经架构搜索方法相比具有竞争力。我们还使用随机搜索呈现结果，在CIFAR-10上实现了0.3%的top-1准确率，在ImageNet上减少了0.1%，同时将搜索时间从36小时减少到1小时。
2018-02-22 cs.CV cs.LG cs.NE
Conceptual Expansion Neural Architecture Search (CENAS)
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
架构搜索为某些任务优化神经网络的结构，而不是依赖于手动编写。然而，它很慢，因为每个潜在的架构通常都是从头开始训练的。在本文中，我们提出了一种称为概念扩展神经结构搜索（CENAS）的方法，该方法将样本效率，计算创造力启发的迁移学习方法与神经结构搜索相结合。这种方法通过转移现有的权重来近似新模型的参数，比朴素的体系结构搜索更快地找到模型。它通过允许添加特征而不是仅修改现有特征来优于标准迁移学习。我们证明了我们的方法在各种迁移学习任务的效率，性能和参数计数方面优于标准神经结构搜索和迁移学习方法。
2021-10-07 cs.LG
Poisoning the Search Space in Neural Architecture Search
University of Toronto（多伦多大学）
事实证明，深度学习是医疗保健和自动驾驶等各个领域的目标检测和图像分割的高效问题解决工具。这种性能的核心在于神经架构设计，这在很大程度上依赖于研究人员的领域知识和先前经验。最近，在给定可能操作的初始搜索空间的情况下，找到最优架构的过程由神经架构搜索（NAS）自动化。在本文中，我们评估了一个这样的算法称为高效NAS（ENAS）对数据不可知中毒攻击的原始搜索空间精心设计的无效操作的鲁棒性。通过评估CIFAR-10数据集上的算法性能，我们经验性地展示了我们的新的搜索空间中毒（SSP）方法和多实例中毒攻击如何利用ENAS控制器中的设计缺陷来导致子网络的预测出错率膨胀。我们的研究结果提供了深入了解的挑战，克服使用NAS更adversarially强大的架构搜索。
2021-06-28 cs.CR cs.LG cs.NE
Sub-Architecture Ensemble Pruning in Neural Architecture Search
University of Science and Technology of China（中国科学技术大学）；Texas A&M University（得克萨斯农工大学）；WeBank（微众银行）
神经网络结构搜索（NAS）由于其灵活性和显著的减轻神经网络设计负担的能力，近年来受到越来越多的关注。然而，为了实现更好的性能，搜索过程通常需要大量的计算，这对于研究人员和从业人员来说可能是负担不起的。虽然最近的尝试采用集成学习方法来减轻巨大的计算成本，但是，他们忽略了集成方法的一个关键属性，即多样性，这导致在最终设计中收集更多类似的子架构，并具有潜在的冗余。为了解决这个问题，我们提出了一种用于NAS集成的修剪方法，称为“神经结构搜索中的子结构包围修剪（SAEP）”。“它的目标是利用多样性，并以较小的规模实现子集成架构，其性能与未修剪的集成架构相当。提出了三种可能的解决方案，以决定哪些子架构修剪在搜索过程中。实验结果表明，该方法的有效性，大大减少了子结构的数量，而不降低性能。
2021-05-28 cs.CV cs.LG cs.NE
EPNAS: Efficient Progressive Neural Architecture Search
Google Brain（谷歌大脑）；Google Cloud AI（谷歌云人工智能）；Baidu Research（百度研究院）；Horizon Robotics（地平线机器人）；University of Nevada（内华达大学）；Landing AI
在本文中，我们提出了有效的渐进式神经架构搜索（EPNAS），神经架构搜索（NAS），有效地处理大搜索空间，通过一种新的渐进式搜索策略与性能预测的基础上，REINFORCE~ \cite{Williams.1992.PG}。EPNAS旨在并行搜索目标网络，这在GPU/TPU集群等并行系统上更具可扩展性。更重要的是，EPNAS可以推广到具有多个资源约束的架构搜索，\eg，模型大小，计算复杂性或强度，这对于在移动和云等广泛平台中部署至关重要。我们使用CIFAR 10和ImageNet将EPNAS与其他最先进的（SoTA）网络架构（\eg，MobileNetV 2 ~ \cite{mobilenetv2}）和高效的NAS算法（\eg，ENAS~ \cite{pham2018efficient}和PNAS~ \cite{Liu2017b}）进行图像识别任务的比较。在这两个数据集上，EPNAS的\wrt结构的搜索速度和识别精度都优于EPNAS。
2019-07-07 cs.LG
Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars
University of Freiburg（弗赖堡大学）；University of Oxford（牛津大学）
本文提出基于上下文无关文法的统一分层NAS搜索空间构建框架，并设计适配贝叶斯优化的分层核，以支持在超大空间中搜索完整架构并取得优于现有方法的效果。
2023-12-08 cs.AI cs.CV cs.LG
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
Tongji University（同济大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，微分搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而，这些方法在评估搜索的架构或将其转移到另一个数据集时通常报告较低的准确性。这可以说是由于搜索和评估场景中的架构深度之间的巨大差距。在本文中，我们提出了一个有效的算法，它允许搜索架构的深度逐渐增长的训练过程中。这带来了两个问题，即较重的计算开销和较弱的搜索稳定性，我们解决了搜索空间近似和正则化，分别。通过显著减少搜索时间（在单个GPU上约7小时），我们的方法在代理数据集（CIFAR10或CIFAR100）和目标数据集（ImageNet）上都实现了最先进的性能。代码可在https://github.com/chenxin061/pdarts上获得。
2019-04-29 cs.CV cs.LG
Trends in Neural Architecture Search: Towards the Acceleration of Search
Korea University（高丽大学）；Hongik University（弘益大学）；Hallym University（翰林大学）
在现代深度学习研究中，寻找最优（或接近最优）的神经网络模型是主要的研究方向之一，在许多应用中得到了广泛的研究。本文将神经结构搜索的主要研究方向归纳为神经进化算法、基于强化学习的算法和一次性结构搜索方法。最后对三大研究趋势进行了比较。最后，对NAS未来的研究方向进行了展望。
2021-08-19 cs.LG
Fine-Grained Stochastic Architecture Search
Google Research（谷歌研究院）
最先进的深度网络通常太大，无法部署在移动设备和嵌入式系统上。移动神经架构搜索（NAS）方法可以自动设计小型模型，但最先进的NAS方法运行成本很高。微分神经结构搜索（DNAS）方法降低了搜索成本，但探索候选结构的有限子空间。在本文中，我们介绍了细粒度随机架构搜索（FiGS），一个可微的搜索方法，搜索一个更大的候选架构集。FIGS同时选择和修改搜索空间中的操作符，通过应用基于逻辑斯谛克-S形分布的结构化稀疏正则化惩罚。我们展示了3个现有搜索空间的结果，匹配或优于原始搜索算法，并在ImageNet上生成最先进的参数高效模型（例如，75.4% top-1，2.6M参数）。使用我们的架构作为SSDLite目标检测的骨干，我们在COCO上实现了显著更高的mAP（例如，25.8具有3.0M参数）比MobileNetV 3和MnasNet。
2020-06-17 cs.LG stat.ML
Neighborhood-Aware Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）
现有的神经架构搜索（NAS）方法通常返回一个具有良好搜索性能的架构，但推广到测试设置很差。为了实现更好的推广，我们提出了一种新的邻域感知NAS制定，以确定在搜索空间的平坦极小架构，与平坦的极小推广比尖锐的极小的假设。短语"平坦最小架构“是指在架构中的小扰动下性能稳定的架构（例如，用跳跃连接代替卷积）。我们的配方需要考虑到“平面度”的架构，通过聚合的性能超过该架构的邻域。我们展示了一个原则性的方式来应用我们的配方现有的搜索算法，包括基于采样的算法和基于梯度的算法。为了便于应用于基于梯度的算法，我们还提出了一个可微表示的邻域的架构。基于我们的公式，我们提出了邻域感知随机搜索（NA-RS）和邻域感知可微结构搜索（NA-DARTS）。值得注意的是，通过简单地使用我们的公式增强DARTS，NA-DARTS的性能优于DARTS，并在已建立的基准测试中实现了最先进的性能，包括CIFAR-10，CIFAR-100和ImageNet。
2021-10-29 cs.CV cs.LG
Understanding Architectures Learnt by Cell-based Neural Architecture Search
School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
神经架构搜索（NAS）自动搜索给定任务的架构，例如，图像分类和语言建模。近年来，提高搜索效率和有效性越来越受到人们的关注。然而，很少有人致力于理解生成的架构。在本文中，我们首先揭示了现有的NAS算法（例如，DARTS、ENAS）倾向于支持具有宽且浅的单元结构的架构。这些有利的架构一致地实现快速收敛，因此被NAS算法选择。我们的实证和理论研究进一步证实了他们的快速收敛来自于他们的光滑损失景观和准确的梯度信息。尽管如此，这些架构可能不一定导致更好的泛化性能相比，在相同的搜索空间中的其他候选架构，因此进一步的改进是可能的，通过修改现有的NAS算法。
2020-01-01 cs.CV cs.LG stat.ML
D-DARTS: Distributed Differentiable Architecture Search
Université Paris-Saclay（巴黎萨克雷大学）；MIT（麻省理工学院）
可区分的ARCHITERMS搜索（DARTS）是最流行的神经架构搜索（NAS）方法之一。它通过权重共享大大降低了搜索成本。然而，它也大大减少了搜索空间，从而排除了潜在的有前途的架构。在本文中，我们提出了D-DARTS，这是一种解决方案，它通过在细胞级别嵌套神经网络来解决这个问题，而不是使用权重共享来产生更多样化和专业化的架构。此外，我们引入了一种新的算法，可以从一些训练过的细胞中获得更深的架构，提高性能并节省计算时间。此外，我们还提出了一种替代的搜索空间（DARTOpti），在其中我们优化了现有的手工架构（例如，而不是从头开始。这种方法伴随着一个新的度量，该度量在我们的自定义搜索空间内测量架构之间的距离。我们的解决方案在多个计算机视觉任务上达到了具有竞争力的性能。代码和预训练模型可以在https://github.com/aheuillet/D-DARTS上访问。
2022-11-01 cs.CV cs.LG
You Only Search Once: On Lightweight Differentiable Architecture Search for Resource-Constrained Embedded Platforms
Nanyang Technological University（南洋理工大学）
受益于搜索效率，可区分神经架构搜索（NAS）已发展成为自动设计竞争性深度神经网络（DNN）的最主要替代方案。我们注意到，DNN必须在现实世界场景中严格的硬性能约束下执行，例如，自动驾驶汽车上的运行时延迟。然而，为了获得满足给定性能约束的架构，先前的硬件感知可区分NAS方法必须重复过多的搜索运行以通过试错来手动调整超参数，因此总设计成本成比例地增加。为了解决这个问题，我们引入了一个轻量级的硬件感知的可区分NAS框架，称为LightNAS，努力通过一次性搜索找到满足各种性能约束的所需架构（即，\underline{\textit{you only search once}}）。进行了大量的实验，以显示LightNAS比以前的国家的最先进的方法的优越性。
2022-08-30 cs.LG
RAPDARTS: Resource-Aware Progressive Differentiable Architecture Search
Sandia National Laboratories（桑迪亚国家实验室）；University of California Santa Barbara（加州大学圣巴巴拉分校）
早期的神经网络架构是由所谓的“研究生血统”设计的。从那时起，神经架构搜索（NAS）领域的发展目标是在算法上设计为感兴趣的数据集量身定制的架构。最近，已经创建了基于梯度的NAS方法来快速执行搜索。与替代NAS方法相比，基于代理的方法对搜索施加了更多的结构，从而实现了更快的搜索阶段优化。在现实世界中，衡量神经架构性能的不仅仅是高精度。人们越来越需要高效的神经架构，其中还必须考虑模型大小或延迟等资源。基于代理的NAS也适用于这种多目标优化。在这项工作中，我们扩展了一个流行的基于梯度的NAS方法，以支持一个或多个资源成本。然后，我们进行深入的分析，发现满足单资源约束的分类CIFAR-10的架构。
2019-11-08 cs.LG
Scalable Reinforcement Learning-based Neural Architecture Search
University of Antwerp（安特卫普大学）；imec（校际微电子中心）；IDLab - Faculty of Applied Engineering（IDLab应用工程学院）
本文提出一种基于强化学习的神经架构搜索方法，智能体学习搜索良好架构而非返回单一最优解，实验表明该方法在搜索空间大小方面具有强可扩展性，但对超参数变化的鲁棒性有限。
2024-10-02 cs.LG
Differentially-private Federated Neural Architecture Search
University of California San Diego（加州大学圣地亚哥分校）；Rutgers University（罗格斯大学）
神经架构搜索，旨在自动搜索架构（例如，卷积，最大池化）的神经网络，最大限度地提高验证性能，最近取得了显着的进展。在许多应用场景中，多方希望通过利用来自各方的数据来协作搜索共享的神经架构。然而，由于隐私问题，没有一方希望其数据被其他方看到。为了解决这个问题，我们提出了联合神经架构搜索（FNAS），其中不同的各方通过交换架构变量的梯度来共同搜索可区分的架构，而不会将其数据暴露给其他各方。为了进一步保护隐私，我们研究了差分私有FNAS（DP-FNAS），它向架构变量的梯度添加随机噪声。为DP-FNAS实现差分隐私提供了理论保证。实验表明，DP-FNAS可以搜索高性能的神经结构，同时保护个人的隐私。代码可在https://github.com/UCSD-AI4H/DP-FNAS上获得
2020-06-22 cs.CR cs.LG stat.ML
