A Neural Architecture Search Method using Auxiliary Evaluation Metric based on ResNet Architecture
Key Laboratory of Intelligent Computing；Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University Xiangtan Hunan China；Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University
本文提出基于ResNet框架的神经架构搜索空间，将验证集损失值作为辅助优化目标，在MNIST、Fashion-MNIST和CIFAR100数据集上成功找到了具竞争力的网络架构。
2025-05-02 cs.AI cs.CV cs.LG
D-DARTS: Distributed Differentiable Architecture Search
Université Paris-Saclay（巴黎萨克雷大学）；MIT（麻省理工学院）
可区分的ARCHITERMS搜索（DARTS）是最流行的神经架构搜索（NAS）方法之一。它通过权重共享大大降低了搜索成本。然而，它也大大减少了搜索空间，从而排除了潜在的有前途的架构。在本文中，我们提出了D-DARTS，这是一种解决方案，它通过在细胞级别嵌套神经网络来解决这个问题，而不是使用权重共享来产生更多样化和专业化的架构。此外，我们引入了一种新的算法，可以从一些训练过的细胞中获得更深的架构，提高性能并节省计算时间。此外，我们还提出了一种替代的搜索空间（DARTOpti），在其中我们优化了现有的手工架构（例如，而不是从头开始。这种方法伴随着一个新的度量，该度量在我们的自定义搜索空间内测量架构之间的距离。我们的解决方案在多个计算机视觉任务上达到了具有竞争力的性能。代码和预训练模型可以在https://github.com/aheuillet/D-DARTS上访问。
2022-11-01 cs.CV cs.LG
Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars
University of Freiburg（弗赖堡大学）；University of Oxford（牛津大学）
本文提出基于上下文无关文法的统一分层NAS搜索空间构建框架，并设计适配贝叶斯优化的分层核，以支持在超大空间中搜索完整架构并取得优于现有方法的效果。
2023-12-08 cs.AI cs.CV cs.LG
Task-Aware Neural Architecture Search
Duke University（杜克大学）
手工制作的神经网络的设计需要大量的时间和资源。神经结构搜索（NAS）中的最新技术已被证明是有竞争力的或优于传统的手工设计，尽管它们需要领域知识，并且通常使用有限的搜索空间。在本文中，我们提出了一种新的框架神经架构搜索，利用字典的基本任务和目标任务和原子之间的相似性的模型字典，因此，产生一个自适应的搜索空间的基础上的字典的基本模型。通过引入基于梯度的搜索算法，我们可以在搜索空间中评估和发现最佳架构，而无需完全训练网络。实验结果表明，我们提出的任务感知方法的有效性。
2021-03-15 cs.AI cs.LG
IRLAS: Inverse Reinforcement Learning for Architecture Search
The Chinese University of Hong Kong（香港中文大学）；NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；SenseTime Research（商汤科技研究院）
在本文中，我们提出了一个逆强化学习方法的架构搜索（IRLAS），它训练一个代理学习搜索的网络结构，拓扑结构的灵感来自人类设计的网络。现有的体系结构搜索方法完全忽略了体系结构的拓扑特征，导致体系结构复杂，推理延迟大。基于人类设计网络拓扑结构优雅、推理速度快的特点，提出了一种受生物认知理论启发的镜像刺激函数，用于提取专家人类设计网络（ResNeXt）的抽象拓扑知识.为了避免在搜索空间上提出太强的先验，我们引入逆强化学习来训练镜像刺激函数，并将其作为架构搜索的启发式指导，易于推广到不同的架构搜索算法。在CIFAR-10上，我们提出的IRLAS搜索到的最佳架构达到了2.60%的出错率。对于ImageNet移动设置，我们的模型实现了最先进的top-1准确率75.28%，同时比大多数自动生成的架构快2~ 4倍。该模型的快速版本比MobileNetV 2快10%，同时保持更高的准确性。
2019-11-06 cs.AI cs.CV
GPT-NAS: Evolutionary Neural Architecture Search with the Generative Pre-Trained Model
College of Computer Science, Sichuan University（四川大学计算机学院）；Stevens Institute of Technology（史蒂文斯理工学院）
针对NAS搜索空间巨大、效率低下的问题，本文提出GPT-NAS，利用GPT模型生成合理架构组件并结合进化算法搜索，显著提升架构性能与搜索效率。
2025-02-15 cs.AI cs.CV
Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
卷积神经网络（CNN）的神经结构搜索（NAS）的搜索空间是巨大的。为了减少搜索开销，大多数NAS算法使用固定的外部网络层结构，并且只搜索可重复的单元结构。当使用足够的小区和信道时，这种固定架构表现良好。然而，当架构变得更加轻量级时，性能会显著降低。为了获得更好的轻量级结构，需要更灵活和多样化的神经结构，并且应该为更大的搜索空间设计更有效的方法。受此启发，我们提出了MoARR算法，它利用现有的研究成果和历史信息，快速找到架构，既轻量级和准确。我们使用所发现的高性能细胞来构建网络架构。该方法增加了网络结构的多样性，同时也减少了单元结构设计的搜索空间。此外，设计了一种新的多目标方法，有效地分析历史评价信息，从而高效地搜索精度高、参数少的Pareto最优结构。实验结果表明，MoARR在CIFAR-10上仅用6个GPU时就能实现一个功能强大、轻量级的模型（出错率为1.9%，参数为2.3M），优于现有的模型。探索的架构可转移到ImageNet，并在4.9M参数下达到76.0%的top-1准确率。
2020-08-13 cs.CV cs.LG
Single-DARTS: Towards Stable Architecture Search
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
可区分架构搜索（DARTS）标志着神经架构搜索（NAS）的一个里程碑，拥有简单性和小搜索成本。然而，DARTS仍然遭受频繁的性能崩溃，当一些操作（如跳过连接，零和池）主导架构时，就会发生这种情况。在本文中，我们是第一个指出，这种现象归因于双层优化。我们提出了Single-DARTS，它只使用单级优化，使用同一批数据同时更新网络权重和结构参数。即使单级优化以前已经尝试过，没有文献提供了一个系统的解释，这一点。Single-DARTS取代了原有的两级优化，明显避免了性能崩溃，提高了体系结构搜索的稳定性。实验结果表明，Single-DARTS算法在主流搜索空间上的性能达到了最佳水平。例如，在NAS-Benchmark-201上，搜索到的架构几乎是最优的。我们还验证了单级优化框架比双级优化框架更稳定。我们希望这种简单而有效的方法将提供一些见解差分架构搜索。该代码可在https://github.com/PencilAndBike/Single-DARTS.git上获得。
2021-08-18 cs.CV cs.LG
NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
National University of Singapore（新加坡国立大学）
近年来，人们对神经结构搜索（NAS）的兴趣激增。已经提出了各种算法来提高NAS的搜索效率和有效性，即，以分别降低搜索成本和提高所选结构的泛化性能。然而，这些算法的搜索效率受到搜索过程中模型训练需求的严重限制。为了克服这一限制，我们提出了一种新的NAS算法称为NAS在初始化（NASI），利用神经切线核的能力，能够在初始化时表征候选架构的收敛性能，从而允许模型训练，以完全避免提高搜索效率。除了提高搜索效率外，NASI还在CIFAR-10/100和ImageNet等各种数据集上实现了具有竞争力的搜索效果。此外，NASI被证明是标签和数据不可知的温和条件下，这保证了我们的NASI在不同的数据集上选择的架构的可转移性。
2022-04-25 cs.AI cs.LG
Flexible Channel Dimensions for Differentiable Architecture Search
EPFL（洛桑联邦理工学院）
针对现有通道维度神经架构搜索依赖固定搜索空间的问题，提出带动态通道分配的可微搜索方法，在CIFAR-10上实现与现有方法性能相当的架构，同时提升搜索效率并降低内存需求，无需预设搜索空间。
2023-06-13 cs.AI cs.LG
Understanding Architectures Learnt by Cell-based Neural Architecture Search
School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
神经架构搜索（NAS）自动搜索给定任务的架构，例如，图像分类和语言建模。近年来，提高搜索效率和有效性越来越受到人们的关注。然而，很少有人致力于理解生成的架构。在本文中，我们首先揭示了现有的NAS算法（例如，DARTS、ENAS）倾向于支持具有宽且浅的单元结构的架构。这些有利的架构一致地实现快速收敛，因此被NAS算法选择。我们的实证和理论研究进一步证实了他们的快速收敛来自于他们的光滑损失景观和准确的梯度信息。尽管如此，这些架构可能不一定导致更好的泛化性能相比，在相同的搜索空间中的其他候选架构，因此进一步的改进是可能的，通过修改现有的NAS算法。
2020-01-01 cs.CV cs.LG stat.ML
Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）；Stanford University（斯坦福大学）
最近，神经结构搜索（NAS）已经成功地确定了神经网络结构，超过人类设计的大规模图像分类。在本文中，我们研究NAS的语义图像分割。现有的工作往往侧重于寻找可重复的细胞结构，而手工设计的外部网络结构，控制空间分辨率的变化。这种选择简化了搜索空间，但是对于呈现更多网络级架构变化的密集图像预测来说变得越来越成问题。因此，我们建议除了搜索单元级结构之外，还搜索网络级结构，这形成了分层结构的搜索空间。我们提出了一个网络级的搜索空间，其中包括许多流行的设计，并制定了一个公式，允许有效的基于梯度的架构搜索（3 P100 GPU天的城市景观图像）。我们证明了所提出的方法在具有挑战性的Cityscapes，PASCAL VOC 2012和ADE 20 K数据集上的有效性。Auto-DeepLab是我们专门针对语义图像分割搜索的架构，在没有任何ImageNet预训练的情况下达到了最先进的性能。
2019-04-06 cs.CV cs.LG
BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search
Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；DarkMatter AI Research（DarkMatter AI研究院）；University of Oxford（牛津大学）；Alibaba Group（阿里巴巴集团）；RMIT University（皇家墨尔本理工大学）
最近在手工制作的视觉识别神经架构方面的无数突破突出了探索由多样化构建块组成的混合架构的迫切需要。与此同时，神经结构搜索方法正在激增，期望减少人类的努力。然而，NAS方法是否能够高效且有效地处理具有不同候选者（例如CNN和Transformers）的多样化搜索空间仍然是一个悬而未决的问题。在这项工作中，我们提出了块智能自监督神经架构搜索（BossNAS），一种无监督的NAS方法，解决了以前的方法中由于大的权重共享空间和有偏见的监督而导致的架构评级不准确的问题。更具体地说，我们分解成块的搜索空间，并利用一种新的自我监督的训练计划，命名为合奏自举，训练每个块单独搜索他们作为一个整体的人口中心。此外，我们提出了HyTra搜索空间，一个类似于织物的混合CNN变换器搜索空间，具有可搜索的下采样位置。在这个具有挑战性的搜索空间上，我们的搜索模型BossNet-T在ImageNet上的准确率高达82.5%，在计算时间相当的情况下超过EfficientNet 2.4%。此外，我们的方法在ImageNet的规范MBConv搜索空间和CIFAR-100的NATS-Bench大小搜索空间上分别实现了0.78和0.76 Spearman相关性的卓越架构评级准确性，超过了最先进的NAS方法。代码：https://github.com/changlin31/BossNAS
2021-08-19 cs.CV cs.LG
Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search
EPFL（洛桑联邦理工学院）；Intel（英特尔）
权重共享已经成为神经架构搜索中的事实标准，因为它使搜索能够在商品硬件上完成。然而，最近的工作经验表明，独立架构的性能和相应的共享权重网络的性能之间的排名混乱。这违反了权重共享NAS算法的主要假设，从而限制了它们的有效性。我们通过提出一个正则化项来解决这个问题，该正则化项旨在最大限度地提高共享权重网络的性能排名与使用少量地标架构的独立架构之间的相关性。我们将我们的正则化项到三个不同的NAS算法，并表明它始终提高性能的算法，搜索空间和任务。
2021-04-12 cs.CV cs.LG
Full-attention based Neural Architecture Search using Context Auto-regression
Tianjin University（天津大学）；University of Western Ontario（西安大略大学）
自我注意架构已经成为最近的进步，以提高视觉任务的性能。人工确定自注意网络的架构依赖于专家的经验，不能自动适应各种场景。同时，神经结构搜索（NAS）也极大地促进了神经结构的自动设计。因此，考虑使用NAS方法来自动发现更好的自注意体系结构是合适的。然而，由于基于单元的搜索空间的统一性和缺乏长期的内容依赖性，直接使用现有的NAS方法来搜索注意力网络是具有挑战性的。为了解决这个问题，我们提出了一种基于全注意力的NAS方法。更具体地说，逐阶段的搜索空间的构造，允许各种注意力操作，以采用不同的网络层。为了提取全局特征，提出了一种自监督搜索算法，该算法使用上下文自回归来发现全注意力结构。为了验证所提出的方法的有效性，我们进行了广泛的实验，各种学习任务，包括图像分类，细粒度图像识别，和zero-shot图像检索。实证结果表明，我们的方法是能够发现高性能，全注意力架构，同时保证所需的搜索效率强有力的证据。
2021-11-13 cs.CV cs.LG
Are Labels Necessary for Neural Architecture Search?
Johns Hopkins University（约翰霍普金斯大学）；Facebook AI Research（Facebook人工智能研究院）
计算机视觉中现有的神经网络架构-无论是由人类还是机器设计-通常都使用图像及其相关标签。在本文中，我们提出了一个问题：我们能否仅使用图像而不使用人工标注的标签来找到高质量的神经架构？为了回答这个问题，我们首先定义了一个新的设置，称为无监督神经架构搜索（UnNAS）。然后，我们进行了两组实验。在基于样本的实验中，我们训练了大量（500）不同的架构，无论是监督或无监督的目标，并发现与标签和无标签的架构排名是高度相关的。在基于搜索的实验中，我们使用各种无监督目标运行一个成熟的NAS算法（DARTS），并报告说，没有标签搜索的架构可以与使用标签搜索的架构竞争。总之，这些结果揭示了一个潜在的令人惊讶的发现，即标签是不必要的，仅凭图像统计数据就足以识别良好的神经结构。
2020-08-03 cs.CV cs.LG
A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search
KAIST AI（韩国科学技术院人工智能学院）
本调查的重点是分类和评估神经架构搜索（NAS）领域的超网优化方法。超网优化涉及训练单个过参数化网络，该网络包含所有可能的网络架构的搜索空间。该调查分析了超网优化方法的基础上，他们的空间和时间优化的方法。空间优化涉及优化超网及其子系统的架构和参数，而时间优化涉及提高从超网选择架构的效率。这些方法在各种任务和设置，包括可转移性，领域泛化，和Transformer模型的优点，局限性和潜在的应用进行了讨论。
2023-02-07 cs.CV cs.LG
MicroNAS: Zero-Shot Neural Architecture Search for MCUs
University of California, Irvine（加州大学尔湾分校）
本文提出面向MCU的硬件感知零样本NAS框架MicroNAS，通过专门性能指标在无需高昂计算成本的情况下搜索最优架构，实现搜索效率最高提升1104倍、MCU推理速度提升超3.23倍且精度相近。
2024-01-17 cs.AI cs.LG
POPNASv2: An Efficient Multi-Objective Neural Architecture Search Technique
Politecnico di Milano（米兰理工大学）
自动化的最佳神经网络模型的研究是一个任务，已经获得了越来越多的相关性，在过去的几年里。在这种情况下，神经架构搜索（NAS）代表了最有效的技术，其结果可以与最先进的手工架构相媲美。然而，这种方法需要大量的计算能力和研究时间，这使得它在许多现实世界的场景中无法使用。渐进式神经架构搜索（PNAS）凭借其基于模型的顺序优化策略，代表了面对这一资源问题的可能一步。尽管发现的网络架构的质量，这种技术仍然是有限的研究时间。帕累托最优渐进神经架构搜索（POPNAS）在这个方向上迈出了重要的一步，它通过时间预测器扩展了PNAS，以实现搜索时间和准确性之间的权衡，考虑到多目标优化问题。本文提出了一个新版本的帕累托最优渐进神经结构搜索，称为POPNASv2。我们的方法增强了它的第一个版本，提高了它的性能。我们通过添加新的运算符扩展了搜索空间，并提高了两个预测器的质量，以构建更准确的Pareto前沿。此外，我们引入了细胞等价检查和丰富的搜索策略与自适应贪婪的探索步骤。我们的努力使POPNASv2实现了PNAS般的性能，平均搜索时间加快了4倍。
2022-10-06 cs.AI cs.LG
Network Graph Based Neural Architecture Search
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
神经架构搜索实现了架构设计的自动化。尽管它取得了成功，但它在计算上是昂贵的，并且没有提供关于如何设计理想架构的见解。在这里，我们提出了一种新的搜索神经网络的方法，我们搜索神经网络结构，通过重新连接相应的图和预测的结构性能的图形属性。因为我们没有在整个图空间上执行机器学习，而是使用预测的架构性能来搜索架构，所以搜索过程非常高效。我们发现基于图的搜索可以给出一个合理的好的预测理想的架构。此外，我们发现图形属性是有效的预测架构性能。我们的工作提出了一种新的方法来搜索神经结构，并提供了神经结构设计的见解。
2021-12-15 cs.LG
FEAR: A Simple Lightweight Method to Rank Architectures
Microsoft Research（微软研究院）
神经结构搜索（NAS）的基本问题是从给定的搜索空间中有效地找到高性能的结构。我们提出了一个简单但功能强大的方法，我们称之为恐惧，排名架构在任何搜索空间。FEAR利用了神经网络是强大的非线性特征提取器的观点。首先，我们在搜索空间中对不同的架构进行训练，以获得相同的训练或验证错误。然后，我们比较了每种架构提取的特征的有用性。我们通过快速训练来做到这一点，使大部分架构保持冻结。这给出了相对性能的快速估计。我们验证了FEAR的Natsbench拓扑结构搜索空间上的三个不同的数据集对竞争的基线，并显示出较强的排名相关性，特别是最近提出的零成本方法相比。FEAR特别擅长在搜索空间中对高性能架构进行排名。当用于离散搜索算法（如随机搜索）的内部循环时，FEAR可以在不损失精度的情况下将搜索时间缩短约2.4倍。此外，我们还实证研究了最近提出的零成本排名措施，发现随着训练的进行，它们的排名性能会下降，而且忽略数据集的数据不可知的排名分数不会在不同的数据集上推广。
2021-06-07 cs.CV cs.LG
Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision
Tsinghua University（清华大学）；Wechat, Tencent（腾讯微信）
针对现有GNAS依赖监督标签的问题，本文提出DSGAS模型，通过解耦图超网络、联合解耦自监督训练和带增强的对比搜索，在无监督场景下实现了SOTA性能。
2024-03-08 cs.AI cs.LG
GitGraph - Architecture Search Space Creation through Frequent Computational Subgraph Mining
Swisscom（瑞士电信）
深度神经网络在多个应用领域的巨大成功通常依赖于专家精心设计针对每个任务的网络架构。为了简化该过程并使其更易于访问，新兴的研究努力寻求使用例如进化算法或强化学习或在神经模块的受限空间中的简单搜索来自动化神经网络架构的设计。考虑到搜索空间的典型大小（例如，用于$10$层网络的$10^{10}$候选）和评估单个候选的成本，当前的架构搜索方法非常受限。他们要么依赖于静态的预构建模块来重新组合手头的任务，要么定义一个静态的手工框架，在这个框架中，他们可以从最简单的操作中生成新的架构。在本文中，我们通过利用在线代码存储库中发布的大量神经网络中包含的集体智慧来放宽这些限制。具体地说，我们（a）提取并发布GitGraph，这是一个神经架构及其描述的语料库;（b）我们创建了特定于问题的神经架构搜索空间，作为GitGraph上的文本搜索机制实现;（c）我们提出了一种识别解决每个问题的架构中唯一公共子图的方法（例如，图像处理、强化学习），其然后可以用作新创建的问题特定神经搜索空间中的模块。
2018-01-16 cs.AI cs.LG
DAAS: Differentiable Architecture and Augmentation Policy Search
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
神经结构搜索（NAS）是自动机器学习（Auto-ML）的一个活跃方向，旨在探索高效的网络结构。通过在具有固定数据增强策略的数据集上进行训练来评估所搜索的架构。然而，最近的自动增强工作表明，合适的增强策略可以根据不同的结构而变化。因此，这项工作考虑了可能的耦合之间的神经架构和数据增强，并提出了一种有效的算法联合搜索它们。具体而言，针对NAS任务，采用基于单路径的可微方法和Gumbel-softmax重参数化策略，以提高内存效率;针对自动增强任务，采用基于策略梯度算法的搜索方法，显著降低计算复杂度。我们的方法在CIFAR-10上达到了97.91%的准确率，在ImageNet数据集上达到了76.6%的Top-1准确率，显示了我们搜索算法的出色性能。
2022-01-28 cs.CV cs.LG
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification
Korea University（高丽大学）；Hallym University（翰林大学）；Kyung Hee University（庆熙大学）
随着深度神经网络在各种任务中实现前所未有的性能，用于设计具有自动化过程的神经网络架构的研究领域神经架构搜索（NAS）正在积极进行中。最近，可区分NAS通过将搜索成本降低到训练单个网络的水平而产生了巨大的影响。此外，定义待搜索的候选架构的搜索空间直接影响最终架构的性能。在本文中，我们提出了一个适应计划的搜索空间通过引入一个搜索范围。ProxylessNAS的图像分类任务证明了所提出的方法的有效性。此外，我们可视化的架构参数更新的轨迹，并提供见解，以改善架构搜索。
2022-06-05 cs.LG
Search-time Efficient Device Constraints-Aware Neural Architecture Search
Indian Institute of Technology（印度理工学院）
本文提出 DCA-NAS，一种融合模型大小和浮点运算约束的快速神经架构搜索方法，通过权重共享与通道瓶颈加速搜索，在多个图像分类数据集和设备专用基准上取得优于手工架构或最先进的性能。
2023-07-10 cs.CV cs.LG
SGAS: Sequential Greedy Architecture Search
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；Intel Labs（英特尔研究院）
架构设计已经成为成功的深度学习的关键组成部分。自动神经结构搜索（NAS）的最新进展显示了很大的希望。然而，发现的架构往往无法在最终的评估中推广。在搜索阶段具有较高验证准确性的架构在评估中可能表现较差。为了缓解这个常见的问题，我们引入了顺序贪婪结构搜索（SGAS），一种有效的神经结构搜索方法。通过将搜索过程划分为子问题，SGAS以贪婪的方式选择和修剪候选操作。我们将SGAS应用于卷积神经网络（CNN）和图卷积网络（GCN）的搜索架构。大量的实验表明，SGAS是能够找到国家的最先进的架构任务，如图像分类，点云分类和蛋白质相互作用图中的节点分类，以最小的计算成本。请访问www.example.com了解有关SGAS的更多信息。
2020-04-02 cs.CV cs.LG stat.ML
MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search
ETH Zurich（苏黎世联邦理工学院）
神经架构搜索（NAS）已被证明是有效的，可以提供优于手工制作的神经网络的替代方案。在本文中，我们分析的好处NAS的图像分类任务在严格的计算约束。我们的目标是自动设计高效的深度神经网络，能够提供快速准确的预测，并且可以部署在低内存，低功耗的片上系统上。因此，该任务成为准确性、计算复杂性和存储器需求之间的三方权衡。为了解决这个问题，我们提出了多尺度资源感知神经架构搜索（MS-RANAS）。我们采用了一个一次性的架构搜索方法，以获得降低搜索成本，我们专注于随时预测设置。通过使用多尺度特征和早期分类器，我们在精度-速度权衡方面取得了最先进的结果。
2020-09-29 cs.CV cs.LG
Transferrable Surrogates in Expressive Neural Architecture Search Spaces
University of Edinburgh（爱丁堡大学）；Charles University, Faculty of Mathematics and Physics（查理大学数学与物理系）；The Czech Academy of Sciences, Institute of Computer Science（捷克科学院计算机科学研究所）；University of Siegen（锡根大学）
本文研究在高表达性NAS搜索空间中训练可迁移代理模型，利用零成本代理指标、神经图特征或微调语言模型预测架构性能，用于过滤不良架构或直接作为搜索目标，从而显著加速搜索并提升最终性能。
2026-11-03 cs.AI cs.LG
Contrastive Self-supervised Neural Architecture Search
University of South Florida（南佛罗里达大学）
本文提出了一种新的基于细胞的神经结构搜索算法（NAS），它完全消除了监督学习继承的数据标记的昂贵成本。我们的算法利用了图像表示的自监督学习的有效性，这是计算机视觉的一个越来越重要的话题。首先，在对比自监督学习下仅使用少量未标记的训练数据，使我们能够在更广泛的搜索空间上搜索，发现更好的神经架构，而无需激增计算资源。其次，我们完全减轻了成本的标记数据（对比损失）在搜索阶段，而不影响架构的最终性能在评估阶段。最后，我们解决了固有的离散搜索空间的NAS问题的顺序模型为基础的优化通过树parzen估计（SMBO-TPE），使我们能够减少计算费用响应面显着。大量的实验经验表明，我们的搜索算法可以实现国家的最先进的结果，更好的效率，在数据标记成本，搜索时间，并在最终验证的准确性。
2021-10-29 cs.AI cs.CV
Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets
KAIST（韩国科学技术院）；AITRICS
尽管最近的神经架构搜索（NAS）方法在各种任务上取得了成功，这些任务已经显示出输出的网络在很大程度上优于人类设计的网络，但传统的NAS方法主要解决了搜索单个任务（数据集）的网络架构的优化问题，这在多个任务（数据集）之间并没有很好地推广。此外，由于这种特定于任务的方法从零开始为每个给定的任务搜索神经架构，因此它们产生了很大的计算成本，当时间和金钱预算有限时，这是有问题的。在本文中，我们提出了一个高效的NAS框架，该框架在由数据集和预训练网络组成的数据库上训练一次，并且可以快速搜索新数据集的神经架构。提出的MetaD 2A（Meta Dataset-to-Architecture）模型可以通过使用摊销元学习学习的跨模态潜在空间从给定集合（数据集）随机生成图（架构）。此外，我们还提出了一个元性能预测器来估计和选择最佳架构，而无需直接对目标数据集进行训练。实验结果表明，我们的模型在NAS-Bench 201搜索空间的ImageNet-1 K子集和架构上进行了元学习，成功地推广到了多个看不见的数据集，包括CIFAR-10和CIFAR-100，平均搜索时间为33 GPU秒。即使在MobileNetV 3搜索空间下，MetaD 2A也比可转移NAS方法NSGANetV 2快5.5K倍，性能相当。我们相信MetaD 2A为快速NAS提出了一个新的研究方向，以及如何利用过去几年积累的丰富数据集和架构…
2021-07-02 cs.CV cs.LG
Joint Search of Data Augmentation Policies and Network Architectures
The University of Tokyo（东京大学）；Preferred Networks inc.（Preferred Networks公司）
训练深度神经网络的常见管道由几个构建块组成，例如数据增强和网络架构选择。AutoML是一个旨在自动设计这些部分的研究领域，但大多数方法都是独立地探索每个部分，因为同时搜索所有部分更具挑战性。本文提出了一种数据增强策略和网络架构的联合优化方法，为训练管道的设计带来更多的自动化。我们方法的核心思想是使整个部分可微。该方法结合了用于增强策略搜索和网络架构搜索的可区分方法，以端到端的方式联合优化它们。实验结果表明，我们的方法取得了竞争力或独立搜索结果的优越性能。
2021-01-12 cs.CV cs.LG
FP-NAS: Fast Probabilistic Neural Architecture Search
Facebook AI（脸书人工智能研究院）
差分神经架构搜索（NAS）要求所有层选择同时保存在内存中;这限制了搜索空间和最终架构的大小。相比之下，像PARSEC这样的ProbabilNAS学习高性能架构上的分布，并且只使用训练单个模型所需的内存。然而，它需要对许多架构进行采样，这使得在广泛的空间中进行搜索的计算成本很高。为了解决这些问题，我们提出了一种自适应分布熵的抽样方法，在开始时抽取更多的样本来鼓励探索，并随着学习的进行减少样本。此外，为了在多变量空间中快速搜索，我们提出了一种从粗到细的策略，在开始时使用因子分解的分布，可以将架构参数的数量减少一个数量级以上。我们称这种方法为快速概率NAS（FP-NAS）。与PARSEC相比，它可以减少64%的架构样本，搜索速度提高2.1倍。与FBNetV 2相比，FP-NAS的速度提高了1.9 - 3.5倍，并且搜索模型在ImageNet上的性能优于FBNetV 2模型。FP-NAS允许我们将巨大的FBNetV 2空间扩展到更宽（即更大的通道选择）和更深（即更多的块），同时添加Split-Attention块并启用对拆分数量的搜索。当搜索大小为0.4G FLOPS的模型时，FP-NAS比EfficientNet快132倍，搜索到的FP-NAS-L0模型比EfficientNet-B 0精确0.7%。在不使用任何架构代理或缩放技巧的情况下，我们直接搜索高达1.0G FLOPS的大型模型。…
2021-03-31 cs.CV cs.LG
A Semi-Supervised Assessor of Neural Architectures
Peking University（北京大学）；Huawei Technologies（华为技术有限公司）；Peng Cheng Laboratory（鹏城实验室）；University of Sydney（悉尼大学）
神经结构搜索（NAS）旨在自动设计性能令人满意的深层神经网络。其中，架构性能预测器对于有效地评估中间神经架构至关重要。但是为了训练这个预测器，通常必须收集许多神经架构及其相应的实际性能。与经典的性能预测器优化在一个完全监督的方式，本文提出了一个半监督的评估神经结构。我们采用自动编码器来发现神经架构的有意义的表示。将每个神经架构作为搜索空间中的一个单独实例，我们构建了一个图来捕捉它们的内在相似性，其中涉及标记和未标记的架构。提出了一种图卷积神经网络，利用学习到的表示及其关系来预测体系结构的性能。在NAS-Benchmark-101数据集上的大量实验结果表明，我们的方法能够显著减少所需的经过充分训练的架构，以找到有效的架构。
2020-05-14 cs.CV cs.LG
BETANAS: BalancEd TrAining and selective drop for Neural Architecture Search
Huawei（华为）
自动神经结构搜索技术在机器学习领域中变得越来越重要。特别是权值分配方法在以较少的计算资源搜索优良网络结构方面显示出了巨大的潜力。然而，现有的权值分配方法主要存在搜索策略的局限性：这些方法要么统一训练所有网络路径以使其收敛，从而引入分支之间的冲突，浪费大量的计算在没有前途的候选者上;要么选择性地训练具有不同频率的分支，从而导致路径之间的不公平评估和比较。为了解决这些问题，我们提出了一种新的神经架构搜索方法，平衡的训练策略，以确保公平的比较和选择性丢弃机制，以减少候选路径之间的冲突。实验结果表明，在移动环境下，我们提出的方法在ImageNet上的性能领先79.0%，在准确性和效率方面都优于其他最先进的方法。
2019-12-24 cs.CV cs.LG
Multi-conditioned Graph Diffusion for Neural Architecture Search
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；Universität Ulm（乌尔姆大学）
提出基于图扩散的神经架构搜索方法，利用离散条件图扩散过程生成高性能架构，并通过多条件无分类器引导施加准确率和延迟约束，仅需单次可微训练，在六个基准上快速生成架构并在ImageNet上验证泛化性。
2024-03-22 cs.CV cs.LG
UNAS: Differentiable Architecture Search Meets Reinforcement Learning
NVIDIA（英伟达）
神经架构搜索（NAS）旨在发现具有所需属性（如高准确性或低延迟）的网络架构。最近，可微分NAS（DNAS）已经证明了有前途的结果，同时保持搜索成本的数量级低于强化学习（RL）的NAS。然而，DNAS模型只能优化可微损失函数的搜索，他们需要一个精确的可微近似不可微的标准。在这项工作中，我们提出了UNAS，NAS的统一框架，封装在一个框架下最近的DNAS和基于RL的方法。我们的框架带来了两全其美，它使我们能够在一个统一的框架中搜索具有可区分和不可区分标准的架构，同时保持低搜索成本。此外，我们引入了一个新的目标函数的基础上搜索的泛化差距，防止选择的架构容易过拟合。我们在CIFAR-10、CIFAR-100和ImageNet数据集上进行了广泛的实验，并在两个根本不同的搜索空间中进行搜索。我们表明，UNAS在所有三个数据集上获得了最先进的平均精度，与DARTS空间中搜索的架构相比。此外，我们表明，UNAS可以找到一个高效和准确的架构在ProxylessNAS搜索空间，优于现有的MobileNetV 2的基础架构。源代码可在https://github.com/NVlabs/unas上获得。
2020-08-27 cs.CV cs.LG stat.ML
HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking
Michigan State University（密歇根州立大学）；AInnovation（旷视）
最近，在设计神经网络架构中使用自动方法（通常称为神经架构搜索（NAS））引起了相当大的关注。在这项工作中，我们提出了一个有效的NAS方法，命名为HM-NAS，推广现有的基于权重共享的NAS方法。现有的基于权重共享的NAS方法仍然采用手工设计的算法来生成架构候选。因此，架构候选者的空间被约束在所有可能架构的子集中，使得架构搜索结果次优。HM-NAS通过两项创新解决了这一限制。首先，HM-NAS结合了多级架构编码方案，以能够搜索更灵活的网络架构。其次，它放弃了手工设计的算法，并采用了一个分层掩蔽方案，自动学习和确定最佳架构。与最先进的基于权重共享的方法相比，HM-NAS能够实现更好的架构搜索性能和有竞争力的模型评估精度。没有手工设计的算法所施加的约束，我们搜索的网络包含更灵活和有意义的架构，现有的基于权重共享的NAS方法是无法发现的。
2019-09-07 cs.CV cs.LG stat.ML
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan（大阪大学）
针对现有图神经架构搜索方法缺乏可解释性的问题，提出ExGNAS方法，通过结合简单搜索空间与蒙特卡洛树搜索算法，在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
NASIB: Neural Architecture Search withIn Budget
MIT Media Labs（麻省理工学院媒体实验室）；Cisco Systems（思科系统公司）；IIIT Sri City（斯里城印度信息技术学院）
神经网络架构搜索（NAS）代表了一类用于生成最优神经网络架构的方法，并且通常在候选架构上进行迭代直到收敛于某个特定度量（如验证损失）。它们受到可用计算资源的限制，特别是在企业环境中。在本文中，我们提出了一种新的NAS方法，称为NASIB，它通过改变探索与开发权衡来适应和调整可用的计算资源（预算）。我们减少了专家的偏见，通过搜索在一个扩大的搜索空间引起的超级核。所提出的方法可以提供架构搜索有用的不同的计算资源和不同的领域以外的自然图像的图像分类，我们缺乏定制的架构图案和领域的专业知识。在CIFAR10上，我们可以在仅1.5 GPU天内搜索比传统现有技术多12倍的候选操作的空间，同时达到接近最先进的精度。虽然我们的方法在指数级更大的搜索空间上搜索，但与大多数现有方法相比，它可能会导致需要较少领域专业知识的新架构。
2019-10-19 cs.CV cs.LG stat.ML
Graph HyperNetworks for Neural Architecture Search
Uber Advanced Technologies Group（优步先进技术集团）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
神经架构搜索（NAS）自动找到最佳的特定于任务的神经网络拓扑结构，性能优于许多手动架构设计。然而，它可能非常昂贵，因为搜索需要训练数千个不同的网络，而每个网络可能持续数小时。在这项工作中，我们提出了图超网络（GHN）来分摊搜索成本：给定一个架构，它通过在图神经网络上运行推理来直接生成权重。GHN对架构的拓扑结构进行建模，因此可以比常规超网络和过早停止更准确地预测网络性能。为了执行NAS，我们随机采样架构，并使用GHN生成的权重作为代理搜索信号的网络的验证准确性。GHN的速度很快--它们的搜索速度比CIFAR-10和ImageNet上的其他随机搜索方法快近10倍。GHN可以进一步扩展到随时预测设置，在那里他们发现网络比最先进的手动设计具有更好的速度-准确性权衡。
2020-12-18 cs.CV cs.LG stat.ML
Unchain the Search Space with Hierarchical Differentiable Architecture Search
Malong LLC（码隆科技有限公司）
可区分体系结构搜索（DAS）在寻找具有降低计算成本的高性能体系结构方面取得了很大进展。然而，基于DAS的方法主要集中在搜索可重复的单元结构，然后将其按顺序堆叠在多个阶段中以形成网络。这种配置显著地减小了搜索空间，并且忽略了单元之间的连接的重要性。为了克服这一限制，在本文中，我们提出了一个分层差分架构搜索（H-DAS），在细胞级和阶段级进行架构搜索。具体地说，细胞级搜索空间是宽松的，使网络可以学习阶段特定的细胞结构。对于阶段级搜索，我们系统地研究了阶段的结构，包括每个阶段中的细胞数量和细胞之间的连接。基于深入的观察，我们设计了几个搜索规则和损失，并管理搜索更好的阶段级架构。这种分层的搜索空间在不引入昂贵的搜索代价的情况下大大提高了网络的性能。在CIFAR 10和ImageNet上的大量实验证明了所提出的H-DAS的有效性。此外，搜索的阶段级架构可以与现有DAS方法搜索的单元结构相结合，以进一步提高性能。代码可在：https://github.com/MalongTech/research-HDAS
2021-01-12 cs.CV
Towards modular and programmable architecture search
Petuum；Carnegie Mellon University（卡内基梅隆大学）；TU Wien（维也纳技术大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
神经架构搜索方法能够以专家的最小努力找到高性能深度学习架构。然而，当前的系统专注于特定的用例（例如，卷积图像分类器和递归语言模型），使得它们不适合专家可能希望编写的一般用例。超参数优化系统是通用的，但缺乏易于应用于架构搜索所需的构造。在这项工作中，我们提出了一个形式语言编码搜索空间一般计算图。语言结构允许我们编写模块化的、可组合的和可重用的搜索空间编码，并对搜索空间设计进行推理。我们使用我们的语言编码的搜索空间的架构搜索文献。该语言允许我们解耦搜索空间和搜索算法的实现，允许我们通过一致的接口向搜索算法公开搜索空间。我们的实验表明，我们可以很容易地尝试不同的组合搜索空间和搜索算法，而不必从头开始实现每个组合。我们在本文中发布了我们语言的实现。
2019-09-30 cs.AI cs.LG stat.ML
CycleGANAS: Differentiable Neural Architecture Search for CycleGAN
Korea University（高丽大学）
本文提出CycleGANAS，首个针对CycleGAN的可微分神经架构搜索框架，通过堆叠ResNet单元并分别搜索两个翻译方向，实现了性能匹配或超越原始CycleGAN并解决数据不平衡问题。
2023-11-13 cs.CV cs.LG eess.IV
Towards One Shot Search Space Poisoning in Neural Architecture Search
University of Toronto（多伦多大学）；ML Collective
我们评估的鲁棒性的神经架构搜索（NAS）算法被称为高效NAS（ENAS）对数据不可知的中毒攻击的原始搜索空间精心设计的无效操作。我们经验证明我们的一杆搜索空间中毒的方法利用ENAS控制器的设计缺陷，降低分类任务的预测性能。只需将两个中毒操作注入搜索空间，我们就可以在CIFAR-10数据集上将子网络的预测出错率提高到90%。
2021-11-13 cs.AI cs.LG cs.NE
Efficient Decoupled Neural Architecture Search by Structure and Operation Sampling
Hana Institute of Technology, Hana TI（韩亚TI韩亚技术研究院）；Seoul National University（首尔国立大学）
提出了一种新的基于强化学习的神经网络结构搜索算法，通过解耦结构搜索和操作搜索过程。我们的方法样本的候选模型从多项分布的政策向量上定义的两个独立的搜索空间。与基于RNN控制器的强化学习的传统方法相比，所提出的技术显著提高了架构搜索过程的效率，同时在目标任务中实现了具有竞争力的精度和模型大小。我们的策略向量在整个训练过程中都很容易解释，这允许分析搜索进度和发现的架构; RNN控制器的黑盒特性阻碍了对策略参数更新方面的训练进度的理解。我们的实验证明了出色的性能相比，国家的最先进的方法与搜索成本的一小部分。
2019-10-23 cs.CV cs.LG stat.ML
InstaNAS: Instance-aware Neural Architecture Search
National Tsing-Hua University（国立清华大学）；Google Research（谷歌研究院）
传统的神经架构搜索（NAS）旨在找到一个单一的架构，实现最佳的性能，这通常优化任务相关的学习目标，如准确性。然而，单一架构可能不足以代表具有高度多样性和多样性的整个数据集。直观地说，选择精通特定领域功能的领域专家架构可以进一步有利于与架构相关的目标，如延迟。在本文中，我们提出了InstaNAS--一个实例感知的NAS框架--它采用了一个控制器来搜索“架构分布”，而不是单个架构;这使得模型可以为困难的样本使用复杂的架构，这通常会带来与架构相关的成本，而对于那些简单的样本则使用浅架构。在推理阶段，控制器为每个看不见的输入样本分配一个领域专家架构，该架构可以以定制的推理成本实现高精度。在受MobileNetV2启发的搜索空间内进行的实验表明，InstaNAS可以在不影响MobileNetV2的一系列数据集准确性的情况下实现高达48.8%的延迟减少。
2019-05-23 cs.CV cs.LG stat.ML
Differentiable Architecture Search with Ensemble Gumbel-Softmax
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Intel Labs China（英特尔中国研究院）
对于网络体系结构搜索（NAS），同时保证有效性和效率是至关重要的，但具有挑战性。为了实现这一目标，我们开发了一个可区分的NAS解决方案，其中的搜索空间包括任意前馈网络组成的预定义数量的连接。受益于所提出的集成Gumbel-Softmax估计器，我们的方法在同一轮反向传播中优化了深度网络的架构及其参数，从而产生了搜索网络架构的端到端机制。在各种流行数据集上进行的大量实验有力地证明了我们的方法能够发现高性能的架构，同时保证搜索过程中所需的效率。
2019-05-06 cs.CV cs.LG stat.ML
Stabilizing Differentiable Architecture Search via Perturbation-based Regularization
UCLA（加州大学洛杉矶分校）
可区分的体系结构搜索（DARTS）是用于识别体系结构的流行NAS解决方案。基于对体系结构空间的不断松弛，DARTS学习可微的体系结构权重，大大降低了搜索成本。然而，随着搜索的进行，它的稳定性受到了挑战，因为它产生了不断恶化的体系结构。我们发现，陡峭的验证损失景观，这导致了一个戏剧性的性能下降时，蒸馏的最终架构，是一个重要的因素，导致不稳定。基于这一观察，我们提出了一种基于扰动的正则化- SmoothDARTS（SDARTS），以平滑损失景观并提高基于DARTS的方法的泛化能力。特别是，我们的新配方稳定DARTS为基础的方法，无论是随机平滑或对抗攻击。NAS-Bench-1 Shot 1上的搜索轨迹证明了我们方法的有效性，并且由于稳定性的提高，我们在4个数据集上的各种搜索空间上实现了性能增益。此外，我们在数学上表明，SDARTS隐式地正则化了验证损失的Hessian范数，这导致了更平滑的损失景观和更好的性能。
2021-01-12 cs.CV cs.LG stat.ML
DARTS: Differentiable Architecture Search
Google Brain（谷歌大脑）；CMU（卡内基梅隆大学）；DeepMind（深度思考）
本文解决了架构搜索的可扩展性的挑战，制定了一个不同的方式的任务。与在离散和不可微的搜索空间上应用进化或强化学习的传统方法不同，我们的方法是基于对体系结构表示的连续松弛，允许使用梯度下降对体系结构进行有效搜索。在CIFAR-10、ImageNet、Penn Treebank和WikiText-2上的大量实验表明，我们的算法在发现用于图像分类的高性能卷积架构和用于语言建模的递归架构方面表现出色，同时比最先进的不可微技术快了几个数量级。我们的实现已公开，以促进进一步研究高效的架构搜索算法。
2019-04-23 cs.CL cs.CV cs.LG
ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search
SYSU（中山大学）
如何快速、准确地发现和评估模型的真实强度是神经结构搜索（NAS）的关键挑战之一。为了解决这个问题，我们提出了一个架构驱动的权重预测（ADWP）的神经架构搜索（NAS）的方法。在我们的方法中，我们首先设计一个结构密集的搜索空间，然后训练一个超网络输入随机编码的结构参数。在训练好的超网络中，卷积核的权重可以很好地预测搜索空间中的神经结构。因此，目标架构可以有效地评估，而无需任何微调，从而使我们能够在通用网络的空间中搜索最佳架构（宏搜索）。通过实际的实验，我们评估了所提出的AD-WPNAS发现的模型的性能，结果表明，一个搜索过程可以在CIFAR-10上在4.0 GPU小时内完成。此外，所发现的模型仅用1.52M个参数就获得了2.41%的测试误差，这优于现有的最佳模型。
2020-03-03 cs.LG cs.NE
DSRNA: Differentiable Search of Robust Neural Architectures
UC San Diego（加州大学圣迭戈分校）
在深度学习应用中，深度神经网络的架构对于实现高精度至关重要。已经提出了许多方法来自动搜索高性能的神经结构。然而，这些搜索的架构容易受到对抗攻击。输入数据的小扰动可以使架构显著地改变预测结果。为了解决这个问题，我们提出了方法来执行可微搜索的强大的神经架构。在我们的方法中，定义了两个可微度量来衡量架构的鲁棒性，基于认证的下界和雅可比范数界。然后，我们通过最大化鲁棒性度量来搜索鲁棒性架构。与以前旨在以隐式方式提高架构鲁棒性的方法不同：执行对抗性训练和注入随机噪声，我们的方法显式地直接最大化鲁棒性度量以收获鲁棒架构。在CIFAR-10，ImageNet和MNIST上，我们对我们方法的鲁棒性进行了基于游戏的评估和基于验证的评估。实验结果表明，我们的方法1）比几个强大的NAS基线对各种范数约束攻击更鲁棒; 2）当没有攻击时，比基线更准确; 3）比基线具有更高的认证下限。
2020-12-11 cs.CR cs.CV cs.LG
RARTS: An Efficient First-Order Relaxed Architecture Search Method
University of California at Irvine（加州大学欧文分校）
可微结构搜索（DARTS）是一种基于求解双层优化问题的数据驱动神经网络设计的有效方法。尽管它在许多架构搜索任务中取得了成功，但仍然存在一些关于一阶DARTS的准确性和二阶DARTS的效率的问题。在本文中，我们制定了一个单一的水平替代和宽松的架构搜索（RARTS）的方法，利用整个数据集的架构学习，通过数据和网络分裂，而不涉及混合的二阶导数相应的损失函数，如DARTS。在我们的网络分裂公式中，两个具有不同但相关权重的网络合作寻找共享架构。收敛定理和解析可解模型证明了RARTS优于DARTS的优点。此外，RARTS优于DARTS及其变种的准确性和搜索效率，在足够的实验结果表明。对于搜索拓扑结构的任务，即，在CIFAR-10上，RARTS算法比二阶DARTS算法获得了更高的精度，计算量减少了60%.在转移到ImageNet后，RARTS的性能继续优于DARTS，并且与DARTS的最新变体不相上下，尽管我们的创新纯粹是在训练算法上，而没有修改搜索空间。对于搜索宽度的任务，即，卷积层中的通道数量，RARTS也优于传统的网络修剪基准。在NATS-Bench等公共体系结构搜索基准上的进一步实验也支持了RARTS的卓越性。
2022-06-24 cs.CV cs.LG stat.ML
On Redundancy and Diversity in Cell-based Neural Architecture Search
University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
搜索结构单元是NAS中的一个主要范例。然而，很少有人关注的分析，基于细胞的搜索空间，即使它是非常重要的NAS的持续发展。在这项工作中，我们从流行的基于细胞的搜索空间的架构进行经验事后分析，发现现有的搜索空间包含高度的冗余：架构性能是最低限度的敏感性变化在大部分的细胞，和普遍采用的设计，如显式搜索减少细胞，显着增加的复杂性，但对性能的影响非常有限。在通过不同的搜索策略发现的架构中，我们始终发现，对架构性能有影响的单元部分通常遵循相似且简单的模式。通过明确地约束细胞，包括这些模式，随机抽样的架构可以匹配，甚至优于最先进的。这些发现投下怀疑我们的能力，发现真正新颖的架构，在现有的基于细胞的搜索空间，并激发我们的改进建议，以指导未来的NAS研究。代码可在https://github.com/xingchenwan/cell-based-NAS-analysis上获得。
2022-03-16 cs.AI cs.LG stat.ML
