Robust Neural Architecture Search
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对NAS生成模型易受恶意攻击且现有鲁棒方法忽略自然准确率的问题，提出RNAS方法，通过设计正则化项并使用噪声样本替代对抗样本降低搜索成本，在鲁棒性与准确率间实现了良好折衷。
2023-04-10 cs.AI cs.CR cs.LG
How Does Supernet Help in Neural Architecture Search?
Microsoft Research（微软研究院）
权值共享作为一种加速体系结构性能评估的方法受到了广泛的关注。权重共享不是单独训练每个架构，而是构建一个将所有架构组装为其子模型的超网。然而，由于超网优化和NAS目标之间的差距，NAS过程是否真的受益于权重共享一直存在争议。为了进一步了解权重共享对NAS的影响，我们对NAS-Bench-101、NAS-Bench-201、DARTS-CIFAR 10、DARTS-PTB和ProxylessNAS五个搜索空间进行了全面分析。我们发现，权重共享工作在某些搜索空间，但在其他人失败。进一步，我们进一步确定了解释这种现象的偏差和权重共享的能力。我们的工作有望激励未来的NAS研究人员更好地利用体重分担的力量。
2021-05-05 cs.CV cs.LG cs.NE
DFG-NAS: Deep and Flexible Graph Neural Architecture Search
Peking University（北京大学）
图神经网络（GNN）已被广泛应用于各种基于图的应用。尽管它们取得了成功，但手动设计行为良好的GNN需要大量的人类专业知识。因此，发现潜在的最佳数据特定GNN架构是低效的。本文提出了DFG-NAS，这是一种新的神经架构搜索（NAS）方法，可以自动搜索非常深入和灵活的GNN架构。与大多数专注于微架构的现有方法不同，DFG-NAS突出了另一个设计层次：寻找关于原子传播（\textbf{\texttt{P}}）和转换（\textbf{\texttt{T}}）操作如何集成和组织到GNN中的宏架构。为此，DFG-NAS提出了一种新的基于消息传递分解的\textbf{\texttt{P-T}}排列组合搜索空间，定义了四种自定义宏结构突变，并采用进化算法进行了高效的搜索。四个节点分类任务的实证研究表明，DFG-NAS优于最先进的手工设计和GNN的NAS方法。
2022-06-17 cs.LG
NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy
University of Freiburg（弗莱堡大学）；Bosch Center for AI（博世人工智能中心）
NAS-Bench-101和NAS-Bench-201等表格基准的发布显著降低了在神经架构搜索（NAS）中进行科学研究的计算开销。虽然它们已被广泛采用并用于调整现实世界的NAS算法，但这些基准测试仅限于小搜索空间，并且仅关注图像分类。最近，已经引入了几个新的NAS基准测试，这些测试覆盖了广泛任务的更大搜索空间，包括目标检测、语音识别和自然语言处理。然而，到目前为止，这些NAS基准之间的巨大差异阻碍了它们的广泛采用，限制了研究人员只能使用少数基准。在这项工作中，我们提出了一个深入的分析流行的NAS算法和性能预测方法在25个不同的组合的搜索空间和数据集，发现许多结论得出的一些NAS基准不推广到其他基准。为了帮助解决这个问题，我们引入了NAS-Bench-Suite，这是一个全面且可扩展的NAS基准测试集合，可通过统一的界面访问，旨在促进可重现，可推广和快速的NAS研究。我们的代码可在https://github.com/automl/naslib上获得。
2022-02-11 cs.AI cs.LG stat.ML
Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；DeepAuto
提出一种轻量级鲁棒零成本代理，通过评估初始化状态下干净与扰动图像在特征、参数和梯度上的一致性，高效搜索出对多样扰动具有强鲁棒性的神经架构。
2023-10-20 cs.LG
NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
National University of Singapore（新加坡国立大学）
近年来，人们对神经结构搜索（NAS）的兴趣激增。已经提出了各种算法来提高NAS的搜索效率和有效性，即，以分别降低搜索成本和提高所选结构的泛化性能。然而，这些算法的搜索效率受到搜索过程中模型训练需求的严重限制。为了克服这一限制，我们提出了一种新的NAS算法称为NAS在初始化（NASI），利用神经切线核的能力，能够在初始化时表征候选架构的收敛性能，从而允许模型训练，以完全避免提高搜索效率。除了提高搜索效率外，NASI还在CIFAR-10/100和ImageNet等各种数据集上实现了具有竞争力的搜索效果。此外，NASI被证明是标签和数据不可知的温和条件下，这保证了我们的NASI在不同的数据集上选择的架构的可转移性。
2022-04-25 cs.AI cs.LG
How to Train Your Super-Net: An Analysis of Training Heuristics in Weight-Sharing NAS
EPFL（洛桑联邦理工学院）
权重共享有望使神经架构搜索（NAS）即使在商品硬件上也易于处理。现有的方法在这个空间依赖于一个不同的集合的设计和训练的共享权重骨干网络，也称为。超级网。由于不同的方法之间的几何学和超参数有很大的差异，因此只有通过系统地分析这些因素的影响才能实现它们之间的公平比较。因此，在本文中，我们提供了一个系统的评估的权重共享NAS算法经常采用的算法和超参数。我们的分析揭示了一些常用的超网训练算法对超网和单机性能之间的相关性产生了负面影响，并证明了某些超参数和架构选择的强烈影响。我们的代码和实验设定了一个强大的和可重复的基线，未来的工作可以建立在此基础上。
2020-06-17 cs.CV cs.LG stat.ML
BS-NAS: Broadening-and-Shrinking One-Shot NAS with Searchable Numbers of Channels
Ping An Technology（平安科技）
One-Shot方法由于超网的权重共享和单次训练而发展成为神经结构搜索（NAS）中最流行的方法之一。然而，现有的方法通常遭受两个问题：预定数量的通道，在每一层，这是次优的;和模型平均效应和差的排名相关性所造成的权重耦合和不断扩大的搜索空间。为了明确地解决这些问题，在本文中，提出了一个扩大和缩小的单次NAS（BS-NAS）的框架，其中“扩大”是指扩大搜索空间与弹簧块，使搜索通道的数量在训练过程中的超网，而“缩小”是指一种新的收缩策略逐渐关闭那些表现不佳的操作。上述创新扩大了搜索空间以获得更广泛的表示，然后通过逐渐去除表现不佳的操作来缩小搜索空间，然后使用进化算法来有效地搜索最佳架构。在ImageNet上的大量实验表明了所提出的BS-NAS的有效性以及最先进的性能。
2020-03-22 cs.LG stat.ML
AnalogNAS-Bench: A NAS Benchmark for Analog In-Memory Computing
Ecole Nationale Supérieure d’Informatique（国立信息学院）；Laboratoire de Méthodes de Conception des Systèmes（系统设计方法实验室）；IBM Research Europe（IBM欧洲研究院）
AnalogNAS-Bench是首个面向模拟内存计算的NAS基准，揭示了标准量化不足、鲁棒架构更宽且有分支、跳跃连接抗时间漂移等关键发现。
2025-06-23 cs.AR cs.LG
RBFleX-NAS: Training-Free Neural Architecture Search Using Radial Basis Function Kernel and Hyperparameter Detection
本文提出免训练NAS框架RBFleX-NAS，利用RBF核结合最后一层激活输出与输入特征进行性能预测，并设计超参数检测算法，在NAS-Bench-201和NAS-Bench-SSS上以短搜索时间取得更高top-1精度，同时提出NAFBee激活设计空间以提升激活函数搜索能力。
2025-06-03 cs.LG
EPE-NAS: Efficient Performance Estimation Without Training for Neural Architecture Search
Universidade da Beira Interior（贝拉内陆大学）
神经结构搜索（NAS）在设计计算机视觉问题的结构方面表现出了出色的效果。NAS通过自动化架构设计和工程来满足对人工定义设置的需求。然而，NAS方法往往很慢，因为它们需要大量的GPU计算。这个瓶颈主要是由于性能估计策略，它需要评估生成的架构，主要是通过训练它们，以更新采样器方法。在本文中，我们提出了EPE-NAS，这是一种有效的性能估计策略，通过对未经训练的网络进行评分并与其训练性能建立相关性来缓解评估网络的问题。我们通过查看未经训练的网络的类内和类间相关性来执行此过程。我们证明了EPE-NAS可以产生强大的相关性，并且通过将其纳入简单的随机采样策略，我们能够使用单个GPU在几秒钟内搜索竞争网络，而无需任何训练。此外，EPE-NAS与搜索方法无关，因为它专注于评估未经训练的网络，因此很容易集成到几乎任何NAS方法中。
2021-02-16 cs.CV cs.LG
NAS-Bench-360: Benchmarking Neural Architecture Search on Diverse Tasks
University of Toronto（多伦多大学）；University of Wisconsin（威斯康星大学）；Carnegie Mellon University（卡内基梅隆大学）
大多数现有的神经架构搜索（NAS）基准和算法优先考虑经过充分研究的任务，例如CIFAR或ImageNet上的图像分类。这使得NAS方法在更多样化领域的性能知之甚少。在本文中，我们提出了NAS-Bench-360，一个基准套件，以评估方法的领域超出了传统的研究架构搜索，并使用它来解决以下问题：做国家的最先进的NAS方法在不同的任务上表现良好？为了构建基准，我们策划了十个任务，这些任务跨越了不同的应用领域、数据集大小、问题维度和学习目标。每个任务都经过精心选择，以便与现代基于CNN的搜索方法进行互操作，同时可能远离其原始开发领域。为了加快和降低NAS研究的成本，对于其中两项任务，我们发布了包括标准CNN搜索空间的15，625个架构的预计算性能。在实验中，我们需要更强大的NAS评估的NAS-Bench-360，使几个现代NAS程序在10个任务中执行不一致，许多灾难性的差的结果。我们还展示了NAS-Bench-360及其相关的预计算结果将如何通过测试NAS文献中最近提出的几个假设是否适用于不同的任务来实现未来的科学发现。NAS-Bench-360托管于https://nb360.ml.cmu.edu。
2023-01-19 cs.CV cs.LG
HyT-NAS: Hybrid Transformers Neural Architecture Search for Edge Devices
Ecole Nationale Supérieure d’Informatique（国立高等计算机学院）；Université Polytechnique Hauts-de-France（上法兰西理工大学）
视觉Transformer使最近的基于注意力的深度学习（DL）架构在计算机视觉（CV）任务中取得了显著的成果。然而，由于需要大量的计算资源，这些架构很少在资源受限的平台上实现。目前的研究调查混合手工卷积为基础的和注意力为基础的CV任务，如图像分类和目标检测模型。在本文中，我们提出了HyT-NAS，一种高效的硬件感知神经架构搜索（HW-NAS），包括针对微型设备上的视觉任务的混合架构。HyT-NAS通过丰富搜索空间和增强搜索策略以及性能预测器来改进最先进的HW-NAS。我们的实验表明，HyT-NAS实现了类似的超卷，训练评估不到5倍。我们得到的架构优于MLPerf MobileNetV 1的6.3%的准确性提高与3.5倍的视觉唤醒词的参数少。
2023-03-28 cs.CV cs.LG
BM-NAS: Bilevel Multimodal Neural Architecture Search
Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
深度神经网络（DNN）在各种多模态学习问题上表现出优越的性能。然而，它往往需要巨大的努力，通过手动工程单峰特征和设计多模态特征融合策略，使DNN适应个别的多模态任务。本文提出了一种双层多模态神经结构搜索（BM-NAS）框架，通过双层搜索机制实现了对多模态融合模型结构的完全搜索。在上层，BM-NAS从预训练的单峰骨干中选择模态间/模态内特征对。在较低级别，BM-NAS学习每个特征对的融合策略，该策略是预定义的基元操作的组合。该算法的基本操作经过精心设计，可以灵活组合，以适应多种有效的特征融合模块，如多头注意力（Transformer）和注意力上的注意力（AoA）。在三个多模态任务上的实验结果证明了BM-NAS框架的有效性和效率。与现有的广义多模态NAS方法相比，BM-NAS方法具有更少的搜索时间和更少的模型参数，具有很好的性能。
2022-01-02 cs.CV cs.LG
confopt: A Library for Implementation and Evaluation of Gradient-based One-Shot NAS Methods
Department of Computer Science, University of Freiburg（计算机科学系，弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Prior Labs（Prior实验室）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
本文提出confopt库，通过模块化API和新型评估协议，解决基于梯度的单次NAS方法评估过度依赖DARTS基准及实现分散的问题，并揭示现有评估方式的关键缺陷。
2025-07-22 cs.AI cs.LG
Zero-Cost Proxies for Lightweight NAS
Samsung AI Center, Cambridge（三星剑桥人工智能中心）；University of Cambridge（剑桥大学）
神经结构搜索（NAS）正迅速成为设计神经网络模型的标准方法。然而，NAS通常是计算密集型的，因为在选择最佳模型之前需要评估多个模型。为了减少计算能力和所需的时间，通常使用代理任务来评估每个模型，而不是完全训练。在本文中，我们评估了传统的简化训练代理，并量化了它们在搜索过程中与最终训练准确度产生的排名相比在多个模型之间保持排名的情况。我们提出了一系列零成本代理，基于最近的修剪文献，只使用一个小批量的训练数据来计算模型的分数。我们的零成本代理使用3个数量级的计算，但可以匹配，甚至优于传统的代理。例如，Spearman在NAS-Bench-201上的最终验证准确性与我们最好的零成本代理之间的等级相关系数为0.82，而EcoNAS（最近提出的减少训练代理）为0.61。最后，我们使用这些零成本代理来增强现有的NAS搜索算法，如随机搜索，强化学习，进化搜索和基于预测的搜索。对于所有搜索方法和三个不同的NAS数据集，我们能够显着提高样本效率，从而减少计算，通过使用我们的零成本代理。例如，在NAS-Bench-101上，我们实现了相同的精度，比之前的最佳结果快4 $\times$。我们的代码在https://github.com/mohsaied/zero-cost-nas上公开。
2021-03-19 cs.AI cs.LG cs.NE
Single-Path NAS: Designing Hardware-Efficient ConvNets in less than 4 Hours
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Harbin Institute of Technology（哈尔滨工业大学）
我们能否在移动终端的运行时间约束下自动设计具有最高图像分类精度的卷积网络（ConvNet）？神经架构搜索（NAS）通过自动化这个过程，彻底改变了硬件高效的ConvNets的设计。然而，NAS问题仍然具有挑战性，因为组合设计空间很大，导致搜索时间很长（至少200 GPU小时）。为了减轻这种复杂性，我们提出了单路径NAS，这是一种新颖的可区分NAS方法，用于在不到4小时的时间内设计硬件高效的ConvNets。我们的贡献如下：1.单路径搜索空间：与以前的可区分NAS方法相比，单路径NAS使用一个单路径过参数化ConvNet来使用共享卷积核参数对所有架构决策进行编码，从而大大减少了可训练参数的数量和搜索成本。2.硬件高效的ImageNet分类：单路径NAS在Pixel 1手机上以79 ms的延迟在ImageNet上实现了74.96%的top-1准确率，与具有类似约束（<80 ms）的NAS方法相比，这是最先进的准确率。3. NAS效率：单路径NAS搜索成本仅为8个epoch（30 TPU-小时），与之前的工作相比，速度快了5，000倍。4.复制：与所有最近的移动高效NAS方法不同，这些方法只发布预训练的模型，我们在https://github.com/dstamoulis/single-path-nas上开源了我们的整个代码库。
2019-04-05 cs.CV cs.LG stat.ML
ZiCo: Zero-shot NAS via Inverse Coefficient of Variation on Gradients
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Qualcomm（高通公司）；Arm, Inc.（Arm公司）
本文提出零样本NAS代理指标ZiCo，通过分析梯度跨样本的逆变异系数预测架构性能，首次一致优于#Params，并在多个基准上以极低搜索成本取得与单样本/多样本NAS相当的精度。
2023-04-12 cs.LG
Transfer NAS: Knowledge Transfer between Search Spaces with Transformer Agents
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
神经架构搜索（NAS）的最新进展已经在几个任务上产生了最先进的架构。NAS将人类专家的工作从直接开发新的体系结构转移到设计体系结构搜索空间和有效探索它们的方法。搜索空间定义捕获了关于架构属性的先验知识，并且对于搜索算法的复杂性和性能至关重要。然而，不同的搜索空间定义需要从头开始重新开始学习过程。我们提出了一种新的代理的基础上，Transformer，支持联合训练和有效的转移先验知识之间的多个搜索空间和任务。
2019-06-19 cs.LG stat.ML
Siamese-NAS: Using Trained Samples Efficiently to Find Lightweight Neural Architecture by Prior Knowledge
National Central University（中央大学）；National Yang Ming Chiao Tung University（阳明交通大学）
在过去的十年中，许多卷积神经网络的架构都是手工设计的，如Vgg 16，ResNet，DenseNet等，它们都在不同的任务上达到了最先进的水平。但是，它仍然依赖于人类的直觉和经验，并且还需要花费大量的时间进行试错。Neural Architecture Search（NAS）就是针对这个问题而提出的。在最近的工作中，神经预测器在很少的训练架构作为训练样本的情况下得到了显着改进。然而，采样效率已经相当可观。在本文中，我们提出的连体预测的启发，过去的作品预测为基础的NAS。它是用建议的估计码构造的，估计码是关于训练过程的先验知识。拟议的连体预测得到显着的好处，从这个想法。这个想法使它超过了NASBench-201上当前的SOTA预测器。为了探讨估计代码的影响，我们分析了它和准确性之间的关系。我们还提出了轻量级CNN架构的搜索空间Tiny-NanoBench。这个精心设计的搜索空间比NASBench-201更容易找到更好的体系结构，而且FLOP更少。总之，所提出的Siamese-Predictor是基于预测器的NAS。它达到了SOTA水平，特别是在计算预算有限的情况下。它应用于提出的Tiny-NanoBench可以只使用几个训练样本来找到极其轻量级的CNN架构。
2022-10-02 cs.CV cs.LG
BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule
Aalborg University（奥尔堡大学）；UTS（悉尼科技大学）；Monash University（莫纳什大学）；RMIT University（皇家墨尔本理工大学）
可区分体系结构搜索（DARTS）近年来受到了广泛的关注，主要是因为它通过权重共享和连续松弛来显著降低计算成本。然而，最近的工作发现，现有的可区分NAS技术的斗争，以超越天真的基线，产生恶化的架构，作为搜索的进行。本文不是直接优化结构参数，而是通过将结构权重放松为高斯分布来将神经结构搜索表示为分布学习问题。通过利用自然梯度变分推理（NGVI），可以基于现有的代码库轻松优化架构分布，而不会产生更多的内存和计算消耗。我们演示了如何区分NAS的贝叶斯原理的好处，加强探索和提高稳定性。在NAS-Bench-201和NAS-Bench-1 shot 1基准数据集上的实验结果证实了所提出的框架可以做出的显着改进。此外，我们不是简单地将argmax应用于学习的参数，而是进一步利用NAS中最近提出的免训练代理，从优化分布的一组架构中选择最佳架构，其中我们在NAS-Bench-201和NAS-Bench-1 shot 1基准测试中获得了最先进的结果。我们在DARTS搜索空间中的最佳架构在CIFAR-10、CIFAR-100和ImageNet数据集上也分别获得了2.37\%、15.72\%和24.2\%的竞争性测试误差。
2021-11-25 cs.LG
TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework
University of Electronic Science and Technology of China（电子科技大学）；Australian AI Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
针对可微NAS无法处理不可微目标的问题，提出TND-NAS框架，结合可微NAS的高效性与多目标NAS的兼容性，通过离散空间优化与渐进搜索空间缩减，在较低计算成本下搜索出高性能紧凑架构。
2023-07-01 cs.AI cs.LG
Single-Path Mobile AutoML: Efficient ConvNet Design and NAS Hyperparameter Optimization
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Harbin Institute of Technology（哈尔滨工业大学）
本研究提出Single-Path NAS可微架构搜索方法，通过单路径过参数化卷积网络编码架构决策，将NAS搜索成本降至3小时内，在移动端延迟约束下取得ImageNet分类SOTA结果，并实现NAS超参数自动优化。
2019-07-01 cs.CV cs.LG stat.ML
Neural Architecture Refinement: A Practical Way for Avoiding Overfitting in NAS
神经架构搜索（NAS）被提出来自动化架构设计过程，并吸引了学术界和工业界的极大兴趣。但由于各层的算子选择和跳跃连接构成的高维搜索空间，使其面临过拟合问题。本文在基于强化学习的NAS框架基础上，对体系结构过拟合问题进行了深入探讨。我们发现，策略梯度方法与交叉熵最小化有很深的相关性。基于这种相关性，我们进一步证明，虽然NAS的奖励是稀疏的，策略梯度方法隐式地分配奖励给所有的操作和跳过连接的采样频率的基础上。然而，由于不准确的奖励估计、维数灾难问题以及神经网络的层次结构，算子和跳跃连接的奖励特性存在本质差异，为跳跃连接分配的奖励具有极大的噪声和不准确性。为了缓解这个问题，我们提出了一种神经架构细化方法，该方法使用初始的最先进的网络结构，并且只细化其操作符。大量的实验表明，该方法可以取得令人着迷的结果，包括分类，人脸识别等。
2019-12-03 cs.LG cs.NE
Neural Architecture Search in Embedding Space
Cathay Fincial Holdings（国泰金控）
基于强化学习的神经结构搜索算法可以为神经结构的自动发现提供一个新的框架。然而，由于搜索空间的不连续性和高维性，使得优化困难。为了解决这些问题，我们提出了嵌入空间中的NAS（NASES），这是一个新的框架。与在离散和高维架构空间上搜索的具有强化学习方法的其他NAS不同，该方法使强化学习能够通过使用架构编码器和解码器在嵌入空间中搜索。目前的实验表明，使用NASES程序的最终架构网络的性能与其他流行的NAS方法的CIFAR-10上的图像分类任务相当。实验的结果是有效的，并表明，NASES是非常有效的发现最终的架构，只有$<$ 3.5 GPU小时。当应用结构嵌入搜索和权值初始化时，NASES的性能和有效性令人印象深刻。
2020-03-26 cs.LG stat.ML
NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
神经结构搜索（NAS）是一个很有前途和快速发展的研究领域。训练大量的神经网络需要大量的计算能力，这使得NAS对于那些无法访问或无法访问高性能集群和超级计算机的研究人员来说是无法实现的。最近引入了一些具有预先计算的神经架构性能的基准测试来克服这个问题，并确保更多的可重复实验。然而，这些基准测试仅适用于计算机视觉领域，因此是从图像数据集和卷积衍生架构构建的。在这项工作中，我们走出计算机视觉领域，利用语言建模任务，这是自然语言处理（NLP）的核心。我们的主要贡献如下：我们在文本数据集上提供了递归神经网络的搜索空间，并在其中训练了14 k架构;我们使用语义相关性和语言理解评估数据集对训练模型进行了内在和外在评估;最后，我们测试了几种NAS算法，以证明如何利用预先计算的结果。我们相信我们的研究结果对NAS和NLP社区都有很高的使用潜力。
2020-06-12 cs.CL cs.LG stat.ML
HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search
Alibaba Group（阿里巴巴集团）
神经网络的实际使用通常需要遵守对延迟、能量和存储器等的多个约束。找到拟合网络的一种流行方法是通过约束神经结构搜索（NAS），然而，以前的方法只能柔和地执行约束。因此，所得到的网络不完全遵守资源约束，其准确性受到损害。在这项工作中，我们解决了这个问题，通过引入硬约束可出租NAS（HardCore-NAS），这是基于一个准确的制定预期的资源需求和可扩展的搜索方法，满足整个搜索的硬约束。我们的实验表明，HardCore-NAS生成国家的最先进的架构，超越其他NAS方法，同时严格满足硬资源约束，无需任何调整。
2021-02-23 cs.AI cs.CV cs.LG
CoLLM-NAS: Collaborative Large Language Models for Efficient Knowledge-Guided Neural Architecture Search
Wangxuan Institute of Computer Technology, Peking University（北京大学计算机科学技术研究院）
本文提出CoLLM-NAS，一种基于协作大型语言模型的两阶段神经架构搜索框架，通过导航和生成两个LLM及协调模块，有效指导搜索过程，提升效率并取得新状态最优结果。
2026-05-17 cs.AI cs.CV cs.LG
FOX-NAS: Fast, On-device and Explainable Neural Architecture Search
National Yang Ming Chiao Tung University（国立阳明交通大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经结构搜索可以发现性能良好的神经网络，One-Shot方法是目前流行的方法。One-Shot方法通常需要一个具有权重共享和预测架构性能的预测器的超网。然而，以前的方法需要花费大量的时间来生成性能预测器，因此效率低下。为此，我们提出了FOX-NAS，它包括基于模拟退火和多元回归的快速和可解释的预测。我们的方法是量化友好的，可以有效地部署到边缘。在不同硬件上的实验表明，FOX-NAS模型的性能优于其他一些流行的神经网络结构。例如，FOX-NAS与MobileNetV 2和EfficientNet-Lite 0的准确性相匹配，边缘CPU上的延迟分别减少了240%和40%。FOX-NAS是2020年低功耗计算机视觉挑战赛（LPCVC）DSP分类赛道的第三名。查看所有评估结果https://lpcv.ai/competitions/2020。搜索代码和预训练模型在https://github.com/great8nctu/FOX-NAS上发布。
2021-08-14 cs.CV cs.LG
NAS-LID: Efficient Neural Architecture Search with Local Intrinsic Dimension
Hong Kong Baptist University（香港浸会大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；NVIDIA AI Tech Center（英伟达人工智能技术中心）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Mahindra University（马恒达大学）；Coventry University（考文垂大学）
单次神经架构搜索（NAS）通过训练一个超网来估计每个可能的子架构的性能（即，子网）。然而，由于各子系统之间的特性不一致，对优化产生严重干扰，导致子系统性能排序相关性差。随后的探索通过特定的标准分解超网权重，例如，梯度匹配，以减少干扰，但他们遭受巨大的计算成本和低空间可分性。在这项工作中，我们提出了一个轻量级的和有效的本地固有维（LID）为基础的方法NAS-LID。NAS-LID通过逐层计算低成本的LID特征来评估架构的几何属性，LID表征的相似性与梯度相比具有更好的可分性，从而有效降低了子网之间的干扰。在NASBench-201上的大量实验表明，NAS-LID具有更好的效率和更好的性能。具体而言，与梯度驱动方法相比，NAS-LID在NASBench-201上搜索时可以节省高达86%的GPU内存开销。我们还证明了NAS-LID对ProxylessNAS和OFA空间的有效性。源代码：https://github.com/marsggbo/NAS-LID。
2022-11-24 cs.AI cs.CV cs.LG
NASRec: Weight Sharing Neural Architecture Search for Recommender Systems
Duke University（杜克大学）；Meta AI；University of Houston（休斯顿大学）
NASRec提出基于权重共享超网的神经架构搜索范式，通过单算子任意连接采样、算子平衡交互模块和训练后微调解决推荐系统多模态与架构异构挑战，在CTR预测基准上超越人工设计和现有NAS方法。
2023-02-12 cs.IR cs.LG
TG-NAS: Generalizable Zero-Cost Proxies with Operator Description Embedding and Graph Learning for Efficient Neural Architecture Search
Department of EECS, University of California, Irvine（电子工程与计算机科学系，加州大学伊市分校）；Department of Computer Science, University of California, San Diego（计算机科学系，加州大学圣地亚哥分校）
TG-NAS提出一种结合Transformer算子嵌入与图卷积网络的零成本代理，无需重训练即可跨搜索空间预测架构性能，显著提升搜索效率并发现高精度架构。
2025-05-23 cs.AI cs.LG
NAS-Bench-x11 and the Power of Learning Curves
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
虽然神经结构搜索（NAS）的早期研究需要极端的计算资源，但最近发布的表格和替代基准大大提高了NAS研究的速度和可重复性。然而，两个最流行的基准测试并没有为每个架构提供完整的训练信息。因此，在这些基准测试中，不可能运行许多类型的多保真度技术，例如学习曲线外推，这些技术需要在任意时期评估架构。在这项工作中，我们提出了一种使用奇异值分解和噪声建模的方法来创建代理基准，NAS-Bench-111，NAS-Bench-311和NAS-Bench-NLP 11，这些基准输出每个架构的完整训练信息，而不仅仅是最终的验证精度。我们通过引入学习曲线外推框架来修改单保真度算法，展示了使用完整训练信息的能力，表明它导致了对流行的单保真度算法的改进，这些算法在发布时声称是最先进的。我们的代码和预训练模型可以在https://github.com/automl/nas-bench-x11上找到。
2021-11-05 cs.AI cs.LG cs.NE
Designing Compact Neural Architectures via Neuron Gating and Mixed Activation
IIT Kanpur（印度理工学院坎普尔分校）；IIM Ahmedabad（印度管理学院艾哈迈达巴德分校）；Krishnamurthy Tandon School of AI（克里希纳穆尔蒂坦登人工智能学院）
本研究提出基于神经元门控与混合激活的NAS方法，通过连续松弛优化架构空间，在MNIST、CIFAR-10上实现紧凑架构的高性能，优于DARTS，可优化过度参数化架构。
2026-08-17 cs.AI cs.LG
Tackling Neural Architecture Search With Quality Diversity Optimization
LMU Munich（慕尼黑大学）；University of Warwick（华威大学）；Warwick Business School（华威商学院）
神经结构搜索（NAS）已被广泛研究，并已发展成为一个具有重大影响的研究领域。传统的单目标NAS搜索具有最佳性能的架构，而多目标NAS考虑应同时优化的多个目标，例如，最小化验证错误的资源使用。虽然在多目标NAS领域已经取得了相当大的进展，我们认为，有一些实际的优化问题的实际利益和优化问题，多目标NAS试图解决之间的差异。我们通过将多目标NAS问题公式化为质量多样性优化（QDO）问题来解决这种差异，并引入三个质量多样性NAS优化器（其中两个属于多保真度优化器组），其搜索高性能但多样的架构，这些架构对于特定于应用的利基是最佳的，例如，硬件限制。通过比较这些优化的多目标同行，我们表明，质量多样性NAS一般优于多目标NAS的解决方案的质量和效率。我们进一步展示了应用程序和未来的NAS研究如何在QDO上蓬勃发展。
2022-07-30 cs.LG cs.NE stat.ML
Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift
Sun Yat-sen University（中山大学）；DarkMatter AI Research（DarkMatter AI 研究院）；Monash University（莫纳什大学）；University of Oxford（牛津大学）
最近提出的神经架构搜索（NAS）方法在超网中共同训练数十亿个架构，并使用从超网分离的网络权重来估计它们的潜在准确性。然而，网络体系结构的预测精度和实际性能之间的排序关系是不正确的，这导致了现有的NAS方法的困境。我们将这种排名相关性问题归因于超网训练的一致性偏移，包括特征偏移和参数偏移。特征移位被识别为由于随机路径采样而引起的隐藏层的动态输入分布。输入分布动态影响损失下降，并最终影响架构排名。参数偏移被识别为在不同训练步骤中针对不同路径中的共享层铺设的矛盾参数更新。快速变化的参数不能保持体系结构的排名。我们同时使用一个非平凡的超网Pi模型，称为Pi-NAS来解决这两个转变。具体来说，我们采用了一个包含交叉路径学习的超网Pi模型，以减少不同路径之间的特征一致性变化。同时，我们采用了一种新的非平凡的平均教师包含负样本，以克服参数移动和模型碰撞。此外，我们的Pi-NAS以无监督的方式运行，可以搜索更多可转移的架构。在ImageNet和广泛的下游任务（例如，COCO 2017、ADE 20 K和Cityscapes）证明了我们的Pi-NAS与监督式NAS相比的有效性和通用性。参见代码：https://github.com/Ernie1/Pi-NAS。
2021-08-22 cs.CV cs.LG
HEP-NAS: Towards Efficient Few-shot Neural Architecture Search via Hierarchical Edge Partitioning
Wuhan University（武汉大学）；Northeastern University（东北大学）
针对少样本神经架构搜索忽略边关系导致性能下降的问题，提出HEP-NAS，通过层次化边划分、选择最有前景子超网络及搜索空间相互蒸馏，逐步缩小搜索空间，提升搜索效率与准确率。
2024-12-14 cs.CV cs.LG
You Only Search Once: Single Shot Neural Architecture Search via Direct Sparse Optimization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；TuSimple（图森未来）
近年来，神经网络结构搜索（NAS）引起了学术界和工业界的极大兴趣，但由于其巨大的和不连续的搜索空间，它仍然具有挑战性。本文提出了一种直接稀疏优化NAS（Direct Sparse Optimization NAS，DSO-NAS）方法。在DSO-NAS中，我们提供了一种新的模型修剪视图来解决NAS问题。具体来说，我们从一个完全连接的块开始，然后引入缩放因子来缩放操作之间的信息流。接下来，我们施加稀疏正则化来修剪架构中无用的连接。最后，我们给出了一个有效的优化方法来解决这个问题，该方法具有可微性和效率的优点，可以直接应用于像ImageNet这样的大型数据集。特别是，在CIFAR-10数据集上，DSO-NAS在18小时内使用8个GPU在600 M FLOPs下实现了2.84\ %的平均测试误差，而在ImageNet数据集上，DSO-NAS在18小时内实现了25.4\%的测试误差。
2018-11-05 cs.CV cs.LG cs.NE
Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance
Universidade da Beira Interior（贝拉内陆大学）；NOVA Lincs（NOVA 林肯斯实验室）
神经结构搜索（NAS）基准测试显著提高了开发和比较NAS方法的能力，同时通过提供关于数千个训练好的神经网络的元信息来大幅降低计算开销。然而，表格基准有几个缺点，可能会妨碍公平的比较，并提供不可靠的结果。这些通常集中于在严格约束的搜索空间中提供一个小的操作池-通常是具有预定义外骨架的基于细胞的神经网络。在这项工作中，我们进行了广泛使用的NAS-Bench-101，NAS-Bench-201和transNAS-Bench-101基准测试的可生成性和不同的操作如何影响所生成的架构的性能方面的实证分析。我们发现，只需要一个子集的操作池生成接近性能范围的上限架构。此外，性能分布是负偏的，在上限范围内具有更高的架构密度。我们一直发现卷积层对架构的性能影响最大，并且特定的操作组合有利于得分最高的架构。这些发现为使用NAS基准测试正确评估和比较NAS方法提供了见解，表明直接在NAS-Bench-201、ImageNet 16 -120和TransNAS-Bench-101上搜索比仅在CIFAR-10上搜索产生更可靠的结果。此外，通过这项工作，我们为未来的基准评估和设计提供了建议。用于进行评价的守则可在https://github.com/VascoLopes/NAS-Benchmark-Evaluation上查阅。
2023-03-29 cs.AI cs.CV cs.LG
NASCTY: Neuroevolution to Attack Side-channel Leakages Yielding Convolutional Neural Networks
侧信道分析（SCA）可以通过利用由设备产生的泄漏来获得与秘密密钥相关的信息。研究人员最近发现，神经网络（NN）可以执行强大的分析SCA，即使是在有对策保护的目标上。本文探讨了神经进化攻击产生卷积神经网络（NASCTY-CNNs）的侧通道痕迹的有效性。NASCTY-CNNs是一种新的遗传算法方法，它将遗传算子应用于结构的超参数以自动产生用于侧通道分析的CNN。结果表明，我们可以实现性能接近国家的最先进的方法，对deserminized泄漏与面具保护，表明类似的神经进化方法提供了一个坚实的场地，为进一步的研究。最后，构建的NN之间的共性提供了关于NASCTY如何构建有效架构和处理应用对策的信息。
2023-01-25 cs.CR cs.NE
