YOLO-NAS-Bench: A Surrogate Benchmark with Self-Evolving Predictors for YOLO Architecture Search
Wangxuan Institute of Computer Technology, Peking University（北京大学计算机科学技术研究院）
本文提出YOLO-NAS-Bench，一种针对YOLO检测器的代理基准，通过自进化机制提升预测器的准确性，从而在YOLO架构搜索中实现高效评估。
2026-05-18 cs.CV
Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition
Alibaba Group（阿里巴巴集团）
准确度预测器是神经架构搜索（NAS）中用于排名架构的关键组件。构建高质量的准确度预测器通常需要大量的计算。为了解决这个问题，而不是使用一个准确的预测，我们提出了一种新的zero-shot指数称为Zen-Score排名的架构。Zen-Score表示网络表达能力，并与模型准确性呈正相关。Zen-Score的计算只需要通过随机初始化的网络进行少量的前向推理，而不需要训练网络参数。在Zen-Score的基础上，我们进一步提出了一种新的NAS算法，称为Zen-NAS，通过在给定的推理预算下最大化目标网络的Zen-Score。在不到半个GPU天的时间内，Zen-NAS能够以无数据的方式直接搜索高性能架构。与以前的NAS方法相比，所提出的Zen-NAS在多个服务器端和移动端GPU平台上的速度提高了数倍，在ImageNet上具有最先进的准确性。我们的源代码和预训练模型发布在https://github.com/idstcv/ZenNAS上。
2021-08-23 cs.CV cs.LG
Loss Functions for Predictor-based Neural Architecture Search
College of Computer Science, Sichuan University（四川大学计算机学院）
本文首次系统研究NAS性能预测器中的损失函数，将八种损失函数分为回归、排序和加权三类，在五个搜索空间13个任务上评估，发现特定类别损失函数可有效组合以提升基于预测器的NAS，并为任务选择合适的损失函数提供指导。
2025-06-06 cs.AI cs.CV cs.LG
Multi-Predict: Few Shot Predictors For Efficient Neural Architecture Search
Cornell University（康奈尔大学）
本文提出基于零成本代理且独立于搜索空间的NN编码Multi-Predict，使准确率与延迟预测器可跨任务、搜索空间和硬件少样本适配，显著降低NAS测量与训练成本。
2023-06-04 cs.AR cs.CV cs.LG
CAP: A Context-Aware Neural Predictor for NAS
College of Computer Science, Sichuan University（四川大学计算机学院）
提出上下文感知神经预测器CAP，利用上下文自监督任务学习架构表示，仅需少量标注架构即可精确排名并高效探索NAS搜索空间。
2024-06-04 cs.LG cs.NE
Improving Routability Prediction via NAS Using a Smooth One-shot Augmented Predictor
Duke University（杜克大学）
本文提出SOAP-NAS，通过数据增强并结合单次与预测器NAS，缓解训练与搜索目标分离及方差问题，在DRC热点检测中ROC-AUC达0.9802，查询时间仅0.461毫秒。
2024-11-21 cs.LG
FOX-NAS: Fast, On-device and Explainable Neural Architecture Search
National Yang Ming Chiao Tung University（国立阳明交通大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经结构搜索可以发现性能良好的神经网络，One-Shot方法是目前流行的方法。One-Shot方法通常需要一个具有权重共享和预测架构性能的预测器的超网。然而，以前的方法需要花费大量的时间来生成性能预测器，因此效率低下。为此，我们提出了FOX-NAS，它包括基于模拟退火和多元回归的快速和可解释的预测。我们的方法是量化友好的，可以有效地部署到边缘。在不同硬件上的实验表明，FOX-NAS模型的性能优于其他一些流行的神经网络结构。例如，FOX-NAS与MobileNetV 2和EfficientNet-Lite 0的准确性相匹配，边缘CPU上的延迟分别减少了240%和40%。FOX-NAS是2020年低功耗计算机视觉挑战赛（LPCVC）DSP分类赛道的第三名。查看所有评估结果https://lpcv.ai/competitions/2020。搜索代码和预训练模型在https://github.com/great8nctu/FOX-NAS上发布。
2021-08-14 cs.CV cs.LG
Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search
Duke University（杜克大学）
本文提出Delta-NAS，通过预测相似网络对的准确率差异将NAS搜索复杂度从指数级降至线性级，在多个基准上以更低成本实现细粒度搜索并显著提升性能和样本效率。
2024-11-21 cs.CV
How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS Predictor
University of Oxford（牛津大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Cambridge（剑桥大学）；Flower Labs（Flower实验室）；University of Warwick（华威大学）
本文利用6个NAS基准、16种设置，借鉴少样本元学习方法提取可跨任务和搜索空间迁移的通用NAS知识，重点研究任务相关性与预测器可迁移性的关系，并验证了其在新搜索空间和任务上的外推能力。
2023-11-30 cs.LG
Self-supervised Representation Learning for Evolutionary Neural Architecture Search
Xidian University（西安电子科技大学）；Xi’an University of Posts&Telecommunications（西安邮电大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
最近提出的神经结构搜索（NAS）算法采用神经预测器来加速结构搜索。神经预测器准确预测神经架构的性能指标的能力对于NAS至关重要，并且神经预测器的训练数据集的获取是耗时的。如何利用少量的训练数据获得具有高预测精度的神经预测器是基于神经预测器的NAS的核心问题。在这里，我们首先设计了一种新的架构编码方案，克服了现有的基于向量的架构编码方案的缺点，计算神经架构的图编辑距离。为了提高神经预测器的预测性能，我们从不同的角度设计了两种自监督学习方法来预训练神经预测器的结构嵌入部分，以生成有意义的神经结构表示。第一种是训练一个精心设计的两分支图神经网络模型来预测两个输入神经结构的图编辑距离。第二种方法的灵感来自于以前的对比学习，我们提出了一个新的对比学习算法，利用一个中心特征向量作为代理，以对比积极对消极对。实验结果表明，预训练的神经预测器可以达到相当或更好的性能相比，他们的监督同行与几倍少的训练样本。我们在NASBench-101和NASBench 201基准测试中实现了最先进的性能，将预训练的神经预测器与进化NAS算法集成在一起。
2020-10-31 cs.CV
Encodings for Prediction-based Neural Architecture Search
Cornell University（康奈尔大学）
本文系统比较结构化、学习型和基于评分的NAS架构编码，提出统一编码与FLAN流注意力预测器，在多搜索空间逾150万架构上实现跨空间迁移并将预测器训练成本降低逾十倍。
2024-03-04 cs.AI cs.CV cs.LG
DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models
KAIST（韩国科学技术院）
本文提出基于扩散模型的条件神经架构生成框架 DiffusionNAG，将架构视为有向图并利用参数化预测器引导采样，在可迁移 NAS 和 BO-based NAS 场景中实现高效生成，速度提升达 35 倍且性能更优。
2024-03-24 cs.LG
Efficient Sampling for Predictor-Based Neural Architecture Search
Sony Europe B.V.（索尼欧洲有限公司）
最近，基于预测器的算法成为神经结构搜索（NAS）的一种很有前途的方法。对于NAS，我们通常必须计算大量深度神经网络（DNN）的验证准确性，这在计算上是复杂的。基于预测器的NAS算法解决了这个问题。他们训练一个代理模型，该模型可以直接从DNN的网络结构中推断DNN的验证准确性。在优化过程中，代理可用于缩小必须计算真实验证准确性的架构的数量，这使得基于预测器的算法采样效率高。通常，我们计算网络搜索空间中所有DNN的代理，并选择那些最大化代理的DNN作为优化的候选。然而，这在实践中是棘手的，因为搜索空间通常非常大，并且包含数十亿个网络架构。本文的贡献有三个方面：1）我们定义了一个样本效率增益来比较不同的基于预测器的NAS算法。2)我们在NASBench-101数据集上进行了实验，结果表明，如果仅为搜索空间的一个子集计算代理，则基于预测的算法的样本效率会显著降低。3)我们表明，如果我们选择的子集上的代理进行评估，在一个聪明的方式，原始的基于预测的算法，可以访问完整的搜索空间的样本效率的搜索空间可以重新获得。这是使基于预测器的NAS算法在实践中有用的重要步骤。
2020-11-24 cs.AI cs.LG cs.NE
HiFi-LLP: High-Fidelity, Low-Cost Latency Predictors with Confidence for Robust HW-NAS
Technical University of Munich（慕尼黑工业大学）；BMW Group（宝马集团）；University of Bonn（波恩大学）
研究针对硬件感知神经网络架构搜索中硬件在环延迟测量瓶颈及预测不准确问题，提出基于图注意力网络的HiFi-LLP延迟预测器，增加置信度度量，性能优于现有预测器，并构建混合NAS框架，实现加速且保持竞争力。
2026-07-14 cs.AR cs.LG
Dynamic Ensemble of Low-fidelity Experts: Mitigating NAS "Cold-Start"
Tsinghua University（清华大学）；Huawei Technologies Co., Ltd（华为技术有限公司）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；SailYond Technology & Research Institute of Tsinghua University in Shenzhen（清华大学深圳赛伦科技与研究院）
基于预测器的神经结构搜索（NAS）采用结构性能预测器来提高样本效率。然而，基于预测器的NAS遭受严重的“冷启动”问题，因为需要大量的架构性能数据来获得工作预测器。在本文中，我们专注于利用廉价获得性能估计（即，低保真度信息）以减轻预测器训练的大数据要求。尽管这个想法很直观，但我们观察到，使用不适当的低保真信息甚至会损害预测能力，并且不同的搜索空间对低保真信息类型有不同的偏好。为了解决这个问题，更好地融合不同类型的低保真度信息提供的有益信息，我们提出了一种新的动态集成预测框架，包括两个步骤。在第一步中，我们训练不同的子预测器上的不同类型的可用低保真信息提取有益的知识作为低保真专家。在第二步中，我们学习一个门控网络，以动态输出一组以每个输入神经架构为条件的加权系数，这些加权系数将用于将不同低保真专家的预测组合在加权和中。整体预测器在一小组实际架构性能数据上进行优化，以融合来自不同低保真度专家的知识来进行最终预测。我们进行了广泛的实验，在五个搜索空间与不同的架构编码器在各种实验设置。我们的方法可以很容易地纳入现有的基于预测的NAS框架，以发现更好的架构。
2023-02-02 cs.AI cs.LG
Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
神经架构搜索（NAS）旨在为多个任务找到有效的模型。除了为单个任务寻求解决方案之外，人们对跨多个任务传输网络设计知识的兴趣也在激增。在这条研究路线中，有效地建模任务相关性是至关重要的，但却被高度忽视。因此，我们提出了\textbf{Arch-Graph}，一个可转移的NAS方法，预测任务特定的最佳架构相对于给定的任务嵌入。它通过使用它们的嵌入作为预测器输入的一部分来利用多个任务之间的相关性，以实现快速适应。我们还制定NAS作为一个架构关系图预测问题，与关系图构造的候选架构作为节点和他们的成对关系的边缘。为了执行一些基本属性，如关系图中的无环性，我们添加了额外的约束优化过程中，转换NAS的问题，找到一个最大加权无环子图（MWAS）。然后，我们的算法努力消除循环，并且只有在排名结果可信的情况下才在图中建立边。通过MWAS，Arch-Graph可以有效地对每个任务的候选模型进行排名，只需少量预算来微调预测器。通过在TransNAS-Bench-101上的大量实验，我们展示了Arch-Graph在众多任务中的可移植性和高样本效率，击败了许多为单任务和多任务搜索设计的NAS方法。在50个模型的预算下，它能够在两个搜索空间上找到平均0.16%和0.29%的顶级架构。
2022-04-12 cs.CV cs.LG
A General-Purpose Transferable Predictor for Neural Architecture Search
Huawei Technologies Canada（加拿大华为技术有限公司）；University of Alberta（阿尔伯塔大学）；University of British Columbia（不列颠哥伦比亚大学）；Huawei Kirin Solution（华为麒麟解决方案部门）
本文提出一种基于计算图表示和对比学习的通用神经预测器，可跨搜索空间迁移，在多个NAS基准上优于零成本代理指标，并能辅助进化搜索找到高性能架构。
2023-02-21 cs.LG
BRP-NAS: Prediction-based NAS using GCNs
Samsung AI Center（三星人工智能中心）；University of Cambridge（剑桥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经结构搜索（NAS）使研究人员能够自动探索广阔的设计空间，以提高神经网络的效率。这种效率在设备上部署的情况下尤其重要，在这种情况下，准确性的提高应该与模型的计算需求相平衡。在实践中，模型的性能指标是计算昂贵的获得。以前的工作使用代理（例如，操作数）或神经网络层的逐层测量来估计端到端硬件性能，但不精确的预测降低了NAS的质量。为了解决这个问题，我们提出了BRP-NAS，一个高效的硬件感知的NAS，通过一个准确的性能预测器，基于图卷积网络（GCN）。更重要的是，我们调查的预测质量不同的指标，并表明样本效率的预测为基础的NAS可以提高考虑二元关系的模型和迭代的数据选择策略。我们表明，我们提出的方法优于NAS-Bench-101和NAS-Bench-201上的所有先前方法，并且我们的预测器可以始终如一地学习从DARTS搜索空间中提取有用的特征，从而改进二阶基线。最后，为了提高人们对准确延迟估计并非易事这一事实的认识，我们发布了LatBench --一个在各种设备上运行的NAS-Bench-201模型的延迟数据集。
2021-01-19 cs.LG eess.SP stat.ML
How Powerful are Performance Predictors in Neural Architecture Search?
University of Freiburg（弗莱堡大学）；University of Oxford（牛津大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
在快速发展的神经结构搜索（NAS）领域中的早期方法需要完全训练数千个神经网络。为了降低这种极端的计算成本，已经提出了数十种技术来预测神经架构的最终性能。尽管这种性能预测方法取得了成功，但由于缺乏一致同意的评估度量和对初始化时间和查询时间的不同约束的优化，不同系列的技术如何相互比较还没有得到很好的理解。在这项工作中，我们通过分析31种技术，从学习曲线外推，权重共享，监督学习，“零成本”代理，第一次大规模的性能预测研究。我们在各种设置中测试了一些基于相关性和排名的性能指标，以及每种技术加快基于预测器的NAS框架的能力。我们的研究结果可作为在不同环境中使用的最佳预测因子的建议，并且我们表明，某些预测因子家族可以结合起来以实现更好的预测能力，开辟了有前途的研究方向。我们的代码，具有31个性能预测器的库，可以在https://github.com/automl/naslib上找到。
2021-10-27 cs.LG cs.NE stat.ML
HyperNAS: Enhancing Architecture Representation for NAS Predictor via Hypernetwork
School of Computer Science, Sichuan University（计算机学院，四川大学）
针对神经架构搜索（NAS）中预测器泛化能力差的问题，提出HyperNAS范式，通过全局编码方案和共享超网络增强架构表示，结合动态自适应多任务损失，在少样本场景下取得更优性能，样本效率提升至少5倍。
2025-09-16 cs.AI cs.LG
Homogeneous Architecture Augmentation for Neural Predictor
Sichuan University（四川大学）；Peking University（北京大学）
神经架构搜索（NAS）可以为手头的任务自动设计性能良好的深度神经网络（DNN）架构。然而，NAS的一个瓶颈是主要由于昂贵的性能评估而导致的令人望而却步的计算成本。神经预测器可以直接估计性能，而无需对待评估的DNN进行任何训练，因此越来越受到研究人员的关注。尽管它们很受欢迎，但它们也受到严重的限制：缺乏有效训练神经预测器的注释DNN架构。在本文中，我们提出了DNN架构的神经预测器同质架构增强（HAAP）来解决上述问题。具体地说，在HAAP中提出了一种同构结构增强算法，利用同构表示生成足够的训练数据。此外，one-hot编码策略被引入到HAAP中，以使DNN架构的表示更加有效。实验在NAS-Benchmark-101和NAS-Bench-201数据集上进行。实验结果表明，所提出的HAAP算法优于最先进的相比，但有更少的训练数据。此外，两个基准数据集上的消融研究也显示了同质结构增强的普遍性。
2021-07-28 cs.LG cs.NE
From Regression to Inference: Meta-Learning Predictors for Neural Architecture Search
Department of Mathematics（数学系）；School of Mathematical and Statistical Sciences（数学与统计科学学院）；University of California, Riverside（加州大学河滨分校）；Southern Illinois University Carbondale（南伊利诺伊大学卡罗尔梅尔分校）
本文提出一种基于元学习的预测方法，通过ConvNP模型将性能预测建模为条件函数推断问题，提升神经架构搜索中的泛化能力与选择质量。
2026-05-10 cs.LG
BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search
Stanford University（斯坦福大学）；Petuum Inc.（Petuum公司）
在过去的五年中，许多方法被认为是神经结构搜索（NAS）。贝叶斯优化（BO），长期以来一直成功的超参数优化，最近出现了作为一个非常有前途的战略NAS时，它与神经预测器。最近的工作提出了该框架的不同实例，例如，使用贝叶斯神经网络或图卷积网络作为BO内的预测模型。然而，这些论文中的分析通常集中在成熟的NAS算法上，因此很难判断框架的哪些单独组件会导致最佳性能。在这项工作中，我们给出了一个彻底的分析“BO +神经预测器”的框架，确定五个主要组成部分：架构编码，神经预测器，不确定性校准方法，采集功能和采集优化策略。我们为每个组件测试了几种不同的方法，并为神经架构开发了一种新的基于路径的编码方案，我们在理论上和经验上都证明了它比其他编码更好。使用我们所有的分析，我们开发了一个最终的算法称为BANANAS，它实现了国家的最先进的性能NAS搜索空间。我们坚持NAS研究清单（Lindauer和Hutter 2019）以促进最佳实践，我们的代码可在https://github.com/naszilla/naszilla上获得。
2020-11-02 cs.LG cs.NE stat.ML
Semi-Supervised Neural Architecture Search
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
神经架构搜索（NAS）依赖于一个好的控制器来生成更好的架构或预测给定架构的准确性。然而，训练控制器需要大量和高质量的架构对及其精度，而评估架构并获得其精度是昂贵的。在本文中，我们提出了SemiNAS，这是一种半监督NAS方法，它利用了许多未标记的架构（无需评估，因此几乎没有成本）。具体来说，SemiNAS 1）使用一小组架构准确度数据对训练初始准确度预测器; 2）使用训练的准确度预测器来预测大量架构的准确度（无需评估）; 3）将生成的数据对添加到原始数据中，以进一步改进预测器。训练的准确度预测器可以通过预测候选架构的准确度来应用于各种NAS算法。SemiNAS有两个优点：1）在保证相同精度的情况下，降低了计算成本。在NASBench-101基准数据集上，该方法仅使用1/7的架构精度对，就达到了与基于梯度的方法相当的精度。2)它在相同的计算成本下获得了更高的精度。它在NASBench-101上实现了94.02%的测试准确率，在使用相同数量的架构时优于所有基线。在ImageNet上，它使用4个GPU天进行搜索，实现了23.5%的top-1出错率（在600 M FLOPS约束下）。我们进一步将其应用于LJSpeech文本到语音任务，它在低资源设置下达到97%的可懂率，在鲁棒性设置下达到15%的测试出错率，分别比基线提高了9%，7%。
2020-11-03 cs.LG stat.ML
GPNAS: A Neural Network Architecture Search Framework Based on Graphical Predictor
Renmin University of China（中国人民大学）；Massachusetts Institute of Technology（麻省理工学院）
在实践中，神经结构搜索（NAS）训练中遇到的问题不是简单的问题，而往往是一系列困难的组合（错误的补偿估计，维数灾难，过拟合，高复杂性等）。本文提出了一种将网络结构与算子搜索空间解耦的框架，并采用两个BOHB交替搜索。考虑到激活函数和初始化也是神经网络的重要组成部分，模型的泛化能力会受到影响。我们引入一个激活函数和一个初始化方法域，并将它们加入到算子搜索空间中，形成一个广义搜索空间，从而提高子模型的泛化能力。然后，我们使用子模型的反馈训练了一个基于GCN的预测器。这不仅可以提高搜索效率，而且可以解决维数灾难问题。接下来，与其他NAS研究不同，我们使用预测器来分析不同网络结构的稳定性。最后，我们将我们的框架应用于神经结构搜索，并在多个数据集上取得了显着的改进。
2021-07-08 cs.CV cs.LG
ReNAS:Relativistic Evaluation of Neural Architecture Search
Noah’s Ark Lab Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Huawei Technologies（华为技术有限公司）；The University of Sydney（悉尼大学）；Peking University（北京大学）
一个有效的体系结构性能评估方案是神经网络体系结构搜索成功的关键。为了节省计算成本，大多数现有的NAS算法往往训练和评估中间神经网络结构上的一个小的代理数据集有限的训练时期。但是，很难期望在这样一个粗略的评估方式的体系结构的准确的性能估计。本文提出了一种新的神经网络体系结构评估方案，其目的是确定哪种体系结构的性能更好，而不是准确地预测绝对的体系结构性能。因此，我们提出了一个\textbf{relativistic}架构的NAS性能预测器（ReNAS）。我们将神经架构编码为特征张量，并使用预测器进一步细化表示。建议的相对论性能预测器可以部署在离散搜索方法中搜索所需的架构，而无需额外的评估。在NAS-Bench-101数据集上的实验结果表明，对424个（整个搜索空间的$0.1\%$）神经架构及其相应的验证性能进行采样已经足以学习准确的架构性能预测器。我们在NAS-Bench-101和NAS-Bench-201数据集上搜索的神经结构的准确性高于最先进的方法，并显示了所提出的方法的优先级。
2021-09-23 cs.LG cs.NE
RATs-NAS: Redirection of Adjacent Trails on GCN for Neural Architecture Search
National Central University（国立中央大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）
提出RATs-NAS，结合重定向相邻路径的GCN和预测器采样模块，在NASBench-201上显著提升神经架构搜索效率与性能。
2023-05-09 cs.AI cs.CV
NashFormer: Leveraging Local Nash Equilibria for Semantically Diverse Trajectory Prediction
Princeton University（普林斯顿大学）；Toyota Research Institute（丰田研究所）；Massachusetts Institute of Technology（麻省理工学院）
NashFormer利用博弈论逆强化学习，通过训练时局部纳什均衡分析作为辅助损失，在不预设动作分类的情况下提升多智能体轨迹预测的覆盖率和准确性，在Waymo交互数据集上比基线多覆盖33%的潜在交互。
2023-11-11 cs.CV cs.GT cs.LG
DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning
Harbin Institute of Technology（哈尔滨工业大学）
针对NAS中神经预测器训练数据成本高、无监督方法易性能崩溃的问题，提出课程引导对比学习框架DCLP，通过难度排序的课程调度提升训练稳定性与效率，性能优于现有预测器。
2023-12-14 cs.LG
Neural Architecture Optimization with Graph VAE
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
梯度优化方法由于其在连续空间上的高计算效率，在神经结构搜索（NAS）领域显示出巨大的潜力。网络表示从离散空间到潜在空间的映射是发现新体系结构的关键，然而，现有的基于梯度的方法不能完全表征网络。在本文中，我们提出了一个有效的NAS方法来优化网络架构在一个连续的空间，其中的潜在空间是建立在变分自编码器（VAE）和图神经网络（GNN）。该框架以端到端的方式联合学习四个组件：编码器，性能预测器，复杂度预测器和解码器。编码器和解码器属于图VAE，在连续表示和网络架构之间映射架构。预测因子是两个回归模型，分别拟合性能和计算复杂性。这些预测器确保所发现的架构具有优异的性能和高计算效率。大量的实验表明，我们的框架不仅生成了适当的连续表示，而且还发现了强大的神经架构。
2020-06-18 cs.LG stat.ML
Cascade Bagging for Accuracy Prediction with Few Training Samples
Hikvision Research Institute（海康威视研究院）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
准确度预测器被训练用于从网络的架构编码中预测网络的验证准确度。它可以有效地帮助设计网络和提高神经结构搜索（NAS）的效率。然而，高性能的预测器依赖于足够的训练样本，这需要负担不起的计算开销。为了缓解这个问题，我们提出了一个新的框架，训练的准确性预测在很少的训练样本。该框架由数据增强方法和集成学习算法组成。数据增强方法校准弱标签并将噪声注入特征空间。集成学习算法，称为级联装袋，通过采样数据和特征来训练两级模型。最后，在CVPR 2021第一届轻量级NAS挑战赛的性能预测环节中，验证了上述方法的优势。我们的代码在https://github.com/dlongry/Solutionto-CVPR2021-NAS-Track2上公开。
2021-08-12 cs.CV
On Latency Predictors for Neural Architecture Search
Cornell University（康奈尔大学）
针对神经架构搜索中延迟预测器性能波动、评估不系统的问题，提出自动化划分的延迟预测任务集与通用预测器，经多维度研究后提出的端到端训练策略在多数任务上优于现有方法，还提升了硬件感知NAS的搜索效率。
2024-03-04 cs.AR cs.CV cs.LG
FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining
Facebook Inc.（Facebook公司）；UC Berkeley（加州大学伯克利分校）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
神经架构搜索（NAS）产生最先进的神经网络，其性能优于最好的手动设计的对应物。然而，先前的NAS方法在一组训练超参数（即，训练配方），忽略了优越的架构配方组合。为了解决这个问题，我们提出了神经架构-配方搜索（NARS）来同时搜索（a）架构和（b）它们相应的训练配方。NARS利用一个准确度预测器，对架构和训练配方进行联合评分，指导样本选择和排名。此外，为了补偿扩大的搜索空间，我们利用“自由”架构统计（例如，FLOP计数）来预训练预测器，显著提高其样本效率和预测可靠性。在通过约束迭代优化训练预测器之后，我们在CPU分钟内运行快速进化搜索，以生成各种资源约束的架构配方对，称为FBNetV 3。FBNetV 3组成了一个最先进的紧凑型神经网络家族，其性能优于自动和手动设计的竞争对手。例如，FBNetV 3匹配ImageNet上的EfficientNet和ResNeSt精度，FLOP分别减少2.0倍和7.1倍。此外，FBNetV 3为下游目标检测任务带来了显着的性能提升，尽管与基于EfficientNet的同类产品相比，FLOP减少了18%，参数减少了34%，但仍提高了mAP。
2021-03-30 cs.CV cs.LG cs.NE
HyT-NAS: Hybrid Transformers Neural Architecture Search for Edge Devices
Ecole Nationale Supérieure d’Informatique（国立高等计算机学院）；Université Polytechnique Hauts-de-France（上法兰西理工大学）
视觉Transformer使最近的基于注意力的深度学习（DL）架构在计算机视觉（CV）任务中取得了显著的成果。然而，由于需要大量的计算资源，这些架构很少在资源受限的平台上实现。目前的研究调查混合手工卷积为基础的和注意力为基础的CV任务，如图像分类和目标检测模型。在本文中，我们提出了HyT-NAS，一种高效的硬件感知神经架构搜索（HW-NAS），包括针对微型设备上的视觉任务的混合架构。HyT-NAS通过丰富搜索空间和增强搜索策略以及性能预测器来改进最先进的HW-NAS。我们的实验表明，HyT-NAS实现了类似的超卷，训练评估不到5倍。我们得到的架构优于MLPerf MobileNetV 1的6.3%的准确性提高与3.5倍的视觉唤醒词的参数少。
2023-03-28 cs.CV cs.LG
Automatic Routability Predictor Development Using Neural Architecture Search
Duke University（杜克大学）；Texas A&M University（德克萨斯A&M大学）；Cadence（Cadence公司）；National Taiwan University（国立台湾大学）
随着机器学习技术的兴起，其在电子设计自动化（EDA）中的应用也越来越广泛，有助于提高芯片设计的自动化程度。然而，手工制作的机器学习模型需要广泛的人类专业知识和巨大的工程努力。在这项工作中，我们利用神经架构搜索（NAS）来自动开发用于可布线性预测的高质量神经架构，这可以帮助引导单元布局走向可布线的解决方案。我们的搜索方法支持各种操作和高度灵活的连接，导致架构与以前所有人工制作的模型显着不同。在大型数据集上的实验结果表明，我们自动生成的神经架构明显优于多个有代表性的手工制作的解决方案。与手工构建的模型的最佳情况相比，NAS生成的模型在预测具有DRC违规的网络数量方面实现了5.85%的Kendall $τ$，在DRC热点检测方面实现了2.12%的ROC曲线下面积（ROC-AUC）。此外，与人工制作的模型相比，这很容易需要几周的时间来开发，我们高效的NAS方法仅用0.3天就完成了整个自动搜索过程。
2021-12-05 cs.LG
Distilling Optimal Neural Networks: Rapid Search in Diverse Spaces
Qualcomm AI Research（高通人工智能研究院）
目前最先进的神经架构搜索（NAS）方法既不能有效地扩展到多个硬件平台，也不能处理不同的架构搜索空间。为了解决这个问题，我们提出了DONNA（蒸馏最佳神经网络架构），一个快速，可扩展和多样化的NAS，可扩展到许多用户场景的新管道。DONNA由三个阶段组成。首先，从参考模型中使用分块知识蒸馏来构建精度预测器。该预测器使得能够在具有变化的宏观架构参数（诸如层类型和注意力机制）以及微架构参数（诸如块重复和扩展速率）的不同网络之间进行搜索。其次，快速进化搜索使用准确度预测器和设备上的测量为任何场景找到一组帕累托最优架构。第三，优化模型可以快速微调到从头开始训练的准确性。DONNA在查找设备上最先进的架构方面比MNasNet快100倍。分类ImageNet，DONNA架构在Nvidia V100 GPU上比EfficientNet-B0和MobileNetV2快20%，在三星S20智能手机上比MobileNetV2快10%，精度高0.5%。除了NAS之外，DONNA还用于搜索空间扩展和探索，以及硬件感知的模型压缩。
2021-08-27 cs.AI cs.CV cs.LG
DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks
Qualcomm AI Research（高通人工智能研究院）
本文提出轻量级NAS方法DONNAv2，以网络块损失作为代理性能度量，取消精度预测器，并通过块知识蒸馏过滤器优化搜索空间，在多视觉任务和Samsung Galaxy S10上验证，较大数据集计算成本较DONNA降低10倍。
2023-09-26 cs.CV cs.LG
NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks
IBISC Université Paris-Saclay, Univ Evry（巴黎萨克雷大学埃夫里大学IBISC实验室）；MRL Massachusetts Institute of Technology（麻省理工学院MRL实验室）
Siamese网络是实现自监督视觉表示学习（SSL）的最流行方法之一。由于手工标记成本高昂，SSL可以通过允许深度学习在大型未标记数据集上进行训练来发挥关键作用。与此同时，神经架构搜索（NAS）作为一种发现新型深度学习架构的技术正变得越来越重要。然而，早期基于强化学习或进化算法的NAS方法遭受了可笑的计算和内存成本。相比之下，基于梯度的可区分NAS具有效率更高的优势，因此在过去几年中保持了大部分关注。在这篇文章中，我们提出了NASiam，这是一种新的方法，它首次使用可微分NAS来改进基于连体网络的对比学习框架（例如，Simsiam、SimSiam和MoCo），同时保持以前基线的简单性。我们精心设计了一个为多层感知器设计的搜索空间，在其中我们探索了标准ReLU激活函数的几种替代方案。我们证明了这些新架构允许ResNet骨干卷积模型有效地学习强表示。NASiam在小规模（即，CIFAR-10/CIFAR-100）和大规模（即，ImageNet）图像分类数据集，同时仅花费几个GPU小时。我们讨论了NAS发现的体系结构的组成，并提出了关于它们为什么能够防止崩溃行为的假设。我们的代码可在www.example.com上获得。
2023-01-31 cs.AI cs.CV
A Semi-Supervised Assessor of Neural Architectures
Peking University（北京大学）；Huawei Technologies（华为技术有限公司）；Peng Cheng Laboratory（鹏城实验室）；University of Sydney（悉尼大学）
神经结构搜索（NAS）旨在自动设计性能令人满意的深层神经网络。其中，架构性能预测器对于有效地评估中间神经架构至关重要。但是为了训练这个预测器，通常必须收集许多神经架构及其相应的实际性能。与经典的性能预测器优化在一个完全监督的方式，本文提出了一个半监督的评估神经结构。我们采用自动编码器来发现神经架构的有意义的表示。将每个神经架构作为搜索空间中的一个单独实例，我们构建了一个图来捕捉它们的内在相似性，其中涉及标记和未标记的架构。提出了一种图卷积神经网络，利用学习到的表示及其关系来预测体系结构的性能。在NAS-Benchmark-101数据集上的大量实验结果表明，我们的方法能够显著减少所需的经过充分训练的架构，以找到有效的架构。
2020-05-14 cs.CV cs.LG
Generalized Global Ranking-Aware Neural Architecture Ranker for Efficient Image Classifier Search
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Fuxi AI Lab, NetEase Games（网易游戏伏羲人工智能实验室）
神经结构搜索（NAS）是一个强大的工具，自动化有效的图像处理DNN的设计。该排序方法被用来设计一个有效的NAS性能预测器。前面的对比方法通过比较体系结构对并预测它们的相对性能来解决排名问题。然而，它只关注两个相关架构之间的排名，而忽略了搜索空间的整体质量分布，这可能会遇到泛化问题。提出了一种基于神经网络结构排序器（NAR）的预测器，该预测器集中于特定结构的全局质量层，以解决局部视角引起的问题。NAR在全局范围内探索搜索空间的质量层，并根据其全局排名将每个人分类到他们所属的层。因此，预测器获得搜索空间的性能分布的知识，这有助于更容易地将其排名能力推广到数据集。同时，全局质量分布通过根据质量等级的统计直接对候选者进行采样来促进搜索阶段，这无需训练搜索算法，例如，强化学习（RL）或进化算法（EA），因此它简化了NAS管道并节省了计算开销。建议的NAR实现更好的性能比国家的最先进的方法在两个广泛使用的数据集NAS研究。在NAS-Bench-101的巨大搜索空间上，NAR仅通过采样就可以轻松找到具有最高0.01 $\unicode{x2030}$性能的架构。它也很好地推广到NAS-Bench-201的不同图像数据集，即，CIFAR-10，CIFAR-100和ImageNet-16-120，通过识别每个架构的最佳架构。
2022-07-12 cs.CV
Neural Predictor for Neural Architecture Search
Google Brain（谷歌大脑）；Duke University（杜克大学）
神经架构搜索方法是有效的，但通常使用复杂的算法来提出最佳架构。我们提出了一种方法，有三个基本步骤，在概念上要简单得多。首先，我们训练N个随机架构以生成N个（架构，验证精度）对，并使用它们来训练回归模型，该回归模型基于架构预测精度。接下来，我们使用这个回归模型来预测大量随机架构的验证精度。最后，我们训练top-K预测架构，并部署具有最佳验证结果的模型。虽然这种方法看起来很简单，但在NASBench-101基准测试中，它的样本效率是正则化进化的20倍以上，并且可以在ImageNet上与基于权重共享的更复杂的方法（如ProxylessNAS）竞争。
2019-12-02 cs.LG stat.ML
RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving
UCLA（加州大学洛杉矶分校）；DiDi AI Labs（滴滴人工智能实验室）
基于预测器的算法在神经结构搜索（NAS）任务中取得了显着的性能。然而，这些方法的计算成本很高，因为训练性能预测器通常需要从头开始训练和评估数百个架构。沿着这条线以前的工作主要集中在减少所需的架构，以适应预测器的数量。在这项工作中，我们从不同的角度来解决这个挑战-通过减少架构训练的计算预算来提高搜索效率。我们提出了非均匀连续减半（NOSH），分层调度算法，提前终止训练表现不佳的架构，以避免浪费预算。为了有效地利用由NOSH产生的非均匀监督信号，我们将基于预测器的架构搜索制定为利用成对比较的学习排序。由此产生的方法- RANK-NOSH，将搜索预算减少了约5倍，同时在各种空间和数据集上实现了具有竞争力的性能，甚至比以前最先进的基于预测的方法更好。
2021-08-18 cs.AI cs.CV cs.LG
PredNAS: A Universal and Sample Efficient Neural Architecture Search Framework
Tusimple Inc.（图森公司）
在本文中，我们提出了一个通用的和有效的框架神经架构搜索（NAS），命名为PredNAS。其动机是，给定一个可微的性能估计函数，我们可以通过简单的梯度上升直接优化架构朝向更高的性能。具体来说，我们采用神经预测器作为性能预测器。令人惊讶的是，PredNAS可以在NAS基准测试中实现最先进的性能，只需很少的训练样本（少于100）。为了验证我们的方法的通用性，我们还将我们的方法应用于大规模任务，并将我们的方法与ImageNet上的RegNet和MSCOCO上的YOLOX进行比较。结果表明，我们的PredNAS可以在特定的计算复杂性约束下探索具有竞争力的性能的新架构。
2022-10-26 cs.CV
Generalized Latency Performance Estimation for Once-For-All Neural Architecture Search
Georgia Institute of Technology（佐治亚理工学院）
神经架构搜索（NAS）通过简化定义搜索空间、搜索策略和性能估计策略的深度神经网络架构的手动开发，实现了自动化机器学习的可能性。为了解决卷积神经网络（CNN）模型的多平台部署需求，一次性（OFA）提出将训练和搜索解耦，以提供受限于各种精度-延迟权衡的子网络的一次性模型。我们发现，OFA的搜索的性能估计策略严重缺乏不同的硬件部署平台，由于单一的硬件延迟查找表，需要大量的时间和手动工作，以建立事先的普遍性。在这项工作中，我们展示了为神经网络架构构建延迟预测器的框架，以解决异构硬件支持的需求，并减少查找表的开销。我们介绍了两种泛化策略，包括使用在特定硬件和NAS搜索空间上训练的基础模型进行微调，以及GPU泛化，该GPU泛化根据GPU硬件参数（如核心数量，RAM大小和内存带宽）训练模型。有了这个，我们提供了一系列延迟预测模型，与ProxylessNAS相比，这些模型的RMSE损失降低了50%以上。我们还表明，使用这些延迟预测匹配的NAS性能的查找表基线的方法，如果不超过它在某些情况下。
2021-01-04 cs.CV cs.LG
RAM-NAS: Resource-aware Multiobjective Neural Architecture Search Method for Robot Vision Tasks
State Key Laboratory of Robotics and System, Harbin Institute of Technology（机器人系统国家重点实验室、哈尔滨工业大学）
提出RAM-NAS，一种资源感知多目标神经架构搜索方法，通过子网互蒸馏和延迟代理预测器，在ImageNet上达到76.7%-81.4%准确率，并降低机器人边缘硬件推理延迟。
2025-09-25 cs.CV cs.RO
POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator
Politecnico di Milano（米兰理工大学）
本文提出POMONAG，通过多目标扩散过程扩展DiffusionNAG，同时优化精度、参数量、MACs和推理延迟，生成超越现有方法的帕累托最优神经架构。
2024-09-30 cs.AI cs.CV cs.LG
OptiProxy-NAS: Optimization Proxy based End-to-End Neural Architecture Search
Zhejiang Lab, Hangzhou, China（浙江实验室，杭州，中国）；Department of Computer Science, University of Exeter, Exeter, UK（计算机科学系，埃克塞特大学，埃克塞特，英国）
针对NAS计算昂贵且搜索空间离散的问题，提出基于优化代理的端到端框架OptiProxy-NAS，将搜索空间转化为连续可微形式，适用梯度优化，在跨领域12个任务上验证了高效性和灵活性。
2025-09-06 cs.AI cs.LG
GENNAPE: Towards Generalized Neural Architecture Performance Estimators
Huawei（华为）
本文提出 GENNAPE，通过计算图表示、对比预训练和模糊聚类预测器集成，在 NAS-Bench-101 上预训练后实现跨多个神经架构基准的通用性能估计与高效架构搜索。
2023-04-24 cs.CV cs.LG
Towards Code-Oriented LM Embeddings for Surrogate-Assisted Neural Architecture Search
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究 institute）
本文提出一种低成本的代码导向语言模型嵌入策略，利用语言模型的归纳偏置，无需微调即可生成高效的架构特征提取器，实验证明其在NAS-Bench-201和einspace搜索空间中优于其他编码方式。
2026-05-15 cs.LG cs.NE
A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities
Intel Corporation（英特尔公司）；Intel Labs（英特尔研究院）
神经架构搜索（NAS）的最新进展，如one-shot NAS，提供了从特定于任务的超级网络中提取专用硬件感知子网络配置的能力。虽然已经为改进第一阶段（即超级网络的训练）做出了相当大的努力，但对衍生的高性能子网络的搜索仍处于探索阶段。流行的方法将超级网络训练与子网络搜索解耦，并使用性能预测器来减少在不同硬件平台上搜索的计算负担。我们提出了一个灵活的搜索框架，自动和有效地找到最佳的子网络，优化不同的性能指标和硬件配置。具体来说，我们展示了进化算法如何在迭代周期中与经过轻度训练的客观预测器配对，以加速多目标环境中的架构搜索，包括机器翻译和图像分类。
2022-05-19 cs.LG cs.NE
SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search
Intel Corporation（英特尔公司）；University of California, Merced（加州大学默塞德分校）
本文提出SimQ-NAS，通过多目标搜索与轻量预测器同步优化子网络架构和量化策略，在Transformer及卷积网络上同时提升准确率、延迟和模型大小，最高分别获得4.80倍和3.44倍改进。
2023-12-19 cs.AI cs.LG
Learning Where To Look -- Generative NAS is Surprisingly Efficient
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Siegen（锡根大学）；University of Mannheim（曼海姆大学）
近年来，高效、自动化地搜索性能良好的神经架构（NAS）引起了越来越多的关注。因此，主要的研究目标是减少昂贵的评估神经架构的必要性，同时有效地探索大的搜索空间。为此，代理模型在潜在空间中嵌入架构并预测其性能，而神经架构的生成模型则在生成器从中提取的潜在空间内实现基于优化的搜索。代理模型和生成模型的目的都是在结构良好的潜在空间中促进查询效率的搜索。在本文中，我们进一步提高查询效率和有前途的架构生成之间的权衡，利用两者的优势，高效的代理模型和生成式设计。为此，我们提出了一个生成模型，与代理预测器配对，迭代学习从越来越有前途的潜在子空间生成样本。这种方法导致非常有效和高效的体系结构搜索，同时保持低查询量。此外，我们的方法允许以直接的方式联合优化多个目标，如准确性和硬件延迟。我们显示这种方法的好处不仅w.r.t.优化架构以获得最高的分类精度，但也在硬件约束的情况下，并在多个NAS基准测试中为单个和多个目标提供优于最先进的方法。我们还在ImageNet上实现了最先进的性能。该代码可在http://github.com/jovitalukasik/AG-Net上获得。
2022-08-01 cs.CV cs.LG
BINAS: Bilinear Interpretable Neural Architecture Search
Alibaba Group（阿里巴巴集团）；Technion - Israel Institute of Technology（以色列理工学院）
神经网络的实际使用通常涉及对延迟、能量和存储器等的要求。在这种要求下查找网络的一种流行方法是通过约束神经架构搜索（NAS）。然而，以前的方法使用复杂的预测网络的准确性。这些预测器很难解释，并且对许多要调整的超参数很敏感，因此，生成的模型的准确性经常受到损害。在这项工作中，我们通过引入双线性可解释神经架构搜索（BINAS）来解决这个问题，该搜索基于准确度估计器和预期资源需求的准确和简单的双线性公式，以及具有理论保证的可扩展搜索方法。我们提出的估计器的简单性以及它的直观构造方式，通过对不同设计选择的贡献的许多见解带来了可解释性。例如，我们发现，在检查的搜索空间中，在网络的更深阶段和每个解析阶段的开始，增加深度和宽度更有效。我们的实验表明，BINAS产生可比或更好的架构比其他国家的最先进的NAS方法在降低边际搜索成本，同时严格满足资源约束。
2022-04-27 cs.AI cs.CV cs.LG
SEval-NAS: A Search-Agnostic Evaluation for Neural Architecture Search
Analytics Everywhere Lab, \ of New Brunswick Fredericton Canada；Analytics Everywhere Lab, \ of New Brunswick
SEval-NAS通过将架构转换为字符串并嵌入向量来预测性能指标，有效评估神经架构搜索中的硬件成本。
2026-02-17 cs.AI cs.LG cs.NE
