Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance
Universidade da Beira Interior（贝拉内陆大学）；NOVA Lincs（NOVA 林肯斯实验室）
神经结构搜索（NAS）基准测试显著提高了开发和比较NAS方法的能力，同时通过提供关于数千个训练好的神经网络的元信息来大幅降低计算开销。然而，表格基准有几个缺点，可能会妨碍公平的比较，并提供不可靠的结果。这些通常集中于在严格约束的搜索空间中提供一个小的操作池-通常是具有预定义外骨架的基于细胞的神经网络。在这项工作中，我们进行了广泛使用的NAS-Bench-101，NAS-Bench-201和transNAS-Bench-101基准测试的可生成性和不同的操作如何影响所生成的架构的性能方面的实证分析。我们发现，只需要一个子集的操作池生成接近性能范围的上限架构。此外，性能分布是负偏的，在上限范围内具有更高的架构密度。我们一直发现卷积层对架构的性能影响最大，并且特定的操作组合有利于得分最高的架构。这些发现为使用NAS基准测试正确评估和比较NAS方法提供了见解，表明直接在NAS-Bench-201、ImageNet 16 -120和TransNAS-Bench-101上搜索比仅在CIFAR-10上搜索产生更可靠的结果。此外，通过这项工作，我们为未来的基准评估和设计提供了建议。用于进行评价的守则可在https://github.com/VascoLopes/NAS-Benchmark-Evaluation上查阅。
2023-03-29 cs.AI cs.CV cs.LG
NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
一次性神经结构搜索（NAS）在使NAS方法在实践中计算可行方面发挥了至关重要的作用。然而，由于控制过程动态的许多因素，仍然缺乏对这些权重分配算法如何确切工作的理解。为了让这些组件的科学研究，我们介绍了一个通用的框架，可以实例化到许多最近推出的变种，并介绍了一个通用的基准框架，借鉴了最近的大规模表格基准NAS-Bench-101便宜的任何时候评估的一次性NAS方法。为了展示框架，我们比较了几种最先进的一次性NAS方法，研究了它们对超参数的敏感程度以及如何通过调整超参数来改进它们，并将它们的性能与NAS-Bench-101的黑盒优化器进行了比较。
2020-04-12 cs.CV cs.LG cs.NE
NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size
University of Technology Sydney（悉尼科技大学）
神经结构搜索（NAS）已经吸引了大量的关注，并已被证明在过去几年的大量应用中带来切实的好处。架构拓扑和架构大小一直被认为是影响深度学习模型性能的两个最重要的方面，社区已经为神经架构的这两个方面产生了大量的搜索算法。然而，这些搜索算法的性能增益是在不同的搜索空间和训练设置下实现的。这使得算法的整体性能在一定程度上无法比较，从搜索模型的一个子模块的改进不清楚。在本文中，我们提出了NATS-Bench，一个统一的基准搜索的拓扑结构和大小，（几乎）任何最新的NAS算法。NATS-Bench包括三个数据集上的15，625个架构拓扑神经细胞候选者和32，768个架构大小神经细胞候选者的搜索空间。我们分析了我们的基准的有效性，在各种标准和性能比较的所有候选人在搜索空间。我们还展示了NATS-Bench的多功能性，通过对13种最新的NAS算法进行基准测试。所有日志和诊断信息都使用相同的设置为每个候选人进行训练。这有助于更大的研究人员社区专注于在更具可比性和计算成本友好的环境中开发更好的NAS算法。所有代码均可在https://xuanyidong.com/assets/projects/NATS-Bench上公开获取。
2021-01-26 cs.LG stat.ML
EC-NAS: Energy Consumption Aware Tabular Benchmarks for Neural Architecture Search
University of Copenhagen（哥本哈根大学）；Department of Computer Science（计算机科学系）；Department of Neuroscience（神经科学系）
本文提出EC-NAS，一个包含架构能耗数据的开源表格基准，结合代理模型预测能耗，通过多目标优化算法在能耗与准确率间取得平衡，促进节能型深度学习模型的设计。
2024-03-22 cs.LG stat.ML
HW-NAS-Bench:Hardware-Aware Neural Architecture Search Benchmark
Rice University（莱斯大学）
HW-NAS-Bench是首个硬件感知神经架构搜索基准数据集，提供NAS-Bench-201和FBNet搜索空间中网络在六种硬件设备上的性能数据，旨在降低研究门槛并促进可复现研究。
2025-03-28 cs.LG
NAS-Bench-360: Benchmarking Neural Architecture Search on Diverse Tasks
University of Toronto（多伦多大学）；University of Wisconsin（威斯康星大学）；Carnegie Mellon University（卡内基梅隆大学）
大多数现有的神经架构搜索（NAS）基准和算法优先考虑经过充分研究的任务，例如CIFAR或ImageNet上的图像分类。这使得NAS方法在更多样化领域的性能知之甚少。在本文中，我们提出了NAS-Bench-360，一个基准套件，以评估方法的领域超出了传统的研究架构搜索，并使用它来解决以下问题：做国家的最先进的NAS方法在不同的任务上表现良好？为了构建基准，我们策划了十个任务，这些任务跨越了不同的应用领域、数据集大小、问题维度和学习目标。每个任务都经过精心选择，以便与现代基于CNN的搜索方法进行互操作，同时可能远离其原始开发领域。为了加快和降低NAS研究的成本，对于其中两项任务，我们发布了包括标准CNN搜索空间的15，625个架构的预计算性能。在实验中，我们需要更强大的NAS评估的NAS-Bench-360，使几个现代NAS程序在10个任务中执行不一致，许多灾难性的差的结果。我们还展示了NAS-Bench-360及其相关的预计算结果将如何通过测试NAS文献中最近提出的几个假设是否适用于不同的任务来实现未来的科学发现。NAS-Bench-360托管于https://nb360.ml.cmu.edu。
2023-01-19 cs.CV cs.LG
NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
神经结构搜索（NAS）是一个很有前途和快速发展的研究领域。训练大量的神经网络需要大量的计算能力，这使得NAS对于那些无法访问或无法访问高性能集群和超级计算机的研究人员来说是无法实现的。最近引入了一些具有预先计算的神经架构性能的基准测试来克服这个问题，并确保更多的可重复实验。然而，这些基准测试仅适用于计算机视觉领域，因此是从图像数据集和卷积衍生架构构建的。在这项工作中，我们走出计算机视觉领域，利用语言建模任务，这是自然语言处理（NLP）的核心。我们的主要贡献如下：我们在文本数据集上提供了递归神经网络的搜索空间，并在其中训练了14 k架构;我们使用语义相关性和语言理解评估数据集对训练模型进行了内在和外在评估;最后，我们测试了几种NAS算法，以证明如何利用预先计算的结果。我们相信我们的研究结果对NAS和NLP社区都有很高的使用潜力。
2020-06-12 cs.CL cs.LG stat.ML
Zero-Cost Operation Scoring in Differentiable Architecture Search
University of Warwick（华威大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Cornell University（康奈尔大学）；University of Cambridge（剑桥大学）
我们形式化和分析的基本组成部分微分神经架构搜索（NAS）：本地“操作评分”在每个操作的选择。我们认为现有的操作评分功能的准确性不准确的代理，我们发现，他们表现不佳时，NAS基准经验分析。从这个角度来看，我们介绍了一种新的\textit{perturbation-based zero-cost operation scoring}（零成本PT）的方法，它利用零成本代理，最近研究了多次试验NAS，但降低显着较大的搜索空间，典型的可区分NAS。我们对一些NAS基准测试和大型搜索空间进行了全面的实证评估，从NAS-Bench-201，NAS-Bench-1 Shot 1，NAS-Bench-Macro，到DARTS和MobileNet空间，显示出搜索时间和准确性的显着改善。在DARTS搜索空间上的ImageNet分类任务中，与当前最好的免训练方法（TE-NAS）相比，我们的方法提高了准确性，同时比现有方法快10 $\times$以上（在单个GPU上的总搜索时间为25分钟），并且在CIFAR-10数据集上搜索的架构上观察到更好的可移植性，准确性提高了1.8 pp。我们的代码可在https://github.com/zerocostptnas/zerocost_operation_score上获得。
2023-02-09 cs.AI cs.LG
AnalogNAS-Bench: A NAS Benchmark for Analog In-Memory Computing
Ecole Nationale Supérieure d’Informatique（国立信息学院）；Laboratoire de Méthodes de Conception des Systèmes（系统设计方法实验室）；IBM Research Europe（IBM欧洲研究院）
AnalogNAS-Bench是首个面向模拟内存计算的NAS基准，揭示了标准量化不足、鲁棒架构更宽且有分支、跳跃连接抗时间漂移等关键发现。
2025-06-23 cs.AR cs.LG
How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS Predictor
University of Oxford（牛津大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Cambridge（剑桥大学）；Flower Labs（Flower实验室）；University of Warwick（华威大学）
本文利用6个NAS基准、16种设置，借鉴少样本元学习方法提取可跨任务和搜索空间迁移的通用NAS知识，重点研究任务相关性与预测器可迁移性的关系，并验证了其在新搜索空间和任务上的外推能力。
2023-11-30 cs.LG
Differential Evolution for Neural Architecture Search
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
神经体系结构搜索（NAS）方法依赖于用于决定接下来评估哪些体系结构的搜索策略和用于评估它们的性能的性能估计策略（例如，使用完全评估、多保真度评估或一次性模型）。在本文中，我们集中在搜索策略。我们介绍了简单而强大的进化算法的差异进化的NAS社区。使用最简单的性能评估策略的全面评估，我们全面比较了这种搜索策略，正则化的进化和贝叶斯优化，并证明它产生了改进的和更强大的结果为13个表格NAS基准NAS-Bench-101，NAS-Bench-1 Shot 1，NAS-Bench-201和NAS-HPO板凳。
2021-08-09 cs.LG cs.NE
A Benchmark Suite for Evaluating Neural Mutual Information Estimators on Unstructured Datasets
LG AI Research（LG人工智能研究院）；Seoul National University（首尔大学）
本研究提出了一个评估神经互信息估计器在图像和文本等非结构化数据集上性能的全面基准套件，通过同类采样和二元对称信道技巧精确操纵真实互信息值，并研究了七个挑战性场景以揭示估计器的可靠性。
2024-10-14 cs.AI cs.LG stat.ML
BRP-NAS: Prediction-based NAS using GCNs
Samsung AI Center（三星人工智能中心）；University of Cambridge（剑桥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经结构搜索（NAS）使研究人员能够自动探索广阔的设计空间，以提高神经网络的效率。这种效率在设备上部署的情况下尤其重要，在这种情况下，准确性的提高应该与模型的计算需求相平衡。在实践中，模型的性能指标是计算昂贵的获得。以前的工作使用代理（例如，操作数）或神经网络层的逐层测量来估计端到端硬件性能，但不精确的预测降低了NAS的质量。为了解决这个问题，我们提出了BRP-NAS，一个高效的硬件感知的NAS，通过一个准确的性能预测器，基于图卷积网络（GCN）。更重要的是，我们调查的预测质量不同的指标，并表明样本效率的预测为基础的NAS可以提高考虑二元关系的模型和迭代的数据选择策略。我们表明，我们提出的方法优于NAS-Bench-101和NAS-Bench-201上的所有先前方法，并且我们的预测器可以始终如一地学习从DARTS搜索空间中提取有用的特征，从而改进二阶基线。最后，为了提高人们对准确延迟估计并非易事这一事实的认识，我们发布了LatBench --一个在各种设备上运行的NAS-Bench-201模型的延迟数据集。
2021-01-19 cs.LG eess.SP stat.ML
Efficacy of Neural Prediction-Based Zero-Shot NAS
本文提出一种基于正弦傅里叶和编码与多层感知机的零样本NAS方法，通过可学习编码构建前馈图并对架构排序，在NAS-Bench-201上超越图卷积方法，且特征表示可跨基准迁移。
2023-09-22 cs.AI cs.LG
OpenML Benchmarking Suites
LMU Munich（慕尼黑大学）；University of Freiburg（弗莱堡大学）；Eindhoven University of Technology（埃因霍温理工大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；TU Dortmund University（多特蒙德工业大学）；Federal Technology University Paraná (UTFPR)（巴拉那联邦科技大学）；Leiden University（莱顿大学）
本文提出可标准化、共享和复用机器学习算法评测的 OpenML 基准测试套件，并发布面向分类任务的 OpenML-CC18。
2021-11-22 cs.LG stat.ML
confopt: A Library for Implementation and Evaluation of Gradient-based One-Shot NAS Methods
Department of Computer Science, University of Freiburg（计算机科学系，弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Prior Labs（Prior实验室）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
本文提出confopt库，通过模块化API和新型评估协议，解决基于梯度的单次NAS方法评估过度依赖DARTS基准及实现分散的问题，并揭示现有评估方式的关键缺陷。
2025-07-22 cs.AI cs.LG
Lessons from the Clustering Analysis of a Search Space: A Centroid-based Approach to Initializing NAS
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
神经结构搜索（NAS）研究中的大量工作一直致力于算法开发，旨在设计更有效，成本更低的方法。然而，这些技术的初始化的调查仍然稀缺，目前大多数NAS方法依赖于随机初始化过程，因为获取信息之前的搜索是昂贵的。然而，最近可用的NAS基准测试已经实现了低计算资源原型。在这项研究中，我们建议加速NAS算法使用数据驱动的初始化技术，利用NAS基准的可用性。特别是，我们提出了一个两步方法。首先，执行搜索空间的校准聚类分析。其次，提取质心并用于初始化NAS算法。我们使用老化进化（一种进化算法）在NAS-bench-101上测试了我们的提议。结果表明，与随机初始化相比，该算法收敛速度更快，最终解的性能更好。
2021-08-20 cs.LG
Neural Architecture Search: Two Constant Shared Weights Initialisations
Center for Basic Research on Materials（基础材料研究センター）；National Institute for Materials Science（材料科学国家研究所）
本文提出零成本NAS指标epsinas，通过两种恒定共享权重初始化的输出统计量评估架构潜力，无需标签和梯度计算，在多个基准上验证了其与训练准确率的相关性。
2025-04-08 cs.AI cs.LG
Random Search and Reproducibility for Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）；Determined AI（Determined AI公司）
神经结构搜索（NAS）是一个很有前途的研究方向，有可能取代专家设计的网络与学习，特定于任务的架构。在这项工作中，为了帮助地面在这一领域的经验结果，我们提出了新的NAS基线，建立了以下观察：（i）NAS是一个专门的超参数优化问题;（ii）随机搜索是一个有竞争力的基线超参数优化。利用这些观察，我们评估两个随机搜索与早期停止和一种新的随机搜索与权重共享算法在两个标准NAS基准-PTB和CIFAR-10。我们的研究结果表明，随机搜索与早期停止是一个有竞争力的NAS基线，例如，在两个基准测试中，它的表现至少与ENAS（一种领先的NAS方法）一样好。此外，具有权重共享的随机搜索优于具有早期停止的随机搜索，在PTB上实现了最先进的NAS结果，在CIFAR-10上实现了极具竞争力的结果。最后，我们探讨了现有的重复性问题发表的NAS结果。我们注意到缺乏源材料需要准确地重现这些结果，并进一步讨论了已发表的结果的稳健性给定的各种来源的变异性在NAS实验设置。与此相关，我们提供了精确重现结果所需的所有信息（代码、随机种子、文档），并在多次运行中为每个基准测试报告我们的随机搜索和权重共享结果。
2019-07-30 cs.LG stat.ML
Using Neural Architecture Search for Improving Software Flaw Detection in Multimodal Deep Learning Models
Sandia National Laboratories（桑迪亚国家实验室）
使用多模态深度学习模型的软件缺陷检测已被证明是基准问题上非常有竞争力的方法。在这项工作中，我们证明了使用神经架构搜索（NAS）与多模态学习模型相结合可以实现更好的性能。我们适应的NAS框架，旨在调查图像分类的问题，软件缺陷检测和证明朱丽叶测试套件，一个流行的基准测试数据集，用于测量性能的机器学习模型在这个问题域的改进结果。
2020-09-22 cs.AI cs.CR cs.LG
Demystifying the MLPerf Benchmark Suite
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Dell Inc（戴尔公司）
MLPerf是一个新兴的机器学习基准套件，致力于覆盖机器学习的广泛应用。我们提出了一个关于其特征的研究，以及MLPerf基准测试与以前的一些深度学习基准测试（如DAWNBench和DeepBench）的不同之处。我们发现，应用程序基准测试，如MLPerf（虽然丰富的内核）表现出不同的功能相比，内核基准测试，如DeepBench。MLPerf基准测试套件包含一组不同的模型，可以揭示系统中的各种瓶颈。根据我们的研究结果，多GPU系统中GPU之间的专用低延迟互连是最佳分布式深度学习训练所必需的。我们还观察到MLPerf模型中缩放效率的变化。不同模型表现出的差异突出了智能调度策略对多GPU训练的重要性。另一个观察结果是，CPU利用率随着用于训练的GPU数量的增加而增加。为了证实之前的工作，我们还观察并量化了编译器优化、混合精度训练和使用Tensor Core可能带来的改进。
2019-08-24 cs.LG stat.ML
PMLBmini: A Tabular Classification Benchmark Suite for Data-Scarce Applications
University of Applied Sciences Berlin（柏林应用科学大学）；KI-Werkstatt（KI工作室）
提出PMLBmini小样本表格分类基准，评估AutoML、深度网络与线性模型，发现先进方法常难超越逻辑回归基线，并指出其适用场景。
2024-09-03 cs.AI cs.LG
PMLB: A Large Benchmark Suite for Machine Learning Evaluation and Comparison
Institute for Biomedical Informatics（生物医学信息学研究所）；University of Pennsylvania（宾夕法尼亚大学）
基于特定研究的目标问题和目标，在数据采掘中选择、开发或比较机器学习方法可能是一项困难的任务。许多公开的真实世界和模拟基准数据集来自不同的来源，但它们的组织和作为标准的采用一直不一致。因此，选择和策划特定的基准仍然是机器学习从业者和数据科学家不必要的负担。本研究介绍了一个可访问的，策划和发展的公共基准资源，以促进识别不同的机器学习方法的优点和缺点。我们比较了该资源中当前一组基准数据集的元特征，以表征可用数据的多样性。最后，我们将一些已建立的机器学习方法应用于整个基准测试套件，并分析数据集和算法如何在性能方面聚类。这项工作是了解流行的基准测试套件的局限性，并开发一种资源，将现有的基准测试标准与未来更多样化和更有效的标准联系起来的重要的第一步。
2017-03-01 cs.AI cs.LG
The OARF Benchmark Suite: Characterization and Implications for Federated Learning Systems
National University of Singapore（新加坡国立大学）
本文提出并描述了一个用于联邦学习的开放应用程序库（OARF），一个联邦机器学习系统的基准套件。以前可用的联邦学习基准主要集中在合成数据集上，并使用有限数量的应用程序。OARF将公开可用的数据集作为图像、文本和结构化数据中的不同数据孤岛来模拟更真实的应用场景。我们的表征表明，基准套件是不同的数据大小，分布，功能分布和学习任务的复杂性。广泛的评估与参考实现显示了未来的研究机会的重要方面的联邦学习系统。我们已经开发了参考实现，并评估了联邦学习的重要方面，包括模型准确性，通信成本，吞吐量和收敛时间。通过这些评估，我们发现了一些有趣的发现，例如联邦学习可以有效地提高端到端的吞吐量。
2022-03-02 cs.LG stat.ML
BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule
Aalborg University（奥尔堡大学）；UTS（悉尼科技大学）；Monash University（莫纳什大学）；RMIT University（皇家墨尔本理工大学）
可区分体系结构搜索（DARTS）近年来受到了广泛的关注，主要是因为它通过权重共享和连续松弛来显著降低计算成本。然而，最近的工作发现，现有的可区分NAS技术的斗争，以超越天真的基线，产生恶化的架构，作为搜索的进行。本文不是直接优化结构参数，而是通过将结构权重放松为高斯分布来将神经结构搜索表示为分布学习问题。通过利用自然梯度变分推理（NGVI），可以基于现有的代码库轻松优化架构分布，而不会产生更多的内存和计算消耗。我们演示了如何区分NAS的贝叶斯原理的好处，加强探索和提高稳定性。在NAS-Bench-201和NAS-Bench-1 shot 1基准数据集上的实验结果证实了所提出的框架可以做出的显着改进。此外，我们不是简单地将argmax应用于学习的参数，而是进一步利用NAS中最近提出的免训练代理，从优化分布的一组架构中选择最佳架构，其中我们在NAS-Bench-201和NAS-Bench-1 shot 1基准测试中获得了最先进的结果。我们在DARTS搜索空间中的最佳架构在CIFAR-10、CIFAR-100和ImageNet数据集上也分别获得了2.37\%、15.72\%和24.2\%的竞争性测试误差。
2021-11-25 cs.LG
FLBench: A Benchmark Suite for Federated Learning
Guangxi Normal University（广西师范大学）；BenchCouncil R&D Lab - Guilin（BenchCouncil桂林研发实验室）；Guilin University of Electronic Technology（桂林电子科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
联邦学习是一种新的机器学习范式。我们的目标是从分布在多个设备上的数据集（即所谓的隔离数据岛）构建一个机器学习模型，同时保持数据的安全性和私密性。大多数现有的联邦学习基准测试都是手动将常用的公共数据集划分为分区，以模拟真实世界中孤立的数据岛场景。尽管如此，这种模拟无法捕捉真实世界中孤立的数据岛的内在特征。本文提出了一个联邦学习（FL）基准测试套件FLBench。FLBench包含三个领域：医疗、金融和AIoT。通过配置各种域，FLBench有资格评估联邦学习系统和算法的基本方面，如通信、场景转换、隐私保护、数据分布异构性和协作策略。因此，它成为一个有前途的平台，开发新的联邦学习算法。目前，FLBench是开源的，并且正在快速发展。我们将其打包为自动化部署工具。基准测试套件可从https://www.benchcouncil.org/flbench.html获得。
2021-03-12 cs.LG stat.ML
NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search
Tsinghua University（清华大学）
针对图神经网络架构搜索实验设置不统一、计算成本高的问题，提出首个GraphNAS基准NAS-Bench-Graph，含26206种架构的预训练数据与统一评估协议，可通过查表高效获取性能，支持公平可复现的比较且兼容主流开源库。
2024-03-09 cs.LG
TG-NAS: Generalizable Zero-Cost Proxies with Operator Description Embedding and Graph Learning for Efficient Neural Architecture Search
Department of EECS, University of California, Irvine（电子工程与计算机科学系，加州大学伊市分校）；Department of Computer Science, University of California, San Diego（计算机科学系，加州大学圣地亚哥分校）
TG-NAS提出一种结合Transformer算子嵌入与图卷积网络的零成本代理，无需重训练即可跨搜索空间预测架构性能，显著提升搜索效率并发现高精度架构。
2025-05-23 cs.AI cs.LG
Mutation is all you need
LMU Munich（慕尼黑大学）
神经架构搜索（NAS）通过自动化深度神经网络的架构工程，有望使非专家也能访问深度学习。BANANAS是一种最先进的NAS方法，嵌入在贝叶斯优化框架中。最近的实验结果表明，BANANAS在NAS-Bench-101基准测试中的强大性能取决于其路径编码，而不是其代理模型的选择。我们目前的实验结果表明，在NAS-Bench-301基准测试的BANANAS的性能是由其采集功能优化器，这最小限度地改变现任。
2021-07-04 cs.LG cs.NE
FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search
Southern University of Science and Technology（南方科技大学）
提出结合常规与反向图视图的GNN性能预测器FR-NAS，通过定制损失在多个NAS基准上显著提升预测精度。
2024-04-24 cs.LG
RBFleX-NAS: Training-Free Neural Architecture Search Using Radial Basis Function Kernel and Hyperparameter Detection
本文提出免训练NAS框架RBFleX-NAS，利用RBF核结合最后一层激活输出与输入特征进行性能预测，并设计超参数检测算法，在NAS-Bench-201和NAS-Bench-SSS上以短搜索时间取得更高top-1精度，同时提出NAFBee激活设计空间以提升激活函数搜索能力。
2025-06-03 cs.LG
Stronger NAS with Weaker Predictors
Texas A&M University（德州农工大学）；Microsoft Corporation（微软公司）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经架构搜索（NAS）经常训练和评估大量的架构。最近基于预测器的NAS方法试图通过两个关键步骤来减轻这种繁重的计算成本：对一些架构-性能对进行采样和拟合代理精度预测器。然而，给定有限的样本，由于难以拟合巨大的搜索空间，这些预测器远不能准确地定位顶级架构。本文思考了一个简单而关键的问题：如果我们的最终目标是找到最好的建筑，我们真的需要很好地建模整个空间吗？我们提出了一个范式的转变，从拟合整个架构空间使用一个强大的预测，逐步拟合搜索路径的高性能子空间，通过一组较弱的预测。作为弱预测器的一个关键属性，它们对更好架构进行采样的概率不断增加。因此，我们只对一些由先前学习的预测器指导的性能良好的架构进行采样，并估计一个新的更好的弱预测器。这个非常简单的框架，被称为WeakNAS，产生由粗到细的迭代，以逐渐细化采样空间的排名。大量的实验表明，WeakNAS成本更少的样本，找到最高性能的架构NAS-Bench-101和NAS-Bench-201。与最先进的（SOTA）基于预测器的NAS方法相比，WeakNAS以显著的优势优于所有方法，例如，在NAS-Bench-101上找到全局最优值所需的样本至少少7.5倍。WeakNAS还可以吸收他们的想法来进一步提高性能。此外，WeakNAS在ImageNet MobileNet搜索空间中获得了81.3%的新SOTA结果。该代码可在https://github…
2021-11-03 cs.CV cs.LG stat.ML
Carbon-Efficient Neural Architecture Search
Worcester Polytechnic Institute（伍斯特理工学院）
本文提出碳高效神经架构搜索框架CE-NAS，通过多目标优化与启发式GPU分配动态平衡节能采样和耗能评估，在NAS基准上实现了优于基线的碳效率与搜索效率。
2023-07-09 cs.AI cs.LG
SEval-NAS: A Search-Agnostic Evaluation for Neural Architecture Search
Analytics Everywhere Lab, \ of New Brunswick Fredericton Canada；Analytics Everywhere Lab, \ of New Brunswick
SEval-NAS通过将架构转换为字符串并嵌入向量来预测性能指标，有效评估神经架构搜索中的硬件成本。
2026-02-17 cs.AI cs.LG cs.NE
Efficient NAS with FaDE on Hierarchical Spaces
University of Passau（帕绍大学）
提出 FaDE 方法，利用可微架构搜索在分层 NAS 空间的有限区域获取相对性能排名，并结合无记忆的伪梯度进化算法进行外部搜索，以线性成本探索深度分层空间，消除了对代理搜索空间的需求。
2024-04-24 cs.AI cs.LG cs.NE
RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning
DeepMind（深度思维）；Google Brain（谷歌大脑）
强化学习的离线方法有可能帮助弥合强化学习研究和现实世界应用之间的差距。它们使得从离线数据集学习策略成为可能，从而克服了与现实世界中的在线数据汇集相关的问题，包括成本、安全或伦理问题。在本文中，我们提出了一个称为RL Unplugged的基准来评估和比较离线RL方法。RL Unplugged包括来自不同领域的数据，包括游戏（例如，Atari基准）和模拟的电机控制问题（例如，DM Control Suite）。数据集包括部分或完全可观察的域，使用连续或离散动作，并且具有随机与确定性动态。我们为RL Unplugged中的每个域提出了详细的评估协议，并使用这些协议对监督学习和离线RL方法进行了广泛的分析。我们将发布所有任务的数据，并开源本文中提出的所有算法。我们希望我们的基准套件将增加实验的可重复性，并使研究具有挑战性的任务与有限的计算预算成为可能，从而使强化学习研究更系统，更容易在整个社区。展望未来，我们将RL Unplugged视为一个活生生的基准套件，它将随着研究社区和我们自己贡献的数据集而发展和成长。我们的项目页面可以在https://git.io/JJUhd上找到。
2021-02-12 cs.LG stat.ML
TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科技大学）
神经结构搜索（NAS）的最新突破将该领域的研究范围扩展到更广泛的视觉任务和更多样化的搜索空间。虽然现有的NAS方法主要针对单个任务设计架构，但超越单任务搜索的算法正在寻求跨各种任务的更高效和通用的解决方案。他们中的许多人利用迁移学习，并寻求保存，重用和完善网络设计知识，以实现未来任务的更高效率。然而，跨任务NAS的巨大计算成本和实验复杂性给这一方向的有价值的研究带来了障碍。现有的NAS基准测试都集中在一种类型的视觉任务上，即，分类.在这项工作中，我们提出了TransNAS-Bench-101，这是一个基准数据集，包含七个任务的网络性能，包括分类，回归，像素级预测和自我监督任务。这种多样性提供了在任务之间转移NAS方法的机会，并允许发展更复杂的转移方案。我们探索两种根本不同类型的搜索空间：单元级搜索空间和宏观级搜索空间。通过对7个任务的7，352个骨干进行评估，提供了51，464个具有详细训练信息的训练模型。通过TransNAS-Bench-101，我们希望鼓励出现特殊的NAS算法，将跨任务搜索效率和通用性提高到一个新的水平。我们的数据集文件将在VEGA的Mindspore提供。
2021-05-25 cs.CV cs.LG
Zero-Cost Proxies for Lightweight NAS
Samsung AI Center, Cambridge（三星剑桥人工智能中心）；University of Cambridge（剑桥大学）
神经结构搜索（NAS）正迅速成为设计神经网络模型的标准方法。然而，NAS通常是计算密集型的，因为在选择最佳模型之前需要评估多个模型。为了减少计算能力和所需的时间，通常使用代理任务来评估每个模型，而不是完全训练。在本文中，我们评估了传统的简化训练代理，并量化了它们在搜索过程中与最终训练准确度产生的排名相比在多个模型之间保持排名的情况。我们提出了一系列零成本代理，基于最近的修剪文献，只使用一个小批量的训练数据来计算模型的分数。我们的零成本代理使用3个数量级的计算，但可以匹配，甚至优于传统的代理。例如，Spearman在NAS-Bench-201上的最终验证准确性与我们最好的零成本代理之间的等级相关系数为0.82，而EcoNAS（最近提出的减少训练代理）为0.61。最后，我们使用这些零成本代理来增强现有的NAS搜索算法，如随机搜索，强化学习，进化搜索和基于预测的搜索。对于所有搜索方法和三个不同的NAS数据集，我们能够显着提高样本效率，从而减少计算，通过使用我们的零成本代理。例如，在NAS-Bench-101上，我们实现了相同的精度，比之前的最佳结果快4 $\times$。我们的代码在https://github.com/mohsaied/zero-cost-nas上公开。
2021-03-19 cs.AI cs.LG cs.NE
A Data-driven Approach to Neural Architecture Search Initialization
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心(DLR)）
神经结构搜索中的算法设计一直受到人们的关注，其目的是提高性能和降低计算成本。尽管取得了很大的进步，很少有人提出为NAS定制初始化技术。然而，文献表明，一个好的初始解集有助于找到最优解。因此，在这项研究中，我们提出了一个数据驱动的技术来初始化基于人口的NAS算法。特别是，我们提出了一个两步方法。首先，我们对搜索空间执行校准的聚类分析，其次，我们提取质心并使用它们来初始化NAS算法。我们基准我们提出的方法对随机和拉丁超立方体采样初始化使用三种基于人口的算法，即遗传算法，进化算法和老化进化，CIFAR-10。更具体地说，我们使用NAS-Bench-101来利用NAS基准的可用性。结果表明，与随机和拉丁超立方体采样相比，所提出的初始化技术能够实现两个搜索基线的显着长期改进，有时在各种搜索场景（各种训练预算）。此外，我们分析得到的解决方案的分布，并发现，人口提供的数据驱动的初始化技术，使检索局部最优（最大值）的高适应度和类似的配置。
2021-11-05 cs.AI cs.LG cs.NE
Guided Evolutionary Neural Architecture Search With Efficient Performance Estimation
Universidade da Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）；DeepNeuronic（DeepNeuronic公司）
神经结构搜索（NAS）方法已成功地应用于图像任务，取得了良好的效果。然而，NAS方法通常是复杂的，并且一旦生成的架构似乎产生良好的结果，就倾向于收敛到局部最小值。本文提出了GEA，一种新的方法引导NAS。GEA通过探索搜索空间来指导进化，方法是在初始化阶段使用零代理估计器在每一代中生成和评估几个架构，其中只有得分最高的架构被训练并保留用于下一代。随后，GEA不断提取知识的搜索空间，而不增加复杂性，从现有的架构在每一代产生几个后代。更重要的是，GEA迫使后代利用最高性能的架构，同时通过父代突变来推动探索，并有利于年轻的架构，而不利于旧的架构。实验结果证明了该方法的有效性，广泛的烧蚀研究评估不同参数的重要性。结果表明，GEA在NAS-Bench-101、NAS-Bench-201和TransNAS-Bench-101基准测试的所有数据集上都取得了最先进的结果。
2022-07-22 cs.AI cs.CV cs.LG
Neural Architecture Search without Training
Usher Institute, University of Edinburgh（爱丁堡大学厄舍研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；School of Engineering, University of Edinburgh（爱丁堡大学工程学院）
手工设计深度神经网络所需的时间和精力是巨大的。这促使了神经架构搜索（NAS）技术的发展，以自动化这种设计。然而，NAS算法往往是缓慢和昂贵的，他们需要训练大量的候选网络通知搜索过程。如果我们可以从初始状态部分预测网络的训练精度，这可以得到缓解。在这项工作中，我们研究了未经训练的网络中数据点之间的激活重叠，并激发了这如何能够给出一个有用的指标来衡量网络的训练性能。我们将这一措施纳入一个简单的算法，使我们能够在几秒钟内在单个GPU上搜索强大的网络，而无需任何训练，并在NAS-Bench-101，NAS-Bench-201，NATS-Bench和Network Design Spaces上验证其有效性。我们的方法可以很容易地与更昂贵的搜索方法相结合，我们研究一个简单的适应正规化的进化搜索。复制我们实验的代码可在https://github.com/BayesWatch/nas-without-training上获得。
2021-06-11 cs.CV cs.LG stat.ML
Guidelines for the Quality Assessment of Energy-Aware NAS Benchmarks
RWTH Aachen University（亚琛工业大学）；Leibniz University Hannover（汉诺威莱比锡大学）；Technical University Darmstadt（德累斯顿技术大学）；Leiden University（莱顿大学）
本研究针对神经架构搜索的能耗问题，提出能量感知基准测试的三项设计原则，分析了测量API对结果的影响并给出校准方案，为相关基准设计提供指导。
2025-05-21 cs.LG
SWAP-NAS: Sample-Wise Activation Patterns for Ultra-fast NAS
School of Computing Technologies, RMIT University（RMIT大学计算技术学院）；University of Technology Sydney（悉尼科技大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对现有免训练NAS指标相关性弱、泛化性差的问题，提出基于样本级激活模式的SWAP-Score指标，经正则化优化后性能优于15种现有指标，结合进化算法的SWAP-NAS可在数分钟GPU时间内取得有竞争力的搜索结果。
2024-06-24 cs.CV cs.LG cs.NE
Graph is all you need? Lightweight data-agnostic neural architecture search without training
Rensselaer Polytechnic Institute（罗切斯特理工学院）；IBM Research（IBM研究院）
提出免训练的轻量级数据无关NAS方法nasgraph，通过将架构转为图并利用平均度作为代理指标，在217秒内从200个随机采样架构中选出最优，并在多个基准上表现优异。
2025-06-20 cs.LG
HighTide: An Agent-Curated Open-Source VLSI Benchmark Suite
University of California, Santa Cruz（加州大学圣克鲁兹分校）
提出HighTide，一个由AI辅助策划的开源VLSI基准测试套件，通过12种智能体技能覆盖设计生命周期，并集成Bazel增量编译和远程缓存。
2026-06-02 cs.AI cs.AR cs.SE
BLOX: Macro Neural Architecture Search Benchmark and Algorithms
Samsung AI Center（三星人工智能中心）；University of Warwick（华威大学）；University of Cambridge（剑桥大学）；Cornell University（康奈尔大学）
神经结构搜索（NAS）已成功地用于设计许多高性能的神经网络。然而，NAS是典型的计算密集型的，因此大多数现有的方法限制搜索，以确定操作和拓扑结构的单个块，然后相同的块被重复堆叠，形成一个端到端的模型。尽管这种方法减小了搜索空间的大小，但最近的研究表明，允许模型中的块不同的宏搜索空间可以导致更好的性能。为了系统地研究NAS算法在宏搜索空间上的性能，我们发布了Blox -一个基准测试，它由在CIFAR-100数据集上训练的91 k个唯一模型组成。该数据集还包括不同硬件平台上所有模型的运行时测量。我们进行了广泛的实验，比较现有的算法，以及基于细胞的搜索空间研究，与新兴的块的方法，旨在使NAS可扩展到更大的宏搜索空间。基准测试和代码可在https://github.com/SamsungLabs/blox上获得。
2022-10-13 cs.LG
CATBench: A Compiler Autotuning Benchmarking Suite for Black-box Optimization
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Lund University（隆德大学）
CATBench 是一个面向编译器自动调优的标准化基准测试套件，涵盖离散、条件、排列参数及多保真度、多目标等复杂场景，旨在促进贝叶斯优化算法的可复现评估与创新。
2025-04-08 cs.AI cs.LG cs.NE
Scalable Neural Architecture Search for 3D Medical Image Segmentation
Kakao Brain；Seoul National University（首尔大学）；MILA, Université de Montréal（MILA，蒙特利尔大学）
在本文中，神经结构搜索（NAS）框架提出了三维医学图像分割，自动优化的神经结构，从一个大的设计空间。我们的NAS框架搜索每一层的结构，包括编码器和解码器中的神经连接和操作类型。由于高分辨率的3D医学图像难以在大的离散结构空间上进行优化，因此还提出了一种基于连续松弛的新的随机采样算法用于基于梯度的可扩展优化。在具有基准数据集的3D医学图像分割任务上，所提出的NAS框架自动设计的架构优于人工设计的3D U-Net，并且这种优化的架构非常适合于被转移到不同的任务。
2019-06-13 cs.CV cs.LG eess.IV
How Does Supernet Help in Neural Architecture Search?
Microsoft Research（微软研究院）
权值共享作为一种加速体系结构性能评估的方法受到了广泛的关注。权重共享不是单独训练每个架构，而是构建一个将所有架构组装为其子模型的超网。然而，由于超网优化和NAS目标之间的差距，NAS过程是否真的受益于权重共享一直存在争议。为了进一步了解权重共享对NAS的影响，我们对NAS-Bench-101、NAS-Bench-201、DARTS-CIFAR 10、DARTS-PTB和ProxylessNAS五个搜索空间进行了全面分析。我们发现，权重共享工作在某些搜索空间，但在其他人失败。进一步，我们进一步确定了解释这种现象的偏差和权重共享的能力。我们的工作有望激励未来的NAS研究人员更好地利用体重分担的力量。
2021-05-05 cs.CV cs.LG cs.NE
Geometry-Aware Gradient Algorithms for Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）；Determined AI
最近的神经架构搜索（NAS）的最先进的方法利用基于梯度的优化，通过放松的问题到架构和共享权重的连续优化，一个嘈杂的过程，仍然知之甚少。我们认为，单级经验风险最小化的研究，以了解NAS与权重共享，减少NAS方法的设计，设计优化器和正则化，可以快速获得高质量的解决方案，这个问题。在镜像下降理论的基础上，我们提出了一个几何感知框架，该框架利用这种优化的底层结构来返回稀疏的架构参数，从而产生简单而新颖的算法，这些算法可以保证快速收敛，并在计算机视觉的最新NAS基准测试中达到最先进的精度。值得注意的是，我们在DARTS搜索空间和NAS-Bench 201上都超过了CIFAR和ImageNet的最佳发布结果;在后者上，我们在CIFAR-10和CIFAR-100上实现了接近oracle的最佳性能。总之，我们的理论和实验证明了一个原则性的方法来协同设计优化和连续松弛离散NAS搜索空间。
2021-03-18 cs.CV cs.LG cs.NE
CoRA-NAS: Coarse Ranking and Anchor-Residual Refinement for Neural Architecture Search
University of New South Wales（新南威尔士大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
CoRA-NAS 提出两阶段框架，结合静态排序先验与低成本学习曲线细化，实现跨空间鲁棒且低成本的架构选择，在多个基准上取得高排序相关性。
2026-09-11 cs.CV cs.LG
PhaseNAS: Language-Model Driven Architecture Search with Dynamic Phase Adaptation
Qiyuan Lab（启元实验室）
提出PhaseNAS框架，通过实时分数阈值驱动的动态阶段转换和结构化架构模板语言，解决基于LLM的NAS中静态策略与表示模糊问题，并在多个视觉任务上显著提升搜索效率与性能。
2025-07-28 cs.LG
ReNAS:Relativistic Evaluation of Neural Architecture Search
Noah’s Ark Lab Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Huawei Technologies（华为技术有限公司）；The University of Sydney（悉尼大学）；Peking University（北京大学）
一个有效的体系结构性能评估方案是神经网络体系结构搜索成功的关键。为了节省计算成本，大多数现有的NAS算法往往训练和评估中间神经网络结构上的一个小的代理数据集有限的训练时期。但是，很难期望在这样一个粗略的评估方式的体系结构的准确的性能估计。本文提出了一种新的神经网络体系结构评估方案，其目的是确定哪种体系结构的性能更好，而不是准确地预测绝对的体系结构性能。因此，我们提出了一个\textbf{relativistic}架构的NAS性能预测器（ReNAS）。我们将神经架构编码为特征张量，并使用预测器进一步细化表示。建议的相对论性能预测器可以部署在离散搜索方法中搜索所需的架构，而无需额外的评估。在NAS-Bench-101数据集上的实验结果表明，对424个（整个搜索空间的$0.1\%$）神经架构及其相应的验证性能进行采样已经足以学习准确的架构性能预测器。我们在NAS-Bench-101和NAS-Bench-201数据集上搜索的神经结构的准确性高于最先进的方法，并显示了所提出的方法的优先级。
2021-09-23 cs.LG cs.NE
Rethink DARTS Search Space and Renovate a New Benchmark
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对DARTS搜索空间准确率范围窄、影响方法排序可靠性的问题，研究构建了更大更难且保持高效的LHD搜索空间，基于12个基线、12种条件打造新基准，为NAS发展提供重要基础。
2023-06-12 cs.LG
