Edge-featured Graph Neural Architecture Search
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
图神经网络（GNNs）已经成功地应用于许多关系任务中的图上的学习表示。近年来，研究者们开始研究神经网络结构搜索（NAS），以减少对人类经验的依赖，探索更好的GNN结构，但这些研究过于强调实体特征，而忽略了隐藏在边缘中的潜在关系信息。为了解决这个问题，我们将边缘特征纳入图搜索空间，并提出边缘特征图神经网络结构搜索，以找到最佳的GNN结构。具体来说，我们设计了丰富的实体和边缘更新操作来学习高阶表示，从而传达更通用的消息传递机制。此外，在我们的搜索空间中的架构拓扑允许探索实体和边缘的复杂特征依赖，这可以有效地优化可微搜索策略。在六个数据集上的三个图形任务的实验表明，EGNAS可以搜索更好的GNN，其性能高于当前最先进的人类设计和基于搜索的GNN。
2021-09-03 cs.AI cs.CV cs.LG
GraphPAS: Parallel Architecture Search for Graph Neural Networks
Central South University（中南大学）；State Grid Hunan Electric Power Company Limited（国网湖南省电力有限公司）；Alibaba Group（阿里巴巴集团）
近年来，随着图神经网络在非欧数据上的成功应用，图神经结构搜索受到了广泛关注。然而，在巨大的搜索空间中探索所有可能的GNN架构对于大图数据来说太耗时或不可能。在本文中，我们提出了一个并行图结构搜索（GraphPAS）框架的图神经网络。在GraphPAS中，我们通过设计一种基于共享的进化学习来并行探索搜索空间，这可以在不损失准确性的情况下提高搜索效率。此外，动态地采用结构信息熵作为变异选择概率，减少了空间探索。实验结果表明，GraphPAS在效率和准确性方面同时优于最先进的模型。
2021-12-07 cs.LG
Simplifying Architecture Search for Graph Neural Network
Paradigm Inc.（第四范式公司）
近年来，图神经网络（GNN）在各种场景中得到了广泛的应用。为了获得最佳的数据特定GNN架构，研究人员转向神经架构搜索（NAS）方法，该方法在发现卷积神经网络中的有效架构方面取得了令人印象深刻的进展。GraphNAS和Auto-GNN这两个前期工作首次尝试将NAS方法应用于GNN。尽管取得了令人鼓舞的结果，但由于设计的搜索空间，GraphNAS和Auto-GNN在表达能力和搜索效率方面存在一些缺点。为了克服这些缺点，我们提出了SNAG框架（简化的神经结构搜索图神经网络），由一个新的搜索空间和一个基于强化学习的搜索算法。在真实世界数据集上进行的大量实验证明了SNAG框架与人类设计的GNN和NAS方法（包括GraphNAS和Auto-GNN）相比的有效性。
2020-09-06 cs.LG stat.ML
Search to aggregate neighborhood for graph neural network
Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）
近年来，图神经网络（GNN）在各种场景中得到了普及和成功。为了获得数据特定的GNN架构，研究人员转向神经架构搜索（NAS），它在发现卷积神经网络中的有效架构方面取得了令人印象深刻的成功。然而，由于搜索空间设计中的挑战和现有NAS方法的昂贵搜索成本，将NAS方法应用于GNN是不平凡的。在这项工作中，为了获得特定于数据的GNN架构并解决NAS方法所面临的计算挑战，我们提出了一个框架，该框架试图搜索聚合邻域（SANE），以自动设计特定于数据的GNN架构。通过设计一个新颖的和有表现力的搜索空间，我们提出了一个可微的搜索算法，这是更有效的比以前的强化学习的方法。在四个任务和七个真实数据集上的实验结果表明，SANE与现有的GNN模型和NAS方法相比，在有效性和效率方面具有优越性。(Code可在以下网址获得：https：//github.com/AutoML-4Paradigm/SANE）。
2021-04-20 cs.LG
Heterogeneous Graph Neural Architecture Search with GPT-4
Cyberspace Institute of Advanced Technology, Guangzhou University（广州大学网络空间先进技术研究院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
针对现有异构图神经网络架构搜索效率低、结果不稳定的问题，提出GPT-4增强的GHGNAS方法，通过迭代提示与反馈优化生成架构，实现更高效稳定的搜索效果。
2023-12-14 cs.AI
Graph Sparsifications using Neural Network Assisted Monte Carlo Tree Search
University of California, Irvine（加州大学欧文分校）；University of Arizona（亚利桑那大学）
本文提出结合图神经网络与蒙特卡洛树搜索的图稀疏化方法，在多种图上优于标准近似算法，常能求得最优解。
2023-11-17 cs.LG
Neural Architecture Search for Spiking Neural Networks
Yale University（耶鲁大学）
脉冲神经网络（SNN）由于其固有的高稀疏性激活而作为传统人工神经网络（ANN）的潜在能量有效替代方案获得了巨大的关注。然而，大多数现有SNN方法使用类ANN架构（例如，VGG-Net或ResNet），其可以为SNN中的二进制信息的时间序列处理提供次优性能。为了解决这个问题，在本文中，我们介绍了一种新的神经结构搜索（NAS）方法，用于寻找更好的SNN架构。受最近NAS方法的启发，这些方法在初始化时从激活模式中找到最佳架构，我们选择了可以在没有训练的情况下代表不同数据样本中不同尖峰激活模式的架构。此外，为了进一步利用尖峰之间的时间信息，我们搜索前馈连接以及后向连接（即，时间反馈连接）。有趣的是，我们的搜索算法发现SNASNet实现了更高的性能与向后连接，证明了SNN架构设计的重要性，适当地使用时间信息。我们对三个图像识别基准进行了广泛的实验，我们表明SNASNet以显著较低的时间步长（5个时间步长）实现了最先进的性能。代码可以在Github上找到。
2022-07-20 cs.AI cs.LG cs.NE
Towards Automated Deep Learning: Efficient Joint Neural Architecture and Hyperparameter Search
University of Freiburg（弗莱堡大学）
虽然神经架构搜索（NAS）的现有工作在一个单独的后处理步骤中调整超参数，但我们证明了架构选择和其他超参数设置以一种可以使这种分离次优的方式相互作用。同样，我们证明了在主NAS期间使用非常少的时期和在后处理步骤期间使用大量时期的常见做法是低效的，因为这两种训练方案的相对排名几乎没有相关性。为了解决这两个问题，我们建议使用贝叶斯优化和Hyperband的最新组合，以实现高效的联合神经架构和超参数搜索。
2018-07-18 cs.AI cs.CV cs.LG
Auto-GNN: Neural Architecture Search of Graph Neural Networks
Texas A&M University（得克萨斯农工大学）
图神经网络（GNN）已成功地应用于对图结构数据的操作。给定一个特定的场景，通常需要丰富的人类专业知识和大量艰苦的试验来确定合适的GNN架构。这是因为GNN架构的性能受到图卷积组件（如聚合函数和隐藏维度）的选择的显着影响。神经架构搜索（NAS）在发现图像和语言建模学习任务的有效深度架构方面显示出了潜力。然而，现有的NAS算法不能直接应用于GNN搜索问题。首先，GNN的搜索空间不同于现有NAS工作中的搜索空间。第二，GNN架构的表示学习能力随着架构的轻微修改而发生明显的变化。它影响了传统搜索方法的搜索效率。第三，NAS中广泛使用的技术（如参数共享）可能在GNN中变得不稳定。为了弥补这一差距，我们提出了自动图神经网络（AGNN）框架，其目的是在预定义的搜索空间内找到一个最佳的GNN架构。设计了一种基于强化学习的控制器，通过小步骤对体系结构进行强化验证。AGNN具有一种新颖的参数共享策略，该策略基于精心设计的同质性定义，使同质架构能够共享参数。在真实世界基准数据集上的实验表明，与现有的手工模型和传统的搜索方法相比，AGNN识别的GNN结构具有最佳的性能。
2019-09-10 cs.LG stat.ML
Neural Architecture Search in Graph Neural Networks
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
由于关系信息的普遍存在和大量可用性，对图数据执行分析任务变得越来越有趣。然而，与图像或句子不同，网络中没有序列的概念。节点（和边）没有绝对的顺序，传统的机器学习（ML）算法很难识别模式并将其预测推广到这类数据上。图神经网络（GNN）成功地解决了这个问题。它们在卷积概念推广到图域之后变得流行起来。然而，它们拥有大量的超参数，它们的设计和优化目前是手工制作的，基于数学或经验直觉。神经结构搜索（NAS）方法似乎是这个问题的一个有趣的解决方案。在这个方向上，本文比较了两种NAS方法优化GNN：一个基于强化学习和第二个基于进化算法。结果认为7个数据集在两个搜索空间，并表明这两种方法获得类似的精度随机搜索，提出了问题的搜索空间的尺寸有多少实际上是相关的问题。
2020-07-31 cs.LG cs.NE
Nearly Optimal Steiner Trees using Graph Neural Network Assisted Monte Carlo Tree Search
University of Arizona（亚利桑那大学）
针对Steiner树求解问题，提出结合图神经网络与蒙特卡洛树搜索的方法，训练以部分解为输入的图神经网络指导搜索，在多类图上优于标准2-近似算法，常能求得最优解。
2023-04-30 cs.DS cs.LG
Contrastive Self-supervised Neural Architecture Search
University of South Florida（南佛罗里达大学）
本文提出了一种新的基于细胞的神经结构搜索算法（NAS），它完全消除了监督学习继承的数据标记的昂贵成本。我们的算法利用了图像表示的自监督学习的有效性，这是计算机视觉的一个越来越重要的话题。首先，在对比自监督学习下仅使用少量未标记的训练数据，使我们能够在更广泛的搜索空间上搜索，发现更好的神经架构，而无需激增计算资源。其次，我们完全减轻了成本的标记数据（对比损失）在搜索阶段，而不影响架构的最终性能在评估阶段。最后，我们解决了固有的离散搜索空间的NAS问题的顺序模型为基础的优化通过树parzen估计（SMBO-TPE），使我们能够减少计算费用响应面显着。大量的实验经验表明，我们的搜索算法可以实现国家的最先进的结果，更好的效率，在数据标记成本，搜索时间，并在最终验证的准确性。
2021-10-29 cs.AI cs.CV
Adversarially Robust Neural Architecture Search for Graph Neural Networks
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）；Yale University（耶鲁大学）
提出G-RNA框架，通过设计包含图结构掩码操作的鲁棒搜索空间和鲁棒性指标，自动化搜索对抗鲁棒的GNN架构，在基准数据集上显著优于现有基线。
2023-04-09 cs.CR cs.LG cs.SI
Task-Aware Neural Architecture Search
Duke University（杜克大学）
手工制作的神经网络的设计需要大量的时间和资源。神经结构搜索（NAS）中的最新技术已被证明是有竞争力的或优于传统的手工设计，尽管它们需要领域知识，并且通常使用有限的搜索空间。在本文中，我们提出了一种新的框架神经架构搜索，利用字典的基本任务和目标任务和原子之间的相似性的模型字典，因此，产生一个自适应的搜索空间的基础上的字典的基本模型。通过引入基于梯度的搜索算法，我们可以在搜索空间中评估和发现最佳架构，而无需完全训练网络。实验结果表明，我们提出的任务感知方法的有效性。
2021-03-15 cs.AI cs.LG
POPNASv2: An Efficient Multi-Objective Neural Architecture Search Technique
Politecnico di Milano（米兰理工大学）
自动化的最佳神经网络模型的研究是一个任务，已经获得了越来越多的相关性，在过去的几年里。在这种情况下，神经架构搜索（NAS）代表了最有效的技术，其结果可以与最先进的手工架构相媲美。然而，这种方法需要大量的计算能力和研究时间，这使得它在许多现实世界的场景中无法使用。渐进式神经架构搜索（PNAS）凭借其基于模型的顺序优化策略，代表了面对这一资源问题的可能一步。尽管发现的网络架构的质量，这种技术仍然是有限的研究时间。帕累托最优渐进神经架构搜索（POPNAS）在这个方向上迈出了重要的一步，它通过时间预测器扩展了PNAS，以实现搜索时间和准确性之间的权衡，考虑到多目标优化问题。本文提出了一个新版本的帕累托最优渐进神经结构搜索，称为POPNASv2。我们的方法增强了它的第一个版本，提高了它的性能。我们通过添加新的运算符扩展了搜索空间，并提高了两个预测器的质量，以构建更准确的Pareto前沿。此外，我们引入了细胞等价检查和丰富的搜索策略与自适应贪婪的探索步骤。我们的努力使POPNASv2实现了PNAS般的性能，平均搜索时间加快了4倍。
2022-10-06 cs.AI cs.LG
MicroNAS: Zero-Shot Neural Architecture Search for MCUs
University of California, Irvine（加州大学尔湾分校）
本文提出面向MCU的硬件感知零样本NAS框架MicroNAS，通过专门性能指标在无需高昂计算成本的情况下搜索最优架构，实现搜索效率最高提升1104倍、MCU推理速度提升超3.23倍且精度相近。
2024-01-17 cs.AI cs.LG
NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
National University of Singapore（新加坡国立大学）
近年来，人们对神经结构搜索（NAS）的兴趣激增。已经提出了各种算法来提高NAS的搜索效率和有效性，即，以分别降低搜索成本和提高所选结构的泛化性能。然而，这些算法的搜索效率受到搜索过程中模型训练需求的严重限制。为了克服这一限制，我们提出了一种新的NAS算法称为NAS在初始化（NASI），利用神经切线核的能力，能够在初始化时表征候选架构的收敛性能，从而允许模型训练，以完全避免提高搜索效率。除了提高搜索效率外，NASI还在CIFAR-10/100和ImageNet等各种数据集上实现了具有竞争力的搜索效果。此外，NASI被证明是标签和数据不可知的温和条件下，这保证了我们的NASI在不同的数据集上选择的架构的可转移性。
2022-04-25 cs.AI cs.LG
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology（天津科技大学）
本文综述了基于强化学习的神经架构搜索方法，梳理其整体发展、改进与变体，重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
Demystifying the Neural Tangent Kernel from a Practical Perspective: Can it be trusted for Neural Architecture Search without training?
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）；NAVER CLOVA
在神经架构搜索（NAS）中，降低架构评估的成本仍然是最关键的挑战之一。在众多绕过每个候选架构的训练以收敛以进行评估的努力中，神经切线核（NTK）正成为一个有前途的理论框架，其可用于在初始化时估计神经架构的性能。在这项工作中，我们重新审视了几个初始化的指标，可以从NTK，并揭示其关键的缺点。然后，通过对NTK时间演化的实证分析，我们推断出现代神经架构表现出高度的非线性特征，使得基于NTK的度量在没有一定量的训练的情况下无法可靠地估计架构的性能。考虑到这种非线性特性，我们引入了标签梯度对齐（LGA），一种新的基于NTK的度量，其固有的配方使其能够捕获大量的非线性优势，目前在现代神经架构。通过最小的训练量，LGA获得了与架构的训练后测试准确性有意义的等级相关性。最后，我们证明了LGA，辅以几个时代的训练，成功地指导现有的搜索算法，以显着降低搜索成本，以实现有竞争力的搜索性能。该代码可从以下网址获取：https://github.com/nutellamok/DemystifyingNTK。
2022-03-28 cs.AI cs.LG
Simulation-guided Beam Search for Neural Combinatorial Optimization
Samsung SDS（三星SDS）；Bielefeld University（比勒费尔德大学）
组合优化（CO）的神经方法配备了一个学习机制，以发现解决复杂现实世界问题的强大算法。虽然能够在Single Shot中获得高质量解决方案的神经方法正在出现，但最先进的方法通常无法充分利用可用的求解时间。相比之下，手工构造的算法可以很好地执行高效搜索，并利用给定的计算时间，但包含难以适应正在求解的数据集的算法。为了给神经CO方法提供一个强大的搜索过程，我们提出了模拟引导的束搜索（SGBS），它在一个固定宽度的树搜索中检查候选解决方案，神经网络学习的策略和模拟（推出）识别为有前途的。我们进一步杂交SGBS与有效的主动搜索（EAS），其中SGBS提高了EAS中反向传播的解决方案的质量，EAS提高了SGBS中使用的政策的质量。我们评估我们的方法在著名的CO基准测试，并表明SGBS显着提高了合理的运行时间假设下找到的解决方案的质量。
2022-11-17 cs.AI cs.LG
DQNAS: Neural Architecture Search using Reinforcement Learning
Florida Institute of Technology（佛罗里达理工学院）；BITS Pilani, Dubai Campus（比拉尼技术与科学学院迪拜校区）
卷积神经网络由于ImageNet的竞争而变得越来越受欢迎，因此已被用于各种图像相关的应用。卷积神经网络在人脸识别、运动目标检测和跟踪、基于卡路里含量的食物分类等应用中表现出了显著的效果。卷积神经网络的设计要求专家具有跨领域的知识，并且这是费力的，这需要大量的时间来测试不同超参数的不同值以及考虑现有结构的不同配置。神经网络结构搜索是一种自动生成神经网络结构的方法，它为研究人员节省了所有的蛮力测试麻烦，但缺点是长时间消耗大量的计算资源。在本文中，我们提出了一个自动化的神经架构搜索框架DQNAS，指导原则的强化学习以及一次性训练，旨在生成神经网络架构，表现出优越的性能，并具有最小的可扩展性问题。
2023-01-17 cs.AI cs.LG
Neural Deconstruction Search for Vehicle Routing Problems
Bielefeld University, Germany（弗赖堡大学）；University of British Columbia, Canada（不列颠哥伦比亚大学）
针对车辆路径问题，提出由神经策略解构解、结合贪心插入算法重建的迭代搜索框架，在多类问题上性能达到或超越现有最优运筹学方法。
2025-10-06 cs.AI cs.LG
LLM4GNAS: A Large Language Model Based Toolkit for Graph Neural Architecture Search
Zhejiang University（浙江大学）；Guangzhou University（广州大学）
本文提出 LLM4GNAS 工具包，利用 LLM 通过提示词修改实现 GNAS 对新搜索空间的自动适配，并集成特征工程、架构搜索与超参数优化，在同构和异构图任务上性能优于现有方法。
2025-02-12 cs.AI cs.LG
Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness
Rochester Institute of Technology（罗切斯特理工学院）；Amazon Inc.（亚马逊公司）
本文提出RC-NAS框架，通过元训练与微调的双层强化学习范式，在不同数据集、对抗攻击和教师网络条件下快速搜索轻量且对抗鲁棒的子网络，实现自适应压缩。
2024-06-14 cs.AI cs.LG
Path Planning using Neural A* Search
OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Tokyo Institute of Technology（东京工业大学）
我们提出了神经A*，一种新的数据驱动的搜索方法的路径规划问题。尽管最近越来越多的关注数据驱动的路径规划，机器学习的方法，基于搜索的规划仍然是具有挑战性的，由于搜索算法的离散性质。在这项工作中，我们重新制定了一个规范的A* 搜索算法是可微的，并将其与卷积编码器耦合，形成一个端到端的可训练神经网络规划器。神经A* 通过将问题实例编码为引导地图，然后使用引导地图执行可微A* 搜索来解决路径规划问题。通过学习将搜索结果与专家提供的地面实况路径相匹配，Neural A* 可以准确有效地生成与地面实况一致的路径。我们的大量实验证实，Neural A* 在搜索最优性和效率权衡方面优于最先进的数据驱动规划器。此外，Neural A* 通过直接对自然图像输入执行基于搜索的规划，成功预测了真实的人体轨迹。项目页面：https://omron-sinicx.github.io/neural-astar/
2021-07-07 cs.AI cs.LG stat.ML
Auto-Keras: An Efficient Neural Architecture Search System
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）
已经提出了神经架构搜索（NAS）来自动调谐深度神经网络，但是现有的搜索算法，例如，NASNet、PNAS通常遭受昂贵的计算成本。网络态射在改变神经网络的神经架构的同时保持其功能，通过在搜索期间实现更有效的训练，可能有助于NAS。在本文中，我们提出了一个新的框架，使贝叶斯优化指导网络态射有效的神经结构搜索。该框架开发了一个神经网络内核和一个树结构的采集函数优化算法，以有效地探索搜索空间。在真实世界的基准数据集上进行了大量的实验，以证明所开发的框架比最先进的方法具有更好的性能。此外，我们基于我们的方法构建了一个开源的AutoML系统，即Auto-Keras。该系统在CPU和GPU上并行运行，具有针对不同GPU内存限制的自适应搜索策略。
2019-03-26 cs.AI cs.LG stat.ML
Towards One Shot Search Space Poisoning in Neural Architecture Search
University of Toronto（多伦多大学）；ML Collective
我们评估的鲁棒性的神经架构搜索（NAS）算法被称为高效NAS（ENAS）对数据不可知的中毒攻击的原始搜索空间精心设计的无效操作。我们经验证明我们的一杆搜索空间中毒的方法利用ENAS控制器的设计缺陷，降低分类任务的预测性能。只需将两个中毒操作注入搜索空间，我们就可以在CIFAR-10数据集上将子网络的预测出错率提高到90%。
2021-11-13 cs.AI cs.LG cs.NE
HiveNAS: Neural Architecture Search using Artificial Bee Colony Optimization
Staffordshire University（斯塔福德郡大学）
针对传统神经网络开发依赖经验试错、NAS领域元启发式算法研究不足的问题，提出基于人工蜂群优化的NAS框架HiveNAS，其以远少于现有顶尖群智能NAS框架的耗时实现了更优性能。
2023-06-15 cs.AI cs.LG cs.NE
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification
Korea University（高丽大学）；Hallym University（翰林大学）；Kyung Hee University（庆熙大学）
随着深度神经网络在各种任务中实现前所未有的性能，用于设计具有自动化过程的神经网络架构的研究领域神经架构搜索（NAS）正在积极进行中。最近，可区分NAS通过将搜索成本降低到训练单个网络的水平而产生了巨大的影响。此外，定义待搜索的候选架构的搜索空间直接影响最终架构的性能。在本文中，我们提出了一个适应计划的搜索空间通过引入一个搜索范围。ProxylessNAS的图像分类任务证明了所提出的方法的有效性。此外，我们可视化的架构参数更新的轨迹，并提供见解，以改善架构搜索。
2022-06-05 cs.LG
Network Graph Based Neural Architecture Search
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
神经架构搜索实现了架构设计的自动化。尽管它取得了成功，但它在计算上是昂贵的，并且没有提供关于如何设计理想架构的见解。在这里，我们提出了一种新的搜索神经网络的方法，我们搜索神经网络结构，通过重新连接相应的图和预测的结构性能的图形属性。因为我们没有在整个图空间上执行机器学习，而是使用预测的架构性能来搜索架构，所以搜索过程非常高效。我们发现基于图的搜索可以给出一个合理的好的预测理想的架构。此外，我们发现图形属性是有效的预测架构性能。我们的工作提出了一种新的方法来搜索神经结构，并提供了神经结构设计的见解。
2021-12-15 cs.LG
Bag of Tricks for Neural Architecture Search
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
虽然神经结构搜索方法在过去几年中取得了成功，并在各种问题上取得了新的最先进的性能，但它们也因不稳定而受到批评，对超参数高度敏感，并且通常不如随机搜索。为了阐明这个问题，我们讨论了一些有助于提高稳定性，效率和整体性能的实际考虑因素。
2021-07-08 cs.AI cs.LG stat.ML
Neural Ensemble Search via Bayesian Sampling
National University of Singapore（新加坡国立大学）
最近，神经结构搜索（NAS）已被应用于自动设计的神经网络在现实世界中的应用。已经开发了大量的算法来提高NAS中最终选择的架构的搜索成本或性能。不幸的是，这些NAS算法旨在从它们的搜索空间中仅选择一个单一的性能良好的架构，因此忽略了神经网络集成的能力（即，具有不同体系结构的神经网络的集合）在实现单个最终选择的体系结构上的改进的性能方面。为此，我们引入了一种新的神经集成搜索算法，称为贝叶斯采样神经集成搜索（NESBS），有效地和高效地选择性能良好的神经网络集成从NAS搜索空间。在我们广泛的实验中，NESBS算法被证明是能够实现改进的性能比国家的最先进的NAS算法，同时产生一个可比的搜索成本，从而表明我们的NESBS算法优于这些NAS算法在实践中的性能。
2022-06-17 cs.LG
MONAS: Multi-Objective Neural Architecture Search using Reinforcement Learning
National Tsing-Hua University（国立清华大学）；Google（谷歌）
最近对神经结构搜索的研究表明，自动设计的神经网络与专家制作的结构一样好。虽然大多数现有工作旨在找到优化预测准确性的架构，但这些架构可能具有复杂性，因此不适合部署在某些计算环境（例如，具有有限的功率预算）。我们提出了MONAS，这是一个多目标神经架构搜索的框架，它采用了同时考虑预测准确性和其他重要目标（例如，功耗）。实验结果表明，与现有技术相比，MONAS模型在计算机视觉应用中的分类精度相当或更高，同时满足峰值功率等附加目标。
2018-12-03 cs.AI cs.LG stat.ML
Trends in Neural Architecture Search: Towards the Acceleration of Search
Korea University（高丽大学）；Hongik University（弘益大学）；Hallym University（翰林大学）
在现代深度学习研究中，寻找最优（或接近最优）的神经网络模型是主要的研究方向之一，在许多应用中得到了广泛的研究。本文将神经结构搜索的主要研究方向归纳为神经进化算法、基于强化学习的算法和一次性结构搜索方法。最后对三大研究趋势进行了比较。最后，对NAS未来的研究方向进行了展望。
2021-08-19 cs.LG
Scaling Neural Program Synthesis with Distribution-based Search
CNRS, LaBRI and Université de Bordeaux（法国国家科学研究中心、波尔多计算机科学实验室与波尔多大学）；The Alan Turing Institute of data science（艾伦·图灵数据科学研究所）；Cornell University（康奈尔大学）；University of Paris（巴黎大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们考虑的问题，自动构造计算机程序从输入输出的例子。我们研究如何增加概率和神经程序合成方法与新的搜索算法，提出了一个框架，称为基于分布的搜索。在这个框架内，我们介绍了两个新的搜索算法：堆搜索，枚举方法，和SQRT采样，概率方法。我们证明了这两种方法的某些最优性保证，展示了它们如何与概率和神经技术相结合，并演示了它们如何在并行计算环境中大规模运行。总的来说，这些发现提供了搜索算法的理论和应用研究的程序合成，结合最近的发展，机器学习程序合成器。
2021-10-24 cs.AI cs.LG cs.PL
Towards "AlphaChem": Chemical Synthesis Planning with Tree Search and Deep Neural Network Policies
Westfälische Wilhelms-Universität Münster（明斯特大学）；Shanghai University（上海大学）
逆合成是一种规划有机分子的化学合成的技术，例如药物、农用化学品和精细化学品。在逆合成中，通过递归地分析分子并将其分解成更简单的分子构建块来构建搜索树，直到获得一组已知的构建块。搜索空间大得难以处理，并且难以确定逆合成位置的值。在这里，我们建议将逆合成建模为马尔可夫决策过程。结合从基本上完整的化学出版知识中学习的深度神经网络策略，可以使用蒙特卡罗树搜索（MCTS）来评估位置。在探索性研究中，我们证明了MCTS与神经网络政策优于传统上使用的最佳优先搜索与手工编码的算法。
2017-01-31 cs.AI cs.LG physics.chem-ph
Retro*: Learning Retrosynthetic Planning with Neural Guided A* Search
Georgia Institute of Technology（佐治亚理工学院）；Galixir（星亢原）；Google Research（谷歌研究院）；Ant Financial（蚂蚁金服）
逆合成规划是有机化学中的一项重要任务，它确定了一系列可以导致目标产物合成的反应。大量可能的化学转化使得搜索空间的大小非常大，并且逆合成规划即使对于有经验的化学家也是具有挑战性的。然而，现有的方法要么需要昂贵的回报估计推出高方差，或优化搜索速度，而不是质量。在本文中，我们提出了Retro*，一种基于神经的A* 类算法，可以有效地找到高质量的合成路线。它将搜索保持为AND-OR树，并使用非策略数据学习神经搜索偏差。然后在此神经网络的指导下，在新的规划事件中有效地执行最佳优先搜索。在基准USPTO数据集上的实验表明，我们提出的方法在成功率和解决方案质量方面优于现有的最先进的方法，同时更高效。
2020-06-29 cs.AI cs.LG stat.ML
Incorporating domain knowledge into neural-guided search
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
许多AutoML问题涉及在黑盒奖励下优化离散对象。神经引导搜索提供了一种灵活的方法，使用自回归递归神经网络搜索这些组合空间。这种方法的一个主要好处是顺序构建对象--这提供了一个通过直接修改采样期间发出的logit将领域知识纳入搜索的机会。在这项工作中，我们正式的框架，将这种在原位的先验和约束神经引导搜索，并提供充分的条件，强制执行的约束。我们整合了现有的工作到这个框架中的先验和约束，提出了几个新的，并证明了它们的有效性，通知任务的象征性回归。
2021-07-19 cs.LG
SNAS: Stochastic Neural Architecture Search
SenseTime（商汤科技）
我们提出了随机神经结构搜索（SNAS），这是神经结构搜索（NAS）的一种经济的端到端解决方案，它在同一轮反向传播中训练神经操作参数和结构分布参数，同时保持NAS管道的完整性和可区分性。在这项工作中，NAS被重新表述为一个优化问题的参数的联合分布的搜索空间在一个细胞。为了利用通用可微损失中的梯度信息进行结构搜索，提出了一种新的搜索梯度。我们证明，这种搜索梯度优化相同的目标，基于递归学习的NAS，但分配信贷结构的决策更有效。该信用分配进一步增加了本地可分解的奖励，以实施资源有效的约束。在CIFAR-10的实验中，SNAS比基于不可微进化和基于递归学习的NAS需要更少的时间来找到具有最先进精度的细胞架构，这也可以转移到ImageNet。研究还表明，SNAS的子网络可以保持搜索的验证准确性，而基于注意力的NAS需要参数重新训练才能竞争，显示出在大数据集上迈向高效NAS的潜力。我们已经在https://github.com/SNAS-Series/SNAS-Series上发布了我们的实现。
2020-04-01 cs.AI cs.LG stat.ML
Accuracy Prediction with Non-neural Model for Neural Architecture Search
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
神经结构搜索（NAS）的准确性预测器，预测候选架构的准确性，已引起越来越多的关注，由于其简单性和有效性。以往的预测方法通常采用基于神经网络的预测器，这类预测器的设计较为精细，且容易过拟合。考虑到大多数体系结构表示为离散符号序列，更像是表格数据，更受非神经预测器的青睐，本文研究了一种使用非神经模型进行精度预测的替代方法。具体来说，由于基于决策树的模型可以更好地处理表格数据，我们利用梯度提升决策树（GBDT）作为NAS的预测器。我们证明，GBDT预测可以实现可比的（如果不是更好的）预测精度比神经网络为基础的预测。此外，考虑到一个紧凑的搜索空间可以简化搜索过程，我们建议修剪的搜索空间逐渐根据重要特征从GBDT。以这种方式，可以通过首先修剪搜索空间然后搜索神经架构来执行NAS，这是更高效和有效的。在NASBench-101和ImageNet上的实验结果表明，GBDT作为NAS的预测器是有效的：（1）在NASBench-101上，它比随机搜索、正则化进化和蒙特卡罗树搜索（MCTS）在寻找全局最优解方面的样本效率分别高22倍、8倍和6倍;（2）在ImageNet上实现了24.2%的top-1出错率，并且在使用搜索空间修剪增强后，ImageNet上的top-1出错率进一步达到23.4%。代码在https://github.com/renqianluo/GBDT-NAS上提供。
2021-07-19 cs.AI cs.CV cs.LG
Search Spaces for Neural Model Training
NVIDIA（英伟达）
虽然更大的神经模型正在突破深度学习的极限，但通常需要更多的权重来训练模型，而不是为任务运行推理。本文试图使用搜索空间来理解这种行为--增加权重会产生额外的自由度，从而形成新的优化路径（或更宽的搜索空间），使神经模型训练更有效。然后，我们展示了如何扩大搜索空间，以训练稀疏模型，使其在数十个深度学习工作负载中获得有竞争力的分数。它们还可以容忍针对当前硬件的结构，为训练和推理加速开辟途径。我们的工作鼓励研究超越目前使用的大规模神经模型。
2021-05-27 cs.LG
Conceptual Expansion Neural Architecture Search (CENAS)
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
架构搜索为某些任务优化神经网络的结构，而不是依赖于手动编写。然而，它很慢，因为每个潜在的架构通常都是从头开始训练的。在本文中，我们提出了一种称为概念扩展神经结构搜索（CENAS）的方法，该方法将样本效率，计算创造力启发的迁移学习方法与神经结构搜索相结合。这种方法通过转移现有的权重来近似新模型的参数，比朴素的体系结构搜索更快地找到模型。它通过允许添加特征而不是仅修改现有特征来优于标准迁移学习。我们证明了我们的方法在各种迁移学习任务的效率，性能和参数计数方面优于标准神经结构搜索和迁移学习方法。
2021-10-07 cs.LG
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan（大阪大学）
针对现有图神经架构搜索方法缺乏可解释性的问题，提出ExGNAS方法，通过结合简单搜索空间与蒙特卡洛树搜索算法，在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
Neural Architecture Search: Insights from 1000 Papers
University of Freiburg（弗赖堡大学）；Sailyond Technology & Research Institute of Tsinghua University（清华大学赛力扬技术研究院）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Microsoft Research（微软研究院）
在过去的十年中，深度学习的进步在各个领域取得了突破，包括计算机视觉、自然语言理解、语音识别和强化学习。专门的高性能神经架构对于深度学习在这些领域的成功至关重要。神经架构搜索（NAS）是为给定任务自动化神经架构设计的过程，是自动化机器学习的下一个必然步骤，并且已经在许多任务上超过了最好的人类设计架构。在过去的几年里，NAS的研究进展迅速，自2020年以来发表了1000多篇论文（Deng和Lindauer，2021）。在这项调查中，我们提供了一个有组织的和全面的神经结构搜索指南。我们给出了搜索空间、算法和加速技术的分类，并讨论了基准测试、最佳实践、其他调查和开源库等资源。
2023-01-25 cs.AI cs.LG stat.ML
Transfer Learning to Learn with Multitask Neural Model Search
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
深度学习模型需要广泛的架构设计探索和超参数优化，才能在给定的任务上表现良好。模型设计空间的探索通常由人类专家进行，并在可能选择的大空间上使用网格搜索和搜索算法的组合进行优化。神经体系结构搜索（NAS）是一种强化学习方法，已被提出用于自动化体系结构设计。NAS已经成功地应用于生成神经网络，可以与最好的人类设计的架构相媲美。然而，NAS需要采样、构建和训练数百到数千个模型，以实现性能良好的架构。对于每个新任务，都需要从头开始执行此过程。NAS的应用程序，以广泛的一组任务目前缺乏一种方法来转移概括的知识跨任务。在本文中，我们提出了多任务神经模型搜索（MNMS）控制器。我们的目标是学习一个可推广的框架，该框架可以将模型构建的成功模型搜索用于先前看到的任务，从而显着加快搜索新任务的速度。我们证明了MNMS可以同时对多个任务进行自动化架构搜索，同时还可以为每个任务学习性能良好的专用模型。然后，我们表明，预先训练的MNMS控制器可以迁移学习到新的任务。通过利用以前搜索的知识，我们发现预训练的MNMS模型从搜索空间中更好的位置开始，并减少了看不见的任务的搜索时间，同时仍然发现优于已发布的人类设计模型的模型。
2017-10-30 cs.AI cs.LG stat.ML
Searching for Accurate Binary Neural Architectures
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
二进制神经网络由于在移动设备上部署它们的效率而引起了极大的关注。由于二进制权重和特征的弱表达能力，其精度通常远低于全精度（即32位）模型。在这里，我们提出了一个新的框架工作，自动搜索紧凑，但准确的二进制神经网络。在实践中，每层中的通道数量将被编码到搜索空间中，并使用进化算法进行优化。在基准数据集和神经架构上进行的实验表明，我们搜索的二进制网络可以实现全精度模型的性能，模型大小和计算的增量都可以接受。
2019-09-16 cs.LG
NeuralArTS: Structuring Neural Architecture Search with Type Theory
University of Toronto（多伦多大学）；ML Collective
神经架构搜索（NAS）算法在给定可能操作的初始搜索空间的情况下自动执行查找最佳深度学习架构的任务。开发这些搜索空间通常是手动的，预优化的搜索空间更有效，而不是从头开始搜索。在本文中，我们提出了一个新的框架，称为神经架构类型系统（NeuralArTS），分类的无限集的网络操作在一个结构化的类型系统。我们进一步展示了NeuralArTS如何应用于卷积层，并提出了几个未来的发展方向。
2021-11-05 cs.LG cs.LO cs.PL
NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search
Xidian University（西安电子科技大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
神经网络结构搜索是一种很有前途的自动设计神经网络结构的方法。NAS采用一种搜索策略来探索预定义的搜索空间，以最小的搜索代价找到性能优异的体系结构。贝叶斯优化和进化算法是两种常用的搜索策略，但它们存在计算量大、实现困难或搜索能力低的问题。本文提出了一种神经预测器引导的进化算法，以增强进化算法的探索能力，并设计了两种神经预测器。第一个预测是从贝叶斯优化定义，我们提出了一个基于图的不确定性估计网络作为一个代理模型，易于实现和计算效率。第二预测器是基于图的神经网络，其直接输出输入神经架构的性能预测。使用两个神经预测器的NPENAS分别表示为NPENAS-BO和NPENAS-NP。此外，我们引入了一种新的随机结构抽样方法，以克服现有的抽样方法的缺点。大量的实验证明了NPENAS的优越性。在三个NAS搜索空间上的定量结果表明，NPENAS-BO和NPENAS-NP都优于大多数现有的NAS算法，NPENAS-BO在NASBench-201上达到最先进的性能，NPENAS-NP在NASBench-101和DARTS上分别达到最先进的性能。
2020-09-10 cs.AI cs.CV cs.LG
Development of a Neural Network-Based Mathematical Operation Protocol for Embedded Hexadecimal Digits Using Neural Architecture Search (NAS)
Hunter College High School（亨特学院高中）；Columbia University（哥伦比亚大学）
开发一种基于机器学习的嵌入式十六进制数字加法算法是有益的。通过比较人类开发的机器学习模型和通过神经结构搜索（NAS）采样的模型，我们确定了一种有效的方法来解决这个问题，最终测试损失为0.2937的人类开发的模型。
2022-11-12 cs.LG cs.NE
Neural Architecture Search using Deep Neural Networks and Monte Carlo Tree Search
Brown University（布朗大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Facebook AI Research（脸书人工智能研究院）
神经结构搜索（NAS）在神经网络的自动化设计方面取得了巨大的成功，但目前NAS方法的计算量过大，需要进一步研究如何提高样本效率和网络评估成本，以便在更短的时间内获得更好的结果。在本文中，我们提出了一种新的可扩展的蒙特卡罗树搜索（MCTS）的NAS代理，命名为AlphaX，以解决这两个方面。AlphaX通过自适应地平衡状态级别的探索和利用来提高搜索效率，并通过元深度神经网络（DNN）来预测网络精度，以便将搜索偏向有希望的区域。为了分摊网络评估成本，AlphaX通过分布式设计加速MCTS的部署，并通过迁移学习（以MCTS中的树结构为指导）减少评估网络的历元数。在12个GPU天和1000个样本中，AlphaX发现了一个架构，在CIFAR-10上达到了97.84%的top-1准确率，在ImageNet上达到了75.5%的top-1准确率，在准确率和采样效率上都超过了SOTA NAS方法。特别是，我们还在NASBench-101（一个大规模NAS数据集）上评估了AlphaX; AlphaX在寻找全局最优值方面的样本效率分别是随机搜索和正则化进化的3倍和2.8倍。最后，我们展示了搜索架构改进了从神经风格转移到图像描述和目标检测的各种视觉应用。
2019-11-21 cs.AI cs.CV cs.DC
A Transformer-based Neural Architecture Search Method
Key Laboratory of Intelligent Computing；Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University 30 Shuangqing Rd Xiangtan Hunan China；Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University
本文提出一种基于Transformer的神经架构搜索方法，通过多目标遗传算法结合BLEU分数与困惑度指标搜索编码器与解码器组合，其搜索到的网络结构优于所有基线模型。
2025-05-02 cs.AI cs.CL cs.LG
EPNAS: Efficient Progressive Neural Architecture Search
Google Brain（谷歌大脑）；Google Cloud AI（谷歌云人工智能）；Baidu Research（百度研究院）；Horizon Robotics（地平线机器人）；University of Nevada（内华达大学）；Landing AI
在本文中，我们提出了有效的渐进式神经架构搜索（EPNAS），神经架构搜索（NAS），有效地处理大搜索空间，通过一种新的渐进式搜索策略与性能预测的基础上，REINFORCE~ \cite{Williams.1992.PG}。EPNAS旨在并行搜索目标网络，这在GPU/TPU集群等并行系统上更具可扩展性。更重要的是，EPNAS可以推广到具有多个资源约束的架构搜索，\eg，模型大小，计算复杂性或强度，这对于在移动和云等广泛平台中部署至关重要。我们使用CIFAR 10和ImageNet将EPNAS与其他最先进的（SoTA）网络架构（\eg，MobileNetV 2 ~ \cite{mobilenetv2}）和高效的NAS算法（\eg，ENAS~ \cite{pham2018efficient}和PNAS~ \cite{Liu2017b}）进行图像识别任务的比较。在这两个数据集上，EPNAS的\wrt结构的搜索速度和识别精度都优于EPNAS。
2019-07-07 cs.LG
Efficient Neural Architecture Search with Performance Prediction
神经网络是一种强大的模型，它具有非凡的能力来提取太复杂而无法被人类或其他机器学习模型注意到的模式。神经网络是第一类可以训练具有大学习能力的端到端系统的模型。然而，我们仍然面临着设计神经网络的艰巨挑战，这需要人类的经验和漫长的试错过程。作为一种解决方案，我们可以使用神经架构搜索来找到手头任务的最佳网络架构。现有的NAS算法通常通过从头开始完全训练来评估新体系结构的适应性，即使在高性能计算机上运行，也会导致令人望而却步的计算成本。在本文中，提出了一个端到端的离线性能预测器，以加快评估采样架构。索引术语-学习曲线预测，神经结构搜索，强化学习。
2021-08-04 cs.LG
OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search
University of Campinas (Unicamp)（坎皮纳斯大学（Unicamp））
OFA是一种神经架构搜索（NAS）框架，旨在通过解耦训练和搜索阶段来解决为具有不同资源约束的设备搜索有效架构的问题。训练OFA神经网络的计算上昂贵的过程仅进行一次，然后可以根据每个部署场景对从该训练的网络中提取的子网络执行多次搜索。在这项工作中，我们的目标是通过明确地将搜索阶段视为一个多目标优化问题，进一步提高搜索效率。然后，帕累托边界被填充有高效的、已经训练好的神经架构，这些神经架构在冲突的目标之间表现出明显的权衡。这可以通过在搜索阶段使用任何多目标进化算法来实现，例如NSGA-II和SMS-EMOA。换句话说，神经网络被训练一次，考虑不同硬件约束的子网络的搜索也被完成一次，然后用户可以根据每个部署场景选择合适的神经网络。共轭OFA和显式算法的多目标优化打开了一个后验决策的可能性，在采样有效的子网络，这是一个非常好的近似帕累托边界后，这些子网络已经训练和准备使用。源代码和最终的搜索算法将在https://github.com/ito-rafael/once-for-all-2上发布
2023-03-23 cs.AI cs.CV cs.LG
