MONAS: Multi-Objective Neural Architecture Search using Reinforcement Learning
National Tsing-Hua University（国立清华大学）；Google（谷歌）
最近对神经结构搜索的研究表明，自动设计的神经网络与专家制作的结构一样好。虽然大多数现有工作旨在找到优化预测准确性的架构，但这些架构可能具有复杂性，因此不适合部署在某些计算环境（例如，具有有限的功率预算）。我们提出了MONAS，这是一个多目标神经架构搜索的框架，它采用了同时考虑预测准确性和其他重要目标（例如，功耗）。实验结果表明，与现有技术相比，MONAS模型在计算机视觉应用中的分类精度相当或更高，同时满足峰值功率等附加目标。
2018-12-03 cs.AI cs.LG stat.ML
IRLAS: Inverse Reinforcement Learning for Architecture Search
The Chinese University of Hong Kong（香港中文大学）；NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；SenseTime Research（商汤科技研究院）
在本文中，我们提出了一个逆强化学习方法的架构搜索（IRLAS），它训练一个代理学习搜索的网络结构，拓扑结构的灵感来自人类设计的网络。现有的体系结构搜索方法完全忽略了体系结构的拓扑特征，导致体系结构复杂，推理延迟大。基于人类设计网络拓扑结构优雅、推理速度快的特点，提出了一种受生物认知理论启发的镜像刺激函数，用于提取专家人类设计网络（ResNeXt）的抽象拓扑知识.为了避免在搜索空间上提出太强的先验，我们引入逆强化学习来训练镜像刺激函数，并将其作为架构搜索的启发式指导，易于推广到不同的架构搜索算法。在CIFAR-10上，我们提出的IRLAS搜索到的最佳架构达到了2.60%的出错率。对于ImageNet移动设置，我们的模型实现了最先进的top-1准确率75.28%，同时比大多数自动生成的架构快2~ 4倍。该模型的快速版本比MobileNetV 2快10%，同时保持更高的准确性。
2019-11-06 cs.AI cs.CV
UNAS: Differentiable Architecture Search Meets Reinforcement Learning
NVIDIA（英伟达）
神经架构搜索（NAS）旨在发现具有所需属性（如高准确性或低延迟）的网络架构。最近，可微分NAS（DNAS）已经证明了有前途的结果，同时保持搜索成本的数量级低于强化学习（RL）的NAS。然而，DNAS模型只能优化可微损失函数的搜索，他们需要一个精确的可微近似不可微的标准。在这项工作中，我们提出了UNAS，NAS的统一框架，封装在一个框架下最近的DNAS和基于RL的方法。我们的框架带来了两全其美，它使我们能够在一个统一的框架中搜索具有可区分和不可区分标准的架构，同时保持低搜索成本。此外，我们引入了一个新的目标函数的基础上搜索的泛化差距，防止选择的架构容易过拟合。我们在CIFAR-10、CIFAR-100和ImageNet数据集上进行了广泛的实验，并在两个根本不同的搜索空间中进行搜索。我们表明，UNAS在所有三个数据集上获得了最先进的平均精度，与DARTS空间中搜索的架构相比。此外，我们表明，UNAS可以找到一个高效和准确的架构在ProxylessNAS搜索空间，优于现有的MobileNetV 2的基础架构。源代码可在https://github.com/NVlabs/unas上获得。
2020-08-27 cs.CV cs.LG stat.ML
DARTS: Differentiable Architecture Search
Google Brain（谷歌大脑）；CMU（卡内基梅隆大学）；DeepMind（深度思考）
本文解决了架构搜索的可扩展性的挑战，制定了一个不同的方式的任务。与在离散和不可微的搜索空间上应用进化或强化学习的传统方法不同，我们的方法是基于对体系结构表示的连续松弛，允许使用梯度下降对体系结构进行有效搜索。在CIFAR-10、ImageNet、Penn Treebank和WikiText-2上的大量实验表明，我们的算法在发现用于图像分类的高性能卷积架构和用于语言建模的递归架构方面表现出色，同时比最先进的不可微技术快了几个数量级。我们的实现已公开，以促进进一步研究高效的架构搜索算法。
2019-04-23 cs.CL cs.CV cs.LG
Evolutionary-Neural Hybrid Agents for Architecture Search
Jagiellonian University（雅盖隆大学）；Google AI（谷歌人工智能）
神经结构搜索已经显示出自动设计神经网络的潜力。基于深度强化学习的智能体可以学习复杂的架构模式，并探索广阔的组合搜索空间。另一方面，进化算法提供了更高的样本效率，这对于这样的资源密集型应用是至关重要的。为了捕捉这两个世界的最好的，我们提出了一类进化神经混合代理（Evo-NAS）。我们表明，Evo-NAS代理优于神经和进化代理时，适用于一套文本和图像分类基准架构搜索。在一个高复杂度的架构搜索空间的图像分类，Evo-NAS代理超越了常用的代理实现的准确性，只有1/3的搜索成本。
2020-02-15 cs.LG cs.NE stat.ML
Neural Architecture Search via Combinatorial Multi-Armed Bandit
The University of Melbourne（墨尔本大学）；Deakin University（迪肯大学）
神经架构搜索（NAS）作为设计高性能深度神经网络（DNN）的有效工具已经获得了显著的普及。NAS可以通过策略梯度、进化算法、可区分的体系结构搜索或树搜索方法来执行。虽然策略梯度和可区分架构搜索都取得了重大进展，但树搜索方法迄今为止未能达到相当的准确性或搜索效率。在本文中，我们制定NAS作为一个组合多臂强盗（CMAB）问题（CMAB-NAS）。这允许将大的搜索空间分解成更小的块，其中可以更有效地和高效地应用树搜索方法。我们进一步利用基于树的方法称为嵌套蒙特卡罗搜索来解决CMAB-NAS问题。在CIFAR-10上，我们的方法发现了一种细胞结构，该结构实现了与最先进技术相当的低出错率，仅使用0.58 GPU天，比当前的树搜索方法快20倍。此外，发现的结构可以很好地转移到大规模数据集，如ImageNet。
2021-04-24 cs.CV cs.LG stat.ML
Enhancing GNNs with Architecture-Agnostic Graph Transformations: A Systematic Analysis
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本研究系统分析了重连、提升和中心性标注等图变换预处理对GNN表达能力的影响，发现中心性增强可提升表达能力但存在数值不准确性，且在3-WL和4-WL任务中受限。
2024-10-11 cs.AI cs.LG
Task-Aware Neural Architecture Search
Duke University（杜克大学）
手工制作的神经网络的设计需要大量的时间和资源。神经结构搜索（NAS）中的最新技术已被证明是有竞争力的或优于传统的手工设计，尽管它们需要领域知识，并且通常使用有限的搜索空间。在本文中，我们提出了一种新的框架神经架构搜索，利用字典的基本任务和目标任务和原子之间的相似性的模型字典，因此，产生一个自适应的搜索空间的基础上的字典的基本模型。通过引入基于梯度的搜索算法，我们可以在搜索空间中评估和发现最佳架构，而无需完全训练网络。实验结果表明，我们提出的任务感知方法的有效性。
2021-03-15 cs.AI cs.LG
NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
National University of Singapore（新加坡国立大学）
近年来，人们对神经结构搜索（NAS）的兴趣激增。已经提出了各种算法来提高NAS的搜索效率和有效性，即，以分别降低搜索成本和提高所选结构的泛化性能。然而，这些算法的搜索效率受到搜索过程中模型训练需求的严重限制。为了克服这一限制，我们提出了一种新的NAS算法称为NAS在初始化（NASI），利用神经切线核的能力，能够在初始化时表征候选架构的收敛性能，从而允许模型训练，以完全避免提高搜索效率。除了提高搜索效率外，NASI还在CIFAR-10/100和ImageNet等各种数据集上实现了具有竞争力的搜索效果。此外，NASI被证明是标签和数据不可知的温和条件下，这保证了我们的NASI在不同的数据集上选择的架构的可转移性。
2022-04-25 cs.AI cs.LG
Flexible Channel Dimensions for Differentiable Architecture Search
EPFL（洛桑联邦理工学院）
针对现有通道维度神经架构搜索依赖固定搜索空间的问题，提出带动态通道分配的可微搜索方法，在CIFAR-10上实现与现有方法性能相当的架构，同时提升搜索效率并降低内存需求，无需预设搜索空间。
2023-06-13 cs.AI cs.LG
Towards Searching Efficient and Accurate Neural Network Architectures in Binary Classification Problems
Drexel University（德雷塞尔大学）
近年来，深度神经网络在机器学习和模式识别方面取得了巨大成功。神经网络的架构大小对任何神经网络的成功都有很大的贡献。在这项研究中，我们通过研究不同的搜索算法来优化选择过程，以找到一个神经网络架构的大小，产生最高的准确性。我们在一个定义良好的二进制分类网络搜索空间上应用二进制搜索，并将结果与线性搜索的结果进行比较。我们还提出了如何放松一些关于数据集的假设，使我们的解决方案可以推广到任何二进制分类问题。我们报告了一个100倍的运行时间改进的天真的线性搜索时，我们应用二进制搜索方法，我们的数据集，以找到最佳的架构候选人。通过快速找到任何二进制分类问题的最佳架构大小，我们希望我们的研究有助于发现在机器学习中优化架构大小选择的智能算法。
2021-01-16 cs.AI cs.LG
Parameter Efficient Mamba Tuning via Projector-targeted Diagonal-centric Linear Transformation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本研究发现Mamba架构中对迁移学习贡献最大的是投影器而非状态空间模型，据此提出仅优化投影器、参数量占比不足1%的ProDiaL参数高效微调方法，在视觉和语言Mamba模型上均表现优异。
2025-03-24 cs.AI cs.LG
MicroNAS: Zero-Shot Neural Architecture Search for MCUs
University of California, Irvine（加州大学尔湾分校）
本文提出面向MCU的硬件感知零样本NAS框架MicroNAS，通过专门性能指标在无需高昂计算成本的情况下搜索最优架构，实现搜索效率最高提升1104倍、MCU推理速度提升超3.23倍且精度相近。
2024-01-17 cs.AI cs.LG
POPNASv2: An Efficient Multi-Objective Neural Architecture Search Technique
Politecnico di Milano（米兰理工大学）
自动化的最佳神经网络模型的研究是一个任务，已经获得了越来越多的相关性，在过去的几年里。在这种情况下，神经架构搜索（NAS）代表了最有效的技术，其结果可以与最先进的手工架构相媲美。然而，这种方法需要大量的计算能力和研究时间，这使得它在许多现实世界的场景中无法使用。渐进式神经架构搜索（PNAS）凭借其基于模型的顺序优化策略，代表了面对这一资源问题的可能一步。尽管发现的网络架构的质量，这种技术仍然是有限的研究时间。帕累托最优渐进神经架构搜索（POPNAS）在这个方向上迈出了重要的一步，它通过时间预测器扩展了PNAS，以实现搜索时间和准确性之间的权衡，考虑到多目标优化问题。本文提出了一个新版本的帕累托最优渐进神经结构搜索，称为POPNASv2。我们的方法增强了它的第一个版本，提高了它的性能。我们通过添加新的运算符扩展了搜索空间，并提高了两个预测器的质量，以构建更准确的Pareto前沿。此外，我们引入了细胞等价检查和丰富的搜索策略与自适应贪婪的探索步骤。我们的努力使POPNASv2实现了PNAS般的性能，平均搜索时间加快了4倍。
2022-10-06 cs.AI cs.LG
Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision
Tsinghua University（清华大学）；Wechat, Tencent（腾讯微信）
针对现有GNAS依赖监督标签的问题，本文提出DSGAS模型，通过解耦图超网络、联合解耦自监督训练和带增强的对比搜索，在无监督场景下实现了SOTA性能。
2024-03-08 cs.AI cs.LG
Differentiable Neural Architecture Transformation for Reproducible Architecture Improvement
Hana Institute of Technology（Hana技术研究所）
最近，神经结构搜索（NAS）方法被引入，并在许多基准测试中表现出令人印象深刻的性能。在这些NAS研究中，神经架构Transformer（NAT）旨在改进给定的神经架构，以在保持计算成本的同时具有更好的性能。然而，NAT具有缺乏再现性的局限性。在本文中，我们提出了可微神经架构转换，是可再生的和有效的。所提出的方法在各种架构上表现出稳定的性能。在两个数据集上进行了广泛的再现性实验，即，CIFAR-10和Tiny Imagenet的实验结果表明，该方法的性能明显优于NAT，并适用于其他模型和数据集。
2020-06-15 cs.CV cs.LG stat.ML
Network Graph Based Neural Architecture Search
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
神经架构搜索实现了架构设计的自动化。尽管它取得了成功，但它在计算上是昂贵的，并且没有提供关于如何设计理想架构的见解。在这里，我们提出了一种新的搜索神经网络的方法，我们搜索神经网络结构，通过重新连接相应的图和预测的结构性能的图形属性。因为我们没有在整个图空间上执行机器学习，而是使用预测的架构性能来搜索架构，所以搜索过程非常高效。我们发现基于图的搜索可以给出一个合理的好的预测理想的架构。此外，我们发现图形属性是有效的预测架构性能。我们的工作提出了一种新的方法来搜索神经结构，并提供了神经结构设计的见解。
2021-12-15 cs.LG
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification
Korea University（高丽大学）；Hallym University（翰林大学）；Kyung Hee University（庆熙大学）
随着深度神经网络在各种任务中实现前所未有的性能，用于设计具有自动化过程的神经网络架构的研究领域神经架构搜索（NAS）正在积极进行中。最近，可区分NAS通过将搜索成本降低到训练单个网络的水平而产生了巨大的影响。此外，定义待搜索的候选架构的搜索空间直接影响最终架构的性能。在本文中，我们提出了一个适应计划的搜索空间通过引入一个搜索范围。ProxylessNAS的图像分类任务证明了所提出的方法的有效性。此外，我们可视化的架构参数更新的轨迹，并提供见解，以改善架构搜索。
2022-06-05 cs.LG
An Artificial Neural Network Architecture Based on Context Transformations in Cortical Minicolumns
皮质微柱被认为是皮质组织的模型。它们的功能仍然是一个研究的来源，并没有在人工智能算法的现代网络结构中得到适当的反映。我们假设它的功能，并在本文中描述它。此外，我们展示了这个建议如何允许构建一个新的架构，这不是基于卷积神经网络，测试它的MNIST数据和接收接近卷积神经网络的准确性。我们还表明，所提出的架构具有训练少量的样本的能力。为了实现这些结果，我们使minicolumns记住上下文转换。
2017-12-16 cs.CV cs.LG cs.NE
Neural Architecture Search as Program Transformation Exploration
University of Edinburgh（爱丁堡大学）
提高深度神经网络（DNN）的性能对编译器和神经架构搜索（NAS）社区都很重要。编译器应用程序转换以便利用硬件并行性和存储层次结构。然而，合法性问题意味着他们未能利用神经网络的自然鲁棒性。相比之下，NAS技术通过诸如卷积的分组或检查之类的操作来改变网络，从而利用DNN的弹性。在这项工作中，我们表示这样的神经架构操作程序转换的合法性取决于一个概念的代表能力。这允许它们与现有的转换组合成统一的优化框架。这种统一使我们能够将现有的NAS操作表示为更简单的转换的组合。至关重要的是，它允许我们生成和探索新的张量卷积。我们在TVM中对组合框架进行了原型设计，并能够在不同的DNN中找到优化，从而显着减少推理时间-在大多数情况下超过3 $\times$。此外，我们的计划大大减少了NAS搜索时间。代码位于~ \href{https://github.com/jack-willturner/nas-as-program-transformation-exploration}{this https url}。
2021-02-12 cs.LG cs.PL
Edge-featured Graph Neural Architecture Search
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
图神经网络（GNNs）已经成功地应用于许多关系任务中的图上的学习表示。近年来，研究者们开始研究神经网络结构搜索（NAS），以减少对人类经验的依赖，探索更好的GNN结构，但这些研究过于强调实体特征，而忽略了隐藏在边缘中的潜在关系信息。为了解决这个问题，我们将边缘特征纳入图搜索空间，并提出边缘特征图神经网络结构搜索，以找到最佳的GNN结构。具体来说，我们设计了丰富的实体和边缘更新操作来学习高阶表示，从而传达更通用的消息传递机制。此外，在我们的搜索空间中的架构拓扑允许探索实体和边缘的复杂特征依赖，这可以有效地优化可微搜索策略。在六个数据集上的三个图形任务的实验表明，EGNAS可以搜索更好的GNN，其性能高于当前最先进的人类设计和基于搜索的GNN。
2021-09-03 cs.AI cs.CV cs.LG
Towards modular and programmable architecture search
Petuum；Carnegie Mellon University（卡内基梅隆大学）；TU Wien（维也纳技术大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
神经架构搜索方法能够以专家的最小努力找到高性能深度学习架构。然而，当前的系统专注于特定的用例（例如，卷积图像分类器和递归语言模型），使得它们不适合专家可能希望编写的一般用例。超参数优化系统是通用的，但缺乏易于应用于架构搜索所需的构造。在这项工作中，我们提出了一个形式语言编码搜索空间一般计算图。语言结构允许我们编写模块化的、可组合的和可重用的搜索空间编码，并对搜索空间设计进行推理。我们使用我们的语言编码的搜索空间的架构搜索文献。该语言允许我们解耦搜索空间和搜索算法的实现，允许我们通过一致的接口向搜索算法公开搜索空间。我们的实验表明，我们可以很容易地尝试不同的组合搜索空间和搜索算法，而不必从头开始实现每个组合。我们在本文中发布了我们语言的实现。
2019-09-30 cs.AI cs.LG stat.ML
Towards One Shot Search Space Poisoning in Neural Architecture Search
University of Toronto（多伦多大学）；ML Collective
我们评估的鲁棒性的神经架构搜索（NAS）算法被称为高效NAS（ENAS）对数据不可知的中毒攻击的原始搜索空间精心设计的无效操作。我们经验证明我们的一杆搜索空间中毒的方法利用ENAS控制器的设计缺陷，降低分类任务的预测性能。只需将两个中毒操作注入搜索空间，我们就可以在CIFAR-10数据集上将子网络的预测出错率提高到90%。
2021-11-13 cs.AI cs.LG cs.NE
On Redundancy and Diversity in Cell-based Neural Architecture Search
University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
搜索结构单元是NAS中的一个主要范例。然而，很少有人关注的分析，基于细胞的搜索空间，即使它是非常重要的NAS的持续发展。在这项工作中，我们从流行的基于细胞的搜索空间的架构进行经验事后分析，发现现有的搜索空间包含高度的冗余：架构性能是最低限度的敏感性变化在大部分的细胞，和普遍采用的设计，如显式搜索减少细胞，显着增加的复杂性，但对性能的影响非常有限。在通过不同的搜索策略发现的架构中，我们始终发现，对架构性能有影响的单元部分通常遵循相似且简单的模式。通过明确地约束细胞，包括这些模式，随机抽样的架构可以匹配，甚至优于最先进的。这些发现投下怀疑我们的能力，发现真正新颖的架构，在现有的基于细胞的搜索空间，并激发我们的改进建议，以指导未来的NAS研究。代码可在https://github.com/xingchenwan/cell-based-NAS-analysis上获得。
2022-03-16 cs.AI cs.LG stat.ML
Single-level Optimization For Differential Architecture Search
本文指出，在双层优化框架下，差分结构搜索（DARTS）使结构参数的梯度偏向于网络权值，结构参数在不同数据集中交替更新。偏差导致不可学习操作的架构参数超过可学习操作的架构参数。此外，使用softmax作为架构参数的激活函数和不适当的学习率会加剧偏差。因此，经常可以观察到，不可学习的操作在搜索阶段占主导地位。为了减少偏差，我们建议使用单级优化来代替双层优化，并使用非竞争性激活函数（如sigmoid）来代替softmax。因此，我们可以稳定地寻找高性能的体系结构。在NAS Benchmark 201上的实验验证了我们的假设，并稳定地找到了接近最优的架构。在DARTS空间上，我们在ImageNet-1 K上以77.0%的top1准确率搜索最先进的架构（训练设置遵循PDARTS，没有任何额外的模块），并稳定地搜索架构，高达76.5%的top1准确率（但不是从搜索的架构中选择最好的），这与当前报告的最佳结果相当。
2020-12-15 cs.LG
Transformation Invariant Cancerous Tissue Classification Using Spatially Transformed DenseNet
University of Sharjah（沙迦大学）
在这项工作中，我们引入了一个空间变换的DenseNet架构的变换不变分类的癌症组织。我们的架构提高了基础DenseNet架构的准确性，同时增加了以变换不变方式操作的能力，同时比试图提供某种形式的不变性的其他模型更简单。
2022-04-23 cs.CV cs.LG eess.IV
Making Differentiable Architecture Search less local
Spotify；University of Bristol（布里斯托大学）
神经结构搜索（NAS）是一种用于自动设计神经网络结构的新方法。可区分神经结构搜索（DARTS）是一种很有前途的NAS方法，可以显著提高搜索效率。然而，它已被证明遭受性能崩溃，搜索往往导致有害的架构。许多最近的作品试图解决这个问题的DARTS通过识别指标提前停止，定期搜索目标，以减少一些操作的主导地位，或改变参数化的搜索问题。在这项工作中，我们假设性能崩溃可能是由于典型的初始架构和权重的局部最优值不佳而引起的。我们通过开发一个更全局的优化方案来解决这个问题，该方案能够在不改变DARTS问题公式的情况下更好地探索空间。我们的实验表明，我们的搜索算法的变化，允许发现的架构，更好的测试性能和更少的参数。
2021-04-21 cs.LG
Optimizing Time Series Forecasting Architectures: A Hierarchical Neural Architecture Search Approach
Institute of Artificial Intelligence（人工智能研究所）；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）
本文提出一种层次化神经架构搜索方法，通过设计层次化搜索空间高效组合多种预测模块，在长期时间序列预测任务上搜索出轻量级高性能架构。
2025-10-23 cs.LG
Revisiting Architecture-aware Knowledge Distillation: Smaller Models and Faster Search
KAIST（韩国科学技术院）；Qualcomm Korea YH（高通韩国YH）
知识蒸馏（KD）是近年来兴起的一种压缩神经网络的方法。在最近的研究中，已经提出了同时找到学生模型的参数和结构的广义蒸馏方法。尽管如此，这种搜索方法需要大量计算来搜索架构，并且具有在其搜索空间中仅考虑卷积块的缺点。本文介绍了一种新的算法，被称为信任域感知体系结构搜索有效地提取知识（TRADE），快速发现有效的学生体系结构，从几个国家的最先进的体系结构，使用信任域贝叶斯优化方法。实验结果表明，我们提出的TRADE算法一致优于传统的NAS方法和KD训练下的预定义架构。
2022-06-27 cs.LG
Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?
Michigan State University（密歇根州立大学）
现有的神经架构搜索（NAS）方法要么使用不能很好地扩展的离散编码来编码神经架构，要么采用基于监督学习的方法来联合学习架构表示并优化在引起搜索偏差的这种表示上的架构搜索。尽管广泛使用，在NAS中学习的体系结构表示仍然知之甚少。我们观察到，如果架构表示学习和搜索耦合，神经架构的结构属性很难保持在潜在空间中，导致搜索性能不太有效。在这项工作中，我们根据经验发现，仅使用神经架构而不使用其准确性作为标签的预训练架构表示大大提高了下游架构搜索效率。为了解释这些观察结果，我们可视化了无监督架构表示学习如何更好地鼓励具有相似连接和运算符的神经架构聚集在一起。这有助于将具有相似性能的神经架构映射到潜在空间中的相同区域，并使潜在空间中的架构过渡相对平滑，这大大有利于不同的下游搜索策略。
2020-10-24 cs.CV cs.LG
Conceptual Expansion Neural Architecture Search (CENAS)
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
架构搜索为某些任务优化神经网络的结构，而不是依赖于手动编写。然而，它很慢，因为每个潜在的架构通常都是从头开始训练的。在本文中，我们提出了一种称为概念扩展神经结构搜索（CENAS）的方法，该方法将样本效率，计算创造力启发的迁移学习方法与神经结构搜索相结合。这种方法通过转移现有的权重来近似新模型的参数，比朴素的体系结构搜索更快地找到模型。它通过允许添加特征而不是仅修改现有特征来优于标准迁移学习。我们证明了我们的方法在各种迁移学习任务的效率，性能和参数计数方面优于标准神经结构搜索和迁移学习方法。
2021-10-07 cs.LG
Towards Less Constrained Macro-Neural Architecture Search
Universidade da Beira Interior（贝拉内格罗大学）
使用神经架构搜索（NAS）发现的网络在各种任务中实现了最先进的性能，性能超过了人类设计的网络。然而，大多数NAS方法严重依赖于约束搜索的人类定义的假设：架构的外骨架，层数，参数选择和搜索空间。此外，公共搜索空间由可重复的模块（单元）组成，而不是通过设计整个架构（宏搜索）来充分探索架构的搜索空间。施加这样的限制需要深厚的人类专业知识，并将搜索限制在预定义的设置中。在本文中，我们提出了LCMNAS，一种方法，推动NAS的约束较少的搜索空间，通过执行宏搜索，而不依赖于预定义的算法或有界的搜索空间。LCMNAS为NAS管道引入了三个组件：i）利用关于公知架构的信息来基于具有隐藏属性的加权有向图自主地生成复杂搜索空间的方法，ii）从头开始生成完整架构的进化搜索策略，及iii）混合-一种性能评估方法，将初始化阶段的架构信息与较低的保真度评估相结合，以推断其可训练性和能力，模拟复杂函数。我们在13个不同的数据集上进行了实验，结果表明LCMNAS能够以最小的GPU计算量和最先进的结果生成基于细胞和宏的架构。此外，我们对不同NAS组件在基于小区和宏的设置中的重要性进行了广泛的研究。再现性代码在https://github.com/VascoLopes/LCMNAS上公开。
2023-01-06 cs.AI cs.CV cs.LG
FreeAugment: Data Augmentation Search Across All Degrees of Freedom
Technion - Israel Institute of Technology（以色列理工学院）
本文提出 FreeAugment，一种完全可微的自动数据增强搜索方法，首次同时全局优化变换数量、类型、顺序和幅度，并在多领域基准上达到最先进性能。
2024-09-07 cs.AI cs.CV cs.LG
EPNAS: Efficient Progressive Neural Architecture Search
Google Brain（谷歌大脑）；Google Cloud AI（谷歌云人工智能）；Baidu Research（百度研究院）；Horizon Robotics（地平线机器人）；University of Nevada（内华达大学）；Landing AI
在本文中，我们提出了有效的渐进式神经架构搜索（EPNAS），神经架构搜索（NAS），有效地处理大搜索空间，通过一种新的渐进式搜索策略与性能预测的基础上，REINFORCE~ \cite{Williams.1992.PG}。EPNAS旨在并行搜索目标网络，这在GPU/TPU集群等并行系统上更具可扩展性。更重要的是，EPNAS可以推广到具有多个资源约束的架构搜索，\eg，模型大小，计算复杂性或强度，这对于在移动和云等广泛平台中部署至关重要。我们使用CIFAR 10和ImageNet将EPNAS与其他最先进的（SoTA）网络架构（\eg，MobileNetV 2 ~ \cite{mobilenetv2}）和高效的NAS算法（\eg，ENAS~ \cite{pham2018efficient}和PNAS~ \cite{Liu2017b}）进行图像识别任务的比较。在这两个数据集上，EPNAS的\wrt结构的搜索速度和识别精度都优于EPNAS。
2019-07-07 cs.LG
ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search
SYSU（中山大学）
如何快速、准确地发现和评估模型的真实强度是神经结构搜索（NAS）的关键挑战之一。为了解决这个问题，我们提出了一个架构驱动的权重预测（ADWP）的神经架构搜索（NAS）的方法。在我们的方法中，我们首先设计一个结构密集的搜索空间，然后训练一个超网络输入随机编码的结构参数。在训练好的超网络中，卷积核的权重可以很好地预测搜索空间中的神经结构。因此，目标架构可以有效地评估，而无需任何微调，从而使我们能够在通用网络的空间中搜索最佳架构（宏搜索）。通过实际的实验，我们评估了所提出的AD-WPNAS发现的模型的性能，结果表明，一个搜索过程可以在CIFAR-10上在4.0 GPU小时内完成。此外，所发现的模型仅用1.52M个参数就获得了2.41%的测试误差，这优于现有的最佳模型。
2020-03-03 cs.LG cs.NE
Trends in Neural Architecture Search: Towards the Acceleration of Search
Korea University（高丽大学）；Hongik University（弘益大学）；Hallym University（翰林大学）
在现代深度学习研究中，寻找最优（或接近最优）的神经网络模型是主要的研究方向之一，在许多应用中得到了广泛的研究。本文将神经结构搜索的主要研究方向归纳为神经进化算法、基于强化学习的算法和一次性结构搜索方法。最后对三大研究趋势进行了比较。最后，对NAS未来的研究方向进行了展望。
2021-08-19 cs.LG
SONAR: Joint Architecture and System Optimization Search
Carnegie Mellon University（卡内基梅隆大学）；OctoML
越来越需要在各种新硬件平台上为不同任务部署机器学习。这样的部署场景需要解决多个挑战，包括识别可以实现合适的预测准确性的模型架构（架构搜索），以及找到模型的有效实现以满足底层硬件特定的系统约束，例如延迟（系统优化搜索）。现有的工作处理架构搜索和系统优化搜索作为单独的问题，并解决它们的顺序。在本文中，我们建议联合解决这些问题，并介绍了一种简单但有效的基线方法，称为声纳，交织这两个搜索问题。SONAR旨在通过对两个搜索过程应用提前停止来有效地优化预测准确性和推理延迟。我们在多个不同硬件后端上的实验表明，SONAR识别接近最佳架构的速度比蛮力方法快30倍。
2022-08-25 cs.LG
A Neural Architecture Search Method using Auxiliary Evaluation Metric based on ResNet Architecture
Key Laboratory of Intelligent Computing；Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University Xiangtan Hunan China；Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University
本文提出基于ResNet框架的神经架构搜索空间，将验证集损失值作为辅助优化目标，在MNIST、Fashion-MNIST和CIFAR100数据集上成功找到了具竞争力的网络架构。
2025-05-02 cs.AI cs.CV cs.LG
You Only Search Once: On Lightweight Differentiable Architecture Search for Resource-Constrained Embedded Platforms
Nanyang Technological University（南洋理工大学）
受益于搜索效率，可区分神经架构搜索（NAS）已发展成为自动设计竞争性深度神经网络（DNN）的最主要替代方案。我们注意到，DNN必须在现实世界场景中严格的硬性能约束下执行，例如，自动驾驶汽车上的运行时延迟。然而，为了获得满足给定性能约束的架构，先前的硬件感知可区分NAS方法必须重复过多的搜索运行以通过试错来手动调整超参数，因此总设计成本成比例地增加。为了解决这个问题，我们引入了一个轻量级的硬件感知的可区分NAS框架，称为LightNAS，努力通过一次性搜索找到满足各种性能约束的所需架构（即，\underline{\textit{you only search once}}）。进行了大量的实验，以显示LightNAS比以前的国家的最先进的方法的优越性。
2022-08-30 cs.LG
RAPDARTS: Resource-Aware Progressive Differentiable Architecture Search
Sandia National Laboratories（桑迪亚国家实验室）；University of California Santa Barbara（加州大学圣巴巴拉分校）
早期的神经网络架构是由所谓的“研究生血统”设计的。从那时起，神经架构搜索（NAS）领域的发展目标是在算法上设计为感兴趣的数据集量身定制的架构。最近，已经创建了基于梯度的NAS方法来快速执行搜索。与替代NAS方法相比，基于代理的方法对搜索施加了更多的结构，从而实现了更快的搜索阶段优化。在现实世界中，衡量神经架构性能的不仅仅是高精度。人们越来越需要高效的神经架构，其中还必须考虑模型大小或延迟等资源。基于代理的NAS也适用于这种多目标优化。在这项工作中，我们扩展了一个流行的基于梯度的NAS方法，以支持一个或多个资源成本。然后，我们进行深入的分析，发现满足单资源约束的分类CIFAR-10的架构。
2019-11-08 cs.LG
Neural Architecture Search Over a Graph Search Space
Jagiellonian University（雅盖隆大学）；Google AI（谷歌人工智能）
神经架构搜索（NAS）使许多领域的最先进的架构的发现。然而，NAS的成功取决于搜索空间的定义。当前搜索空间被定义为一个静态的决策序列和一组可用的行动，为每个决策。每个可能的操作序列定义了一个架构。我们提出了一类更具表现力的搜索空间：有向图。在我们的形式主义中，每个决策都是一个顶点，每个动作都是一条边。这允许我们对迭代和分支架构设计决策进行建模。我们在模拟和图像分类实验中展示了基本的迭代和分支搜索结构，并表明图形表示提高了样本效率。
2019-07-31 cs.LG stat.ML
Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars
University of Freiburg（弗赖堡大学）；University of Oxford（牛津大学）
本文提出基于上下文无关文法的统一分层NAS搜索空间构建框架，并设计适配贝叶斯优化的分层核，以支持在超大空间中搜索完整架构并取得优于现有方法的效果。
2023-12-08 cs.AI cs.CV cs.LG
Scalable Reinforcement Learning-based Neural Architecture Search
University of Antwerp（安特卫普大学）；imec（校际微电子中心）；IDLab - Faculty of Applied Engineering（IDLab应用工程学院）
本文提出一种基于强化学习的神经架构搜索方法，智能体学习搜索良好架构而非返回单一最优解，实验表明该方法在搜索空间大小方面具有强可扩展性，但对超参数变化的鲁棒性有限。
2024-10-02 cs.LG
CrossGMN: Graph Metanetworks for Cross-Architecture Weight-Space Transformations
Technion – Israel Institute of Technology（以色列理工学院）；NVIDIA Research（英伟达研究院）
针对跨架构权重空间变换，提出CrossGMN图元网络，通过对称保持的跨网络消息传递实现等变算子，具备普适性，在模型压缩中加速蒸馏最高8.89倍并支持跨数据集迁移。
2026-10-02 cs.LG
DFG-NAS: Deep and Flexible Graph Neural Architecture Search
Peking University（北京大学）
图神经网络（GNN）已被广泛应用于各种基于图的应用。尽管它们取得了成功，但手动设计行为良好的GNN需要大量的人类专业知识。因此，发现潜在的最佳数据特定GNN架构是低效的。本文提出了DFG-NAS，这是一种新的神经架构搜索（NAS）方法，可以自动搜索非常深入和灵活的GNN架构。与大多数专注于微架构的现有方法不同，DFG-NAS突出了另一个设计层次：寻找关于原子传播（\textbf{\texttt{P}}）和转换（\textbf{\texttt{T}}）操作如何集成和组织到GNN中的宏架构。为此，DFG-NAS提出了一种新的基于消息传递分解的\textbf{\texttt{P-T}}排列组合搜索空间，定义了四种自定义宏结构突变，并采用进化算法进行了高效的搜索。四个节点分类任务的实证研究表明，DFG-NAS优于最先进的手工设计和GNN的NAS方法。
2022-06-17 cs.LG
GraphPAS: Parallel Architecture Search for Graph Neural Networks
Central South University（中南大学）；State Grid Hunan Electric Power Company Limited（国网湖南省电力有限公司）；Alibaba Group（阿里巴巴集团）
近年来，随着图神经网络在非欧数据上的成功应用，图神经结构搜索受到了广泛关注。然而，在巨大的搜索空间中探索所有可能的GNN架构对于大图数据来说太耗时或不可能。在本文中，我们提出了一个并行图结构搜索（GraphPAS）框架的图神经网络。在GraphPAS中，我们通过设计一种基于共享的进化学习来并行探索搜索空间，这可以在不损失准确性的情况下提高搜索效率。此外，动态地采用结构信息熵作为变异选择概率，减少了空间探索。实验结果表明，GraphPAS在效率和准确性方面同时优于最先进的模型。
2021-12-07 cs.LG
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
Tongji University（同济大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，微分搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而，这些方法在评估搜索的架构或将其转移到另一个数据集时通常报告较低的准确性。这可以说是由于搜索和评估场景中的架构深度之间的巨大差距。在本文中，我们提出了一个有效的算法，它允许搜索架构的深度逐渐增长的训练过程中。这带来了两个问题，即较重的计算开销和较弱的搜索稳定性，我们解决了搜索空间近似和正则化，分别。通过显著减少搜索时间（在单个GPU上约7小时），我们的方法在代理数据集（CIFAR10或CIFAR100）和目标数据集（ImageNet）上都实现了最先进的性能。代码可在https://github.com/chenxin061/pdarts上获得。
2019-04-29 cs.CV cs.LG
Fine-Grained Stochastic Architecture Search
Google Research（谷歌研究院）
最先进的深度网络通常太大，无法部署在移动设备和嵌入式系统上。移动神经架构搜索（NAS）方法可以自动设计小型模型，但最先进的NAS方法运行成本很高。微分神经结构搜索（DNAS）方法降低了搜索成本，但探索候选结构的有限子空间。在本文中，我们介绍了细粒度随机架构搜索（FiGS），一个可微的搜索方法，搜索一个更大的候选架构集。FIGS同时选择和修改搜索空间中的操作符，通过应用基于逻辑斯谛克-S形分布的结构化稀疏正则化惩罚。我们展示了3个现有搜索空间的结果，匹配或优于原始搜索算法，并在ImageNet上生成最先进的参数高效模型（例如，75.4% top-1，2.6M参数）。使用我们的架构作为SSDLite目标检测的骨干，我们在COCO上实现了显著更高的mAP（例如，25.8具有3.0M参数）比MobileNetV 3和MnasNet。
2020-06-17 cs.LG stat.ML
Data Aware Differentiable Neural Architecture Search for Tiny Keyword Spotting Applications
Technical University of Denmark (DTU)（丹麦技术大学）
本文提出数据感知可微分神经架构搜索，将数据配置参数纳入搜索空间，协同优化模型架构与输入数据特征，在关键词识别任务中实现资源与性能的平衡，生成精简且高精度的 TinyML 系统。
2025-07-21 cs.LG
Across-Task Neural Architecture Search via Meta Learning
Zhejiang University of Technology（浙江工业大学）
充足的标记数据和昂贵的计算资源是神经结构搜索成功的前提。在计算资源和数据有限的元学习场景中应用NAS具有挑战性。在本文中，跨任务的神经架构搜索（AT-NAS）提出了解决这个问题，通过结合基于梯度的元学习和EA的NAS学习的任务分布。超网通过元学习其权重来学习整个任务集。从超网中采样的结构编码迭代地适应进化算法，同时搜索一个任务敏感的元网络。搜索元网络可以通过几个学习步骤来适应新的任务，并且只需要很少的搜索时间。实验结果表明，AT-NAS在Few-Shot分类精度上优于相关方法。AT-NAS在分类基准测试中的性能与从头开始搜索的模型相当，通过在不到一个小时的时间内从5-GPU-天的预训练元网络中调整架构。
2021-10-12 cs.LG
Neighborhood-Aware Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）
现有的神经架构搜索（NAS）方法通常返回一个具有良好搜索性能的架构，但推广到测试设置很差。为了实现更好的推广，我们提出了一种新的邻域感知NAS制定，以确定在搜索空间的平坦极小架构，与平坦的极小推广比尖锐的极小的假设。短语"平坦最小架构“是指在架构中的小扰动下性能稳定的架构（例如，用跳跃连接代替卷积）。我们的配方需要考虑到“平面度”的架构，通过聚合的性能超过该架构的邻域。我们展示了一个原则性的方式来应用我们的配方现有的搜索算法，包括基于采样的算法和基于梯度的算法。为了便于应用于基于梯度的算法，我们还提出了一个可微表示的邻域的架构。基于我们的公式，我们提出了邻域感知随机搜索（NA-RS）和邻域感知可微结构搜索（NA-DARTS）。值得注意的是，通过简单地使用我们的公式增强DARTS，NA-DARTS的性能优于DARTS，并在已建立的基准测试中实现了最先进的性能，包括CIFAR-10，CIFAR-100和ImageNet。
2021-10-29 cs.CV cs.LG
D-DARTS: Distributed Differentiable Architecture Search
Université Paris-Saclay（巴黎萨克雷大学）；MIT（麻省理工学院）
可区分的ARCHITERMS搜索（DARTS）是最流行的神经架构搜索（NAS）方法之一。它通过权重共享大大降低了搜索成本。然而，它也大大减少了搜索空间，从而排除了潜在的有前途的架构。在本文中，我们提出了D-DARTS，这是一种解决方案，它通过在细胞级别嵌套神经网络来解决这个问题，而不是使用权重共享来产生更多样化和专业化的架构。此外，我们引入了一种新的算法，可以从一些训练过的细胞中获得更深的架构，提高性能并节省计算时间。此外，我们还提出了一种替代的搜索空间（DARTOpti），在其中我们优化了现有的手工架构（例如，而不是从头开始。这种方法伴随着一个新的度量，该度量在我们的自定义搜索空间内测量架构之间的距离。我们的解决方案在多个计算机视觉任务上达到了具有竞争力的性能。代码和预训练模型可以在https://github.com/aheuillet/D-DARTS上访问。
2022-11-01 cs.CV cs.LG
BNAS v2: Learning Architectures for Binary Networks with Empirical Improvements
GIST（光州科学技术院）；Allen Institute for AI（艾伦人工智能研究所）
大多数二进制网络的主干架构是众所周知的浮点（FP）架构，例如ResNet家族。针对FP网络的结构可能不是二进制网络的最佳结构这一问题，提出了一种二进制网络搜索结构（BNAS），定义了一个新的二进制结构搜索空间和一个新的搜索目标.具体而言，基于基于单元的搜索方法，我们定义了新的二进制层类型的搜索空间，设计了一个新的单元模板，并重新发现的效用，并建议使用Zeroise层，而不是使用它作为占位符。新的搜索目标使早期搜索多样化，以学习性能更好的二进制架构。我们表明，尽管二进制网络中固有的量化误差，我们的方法搜索具有稳定训练曲线的架构。定量分析表明，我们搜索的架构优于最先进的二进制网络中使用的架构，优于或表现与采用各种技术而不是架构变化的最先进的二进制网络。此外，我们进一步提出了改进我们的搜索架构的训练方案。对于我们搜索到的架构，我们采用新的训练方案，通过非平凡的边缘优于所有以前的方法，实现了二进制网络的最先进性能。
2021-10-16 cs.CV cs.LG
Disentangled Neural Architecture Search
Lenovo Research（联想研究院）
近年来，神经结构搜索在各个领域显示出巨大的潜力。然而，现有的方法严重依赖于一个黑盒控制器来搜索架构，这遭受缺乏可解释性的严重问题。在本文中，我们提出了解开神经结构搜索（DNAS），解开隐藏的表示的控制器到语义上有意义的概念，使神经结构搜索过程可解释。在系统研究的基础上，我们发现了网络架构与其性能之间的相关性，并提出了一种密集采样策略，在可能产生性能良好的架构的有希望的区域进行有针对性的搜索。我们证明：1）DNAS成功地解开了架构表示，包括操作选择、跳过连接和层数。2)得益于可解释性，DNAS可以在不同的FLOPS限制下灵活地找到优秀的体系结构。3)密集采样导致神经结构搜索具有更高的效率和更好的性能。在NASBench-101数据集上，DNAS实现了94.21%的最先进性能，计算成本不到基线方法的1/13。在ImageNet数据集上，DNAS发现了达到22.7%测试误差的竞争架构。我们的方法提供了一个新的角度来理解神经结构搜索。
2020-09-24 cs.LG cs.NE stat.ML
