Towards Less Constrained Macro-Neural Architecture Search
Universidade da Beira Interior（贝拉内格罗大学）
使用神经架构搜索（NAS）发现的网络在各种任务中实现了最先进的性能，性能超过了人类设计的网络。然而，大多数NAS方法严重依赖于约束搜索的人类定义的假设：架构的外骨架，层数，参数选择和搜索空间。此外，公共搜索空间由可重复的模块（单元）组成，而不是通过设计整个架构（宏搜索）来充分探索架构的搜索空间。施加这样的限制需要深厚的人类专业知识，并将搜索限制在预定义的设置中。在本文中，我们提出了LCMNAS，一种方法，推动NAS的约束较少的搜索空间，通过执行宏搜索，而不依赖于预定义的算法或有界的搜索空间。LCMNAS为NAS管道引入了三个组件：i）利用关于公知架构的信息来基于具有隐藏属性的加权有向图自主地生成复杂搜索空间的方法，ii）从头开始生成完整架构的进化搜索策略，及iii）混合-一种性能评估方法，将初始化阶段的架构信息与较低的保真度评估相结合，以推断其可训练性和能力，模拟复杂函数。我们在13个不同的数据集上进行了实验，结果表明LCMNAS能够以最小的GPU计算量和最先进的结果生成基于细胞和宏的架构。此外，我们对不同NAS组件在基于小区和宏的设置中的重要性进行了广泛的研究。再现性代码在https://github.com/VascoLopes/LCMNAS上公开。
2023-01-06 cs.AI cs.CV cs.LG
GOLD-NAS: Gradual, One-Level, Differentiable
Huawei Inc.（华为公司）；Tsinghua University（清华大学）；Tongji University（同济大学）
已有大量的神经结构搜索文献，但大多数现有的工作利用启发式规则，在很大程度上限制了搜索的灵活性。在本文中，我们首先放松这些手动设计的约束，并扩大搜索空间，包含更多的$10^{160}$候选人。在新的空间中，大多数现有的可微搜索方法可能会显着失败。然后，我们提出了一种新的算法命名为渐进的一级可微神经结构搜索（GOLD-NAS），它引入了一个可变的资源约束的一级优化，使弱运营商逐渐修剪出的超级网络。在标准的图像分类基准测试中，GOLD-NAS可以在单个搜索过程中找到一系列帕累托最优架构。大多数发现的架构以前从未被研究过，但它们在识别准确性和模型复杂性之间实现了很好的权衡。我们相信，新的空间和搜索算法可以提高可微NAS的搜索。
2020-07-07 cs.CV cs.LG cs.NE
Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness
Rochester Institute of Technology（罗切斯特理工学院）；Amazon Inc.（亚马逊公司）
本文提出RC-NAS框架，通过元训练与微调的双层强化学习范式，在不同数据集、对抗攻击和教师网络条件下快速搜索轻量且对抗鲁棒的子网络，实现自适应压缩。
2024-06-14 cs.AI cs.LG
Distributed creation of Machine learning agents for Blockchain analysis
National School of Mathematics and Natural Sciences（国家数学与自然科学学院）；Comrade Cooperative（Comrade合作社）
创建高效的深度神经网络涉及对拓扑和超参数的重复手动优化。这种人为干预大大抑制了这一过程。最近的出版物提出了各种神经架构搜索（NAS）算法，自动化这项工作。我们已经将一种具有网络态射和贝叶斯优化的自定义NAS算法应用于加密货币预测问题，其结果与我们最好的手动设计模型相当。这与其他团队的发现一致，而几个已知的实验表明，如果有足够的计算能力，NAS算法可以超越人类设计的最先进的神经网络模型。在本文中，我们提出了一种区块链网络协议，该协议激励独立的计算节点运行NAS算法，并为特定任务竞争寻找更好的神经网络模型。如果实现，这样的网络可以成为机器学习模型的自主和自我改进的来源，大大促进和民主化许多行业的人工智能能力。
2019-09-06 cs.CR cs.DC cs.LG
LLM-NAS: LLM-driven Hardware-Aware Neural Architecture Search
Stevens Institute of Technology（史蒂文斯理工学院）；Technical University of Darmstadt（达姆施塔特技术大学）
LLM-NAS通过引入复杂度驱动的分区引擎、架构提示共进化操作符和零成本预测器，实现高精度低延迟的神经架构搜索，显著降低搜索成本。
2025-12-04 cs.LG
Transfer Learning to Learn with Multitask Neural Model Search
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
深度学习模型需要广泛的架构设计探索和超参数优化，才能在给定的任务上表现良好。模型设计空间的探索通常由人类专家进行，并在可能选择的大空间上使用网格搜索和搜索算法的组合进行优化。神经体系结构搜索（NAS）是一种强化学习方法，已被提出用于自动化体系结构设计。NAS已经成功地应用于生成神经网络，可以与最好的人类设计的架构相媲美。然而，NAS需要采样、构建和训练数百到数千个模型，以实现性能良好的架构。对于每个新任务，都需要从头开始执行此过程。NAS的应用程序，以广泛的一组任务目前缺乏一种方法来转移概括的知识跨任务。在本文中，我们提出了多任务神经模型搜索（MNMS）控制器。我们的目标是学习一个可推广的框架，该框架可以将模型构建的成功模型搜索用于先前看到的任务，从而显着加快搜索新任务的速度。我们证明了MNMS可以同时对多个任务进行自动化架构搜索，同时还可以为每个任务学习性能良好的专用模型。然后，我们表明，预先训练的MNMS控制器可以迁移学习到新的任务。通过利用以前搜索的知识，我们发现预训练的MNMS模型从搜索空间中更好的位置开始，并减少了看不见的任务的搜索时间，同时仍然发现优于已发布的人类设计模型的模型。
2017-10-30 cs.AI cs.LG stat.ML
Multi-Objective Evolutionary Neural Architecture Search for Recurrent Neural Networks
University of Pretoria（比勒陀利亚大学）
针对多目标自动化RNN架构搜索的空白，本文提出基于进化算法并利用近似网络态射优化复杂度的方法，获得了性能媲美先进手工RNN且计算需求更低的新架构。
2024-03-17 cs.LG cs.NE
DeepSwarm: Optimising Convolutional Neural Networks using Swarm Intelligence
Department of Computing Science, University \ Aberdeen, Aberdeen AB24 3UE, UK
在本文中，我们提出了DeepSwarm，一种基于群体智能原理的新型神经结构搜索（NAS）方法。DeepSwarm的核心是使用蚁群优化（ACO）来生成蚂蚁种群，蚂蚁种群使用信息素信息来集体搜索最佳神经架构。此外，通过使用局部和全局信息素更新规则，我们的方法确保开发和探索之间的平衡。最重要的是，为了使我们的方法更有效，我们将渐进式神经架构搜索与权重可重用性相结合。此外，由于ACO的性质，我们的方法可以结合启发式信息，可以进一步加快搜索过程。经过系统和广泛的评估，我们发现，在三个不同的数据集（MNIST，Fashion-MNIST和CIFAR-10）相比，现有的系统，我们提出的方法表现出竞争力的性能。最后，我们将DeepSwarm开源为NAS库，希望它能被更多的深度学习研究者和实践者使用。
2019-05-17 cs.LG cs.NE stat.ML
SiamNAS: Siamese Surrogate Model for Dominance Relation Prediction in Multi-objective Neural Architecture Search
University of Nottingham（诺丁汉大学）；University of Surrey（Surrey大学）；Nanyang Technological University（南洋理工大学）
SiamNAS提出用Siamese网络集成代理模型预测架构间支配关系，以92%准确率替代拥挤距离计算，在NAS-Bench-201上以0.01 GPU天找到CIFAR-10最优和ImageNet次优架构，显著降低多目标NAS计算成本。
2025-06-03 cs.AI cs.CV cs.LG
GradSign: Model Performance Inference with Theoretical Insights
Carnegie Mellon University（卡内基梅隆大学）
神经架构搜索（NAS）的一个关键挑战是快速推断各种网络的预测性能，以发现统计上准确且计算效率高的网络。我们将此任务称为模型性能推断（MPI）。有效MPI的当前实践是基于梯度的方法，该方法在初始化时利用网络的梯度来推断其性能。然而，现有的基于梯度的方法仅依赖于启发式度量，缺乏必要的理论基础来巩固其设计。我们提出了GradSign，这是一个准确、简单且灵活的指标，用于通过理论见解进行模型性能推断。GradSign背后的关键思想是在单个训练样本的粒度上分析不同网络的优化景观的数量。理论上，我们证明了在合理的假设下，网络的训练和真实的人口损失都是按比例上界的。此外，我们设计了GradSign，这是一个精确而简单的近似，使用在随机初始化状态下评估的网络梯度。对三个训练数据集的七个NAS基准测试的评估表明，GradSign可以很好地推广到现实世界的网络，并且始终优于Spearman的ρ和Kendall的Tau评估的MPI最先进的基于梯度的方法。此外，我们将GradSign集成到四种现有的NAS算法中，并表明GradSign辅助的NAS算法在三个现实任务中将最佳发现网络的准确性提高了0.3%，1.1%和1.0%，从而优于其普通算法。
2022-06-18 cs.LG
Evolutionary Architecture Search through Grammar-Based Sequence Alignment
Carlos III University of Madrid（马德里卡洛斯三世大学）；University of Edinburgh（爱丁堡大学）；Instituto de Investigación Sanitaria Gregorio Marañón（Gregorio Marañón卫生研究院）；Helmholtz-Zentrum Berlin für Materialien und Energie（柏林材料与能源研究中心）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；University of Glasgow（格拉斯哥大学）
本文提出基于语法规则的进化架构搜索方法，利用改进的Smith-Waterman算法计算编辑距离，提升搜索效率并发现新颖架构。
2026-11-09 cs.AI cs.LG cs.NE
Equivariance-aware Architectural Optimization of Neural Networks
IRIT, University of Toulouse（图卢兹大学IRIT研究所）；ISAE-SUPAERO, University of Toulouse（图卢兹大学高等航空航天学院）；University of Amsterdam（阿姆斯特丹大学）
在神经网络训练期间，将等方差作为对称群的约束可以提高表现出这些对称性的任务的性能和泛化，但这种对称性通常不是完美的，也不是明确存在的。这促使算法优化等方差施加的架构约束。我们提出了等方差松弛态射，它保留了功能，同时重新参数化组等变层，以在子群上进行等方差约束，以及[G]-混合等变层，它混合了约束到不同组的层，以实现层内等方差优化。我们进一步提出了进化和微分神经架构搜索（NAS）算法，利用这些机制分别为等方差意识的架构优化。在各种数据集上的实验表明，动态约束等方差的好处，找到有效的架构与近似等方差。
2023-02-07 cs.LG
SuperShaper: Task-Agnostic Super Pre-training of BERT Models with Variable Hidden Dimensions
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；Robert Bosch Center for Data Science and Artificial Intelligence（罗伯特·博世数据科学与人工智能中心）；Microsoft Research, India（微软印度研究院）
任务不可知的预训练，然后是任务特定的微调是训练NLU模型的默认方法。这些模型需要部署在跨云和边缘的设备上，具有不同的资源和准确性限制。对于给定的任务，在数十台设备上重复预训练和微调是非常昂贵的。我们提出了SuperShaper，这是一种与任务无关的预训练方法，它通过改变形状同时预训练大量的Transformer模型，即，通过改变不同层的隐藏维度。这是通过在每个Transformer层周围具有线性瓶颈矩阵的骨干网络实现的，该线性瓶颈矩阵被切片以生成不同形状的子网络。尽管SuperShaper的设计空间简单，实现高效，但它发现的网络有效地权衡了准确性和模型大小：发现的网络比一系列手工制作和自动搜索的网络在GLUE基准上更准确。此外，我们发现形状作为神经架构搜索（NAS）的设计变量的两个关键优势：（a）可以导出良好形状的算法，并且使用这些算法找到的网络匹配甚至改进了在一系列参数计数范围内仔细搜索的网络，以及（b）跨多个CPU和GPU的网络的延迟对形状不敏感，从而实现设备不可知的搜索。总之，SuperShaper从根本上简化了语言模型的NAS，并发现了跨任务、参数约束和设备进行泛化的网络。
2021-10-10 cs.CL cs.LG
A Novel Sleep Stage Classification Using CNN Generated by an Efficient Neural Architecture Search with a New Data Processing Trick
随着自动睡眠分期技术的发展，许多经典的方法如k-means、决策树、支持向量机等被用于自动睡眠分期。然而，很少有方法在ASSC上探索深度学习。同时，大多数深度学习方法需要广泛的专业知识，并且需要大量的手工步骤，这些步骤非常耗时，特别是在处理多分类任务时。在本文中，我们提出了一个有效的五个睡眠阶段的分类方法，使用卷积神经网络（CNN）与一个新的数据处理技巧，我们设计的神经结构搜索（NAS）技术的基础上遗传算法（GA），NAS-G，搜索最佳的CNN架构。首先，我们为每个核函数附加一个自适应系数，以增强对输入信号的信号处理。这可以增强信息特征的传播，并在网络的早期阶段抑制无用特征的传播。然后，充分利用遗传算法的启发式搜索和不需要梯度的优点，搜索CNN的最佳结构。这可以以最小的成本在大的搜索空间中实现比手工制作的CNN具有更好性能的CNN。我们验证了我们的数据处理技巧的收敛性，并比较了使用我们的技巧前后传统CNN的性能。同时，我们比较了通过NAS-G生成的CNN和传统CNN的性能与我们的技巧。实验表明，采用数据处理技巧的CNN比不采用数据处理技巧的CNN收敛速度更快，采用NAS-G生成的数据处理技巧的CNN也优于采用数据处理技巧的人工CNN。
2022-03-19 cs.LG eess.SP
A Classification of $G$-invariant Shallow Neural Networks
University of Tennessee（田纳西大学）
当试图将深度神经网络（DNN）拟合到具有$G$组的$G$不变目标函数时，只有将DNN约束为$G$不变才有意义。然而，可以有许多不同的方法来做到这一点，从而提出了“$G$不变神经架构设计”的问题：对于给定的问题，最佳的$G$不变架构是什么？在我们考虑优化问题本身之前，我们必须理解搜索空间、搜索空间中的架构以及它们之间的关系。在本文中，我们朝着这一目标迈出了第一步;我们证明了一个定理，给出了所有$G$不变的单隐层或“浅”神经网络的分类（$G$ -SNN）架构，其具有用于任何有限正交群$G$的ReLU激活，我们证明了第二个定理，它刻画了包含映射或"在神经架构搜索（NAS）期间可以利用的架构之间的“网络形态”。该证明是基于每个$G$ -SNN的对应关系的$G$作用于隐藏的神经元的有符号的置换表示;分类等价地给出了$G$的第一上同调类，从而承认拓扑解释。$G$ -SNN结构对应于非平凡上同调类，据我们所知，从来没有明确确定在文献中以前。使用代码实现，我们列举了一些示例组$G$的$G$ -SNN架构，并可视化它们的结构。最后，我们证明了对应于不等价上同调类的结构在函数空间中只有当它们的权矩阵为零时才重合，并讨论了这对NAS的影响。
2023-01-07 cs.LG stat.ML
CONet: Channel Optimization for Convolutional Neural Networks
University of New Brunswick（新不伦瑞克大学）；University of Toronto（多伦多大学）
神经架构搜索（NAS）已经将网络设计从使用人类直觉转变为利用由评估指标指导的搜索算法。我们研究了卷积神经网络（CNN）中的通道大小优化，并确定了它在模型准确性和复杂性中所起的作用。现有的通道尺寸选择方法通常受离散样本空间的限制，同时遭受人工迭代和简单的算法。为了解决这个问题，我们引入了一种有效的动态缩放算法-- CONet --它可以自动优化给定CNN的跨网络层的通道大小。引入了两个度量--“\textit{Rank}“和“\textit{Rank Average Slope}“--来识别训练中积累的信息。该算法在固定的搜索阶段动态地增大或减小信道大小。我们在CIFAR 10/100和ImageNet数据集上进行了实验，结果表明，CONet可以找到在ResNet、DARTS和DARTS+空间中搜索到的高效准确的架构，这些架构的性能优于其基线模型。本文件取代先前在ICCV 2021-NeurArch研讨会上发表的论文。另外一节是关于人工缩放CNN中的信道大小，以数字验证在CNN中搜索最佳信道配置时使用的度量。
2022-04-07 cs.CV cs.LG cs.NE
An Intelligent End-to-End Neural Architecture Search Framework for Electricity Forecasting Model Development
School of Management（管理学院）；Harbin Institute of Technology（哈尔滨工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出了一种智能自动化架构搜索（IAAS）框架，通过结合保持网络函数的转换操作、基于强化学习的网络转换控制和启发式网络筛选，解决了电力预测模型结构设计不灵活的问题，显著提升了预测准确性和稳定性。
2024-06-01 cs.LG
Monte-Carlo Search for an Equilibrium in Dec-POMDPs
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）
本文针对仅有模拟器的Dec-POMDPs，提出基于仿真的MC-JESP方法逐节点构建有限状态控制器以寻求纳什均衡，实验证明其优于多数离线方法。
2023-05-19 cs.AI
Discovering Sparse Recovery Algorithms Using Neural Architecture Search
Computer Engineering New York University New York, USA（计算机工程 新 York 大学 新 York 美国）；Computer Engineering University of California, Riverside Riverside, USA（计算机工程 加州大学河滨分校 河滨 美国）；Tandon School of Engineering New York University New York, USA（Tandon 工程学院 新 York 大学 新 York 美国）
本文通过神经架构搜索方法发现稀疏恢复算法，重新发现ISTA和FISTA，并展示其在不同数据分布中的应用。
2025-12-25 cs.LG
Traditional and accelerated gradient descent for neural architecture search
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Universidad Católica Andrés Bello（安德烈斯·贝略天主教大学）；University of Maryland（马里兰大学）
在本文中，我们介绍了两种算法的神经结构搜索（NASGD和NASAGD）的理论工作，由两位作者[5]，其中使用的几何结构的最佳运输，介绍了新的概念，传统的和加速梯度下降算法的概念基础上的半离散空间上的函数的优化。我们的算法使用[2]中引入的网络态射框架作为基线，可以分析40倍于爬山方法的架构[2，14]，同时使用相同的计算资源和时间，并达到可比的准确度水平。例如，在CIFAR-10上使用NASGD，我们的方法在单个GPU上仅用12小时就设计和训练了出错率为4.06的网络。
2021-02-14 cs.LG cs.NA cs.NE
RT-RCG: Neural Network and Accelerator Search Towards Effective and Real-time ECG Reconstruction from Intracardiac Electrograms
Rice University（莱斯大学）；Texas Heart Institute（德克萨斯心脏研究所）
在起搏器提供的信号方面存在差距（即，心内电描记图（EGM））和医生使用的信号（即，12-导联心电图（ECG））以诊断异常节律。因此，前者，即使远程传输，也不足以让医生提供精确的诊断，更不用说做出及时的干预。为了缩小这一差距，并朝着对不规则和罕见室性心律的即时响应进行实时的【形】关键干预迈出了启发性的一步，我们提出了一个名为RT-RCG的新框架，用于自动搜索（1）有效的深度神经网络（DNN）结构，然后（2）相应的加速器，以实现从EGM信号实时的【形】和高质量地重建ECG信号。具体而言，RT-RCG提出了一种新的DNN搜索空间，专为从EGM信号进行ECG重建而定制，并结合了可微分加速度搜索（DAS）引擎，以有效地在大型离散加速器设计空间中导航，从而生成优化的加速器。各种设置下的大量实验和消融研究一致验证了我们的RT-RCG的有效性。据我们所知，RT-RCG是第一个利用神经架构搜索（NAS）同时解决重建功效和效率的公司。
2021-11-04 cs.AR cs.LG
InTrain: Intrinsic Trainability for Zero-Cost Neural Architecture Search
School of Computer and Data Science, Fuzhou University（福州大学计算机与数据科学学院）；School of Computer and Data Science, Minjiang University（闽江学院计算机与数据科学学院）；School of Artificial Intelligence, Nanchang University（南昌大学人工智能学院）；Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系）；School of Interdisciplinary Medicine and Engineering, Harbin Medical University（哈尔滨医科大学跨学科医学与工程学院）
提出统一理论代理InTrain，通过几何容量和优化韧性两个协同成分形式化架构的可训练性，在NAS基准上达到与集成方法相当的排序相关性。
2026-06-18 cs.CV cs.LG
Cellular-Connected UAVs over 5G: Deep Reinforcement Learning for Interference Management
The University of Edinburgh（爱丁堡大学）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；Alpen-Adria-Universität Klagenfurt（克拉根福大学）
针对蜂窝互联无人机网络，提出了一种干扰感知的路径规划方案。每个无人机的目标是在最大化能量效率和最小化无线延迟以及对地面网络造成的干扰水平之间进行权衡，该问题被视为无人机之间的动态博弈。为了解决这个问题，提出了一种基于回声状态网络（ESN）单元的深度强化学习算法。引入的深度ESN架构经过训练，允许每个UAV将网络状态的每个观察映射到动作，目标是最小化一系列时间相关的效用函数。每架无人机使用ESN学习其最优路径、发射功率水平和路径上不同位置的小区关联向量，算法收敛后达到子博弈完美纳什均衡（SPNE）。此外，无人机的高度的上限和下限的推导，从而降低了所提出的算法的计算复杂性。仿真结果表明，该方案实现了更好的无线延迟每无人机和速率每地面用户（UE），而需要的步骤数是一个启发式的基线，考虑通过最短的距离向相应的目的地移动。结果还表明，无人机的最佳高度根据地面网络密度和UE数据率要求而变化，并且在最小化地面UE上的干扰水平以及无人机的无线传输延迟方面起着至关重要的作用。
2018-01-16 cs.AI cs.GT cs.IT
Neural Architecture Search in Graph Neural Networks
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
由于关系信息的普遍存在和大量可用性，对图数据执行分析任务变得越来越有趣。然而，与图像或句子不同，网络中没有序列的概念。节点（和边）没有绝对的顺序，传统的机器学习（ML）算法很难识别模式并将其预测推广到这类数据上。图神经网络（GNN）成功地解决了这个问题。它们在卷积概念推广到图域之后变得流行起来。然而，它们拥有大量的超参数，它们的设计和优化目前是手工制作的，基于数学或经验直觉。神经结构搜索（NAS）方法似乎是这个问题的一个有趣的解决方案。在这个方向上，本文比较了两种NAS方法优化GNN：一个基于强化学习和第二个基于进化算法。结果认为7个数据集在两个搜索空间，并表明这两种方法获得类似的精度随机搜索，提出了问题的搜索空间的尺寸有多少实际上是相关的问题。
2020-07-31 cs.LG cs.NE
