Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?
Michigan State University(密歇根州立大学)
现有的神经架构搜索(NAS)方法要么使用不能很好地扩展的离散编码来编码神经架构,要么采用基于监督学习的方法来联合学习架构表示并优化在引起搜索偏差的这种表示上的架构搜索。尽管广泛使用,在NAS中学习的体系结构表示仍然知之甚少。我们观察到,如果架构表示学习和搜索耦合,神经架构的结构属性很难保持在潜在空间中,导致搜索性能不太有效。在这项工作中,我们根据经验发现,仅使用神经架构而不使用其准确性作为标签的预训练架构表示大大提高了下游架构搜索效率。为了解释这些观察结果,我们可视化了无监督架构表示学习如何更好地鼓励具有相似连接和运算符的神经架构聚集在一起。这有助于将具有相似性能的神经架构映射到潜在空间中的相同区域,并使潜在空间中的架构过渡相对平滑,这大大有利于不同的下游搜索策略。
2020-10-24 cs.CV cs.LG
Towards Less Constrained Macro-Neural Architecture Search
Universidade da Beira Interior(贝拉内格罗大学)
使用神经架构搜索(NAS)发现的网络在各种任务中实现了最先进的性能,性能超过了人类设计的网络。然而,大多数NAS方法严重依赖于约束搜索的人类定义的假设:架构的外骨架,层数,参数选择和搜索空间。此外,公共搜索空间由可重复的模块(单元)组成,而不是通过设计整个架构(宏搜索)来充分探索架构的搜索空间。施加这样的限制需要深厚的人类专业知识,并将搜索限制在预定义的设置中。在本文中,我们提出了LCMNAS,一种方法,推动NAS的约束较少的搜索空间,通过执行宏搜索,而不依赖于预定义的算法或有界的搜索空间。LCMNAS为NAS管道引入了三个组件:i)利用关于公知架构的信息来基于具有隐藏属性的加权有向图自主地生成复杂搜索空间的方法,ii)从头开始生成完整架构的进化搜索策略,及iii)混合-一种性能评估方法,将初始化阶段的架构信息与较低的保真度评估相结合,以推断其可训练性和能力,模拟复杂函数。我们在13个不同的数据集上进行了实验,结果表明LCMNAS能够以最小的GPU计算量和最先进的结果生成基于细胞和宏的架构。此外,我们对不同NAS组件在基于小区和宏的设置中的重要性进行了广泛的研究。再现性代码在https://github.com/VascoLopes/LCMNAS上公开。
2023-01-06 cs.AI cs.CV cs.LG
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
Tongji University(同济大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近,微分搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而,这些方法在评估搜索的架构或将其转移到另一个数据集时通常报告较低的准确性。这可以说是由于搜索和评估场景中的架构深度之间的巨大差距。在本文中,我们提出了一个有效的算法,它允许搜索架构的深度逐渐增长的训练过程中。这带来了两个问题,即较重的计算开销和较弱的搜索稳定性,我们解决了搜索空间近似和正则化,分别。通过显著减少搜索时间(在单个GPU上约7小时),我们的方法在代理数据集(CIFAR10或CIFAR100)和目标数据集(ImageNet)上都实现了最先进的性能。代码可在https://github.com/chenxin061/pdarts上获得。
2019-04-29 cs.CV cs.LG
A Neural Architecture Search Method using Auxiliary Evaluation Metric based on ResNet Architecture
Key Laboratory of Intelligent Computing;Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University Xiangtan Hunan China;Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University
本文提出基于ResNet框架的神经架构搜索空间,将验证集损失值作为辅助优化目标,在MNIST、Fashion-MNIST和CIFAR100数据集上成功找到了具竞争力的网络架构。
2025-05-02 cs.AI cs.CV cs.LG
Neighborhood-Aware Neural Architecture Search
Carnegie Mellon University(卡内基梅隆大学)
现有的神经架构搜索(NAS)方法通常返回一个具有良好搜索性能的架构,但推广到测试设置很差。为了实现更好的推广,我们提出了一种新的邻域感知NAS制定,以确定在搜索空间的平坦极小架构,与平坦的极小推广比尖锐的极小的假设。短语"平坦最小架构“是指在架构中的小扰动下性能稳定的架构(例如,用跳跃连接代替卷积)。我们的配方需要考虑到“平面度”的架构,通过聚合的性能超过该架构的邻域。我们展示了一个原则性的方式来应用我们的配方现有的搜索算法,包括基于采样的算法和基于梯度的算法。为了便于应用于基于梯度的算法,我们还提出了一个可微表示的邻域的架构。基于我们的公式,我们提出了邻域感知随机搜索(NA-RS)和邻域感知可微结构搜索(NA-DARTS)。值得注意的是,通过简单地使用我们的公式增强DARTS,NA-DARTS的性能优于DARTS,并在已建立的基准测试中实现了最先进的性能,包括CIFAR-10,CIFAR-100和ImageNet。
2021-10-29 cs.CV cs.LG
D-DARTS: Distributed Differentiable Architecture Search
Université Paris-Saclay(巴黎萨克雷大学);MIT(麻省理工学院)
可区分的ARCHITERMS搜索(DARTS)是最流行的神经架构搜索(NAS)方法之一。它通过权重共享大大降低了搜索成本。然而,它也大大减少了搜索空间,从而排除了潜在的有前途的架构。在本文中,我们提出了D-DARTS,这是一种解决方案,它通过在细胞级别嵌套神经网络来解决这个问题,而不是使用权重共享来产生更多样化和专业化的架构。此外,我们引入了一种新的算法,可以从一些训练过的细胞中获得更深的架构,提高性能并节省计算时间。此外,我们还提出了一种替代的搜索空间(DARTOpti),在其中我们优化了现有的手工架构(例如,而不是从头开始。这种方法伴随着一个新的度量,该度量在我们的自定义搜索空间内测量架构之间的距离。我们的解决方案在多个计算机视觉任务上达到了具有竞争力的性能。代码和预训练模型可以在https://github.com/aheuillet/D-DARTS上访问。
2022-11-01 cs.CV cs.LG
Spectral-Morphological Attention U-Net: An Efficient Network for Active Wildfire Detection
University of Windsor(温莎大学)
针对全球野火频发,基于卫星图像的机器学习方法在野火检测有潜力。提出光谱形态注意力U-Net模型,含多种模块,用两数据集训练评估,模型在数据集中得分高,模块整合提高分割一致性,未来将跨数据集验证其通用性。
2026-07-21 cs.CV cs.LG
Task-Aware Neural Architecture Search
Duke University(杜克大学)
手工制作的神经网络的设计需要大量的时间和资源。神经结构搜索(NAS)中的最新技术已被证明是有竞争力的或优于传统的手工设计,尽管它们需要领域知识,并且通常使用有限的搜索空间。在本文中,我们提出了一种新的框架神经架构搜索,利用字典的基本任务和目标任务和原子之间的相似性的模型字典,因此,产生一个自适应的搜索空间的基础上的字典的基本模型。通过引入基于梯度的搜索算法,我们可以在搜索空间中评估和发现最佳架构,而无需完全训练网络。实验结果表明,我们提出的任务感知方法的有效性。
2021-03-15 cs.AI cs.LG
IRLAS: Inverse Reinforcement Learning for Architecture Search
The Chinese University of Hong Kong(香港中文大学);NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);SenseTime Research(商汤科技研究院)
在本文中,我们提出了一个逆强化学习方法的架构搜索(IRLAS),它训练一个代理学习搜索的网络结构,拓扑结构的灵感来自人类设计的网络。现有的体系结构搜索方法完全忽略了体系结构的拓扑特征,导致体系结构复杂,推理延迟大。基于人类设计网络拓扑结构优雅、推理速度快的特点,提出了一种受生物认知理论启发的镜像刺激函数,用于提取专家人类设计网络(ResNeXt)的抽象拓扑知识.为了避免在搜索空间上提出太强的先验,我们引入逆强化学习来训练镜像刺激函数,并将其作为架构搜索的启发式指导,易于推广到不同的架构搜索算法。在CIFAR-10上,我们提出的IRLAS搜索到的最佳架构达到了2.60%的出错率。对于ImageNet移动设置,我们的模型实现了最先进的top-1准确率75.28%,同时比大多数自动生成的架构快2~ 4倍。该模型的快速版本比MobileNetV 2快10%,同时保持更高的准确性。
2019-11-06 cs.AI cs.CV
GPT-NAS: Evolutionary Neural Architecture Search with the Generative Pre-Trained Model
College of Computer Science, Sichuan University(四川大学计算机学院);Stevens Institute of Technology(史蒂文斯理工学院)
针对NAS搜索空间巨大、效率低下的问题,本文提出GPT-NAS,利用GPT模型生成合理架构组件并结合进化算法搜索,显著提升架构性能与搜索效率。
2025-02-15 cs.AI cs.CV
Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
卷积神经网络(CNN)的神经结构搜索(NAS)的搜索空间是巨大的。为了减少搜索开销,大多数NAS算法使用固定的外部网络层结构,并且只搜索可重复的单元结构。当使用足够的小区和信道时,这种固定架构表现良好。然而,当架构变得更加轻量级时,性能会显著降低。为了获得更好的轻量级结构,需要更灵活和多样化的神经结构,并且应该为更大的搜索空间设计更有效的方法。受此启发,我们提出了MoARR算法,它利用现有的研究成果和历史信息,快速找到架构,既轻量级和准确。我们使用所发现的高性能细胞来构建网络架构。该方法增加了网络结构的多样性,同时也减少了单元结构设计的搜索空间。此外,设计了一种新的多目标方法,有效地分析历史评价信息,从而高效地搜索精度高、参数少的Pareto最优结构。实验结果表明,MoARR在CIFAR-10上仅用6个GPU时就能实现一个功能强大、轻量级的模型(出错率为1.9%,参数为2.3M),优于现有的模型。探索的架构可转移到ImageNet,并在4.9M参数下达到76.0%的top-1准确率。
2020-08-13 cs.CV cs.LG
Single-DARTS: Towards Stable Architecture Search
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
可区分架构搜索(DARTS)标志着神经架构搜索(NAS)的一个里程碑,拥有简单性和小搜索成本。然而,DARTS仍然遭受频繁的性能崩溃,当一些操作(如跳过连接,零和池)主导架构时,就会发生这种情况。在本文中,我们是第一个指出,这种现象归因于双层优化。我们提出了Single-DARTS,它只使用单级优化,使用同一批数据同时更新网络权重和结构参数。即使单级优化以前已经尝试过,没有文献提供了一个系统的解释,这一点。Single-DARTS取代了原有的两级优化,明显避免了性能崩溃,提高了体系结构搜索的稳定性。实验结果表明,Single-DARTS算法在主流搜索空间上的性能达到了最佳水平。例如,在NAS-Benchmark-201上,搜索到的架构几乎是最优的。我们还验证了单级优化框架比双级优化框架更稳定。我们希望这种简单而有效的方法将提供一些见解差分架构搜索。该代码可在https://github.com/PencilAndBike/Single-DARTS.git上获得。
2021-08-18 cs.CV cs.LG
NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
National University of Singapore(新加坡国立大学)
近年来,人们对神经结构搜索(NAS)的兴趣激增。已经提出了各种算法来提高NAS的搜索效率和有效性,即,以分别降低搜索成本和提高所选结构的泛化性能。然而,这些算法的搜索效率受到搜索过程中模型训练需求的严重限制。为了克服这一限制,我们提出了一种新的NAS算法称为NAS在初始化(NASI),利用神经切线核的能力,能够在初始化时表征候选架构的收敛性能,从而允许模型训练,以完全避免提高搜索效率。除了提高搜索效率外,NASI还在CIFAR-10/100和ImageNet等各种数据集上实现了具有竞争力的搜索效果。此外,NASI被证明是标签和数据不可知的温和条件下,这保证了我们的NASI在不同的数据集上选择的架构的可转移性。
2022-04-25 cs.AI cs.LG
Understanding Architectures Learnt by Cell-based Neural Architecture Search
School of Computing(计算学院);National University of Singapore(新加坡国立大学)
神经架构搜索(NAS)自动搜索给定任务的架构,例如,图像分类和语言建模。近年来,提高搜索效率和有效性越来越受到人们的关注。然而,很少有人致力于理解生成的架构。在本文中,我们首先揭示了现有的NAS算法(例如,DARTS、ENAS)倾向于支持具有宽且浅的单元结构的架构。这些有利的架构一致地实现快速收敛,因此被NAS算法选择。我们的实证和理论研究进一步证实了他们的快速收敛来自于他们的光滑损失景观和准确的梯度信息。尽管如此,这些架构可能不一定导致更好的泛化性能相比,在相同的搜索空间中的其他候选架构,因此进一步的改进是可能的,通过修改现有的NAS算法。
2020-01-01 cs.CV cs.LG stat.ML
SGAS: Sequential Greedy Architecture Search
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST));Intel Labs(英特尔研究院)
架构设计已经成为成功的深度学习的关键组成部分。自动神经结构搜索(NAS)的最新进展显示了很大的希望。然而,发现的架构往往无法在最终的评估中推广。在搜索阶段具有较高验证准确性的架构在评估中可能表现较差。为了缓解这个常见的问题,我们引入了顺序贪婪结构搜索(SGAS),一种有效的神经结构搜索方法。通过将搜索过程划分为子问题,SGAS以贪婪的方式选择和修剪候选操作。我们将SGAS应用于卷积神经网络(CNN)和图卷积网络(GCN)的搜索架构。大量的实验表明,SGAS是能够找到国家的最先进的架构任务,如图像分类,点云分类和蛋白质相互作用图中的节点分类,以最小的计算成本。请访问www.example.com了解有关SGAS的更多信息。
2020-04-02 cs.CV cs.LG stat.ML
Network Graph Based Neural Architecture Search
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
神经架构搜索实现了架构设计的自动化。尽管它取得了成功,但它在计算上是昂贵的,并且没有提供关于如何设计理想架构的见解。在这里,我们提出了一种新的搜索神经网络的方法,我们搜索神经网络结构,通过重新连接相应的图和预测的结构性能的图形属性。因为我们没有在整个图空间上执行机器学习,而是使用预测的架构性能来搜索架构,所以搜索过程非常高效。我们发现基于图的搜索可以给出一个合理的好的预测理想的架构。此外,我们发现图形属性是有效的预测架构性能。我们的工作提出了一种新的方法来搜索神经结构,并提供了神经结构设计的见解。
2021-12-15 cs.LG
UNAS: Differentiable Architecture Search Meets Reinforcement Learning
NVIDIA(英伟达)
神经架构搜索(NAS)旨在发现具有所需属性(如高准确性或低延迟)的网络架构。最近,可微分NAS(DNAS)已经证明了有前途的结果,同时保持搜索成本的数量级低于强化学习(RL)的NAS。然而,DNAS模型只能优化可微损失函数的搜索,他们需要一个精确的可微近似不可微的标准。在这项工作中,我们提出了UNAS,NAS的统一框架,封装在一个框架下最近的DNAS和基于RL的方法。我们的框架带来了两全其美,它使我们能够在一个统一的框架中搜索具有可区分和不可区分标准的架构,同时保持低搜索成本。此外,我们引入了一个新的目标函数的基础上搜索的泛化差距,防止选择的架构容易过拟合。我们在CIFAR-10、CIFAR-100和ImageNet数据集上进行了广泛的实验,并在两个根本不同的搜索空间中进行搜索。我们表明,UNAS在所有三个数据集上获得了最先进的平均精度,与DARTS空间中搜索的架构相比。此外,我们表明,UNAS可以找到一个高效和准确的架构在ProxylessNAS搜索空间,优于现有的MobileNetV 2的基础架构。源代码可在https://github.com/NVlabs/unas上获得。
2020-08-27 cs.CV cs.LG stat.ML
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification
Korea University(高丽大学);Hallym University(翰林大学);Kyung Hee University(庆熙大学)
随着深度神经网络在各种任务中实现前所未有的性能,用于设计具有自动化过程的神经网络架构的研究领域神经架构搜索(NAS)正在积极进行中。最近,可区分NAS通过将搜索成本降低到训练单个网络的水平而产生了巨大的影响。此外,定义待搜索的候选架构的搜索空间直接影响最终架构的性能。在本文中,我们提出了一个适应计划的搜索空间通过引入一个搜索范围。ProxylessNAS的图像分类任务证明了所提出的方法的有效性。此外,我们可视化的架构参数更新的轨迹,并提供见解,以改善架构搜索。
2022-06-05 cs.LG
HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking
Michigan State University(密歇根州立大学);AInnovation(旷视)
最近,在设计神经网络架构中使用自动方法(通常称为神经架构搜索(NAS))引起了相当大的关注。在这项工作中,我们提出了一个有效的NAS方法,命名为HM-NAS,推广现有的基于权重共享的NAS方法。现有的基于权重共享的NAS方法仍然采用手工设计的算法来生成架构候选。因此,架构候选者的空间被约束在所有可能架构的子集中,使得架构搜索结果次优。HM-NAS通过两项创新解决了这一限制。首先,HM-NAS结合了多级架构编码方案,以能够搜索更灵活的网络架构。其次,它放弃了手工设计的算法,并采用了一个分层掩蔽方案,自动学习和确定最佳架构。与最先进的基于权重共享的方法相比,HM-NAS能够实现更好的架构搜索性能和有竞争力的模型评估精度。没有手工设计的算法所施加的约束,我们搜索的网络包含更灵活和有意义的架构,现有的基于权重共享的NAS方法是无法发现的。
2019-09-07 cs.CV cs.LG stat.ML
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan(大阪大学)
针对现有图神经架构搜索方法缺乏可解释性的问题,提出ExGNAS方法,通过结合简单搜索空间与蒙特卡洛树搜索算法,在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
NASIB: Neural Architecture Search withIn Budget
MIT Media Labs(麻省理工学院媒体实验室);Cisco Systems(思科系统公司);IIIT Sri City(斯里城印度信息技术学院)
神经网络架构搜索(NAS)代表了一类用于生成最优神经网络架构的方法,并且通常在候选架构上进行迭代直到收敛于某个特定度量(如验证损失)。它们受到可用计算资源的限制,特别是在企业环境中。在本文中,我们提出了一种新的NAS方法,称为NASIB,它通过改变探索与开发权衡来适应和调整可用的计算资源(预算)。我们减少了专家的偏见,通过搜索在一个扩大的搜索空间引起的超级核。所提出的方法可以提供架构搜索有用的不同的计算资源和不同的领域以外的自然图像的图像分类,我们缺乏定制的架构图案和领域的专业知识。在CIFAR10上,我们可以在仅1.5 GPU天内搜索比传统现有技术多12倍的候选操作的空间,同时达到接近最先进的精度。虽然我们的方法在指数级更大的搜索空间上搜索,但与大多数现有方法相比,它可能会导致需要较少领域专业知识的新架构。
2019-10-19 cs.CV cs.LG stat.ML
Graph HyperNetworks for Neural Architecture Search
Uber Advanced Technologies Group(优步先进技术集团);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
神经架构搜索(NAS)自动找到最佳的特定于任务的神经网络拓扑结构,性能优于许多手动架构设计。然而,它可能非常昂贵,因为搜索需要训练数千个不同的网络,而每个网络可能持续数小时。在这项工作中,我们提出了图超网络(GHN)来分摊搜索成本:给定一个架构,它通过在图神经网络上运行推理来直接生成权重。GHN对架构的拓扑结构进行建模,因此可以比常规超网络和过早停止更准确地预测网络性能。为了执行NAS,我们随机采样架构,并使用GHN生成的权重作为代理搜索信号的网络的验证准确性。GHN的速度很快--它们的搜索速度比CIFAR-10和ImageNet上的其他随机搜索方法快近10倍。GHN可以进一步扩展到随时预测设置,在那里他们发现网络比最先进的手动设计具有更好的速度-准确性权衡。
2020-12-18 cs.CV cs.LG stat.ML
Towards modular and programmable architecture search
Petuum;Carnegie Mellon University(卡内基梅隆大学);TU Wien(维也纳技术大学);Microsoft Research Montreal(微软研究院蒙特利尔分院)
神经架构搜索方法能够以专家的最小努力找到高性能深度学习架构。然而,当前的系统专注于特定的用例(例如,卷积图像分类器和递归语言模型),使得它们不适合专家可能希望编写的一般用例。超参数优化系统是通用的,但缺乏易于应用于架构搜索所需的构造。在这项工作中,我们提出了一个形式语言编码搜索空间一般计算图。语言结构允许我们编写模块化的、可组合的和可重用的搜索空间编码,并对搜索空间设计进行推理。我们使用我们的语言编码的搜索空间的架构搜索文献。该语言允许我们解耦搜索空间和搜索算法的实现,允许我们通过一致的接口向搜索算法公开搜索空间。我们的实验表明,我们可以很容易地尝试不同的组合搜索空间和搜索算法,而不必从头开始实现每个组合。我们在本文中发布了我们语言的实现。
2019-09-30 cs.AI cs.LG stat.ML
DARTS: Differentiable Architecture Search
Google Brain(谷歌大脑);CMU(卡内基梅隆大学);DeepMind(深度思考)
本文解决了架构搜索的可扩展性的挑战,制定了一个不同的方式的任务。与在离散和不可微的搜索空间上应用进化或强化学习的传统方法不同,我们的方法是基于对体系结构表示的连续松弛,允许使用梯度下降对体系结构进行有效搜索。在CIFAR-10、ImageNet、Penn Treebank和WikiText-2上的大量实验表明,我们的算法在发现用于图像分类的高性能卷积架构和用于语言建模的递归架构方面表现出色,同时比最先进的不可微技术快了几个数量级。我们的实现已公开,以促进进一步研究高效的架构搜索算法。
2019-04-23 cs.CL cs.CV cs.LG
Unchain the Search Space with Hierarchical Differentiable Architecture Search
Malong LLC(码隆科技有限公司)
可区分体系结构搜索(DAS)在寻找具有降低计算成本的高性能体系结构方面取得了很大进展。然而,基于DAS的方法主要集中在搜索可重复的单元结构,然后将其按顺序堆叠在多个阶段中以形成网络。这种配置显著地减小了搜索空间,并且忽略了单元之间的连接的重要性。为了克服这一限制,在本文中,我们提出了一个分层差分架构搜索(H-DAS),在细胞级和阶段级进行架构搜索。具体地说,细胞级搜索空间是宽松的,使网络可以学习阶段特定的细胞结构。对于阶段级搜索,我们系统地研究了阶段的结构,包括每个阶段中的细胞数量和细胞之间的连接。基于深入的观察,我们设计了几个搜索规则和损失,并管理搜索更好的阶段级架构。这种分层的搜索空间在不引入昂贵的搜索代价的情况下大大提高了网络的性能。在CIFAR 10和ImageNet上的大量实验证明了所提出的H-DAS的有效性。此外,搜索的阶段级架构可以与现有DAS方法搜索的单元结构相结合,以进一步提高性能。代码可在:https://github.com/MalongTech/research-HDAS
2021-01-12 cs.CV
ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search
SYSU(中山大学)
如何快速、准确地发现和评估模型的真实强度是神经结构搜索(NAS)的关键挑战之一。为了解决这个问题,我们提出了一个架构驱动的权重预测(ADWP)的神经架构搜索(NAS)的方法。在我们的方法中,我们首先设计一个结构密集的搜索空间,然后训练一个超网络输入随机编码的结构参数。在训练好的超网络中,卷积核的权重可以很好地预测搜索空间中的神经结构。因此,目标架构可以有效地评估,而无需任何微调,从而使我们能够在通用网络的空间中搜索最佳架构(宏搜索)。通过实际的实验,我们评估了所提出的AD-WPNAS发现的模型的性能,结果表明,一个搜索过程可以在CIFAR-10上在4.0 GPU小时内完成。此外,所发现的模型仅用1.52M个参数就获得了2.41%的测试误差,这优于现有的最佳模型。
2020-03-03 cs.LG cs.NE
Single-level Optimization For Differential Architecture Search
本文指出,在双层优化框架下,差分结构搜索(DARTS)使结构参数的梯度偏向于网络权值,结构参数在不同数据集中交替更新。偏差导致不可学习操作的架构参数超过可学习操作的架构参数。此外,使用softmax作为架构参数的激活函数和不适当的学习率会加剧偏差。因此,经常可以观察到,不可学习的操作在搜索阶段占主导地位。为了减少偏差,我们建议使用单级优化来代替双层优化,并使用非竞争性激活函数(如sigmoid)来代替softmax。因此,我们可以稳定地寻找高性能的体系结构。在NAS Benchmark 201上的实验验证了我们的假设,并稳定地找到了接近最优的架构。在DARTS空间上,我们在ImageNet-1 K上以77.0%的top1准确率搜索最先进的架构(训练设置遵循PDARTS,没有任何额外的模块),并稳定地搜索架构,高达76.5%的top1准确率(但不是从搜索的架构中选择最好的),这与当前报告的最佳结果相当。
2020-12-15 cs.LG
Making Differentiable Architecture Search less local
Spotify;University of Bristol(布里斯托大学)
神经结构搜索(NAS)是一种用于自动设计神经网络结构的新方法。可区分神经结构搜索(DARTS)是一种很有前途的NAS方法,可以显著提高搜索效率。然而,它已被证明遭受性能崩溃,搜索往往导致有害的架构。许多最近的作品试图解决这个问题的DARTS通过识别指标提前停止,定期搜索目标,以减少一些操作的主导地位,或改变参数化的搜索问题。在这项工作中,我们假设性能崩溃可能是由于典型的初始架构和权重的局部最优值不佳而引起的。我们通过开发一个更全局的优化方案来解决这个问题,该方案能够在不改变DARTS问题公式的情况下更好地探索空间。我们的实验表明,我们的搜索算法的变化,允许发现的架构,更好的测试性能和更少的参数。
2021-04-21 cs.LG
Hierarchical Representations for Efficient Architecture Search
Carnegie Mellon University(卡内基梅隆大学);DeepMind
我们探索有效的神经架构搜索方法,并表明一个简单而强大的进化算法可以发现新的架构具有优异的性能。我们的方法结合了一种新的层次遗传表示方案,模仿人类专家通常采用的模块化设计模式,和一个富有表现力的搜索空间,支持复杂的拓扑结构。我们的算法有效地发现了优于大量手动设计的图像分类模型的架构,在CIFAR-10上获得了3.6%的前1错误,在转移到ImageNet时获得了20.3%的前1错误,这与现有的最佳神经架构搜索方法相比具有竞争力。我们还使用随机搜索呈现结果,在CIFAR-10上实现了0.3%的top-1准确率,在ImageNet上减少了0.1%,同时将搜索时间从36小时减少到1小时。
2018-02-22 cs.CV cs.LG cs.NE
EAT-NAS: Elastic Architecture Transfer for Accelerating Large-scale Neural Architecture Search
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of EIC, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);Horizon Robotics(地平线机器人)
神经架构搜索(NAS)方法已经被提出来释放人类专家从繁琐的架构工程。然而,由于计算资源的问题,目前大多数方法都局限于小规模搜索。同时,直接将在小数据集上搜索的架构应用于大数据集通常没有性能保证。这种限制阻碍了NAS在大规模任务中的广泛使用。为了克服这个障碍,我们提出了一个弹性的架构转移机制,加速大规模神经架构搜索(EAT-NAS)。在我们的实现中,首先在小数据集上搜索架构,例如,CIFAR-10。选择其中最好的一个作为基本架构。在大型数据集上的搜索过程,例如,ImageNet以基本架构作为种子进行初始化。在基本架构的帮助下,大规模搜索过程得以加速。我们提出的不仅是一个NAS方法,但架构级传输的机制。在我们的实验中,我们获得了两个最终模型EATNet-A和EATNet-B,它们在ImageNet上的准确率分别为74.7%和74.2%,这也超过了在相同设置下在ImageNet上从头开始搜索的模型。在计算成本方面,EAT-NAS在8颗TITAN X GPU上仅需不到5天的时间,明显低于目前最先进的大规模NAS方法的计算消耗。
2019-03-23 cs.CV
Automated Dominative Subspace Mining for Efficient Neural Architecture Search
School of Software Engineering, South China University of Technology(华南理工大学软件学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Changsha Hisense Intelligent System Research Institute Co., Ltd(长沙海信智能系统研究院有限公司);Department of Computer Science and Engineering, the Hong Kong University of Science and Technology(香港科技大学计算机科学与工程学系)
本文提出DSM-NAS方法,通过自动挖掘主导子空间并在其中进行局部搜索来缩小NAS搜索空间,从而在降低搜索成本的同时发现更优架构。
2024-06-06 cs.CV
Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach
Shanghai Jiao Tong University(上海交通大学)
针对两阶段NAS局部保序性不足问题,提出超网转移策略,将架构搜索与超网微调结合,提升保序性并实现跨数据集迁移。
2024-03-18 cs.CV
Conceptual Expansion Neural Architecture Search (CENAS)
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
架构搜索为某些任务优化神经网络的结构,而不是依赖于手动编写。然而,它很慢,因为每个潜在的架构通常都是从头开始训练的。在本文中,我们提出了一种称为概念扩展神经结构搜索(CENAS)的方法,该方法将样本效率,计算创造力启发的迁移学习方法与神经结构搜索相结合。这种方法通过转移现有的权重来近似新模型的参数,比朴素的体系结构搜索更快地找到模型。它通过允许添加特征而不是仅修改现有特征来优于标准迁移学习。我们证明了我们的方法在各种迁移学习任务的效率,性能和参数计数方面优于标准神经结构搜索和迁移学习方法。
2021-10-07 cs.LG
Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search
Peking University(北京大学);SenseTime(商汤科技)
大多数可微神经结构搜索方法构造一个超网进行搜索,并导出一个目标网作为其子图进行评估。在搜索和评估的架构之间存在着显着的差距。结果,当前的方法遭受不一致、低效和不灵活的搜索过程。本文介绍了EnTranNAS,它由Engine-细胞和Transit-cell组成。引擎单元是可微的,用于架构搜索,而传递单元仅通过架构推导传递子图。因此,搜索和评估架构之间的差距显着减少。我们的方法也节省了大量的内存和计算成本,这加快了搜索过程。引入了特征共享策略,以实现更平衡的优化和更有效的搜索。此外,我们开发了一个架构推导方法,以取代传统的基于手工制作的规则。我们的方法使可微稀疏化,并保持派生的架构等同于引擎细胞,这进一步提高了搜索和评估之间的一致性。此外,它支持搜索拓扑结构,其中一个节点可以连接到具有任意数量连接的先前节点,因此搜索的架构可以更加灵活。对于CIFAR-10上的实验,我们在标准空间上的搜索只需要0.06 GPU-天。我们进一步有一个出错率为2.22%,0.07 GPU天的搜索扩展空间。我们还可以直接在ImageNet上执行搜索,拓扑结构可学习,并在2.1 GPU天内实现23.8%的前1出错率。
2021-01-27 cs.CV
EPNAS: Efficient Progressive Neural Architecture Search
Google Brain(谷歌大脑);Google Cloud AI(谷歌云人工智能);Baidu Research(百度研究院);Horizon Robotics(地平线机器人);University of Nevada(内华达大学);Landing AI
在本文中,我们提出了有效的渐进式神经架构搜索(EPNAS),神经架构搜索(NAS),有效地处理大搜索空间,通过一种新的渐进式搜索策略与性能预测的基础上,REINFORCE~ \cite{Williams.1992.PG}。EPNAS旨在并行搜索目标网络,这在GPU/TPU集群等并行系统上更具可扩展性。更重要的是,EPNAS可以推广到具有多个资源约束的架构搜索,\eg,模型大小,计算复杂性或强度,这对于在移动和云等广泛平台中部署至关重要。我们使用CIFAR 10和ImageNet将EPNAS与其他最先进的(SoTA)网络架构(\eg,MobileNetV 2 ~ \cite{mobilenetv2})和高效的NAS算法(\eg,ENAS~ \cite{pham2018efficient}和PNAS~ \cite{Liu2017b})进行图像识别任务的比较。在这两个数据集上,EPNAS的\wrt结构的搜索速度和识别精度都优于EPNAS。
2019-07-07 cs.LG
Neural Architecture Search Over a Graph Search Space
Jagiellonian University(雅盖隆大学);Google AI(谷歌人工智能)
神经架构搜索(NAS)使许多领域的最先进的架构的发现。然而,NAS的成功取决于搜索空间的定义。当前搜索空间被定义为一个静态的决策序列和一组可用的行动,为每个决策。每个可能的操作序列定义了一个架构。我们提出了一类更具表现力的搜索空间:有向图。在我们的形式主义中,每个决策都是一个顶点,每个动作都是一条边。这允许我们对迭代和分支架构设计决策进行建模。我们在模拟和图像分类实验中展示了基本的迭代和分支搜索结构,并表明图形表示提高了样本效率。
2019-07-31 cs.LG stat.ML
EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition
China University of Mining and Technology(中国矿业大学)
针对眼动识别中深度学习架构依赖人工设计、传统DARTS存在架构多样性受限与搜评深度差异的问题,提出分层可微架构搜索算法EM-DARTS,通过全局-局部交替搜索与转移熵剪枝实现自动架构设计,在三个公开数据集上取得当前最优识别性能。
2025-01-13 cs.CV
One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking
Stony Brook University(石溪大学);Microsoft Research Asia(微软亚洲研究院)
尽管取得了显着的进展,大多数神经架构搜索(NAS)方法集中在搜索一个单一的准确和强大的架构。为了进一步构建具有更好泛化能力和性能的模型,通常采用模型集成,并且其性能优于独立模型。受到模型集成优点的启发,我们建议同时搜索多个不同的模型,作为寻找强大模型的另一种方法。搜索集成是不平凡的,有两个关键的挑战:扩大搜索空间和搜索模型的潜在更复杂。在本文中,我们提出了一个一次性的神经集成架构搜索(NEAS)解决方案,以解决这两个挑战。对于第一个挑战,我们引入了一种新的基于多样性的度量来指导搜索空间收缩,同时考虑候选算子的潜力和多样性。对于第二个挑战,我们启用了一个新的搜索维度来学习不同模型之间的层共享,以提高效率。在ImageNet上的实验表明,该方法可以提高超网对集成架构的排名能力,并进一步提高搜索结果。与MobileNetV3和EfficientNet系列等最新技术相比,所发现的架构在对齐设置下实现了卓越的性能。此外,我们评估的泛化能力和鲁棒性的搜索架构的COCO检测基准,并实现了3.1%的改善AP相比MobileNetV3。代码和模型可在https://github.com/researchmm/NEAS上获得。
2021-07-16 cs.CV
Efficient Progressive Neural Architecture Search
Orange Labs(奥兰治实验室)
本文解决了一个困难的问题,找到一个最佳的神经结构设计一个给定的图像分类任务。我们提出了一种方法,聚合了两个主要的结果,以前的国家的最先进的神经架构搜索。这些都是,呼吁强采样效率的搜索方案的基础上顺序基于模型的优化(SMBO),并提高训练效率,通过共享采样架构之间的权重。顺序搜索先前已经证明了其找到用于图像分类的最新神经架构的能力。然而,它的计算成本仍然很高,甚至在适度的计算设置下无法达到。通过重量分担来提供SMBO解决了这个问题。另一方面,使用SMBO的渐进式搜索本质上是贪婪的,因为它利用学习的代理函数来预测神经架构的验证错误。该预测直接用于对采样的神经架构进行排名。我们建议通过放松代理函数的作用来减弱原始SMBO方法的贪婪性,因此它可以预测建筑采样概率。我们通过在CIFAR-10数据集上的实验证明,我们的方法称为高效渐进式神经架构搜索(EPNAS),可以提高搜索效率,同时保持发现架构的竞争力。
2018-08-01 cs.CV
Trends in Neural Architecture Search: Towards the Acceleration of Search
Korea University(高丽大学);Hongik University(弘益大学);Hallym University(翰林大学)
在现代深度学习研究中,寻找最优(或接近最优)的神经网络模型是主要的研究方向之一,在许多应用中得到了广泛的研究。本文将神经结构搜索的主要研究方向归纳为神经进化算法、基于强化学习的算法和一次性结构搜索方法。最后对三大研究趋势进行了比较。最后,对NAS未来的研究方向进行了展望。
2021-08-19 cs.LG
Enhanced Gradient for Differentiable Architecture Search
CSIRO(澳大利亚联邦科学与工业研究组织)
近年来,在图像分类中,神经结构搜索(NAS)方法被提出用于自动生成面向任务的网络结构。然而,通过现有NAS方法获得的架构仅针对分类性能进行了优化,并且不适应具有有限计算资源的设备。为了解决这一挑战,我们提出了一种神经网络架构搜索算法,旨在同时提高网络性能(例如,分类精度)并降低网络复杂度。所提出的框架自动构建网络架构在两个阶段:块级搜索和网络级搜索。在块级搜索阶段,提出了一种基于梯度的松弛算法,利用增强的梯度来设计高性能、低复杂度的块。在网络级搜索阶段,采用多目标进化算法完成从模块到目标网络的自动设计。实验结果表明,该方法在图像分类中的性能优于所有手工网络,在CIFAR10上的出错率为,在CIFAR100上的出错率为,网络参数大小均小于1M。此外,与其他神经结构搜索方法相比,我们的方法提供了一个巨大的减少设计的网络结构参数。
2021-03-23 cs.CV
Network Architecture Search for Domain Adaptation
Stanford University(斯坦福大学);Boston University(波士顿大学)
深度网络已经被用于学习用于领域自适应的可转移表示。现有的深度领域自适应方法系统地采用专门为图像分类任务设计的流行手工网络,导致次优的领域自适应性能。在本文中,我们提出了神经架构搜索领域自适应(NASDA),一个原则框架,利用可微神经架构搜索,以获得最佳的网络架构领域自适应任务。NASDA设计了两种新的训练策略:神经结构搜索与多内核最大均值离散,以获得最佳的架构,和对抗性训练之间的特征生成器和一批分类器,以巩固的特征生成器。我们的实验表明,NASDA导致国家的最先进的性能在几个领域自适应基准。
2020-08-13 cs.CV
Exploiting Operation Importance for Differentiable Neural Architecture Search
Tianjin university(天津大学);Princeton University(普林斯顿大学)
最近,可微神经架构搜索方法显着降低搜索成本,通过构建一个超级网络和放松的架构表示,通过分配架构权重的候选操作。现有的方法都是直接通过体系结构权重来确定每个操作的重要性。然而,架构权重不能准确地反映每个操作的重要性;也就是说,具有最高权重的操作可能与最佳性能无关。为了缓解这一不足,我们提出了一个简单而有效的解决方案,神经结构搜索,称为开发操作重要性有效的神经结构搜索(EoiNAS),其中提出了一个新的指标,以充分利用操作的重要性,并指导模型搜索。在此基础上,提出了一种渐进的操作剪枝策略,进一步提高了搜索效率和准确率。实验结果证明了该方法的有效性。具体来说,我们实现了CIFAR-10的出错率为2.50\%,这显着优于国家的最先进的方法。当转移到ImageNet时,它实现了25.6%的前1错误,与移动设置下的最先进性能相当。
2019-11-24 cs.CV
Fine-Grained Stochastic Architecture Search
Google Research(谷歌研究院)
最先进的深度网络通常太大,无法部署在移动设备和嵌入式系统上。移动神经架构搜索(NAS)方法可以自动设计小型模型,但最先进的NAS方法运行成本很高。微分神经结构搜索(DNAS)方法降低了搜索成本,但探索候选结构的有限子空间。在本文中,我们介绍了细粒度随机架构搜索(FiGS),一个可微的搜索方法,搜索一个更大的候选架构集。FIGS同时选择和修改搜索空间中的操作符,通过应用基于逻辑斯谛克-S形分布的结构化稀疏正则化惩罚。我们展示了3个现有搜索空间的结果,匹配或优于原始搜索算法,并在ImageNet上生成最先进的参数高效模型(例如,75.4% top-1,2.6M参数)。使用我们的架构作为SSDLite目标检测的骨干,我们在COCO上实现了显著更高的mAP(例如,25.8具有3.0M参数)比MobileNetV 3和MnasNet。
2020-06-17 cs.LG stat.ML
ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding
Peking University(北京大学);SenseTime(商汤科技)
神经结构搜索(NAS)的目的是从所有候选连接所跨越的高维空间中产生最佳稀疏解。现有的基于梯度的NAS方法通常在搜索阶段忽略稀疏性约束,而是通过后处理将优化解投影到稀疏解上。结果,用于搜索的密集超网对于训练是低效的,并且与用于评估的计划架构有差距。在本文中,我们制定了神经架构搜索作为一个稀疏编码问题。我们在压缩的低维空间上执行可微搜索,该空间具有与原始稀疏解空间相同的验证损失,并通过解决稀疏编码问题来恢复架构。可微搜索和架构恢复以交替的方式被优化。通过这样做,我们的网络搜索在每次更新满足稀疏性约束,是有效的训练。为了消除搜索网络和评价目标网络之间的深度和宽度差距,我们进一步提出了在目标网络设置下一个阶段搜索和评价的方法。当训练结束时,架构变量被吸收到网络权重中。因此,我们在一次运行中得到搜索的架构和优化的参数。在实验中,我们在CIFAR-10上的两阶段方法只需要0.05 GPU-天的搜索。我们的一阶段方法在CIFAR-10和ImageNet上都产生了最先进的性能,而代价只是评估时间。
2020-10-13 cs.CV
Disentangled Neural Architecture Search
Lenovo Research(联想研究院)
近年来,神经结构搜索在各个领域显示出巨大的潜力。然而,现有的方法严重依赖于一个黑盒控制器来搜索架构,这遭受缺乏可解释性的严重问题。在本文中,我们提出了解开神经结构搜索(DNAS),解开隐藏的表示的控制器到语义上有意义的概念,使神经结构搜索过程可解释。在系统研究的基础上,我们发现了网络架构与其性能之间的相关性,并提出了一种密集采样策略,在可能产生性能良好的架构的有希望的区域进行有针对性的搜索。我们证明:1)DNAS成功地解开了架构表示,包括操作选择、跳过连接和层数。2)得益于可解释性,DNAS可以在不同的FLOPS限制下灵活地找到优秀的体系结构。3)密集采样导致神经结构搜索具有更高的效率和更好的性能。在NASBench-101数据集上,DNAS实现了94.21%的最先进性能,计算成本不到基线方法的1/13。在ImageNet数据集上,DNAS发现了达到22.7%测试误差的竞争架构。我们的方法提供了一个新的角度来理解神经结构搜索。
2020-09-24 cs.LG cs.NE stat.ML
A Study of the Learning Progress in Neural Architecture Search Techniques
NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司)
在神经架构搜索中,通过自动搜索过程来确定对给定数据集进行最佳建模的神经网络的结构。Pham等人(2018)提出的高效神经架构搜索(ENAS)最近受到了相当大的关注,因为它能够在极短的搜索时间内找到优秀的架构。在这项工作中,这是出于寻求进一步提高架构搜索的学习速度,我们评估的控制器,在ENAS中产生的架构的学习进度。我们通过比较它在不同的控制器训练时期生成的架构来衡量进度,在从头开始重新训练架构后对其进行评估。作为一个令人惊讶的结果,我们发现学习曲线是完全平坦的,即,就其生成的体系结构的性能而言,控制器没有可观察到的进展。该观察结果在CIFAR-10和CIFAR-100数据集以及两个不同的搜索空间中是一致的。我们的结论是,高质量的ENAS生成的模型是搜索空间设计的结果,而不是控制器的训练,我们的研究结果表明,一次性的架构设计是一个有效的替代架构搜索ENAS。
2019-06-18 cs.LG cs.NE stat.ML
Neural Architecture Search in Embedding Space
Cathay Fincial Holdings(国泰金控)
基于强化学习的神经结构搜索算法可以为神经结构的自动发现提供一个新的框架。然而,由于搜索空间的不连续性和高维性,使得优化困难。为了解决这些问题,我们提出了嵌入空间中的NAS(NASES),这是一个新的框架。与在离散和高维架构空间上搜索的具有强化学习方法的其他NAS不同,该方法使强化学习能够通过使用架构编码器和解码器在嵌入空间中搜索。目前的实验表明,使用NASES程序的最终架构网络的性能与其他流行的NAS方法的CIFAR-10上的图像分类任务相当。实验的结果是有效的,并表明,NASES是非常有效的发现最终的架构,只有$<$ 3.5 GPU小时。当应用结构嵌入搜索和权值初始化时,NASES的性能和有效性令人印象深刻。
2020-03-26 cs.LG stat.ML
Differentially-private Federated Neural Architecture Search
University of California San Diego(加州大学圣地亚哥分校);Rutgers University(罗格斯大学)
神经架构搜索,旨在自动搜索架构(例如,卷积,最大池化)的神经网络,最大限度地提高验证性能,最近取得了显着的进展。在许多应用场景中,多方希望通过利用来自各方的数据来协作搜索共享的神经架构。然而,由于隐私问题,没有一方希望其数据被其他方看到。为了解决这个问题,我们提出了联合神经架构搜索(FNAS),其中不同的各方通过交换架构变量的梯度来共同搜索可区分的架构,而不会将其数据暴露给其他各方。为了进一步保护隐私,我们研究了差分私有FNAS(DP-FNAS),它向架构变量的梯度添加随机噪声。为DP-FNAS实现差分隐私提供了理论保证。实验表明,DP-FNAS可以搜索高性能的神经结构,同时保护个人的隐私。代码可在https://github.com/UCSD-AI4H/DP-FNAS上获得
2020-06-22 cs.CR cs.LG stat.ML
Neural Architecture Search as Sparse Supernet
KU Leuven(鲁汶大学)
本文旨在将神经结构搜索问题从单路径和多路径搜索扩展到自动混合路径搜索。特别是,我们建模的NAS问题作为一个稀疏的超网使用一个新的连续的体系结构表示与稀疏约束的混合物。稀疏超网使我们能够自动实现稀疏混合路径上的一个紧凑的节点集。为了优化建议的稀疏超网,我们采用了分层加速邻近梯度算法在一个双层优化框架。在卷积神经网络和递归神经网络上的大量实验表明,该方法能够搜索紧凑,通用和强大的神经结构。
2021-03-31 cs.CV stat.ML
Evaluating the Search Phase of Neural Architecture Search
EPFL(洛桑联邦理工学院);Daskell;Swisscom Digital Lab(瑞士电信数字实验室)
神经架构搜索(NAS)旨在促进新任务的深度网络设计。现有的技术依赖于两个阶段:搜索架构空间和验证最佳架构。NAS算法目前仅根据其在下游任务上的结果进行比较。虽然直观,但这无法明确评估其搜索策略的有效性。在本文中,我们建议评估NAS搜索阶段。为此,我们比较了NAS搜索策略与随机架构选择的解决方案的质量。我们发现:(i)平均而言,最先进的NAS算法与随机策略执行类似;(ii)广泛使用的权重共享策略将NAS候选的排名降低到不能反映其真实性能的程度,从而降低了搜索过程的有效性。我们相信,我们的评估框架将是设计NAS策略的关键,这些策略可以始终如一地发现优于随机架构的架构。
2019-11-22 cs.LG stat.ML
ReNAS:Relativistic Evaluation of Neural Architecture Search
Noah’s Ark Lab Huawei Technologies(华为技术有限公司诺亚方舟实验室);Huawei Technologies(华为技术有限公司);The University of Sydney(悉尼大学);Peking University(北京大学)
一个有效的体系结构性能评估方案是神经网络体系结构搜索成功的关键。为了节省计算成本,大多数现有的NAS算法往往训练和评估中间神经网络结构上的一个小的代理数据集有限的训练时期。但是,很难期望在这样一个粗略的评估方式的体系结构的准确的性能估计。本文提出了一种新的神经网络体系结构评估方案,其目的是确定哪种体系结构的性能更好,而不是准确地预测绝对的体系结构性能。因此,我们提出了一个\textbf{relativistic}架构的NAS性能预测器(ReNAS)。我们将神经架构编码为特征张量,并使用预测器进一步细化表示。建议的相对论性能预测器可以部署在离散搜索方法中搜索所需的架构,而无需额外的评估。在NAS-Bench-101数据集上的实验结果表明,对424个(整个搜索空间的$0.1\%$)神经架构及其相应的验证性能进行采样已经足以学习准确的架构性能预测器。我们在NAS-Bench-101和NAS-Bench-201数据集上搜索的神经结构的准确性高于最先进的方法,并显示了所提出的方法的优先级。
2021-09-23 cs.LG cs.NE
Efficient Neural Architecture Search on Low-Dimensional Data for OCT Image Segmentation
Institute of Medical Technology, Hamburg University of Technology(汉堡工业大学医学技术研究所)
通常,深度学习架构是针对其各自的学习问题手工制作的。作为替代方案,已经提出了神经架构搜索(NAS),其中在附加的优化步骤中学习架构的结构。对于医学成像领域,这种方法是非常有前途的,因为有不同的问题和成像模式,需要架构设计。然而,NAS是非常耗时的,医学学习问题往往涉及高维数据与高计算要求。我们提出了一种有效的NAS方法,在医疗,基于图像的深度学习问题的背景下,通过搜索低维数据的架构,随后将其转换为高维数据。对于基于OCT的层分割,我们证明了在1D数据上的搜索与在2D数据上的搜索相比减少了87.5%的搜索时间,而最终的2D模型实现了类似的性能。
2019-05-07 cs.CV eess.IV
NeuralArTS: Structuring Neural Architecture Search with Type Theory
University of Toronto(多伦多大学);ML Collective
神经架构搜索(NAS)算法在给定可能操作的初始搜索空间的情况下自动执行查找最佳深度学习架构的任务。开发这些搜索空间通常是手动的,预优化的搜索空间更有效,而不是从头开始搜索。在本文中,我们提出了一个新的框架,称为神经架构类型系统(NeuralArTS),分类的无限集的网络操作在一个结构化的类型系统。我们进一步展示了NeuralArTS如何应用于卷积层,并提出了几个未来的发展方向。
2021-11-05 cs.LG cs.LO cs.PL