One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking
Stony Brook University（石溪大学）；Microsoft Research Asia（微软亚洲研究院）
尽管取得了显着的进展，大多数神经架构搜索（NAS）方法集中在搜索一个单一的准确和强大的架构。为了进一步构建具有更好泛化能力和性能的模型，通常采用模型集成，并且其性能优于独立模型。受到模型集成优点的启发，我们建议同时搜索多个不同的模型，作为寻找强大模型的另一种方法。搜索集成是不平凡的，有两个关键的挑战：扩大搜索空间和搜索模型的潜在更复杂。在本文中，我们提出了一个一次性的神经集成架构搜索（NEAS）解决方案，以解决这两个挑战。对于第一个挑战，我们引入了一种新的基于多样性的度量来指导搜索空间收缩，同时考虑候选算子的潜力和多样性。对于第二个挑战，我们启用了一个新的搜索维度来学习不同模型之间的层共享，以提高效率。在ImageNet上的实验表明，该方法可以提高超网对集成架构的排名能力，并进一步提高搜索结果。与MobileNetV3和EfficientNet系列等最新技术相比，所发现的架构在对齐设置下实现了卓越的性能。此外，我们评估的泛化能力和鲁棒性的搜索架构的COCO检测基准，并实现了3.1%的改善AP相比MobileNetV3。代码和模型可在https://github.com/researchmm/NEAS上获得。
2021-07-16 cs.CV
Efficient Progressive Neural Architecture Search
Orange Labs（奥兰治实验室）
本文解决了一个困难的问题，找到一个最佳的神经结构设计一个给定的图像分类任务。我们提出了一种方法，聚合了两个主要的结果，以前的国家的最先进的神经架构搜索。这些都是，呼吁强采样效率的搜索方案的基础上顺序基于模型的优化（SMBO），并提高训练效率，通过共享采样架构之间的权重。顺序搜索先前已经证明了其找到用于图像分类的最新神经架构的能力。然而，它的计算成本仍然很高，甚至在适度的计算设置下无法达到。通过重量分担来提供SMBO解决了这个问题。另一方面，使用SMBO的渐进式搜索本质上是贪婪的，因为它利用学习的代理函数来预测神经架构的验证错误。该预测直接用于对采样的神经架构进行排名。我们建议通过放松代理函数的作用来减弱原始SMBO方法的贪婪性，因此它可以预测建筑采样概率。我们通过在CIFAR-10数据集上的实验证明，我们的方法称为高效渐进式神经架构搜索（EPNAS），可以提高搜索效率，同时保持发现架构的竞争力。
2018-08-01 cs.CV
Enhanced Gradient for Differentiable Architecture Search
CSIRO（澳大利亚联邦科学与工业研究组织）
近年来，在图像分类中，神经结构搜索（NAS）方法被提出用于自动生成面向任务的网络结构。然而，通过现有NAS方法获得的架构仅针对分类性能进行了优化，并且不适应具有有限计算资源的设备。为了解决这一挑战，我们提出了一种神经网络架构搜索算法，旨在同时提高网络性能（例如，分类精度）并降低网络复杂度。所提出的框架自动构建网络架构在两个阶段：块级搜索和网络级搜索。在块级搜索阶段，提出了一种基于梯度的松弛算法，利用增强的梯度来设计高性能、低复杂度的块。在网络级搜索阶段，采用多目标进化算法完成从模块到目标网络的自动设计。实验结果表明，该方法在图像分类中的性能优于所有手工网络，在CIFAR10上的出错率为，在CIFAR100上的出错率为，网络参数大小均小于1M。此外，与其他神经结构搜索方法相比，我们的方法提供了一个巨大的减少设计的网络结构参数。
2021-03-23 cs.CV
Network Architecture Search for Domain Adaptation
Stanford University（斯坦福大学）；Boston University（波士顿大学）
深度网络已经被用于学习用于领域自适应的可转移表示。现有的深度领域自适应方法系统地采用专门为图像分类任务设计的流行手工网络，导致次优的领域自适应性能。在本文中，我们提出了神经架构搜索领域自适应（NASDA），一个原则框架，利用可微神经架构搜索，以获得最佳的网络架构领域自适应任务。NASDA设计了两种新的训练策略：神经结构搜索与多内核最大均值离散，以获得最佳的架构，和对抗性训练之间的特征生成器和一批分类器，以巩固的特征生成器。我们的实验表明，NASDA导致国家的最先进的性能在几个领域自适应基准。
2020-08-13 cs.CV
Exploiting Operation Importance for Differentiable Neural Architecture Search
Tianjin university（天津大学）；Princeton University（普林斯顿大学）
最近，可微神经架构搜索方法显着降低搜索成本，通过构建一个超级网络和放松的架构表示，通过分配架构权重的候选操作。现有的方法都是直接通过体系结构权重来确定每个操作的重要性。然而，架构权重不能准确地反映每个操作的重要性;也就是说，具有最高权重的操作可能与最佳性能无关。为了缓解这一不足，我们提出了一个简单而有效的解决方案，神经结构搜索，称为开发操作重要性有效的神经结构搜索（EoiNAS），其中提出了一个新的指标，以充分利用操作的重要性，并指导模型搜索。在此基础上，提出了一种渐进的操作剪枝策略，进一步提高了搜索效率和准确率。实验结果证明了该方法的有效性。具体来说，我们实现了CIFAR-10的出错率为2.50\%，这显着优于国家的最先进的方法。当转移到ImageNet时，它实现了25.6%的前1错误，与移动设置下的最先进性能相当。
2019-11-24 cs.CV
ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding
Peking University（北京大学）；SenseTime（商汤科技）
神经结构搜索（NAS）的目的是从所有候选连接所跨越的高维空间中产生最佳稀疏解。现有的基于梯度的NAS方法通常在搜索阶段忽略稀疏性约束，而是通过后处理将优化解投影到稀疏解上。结果，用于搜索的密集超网对于训练是低效的，并且与用于评估的计划架构有差距。在本文中，我们制定了神经架构搜索作为一个稀疏编码问题。我们在压缩的低维空间上执行可微搜索，该空间具有与原始稀疏解空间相同的验证损失，并通过解决稀疏编码问题来恢复架构。可微搜索和架构恢复以交替的方式被优化。通过这样做，我们的网络搜索在每次更新满足稀疏性约束，是有效的训练。为了消除搜索网络和评价目标网络之间的深度和宽度差距，我们进一步提出了在目标网络设置下一个阶段搜索和评价的方法。当训练结束时，架构变量被吸收到网络权重中。因此，我们在一次运行中得到搜索的架构和优化的参数。在实验中，我们在CIFAR-10上的两阶段方法只需要0.05 GPU-天的搜索。我们的一阶段方法在CIFAR-10和ImageNet上都产生了最先进的性能，而代价只是评估时间。
2020-10-13 cs.CV
Lightweight Monocular Depth with a Novel Neural Architecture Search Method
University of Oulu（奥卢大学）；Czech Technical University（捷克理工大学）；Tampere University（坦佩雷大学）
本文提出了一种新的神经结构搜索方法，称为LiDNAS，用于生成轻量级的单目深度估计模型。与以前的神经架构搜索（NAS）方法不同，在这种方法中，找到优化的网络在计算上要求很高，引入的新辅助禁忌搜索导致高效的架构探索。此外，我们在一个预先定义的骨干网络上构建搜索空间，以平衡层的多样性和搜索空间的大小。LiDNAS方法在搜索效率和输出模型性能方面优于针对视差和深度估计提出的最先进的NAS方法。LiDNAS优化模型在NYU-Depth-v2、KITTI和ScanNet上实现的结果优于紧凑的深度估计，同时在尺寸上（即模型参数的数量）更紧凑7%-500%。
2021-08-25 cs.CV
Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search
School of Software Engineering, South China University of Technology（华南理工大学软件学院）；Pazhou Laboratory（琶洲实验室）；Weixin Group, Tencent（腾讯微信事业群）；Tencent AI Lab, Tencent（腾讯AI实验室）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
神经网络结构搜索（NAS）已经成为自动发现有效结构的重要途径。为了覆盖所有可能的好架构，我们需要在具有数十亿候选架构的极大搜索空间中进行搜索。更为关键的是，鉴于一个大的搜索空间，我们可能会面临一个非常具有挑战性的空间爆炸问题。然而，由于计算资源的限制，我们只能对很小比例的架构进行采样，这为训练提供的信息不足。因此，现有方法可能经常产生次优架构。为了缓解这个问题，我们提出了一种课程搜索方法，从一个小的搜索空间开始，并逐步纳入学习的知识，以指导搜索在一个大的空间。与建议的搜索策略，我们的课程神经架构搜索（CNAS）方法显着提高了搜索效率，并找到更好的架构比现有的NAS方法。在CIFAR-10和ImageNet上的大量实验证明了该方法的有效性。
2020-08-05 cs.CV
AtomNAS: Fine-Grained End-to-End Neural Architecture Search
ByteDance AI Lab（字节跳动人工智能实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
搜索空间设计是神经结构搜索算法的关键。我们提出了一个细粒度的搜索空间组成的原子块，一个最小的搜索单元，是远远小于最近的NAS算法中使用的。该搜索空间通过组成不同类型的原子块来允许操作的混合，而先前方法中的搜索空间仅允许同构操作。基于这个搜索空间，我们提出了一个资源感知的架构搜索框架，它自动分配计算资源（例如，输出通道数）。此外，为了加速搜索过程，我们提出了一种动态网络收缩技术，该技术修剪原子块，对输出的影响可以忽略不计。而不是一个搜索和重新训练两阶段的范例，我们的方法同时搜索和训练的目标架构。我们的方法在ImageNet上的几种FLOP配置下实现了最先进的性能，搜索成本很小。我们在https://github.com/meijieru/AtomNAS上打开了整个代码库。
2020-02-23 cs.CV
GeNAS: Neural Architecture Search with Better Generalization
NAVER Cloud（NAVER云）；KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
GeNAS提出利用损失表面的平坦度作为代理指标来预测神经架构的泛化能力，在多种搜索空间和数据分布偏移下实现了优于或持平于现有NAS方法的性能。
2023-05-18 cs.CV
Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization
Kwai Inc.（快手公司）；Northeastern University（东北大学）；Intel Corp.（英特尔公司）
神经网络结构搜索和网络剪枝是目前被广泛研究的有效人工智能技术，但还不完善。NAS执行详尽的候选架构搜索，导致巨大的搜索成本。虽然（结构化）剪枝可以简单地缩小模型的维度，但如何自动和最佳地确定每层稀疏度仍然不清楚。在这项工作中，我们重新审视的层宽度优化的问题，并提出修剪搜索（PaS），一个端到端的通道修剪方法，自动和有效地搜索出所需的子网络。具体来说，我们添加了一个深度方向的二进制卷积，直接通过梯度下降来学习修剪策略。通过将结构重新参数化和PaS相结合，我们成功地搜索出了一个新的VGG类和轻量级网络族，它使每个层而不是每个阶段具有任意宽度的灵活性。实验结果表明，我们提出的架构优于现有技术的$1.0\%$ top-1的准确率在相似的推理速度下ImageNet-1000分类任务。此外，我们证明了我们的宽度搜索复杂的任务，包括实例分割和图像翻译的有效性。代码和模型已发布。
2022-06-02 cs.CV
Contrastive Neural Architecture Search with Neural Architecture Comparators
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）
神经架构搜索（NAS）的关键步骤之一是评估候选架构的性能。现有的方法要么直接使用验证性能，要么学习预测器来估计性能。然而，这些方法可能是计算昂贵的或非常不准确的，这可能会严重影响搜索效率和性能。此外，由于很难在特定任务上注释具有准确性能的架构，因此由于缺乏标记数据，学习有希望的性能预测器通常是不平凡的。在本文中，我们认为，它可能是没有必要估计NAS的绝对性能。相反，我们可能只需要了解一个架构是否比基线架构更好。然而，如何利用这些比较信息作为奖励和如何更好地利用有限的标记数据仍然是两个巨大的挑战。在本文中，我们提出了一种新的对比神经架构搜索（CTNAS）方法，执行架构搜索的比较结果之间的架构作为奖励。具体来说，我们设计并学习了一个神经架构比较器（NAC）来计算候选架构优于基线架构的概率。此外，我们提出了一个基线更新计划，以改善基线迭代课程学习的方式。更重要的是，我们从理论上表明，学习NAC相当于优化架构的排名。在三个搜索空间的实验表明，我们的CTNAS优于现有的方法。
2021-04-06 cs.CV
TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained Differentiable Neural Architecture Search
CRIPAC & NLPR, CASIA（中国科学院自动化研究所 模式识别国家重点实验室与智能感知与计算研究中心）；JD AI Research（京东人工智能研究院）
随着可微神经结构搜索（NAS）的蓬勃发展，自动搜索延迟约束的结构提供了一个新的视角，以减少人力和专业知识。然而，搜索到的架构通常在准确性上是次优的，并且可能在目标延迟周围具有较大的抖动。在本文中，我们重新考虑可区分NAS的三个自由度，即操作级，深度级和宽度级，并提出了一种新的方法，命名为三自由度NAS（TF-NAS），以实现良好的分类精度和精确的延迟约束。对于操作级，我们提出了一个双采样搜索算法来缓和操作崩溃。在深度层，引入了一个连接汇点的搜索空间，保证了skip与其他候选操作之间的互斥性，同时消除了结构冗余。对于宽度级别，我们提出了一种弹性伸缩策略，以渐进的细粒度方式实现精确的延迟约束。在ImageNet上的实验验证了TF-NAS的有效性。特别是，我们搜索的TF-NAS-A获得了76.9%的top-1准确率，以更少的延迟实现了最先进的结果。在1颗Titan RTX GPU上，总搜索时间仅为1.8天。代码可在https://github.com/AberHu/TF-NAS上获得。
2020-08-12 cs.CV
Cyclic Differentiable Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）；City University of Hong Kong（香港城市大学）；Stony Brook University（石溪大学）
可区分的ARCHITECTOR搜索，即，DARTS在神经结构研究中引起了极大的关注。它试图在浅层搜索网络中找到最佳架构，然后在深层评估网络中测量其性能。然而，搜索和评估网络的独立优化通过允许两个网络之间的交互而留下了潜在的改进空间。为了解决有问题的优化问题，我们提出了新的联合优化目标和一个新的循环微分ARchiToggle搜索框架，被称为CDARTS。考虑到网络结构的差异，CDARTS在搜索网络和评价网络之间建立了一种循环反馈机制，并引入了内省蒸馏。首先，搜索网络生成用于评估的初始架构，并且优化评估网络的权重。其次，通过分类中的标签监督以及通过特征提取对评价网络进行正则化，进一步优化搜索网络中的结构权重。重复上述循环导致搜索和评估网络的联合优化，从而使得架构的演进能够适合最终的评估网络。在CIFAR、ImageNet和NAS-Bench-201上的实验和分析表明了该方法的有效性。具体来说，在DARTS搜索空间中，我们在CIFAR 10上实现了97.52%的top-1准确率，在ImageNet上实现了76.3%的top-1准确率。在链式结构的搜索空间中，我们在ImageNet上实现了78.2%的top-1准确率，比EfficientNet-B 0高出1.1%。我们的代码和模型可在https://github.com/microsoft/Cream上公开获取。
2022-04-25 cs.CV
Auto-X3D: Ultra-Efficient Video Understanding via Finer-Grained Neural Architecture Search
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Texas A&M University（德克萨斯农工大学）；University of Oregon（俄勒冈大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院）；Facebook AI（Facebook人工智能研究院）
高效的视频架构是在计算资源有限的设备上部署视频识别系统的关键。不幸的是，现有的视频架构通常是计算密集型的，并且不适合于这样的应用。最近的X3 D工作提出了一个新的家庭的有效的视频模型，通过扩展一个手工制作的图像架构沿多个轴，如空间，时间，宽度和深度。虽然在概念上是在一个很大的空间中运行，但X3 D每次只搜索一个轴，总共只探索了一小部分30个架构，这并不足以探索空间。本文绕过现有的2D结构，直接在细粒度空间中搜索3D结构，其中块类型，过滤器数量，扩展比和关注块联合搜索。采用概率神经结构的搜索方法，有效地搜索在这样一个大的空间。对Kinetics和Something-Something-V2基准测试的评估证实，我们的AutoX 3D模型在类似FLOP下的准确度高达1.3%，并且在达到类似性能时将计算成本降低到x1.74。
2021-12-09 cs.CV
Evolving Search Space for Neural Architecture Search
The University of Sydney（悉尼大学）；University of Oxford（牛津大学）；SenseTime Research（商汤科技研究院）；CASIA（中国科学院自动化研究所）
神经架构设计的自动化一直是人类专家梦寐以求的替代品。最近的工作有小的搜索空间，这是更容易优化，但有一个有限的最优解的上限。这些方法需要额外的人性化设计，以针对特定的任务和算法容量提出更合适的空间。为了进一步提高神经结构搜索的自动化程度，我们提出了一种神经搜索空间进化（NSE）方案，该方案通过保持优化的搜索空间子集来迭代地放大先前努力的结果。这种设计最小化了精心设计的搜索空间的必要性。我们通过引入可学习的多分支设置进一步扩展了可获得架构的灵活性。通过采用所提出的方法，在即将到来的搜索空间上的渐进搜索期间实现一致的性能增益。我们在ImageNet上实现了77.3%的top-1再训练准确率，具有3.33亿FLOP，这在以前的自动生成架构中产生了最先进的性能，不涉及知识蒸馏或权重修剪。当采用延迟约束时，我们的结果也比以前表现最好的移动模型表现得更好，具有77.9%的Top-1再训练准确率。
2021-08-18 cs.CV
Neural Architecture Search by Learning a Hierarchical Search Space
École de technologie supérieure (ÉTS)（蒙特利尔高等技术学院（ÉTS））
本文提出通过学习架构相似性进行层次聚类来优化蒙特卡洛树搜索的分支顺序，应用于图像分类的神经架构搜索，在CIFAR10和ImageNet上验证了其高效性。
2025-03-27 cs.CV
AutoHAS: Efficient Hyperparameter and Architecture Search
Google Research, Brain Team（谷歌研究院，大脑团队）；AAI, University of Technology Sydney（悉尼科技大学AAI）
高效的超参数或体系结构搜索方法已经取得了显著的效果，但它们都只适用于搜索超参数或体系结构。在这项工作中，我们提出了一个统一的管道，AutoHAS，有效地搜索架构和超参数。AutoHAS学习交替更新共享网络权重和强化学习（RL）控制器，后者学习架构候选和HP候选的概率分布。引入临时权重以存储来自所选择的HP（由控制器）的更新的权重，并且基于该临时权重的验证准确度用作更新控制器的奖励。在实验中，我们表明AutoHAS是有效的，可推广到不同的搜索空间，基线和数据集。特别是，AutoHAS可以在CIFAR-10/100、ImageNet和其他四个数据集上提高流行网络架构（如ResNet和EfficientNet）的准确性。
2021-04-07 cs.CV
NAS-FCOS: Fast Neural Architecture Search for Object Detection
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）
深度神经网络的成功依赖于重要的架构工程。最近，神经架构搜索（NAS）已经成为通过自动搜索最佳架构来大大减少网络设计中的手动工作的承诺，尽管通常这样的算法需要过量的计算资源，例如，几千个GPU日。迄今为止，在目标检测等具有挑战性的视觉任务中，对NAS（尤其是快速版本的NAS）的研究较少。在这里，我们建议搜索的解码器结构的对象检测器的搜索效率被考虑在内。更具体地说，我们的目标是使用定制的强化学习范例有效地搜索特征金字塔网络（FPN）以及简单的无锚对象检测器（即FCOS）的预测头。通过精心设计的搜索空间、搜索算法和评估网络质量的策略，我们能够使用8个V100 GPU在4天内高效地搜索出性能最佳的检测架构。所发现的架构在COCO数据集上的AP中超过了最先进的目标检测模型（例如Faster R-CNN，RetinaNet和FCOS）1.5到3.5个点，具有相当的计算复杂性和内存占用，证明了所提出的NAS用于目标检测的有效性。
2020-02-25 cs.CV
Memory-Efficient Hierarchical Neural Architecture Search for Image Denoising
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）
最近，神经结构搜索（NAS）方法引起了人们的广泛关注，并在一些高级视觉任务上优于手动设计的架构。在本文中，我们提出了HiNAS（层次NAS），努力采用NAS自动设计有效的神经网络架构的图像去噪。HiNAS采用基于梯度的搜索策略，并采用自适应感受野操作，构建灵活的分层搜索空间。在搜索阶段，HiNAS在不同的特征级别上共享单元，以节省内存，并采用提前停止策略，以避免NAS中的崩溃问题，并大大加快搜索速度。建议的HiNAS是内存和计算效率，它只需要大约4.5小时的搜索使用一个GPU。我们评估了我们提出的HiNAS在两个不同数据集上的有效性，即加性高斯白噪声数据集BSD 500和现实噪声数据集SIM 1800。实验结果表明，HiNAS算法具有参数少、推理速度快的特点，与现有算法相比，具有很强的竞争力。我们还提出了分析的NAS发现的架构。HiNAS在图像去雨的实验中也表现出了良好的性能。
2020-02-07 cs.CV
ModuleNet: Knowledge-inherited Neural Architecture Search
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；College of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Beijing Institute of Technology（北京理工大学）
神经网络结构搜索（NAS）虽然能够对深层模型进行改进，但往往忽略了已有模型的宝贵知识。NAS中的计算和时间消耗属性也意味着我们不应该从头开始搜索，而是尽一切努力重用现有的知识。在本文中，我们讨论了什么样的知识在一个模型可以和应该用于新的架构设计。然后，我们提出了一种新的NAS算法，即ModuleNet，它可以完全继承现有的卷积神经网络的知识。为了充分利用现有模型，我们将现有模型分解为不同的\textit{module}，这些模型也保留其权重，由知识库组成。然后根据知识库对新的体系结构进行采样和搜索。与以往的搜索算法不同，该方法利用遗传知识，在不调整\textit{module}参数的情况下，通过NSGA-Ⅱ算法直接在宏空间中搜索体系结构。实验表明，我们的策略可以有效地评估新架构的性能，即使没有调整卷积层的权重。在我们继承的知识的帮助下，我们的搜索结果总是可以在各种数据集（CIFAR 10，CIFAR 100）上实现比原始架构更好的性能。
2020-04-14 cs.CV
Scheduled Differentiable Architecture Search for Visual Recognition
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）
卷积神经网络（CNN）已被视为一类有能力的模型，用于视觉识别问题。然而，开发通用和强大的网络架构并不容易，这需要人类专家的大量努力。本文提出了一种新的体系结构自动搜索思想，对具有梯度下降高效搜索能力的可区分体系结构搜索（DAS）进行了改进。具体来说，我们提出了用于图像和视频识别的预定可区分架构搜索（SDAS），它很好地将训练期间的操作选择与时间表集成在一起。从技术上讲，架构或单元表示为有向图。我们的SDAS以渐进和预定的方式逐渐修复图中边缘上的操作，而不是一旦在现有DAS中完成训练就对所有边缘的操作进行一步决策，这可能会使架构变得脆弱。此外，我们扩大了SDAS的搜索空间，特别是视频识别，通过设计几个独特的操作来编码时空动态，并展示了影响SDAS的架构搜索的影响。在CIFAR10、Kinetics10、UCF101和HMDB51数据集上进行了大量的体系结构学习实验，并与DAS方法进行了比较。更值得注意的是，SDAS的搜索速度比DAS快2倍左右。当将CIFAR10和Kinetics10上的学习细胞分别转移到大规模ImageNet和Kinetics400数据集时，构建的网络也优于几种最先进的手工结构。
2019-09-23 cs.CV
Auto-MVCNN: Neural Architecture Search for Multi-view 3D Shape Recognition
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
在三维形状识别中，基于多视图的方法利用人类的视角来分析三维形状，并取得了显著的成果。现有的大多数深度学习研究工作都采用手工网络作为骨干，因为它们具有很高的特征提取能力，并且也受益于ImageNet预训练。然而，这些网络架构是否适合3D分析仍不清楚。在本文中，我们提出了一种神经结构搜索方法Auto-MVCNN，它是专门为优化多视图3D形状识别中的结构而设计的。Auto-MVCNN扩展了基于梯度的框架来处理多视图图像，通过自动搜索融合单元来探索视图特征之间的内在相关性。此外，我们开发了一个端到端的计划，以提高检索性能，通过权衡参数搜索。大量的实验结果表明，搜索的架构显着优于手动设计的同行在各个方面，我们的方法达到了最先进的性能在同一时间。
2020-12-10 cs.CV
Partial Order Pruning: for Best Speed/Accuracy Trade-off in Neural Architecture Search
UISEE Technology Inc.（UISEE科技公司）；National Key Lab. of Communications, UESTC（电子科技大学通信国家重点实验室）；Department of ECE, National University of Singapore（新加坡国立大学电子与计算机工程系）
在目标平台上实现良好的速度和准确性权衡对于在现实世界场景中部署深度神经网络非常重要。然而，大多数现有的自动架构搜索方法只集中在高性能。在这项工作中，我们提出了一种算法，可以提供更好的速度/精度的权衡搜索网络，这是所谓的“偏序修剪”。它修剪架构搜索空间与偏序的假设，以自动搜索的架构与最佳的速度和准确性的权衡。我们的算法显式地考虑了目标平台上的推理速度的配置文件信息。使用该算法，我们提出了几个东风（DF）网络，在各种应用GPU平台上提供高精度和快速的推理速度。通过进一步搜索解码器架构，我们的DF-Seg实时分割网络在目标嵌入式设备和高端GPU上都实现了最先进的速度/精度权衡。
2019-04-05 cs.CV
Searching for the Fakes: Efficient Neural Architecture Search for General Face Forgery Detection
Nankai University（南开大学）
针对人脸伪造检测手动设计网络耗时费力的问题，提出基于NAS的端到端框架，通过伪造导向搜索空间、新型评估指标、跨数据集搜索和级联金字塔连接，实现了兼具竞争力与泛化性的自动检测架构设计。
2023-06-16 cs.CV
Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?
Michigan State University（密歇根州立大学）
现有的神经架构搜索（NAS）方法要么使用不能很好地扩展的离散编码来编码神经架构，要么采用基于监督学习的方法来联合学习架构表示并优化在引起搜索偏差的这种表示上的架构搜索。尽管广泛使用，在NAS中学习的体系结构表示仍然知之甚少。我们观察到，如果架构表示学习和搜索耦合，神经架构的结构属性很难保持在潜在空间中，导致搜索性能不太有效。在这项工作中，我们根据经验发现，仅使用神经架构而不使用其准确性作为标签的预训练架构表示大大提高了下游架构搜索效率。为了解释这些观察结果，我们可视化了无监督架构表示学习如何更好地鼓励具有相似连接和运算符的神经架构聚集在一起。这有助于将具有相似性能的神经架构映射到潜在空间中的相同区域，并使潜在空间中的架构过渡相对平滑，这大大有利于不同的下游搜索策略。
2020-10-24 cs.CV cs.LG
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
Tongji University（同济大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，微分搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而，这些方法在评估搜索的架构或将其转移到另一个数据集时通常报告较低的准确性。这可以说是由于搜索和评估场景中的架构深度之间的巨大差距。在本文中，我们提出了一个有效的算法，它允许搜索架构的深度逐渐增长的训练过程中。这带来了两个问题，即较重的计算开销和较弱的搜索稳定性，我们解决了搜索空间近似和正则化，分别。通过显著减少搜索时间（在单个GPU上约7小时），我们的方法在代理数据集（CIFAR10或CIFAR100）和目标数据集（ImageNet）上都实现了最先进的性能。代码可在https://github.com/chenxin061/pdarts上获得。
2019-04-29 cs.CV cs.LG
Neighborhood-Aware Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）
现有的神经架构搜索（NAS）方法通常返回一个具有良好搜索性能的架构，但推广到测试设置很差。为了实现更好的推广，我们提出了一种新的邻域感知NAS制定，以确定在搜索空间的平坦极小架构，与平坦的极小推广比尖锐的极小的假设。短语"平坦最小架构“是指在架构中的小扰动下性能稳定的架构（例如，用跳跃连接代替卷积）。我们的配方需要考虑到“平面度”的架构，通过聚合的性能超过该架构的邻域。我们展示了一个原则性的方式来应用我们的配方现有的搜索算法，包括基于采样的算法和基于梯度的算法。为了便于应用于基于梯度的算法，我们还提出了一个可微表示的邻域的架构。基于我们的公式，我们提出了邻域感知随机搜索（NA-RS）和邻域感知可微结构搜索（NA-DARTS）。值得注意的是，通过简单地使用我们的公式增强DARTS，NA-DARTS的性能优于DARTS，并在已建立的基准测试中实现了最先进的性能，包括CIFAR-10，CIFAR-100和ImageNet。
2021-10-29 cs.CV cs.LG
D-DARTS: Distributed Differentiable Architecture Search
Université Paris-Saclay（巴黎萨克雷大学）；MIT（麻省理工学院）
可区分的ARCHITERMS搜索（DARTS）是最流行的神经架构搜索（NAS）方法之一。它通过权重共享大大降低了搜索成本。然而，它也大大减少了搜索空间，从而排除了潜在的有前途的架构。在本文中，我们提出了D-DARTS，这是一种解决方案，它通过在细胞级别嵌套神经网络来解决这个问题，而不是使用权重共享来产生更多样化和专业化的架构。此外，我们引入了一种新的算法，可以从一些训练过的细胞中获得更深的架构，提高性能并节省计算时间。此外，我们还提出了一种替代的搜索空间（DARTOpti），在其中我们优化了现有的手工架构（例如，而不是从头开始。这种方法伴随着一个新的度量，该度量在我们的自定义搜索空间内测量架构之间的距离。我们的解决方案在多个计算机视觉任务上达到了具有竞争力的性能。代码和预训练模型可以在https://github.com/aheuillet/D-DARTS上访问。
2022-11-01 cs.CV cs.LG
Neural Architecture Search as Sparse Supernet
KU Leuven（鲁汶大学）
本文旨在将神经结构搜索问题从单路径和多路径搜索扩展到自动混合路径搜索。特别是，我们建模的NAS问题作为一个稀疏的超网使用一个新的连续的体系结构表示与稀疏约束的混合物。稀疏超网使我们能够自动实现稀疏混合路径上的一个紧凑的节点集。为了优化建议的稀疏超网，我们采用了分层加速邻近梯度算法在一个双层优化框架。在卷积神经网络和递归神经网络上的大量实验表明，该方法能够搜索紧凑，通用和强大的神经结构。
2021-03-31 cs.CV stat.ML
IRLAS: Inverse Reinforcement Learning for Architecture Search
The Chinese University of Hong Kong（香港中文大学）；NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；SenseTime Research（商汤科技研究院）
在本文中，我们提出了一个逆强化学习方法的架构搜索（IRLAS），它训练一个代理学习搜索的网络结构，拓扑结构的灵感来自人类设计的网络。现有的体系结构搜索方法完全忽略了体系结构的拓扑特征，导致体系结构复杂，推理延迟大。基于人类设计网络拓扑结构优雅、推理速度快的特点，提出了一种受生物认知理论启发的镜像刺激函数，用于提取专家人类设计网络（ResNeXt）的抽象拓扑知识.为了避免在搜索空间上提出太强的先验，我们引入逆强化学习来训练镜像刺激函数，并将其作为架构搜索的启发式指导，易于推广到不同的架构搜索算法。在CIFAR-10上，我们提出的IRLAS搜索到的最佳架构达到了2.60%的出错率。对于ImageNet移动设置，我们的模型实现了最先进的top-1准确率75.28%，同时比大多数自动生成的架构快2~ 4倍。该模型的快速版本比MobileNetV 2快10%，同时保持更高的准确性。
2019-11-06 cs.AI cs.CV
GPT-NAS: Evolutionary Neural Architecture Search with the Generative Pre-Trained Model
College of Computer Science, Sichuan University（四川大学计算机学院）；Stevens Institute of Technology（史蒂文斯理工学院）
针对NAS搜索空间巨大、效率低下的问题，本文提出GPT-NAS，利用GPT模型生成合理架构组件并结合进化算法搜索，显著提升架构性能与搜索效率。
2025-02-15 cs.AI cs.CV
Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
卷积神经网络（CNN）的神经结构搜索（NAS）的搜索空间是巨大的。为了减少搜索开销，大多数NAS算法使用固定的外部网络层结构，并且只搜索可重复的单元结构。当使用足够的小区和信道时，这种固定架构表现良好。然而，当架构变得更加轻量级时，性能会显著降低。为了获得更好的轻量级结构，需要更灵活和多样化的神经结构，并且应该为更大的搜索空间设计更有效的方法。受此启发，我们提出了MoARR算法，它利用现有的研究成果和历史信息，快速找到架构，既轻量级和准确。我们使用所发现的高性能细胞来构建网络架构。该方法增加了网络结构的多样性，同时也减少了单元结构设计的搜索空间。此外，设计了一种新的多目标方法，有效地分析历史评价信息，从而高效地搜索精度高、参数少的Pareto最优结构。实验结果表明，MoARR在CIFAR-10上仅用6个GPU时就能实现一个功能强大、轻量级的模型（出错率为1.9%，参数为2.3M），优于现有的模型。探索的架构可转移到ImageNet，并在4.9M参数下达到76.0%的top-1准确率。
2020-08-13 cs.CV cs.LG
Single-DARTS: Towards Stable Architecture Search
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
可区分架构搜索（DARTS）标志着神经架构搜索（NAS）的一个里程碑，拥有简单性和小搜索成本。然而，DARTS仍然遭受频繁的性能崩溃，当一些操作（如跳过连接，零和池）主导架构时，就会发生这种情况。在本文中，我们是第一个指出，这种现象归因于双层优化。我们提出了Single-DARTS，它只使用单级优化，使用同一批数据同时更新网络权重和结构参数。即使单级优化以前已经尝试过，没有文献提供了一个系统的解释，这一点。Single-DARTS取代了原有的两级优化，明显避免了性能崩溃，提高了体系结构搜索的稳定性。实验结果表明，Single-DARTS算法在主流搜索空间上的性能达到了最佳水平。例如，在NAS-Benchmark-201上，搜索到的架构几乎是最优的。我们还验证了单级优化框架比双级优化框架更稳定。我们希望这种简单而有效的方法将提供一些见解差分架构搜索。该代码可在https://github.com/PencilAndBike/Single-DARTS.git上获得。
2021-08-18 cs.CV cs.LG
Efficient Neural Architecture Search on Low-Dimensional Data for OCT Image Segmentation
Institute of Medical Technology, Hamburg University of Technology（汉堡工业大学医学技术研究所）
通常，深度学习架构是针对其各自的学习问题手工制作的。作为替代方案，已经提出了神经架构搜索（NAS），其中在附加的优化步骤中学习架构的结构。对于医学成像领域，这种方法是非常有前途的，因为有不同的问题和成像模式，需要架构设计。然而，NAS是非常耗时的，医学学习问题往往涉及高维数据与高计算要求。我们提出了一种有效的NAS方法，在医疗，基于图像的深度学习问题的背景下，通过搜索低维数据的架构，随后将其转换为高维数据。对于基于OCT的层分割，我们证明了在1D数据上的搜索与在2D数据上的搜索相比减少了87.5%的搜索时间，而最终的2D模型实现了类似的性能。
2019-05-07 cs.CV eess.IV
Multi-Task Neural Architecture Search Using Architecture Embedding and Transfer Rank
School of Mathematics and Statistics（数学与统计学学院）；Guangdong University of Technology（广东技术大学）
KTNAS通过引入转移排名和架构嵌入提升多任务神经架构搜索的效率和性能
2025-04-01 cs.CV cs.NE
Understanding Architectures Learnt by Cell-based Neural Architecture Search
School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
神经架构搜索（NAS）自动搜索给定任务的架构，例如，图像分类和语言建模。近年来，提高搜索效率和有效性越来越受到人们的关注。然而，很少有人致力于理解生成的架构。在本文中，我们首先揭示了现有的NAS算法（例如，DARTS、ENAS）倾向于支持具有宽且浅的单元结构的架构。这些有利的架构一致地实现快速收敛，因此被NAS算法选择。我们的实证和理论研究进一步证实了他们的快速收敛来自于他们的光滑损失景观和准确的梯度信息。尽管如此，这些架构可能不一定导致更好的泛化性能相比，在相同的搜索空间中的其他候选架构，因此进一步的改进是可能的，通过修改现有的NAS算法。
2020-01-01 cs.CV cs.LG stat.ML
Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）；Stanford University（斯坦福大学）
最近，神经结构搜索（NAS）已经成功地确定了神经网络结构，超过人类设计的大规模图像分类。在本文中，我们研究NAS的语义图像分割。现有的工作往往侧重于寻找可重复的细胞结构，而手工设计的外部网络结构，控制空间分辨率的变化。这种选择简化了搜索空间，但是对于呈现更多网络级架构变化的密集图像预测来说变得越来越成问题。因此，我们建议除了搜索单元级结构之外，还搜索网络级结构，这形成了分层结构的搜索空间。我们提出了一个网络级的搜索空间，其中包括许多流行的设计，并制定了一个公式，允许有效的基于梯度的架构搜索（3 P100 GPU天的城市景观图像）。我们证明了所提出的方法在具有挑战性的Cityscapes，PASCAL VOC 2012和ADE 20 K数据集上的有效性。Auto-DeepLab是我们专门针对语义图像分割搜索的架构，在没有任何ImageNet预训练的情况下达到了最先进的性能。
2019-04-06 cs.CV cs.LG
BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search
Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；DarkMatter AI Research（DarkMatter AI研究院）；University of Oxford（牛津大学）；Alibaba Group（阿里巴巴集团）；RMIT University（皇家墨尔本理工大学）
最近在手工制作的视觉识别神经架构方面的无数突破突出了探索由多样化构建块组成的混合架构的迫切需要。与此同时，神经结构搜索方法正在激增，期望减少人类的努力。然而，NAS方法是否能够高效且有效地处理具有不同候选者（例如CNN和Transformers）的多样化搜索空间仍然是一个悬而未决的问题。在这项工作中，我们提出了块智能自监督神经架构搜索（BossNAS），一种无监督的NAS方法，解决了以前的方法中由于大的权重共享空间和有偏见的监督而导致的架构评级不准确的问题。更具体地说，我们分解成块的搜索空间，并利用一种新的自我监督的训练计划，命名为合奏自举，训练每个块单独搜索他们作为一个整体的人口中心。此外，我们提出了HyTra搜索空间，一个类似于织物的混合CNN变换器搜索空间，具有可搜索的下采样位置。在这个具有挑战性的搜索空间上，我们的搜索模型BossNet-T在ImageNet上的准确率高达82.5%，在计算时间相当的情况下超过EfficientNet 2.4%。此外，我们的方法在ImageNet的规范MBConv搜索空间和CIFAR-100的NATS-Bench大小搜索空间上分别实现了0.78和0.76 Spearman相关性的卓越架构评级准确性，超过了最先进的NAS方法。代码：https://github.com/changlin31/BossNAS
2021-08-19 cs.CV cs.LG
Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search
EPFL（洛桑联邦理工学院）；Intel（英特尔）
权重共享已经成为神经架构搜索中的事实标准，因为它使搜索能够在商品硬件上完成。然而，最近的工作经验表明，独立架构的性能和相应的共享权重网络的性能之间的排名混乱。这违反了权重共享NAS算法的主要假设，从而限制了它们的有效性。我们通过提出一个正则化项来解决这个问题，该正则化项旨在最大限度地提高共享权重网络的性能排名与使用少量地标架构的独立架构之间的相关性。我们将我们的正则化项到三个不同的NAS算法，并表明它始终提高性能的算法，搜索空间和任务。
2021-04-12 cs.CV cs.LG
Full-attention based Neural Architecture Search using Context Auto-regression
Tianjin University（天津大学）；University of Western Ontario（西安大略大学）
自我注意架构已经成为最近的进步，以提高视觉任务的性能。人工确定自注意网络的架构依赖于专家的经验，不能自动适应各种场景。同时，神经结构搜索（NAS）也极大地促进了神经结构的自动设计。因此，考虑使用NAS方法来自动发现更好的自注意体系结构是合适的。然而，由于基于单元的搜索空间的统一性和缺乏长期的内容依赖性，直接使用现有的NAS方法来搜索注意力网络是具有挑战性的。为了解决这个问题，我们提出了一种基于全注意力的NAS方法。更具体地说，逐阶段的搜索空间的构造，允许各种注意力操作，以采用不同的网络层。为了提取全局特征，提出了一种自监督搜索算法，该算法使用上下文自回归来发现全注意力结构。为了验证所提出的方法的有效性，我们进行了广泛的实验，各种学习任务，包括图像分类，细粒度图像识别，和zero-shot图像检索。实证结果表明，我们的方法是能够发现高性能，全注意力架构，同时保证所需的搜索效率强有力的证据。
2021-11-13 cs.CV cs.LG
Are Labels Necessary for Neural Architecture Search?
Johns Hopkins University（约翰霍普金斯大学）；Facebook AI Research（Facebook人工智能研究院）
计算机视觉中现有的神经网络架构-无论是由人类还是机器设计-通常都使用图像及其相关标签。在本文中，我们提出了一个问题：我们能否仅使用图像而不使用人工标注的标签来找到高质量的神经架构？为了回答这个问题，我们首先定义了一个新的设置，称为无监督神经架构搜索（UnNAS）。然后，我们进行了两组实验。在基于样本的实验中，我们训练了大量（500）不同的架构，无论是监督或无监督的目标，并发现与标签和无标签的架构排名是高度相关的。在基于搜索的实验中，我们使用各种无监督目标运行一个成熟的NAS算法（DARTS），并报告说，没有标签搜索的架构可以与使用标签搜索的架构竞争。总之，这些结果揭示了一个潜在的令人惊讶的发现，即标签是不必要的，仅凭图像统计数据就足以识别良好的神经结构。
2020-08-03 cs.CV cs.LG
A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search
KAIST AI（韩国科学技术院人工智能学院）
本调查的重点是分类和评估神经架构搜索（NAS）领域的超网优化方法。超网优化涉及训练单个过参数化网络，该网络包含所有可能的网络架构的搜索空间。该调查分析了超网优化方法的基础上，他们的空间和时间优化的方法。空间优化涉及优化超网及其子系统的架构和参数，而时间优化涉及提高从超网选择架构的效率。这些方法在各种任务和设置，包括可转移性，领域泛化，和Transformer模型的优点，局限性和潜在的应用进行了讨论。
2023-02-07 cs.CV cs.LG
FEAR: A Simple Lightweight Method to Rank Architectures
Microsoft Research（微软研究院）
神经结构搜索（NAS）的基本问题是从给定的搜索空间中有效地找到高性能的结构。我们提出了一个简单但功能强大的方法，我们称之为恐惧，排名架构在任何搜索空间。FEAR利用了神经网络是强大的非线性特征提取器的观点。首先，我们在搜索空间中对不同的架构进行训练，以获得相同的训练或验证错误。然后，我们比较了每种架构提取的特征的有用性。我们通过快速训练来做到这一点，使大部分架构保持冻结。这给出了相对性能的快速估计。我们验证了FEAR的Natsbench拓扑结构搜索空间上的三个不同的数据集对竞争的基线，并显示出较强的排名相关性，特别是最近提出的零成本方法相比。FEAR特别擅长在搜索空间中对高性能架构进行排名。当用于离散搜索算法（如随机搜索）的内部循环时，FEAR可以在不损失精度的情况下将搜索时间缩短约2.4倍。此外，我们还实证研究了最近提出的零成本排名措施，发现随着训练的进行，它们的排名性能会下降，而且忽略数据集的数据不可知的排名分数不会在不同的数据集上推广。
2021-06-07 cs.CV cs.LG
DAAS: Differentiable Architecture and Augmentation Policy Search
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
神经结构搜索（NAS）是自动机器学习（Auto-ML）的一个活跃方向，旨在探索高效的网络结构。通过在具有固定数据增强策略的数据集上进行训练来评估所搜索的架构。然而，最近的自动增强工作表明，合适的增强策略可以根据不同的结构而变化。因此，这项工作考虑了可能的耦合之间的神经架构和数据增强，并提出了一种有效的算法联合搜索它们。具体而言，针对NAS任务，采用基于单路径的可微方法和Gumbel-softmax重参数化策略，以提高内存效率;针对自动增强任务，采用基于策略梯度算法的搜索方法，显著降低计算复杂度。我们的方法在CIFAR-10上达到了97.91%的准确率，在ImageNet数据集上达到了76.6%的Top-1准确率，显示了我们搜索算法的出色性能。
2022-01-28 cs.CV cs.LG
Search-time Efficient Device Constraints-Aware Neural Architecture Search
Indian Institute of Technology（印度理工学院）
本文提出 DCA-NAS，一种融合模型大小和浮点运算约束的快速神经架构搜索方法，通过权重共享与通道瓶颈加速搜索，在多个图像分类数据集和设备专用基准上取得优于手工架构或最先进的性能。
2023-07-10 cs.CV cs.LG
SGAS: Sequential Greedy Architecture Search
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；Intel Labs（英特尔研究院）
架构设计已经成为成功的深度学习的关键组成部分。自动神经结构搜索（NAS）的最新进展显示了很大的希望。然而，发现的架构往往无法在最终的评估中推广。在搜索阶段具有较高验证准确性的架构在评估中可能表现较差。为了缓解这个常见的问题，我们引入了顺序贪婪结构搜索（SGAS），一种有效的神经结构搜索方法。通过将搜索过程划分为子问题，SGAS以贪婪的方式选择和修剪候选操作。我们将SGAS应用于卷积神经网络（CNN）和图卷积网络（GCN）的搜索架构。大量的实验表明，SGAS是能够找到国家的最先进的架构任务，如图像分类，点云分类和蛋白质相互作用图中的节点分类，以最小的计算成本。请访问www.example.com了解有关SGAS的更多信息。
2020-04-02 cs.CV cs.LG stat.ML
MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search
ETH Zurich（苏黎世联邦理工学院）
神经架构搜索（NAS）已被证明是有效的，可以提供优于手工制作的神经网络的替代方案。在本文中，我们分析的好处NAS的图像分类任务在严格的计算约束。我们的目标是自动设计高效的深度神经网络，能够提供快速准确的预测，并且可以部署在低内存，低功耗的片上系统上。因此，该任务成为准确性、计算复杂性和存储器需求之间的三方权衡。为了解决这个问题，我们提出了多尺度资源感知神经架构搜索（MS-RANAS）。我们采用了一个一次性的架构搜索方法，以获得降低搜索成本，我们专注于随时预测设置。通过使用多尺度特征和早期分类器，我们在精度-速度权衡方面取得了最先进的结果。
2020-09-29 cs.CV cs.LG
Contrastive Self-supervised Neural Architecture Search
University of South Florida（南佛罗里达大学）
本文提出了一种新的基于细胞的神经结构搜索算法（NAS），它完全消除了监督学习继承的数据标记的昂贵成本。我们的算法利用了图像表示的自监督学习的有效性，这是计算机视觉的一个越来越重要的话题。首先，在对比自监督学习下仅使用少量未标记的训练数据，使我们能够在更广泛的搜索空间上搜索，发现更好的神经架构，而无需激增计算资源。其次，我们完全减轻了成本的标记数据（对比损失）在搜索阶段，而不影响架构的最终性能在评估阶段。最后，我们解决了固有的离散搜索空间的NAS问题的顺序模型为基础的优化通过树parzen估计（SMBO-TPE），使我们能够减少计算费用响应面显着。大量的实验经验表明，我们的搜索算法可以实现国家的最先进的结果，更好的效率，在数据标记成本，搜索时间，并在最终验证的准确性。
2021-10-29 cs.AI cs.CV
Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets
KAIST（韩国科学技术院）；AITRICS
尽管最近的神经架构搜索（NAS）方法在各种任务上取得了成功，这些任务已经显示出输出的网络在很大程度上优于人类设计的网络，但传统的NAS方法主要解决了搜索单个任务（数据集）的网络架构的优化问题，这在多个任务（数据集）之间并没有很好地推广。此外，由于这种特定于任务的方法从零开始为每个给定的任务搜索神经架构，因此它们产生了很大的计算成本，当时间和金钱预算有限时，这是有问题的。在本文中，我们提出了一个高效的NAS框架，该框架在由数据集和预训练网络组成的数据库上训练一次，并且可以快速搜索新数据集的神经架构。提出的MetaD 2A（Meta Dataset-to-Architecture）模型可以通过使用摊销元学习学习的跨模态潜在空间从给定集合（数据集）随机生成图（架构）。此外，我们还提出了一个元性能预测器来估计和选择最佳架构，而无需直接对目标数据集进行训练。实验结果表明，我们的模型在NAS-Bench 201搜索空间的ImageNet-1 K子集和架构上进行了元学习，成功地推广到了多个看不见的数据集，包括CIFAR-10和CIFAR-100，平均搜索时间为33 GPU秒。即使在MobileNetV 3搜索空间下，MetaD 2A也比可转移NAS方法NSGANetV 2快5.5K倍，性能相当。我们相信MetaD 2A为快速NAS提出了一个新的研究方向，以及如何利用过去几年积累的丰富数据集和架构…
2021-07-02 cs.CV cs.LG
Joint Search of Data Augmentation Policies and Network Architectures
The University of Tokyo（东京大学）；Preferred Networks inc.（Preferred Networks公司）
训练深度神经网络的常见管道由几个构建块组成，例如数据增强和网络架构选择。AutoML是一个旨在自动设计这些部分的研究领域，但大多数方法都是独立地探索每个部分，因为同时搜索所有部分更具挑战性。本文提出了一种数据增强策略和网络架构的联合优化方法，为训练管道的设计带来更多的自动化。我们方法的核心思想是使整个部分可微。该方法结合了用于增强策略搜索和网络架构搜索的可区分方法，以端到端的方式联合优化它们。实验结果表明，我们的方法取得了竞争力或独立搜索结果的优越性能。
2021-01-12 cs.CV cs.LG
FP-NAS: Fast Probabilistic Neural Architecture Search
Facebook AI（脸书人工智能研究院）
差分神经架构搜索（NAS）要求所有层选择同时保存在内存中;这限制了搜索空间和最终架构的大小。相比之下，像PARSEC这样的ProbabilNAS学习高性能架构上的分布，并且只使用训练单个模型所需的内存。然而，它需要对许多架构进行采样，这使得在广泛的空间中进行搜索的计算成本很高。为了解决这些问题，我们提出了一种自适应分布熵的抽样方法，在开始时抽取更多的样本来鼓励探索，并随着学习的进行减少样本。此外，为了在多变量空间中快速搜索，我们提出了一种从粗到细的策略，在开始时使用因子分解的分布，可以将架构参数的数量减少一个数量级以上。我们称这种方法为快速概率NAS（FP-NAS）。与PARSEC相比，它可以减少64%的架构样本，搜索速度提高2.1倍。与FBNetV 2相比，FP-NAS的速度提高了1.9 - 3.5倍，并且搜索模型在ImageNet上的性能优于FBNetV 2模型。FP-NAS允许我们将巨大的FBNetV 2空间扩展到更宽（即更大的通道选择）和更深（即更多的块），同时添加Split-Attention块并启用对拆分数量的搜索。当搜索大小为0.4G FLOPS的模型时，FP-NAS比EfficientNet快132倍，搜索到的FP-NAS-L0模型比EfficientNet-B 0精确0.7%。在不使用任何架构代理或缩放技巧的情况下，我们直接搜索高达1.0G FLOPS的大型模型。…
2021-03-31 cs.CV cs.LG
BETANAS: BalancEd TrAining and selective drop for Neural Architecture Search
Huawei（华为）
自动神经结构搜索技术在机器学习领域中变得越来越重要。特别是权值分配方法在以较少的计算资源搜索优良网络结构方面显示出了巨大的潜力。然而，现有的权值分配方法主要存在搜索策略的局限性：这些方法要么统一训练所有网络路径以使其收敛，从而引入分支之间的冲突，浪费大量的计算在没有前途的候选者上;要么选择性地训练具有不同频率的分支，从而导致路径之间的不公平评估和比较。为了解决这些问题，我们提出了一种新的神经架构搜索方法，平衡的训练策略，以确保公平的比较和选择性丢弃机制，以减少候选路径之间的冲突。实验结果表明，在移动环境下，我们提出的方法在ImageNet上的性能领先79.0%，在准确性和效率方面都优于其他最先进的方法。
2019-12-24 cs.CV cs.LG
Multi-conditioned Graph Diffusion for Neural Architecture Search
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；Universität Ulm（乌尔姆大学）
提出基于图扩散的神经架构搜索方法，利用离散条件图扩散过程生成高性能架构，并通过多条件无分类器引导施加准确率和延迟约束，仅需单次可微训练，在六个基准上快速生成架构并在ImageNet上验证泛化性。
2024-03-22 cs.CV cs.LG
