MobileDets: Searching for Object Detection Architectures for Mobile Accelerators
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google(谷歌)
反向瓶颈层建立在依赖卷积的基础上,是移动设备上最先进的目标检测模型中的主要构建块。在这项工作中,我们通过重新审视常规卷积的有用性,研究了这种设计模式在广泛的移动加速器上的最优性。我们发现,规则卷积是一个有效的组成部分,以提高延迟-准确性的权衡加速器上的目标检测,只要他们被放置在网络中的战略通过神经架构搜索。通过在搜索空间中加入常规卷积并直接优化目标检测的网络架构,我们获得了一系列目标检测模型MobileDets,这些模型在移动加速器中获得了最先进的结果。在COCO目标检测任务中,MobileDets在可比的移动CPU推理时间上比MobileNetV 3 +SSDLite高出1.7 mAP。MobileDets在移动CPU上的性能也优于MobileNetV 2 +SSDLite,在移动CPU上为1.9 mAP,在Google EdgeTPU上为3.7 mAP,在Qualcomm Hexagon DSP上为3.4 mAP,在Nvidia Jetson GPU上为2.7 mAP,而不会增加延迟。此外,MobileDets在移动CPU上与最先进的MnasFPN相当,即使不使用功能金字塔,也能在EdgeTPU和DSP上获得更好的mAP分数,加速高达2倍。代码和模型可在TensorFlow目标检测API中找到:https://github.com/tensorflow/models/tree/…
2021-03-31 cs.CV
MixSearch: Searching for Domain Generalized Medical Image Segmentation Architectures
College of Computer Science and Software Engineering(计算机与软件学院);Tencent Jarvis Lab(腾讯贾维斯实验室);College of Information Science and Electronic Engineering(信息与电子工程学院);Zhejiang University(浙江大学);University of Hong Kong(香港大学)
考虑到医学数据的稀缺性,医学图像分析中的大多数数据集都比自然图像小一个数量级。然而,大多数网络架构搜索(NAS)方法在医学图像集中在特定的数据集,并没有考虑到学习架构的泛化能力上看不见的数据集以及不同的域。在本文中,我们通过提出在一个复合数据集上搜索可推广的U形架构来解决这一点,该数据集创造性地混合了来自多个分割任务和领域的医学图像,称为MixSearch。具体来说,我们提出了一种新的方法来混合来自多个领域和分割任务的多个小规模数据集,以产生一个大规模的数据集。然后,设计了一种新的编织式编解码器结构,在单元级和网络级搜索广义分割网络。与跨各种数据集的高级编码器-解码器网络相比,所提出的MixSearch框架产生的网络实现了最先进的结果。
2021-02-26 cs.AI cs.CV
Searching for MobileNetV3
Google AI(谷歌人工智能);Google Brain(谷歌大脑)
我们提出了下一代的MobileNets的基础上结合互补的搜索技术,以及一种新颖的架构设计。MobileNetV 3通过硬件感知网络架构搜索(NAS)与NetAdapt算法的结合来适应手机CPU,然后通过新的架构改进进行改进。本文开始探索自动搜索算法和网络设计如何协同工作,利用互补的方法,提高整体的艺术状态。通过这个过程中,我们创建了两个新的MobileNet模型发布:MobileNetV 3-Large和MobileNetV 3-Small,这是针对高和低资源使用情况。然后,这些模型被适配并应用于目标检测和语义分割的任务。对于语义分割(或任何密集像素预测)的任务,我们提出了一种新的高效的分割解码器精简减少Atrous空间金字塔池(LR-ASPP)。我们实现了新的国家的最先进的结果,移动分类,检测和分割。与MobileNetV 2相比,MobileNetV 3-Large在ImageNet分类上的准确率提高了3.2%,同时延迟降低了15%。MobileNetV 3-Small比MobileNetV 2准确4.6%,同时延迟减少5%。MobileNetV 3-大型检测速度快25%,准确度与COCO检测上的MobileNetV 2大致相同。MobileNetV 3-Large LR-ASPP比MobileNetV 2 R-ASPP快30\%,但Cityscapes分割的精度相似。
2019-11-20 cs.CV
Searching for Efficient Multi-Scale Architectures for Dense Image Prediction
Google Inc.(谷歌公司)
神经网络架构的设计是机器学习系统在各种任务中实现最先进性能的重要组成部分。通过巧妙地构造一个搜索空间,并结合简单的学习算法,自动设计和构建体系结构已经完成了许多工作。最近的进展表明,这种元学习方法可能会超过可扩展的人类发明的架构上的图像分类任务。一个悬而未决的问题是这种方法可以推广到新的领域的程度。在这项工作中,我们探讨了密集图像预测的元学习技术的建设,重点是场景解析,人物部分分割和语义图像分割的任务。由于视觉信息的多尺度表示和在高分辨率图像上操作的必要性,在该领域中构建可行的搜索空间是具有挑战性的。基于对密集图像预测技术的调查,我们构建了一个递归搜索空间,并证明即使使用有效的随机搜索,我们也可以识别性能优于人类发明的架构的架构,并在三个密集预测任务上实现最先进的性能,包括在Cityscapes上的82.7\%。在PASCAL VOC 2012(语义图像分割)上,基于PASCAL的人-部分分割(person-part segmentation)和基于PASCAL的VOC 2012(semantic image segmentation)的分割率分别为87.9%和71.3%。此外,所得到的架构在计算上更高效,需要一半的参数和一半的计算成本作为先前的最先进的系统。
2018-09-11 cs.CV cs.LG stat.ML
Deep Learning on Home Drone: Searching for the Optimal Architecture
University of Haifa(海法大学);MIT(麻省理工学院)
我们建议第一个通过深度学习在弱微计算机上运行实时语义分割的系统,例如连接到玩具无人机上的Raspberry Pi Zero v2(价格为15美元)。特别是,由于树莓派的重量小于$16$克,其大小是信用卡的一半,我们可以很容易地将其连接到常见的商业DJI Tello玩具无人机(<100美元,<90克,98 $\times$ 92.5 $\times$ 41 mm)。其结果是一个自主无人机(没有笔记本电脑,也没有人在回路中),可以从机载单目RGB摄像头(没有GPS或LIDAR传感器)的视频流中实时检测和分类物体。配套的视频演示了这款Tello无人机如何扫描实验室中的人员(例如,供消防员或安全部队使用)以及实验室外的空停车位。现有的深度学习解决方案要么对于此类物联网设备上的实时计算来说太慢,要么提供不切实际的质量结果。我们的主要挑战是设计一个系统,在网络、深度学习平台/框架、压缩技术和压缩比的众多组合中发挥最大作用。为此,我们提供了一个有效的搜索算法,旨在找到最佳的组合,从而在网络运行时间和其准确性/性能之间的最佳权衡。
2022-09-21 cs.CV cs.LG cs.RO
OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection
Anyvision(Anyvision公司)
最近,神经结构搜索(NAS)已被用来设计特征金字塔网络(FPN),并取得了可喜的成果,用于视觉目标检测。在此基础上,提出了一种新的单次路径聚合网络结构搜索算法(One-Shot Path Aggregation Network Architecture Search,OPANAS),显著提高了搜索效率和检测精度。具体来说,我们首先引入六种异构信息路径来构建我们的搜索空间,即自顶向下、自底向上、融合分裂、规模均衡、跳过连接和无。其次,我们提出了一种新的搜索空间的FPN,其中每个FPN候选人表示的密集连接的有向无环图(每个节点是一个特征金字塔,每条边是六个异构的信息路径之一)。第三,我们提出了一种有效的一次性搜索方法来找到最佳的路径聚合结构,即我们首先训练一个超网,然后找到最佳的候选人与进化算法。实验结果证明了所提出的OPANAS用于目标检测的有效性:(1)OPANAS比现有技术的方法(例如,NAS-FPN和Auto-FPN),以显著更小的搜索成本(例如,在MS-COCO上只有4个GPU天);(2)OPANAS发现的最佳架构显著提高了主流检测器,包括RetinaNet,Faster R-CNN和Cascade R-CNN,与FPN同行相比提高了2.3- 3.2%mAP;(3)与同等技术相比,以更小的训练成本实现了最新的准确性-速度权衡(7.6 FPS时52.2%mAP)。代码将在htt…
2021-03-11 cs.CV
FasterSeg: Searching for Faster Real-time Semantic Segmentation
Horizon Robotics Inc.(地平线机器人公司);Texas A&M University(德克萨斯农工大学)
我们提出FasterSeg,一个自动设计的语义分割网络,不仅具有最先进的性能,而且速度比目前的方法更快。FasterSeg利用神经架构搜索(NAS),从一个新的和更广泛的搜索空间集成多分辨率分支,最近已被发现是至关重要的手动设计的分割模型中发现。为了更好地校准高准确性和低延迟目标之间的平衡,我们提出了一种解耦和细粒度的延迟正则化,有效地克服了我们观察到的现象,即搜索的网络容易“崩溃”到低延迟但准确性差的模型。此外,我们无缝地扩展FasterSeg到一个新的协作搜索(共同搜索)框架,同时搜索教师和学生网络在同一个单一的运行。师生蒸馏进一步提高了学生模型的准确性。流行的分割基准上的实验证明了FasterSeg的能力。例如,FasterSeg可以比Cityscapes上最接近的手动设计竞争对手快30%以上,同时保持相当的准确性。
2020-01-16 cs.CV cs.LG
Searching by Generating: Flexible and Efficient One-Shot NAS with Architecture Generator
National Cheng Kung University(成功大学)
在one-shot NAS中,需要从超网中搜索子网以满足不同的硬件约束。然而,搜索成本高,并且对于$N$不同的约束需要$N$次搜索。在这项工作中,我们提出了一种新的搜索策略称为架构生成器搜索子网络,通过生成它们,使搜索过程可以更有效和灵活。使用训练的架构生成器,给定目标硬件约束作为输入,$N$良好的架构可以通过仅一次前向传递而无需重新搜索和超网再训练来生成用于$N$约束。此外,我们提出了一种新的单路径超网,称为统一超网,以进一步提高搜索效率,减少GPU的内存消耗的架构生成器。结合架构生成器和统一超网,提出了一个灵活高效的一次性NAS框架,称为生成式搜索NAS(SGNAS)。使用预训练的supernt,SGNAS对$N$不同硬件约束的搜索时间仅为5 GPU小时,比以前的SOTA单路径方法快$4N$倍。在从头开始训练之后,SGNAS在ImageNet上的top1准确率为77.1%,与SOTA相当。该代码可从以下网址获取:https://github.com/eric8607242/SGNAS。
2021-03-12 cs.CV
Searching for A Robust Neural Architecture in Four GPU Hours
University of Technology Sydney(悉尼科技大学);Baidu Research(百度研究院)
传统的神经结构搜索(NAS)方法基于强化学习或进化策略,在CIFAR-10上需要超过3000个GPU小时才能找到一个好的模型。我们提出了一个有效的NAS方法学习搜索的梯度下降。我们的方法表示为一个有向无环图(DAG)的搜索空间。这个DAG包含数十亿个子图,每个子图都表示一种神经架构。为了避免遍历子图的所有可能性,我们在DAG上开发了一个可微采样器。该采样器是可学习的,并在训练采样架构后通过验证损失进行优化。通过这种方式,我们的方法可以通过梯度下降以端到端的方式进行训练,称为使用差分架构采样器(GDAS)的基于一致性的搜索。在实验中,我们在CIFAR-10上可以在4个GPU小时内完成一个搜索过程,所发现的模型仅用2.5M个参数就获得了2.82%的测试误差,这与最先进的水平相当。代码在GitHub上公开:https://github.com/D-X-Y/NAS-Projects。
2019-10-16 cs.CV
SAR-NAS: Skeleton-based Action Recognition via Neural Architecture Searching
Alibaba DAMO Academy(阿里巴巴达摩院);University of Wollongong(伍伦贡大学)
本文提出了一种自动设计的神经网络架构的研究,基于动作识别。具体来说,我们将一个基于实例的动作实例编码到一个张量中,并仔细定义了一组操作来构建两种类型的网络单元:正常单元和还原单元。最近开发的DARTS(可区分的架构搜索)被用来搜索一个有效的网络架构,是建立在这两种类型的细胞。所有操作都是基于2D的,以便减少总体计算和搜索空间。在具有挑战性的NTU RGB+D和Kinectics数据集上的实验已经证实,迄今为止为基于动作识别开发的大多数网络可能都不紧凑和高效。所提出的方法提供了一种方法来寻找这样一个紧凑的网络,能够实现比较,甚至更好的性能比国家的最先进的方法。
2020-10-29 cs.CV
Searching for the Fakes: Efficient Neural Architecture Search for General Face Forgery Detection
Nankai University(南开大学)
针对人脸伪造检测手动设计网络耗时费力的问题,提出基于NAS的端到端框架,通过伪造导向搜索空间、新型评估指标、跨数据集搜索和级联金字塔连接,实现了兼具竞争力与泛化性的自动检测架构设计。
2023-06-16 cs.CV
HR-NAS: Searching Efficient High-Resolution Neural Architectures with Lightweight Transformers
The University of Hong Kong(香港大学);Bytedance Inc.(字节跳动公司)
高分辨率表示(HR)对于密集预测任务(如分割,检测和姿态估计)至关重要。学习HR表示通常在关注图像分类的先前神经架构搜索(NAS)方法中被忽略。这项工作提出了一种新的NAS方法,称为HR-NAS,它能够找到有效和准确的网络,为不同的任务,有效地编码多尺度上下文信息,同时保持高分辨率的表示。在HR-NAS中,我们更新了NAS的搜索空间和搜索策略。为了更好地在HR-NAS的搜索空间中编码多尺度图像上下文,我们首先仔细设计了一个轻量级的Transformer,其计算复杂性可以根据不同的目标函数和计算预算动态地改变。为了保持学习网络的高分辨率表示,HR-NAS采用了多分支架构,该架构提供了多个特征分辨率的卷积编码,灵感来自HRNet。最后,我们提出了一种有效的细粒度搜索策略来训练HR-NAS,该策略有效地探索了搜索空间,并在给定各种任务和计算资源的情况下找到了最优的架构。HR-NAS能够在三个密集预测任务和一个图像分类任务的性能和FLOP之间实现最先进的权衡,只需少量的计算预算。例如,HR-NAS超越了专门为语义分割设计的SqueezeNAS,同时将效率提高了45.9%。代码可在https://github.com/dingmyu/HR-NAS上获得
2021-06-11 cs.CV
SASE: A Searching Architecture for Squeeze and Excitation Operations
China Telecom Research Institute (CTRI)(中国电信研究院)
本文提出 SASE,一种通过 NAS 自动搜索 Squeeze 和 Excitation 操作以构建即插即用注意力模块的架构,在细分搜索空间并引入新操作后,使 ResNet-50/101 在多项视觉任务上达到最优性能。
2024-11-13 cs.CV
Auto-ReID: Searching for a Part-aware ConvNet for Person Re-Identification
Baidu Research(百度研究院);University of Technology Sydney(悉尼科技大学)
用于人员重新识别(reID)的主流深度卷积神经网络(CNN)通常建立在ResNet或VGG骨干上,这些骨干最初是为分类而设计的。由于reID与分类不同,因此应相应地修改架构。我们建议自动搜索特别适合reID任务的CNN架构。有三个方面需要解决。首先,身体结构信息在reID中起着重要作用,但它不在骨架中编码。第二,神经架构搜索(NAS)自动化的架构设计过程中,没有人的努力,但现有的NAS方法纳入输入图像的结构信息。第三,reID本质上是一个检索任务,但目前的NAS算法仅仅是为分类而设计的。为了解决这些问题,我们提出了一个基于检索的搜索算法,在一个专门设计的reID搜索空间,名为Auto-ReID。我们的Auto-ReID使自动化方法能够为reID找到高效和有效的CNN架构。大量的实验表明,搜索的架构实现了最先进的性能,同时减少了50%的参数和53%的FLOPs相比,其他。
2019-08-20 cs.CV
HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search
Wuhan University(武汉大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
本文提出HKNAS,利用超核直接生成结构参数并设计仅含卷积的分层搜索空间,以降低高光谱图像分类的架构搜索成本并提升性能。
2023-04-23 cs.CV
AutoPose: Searching Multi-Scale Branch Aggregation for Pose Estimation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Texas A&M University(德克萨斯农工大学);Horizon Robotics Inc(地平线机器人公司)
我们提出了AutoPose,这是一种新型的神经架构搜索(NAS)框架,能够自动发现跨尺度连接的多个并行分支,以实现准确和高分辨率的2D人体姿势估计。最近,用于姿态估计的高性能手工卷积网络显示出对多尺度融合和高分辨率表示的需求不断增长。然而,目前的NAS工作表现出有限的灵活性的规模搜索,他们主要采用简化的搜索空间的单分支结构。这种简化限制了不同尺度信息的融合,并且无法保持高分辨率的表示。所呈现的AutoPose框架能够搜索多分支尺度和网络深度,以及细胞级微观结构。在搜索空间的启发下,提出了一种新的双层优化方法,其中网络级结构通过强化学习进行搜索,单元级结构通过基于梯度的方法进行搜索.在2.5 GPU天内,AutoPose能够在MS COCO数据集上找到非常有竞争力的架构,这些架构也可以转移到MPII数据集。我们的代码可在https://github.com/VITA-Group/AutoPose上获得。
2020-08-16 cs.CV
LidarNAS: Unifying and Searching Neural Architectures for 3D Point Clouds
Waymo LLC(Waymo有限责任公司)
开发能够准确理解3D点云中物体的神经模型对于机器人和自动驾驶的成功至关重要。然而,可以说由于数据的高维性质(与图像相比),现有的神经架构在其设计中表现出很大的多样性,包括但不限于所考虑的视图,神经特征的格式以及所使用的神经操作。由于缺乏统一的框架和解释,很难正确看待这些设计,也很难系统地探索新的设计。在本文中,我们首先提出了一个统一的框架,这样的关键思想是分解成一系列的视图转换和神经层的神经网络。我们证明,这个模块化的框架可以重现各种现有的作品,同时允许一个公平的比较骨干设计。然后,我们展示了这个框架如何可以很容易地实现到一个具体的神经架构搜索(NAS)空间,允许一个原则性的NAS-3D探索。在Waymo开放数据集上对3D目标检测任务执行进化NAS时,我们不仅优于最先进的模型,而且还报告了一个有趣的发现,即NAS倾向于为车辆和行人类别发现相同的宏观层次架构概念。
2022-10-10 cs.CV
SM-NAS: Structural-to-Modular Neural Architecture Search for Object Detection
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Sun Yat-sen University(中山大学)
现有技术的目标检测方法是复杂的,具有各种模块,例如主干、特征融合颈、RPN和RCNN头,其中每个模块可以具有不同的设计和结构。如何平衡计算成本和精度的权衡,以进行结构组合以及多个模块的模块化选择?神经结构搜索(NAS)在寻找最优解方面显示出巨大的潜力。现有的NAS在目标检测方面的工作主要集中在单个模块的优化设计上,如主干或特征融合颈,而忽略了整个系统的平衡性。在本文中,我们提出了一个两个阶段的粗到精的搜索策略命名为结构到模块NAS(SM-NAS)的GPU友好的设计,既有效的模块组合和更好的模块级架构的目标检测。具体而言,结构级搜索阶段首先旨在找到不同模块的有效组合;然后模块级搜索阶段进化每个特定模块,并将帕累托前沿推向更快的任务特定网络。我们考虑一个多目标搜索的搜索空间覆盖了许多流行的设计检测方法。我们通过探索从头开始的快速训练策略,直接搜索检测骨干,而无需预先训练的模型或任何代理任务。由此产生的架构在推理时间和准确性方面主导了最先进的目标检测系统,并证明了对多个检测数据集的有效性,例如,与FPN相比,推理时间减半,额外提高了1% mAP,并且在MaskRCNN的推理时间相似的情况下达到了46% mAP。
2019-11-30 cs.CV
Efficient Structured Pruning and Architecture Searching for Group Convolution
Imperial College London(帝国理工学院)
卷积神经网络的高效推理是近年来研究的热点。当部署预训练模型时,希望在给定的推理预算约束下实现最大的测试准确度。网络修剪是一种常用的技术,但它可能会产生不规则的稀疏模型,很难获得实际的加速。由于其规则的结构,组卷积是一个有前途的修剪目标;然而,将这种结构纳入修剪过程是具有挑战性的。这是因为结构性约束很难描述,并且可能使修剪难以解决。需要配置组卷积架构,即,使测试准确性最大化的组的数量也增加了难度。本文提出了一种有效的方法来应对这一挑战。我们将组卷积剪枝公式化为寻找最佳信道置换来施加结构约束,并通过算法有效地解决它。我们还应用本地搜索探索组配置的基础上估计修剪成本,以最大限度地提高测试精度。与以前的工作相比,结果表明,我们的方法产生竞争力的组卷积模型的各种任务在一个较短的修剪周期,使快速组配置探索推理预算约束。
2019-10-28 cs.CV
Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach
Shanghai Jiao Tong University(上海交通大学)
针对两阶段NAS局部保序性不足问题,提出超网转移策略,将架构搜索与超网微调结合,提升保序性并实现跨数据集迁移。
2024-03-18 cs.CV
Neural Architecture Search with Random Labels
MEGVII Technology(旷视科技)
在本文中,我们研究了一种新的变体的神经结构搜索(NAS)范式-搜索与随机标签(RLNAS)。对于大多数现有的NAS算法来说,该任务听起来是违反直觉的,因为随机标签提供了关于每个候选架构的性能的很少信息。相反,我们提出了一种新的NAS框架的基础上易于收敛的假设,它只需要随机标签搜索。该算法包括两个步骤:第一,我们训练一个超网使用随机标签;第二,从超网我们提取的子网络的权重变化最显着的训练过程中。在多个数据集(例如NAS-Bench-201和ImageNet)和多个搜索空间(例如DARTS和MobileNet)上评估了大量实验。非常令人惊讶的是,RLNAS与最先进的NAS方法(如PC-DARTS,Single Path One-Shot)相比,实现了相当甚至更好的结果,即使同行使用完整的地面真值标签进行搜索。我们希望我们的发现能启发人们对NAS本质的新认识。
2021-05-25 cs.CV
Video Action Recognition Via Neural Architecture Searching
University of Oulu(奥卢大学);Xi'an Jiaotong University(西安交通大学)
深度神经网络在视频分析和理解方面取得了巨大成功。然而,设计一个高性能的神经架构需要大量的努力和专业知识。在本文中,我们首次尝试让算法自动设计神经网络的视频动作识别任务。具体地说,时空网络是在一个可微的空间建模的有向无环图,从而可以执行基于梯度的策略来搜索最佳的架构。尽管如此,它是计算昂贵的,因为计算负担,以评估每个架构的候选人仍然是沉重的。为了缓解这个问题,我们,对于视频输入,引入一个时间段的方法,以减少计算成本,而不会丢失全局视频信息。对于该体系结构,我们通过引入伪3D算子在一个有效的搜索空间中进行探索。实验表明,在具有挑战性的UCF101数据集上,我们的架构在从头开始训练协议下的性能优于流行的神经架构,令人惊讶的是,其参数只有手动设计的1%左右。
2019-07-10 cs.CV cs.LG
Searching a Compact Architecture for Robust Multi-Exposure Image Fusion
Dalian University of Technology(大连理工大学)
本文提出一种基于架构搜索的多重曝光图像融合范式,结合自对齐与细节补全模块解决像素未对齐和低效推理问题,在提升PSNR的同时显著减少推理时间。
2024-08-26 cs.CV
CARS: Continuous Evolution for Efficient Neural Architecture Search
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Peng Cheng Laboratory(鹏城实验室);University of Sydney(悉尼大学)
现有的神经网络结构搜索算法中,由于效率的原因,搜索技术主要采用可微方法。相反,我们开发了一个有效的连续进化方法来搜索神经网络。在最新一代的一个SuperNet中共享参数的群体中的架构将在训练数据集上进行调整。在下一代进化中的搜索将直接继承SuperNet和种群,这加速了最优网络的生成。进一步应用非支配排序策略,仅保留Pareto前沿的结果,以准确地更新SuperNet。经过仅0.4 GPU天的连续搜索,将产生几个具有不同模型大小和性能的神经网络。因此,我们的框架提供了一系列的网络,参数的数量从3.7M到5.1M移动设置下。这些网络超过了在基准ImageNet数据集上使用最先进的方法生成的网络。
2020-03-09 cs.CV
SPIDER: Searching Personalized Neural Architecture for Federated Learning
University of Southern California(南加州大学);University of Minnesota(明尼苏达大学)
联邦学习(FL)是一种高效的学习框架,当由于隐私和监管限制而无法与集中式服务器共享数据时,它可以帮助分布式机器学习。FL的最新进展为所有客户端使用预定义的基于架构的学习。然而,由于客户端的数据是不可见的服务器和数据分布是不相同的客户端,在集中式设置中发现的预定义的架构可能不是FL中的所有客户端的最佳解决方案。出于这一挑战,在这项工作中,我们介绍SPIDER,一个算法框架,旨在搜索个性化的神经架构联邦学习。SPIDER的设计基于两个独特的功能:(1)交替优化一个体系结构-同构全局模型(2)通过一种新的神经结构搜索(NAS)方法实现结构异构局部模型,该方法可以利用操作-水平扰动对精度值的影响作为判据。实验结果表明,SPIDER优于其他国家的最先进的个性化方法,搜索的个性化结构是更有效的推理。
2021-12-27 cs.CV cs.LG
QuantNAS for super resolution: searching for efficient quantization-friendly architectures against quantization noise
Skoltech(斯科尔科沃科学技术学院);Yandex
提出结合量化与神经架构搜索的QuantNAS流程,利用熵正则化、量化噪声和ADQ模块搜索量化友好的超分辨率架构,比直接量化更快更稳定且获得更优PSNR/BitOps权衡。
2024-01-10 cs.CV
Searching for Efficient Multi-Stage Vision Transformers
Massachusetts Institute of Technology(麻省理工学院)
视觉Transformer(ViT)表明,用于自然语言处理的Transformer可应用于计算机视觉任务,并具有与卷积神经网络(CNN)相当的性能,后者已在计算机视觉中研究和采用多年。这自然提出了一个问题,即如何使用CNN的设计技术来提高ViT的性能。为此,我们建议将两种技术,并提出ViT-ResNAS,一个有效的多阶段ViT架构设计与神经架构搜索(NAS)。首先,我们提出了残差空间减少,以减少更深层次的序列长度,并利用多级架构。当减少长度时,我们添加跳过连接以提高性能并稳定训练更深的网络。其次,我们提出了权重共享NAS与多架构采样。我们扩大一个网络,并利用它的子网络来定义一个搜索空间。然后训练一个覆盖所有子网络的超级网络,以快速评估它们的性能。为了有效地训练超级网络,我们提出了采样和训练多个子网络与一个向前-向后通过。在此之后,进化搜索进行发现高性能的网络架构。ImageNet上的实验表明,ViT-ResNAS比原始DeiT和ViT的其他强基线实现了更好的准确性-MAC和准确性-吞吐量权衡。代码可在https://github.com/yilunliao/vit-search上获得。
2021-09-01 cs.CV
Learning Graph Convolutional Network for Skeleton-based Human Action Recognition by Neural Searching
University of Oulu(奥卢大学);Xi’an Jiaotong University(西安交通大学)
基于图卷积网络(GCN)的骨架数据人体动作识别,由于其对非欧结构数据建模能力强,受到了广泛关注。然而,许多现有的GCN方法提供了一个预定义的图,并通过整个网络固定它,这可能会丢失隐含的联合相关性。此外,主流的谱GCN近似为一阶跳,因此没有很好地涉及高阶连接。因此,需要付出巨大的努力来探索更好的GCN架构。为了解决这些问题,我们转向神经结构搜索(NAS),并提出了第一个自动设计的GCN基于神经网络的动作识别。具体来说,我们丰富的搜索空间,提供多个动态图形模块后,充分探索节点之间的时空相关性。此外,我们还引入了多跳模块,希望能突破一阶近似所带来的表示能力的限制。此外,采样和内存效率的演化策略,提出了搜索最佳的结构,为这项任务。由此产生的架构证明了高阶近似和动态图建模机制的有效性与时间的相互作用,这是几乎没有讨论过。为了评估搜索模型的性能,我们在两个非常大规模的数据集上进行了大量的实验,结果表明我们的模型得到了最先进的结果。
2019-11-11 cs.CV
AssembleNet: Searching for Multi-Stream Neural Connectivity in Video Architectures
Google Research(谷歌研究院)
学习表示视频在算法和计算上都是一项非常具有挑战性的任务。标准视频CNN架构已经通过直接扩展为图像理解而设计的架构以包括时间维度、使用诸如3D卷积的模块或通过使用双流设计来捕获视频中的外观和运动来设计。我们将视频CNN解释为相互连接的多流卷积块的集合,并提出了自动寻找具有更好连接性和时空交互的神经架构的方法,用于视频理解。这是通过进化由连接权重学习指导的过度连接架构的群体来完成的。将抽象不同输入类型的表示(即,RGB和光流),从而允许不同类型或来源的信息彼此交互。我们的方法被称为AssemblleNet,在公共视频数据集上的性能优于以前的方法,在某些情况下,性能会有很大的提高。我们获得了58.6%的mAP上的字谜和34.27%的准确率时刻的时间。
2020-05-27 cs.CV cs.LG cs.NE
Searching for Efficient Architecture for Instrument Segmentation in Robotic Surgery
Technische Universität München(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
手术器械的分割是机器人辅助手术中的一个重要问题:它是实现完整器械姿态估计的关键一步,并且直接用于手术过程中增强现实覆盖的掩蔽。大多数应用依赖于高分辨率手术图像的准确实时分割。虽然以前的研究主要集中在提供高精度分割掩模的方法上,但由于其计算成本,大多数方法不能用于实时应用。在这项工作中,我们设计了一个轻量级和高效的深度残差架构,该架构被调整为执行高分辨率图像的实时推理。为了解释所发现的轻量级深度残差网络的准确性降低,并避免增加任何额外的计算负担,我们对网络的残差单元的膨胀率进行了可微搜索。我们在EndoVis 2017 Robotic Instruments数据集上测试了我们发现的架构,并验证了我们的模型在速度和准确性方面是最先进的,在高分辨率图像上的速度高达125 FPS。
2020-07-08 cs.CV eess.IV
Triple-level Model Inferred Collaborative Network Architecture for Video Deraining
Zhejiang University of Technology(浙江工业大学);Dalian University of Technology(大连理工大学);Pazhou Lab(琶洲实验室)
视频去伪是户外视觉系统中的一个重要问题,并得到了广泛的研究。然而,通过聚合模型形成和数据分布来设计最佳架构对于视频去盲是一项具有挑战性的任务。在本文中,我们开发了一个模型引导的三层优化框架,推导出网络架构与合作优化和自动搜索机制,命名为三层模型推断的合作搜索(TMICS),以处理各种视频雨的情况。特别是,为了缓解现有方法不能覆盖各种雨条分布的问题,我们首先设计了一个关于任务变量和超参数的超参数优化模型。基于所提出的优化模型,我们设计了一个协同结构的视频去重。该结构包括主导网络架构(DNA)和伴随网络架构(CNA),通过引入基于注意力的平均方案(AAS)来合作。为了更好地从视频中挖掘帧间信息,我们引入了一种宏观结构搜索方案,该方案从光流模块(OFM)和时间序列模块(TGM)中搜索以帮助恢复潜在帧。此外,我们应用可微神经架构搜索从一个紧凑的候选集的任务特定的操作,以发现理想的雨条纹自动去除架构。在各种数据集上进行的大量实验表明,我们的模型在保真度和时间一致性方面比最先进的作品有了显着的改进。源代码可在https://github.com/vis-opt-group/TMICS上获得。
2021-11-08 cs.CV eess.IV
Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs
Google(谷歌)
设备上的ML加速器正在成为现代移动片上系统(SoC)的标准。神经架构搜索(NAS)可以有效地利用这些加速器提供的高计算吞吐量。然而,现有的NAS框架在扩展到多个任务和不同的目标平台方面有几个实际的限制。在这项工作中,我们提供了一个双管齐下的方法来应对这一挑战:(i)NAS使能基础设施,其将模型成本评估、搜索空间设计和NAS算法结合在一起,以快速针对各种设备上的ML任务,以及(ii)从基于组卷积的反向瓶颈(IBN)变体制作的搜索空间,其在ML加速器上提供灵活的质量/性能权衡,补充了现有的基于全卷积和去卷积的IBN。使用这种方法,我们针对最先进的移动平台Google Tensor SoC,并展示了神经架构,可以提高各种计算机视觉(分类,检测,分割)以及自然语言处理任务的质量性能帕累托边界。
2022-04-09 cs.CV cs.DC cs.LG
The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol
University of Warsaw(华沙大学)
针对可微神经架构搜索中的离散化误差问题,提出单阶段搜索协议,不依赖解码连续架构,在Cityscapes上达75.3%准确率,性能优于DCNAS,且仅需5.5GPU天,并提出新数据集划分程序防止架构退化。
2024-05-26 cs.AI cs.CV cs.LG
SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
Georgia Institute of Technology(佐治亚理工学院);Rice University(莱斯大学);Oracle Health and AI(甲骨文健康与人工智能部门)
本文提出SuperTickets,通过联合架构搜索和参数剪枝的二合一训练方案直接从超网络中识别高效DNNs及其彩票子网络,无需重训练即可实现更优的准确率与效率权衡,并具备跨任务迁移能力。
2025-03-03 cs.CV cs.LG
Neural Architecture Searching for Facial Attributes-based Depression Recognition
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng National Laboratory(鹏城国家实验室);Shenzhen Jinzhou Precision Technology Corp.(深圳金洲精工科技股份有限公司)
最近的研究表明,抑郁症可以部分反映在人类的面部属性。由于人脸属性具有不同的数据结构,并携带不同的信息,现有的方法没有具体考虑的最佳方式来提取抑郁相关的功能,以及调查的最佳融合策略。在本文中,我们提出了扩展神经架构搜索(NAS)技术,设计一个最佳的模型,多个面部属性为基础的抑郁症识别,这可以有效地和强大的实现在一个小的数据集。我们的方法首先对每个面部属性的特征提取器进行预热步骤,旨在大大减少搜索空间并提供定制的架构,其中每个特征提取器可以是卷积神经网络(CNN)或图神经网络(GNN)。然后,我们对所有特征提取器和融合网络进行端到端的架构搜索,使互补的抑郁线索以更少的冗余进行最佳组合。在AVEC 2016数据集上的实验结果表明,该方法在RMSE和MAE上分别比现有方法提高了27%和30%,取得了突破性的效果,为NAS在基于时间序列数据的心理健康分析中的应用提供了坚实的基础.
2022-01-24 cs.AI cs.CV
Searching for Controllable Image Restoration Networks
Seoul National University(首尔大学)
近来,用户对图像的不同偏好导致了对控制用于图像复原任务的图像效果的极大兴趣。然而,现有的方法需要通过整个网络对每个输出进行单独的推理,由于长延迟,这阻碍了用户容易地比较多个图像效果。为此,我们提出了一个新的框架,基于神经架构搜索技术,使有效地生成多个图像效果,通过两个阶段的修剪:任务不可知和特定于任务的修剪。具体来说,任务特定的修剪学习自适应地删除每个任务的不相关网络参数,而任务不可知的修剪学习通过在不同任务之间共享网络的早期层来找到有效的架构。由于共享层允许特征重用,因此仅需要任务不可知层的单个推断来从输入图像生成多个图像效果。与基线相比,使用所提出的任务不可知和特定于任务的修剪方案一起显著降低了FLOP和推理的实际延迟。我们在生成27种图像效果时减少了95.7%的FLOP,并使GPU延迟在4K分辨率图像上加快了73.0%。
2020-12-21 cs.CV
MRF-UNets: Searching UNet with Markov Random Fields
KU Leuven(鲁汶大学)
UNet [27]由于其简单性和有效性而广泛用于语义分割。然而,其手动设计的架构被应用于大量的问题设置,要么没有架构优化,要么手动调优,这是耗时的,可能是次优的。在这项工作中,首先,我们提出了马尔可夫随机场神经结构搜索(MRF-NAS),它扩展和改进了最近的自适应和最优网络宽度搜索(AOWS)方法[4],(i)更一般的MRF框架(ii)多样的M-best循环推理(iii)可微参数学习。这提供了必要的NAS框架,以有效地探索导致循环推理图的网络架构,包括由跳过连接引起的循环。以UNet为主干,我们发现一个架构,MRF-UNet,显示了几个有趣的特点。其次,通过这些特征的镜头,我们确定了原始UNet架构的次优性,并进一步改进了MRF-UNetV 2的结果。实验表明,我们的MRF-UNets显着优于三个航空图像数据集和两个医学图像数据集的几个基准,同时保持较低的计算成本。该代码可从以下网址获取:https://github.com/zifuwanggg/MRF-UNets。
2022-07-13 cs.AI cs.CV cs.LG
Unchain the Search Space with Hierarchical Differentiable Architecture Search
Malong LLC(码隆科技有限公司)
可区分体系结构搜索(DAS)在寻找具有降低计算成本的高性能体系结构方面取得了很大进展。然而,基于DAS的方法主要集中在搜索可重复的单元结构,然后将其按顺序堆叠在多个阶段中以形成网络。这种配置显著地减小了搜索空间,并且忽略了单元之间的连接的重要性。为了克服这一限制,在本文中,我们提出了一个分层差分架构搜索(H-DAS),在细胞级和阶段级进行架构搜索。具体地说,细胞级搜索空间是宽松的,使网络可以学习阶段特定的细胞结构。对于阶段级搜索,我们系统地研究了阶段的结构,包括每个阶段中的细胞数量和细胞之间的连接。基于深入的观察,我们设计了几个搜索规则和损失,并管理搜索更好的阶段级架构。这种分层的搜索空间在不引入昂贵的搜索代价的情况下大大提高了网络的性能。在CIFAR 10和ImageNet上的大量实验证明了所提出的H-DAS的有效性。此外,搜索的阶段级架构可以与现有DAS方法搜索的单元结构相结合,以进一步提高性能。代码可在:https://github.com/MalongTech/research-HDAS
2021-01-12 cs.CV
EASNet: Searching Elastic and Accurate Network Architecture for Stereo Matching
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室);Hong Kong Baptist University(香港浸会大学);The Hong Kong University of Science and Technology(香港科技大学);XGRIDS;The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
近年来的高级研究在优化立体匹配网络结构上花费了大量的人力,但很难同时实现高精度和快速的推理速度。为了减轻网络设计中的工作量,神经结构搜索(NAS)已成功应用于各种稀疏预测任务,如图像分类和目标检测。然而,现有的NAS研究的密集预测任务,特别是立体匹配,仍然不能有效地和有效地部署在不同的计算能力的设备。为此,我们建议训练一个弹性和准确的立体匹配网络(EASNet),支持不同的计算能力的设备上的各种3D架构设置。考虑到目标设备上的部署延迟约束,我们可以快速从整个EASNet中提取子网络,而无需额外的训练,同时仍然可以保持子网络的准确性。大量的实验表明,我们的EASNet在模型精度和推理速度方面优于Scene Flow和MPI Sintel数据集上最先进的人类设计和基于NAS的架构。特别是,部署在推理GPU上,EASNet在100 ms的场景流数据集上实现了新的SOTA 0.73 EPE,比LEASstereo快4.5 $\times$,模型质量更好。
2022-07-20 cs.AI cs.CV
einspace: Searching for Neural Architectures from Fundamental Operations
针对现有NAS搜索空间多样性不足难催生架构范式转变的问题,提出基于参数化概率上下文无关文法的einspace搜索空间,可建模多种网络结构,在Unseen NAS数据集上从零搜索可得有竞争力的架构,以强基线初始化可获大幅提升,推动变革性NAS范式发展。
2024-10-30 cs.AI cs.CV cs.LG
Mutually-aware Sub-Graphs Differentiable Architecture Search
Malong LLC(马龙有限责任公司);MYBank, Ant Group(网商银行,蚂蚁集团)
可区分体系结构搜索以其简单、高效的特点在NAS领域得到了广泛的应用,主要有多路径搜索和单路径搜索两种模式。多路径框架(例如DARTS)是直观的,但存在内存使用和训练崩溃的问题。单路径方法(例如GDAS和ProxylessNAS)缓解了内存问题,缩小了搜索和评估之间的差距,但牺牲了性能。在本文中,我们提出了一个概念上简单而有效的方法来桥接这两个范例,称为相互感知的子图可区分的架构搜索(MSG-DAS)。我们框架的核心是一个可微的Gumbel-TopK采样器,它产生多个互斥的单路径子图。为了缓解多子图设置带来的重复跳接问题,我们提出了一个Dropblock-Identity模块来稳定优化。为了充分利用现有的模型(超网和子图),我们引入了一个内存高效的超网指导蒸馏来改善训练。该框架在灵活的内存使用和搜索质量之间取得了平衡。我们在ImageNet和CIFAR 10上证明了我们的方法的有效性,其中搜索的模型显示出与最新方法相当的性能。
2021-11-06 cs.CV
Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
条件生成对抗网络(cGAN)被设计为基于所提供的条件\eg、类级分布来生成图像。然而,现有的方法对所有类使用相同的生成架构。本文提出了一种新的思想,采用NAS为每个类找到一个不同的体系结构。搜索空间包含规则卷积和类调制卷积,其中后者被设计为引入类特定信息,同时避免减少每个类生成器的训练数据。搜索算法遵循混合架构优化的权重共享流水线,使得搜索成本不会随着类的数量而增长。为了学习采样策略,将马尔可夫决策过程嵌入到搜索算法中,并应用移动平均以获得更好的稳定性。我们在CIFAR10和CIFAR100上评估我们的方法。除了在FID分数方面实现更好的图像生成质量外,我们还发现了一些有助于设计cGAN模型的见解。代码可在https://github.com/PeterouZh/NAS_cGAN上获得。
2021-04-06 cs.CV cs.LG
One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking
Stony Brook University(石溪大学);Microsoft Research Asia(微软亚洲研究院)
尽管取得了显着的进展,大多数神经架构搜索(NAS)方法集中在搜索一个单一的准确和强大的架构。为了进一步构建具有更好泛化能力和性能的模型,通常采用模型集成,并且其性能优于独立模型。受到模型集成优点的启发,我们建议同时搜索多个不同的模型,作为寻找强大模型的另一种方法。搜索集成是不平凡的,有两个关键的挑战:扩大搜索空间和搜索模型的潜在更复杂。在本文中,我们提出了一个一次性的神经集成架构搜索(NEAS)解决方案,以解决这两个挑战。对于第一个挑战,我们引入了一种新的基于多样性的度量来指导搜索空间收缩,同时考虑候选算子的潜力和多样性。对于第二个挑战,我们启用了一个新的搜索维度来学习不同模型之间的层共享,以提高效率。在ImageNet上的实验表明,该方法可以提高超网对集成架构的排名能力,并进一步提高搜索结果。与MobileNetV3和EfficientNet系列等最新技术相比,所发现的架构在对齐设置下实现了卓越的性能。此外,我们评估的泛化能力和鲁棒性的搜索架构的COCO检测基准,并实现了3.1%的改善AP相比MobileNetV3。代码和模型可在https://github.com/researchmm/NEAS上获得。
2021-07-16 cs.CV
The Effect of Learning Strategy versus Inherent Architecture Properties on the Ability of Convolutional Neural Networks to Develop Transformation Invariance
Stanford(斯坦福大学)
随着对象识别成为越来越常见的机器学习任务,以及最近的研究表明CNN易受攻击和小图像扰动的影响,有必要充分理解对象识别的基础。我们专注于理解神经网络如何推广到复杂对象的空间变换背后的机制。虽然人类擅长区分在新位置、方向和尺度上显示的物体,但过去的结果表明,这可能仅限于熟悉的物体-人类对有目的地构建的新物体表现出较低的空间差异容忍度。由于从头开始训练人工神经网络类似于向人类展示新的对象,因此我们试图了解影响CNN对空间变换的耐受性的因素。我们对七种卷积神经网络(CNN)架构进行了彻底的实证研究。通过在受控的人脸图像数据集上进行训练,我们测量了不同程度的5种变换的模型准确性:位置,大小,旋转,高斯模糊和分辨率变换。我们还通过研究不同数量的预训练对模型鲁棒性的影响来研究学习策略如何影响泛化能力。总的来说,我们发现,对变换不变性最重要的贡献者是在大型、多样化的图像数据集上进行预训练。此外,虽然AlexNet往往是最不健壮的网络,但VGG和ResNet架构对不同的转换表现出更高的健壮性。除了内核可视化和定性分析,我们还研究了学习策略和固有架构属性之间的差异,这些差异有助于实现变换的不变性,为理解如何在CNN中实现更强的变换鲁棒性提供了有价值的信息。
2018-10-31 cs.CV
TS-ENAS:Two-Stage Evolution for Cell-based Network Architecture Search
Xiangtan University(湘潭大学);National University of Defense Technology(国防科技大学)
提出TS-ENAS两阶段进化方法,通过堆叠单元搜索与调整单元优化,结合权重继承策略,在四个数据集上超越22种先进算法,高效找到高性能网络架构。
2023-10-14 cs.CV
BETANAS: BalancEd TrAining and selective drop for Neural Architecture Search
Huawei(华为)
自动神经结构搜索技术在机器学习领域中变得越来越重要。特别是权值分配方法在以较少的计算资源搜索优良网络结构方面显示出了巨大的潜力。然而,现有的权值分配方法主要存在搜索策略的局限性:这些方法要么统一训练所有网络路径以使其收敛,从而引入分支之间的冲突,浪费大量的计算在没有前途的候选者上;要么选择性地训练具有不同频率的分支,从而导致路径之间的不公平评估和比较。为了解决这些问题,我们提出了一种新的神经架构搜索方法,平衡的训练策略,以确保公平的比较和选择性丢弃机制,以减少候选路径之间的冲突。实验结果表明,在移动环境下,我们提出的方法在ImageNet上的性能领先79.0%,在准确性和效率方面都优于其他最先进的方法。
2019-12-24 cs.CV cs.LG
Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration
Northwestern Polytechnical University(西北工业大学);Intellifusion(智融);Yan’an University(延安大学)
近年来,神经结构搜索(NAS)得到了广泛的关注,其目标是在高级视觉识别任务中超越那些人工设计的神经结构。受成功的启发,在这里,我们试图利用NAS技术来自动设计高效的网络架构,用于低级别的图像复原任务。特别是,我们提出了一个内存高效的分层NAS(称为HiNAS),并将其应用到两个这样的任务:图像去噪和图像超分辨率。HiNAS采用基于梯度的搜索策略,构建了一个灵活的分层搜索空间,包括内部搜索空间和外部搜索空间。他们分别负责设计单元架构和决定单元宽度。对于内部搜索空间,我们提出了一个分层的架构共享策略(LWAS),从而更灵活的架构和更好的性能。对于外部搜索空间,我们设计了一种单元共享策略,以节省内存,并大大加快搜索速度。所提出的HiNAS方法是内存和计算效率。使用单个GTX1080Ti GPU,在BSD-500数据集上搜索去噪网络仅需约1小时,在DIV 2K数据集上搜索超分辨率结构仅需3.5小时。实验表明,HiNAS发现的架构具有更少的参数,并享有更快的推理速度,同时实现与最先进的方法相比具有很强的竞争力的性能。代码可在:https://github.com/hkzhang91/HiNAS
2021-10-09 cs.CV
G-DARTS-A: Groups of Channel Parallel Sampling with Attention
University of Secience and Technology Beijing(北京科技大学)
可区分结构搜索(DARTS)为基于梯度搜索有效的网络结构提供了一个基础,但在搜索和训练网络结构时,它伴随着巨大的计算开销。最近,许多新的作品都改进了飞镖。特别是部分连通DARTS(PC-DARTS)提出了部分通道采样技术,取得了很好的效果。在这项工作中,我们发现由DARTS提供的主干容易过拟合。为了缓解这个问题,我们提出了一种名为Group-DARTS with Attention(G-DARTS-A)的方法,使用多组通道进行搜索。受PC-DARTS部分采样策略的启发,我们使用分组通道对超网络进行采样,以在保持网络信息相对完整性的同时执行更有效的搜索。为了缓解渠道群之间的竞争,保持渠道平衡,我们遵循了挤压-激励网络中的注意力机制。每组通道共享定义的权重,因此它们可以提供不同的搜索建议。搜索的架构更强大,更适合不同的部署。具体地说,通过仅使用DARTS上的注意力模块,我们在CIFAR 10/100上实现了2.82%/16.36%的出错率,在CIFAR 10上的搜索过程为0. 3 GPU-天。将我们的G-DARTS-A应用于DARTS/PC-DARTS,在CIFAR 10上,在0.5/0.4 GPU-天的条件下,其出错率分别为2.57%/2.61%。
2020-10-16 cs.CV cs.LG
Automatic Design of CNNs via Differentiable Neural Architecture Search for PolSAR Image Classification
Harbin Institute of Technology(哈尔滨工业大学)
卷积神经网络(CNN)在极化合成孔径雷达(PolSAR)图像分类中表现出良好的性能,这是由于特征工程的自动化。CNN的优秀手工架构融合了人类专家的智慧,这是CNN成功的重要原因。然而,体系结构的设计是一个困难的问题,它需要大量的专业知识以及计算资源。此外,手工设计的架构可能是次优的,因为它只是数千条未观察到但客观存在的路径之一。考虑到深度学习的成功很大程度上是由于其特征工程过程的自动化,如何设计自动架构搜索方法来取代手工制作的方法是一个有趣的话题。本文首次探索了神经结构搜索在极化SAR领域的应用。不同于现有的NAS方法的利用,我们提出了一个可区分的架构搜索(DAS)的方法,这是定制的PolSAR分类。建议DAS配备了PolSAR定制的搜索空间和改进的一次性搜索策略。通过DAS,在训练过程中可以通过随机梯度下降方法优化权值参数和结构参数(对应于超参数而不是拓扑)。将优化后的结构参数转化为相应的CNN结构并重新训练,实现高精度的PolSAR分类。此外,复值DAS的发展,以考虑到极化SAR图像的特点,以进一步提高性能。在三个PolSAR基准数据集上的实验表明,通过搜索得到的CNN比手工构建的CNN具有更好的分类性能。
2019-11-19 cs.CV
Differentiable Architecture Search with Ensemble Gumbel-Softmax
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Intel Labs China(英特尔中国研究院)
对于网络体系结构搜索(NAS),同时保证有效性和效率是至关重要的,但具有挑战性。为了实现这一目标,我们开发了一个可区分的NAS解决方案,其中的搜索空间包括任意前馈网络组成的预定义数量的连接。受益于所提出的集成Gumbel-Softmax估计器,我们的方法在同一轮反向传播中优化了深度网络的架构及其参数,从而产生了搜索网络架构的端到端机制。在各种流行数据集上进行的大量实验有力地证明了我们的方法能够发现高性能的架构,同时保证搜索过程中所需的效率。
2019-05-06 cs.CV cs.LG stat.ML
Searching for Fast Model Families on Datacenter Accelerators
Google(谷歌)
神经架构搜索(NAS)与模型缩放一起,在设计高精度和快速卷积架构家族方面取得了显着进展。然而,由于NAS和模型扩展都没有考虑足够的硬件架构细节,因此它们没有充分利用新兴的数据中心(DC)加速器。在本文中,我们寻找快速和准确的CNN模型族的DC加速器上的有效推理。我们首先分析了DC加速器,发现现有的CNN存在操作强度、并行性和执行效率不足的问题。这些见解让我们创建了一个DC加速器优化的搜索空间,具有空间到深度,空间到批处理,混合融合卷积结构,具有香草卷积和去卷积卷积,以及逐块激活函数。在我们的DC加速器优化的神经架构搜索空间之上,我们进一步提出了一种延迟感知复合缩放(LACS),这是第一种同时优化准确性和延迟的多目标复合缩放方法。我们的LACS发现,网络深度的增长速度应该比图像大小和网络宽度快得多,这与以前的复合缩放结果有很大不同。借助新的搜索空间和LACS,我们在数据中心加速器上的搜索和扩展产生了名为EfficientNet-X的新模型系列。EfficientNet-X在TPUv 3和GPUv 100上的速度比EfficientNet(一个在FLOP和准确性方面具有最先进折衷的模型系列)快2倍以上,精度相当。EfficientNet-X在TPUv 3和GPUv 100上的速度也比最近的RegNet和ResNeSt快7倍。
2021-02-10 cs.CV eess.IV
Searching for Two-Stream Models in Multivariate Space for Video Recognition
Facebook AI;The University of Texas at Austin(德克萨斯大学奥斯汀分校)
传统的视频模型依赖于单个流来捕获复杂的时空特征。最近关于双流视频模型的工作,如SlowFast网络和AssemblleNet,规定了单独的流来学习互补功能,并实现更强的性能。然而,手动设计两个流以及中间的融合块是一项艰巨的任务,需要探索非常大的设计空间。这种手动探索是耗时的,并且当计算资源有限并且探索不足时,通常以次优架构结束。在这项工作中,我们提出了一个实用的神经架构搜索方法,它能够有效地搜索两个流的视频模型在巨大的空间。我们设计了一个多变量搜索空间,包括6个搜索变量,以捕获设计双流模型时的各种选择。此外,我们提出了一个渐进式的搜索过程,通过搜索的架构的各个流,融合块,和注意力块一个接一个。我们展示了具有显著更好性能的双流模型可以在我们的设计空间中自动发现。我们搜索的双流模型,即Auto-TSNet,在标准基准测试中始终优于其他模型。在Kinetics方面,与SlowFast模型相比,我们的Auto-TSNet-L模型将FLOPS降低了近11倍,同时实现了相同的精度78.9%。在Something-Something-V2上,Auto-TSNet-M比其他每个视频使用不到50 GFLOPS的方法提高了至少2%的准确性。
2021-08-30 cs.AI cs.CV
A DNN Framework For Text Image Rectification From Planar Transformations
Tsinghua University(清华大学)
在本文中,一种新的神经网络架构,提出了试图纠正文本图像与温和的假设。收集了一个新的文本图像数据集来验证我们的模型并向公众开放。我们探索了深度神经网络学习几何变换的能力,发现该模型可以在没有显式监督分割信息的情况下分割文本图像。实验结果表明,该结构能够有效地恢复平面变换,具有良好的鲁棒性。
2016-11-14 cs.CV
Searching a High-Performance Feature Extractor for Text Recognition Network
Paradigm Inc(第四范式公司);Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学);Huazhong University of Science and Technology(华中科技大学)
特征提取器在文本识别(TR)中起着至关重要的作用,但由于昂贵的手动调整,定制其架构的研究相对较少。在这项工作中,灵感来自神经架构搜索(NAS)的成功,我们建议寻找合适的特征提取器。我们设计了一个特定领域的搜索空间,探索具有良好的特征提取器的原则。该空间包括用于空间模型的3D结构空间和用于序列模型的基于变换的空间。由于空间巨大且结构复杂,现有的NAS算法无法应用。我们提出了一个两阶段的算法,有效地搜索空间。在第一阶段,我们将空间切割成几个块,并在辅助头的帮助下逐步训练每个块。我们在第二阶段引入时延约束,通过自然梯度下降从训练好的超网中搜索子网络。在实验中,进行了一系列的消融研究,以更好地理解设计的空间,搜索算法和搜索的架构。我们还比较了所提出的方法与各种国家的最先进的手写和现场TR任务。大量的结果表明,我们的方法可以实现更好的识别性能,更少的延迟。
2022-09-27 cs.AI cs.CV