Data Aware Differentiable Neural Architecture Search for Tiny Keyword Spotting Applications
Technical University of Denmark (DTU)（丹麦技术大学）
本文提出数据感知可微分神经架构搜索，将数据配置参数纳入搜索空间，协同优化模型架构与输入数据特征，在关键词识别任务中实现资源与性能的平衡，生成精简且高精度的 TinyML 系统。
2025-07-21 cs.LG
Efficient Zero-shot Visual Search via Target and Context-aware Transformer
Baylor College of Medicine（贝勒医学院）；Agency for Science, Technology and Research（新加坡科技研究局）
视觉搜索是自然视觉中无处不在的挑战，包括在人群中寻找朋友或在停车场搜索汽车等日常任务。人类在很大程度上依赖于相关的目标特征来执行目标导向的视觉搜索。同时，上下文对于在复杂场景中定位目标对象至关重要，因为它有助于缩小搜索范围并使搜索过程更有效。然而，很少有工作结合目标和上下文信息的视觉搜索计算模型。在这里，我们提出了一个zero-shot深度学习架构，TCT（目标和上下文感知的Transformer），它在视觉Transformer中使用目标和上下文相关信息来调节自我注意力，以实现类似人类的zero-shot视觉搜索性能。目标调制被计算为目标和搜索图像之间的局部相关性，而上下文调制以全局方式应用。我们进行视觉搜索实验TCT和其他竞争力的视觉搜索模型在三个自然场景数据集不同程度的难度。TCT在搜索效率方面表现出类似人类的性能，并在具有挑战性的视觉搜索任务中击败了SOTA模型。重要的是，TCT可以很好地在具有新对象的数据集上推广，而无需重新训练或微调。此外，我们还引入了一个新的数据集基准模型不变的视觉搜索不一致的情况下。TCT通过目标和上下文调制灵活地进行搜索，即使在不一致的上下文下。
2022-11-24 cs.AI cs.CV cs.LG
Tiered Pruning for Efficient Differentialble Inference-Aware Neural Architecture Search
NVIDIA（英伟达）
我们提出了三种新的修剪技术，以提高成本和结果的推理感知可区分神经架构搜索（DNAS）。首先，我们介绍了Prunode，一个随机的双路径构建块的DNAS，它可以搜索内部隐藏的维度与O（1）的内存和计算复杂度。其次，我们提出了一种算法，在搜索过程中修剪块的随机层的超网。第三，我们描述了一种新的技术，修剪不必要的随机层在搜索过程中。通过搜索得到的优化模型称为PruNet，它为NVIDIA V100在ImageNet Top-1图像分类准确度的推理延迟方面建立了一个新的最先进的Pareto边界。PruNet作为主干，在COCO目标检测任务中，相对于平均精度（mAP）的推理延迟也优于GPUNet和EfficientNet。
2023-01-05 cs.LG
Automatic Relation-aware Graph Network Proliferation
University of Chinese Academy of Sciences（中国科学院大学）；University of Rochester（罗切斯特大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
由于图神经网络在许多关系型任务中表现出强大的推理能力，图神经结构搜索引起了人们的广泛关注。然而，目前使用的图搜索空间过于强调学习节点特征，而忽略了层次关系信息的挖掘。此外，由于消息传递中的不同机制，图搜索空间比CNN大得多。这阻碍了经典的搜索策略在复杂图搜索空间中的直接应用。我们提出了自动感知图网络增殖（ARGNP），用于通过关系引导的消息传递机制有效地搜索GNN。具体来说，我们首先设计了一个新的双重关系感知图搜索空间，包括节点和关系学习操作。这些操作可以提取层次节点/关系信息，并为图上的消息传递提供各向异性指导。其次，类似于细胞增殖，我们设计了一个网络增殖搜索范式，通过迭代执行网络划分和分化来逐步确定GNN架构。针对四个图学习任务的六个数据集的实验表明，由我们的方法产生的GNN优于当前最先进的手工制作和基于搜索的GNN。代码可在https://github.com/phython96/ARGNP上获得。
2022-05-31 cs.AI cs.CV cs.LG
CATE: Computation-aware Neural Architecture Encoding with Transformers
Michigan State University（密歇根州立大学）；University of Central Florida（中佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）
最近的作品（White等人，2020 a; Yan等人，2020）展示了架构编码在神经架构搜索（NAS）中的重要性。这些编码对神经架构的结构或计算信息进行编码。与结构感知编码相比，计算感知编码将具有相似精度的架构映射到相同区域，这提高了下游架构搜索性能（Zhang et al.，2019; White等人，2020年a）。在这项工作中，我们介绍了一个计算感知转换器为基础的编码方法，称为CATE。与现有的基于固定变换的计算感知编码（例如，路径编码）不同，CATE采用成对预训练方案来使用具有交叉注意力的Transformers学习计算感知编码。这种学习的编码包含神经架构的密集和上下文化的计算信息。我们比较CATE与11个编码下的三个主要编码依赖的NAS子程序在小和大的搜索空间。实验结果表明，CATE算法对下游搜索是有利的，特别是在大搜索空间的情况下。此外，外部搜索空间实验表明，其优越的泛化能力超出了搜索空间，它是训练。我们的代码可在www.example.com上获得。
2021-06-11 cs.LG
Task-Aware Neural Architecture Search
Duke University（杜克大学）
手工制作的神经网络的设计需要大量的时间和资源。神经结构搜索（NAS）中的最新技术已被证明是有竞争力的或优于传统的手工设计，尽管它们需要领域知识，并且通常使用有限的搜索空间。在本文中，我们提出了一种新的框架神经架构搜索，利用字典的基本任务和目标任务和原子之间的相似性的模型字典，因此，产生一个自适应的搜索空间的基础上的字典的基本模型。通过引入基于梯度的搜索算法，我们可以在搜索空间中评估和发现最佳架构，而无需完全训练网络。实验结果表明，我们提出的任务感知方法的有效性。
2021-03-15 cs.AI cs.LG
ElasticViT: Conflict-aware Supernet Training for Deploying Fast Vision Transformer on Diverse Mobile Devices
Microsoft Research（微软研究院）；Tsinghua University（清华大学）
神经结构搜索（NAS）在超过1G FLOP的视觉Transformer（ViT）的自动设计中表现出了很好的性能。然而，为各种移动设备设计轻量级和低延迟的ViT模型仍然是一个巨大的挑战。在这项工作中，我们提出了ElasticViT，一个两阶段的NAS方法，训练一个高质量的ViT超网在一个非常大的搜索空间，支持广泛的移动设备，然后搜索一个最佳的子网络（子网）直接部署。然而，依赖于均匀采样的现有超网训练方法受到梯度冲突问题的困扰：采样后的超网可以具有非常不同的模型大小（例如，50 M与2G FLOPs），导致不同的优化方向和较差的性能。为了解决这个问题，我们提出了两种新的采样技术：复杂性感知采样和性能感知采样。复杂度感知的采样限制了跨相邻训练步骤采样的样本之间的FLOP差异，同时覆盖搜索空间中不同大小的样本。性能感知采样进一步选择具有良好准确性的样本，这可以减少梯度冲突并提高超网质量。我们发现的模型，ElasticViT模型，在ImageNet上从60 M到8亿FLOP实现了67.2%到80.0%的顶级准确率，而无需额外的再训练，在准确性和延迟方面优于所有之前的CNN和ViT。我们的微型和小型模型也是第一批超越最先进CNN的ViT模型，并且在移动设备上的延迟显着降低。例如，ElasticViT-S1的运行速度比EfficientNet-B 0快2.62倍，精度高0.1%。
2023-03-21 cs.CV
Single-Path NAS: Device-Aware Efficient ConvNet Design
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Harbin Institute of Technology（哈尔滨工业大学）
我们能否在移动终端的延迟约束下自动设计具有最高图像分类精度的卷积网络（ConvNet）？用于ConvNet设计的神经架构搜索（NAS）是一个具有挑战性的问题，因为它的设计空间和搜索时间都很大（至少200 GPU小时）。为了减轻这种复杂性，我们提出了单路径NAS，这是一种新颖的可区分NAS方法，用于在不到4小时的时间内设计设备高效的ConvNets。1.新型NAS制剂：我们的方法引入了单路径、过参数化的ConvNet，以使用共享卷积核参数对所有架构决策进行编码。2. NAS效率：我们的方法将NAS搜索成本降低到8个时期（30 TPU-小时），即，与以前的工作相比，速度快了5，000倍。3.设备上的图像分类：单路径NAS在ImageNet上实现了74.96%的top-1准确率，在Pixel 1手机上的推理延迟为79 ms，与具有类似延迟（<80 ms）的NAS方法相比，这是最先进的准确率。
2019-05-10 cs.CV cs.LG stat.ML
Latency-Aware Neural Architecture Search with Multi-Objective Bayesian Optimization
Facebook（脸书）
在调整用于设备上部署的大型机器学习模型的架构和超参数时，需要了解设备上延迟和模型准确性之间的最佳权衡。在这项工作中，我们利用贝叶斯优化在高维搜索空间和多目标贝叶斯优化的最新方法进步，有效地探索这些权衡的生产规模的设备上的自然语言理解模型在Facebook。
2021-06-25 cs.LG
One Proxy Device Is Enough for Hardware-Aware Neural Architecture Search
University of California, Riverside（加州大学河滨分校）；George Mason University（乔治梅森大学）；University of Notre Dame（圣母大学）
卷积神经网络（CNN）被用于许多现实世界的应用，例如基于视觉的自动驾驶和视频内容分析。为了在各种目标设备上运行CNN推理，硬件感知的神经架构搜索（NAS）至关重要。高效的硬件感知NAS的一个关键要求是快速评估推理延迟，以便对不同的架构进行排名。虽然在现有技术中通常使用为每个目标设备构建延迟预测器，但这是非常耗时的过程，在存在极其多样化的设备的情况下缺乏可扩展性。在这项工作中，我们通过利用延迟单调性来解决可扩展性挑战-不同设备上的架构延迟排名通常是相关的。当存在强延迟单调性时，我们可以在新的目标设备上重用搜索到一个代理设备的架构，而不会失去最优性。在没有强延迟单调性的情况下，我们提出了一种有效的代理自适应技术，以显着提高延迟单调性。最后，我们验证了我们的方法，并进行了实验与不同平台的设备上的多个主流搜索空间，包括MobileNet-V2，MobileNet-V3，NAS-Bench-201，ProxylessNAS和FBNet。我们的研究结果强调，通过仅使用一个代理设备，我们可以找到与现有的每设备NAS几乎相同的帕累托最优架构，同时避免为每个设备构建延迟预测器的高昂成本。GitHub：网站https://github.com/Ren-Research/OneProxy
2021-11-03 cs.AI cs.LG
Fast Data Aware Neural Architecture Search via Supernet Accelerated Evaluation
Technical University of Denmark（丹麦技术大学）；Microsoft（微软公司）
针对 TinyML 中架构与输入数据需联合优化的问题，提出基于超网加速评估的数据感知神经架构搜索方法，并在 Wake Vision 上验证其优于纯架构搜索。
2025-02-18 cs.AI cs.CV cs.LG
A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities
Intel Corporation（英特尔公司）；Intel Labs（英特尔研究院）
神经架构搜索（NAS）的最新进展，如one-shot NAS，提供了从特定于任务的超级网络中提取专用硬件感知子网络配置的能力。虽然已经为改进第一阶段（即超级网络的训练）做出了相当大的努力，但对衍生的高性能子网络的搜索仍处于探索阶段。流行的方法将超级网络训练与子网络搜索解耦，并使用性能预测器来减少在不同硬件平台上搜索的计算负担。我们提出了一个灵活的搜索框架，自动和有效地找到最佳的子网络，优化不同的性能指标和硬件配置。具体来说，我们展示了进化算法如何在迭代周期中与经过轻度训练的客观预测器配对，以加速多目标环境中的架构搜索，包括机器翻译和图像分类。
2022-05-19 cs.LG cs.NE
EH-DNAS: End-to-End Hardware-aware Differentiable Neural Architecture Search
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
在硬件感知的可区分神经架构搜索（DNAS）中，计算硬件度量的梯度以执行架构搜索是具有挑战性的。现有的作品依赖于线性近似与有限的支持定制的硬件加速器。在这项工作中，我们提出了端到端硬件感知DNAS（EH-DNAS），端到端硬件基准测试的无缝集成，以及完全自动化的DNAS，以在各种平台上提供硬件高效的深度神经网络，包括边缘GPU，边缘TPU，移动CPU和定制加速器。给定一个期望的硬件平台，我们建议学习一个可微模型预测端到端的硬件性能的神经网络架构的DNAS。我们还推出了E2 E-Perf，这是一款用于定制加速器的端到端硬件基准测试工具。在CIFAR 10和ImageNet上的实验表明，EH-DNAS在保持分类精度的前提下，在自定义加速器上平均提高了$1.4\times$，在现有硬件处理器上平均提高了$1.6\times$。
2021-11-24 cs.LG
SCAN-Edge: Finding MobileNet-speed Hybrid Networks for Diverse Edge Devices via Hardware-Aware Evolutionary Search
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Chandra Family Department of Electrical and Computer Engineering（钱德拉家族电气与计算机工程系）
提出统一的NAS框架SCAN-Edge，联合搜索自注意力、卷积和激活，利用硬件感知进化算法处理大搜索空间，生成的混合网络在多种边缘设备上匹配了MobileNetV2的实际延迟。
2024-08-27 cs.AI cs.LG
QA-HFL: Quality-Aware Hierarchical Federated Learning for Resource-Constrained Mobile Devices with Heterogeneous Image Quality
QA-HFL提出质量感知的分层联邦学习框架，通过质量加权融合、差分隐私、设备特定正则化和知识蒸馏，在资源受限且图像质量异构的移动设备上以低通信成本显著提升模型准确率。
2025-09-21 cs.CR cs.CV
Mutually-aware Sub-Graphs Differentiable Architecture Search
Malong LLC（马龙有限责任公司）；MYBank, Ant Group（网商银行，蚂蚁集团）
可区分体系结构搜索以其简单、高效的特点在NAS领域得到了广泛的应用，主要有多路径搜索和单路径搜索两种模式。多路径框架（例如DARTS）是直观的，但存在内存使用和训练崩溃的问题。单路径方法（例如GDAS和ProxylessNAS）缓解了内存问题，缩小了搜索和评估之间的差距，但牺牲了性能。在本文中，我们提出了一个概念上简单而有效的方法来桥接这两个范例，称为相互感知的子图可区分的架构搜索（MSG-DAS）。我们框架的核心是一个可微的Gumbel-TopK采样器，它产生多个互斥的单路径子图。为了缓解多子图设置带来的重复跳接问题，我们提出了一个Dropblock-Identity模块来稳定优化。为了充分利用现有的模型（超网和子图），我们引入了一个内存高效的超网指导蒸馏来改善训练。该框架在灵活的内存使用和搜索质量之间取得了平衡。我们在ImageNet和CIFAR 10上证明了我们的方法的有效性，其中搜索的模型显示出与最新方法相当的性能。
2021-11-06 cs.CV
DAPA: Distribution Aware Piecewise Activation Functions for On-Device Transformer Inference and Training
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出DAPA，一种基于预激活数据分布的分段激活函数，通过非均匀分段提升泛化能力，并利用分布加权均方误差量化以减少硬件资源消耗，实验证明其在GELU计算和DSP利用率上均有显著提升。
2026-03-19 cs.LG
Searching Toward Pareto-Optimal Device-Aware Neural Architectures
National Tsing-Hua University（国立清华大学）；Google Research（谷歌研究院）
神经架构搜索（NAS）的最新突破在图像分类和语言理解等许多任务中实现了最先进的性能。然而，大多数现有的工作只优化模型的准确性，并在很大程度上忽略了其他重要的因素所施加的底层硬件和设备，如延迟和能源，当进行推理。在本文中，我们首先介绍了NAS的问题，并提供了一个调查最近的工作。然后，我们深入研究了最近将NAS扩展到多目标框架的两个进展：MONAS和DPP-Net。MONAS和DPP-Net都能够优化设备的准确性和其他目标，搜索可以最好地部署在各种设备上的神经架构：从嵌入式系统和移动设备到工作站。实验结果表明，MONAS和DPP-Net发现的架构实现了帕累托最优性，对于各种设备的给定目标。
2018-08-30 cs.LG stat.ML
RAPDARTS: Resource-Aware Progressive Differentiable Architecture Search
Sandia National Laboratories（桑迪亚国家实验室）；University of California Santa Barbara（加州大学圣巴巴拉分校）
早期的神经网络架构是由所谓的“研究生血统”设计的。从那时起，神经架构搜索（NAS）领域的发展目标是在算法上设计为感兴趣的数据集量身定制的架构。最近，已经创建了基于梯度的NAS方法来快速执行搜索。与替代NAS方法相比，基于代理的方法对搜索施加了更多的结构，从而实现了更快的搜索阶段优化。在现实世界中，衡量神经架构性能的不仅仅是高精度。人们越来越需要高效的神经架构，其中还必须考虑模型大小或延迟等资源。基于代理的NAS也适用于这种多目标优化。在这项工作中，我们扩展了一个流行的基于梯度的NAS方法，以支持一个或多个资源成本。然后，我们进行深入的分析，发现满足单资源约束的分类CIFAR-10的架构。
2019-11-08 cs.LG
Running hardware-aware neural architecture search on embedded devices under 512MB of RAM
University of Bologna（博洛尼亚大学）；Politecnico di Milano（米兰理工学院）
提出一种在资源受限的嵌入式设备上直接运行的硬件感知神经架构搜索方法，生成针对低端MCU的微型CNN，在Visual Wake Word数据集上达到最先进水平。
2026-06-16 cs.AI cs.AR cs.LG
SlimEdge: Performance and Device Aware Distributed DNN Deployment on Resource-Constrained Edge Hardware
Amrita Vishwa Vidyapeetham（阿姆里塔印度教学院）；Intel Corporation（英特尔公司）；Indian Institute of Science（印度科学研究院）；Analog Devices, Inc.（模拟器件公司）；Birla Institute of Technology and Science-Pilani, Dubai Campus（比拉技术科学学院-迪拜校区）
SlimEdge通过结构化模型剪枝和多目标优化框架，在资源受限边缘硬件上实现高效分布式DNN部署，提升性能和故障容忍性。
2026-02-15 cs.CV cs.DC
An affordable hardware-aware neural architecture search for deploying convolutional neural networks on ultra-low-power computing platforms
University of Genoa（热那亚大学）；Scuola Superiore Sant’Anna（圣安娜高等研究学院）
提出一种轻量级硬件感知神经架构搜索方法，生成可在超低功耗微控制器上运行的微型CNN，在保持分类精度的同时降低搜索成本。
2026-06-16 cs.AI cs.LG
MorphNAS: Differentiable Architecture Search for Morphologically-Aware Multilingual NER
Department of Computer Science & Engineering, PES University, Bengaluru, India（计算机科学与工程系，PES大学，班加罗尔，印度）
MorphNAS提出一种融合文种类型和形态复杂度等语言元特征的可微分架构搜索方法，自动为多语言命名实体识别寻找最优微架构，以提升对形态复杂语言的处理能力。
2025-08-19 cs.AI cs.CL cs.LG
Uncertainty Modeling of Emerging Device-based Computing-in-Memory Neural Accelerators with Application to Neural Architecture Search
University of Notre Dame（圣母大学）；National Tsing Hua University（国立清华大学）
新兴的基于设备的内存计算（CiM）已被证明是高能效深度神经网络（DNN）计算的一个有前途的候选者。然而，大多数新兴设备都存在不确定性问题，导致存储的实际数据与其设计的权重值之间存在差异。这导致从训练模型到实际部署平台的准确性下降。在这项工作中，我们对DNN模型中这种不确定性引起的变化的影响进行了全面的分析。为了减少设备不确定性的影响，我们提出了UAE，这是一种不确定性感知的神经架构搜索方案，用于识别对设备不确定性既准确又鲁棒的DNN模型。
2021-07-06 cs.AR cs.LG
SearchTrack: Multiple Object Tracking with Object-Customized Search and Motion-Aware Features
National Taiwan University（台湾大学）；National Tsing Hua University（清华大学）
提出了一种新的多目标跟踪与分割方法SearchTrack。为了解决检测到的对象之间的关联问题，SearchTrack提出了对象自定义搜索和运动感知功能。通过为每个对象保持一个卡尔曼滤波器，我们将预测的运动编码到运动感知特征中，该特征包括运动和外观线索。对于每个对象，SearchTrack通过学习特定于对象的动态卷积的一组权重来创建定制的完全卷积搜索引擎。实验表明，我们的SearchTrack方法优于竞争对手的方法在MOTS和MOT任务，特别是在关联精度方面。我们的方法在KITTI MOTS上实现了71.5 HOTA（汽车）和57.6 HOTA（行人），在MOT17上实现了53.4 HOTA。在关联精度方面，我们的方法在KITTI MOTS上实现了2D在线方法中最先进的性能。我们的代码可在https://github.com/qa276390/SearchTrack上获得。
2022-10-29 cs.CV
AdaEnlight: Energy-aware Low-light Video Stream Enhancement on Mobile Devices
Northwestern Polytechnical University（西北工业大学）；City University of Hong Kong（香港城市大学）
摄像头嵌入式设备的普及和深度学习的进步刺激了各种智能移动视频应用。这些应用程序通常需要在设备上处理视频流，以提供实时、高质量的服务，从而保护隐私和鲁棒性。然而，这些应用程序的性能受到原始视频流的限制，这些视频流往往是在昏暗的光线下用无处不在的移动平台的小孔径相机拍摄的。尽管有广泛的低光视频增强解决方案，但由于其复杂的模型和对能量预算等系统动态的忽视，它们不适合部署到移动设备上。在本文中，我们提出了AdaEnlight，移动设备上的能量感知低光视频流增强系统。它实现了具有竞争力的视觉质量的实时视频增强，同时允许运行时行为适应平台施加的动态能量预算。我们报告了在不同数据集、场景和平台上的广泛实验，并证明了AdaEnlight与最先进的低光图像和视频增强解决方案相比的优越性。
2022-11-30 cs.CV
GALA: Toward Geometry-and-Lighting-Aware Object Search for Compositing
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）
合成感知对象搜索的目标是在给定背景图像和查询限界框的情况下找到最兼容的对象进行合成。以往的研究主要集中在学习前景对象和背景之间的兼容性，但未能从大规模数据中学习其他重要因素，即几何和照明。为了更进一步，本文提出了GALA（几何和光照感知），一个通用的前景对象搜索方法与歧视性建模的几何和光照兼容性的开放世界的图像合成。值得注意的是，它在CAIS数据集上实现了最先进的结果，并在大规模开放世界数据集（即Pixabay和Open Images）上得到了很好的推广。此外，我们的方法可以有效地处理非框的情况下，用户只提供背景图像没有任何输入限界框。构建了一个Web演示（参见补充材料），以展示所提出的方法在合成感知搜索和前景对象的自动位置/规模预测方面的应用。
2022-03-31 cs.CV
Scale-aware Automatic Augmentation for Object Detection
The Chinese University of Hong Kong（香港中文大学）；ByteDance AI Lab（字节跳动人工智能实验室）；SmartMore
我们提出了尺度感知AutoAug学习数据增强策略的目标检测。我们定义了一个新的尺度感知的搜索空间，其中图像和框级增强的目的是保持规模不变性。在这个搜索空间上，我们提出了一个新的搜索度量，称为帕累托尺度平衡，以促进高效率的搜索。在实验中，Scale-aware AutoAug对各种对象检测器（例如，RetinaNet，Faster R-CNN，Mask R-CNN和FCOS），甚至与强大的多尺度训练基线相比。我们搜索的增强策略可转移到目标检测之外的其他数据集和框级任务（例如，实例分割和关键点估计）以提高性能。搜索成本远低于以前的自动增强方法的目标检测。值得注意的是，我们搜索的策略具有有意义的模式，这直观地为人类数据增强设计提供了有价值的见解。代码和模型将在https://github.com/Jia-Research-Lab/SA-AutoAug上提供。
2021-03-31 cs.CV
MnasFPN: Learning Latency-aware Pyramid Architecture for Object Detection on Mobile Devices
Google Research（谷歌研究院）
尽管在资源受限的环境中视觉任务的架构搜索取得了巨大的成功，但设备上目标检测架构的设计大多是手动的。少数自动搜索工作要么集中在非移动友好的搜索空间，要么不受设备延迟的指导。我们提出了MnasFPN，一个移动友好的搜索空间的检测头，并将其与延迟感知架构搜索，以产生高效的目标检测模型。当与MobileNetV 2主体配对时，学习的MnasFPN头在Pixel上以类似的延迟比MobileNetV 3 +SSDLite高出1.8 mAP。它也比NAS-FPNLite精确1.0 mAP，速度快10%。消融研究表明，大部分的性能增益来自创新的搜索空间。进一步的探索揭示了搜索空间设计和搜索算法之间的有趣耦合，并且MnasFPN搜索空间的复杂性可能处于局部最优。
2020-07-30 cs.CV
Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations
Google LLC（谷歌有限责任公司）
针对大型扩散模型端侧部署受计算和内存资源限制的问题，提出GPU感知的实现优化方案，在移动设备上实现了当前最快的扩散模型推理延迟，拓展了生成式AI的适用场景。
2023-06-16 cs.CV cs.LG eess.IV
Learning Context-Aware Embedding for Person Search
MEGVII Technology（旷视科技）
人物搜索是一个相关的任务，旨在联合解决人检测和人重新识别（重新ID）。虽然大多数以前的方法专注于学习鲁棒的个人特征进行检索，但由于光照，大的姿势变化和遮挡，仍然很难区分混淆的人。背景信息在人搜索任务中实际上是可用的，这在减少混淆方面有利于搜索。为此，我们提出了一种新的上下文特征头命名为注意上下文感知嵌入（ACAE），增强上下文信息。ACAE反复检查图像内和图像间的人物特征，以找到相似的行人模式，从而使其能够隐式地学习找到可能的同路人，并有效地对上下文相关实例的关系进行建模。此外，我们提出了图像存储体，以提高训练效率。实验表明，ACAE广泛的推广时，建立在不同的一步方法。与之前的一步法相比，我们的整体方法取得了最先进的结果。
2021-11-29 cs.CV
Congestion-aware Evacuation Routing using Augmented Reality Devices
International Center for AI and Robot Autonomy（国际人工智能与机器人自主中心）
我们提出了一个疏散感知路由的室内疏散解决方案，它产生多个目的地之间的实时个性化定制的疏散路线，同时保持跟踪所有疏散人员的位置。人口密度地图，获得的飞行通过聚集位置的疏散从用户端增强现实（AR）设备，用于模拟建筑物内的拥挤分布。为了有效地搜索所有目的地之间的疏散路线，A* 算法的一个变体被设计成在一个单一的路径中获得最优解。在一系列的模拟研究中，我们表明，所提出的算法是更计算优化相比，经典的路径规划算法，它生成一个更节省时间的疏散路线，为每个人，最大限度地减少整体拥堵。一个完整的系统，使用AR设备在现实世界的环境中进行试点研究，证明了所提出的方法的有效性。
2020-04-25 cs.CV cs.HC
Device-aware Optical Adversarial Attack for a Portable Projector-camera System
School of Software & Microelectronics, Peking University（北京大学软件与微电子学院）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出一种设备感知的光学对抗攻击方法，通过分辨率与颜色调整减轻数字到物理域退化，在真实与欺骗对手下实现高物理相似度，平均分数仅降14%，白盒与黑盒攻击成功率均高。
2025-01-23 cs.AI cs.CV
Adaptive Prefiltering for High-Dimensional Similarity Search: A Frequency-Aware Approach
Vulture Labs, Inc.（Vulture Labs公司）
本文提出一种频率感知的自适应预过滤框架，通过动态分配计算预算提升高维相似性搜索效率，实验表明其在保持召回率的同时减少20.4%的距离计算。
2025-12-03 cs.CV cs.IR
