SqueezeJet: High-level Synthesis Accelerator Design for Deep Convolutional Neural Networks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度卷积神经网络通过在诸如对象识别和目标检测之类的计算机视觉问题中提供准确得多的解决方案，已经主导了模式识别场景。这些解决方案中的大多数都需要巨大的计算成本，需要数十亿次乘法累加运算，因此，在嵌入式移动（资源-功率受限）硬件上运行的实时应用中使用它们非常具有挑战性。这项工作提出了架构，高层次的综合设计，并实现SqueezeJet，一个FPGA加速器的推理阶段的SqueezeNet DCNN架构，这是专门设计用于嵌入式系统。结果表明，与运行在嵌入式移动处理器上的SqueezeNet软件实现相比，SqueezeJet可以实现15.16倍的速度提升，而前5名的精度下降不到1%。
2018-05-06 cs.AR cs.CV
Fast YOLO: A Fast You Only Look Once System for Real-time Embedded Object Detection in Video
University of Waterloo（滑铁卢大学）
目标检测被认为是计算机视觉这一领域中最具挑战性的问题之一，因为它涉及场景内的目标分类和目标定位的组合。最近，深度神经网络（DNN）已被证明与其他方法相比具有更好的目标检测性能，YOLOv 2（一种改进的You Only Look Once模型）是基于DNN的目标检测方法在速度和准确性方面的最新技术之一。虽然YOLOv 2可以在强大的GPU上实现实时的【形】性能，但在计算能力和内存有限的嵌入式计算设备上利用这种方法进行视频中的实时的【形】目标检测仍然非常具有挑战性。在本文中，我们提出了一个名为Fast YOLO的新框架，这是一个快速的You Only Look Once框架，可以加速YOLOv 2，使其能够以实时的【形】方式在嵌入式设备上执行视频中的目标检测。首先，我们利用进化的深度智能框架来进化YOLOv 2网络架构，并生成一个优化的架构（这里称为O-YOLOv 2），其参数减少了2.8倍，IOU下降了约2%。为了进一步降低嵌入式设备的功耗，同时保持性能，运动自适应推理方法被引入到所提出的快速YOLO框架中，以减少基于时间运动特征的O-YOLOv 2深度推理的频率。实验结果表明，与原始YOLOv 2相比，所提出的Fast YOLO框架可以将深度推理的数量平均减少38.13%，视频中的目标检测平均加速约3.3倍，使Fast YOLO在Nvidia Jetson TX 1嵌入式系统上平…
2017-09-18 cs.AI cs.CV cs.NE
Keynote: Small Neural Nets Are Beautiful: Enabling Embedded Systems with Small Deep-Neural-Network Architectures
DeepScale（深鉴公司）；UC Berkeley EECS（加州大学伯克利分校电子工程与计算机科学系）
在过去的五年里，深度神经网络为语音识别和计算机视觉中的许多问题提供了更准确的解决方案，这些解决方案已经超过了许多应用的可接受阈值。因此，深度神经网络已经取代了解决这些领域问题的其他方法，并实现了许多新的应用。虽然深度神经网络的设计仍然是一种艺术形式，但在我们的工作中，我们发现用于开发嵌入式微处理器架构的设计空间探索的基本原则非常适用于深度神经网络架构的设计。特别是，我们使用这些设计原则创建了一个名为SqueezeNet的新型深度神经网络，其模型参数仅需480KB的存储空间。我们进一步整合了所有这些经验，为嵌入式系统创建小型深度神经网络开发了一个剧本。
2017-10-07 cs.CV
Exploring Hardware Friendly Bottleneck Architecture in CNN for Embedded Computing Systems
Xi'an Jiaotong University（西安交通大学）
本文针对嵌入式计算系统提出硬件友好的轻量级CNN模型L-Mobilenet，结合前沿网络结构设计与软硬件协同优化，在ZYNQ平台上实现了精度相当前提下的速度与参数量显著提升。
2024-03-11 cs.CV
Proceedings of the DATE Friday Workshop on Heterogeneous Architectures and Design Methods for Embedded Image Systems (HIS 2015)
本卷包含2015年3月13日在法国格勒诺布尔举行的嵌入式图像系统异构架构和设计方法（HIS 2015）的日期星期五研讨会上接受的论文。HIS 2015与欧洲设计、自动化和测试会议（DATE）同期举行。
2015-02-26 cs.AR cs.CV cs.DC
Extreme Channel Prior Embedded Network for Dynamic Scene Deblurring
The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
近年来，卷积神经网络（CNN）在动态场景去模糊方面取得了显著的进展。虽然CNN模型通常是通过在训练数据上定义的重建损失来学习的，但将合适的图像先验以及正则化项合并到网络架构中可以提高去模糊性能。在这项工作中，我们提出了一个极端通道先验嵌入式网络（ECPeNet），以插入极端通道先验（即，暗通道和亮通道上的先验）到网络体系结构中，用于有效的动态场景去模糊。提出了一种新的可训练的极端通道先验嵌入层（ECPeL）来聚合极端通道和模糊图像表示，并引入稀疏正则化来正则化ECPeNet模型学习。此外，我们提出了一个有效的多尺度网络架构，工作在粗到细和细到粗的方式更好地利用跨尺度的信息流。在GoPro和Kohler数据集上的实验结果表明，我们提出的ECPeNet在定量指标和视觉质量方面都优于最先进的深度图像去模糊方法。
2019-03-02 cs.CV
Computer Vision Model Compression Techniques for Embedded Systems: A Survey
Venturus - Innovation & Technology（Venturus创新与技术公司）；Institute of Computing, University of Campinas（坎皮纳斯大学计算研究所）
该综述梳理了面向嵌入式系统的计算机视觉模型压缩技术，对比不同方法、介绍选型要点，配套提供代码与案例研究，助力现代大参数量视觉模型在嵌入式环境部署。
2024-08-15 cs.CV
Dynamic-OFA: Runtime DNN Architecture Switching for Performance Scaling on Heterogeneous Embedded Platforms
University of Southampton（南安普顿大学）
移动和嵌入式平台越来越需要跨异构处理元件高效地执行计算要求苛刻的DNN。在运行时，由于其他并发运行的应用程序，DNN的可用硬件资源可能会有很大变化。应用程序的性能要求也可能在不同的场景下发生变化。为了实现期望的性能，已经提出了动态DNN，其中信道/层的数量可以实时的缩放，以在变化的资源约束下满足不同的要求。然而，这种动态DNN的训练过程可能是昂贵的，因为不同部署场景的平台感知模型必须重新训练才能变得动态。本文提出了Dynamic-OFA，这是一种新的动态DNN方法，用于最先进的平台感知NAS模型（即一次性网络（OFA））。动态OFA从静态OFA骨干模型中预先抽取一系列子网络，并包含一个运行时管理器来选择不同运行时环境下的不同子网络。因此，动态OFA不需要传统的动态DNN训练管道。与现有技术相比，我们在Jetson Xavier NX上使用ImageNet的实验结果表明，对于类似的ImageNet Top-1精度，该方法的速度快达3.5倍（CPU），2.4倍（GPU），或者在类似的延迟下，精度高出3.8%（CPU），5.1%（GPU）。
2021-05-11 cs.CV
MicronNet: A Highly Compact Deep Convolutional Neural Network Architecture for Real-time Embedded Traffic Sign Classification
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（DarwinAI公司）
交通标志识别是一项非常重要的计算机视觉任务，在智能交通监控和分析等实际应用中具有重要意义。虽然近年来已经证明深度神经网络可以提供最先进的性能交通标志识别，但是使深度神经网络能够广泛部署用于嵌入式交通标志识别的关键挑战是这种网络的高计算和存储器要求。因此，在研究更适合嵌入式设备的紧凑型深度神经网络架构以用于交通标志识别方面有显著的好处。在本文中，我们介绍了基于宏架构设计原则（例如，光谱宏观结构增强、参数精度优化等）以及数值微体系结构优化策略。因此，所产生的CNONet的整体架构设计具有尽可能少的参数和计算，同时保持识别性能，从而优化所提出的网络的信息密度。由此产生的MicronNet模型大小仅为~ 1 MB，参数约为510，000个（参数比最新技术少~ 27倍），同时在德国交通标志识别基准中仍达到98.9%的人类性能水平顶级准确度。此外，ARMNet仅需要约1000万次乘法累加运算来执行推理，并且在Cortex-A53高效处理器上的计算时间仅为32.19 ms。这些实验结果表明，高度紧凑，优化的深度神经网络架构可以设计用于实时的【形】交通标志识别，非常适合嵌入式场景。
2018-10-03 cs.CV cs.NE
Architecture and evaluation protocol for transformer-based visual object tracking in UAV applications
French-German Research Institute of Saint-Louis（法德圣路易研究所）；Université de Haute-Alsace（上阿尔萨斯大学）；Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用科学大学）
本文提出MATA架构结合变压器跟踪器与扩展卡尔曼滤波器，引入硬件无关的嵌入式评估协议和NT2F指标，提升无人机复杂场景下的跟踪鲁棒性和实时性能。
2026-03-26 cs.CV
Hardware Architecture of Embedded Inference Accelerator and Analysis of Algorithms for Depthwise and Large-Kernel Convolutions
Canon Inc.（佳能公司）；Canon Information Technology (Beijing) Co., Ltd. (CIB)（佳能信息技术（北京）有限公司）
为了有效地处理现代卷积神经网络（CNN），提出了一种CNN推理加速器的硬件架构，以处理深度卷积和正则卷积，这两者都是嵌入式计算机视觉算法的基本构建块。与相关工作不同的是，所提出的架构可以支持不同大小的过滤器内核具有很高的灵活性，因为它不需要额外的成本内核内并行，它可以生成卷积结果比相关工作的架构更快。实验结果表明，所提出的硬件架构支持dependent卷积和扩张卷积的重要性。除了大核的深度卷积，本文还分析了一种新的DDC层结构，它包括深度卷积和扩张卷积的组合。对于人脸检测，当DDC层应用于网络时，计算成本减少了30%，模型大小减少了20%。对于图像分类，通过简单地将$3 \times 3$滤波器替换为深度卷积中的$5 \times 5$滤波器，精度提高了1%。
2021-04-29 cs.AR cs.CV eess.IV
Real-time Aerial Detection and Reasoning on Embedded-UAVs
University of Sydney（悉尼大学）
针对现有无人机视觉检测模型精度与运行速度难以兼顾的问题，提出一种适配嵌入式无人机的统一实时检测推理流水线，结合领域知识、新型注意力图与时序优化，在保证多视角行人检测与多活动识别高精度的同时实现快速推理，并完成了野外真实环境原型部署验证。
2023-05-21 cs.AI cs.CV
YOLOBench: Benchmarking Efficient Object Detectors on Embedded Systems
Deeplite（Deeplite公司）
本研究提出包含550余个YOLO模型、覆盖4类数据集与4种嵌入式平台的基准YOLOBench，经公平对比收集精度延迟数据，分析发现融入现代技术后多款YOLO架构均有良好权衡，还验证了部分零成本精度估计器可用于筛选最优检测模型。
2023-08-21 cs.CV
Squeeze Excitation Embedded Attention UNet for Brain Tumor Segmentation
School of Electronics Engineering, Vellore Institute of Technology（韦洛尔理工大学电子工程学院）；Centre for Advanced Data Science, Vellore Institute of Technology（韦洛尔理工大学高级数据科学中心）
本文提出SEEA-UNet，融合注意力机制与挤压激励网络，在空间和通道层面提取特征，用于脑肿瘤分割，在较少训练轮数下表现优于现有模型。
2023-05-13 cs.CV eess.IV
CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems
Purdue School of Engineering and Technology（普渡大学工程与技术学院）
由于现代嵌入式系统和资源受限的移动设备的出现，对用于机器学习目的的高效深度神经网络的需求非常大。当他们的数据被处理并存储在外部服务器中时，公众内部的用户数据的隐私和机密性也越来越受到关注，这进一步推动了对开发这种用于在本地嵌入式系统上进行实时推理的高效神经网络的需求。本文提出的工作范围仅限于使用卷积神经网络的图像分类。卷积神经网络（CNN）是一类广泛用于分析由图像传感器捕获的视觉图像的深度神经网络（DNN），其被设计为提取信息并将其转换为有意义的表示以用于输入数据的实时推断。在本文中，我们提出了一种新的深度卷积神经网络架构变体，以改善现有CNN架构在嵌入式系统上进行实时推理的性能。我们表明，这种架构，被称为CondenseNeXt，是非常有效的相比，基线神经网络架构，CondenseNet，通过减少可训练的参数和FLOP所需的训练网络，同时保持之间的平衡，训练模型的大小小于3.0 MB和准确性的权衡，导致前所未有的计算效率。
2021-12-01 cs.CV cs.LG eess.IV
Embedded Implementation of a Deep Learning Smile Detector
Tampere University of Technology（坦佩雷理工大学）
本文研究了低资源计算环境下深度学习算法的实时的部署。作为用例，我们比较了使用不同神经网络架构的神经网络进行微笑检测的准确性和速度，以及它们在NVidia Jetson嵌入式平台上的系统级实现。我们还提出了一个异步多线程计划并行流水线。在这个框架内，我们实验比较13个广泛使用的网络拓扑结构。实验表明，低复杂度的架构可以实现几乎相同的性能，较大的，与所需的计算的一小部分。
2018-07-10 cs.CV cs.LG stat.ML
Hardware-aware Graph Neural Networks prunning for embedded event-based vision
AGH University of Krakow（克拉科夫AGH科技大学）
研究针对嵌入式基于事件视觉，提出对图卷积神经网络模型的优化策略，结合硬件感知剪枝和量化，通过特定搜索方法灵活适配模型架构，在多数据集上评估，实现不同程度的内存减少和精度降低。
2026-07-09 cs.CV
Efficient 2.5D Hand Pose Estimation via Auxiliary Multi-Task Training for Embedded Devices
Magic Leap, Inc.（Magic Leap公司）
二维关键点估计是人体和手部三维姿态估计问题的重要前提。在这项工作中，我们讨论了在内存和计算范围高度受限的嵌入式设备（如AR/VR可穿戴设备）上部署极其高效的2.5D手部姿势估计所需的数据、架构和训练过程。我们的2.5D手部姿势估计包括由深度传感器捕获的自我中心图像上的关节位置的2D关键点估计，并使用相应的深度值提升到2.5D。我们的贡献有两个方面：（a）我们讨论数据标签和增强策略，在网络架构中的模块，共同导致$3\%$的触发器计数和$2\%$的参数的数量相比，最先进的MobileNetV 2架构的状态。(b)我们提出了一个辅助的多任务训练策略，需要补偿网络的小容量，同时实现与MobileNetV 2相当的性能。我们的32位训练模型的内存占用量小于300 KB，工作频率超过50 Hz，MFLOP小于35。
2019-09-12 cs.CV cs.HC
Fast and Accurate Person Re-Identification with RMNet
Intel（英特尔）
在本文中，我们介绍了一种新的神经网络架构设计用于嵌入式视觉应用。它将MobileNets和ResNets等网络架构的最佳工作实践合并到我们命名的RMNet架构中。我们还关注在有限的计算预算中构建移动架构的关键时刻。此外，为了证明我们的架构的有效性，我们评估RMNet骨干上的人员重新识别任务。所提出的方法在Market-1501挑战的最先进解决方案中排名前3，但我们的方法在推理速度上明显优于它们。
2018-12-06 cs.CV
Real-Time Image Processing Algorithms for Embedded Systems
Chadli Bendjedid University（沙德利·本·杰迪德大学）
本研究提出优化的图像处理算法，用于提高嵌入式系统中实时处理的速度和能效，适用于汽车、监控和机器人领域。
2026-01-09 cs.AI cs.CV eess.IV
Real-Time Crowd Counting for Embedded Systems with Lightweight Architecture
Institute of Artificial Intelligence (TeleAI)（人工智能研究所（TeleAI））；China Telecom（中国电信）；School of Artifcial Intelligence, Optics and Electronics (iOPEN)（人工智能、光学与电子学学院（iOPEN））；Northwestern Polytechnical University（西北工业大学）；Honors College（荣誉学院）
针对嵌入式系统人群计数中模型参数多、计算复杂的问题，提出一种茎-编码器-解码器结构的轻量级超实时模型，通过大卷积核、条件通道加权与多分支融合及特征金字塔网络，在保证精度的同时实现最快推理速度。
2025-10-15 cs.AI cs.CV
Towards Efficient and Data Agnostic Image Classification Training Pipeline for Embedded Systems
Intel（英特尔）
如今，基于深度学习的方法在广泛的常用数据集（ImageNet，CIFAR，SVHN，Caltech 101，SUN397等）中的图像分类任务方面取得了显着进展。SOTA在每个提到的数据集上的性能是通过根据目标数据的属性仔细调整模型架构和训练技巧来获得的。尽管这种方法可以创造学术记录，但让一个普通的数据科学家拥有足够的资源来为他在实践中遇到的每一个图像分类任务构建一个复杂的训练管道是不现实的。本文的工作重点是回顾图像分类的最新增强和正则化方法，并探索自动选择一些最重要的超参数的方法：总时期数，初始学习率值和它的时间表。有一个训练过程配备了一个轻量级的现代CNN架构（如bileNetV3或EfficientNet），足够的正则化水平和自适应数据学习率调度，我们可以实现各种下游图像分类任务的合理性能，而无需手动调整每个特定任务的参数。生成的模型计算效率高，可以使用OpenVINO工具包部署到CPU。源代码作为OpenVINO培训扩展的一部分提供（https：//github.com/openvinotoolkit/training_extensions）。
2021-08-16 cs.CV
Estimating the Potential Speedup of Computer Vision Applications on Embedded Multiprocessors
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；STMicroelectronincs（意法半导体）
计算机视觉应用构成了嵌入式多核架构的关键驱动力之一。尽管新架构中可用内核的数量不断增加，但设计应用程序以最大限度地利用平台仍然是一项挑战。从这个意义上说，并行性能预测工具可以帮助开发人员了解应用程序的特性，并找到最合适的并行化策略。在这项工作中，我们提出了一种方法，早期并行性能估计嵌入式多处理器从顺序应用程序的痕迹。我们描述了它在Parana中的实现，Parana是一个快速跟踪驱动的模拟器，针对STMicroelectronics的STxP70专用多处理器（ASMP）上的OpenMP应用。FAST关键点检测器应用的结果显示，与参考循环近似模拟器相比，误差幅度小于10%，建模工作量更低，执行时间最多快20倍。
2015-02-26 cs.CV cs.DC cs.PF
Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
本文提出 Fast GraspNeXt 自注意力架构，通过带约束的生成式架构搜索平衡多任务性能与边缘推理效率，在 MetaGraspNet 上以更少参数和计算量取得最优结果并显著加速。
2023-04-21 cs.AI cs.CV cs.LG
