Resource-constrained FPGA Design for Satellite Component Feature Extraction
Florida Institute of Technology（佛罗里达理工学院）；Energy Management Aerospace（能源管理航空航天公司）
计算机视觉和机器学习在在轨应用中的有效使用受到有限计算能力的阻碍，因此性能有限。虽然利用ARM处理器的嵌入式系统已被证明符合可接受但低性能的标准，但最近可用的更大的空间级现场可编程门阵列（FPGA）显示出超过微计算机系统的性能的潜力。这项工作提出了使用基于神经网络的目标检测算法，可以部署在一个可编程资源有限的FPGA上，以自动检测非合作的组件，在轨卫星。在佛罗里达理工学院的ORION机动运动模拟器上进行了硬件在环实验，以比较部署在小型资源受限的FPGA上的新模型与微计算机系统上的等效算法的性能。结果表明，FPGA实现提高了吞吐量，降低了延迟，同时保持相当的精度。这些发现表明，未来的任务应该考虑在空间级FPGA上部署计算机视觉算法。
2023-01-22 cs.CV
FPGA-Based Hardware Architecture for Contrast Maximization in Event-Based Vision
AGH University of Krakow, Poland（波兰格但尼克技术大学）；Embedded Vision Systems Group, Computer Vision Laboratory（嵌入式视觉系统组，计算机视觉实验室）
本文提出一种基于FPGA的硬件架构，用于实现事件视觉系统中的对比最大化算法，通过并行结构实现高吞吐量和能效，实验显示其在运动参数估计上比CPU和GPU快200倍。
2026-05-10 cs.CV
Dynamic Vision Sensor integration on FPGA-based CNN accelerators for high-speed visual classification
University of Seville（塞维利亚大学）
深度学习是一种前沿理论，正在应用于许多领域。对于视觉应用，卷积神经网络（CNN）要求分类任务具有很高的精度。在过去的几年里，许多硬件加速器已经普及，以改进基于CPU或GPU的解决方案。该技术通常在FPGA上进行原型制作和测试，然后才考虑用于大规模生产的ASIC制造。商用典型相机（30 fps）的使用限制了这些系统用于高速应用的能力。使用动态视觉传感器（DVS）来模拟生物视网膜的行为，由于其性质，其对于改进该应用越来越重要，其中信息由连续的尖峰流表示，并且要由CNN处理的帧被构造成收集固定数量的这些尖峰（称为事件）。对象的速度越快，DVS产生的事件就越多，因此等效的帧速率就越高。因此，这些DVS利用率允许以CNN加速器可以提供的最大速度计算帧。在本文中，我们提出了一个VHDL/HLS描述的FPGA的流水线设计，能够收集事件从地址事件表示（AER）DVS视网膜，以获得一个归一化的直方图使用一个特定的CNN加速器，称为NullHop。VHDL用于描述电路，HLS用于计算块，其用于执行CNN所需的帧的归一化。结果在延迟和功耗方面都优于先前使用在Zynq 7100上以800 MHz运行的ARM处理器实现的帧收集和归一化。在峰值速率为160 fps的Rosambo CNN实时实验中，测得的加速因子为67%。
2019-05-17 cs.CV
Real-time FPGA implementation of the Semi-Global Matching stereo vision algorithm for a 4K/UHD video stream
AGH University of Science and Technology（AGH科技大学）
本文提出一种实时FPGA实现的SGM立体视觉算法，支持4K/超高清视频流（4ppc格式，64像素视差），在Xilinx VC707开发板上验证，结果与原始设计相当。
2023-01-12 cs.CV eess.IV
Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization
Northeastern University（东北大学）；Simon Fraser University（西蒙弗雷泽大学）；University of California, Irvine（加州大学欧文分校）；ETH Zurich（苏黎世联邦理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉Transformer（ViT）正在出现，在计算机视觉任务中具有显著提高的准确性。然而，其复杂的体系结构和巨大的计算/存储需求迫切需要新的硬件加速器的设计方法。这项工作提出了一个FPGA感知的自动ViT加速框架的基础上提出的混合方案量化。据我们所知，这是第一个基于FPGA的ViT加速框架，探索模型量化。与最先进的ViT量化工作（算法方法，只有没有硬件加速）相比，我们的量化实现了0.47%至1.36%的高的Top-1精度在相同的位宽。与32位浮点基线FPGA加速器相比，我们的加速器的帧速率提高了约5.6倍（即，56.8 FPS vs. 10.0 FPS），DeiT-base在ImageNet数据集上的准确率下降了0.71%。
2022-08-10 cs.CV cs.LG eess.IV
A Survey of FPGA Based Deep Learning Accelerators: Challenges and Opportunities
随着深度学习的快速发展，神经网络和深度学习算法已经广泛应用于各个领域，例如，图像、视频和语音处理。但神经网络模型越来越大，表现在模型参数的计算上。虽然研究人员目前在GPU平台上进行了大量的工作来提高计算性能，但专用硬件解决方案是必不可少的，并且正在出现，以提供优于纯软件解决方案的优势。本文系统地研究了基于FPGA的神经网络加速器。具体而言，我们分别审查了针对特定问题，特定算法，算法功能和通用模板设计的加速器。比较了基于FPGA的加速器在不同设备和网络模型下的设计和实现，并与CPU和GPU的版本进行了比较。最后，我们讨论了FPGA平台上加速器的优点和缺点，并进一步探索未来研究的机会。
2019-12-25 cs.CV cs.DC
Toolflows for Mapping Convolutional Neural Networks on FPGAs: A Survey and Future Directions
Imperial College London（帝国理工学院）
在过去的十年中，卷积神经网络（CNN）在各种人工智能任务中表现出了最先进的性能。为了加速CNN的实验和开发，已经发布了几个软件框架，主要针对耗电的CPU和GPU。在这种背景下，FPGA形式的可重构硬件构成了一种潜在的替代平台，可以集成到现有的深度学习生态系统中，以提供性能、功耗和可编程性之间的可调平衡。在本文中，现有的CNN到FPGA的工具流程的调查，包括他们的关键特性，其中包括支持的应用程序，架构选择，设计空间探索方法和实现的性能进行了比较研究。此外，主要的挑战和目标介绍了CNN算法研究的最新趋势。最后，提出了一种统一的评估方法，旨在全面，完整和深入的评估CNN到FPGA的工具流程。
2018-03-15 cs.AR cs.CV cs.LG
Accelerating CNN inference on FPGAs: A Survey
Institut Pascal（帕斯卡研究所）；IETR, INSA Rennes（雷恩国立应用科学学院电子与电信研究所）
卷积神经网络（CNN）目前被用来解决越来越多的问题，从语音识别到图像分类和分割。CNN所需的大量处理需要专用和定制的硬件支持方法。此外，CNN工作负载具有流式传输性质，非常适合于可重新配置的硬件架构，例如FPGA。在过去的3年里，关于CNN FPGA加速主题的研究数量和多样性表明了巨大的工业和学术兴趣。本文介绍了一种基于FPGA的CNN推理加速器。计算工作量，其并行性和所涉及的内存访问进行了分析。在神经元层面，解释了卷积层和全连接层的优化，并比较了不同方法的性能。在网络层面，涵盖了近似计算和数据路径优化方法，并比较了最先进的方法。本调查中研究的方法和工具代表了FPGA CNN推理加速器的最新趋势，并将推动高效硬件深度学习的未来发展。
2018-05-26 cs.AR cs.CV cs.DC
GraphLeap: Decoupling Graph Construction and Convolution for Vision GNN Acceleration on FPGA
University of Southern California, Los Angeles, California, USA（美国南加州大学）
GraphLeap通过解耦图构建与特征更新，提升FPGA上视觉图神经网络的推理速度，实现95.7倍CPU和8.5倍GPU的加速效果。
2026-04-23 cs.CV cs.DC
FPGA-based Binocular Image Feature Extraction and Matching System
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
图像的特征提取和匹配是机器视觉中一项基本而又计算密集的任务。本文提出了一种基于FPGA的嵌入式系统，以加速特征提取和匹配。实现了SURF特征点的检测和BRIEF特征描述子的构造与匹配。对于双目立体视觉，特征匹配包括跟踪匹配和立体匹配，它们同时提供特征点对应和视差信息。我们的系统在ZYNQ XC7Z045 FPGA上进行了评估。实验结果表明，该算法能够以较高的帧率（640 $\times$ 480@162 fps）处理双目视频数据。此外，广泛的测试证明，我们的系统具有鲁棒性的图像压缩，模糊和照明。
2019-05-14 cs.AR cs.CV cs.MM
Hardware Acceleration of Lane Detection Algorithm: A GPU Versus FPGA Comparison
Ain Shams University（艾因夏姆斯大学）；STMicroelectronics（意法半导体）；Electronics Research Institute（电子研究所）
一个完整的计算机视觉系统可以分为两大类：检测和分类。车道线检测算法是计算机视觉检测范畴的一部分，已在自动驾驶和智能车辆系统中得到应用。车道检测系统负责在复杂的道路环境中进行车道标记。同时，车道线检测在车辆偏离车道时的预警系统中起着至关重要的作用。实现的车道线检测算法主要分为两个步骤：边缘检测和直线检测。在本文中，我们将比较使用FPGA和GPU获得的最先进的实现性能，以评估延迟，功耗和利用率的权衡。我们的比较强调了这两个系统的优点和缺点。
2022-12-19 cs.CV eess.IV
High-definition event frame generation using SoC FPGA devices
AGH University of Krakow（克拉科夫AGH科技大学）
本文在FPGA上实现高分辨率事件流累积投影，比较多种数据表示的资源需求，生成的事件帧支持经典及深度神经网络视觉算法。
2023-07-26 cs.CV
FlexViT: A Flexible FPGA-based Accelerator for Edge Vision Transformers
School of Computing Science, University of Glasgow（格拉斯哥大学计算机科学学院）
针对边缘视觉Transformer模型计算密集和架构异构的问题，提出FlexViT，一种基于SECDA-TFLite框架的可重构FPGA加速器，通过统一INT8 GEMM引擎、双模式数据流和深度优先分块策略实现高效推理。
2026-07-01 cs.AR cs.CV cs.DC
Towards Low-Latency Event-based Obstacle Avoidance on a FPGA-Drone
ETH Zürich（苏黎世联邦理工学院）；Sony Semiconductor Solutions Europe, Sony Europe B.V.（索尼半导体解决方案欧洲公司）
本研究在FPGA无人机平台对比基于事件的视觉系统与RGB模型的避障性能，验证了前者在帧率、预测误差、鲁棒性等方面的优势，实现了2.14ms的低延迟，证明其适用于资源受限的实时避障场景。
2025-05-16 cs.CV
VAQF: Fully Automatic Software-Hardware Co-Design Framework for Low-Bit Vision Transformer
Northeastern University（东北大学）；University of California, Irvine（加州大学欧文分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
具有注意力机制的Transformer架构在自然语言处理（NLP）中获得了成功，并且视觉Transformer（ViTs）最近将应用领域扩展到各种视觉任务。在实现高性能的同时，ViT具有较大的模型大小和较高的计算复杂度，这阻碍了它们在边缘设备上的部署。为了在硬件上实现高吞吐量并同时保持模型精度，我们提出了VAQF，这是一个在FPGA平台上构建推理加速器的框架，用于具有二进制权重和低精度激活的量化ViT。给定模型结构和所需的帧速率，VAQF将自动输出激活所需的量化精度以及满足硬件要求的加速器的优化参数设置。在Xilinx ZCU 102 FPGA板上采用Vivado高级合成（HLS）实现，DeiT-base模型的评估结果表明，8位激活量化满足24帧/秒（FPS）的帧速率要求，6位激活量化满足30 FPS的目标。据我们所知，这是首次在全自动框架的帮助下将量化纳入FPGA上的ViT加速，以指导软件端的量化策略和硬件端的加速器实现，给定目标帧速率。与量化训练相比，编译时间成本非常小，生成的加速器显示出在FPGA上实现最先进的ViT模型实时执行的能力。
2022-02-18 cs.CV cs.LG
GCV-Turbo: End-to-end Acceleration of GNN-based Computer Vision Tasks on FPGA
University of Southern California（南加州大学）；DEVCOM Army Research Office（DEVCOM陆军研究办公室）
提出 FPGA 加速器 GCV-Turbo，通过统一 CNN/GNN 硬件架构与 PyTorch 兼容编译器端到端优化，在六类任务上显著降低延迟并保持专用加速器性能。
2024-04-10 cs.CV cs.DC eess.IV
VTR: An Optimized Vision Transformer for SAR ATR Acceleration on FPGA
University of Southern California（南加州大学）；DEVCOM Army Research Office（DEVCOM陆军研究办公室）
针对 SAR ATR 中 ViT 数据需求高、计算重且难部署的问题，本文提出融合 SPT 与 LSA 的轻量模型 VTR，并设计专用 FPGA 加速器以实现实时部署。
2024-04-06 cs.AI cs.AR cs.CV
Fast Neuromimetic Object Recognition using FPGA Outperforms GPU Implementations
The Johns Hopkins University（约翰斯·霍普金斯大学）；Singapore Institute of Neurotechnology（新加坡神经技术研究所）；National University of Singapore（新加坡国立大学）；The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
传统上，静止图像中的目标识别被认为是一个困难的计算问题。虽然现代视觉对象识别的自动化方法已经实现了稳步提高的识别精度，但即使是最先进的计算视觉方法也无法获得与人类相同的性能。这导致了许多受生物启发的视觉对象识别模型的创建，其中包括HMAX模型。传统上已知HMAX以显著的计算复杂性为代价在视觉对象识别任务中实现高精度。复杂性的增加反过来又会增加计算时间，减少单位时间内可以处理的图像数量。在本文中，我们描述了如何计算密集型，生物启发的HMAX模型的视觉对象识别可以修改实施的商业现场可编程门阵列，特别是Xilinx Virtex 6 ML605评估板与XC6VLX240 T FPGA。我们表明，通过对传统HMAX模型的微小修改，我们可以以每秒190张图像的速度对大小为128x128像素的图像进行识别，在二进制和多类视觉对象识别任务中的识别精度损失小于1%。
2015-10-31 cs.CV
Real-time HOG+SVM based object detection using SoC FPGA for a UHD video stream
AGH University of Science and Technology（AGH科技大学）
目标检测是许多视觉系统的重要组成部分。例如，行人检测用于高级驾驶员辅助系统（ADAS）和高级视频监控系统（AVSS）。目前，大多数检测器使用深度卷积神经网络（例如，YOLO（You Only Look Once）系列），然而，由于它们的高计算复杂性，它们不能实时的【形】处理非常高分辨率的视频流，特别是在有限的能量预算内。在本文中，我们提出了一个著名的行人检测器的硬件实现HOG（直方图的有向投影）特征提取和SVM（支持向量机）分类。我们的系统运行在AMD Xilinx Zynq UltraScale+ MPSoC（多处理器片上系统）设备上，可以实时的【形】处理4K分辨率（UHD --超高清，3840 x 2160像素）视频，每秒60帧。该系统能够以单一尺度检测行人。所获得的结果证实了可重编程器件在嵌入式视觉系统的实时的【形】实现中的高度适用性。
2022-04-22 cs.AR cs.CV eess.IV
Real-Time Multi-Object Tracking using YOLOv8 and SORT on a SoC FPGA
AGH University of Krakow（克拉科夫AGH科技大学）
本文提出在 Zynq UltraScale+ MPSoC FPGA 上结合量化 YOLOv8 与 SORT 的嵌入式实时 MOT 系统，借助修改版 FINN 支持外部参数存储，并在 COCO/MOT15 上完成性能验证。
2025-03-17 cs.CV
FP-Stereo: Hardware-Efficient Stereo Vision for Embedded Applications
Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；India Institute of Technology Goa（印度理工学院果阿分校）
快速准确的深度估计或立体匹配在嵌入式立体视觉系统中是必不可少的，需要大量的设计努力来实现精度、速度和硬件成本之间的适当平衡。为了减少设计工作量并实现正确的平衡，我们提出了FP-Stereo，用于在FPGA上自动构建高性能立体匹配流水线。FP-Stereo由一个开源的硬件高效库组成，允许设计人员立即获得所需的实现。我们的库支持立体匹配流水线的每个阶段的各种方法，并开发了一系列技术来开发并行性和减少资源开销。为了提高可用性，FP-Stereo可以使用我们优化的HLS模板自动生成FPGA加速器的可合成C代码。为了指导用户选择符合特定应用要求的正确设计，我们对库的各种配置进行了详细的比较，以调查精度/速度/成本权衡。实验结果还表明，FP-Stereo在各方面都优于最先进的FPGA设计，包括6.08%的误差降低，2倍的速度提高，30%的资源使用减少和40%的能耗减少。与GPU设计相比，FP-Stereo以具有竞争力的速度实现相同的精度，同时消耗更少的能源。
2020-07-01 cs.AR cs.CV cs.RO
PEANO-ViT: Power-Efficient Approximations of Non-Linearities in Vision Transformers
University of Southern California（南加州大学）
针对视觉Transformer在FPGA上部署时非线性函数功耗高的问题，提出PEANO-ViT框架，通过无除法层归一化、多尺度softmax近似和分段线性GELU近似，在精度损失极小的情况下大幅提升三类非线性操作的能效，助力ViT在资源功耗受限FPGA上高效部署。
2024-08-16 cs.AI cs.CV eess.IV
Vision-based Human Gender Recognition: A Survey
Universiti Tunku Abdul Rahman（拉曼大学）
性别是人们的一个重要人口属性。本文综述了计算机视觉中人类性别识别的研究进展。回顾了利用面部和全身（无论是从静止图像或步态序列）的信息的方法。我们强调所面临的挑战，并调查这些方法的代表性方法。基于这些结果，在受控环境下捕获的数据集已经取得了良好的性能，但仍有许多工作可以做，以提高现实生活环境下性别识别的鲁棒性。
2012-04-07 cs.CV
Single Storage Semi-Global Matching for Real Time Depth Processing
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Defence Research and Development Organisation（国防研究与发展组织）
深度图是计算机视觉和机器人学中的关键计算。其中最流行的方法之一是通过计算从立体相机获得的图像的灰度图。半全局匹配（SGM）方法是一种流行的选择，具有良好的精度和合理的计算时间。为了将这种计算密集型算法用于实时应用，例如用于自主飞行器、盲人辅助等，使用GPU、FPGA的加速是必要的。在本文中，我们展示了一个立体视觉系统的设计和实现，这是基于FPGA实现的更多的全球匹配（MGM）。MGM是SGM的变体。我们使用4条路径，但为相应的像素存储单个累积成本值。我们的立体视觉原型使用Zedboard，其中包含基于ARM的Zynq-SoC，ZED立体相机/ ELP立体相机/英特尔实感D435 i和VGA用于可视化。深度图所需的基于FPGA的自定义视差图计算加速的功耗仅为0.72瓦。视差图的更新速率是现实的10.5 fps。
2020-07-07 cs.AR cs.CV cs.RO
A Survey on Deep Learning Methods for Robot Vision
Universidad de Chile（智利大学）
深度学习使得模式识别发生了范式转变，从使用手工制作的特征和统计分类器到使用通用学习过程来学习数据驱动的表示、特征和分类器。这种新范式在计算机视觉中的应用尤其成功，其中面向视觉应用的深度学习方法的开发已成为热门研究课题。鉴于深度学习已经引起了机器人视觉社区的关注，本次调查的主要目的是解决深度学习在机器人视觉中的使用问题。为了实现这一目标，全面概述了深度学习及其在计算机视觉中的应用，其中包括最常用的神经模型及其主要应用领域的描述。然后，介绍了用于设计基于深度学习的视觉系统的标准方法和工具。然后，回顾了在机器人视觉中使用深度学习的主要工作，以及在机器人技术中使用深度学习的当前和未来趋势。本综述旨在为机器人视觉系统的开发者提供指导。
2018-03-28 cs.CV
Software-Defined FPGA Accelerator Design for Mobile Deep Learning Applications
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
最近，深度学习领域受到了科学界的极大关注，它被用来为许多计算机视觉问题提供改进的解决方案。卷积神经网络（CNN）已经成功地用于攻击诸如对象识别、目标检测、语义分割和场景理解之类的问题。深度学习的快速发展与GPU的适应性密切相关，以加速其过程，例如网络训练和推理。尽管FPGA设计早在GPU用于加速计算之前就存在了，尽管高级综合（HLS）工具越来越有吸引力，但由于硬件设计相关专业知识的要求，FPGA对深度学习研究和应用开发的适应性很差。这项工作提出了一个工作流程，深度学习移动应用加速小型低成本低功耗FPGA设备使用HLS工具。这个工作流程简化了SqueezeJet加速器的改进版本的设计，用于加速移动友好的低参数ImageNet类CNN，例如SqueezeNet v1.1和ZynqNet。此外，工作流程包括开发一个HLS驱动的分析模型，用于加速器的性能估计。该模型还可以用于指导设计过程，并导致未来的设计改进和优化。
2019-03-24 cs.CV cs.LG
A survey of the Vision Transformers and their CNN-Transformer based Variants
Pakistan Institute of Engineering & Applied Sciences（巴基斯坦工程与应用科学学院）；Khalifa University of Science and Technology（哈利法科学技术大学）；Air University（空军大学）
本综述系统分类并分析了视觉Transformer及混合视觉Transformer架构，重点探讨了其注意力机制、位置嵌入等关键特征，强调了混合架构在计算机视觉任务中的卓越性能与未来发展方向。
2024-07-27 cs.CV
Eventor: An Efficient Event-Based Monocular Multi-View Stereo Accelerator on FPGA Platform
Beihang University（北京航空航天大学）；Xidian University（西安电子科技大学）；Beijing Real Imaging Medical Technology Co., Ltd.（北京真实影像医疗科技有限公司）；The Chinese University of Hong Kong（香港中文大学）
事件摄像机是生物启发的视觉传感器，它异步地将像素级亮度变化表示为事件流。基于事件的单目多视图立体视觉（EMVS）是一种利用事件流来估计具有已知轨迹的半密集3D结构的技术。这是基于事件的单目SLAM的关键任务。然而，所需的密集的计算工作量使得它具有挑战性的实时部署在嵌入式平台上。在本文中，Eventor被提出作为一个快速和有效的EMVS加速器，通过实现最关键和最耗时的阶段，包括事件反投影和体积射线计数在FPGA上。通过FPGA专门设计了高度可扩展和完全流水线的处理单元，并将其与嵌入式ARM集成为异构系统，以提高吞吐量并减少内存占用。同时，通过重新调度、近似计算和混合数据量化等方法，对EMVS算法进行了改进。在DAVIS数据集上的评估结果表明，Eventor与Intel i5 CPU平台相比，在能效方面实现了高达$24\times$的提升。
2022-06-07 cs.AR cs.CV
SMOF: Streaming Modern CNNs on FPGAs with Smart Off-Chip Eviction
Imperial College London（伦敦帝国学院）；Information Technologies Institute（信息技术研究所）；Centre of Research and Technology Hellas（希腊研究与技术中心）
SMOF通过智能片外逐出机制将权重和激活暂存到片外存储器，解决现代CNN长跳跃连接导致的片上存储瓶颈，从而在资源受限FPGA上实现流式映射并获得最高10.65倍吞吐量提升。
2024-03-27 cs.AR cs.CV cs.LG
A Survey on Efficient Vision-Language Models
University of Maryland Baltimore County (UMBC)（马里兰大学巴尔的摩县分校）
本文综述了在边缘和资源受限设备上优化视觉-语言模型的关键技术、紧凑架构及性能与内存权衡，并建立持续更新的GitHub仓库以推动高效VLM研究。
2025-07-01 cs.CV
Real-time on-board obstacle avoidance for UAVs based on embedded stereo vision
Fraunhofer IOSB（弗劳恩霍夫IOSB研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为了提高可用性和安全性，现代无人机（UAV）配备了传感器来监测环境，例如激光扫描仪和摄像机。监测过程中的一个重要方面是检测飞行路径中的障碍物，以避免碰撞。由于大量的消费级无人机受到严格的重量和功率限制，我们的工作重点是避障的基础上，一个轻量级的立体相机设置。我们使用视差图，这是从相机图像计算，定位障碍物，并自动引导无人机周围。对于视差图计算，我们优化了众所周知的半全局匹配（SGM）的方法部署在嵌入式FPGA上。然后将视差图转换为更简单的表示，即所谓的U-/V-Map，用于障碍物检测。避障是基于一种反应式方法，只要障碍物与无人机之间有一个临界距离，就能找到绕过障碍物的最短路径。我们工作的基本目标之一是通过缩小应用程序开发和硬件优化之间的差距来降低开发成本。因此，我们的目标是使用高级综合（HLS）移植我们的算法，这是写在C/C++，嵌入式FPGA。我们在KITTI Stereo 2015基准上评估了视差估计的实现。整个实时反应避障算法的完整性进行了评估，使用硬件在环测试结合两个飞行模拟器。
2019-09-21 cs.CV
Surround-View Vision-based 3D Detection for Autonomous Driving: A Survey
Motional（Motional公司）
基于视觉的3D检测任务是自动驾驶系统感知的基础任务，已经引起了许多研究人员和自动驾驶工程师的极大兴趣。然而，使用相机的2D传感器输入数据来实现相当好的3D BEV（鸟瞰图）性能并不是一件容易的事情。在本文中，我们提供了一个文献调查现有的基于视觉的3D检测方法，专注于自动驾驶。我们对利用Vision BEV检测方法的超过$60$论文进行了详细分析，并强调了不同的子组，以详细了解常见趋势。此外，我们强调了文献和行业趋势如何转向基于环绕视图图像的方法，并记录了这种方法解决的特殊情况的想法。最后，我们提出了基于当前技术的缺点，包括协同感知的方向，为未来的研究三维视觉技术的想法。
2023-03-07 cs.CV
CHOSEN: Compilation to Hardware Optimization Stack for Efficient Vision Transformer Inference
University of Southern California（美国南加州大学）
本文提出软硬件协同设计框架 CHOSEN，通过多核并行、非线性函数近似和编译器设计空间探索，自动化优化 FPGA 上的 ViT 推理，在 DeiT-S 与 DeiT-B 上分别取得 1.5 倍和 1.42 倍吞吐量提升。
2025-06-10 cs.AI cs.AR cs.CV
Recent Advances of Local Mechanisms in Computer Vision: A Survey and Outlook of Recent Work
Shandong University（山东大学）
本文系统综述了面向细粒度识别、重识别、少/零样本、多模态、自监督学习及Vision Transformers等任务的计算机视觉局部机制，归纳分类、分析优劣并展望方向。
2023-06-02 cs.CV
Towards Unifying Understanding and Generation in the Era of Vision Foundation Models: A Survey from the Autoregression Perspective
Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本综述聚焦视觉基础模型理解与生成统一趋势，从自回归视角梳理其进展、定义优势、按分词器与骨干分类，探讨挑战方向，是该领域首篇全面综述并配套资源库。
2024-10-30 cs.CV
Vision-RADAR fusion for Robotics BEV Detections: A Survey
Motional（Motional公司）
由于构建自主机器人感知系统的趋势需要，传感器融合吸引了研究人员和工程师的大量关注，以充分利用跨模态信息。然而，为了大规模地构建机器人平台，我们还需要强调自主机器人平台的成本。相机和雷达本身就包含互补的感知信息，具有大规模开发自主机器人平台的潜力。然而，与LiDAR融合视觉工作相比，围绕雷达融合视觉的工作有限。在本文中，我们解决了这个差距的视觉雷达融合方法的BEV目标检测系统的调查。首先，我们通过背景信息，机器人感知系统的目标检测任务、传感器的选择、传感器设置、基准数据集和评估指标。稍后，我们将介绍每模态（相机和雷达）数据表示，然后详细介绍基于子组的传感器融合技术，即，早期融合、深度融合和后期融合，以便轻松了解每种方法的优缺点。最后，我们提出了未来可能的发展趋势，视觉雷达融合启发未来的研究。定期更新的摘要可在https://github.com/ApoorvRoboticist/Vision-RADAR-Fusion-BEV-Survey上找到
2023-02-13 cs.CV
A Survey on Recent Advances of Computer Vision Algorithms for Egocentric Video
Indiana University（印第安纳大学）
最近的技术进步使得轻便的头戴式摄像头既实用又实惠，像谷歌眼镜这样的产品首次将以自我为中心（第一人称）的视频引入主流。有趣的是，计算机视觉社区直到最近才开始探索这个以自我为中心的视觉的新领域，其中的研究可以大致分为三个领域：对象识别，活动检测/识别，视频摘要。在本文中，我们试图对已经解决的不同问题进行广泛的概述，并收集和比较评估结果。此外，随着这个新领域的出现，引入了许多新的和通用的基准数据集，我们也对它们进行了总结和比较。
2015-01-12 cs.CV
cvpaper.challenge in 2016: Futuristic Computer Vision through 1,600 Papers Survey
National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所 (AIST)）；University of Tsukuba（筑波大学）；Keio University（庆应义塾大学）；Tokyo Denki University（东京电机大学）
本文给出了cvpaper. challenge中讨论的未来挑战。在2015年和2016年，我们深入研究了CVPR/ICCV/ECCV/NIPS/PAMI/IJCV等多个会议/期刊上的1，600多篇论文。
2017-07-20 cs.CV
Attention Mechanisms in Computer Vision: A Survey
Tsinghua University（清华大学）；Nankai University（南开大学）；Cardiff University（卡迪夫大学）
人类可以自然有效地在复杂场景中找到显著区域。受此观察的启发，注意力机制被引入到计算机视觉中，目的是模仿人类视觉系统的这一方面。这种注意力机制可以被认为是基于输入图像的特征的动态权重调整处理。注意力机制在图像分类、目标检测、语义分割、视频理解、图像生成、3D视觉、多模态任务和自监督学习等视觉任务中取得了巨大的成功。本文对计算机视觉中的各种注意力机制进行了全面的综述，并根据方法将其分类，如通道注意、空间注意、时间注意和分支注意;相关知识库https://github.com/MenghaoGuo/Awesome-Vision-Attentions专门收集相关工作。最后，对注意力机制的未来研究方向提出了建议。
2021-11-15 cs.CV
3D Vision with Transformers: A Survey
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Tianjin University（天津大学）；Linköping University（林雪平大学）；Australian National University（澳大利亚国立大学）；University of California at Merced（加州大学默塞德分校）；Yonsei University（延世大学）；Google（谷歌）
Transformer架构在自然语言处理中的成功最近引发了计算机视觉领域的关注。Transformer已被用作广泛使用的卷积运算符的替代品，因为它能够学习远程依赖关系。这种替换在许多任务中被证明是成功的，其中一些最先进的方法依赖于Transformers来更好地学习。在计算机视觉中，3D领域也见证了将Transformer用于3D卷积神经网络和多层感知器网络的增长。虽然许多调查都集中在视觉中的Transformers上，但由于与2D视觉相比，3D视觉在数据表示和处理方面的差异，需要特别注意。在这项工作中，我们提出了一个系统和全面的审查100多个Transformers的方法，用于不同的3D视觉任务，包括分类，分割，检测，完成，姿态估计等。我们讨论了3D视觉中的Transformer设计，它允许它处理具有各种3D表示的数据。对于每个应用程序，我们突出的关键属性和建议的基于变压器的方法的贡献。为了评估这些方法的竞争力，我们将其性能与12个3D基准上的常见非变压器方法进行了比较。我们通过讨论3D视觉中Transformers的不同开放方向和挑战来结束调查。除了所介绍的论文之外，我们的目标是经常更新最新的相关论文及其相应的实现：https://github.com/lahoud/3d-vision-transformers。
2022-08-08 cs.CV
SMART-Vision: Survey of Modern Action Recognition Techniques in Vision
University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；Can Tho University（芹苴大学）
本文提出SMART-Vision分类法，系统综述人类动作识别（HAR）的深度学习方法，涵盖混合架构、数据集及开放HAR挑战，为从基础到前沿提供路线图。
2025-01-22 cs.CV
Embedded Platforms for Computer Vision-based Advanced Driver Assistance Systems: a Survey
Vicomtech-IK4
计算机视觉，无论是单独使用还是与雷达或激光雷达等其他技术相结合，都是高级驾驶辅助系统（ADAS）中使用的关键技术之一。它在理解和分析驾驶场景方面的作用非常重要，因为使用该技术的ADAS应用的数量可以说明这一点。然而，将视觉算法移植到嵌入式汽车系统仍然是非常具有挑战性的，因为必须在几种设计方法之间进行权衡。此外，没有标准的实施平台，因此科学界和工业界都提出了不同的替代方案。本文旨在回顾可用于基于计算机视觉的ADAS的嵌入式系统和不同的嵌入式实现平台，并对未来趋势进行了批判性分析和展望。
2015-04-28 cs.CV
FPGA based Parallelized Architecture of Efficient Graph based Image Segmentation Algorithm
Robotics Research Center, IIIT-Hyderabad（海得拉巴国际信息技术学院机器人研究中心）
彩色图像的实时的分割在计算机视觉的许多领域如图像压缩、医学成像、地图绘制和自主导航中具有重要意义。作为计算量最大的操作之一，它通常是通过使用高性能处理器的软件实现来完成的。然而，在机器人系统中，由于受限的平台尺寸以及对便携性、低功耗的需求，同时需要实时的图像分割，我们设想硬件并行性作为实现更高加速的前进方向。现场可编程门阵列（FPGA）是最适合此任务的，因为它们在小的物理区域内提供高计算能力。它们通过打破顺序执行的范例并通过在架构级别实现硬件级别并行化来完成更多的每个时钟周期操作，从而超过了基于软件的实现的计算速度。在本文中，我们提出了三个新的架构，一个著名的高效的基于图的图像分割算法。与软件实现相比，这些提出的实现优化了时间和功耗。所提出的混合设计具有显著的加速能力，与其他实现相比提供至少2倍的速度增益，这使得可以在移动机器人系统上部署的实时的图像分割成为可能。
2017-10-06 cs.CV cs.DC
A Comprehensive Survey of Transformers for Computer Vision
Sejong University（世宗大学）
作为一种特殊的Transformer，视觉变换器（Vision Transformers，ViTs）被广泛应用于图像识别等计算机视觉领域。卷积神经网络（CNN）有几个潜在的问题可以用ViT来解决。对于压缩、超分辨率、分割和去噪等图像编码任务，使用ViT的不同变体。本调查的目的是介绍ViTs在CV中的首次应用。据我们所知，这项调查是第一次针对简历的ViTs调查。在第一步中，我们对ViT适用的不同CV应用进行分类。CV应用包括图像分类、目标检测、图像分割、图像压缩、图像超分辨率、图像去噪和异常检测。我们的下一步是审查每个类别的最新技术水平，并列出可用的模型。接下来，我们对每种模式进行了详细的分析和比较，并列出了其优缺点。之后，我们提出了我们对每个类别的见解和经验教训。此外，我们还讨论了几个开放的研究挑战和未来的研究方向。
2022-11-11 cs.CV
An FPGA smart camera implementation of segmentation models for drone wildfire imagery
Tecnologico de Monterrey（蒙特雷科技大学）；Hasso-Plattner Institute, University of Postdam（波茨坦大学哈索·普拉特纳研究所）；Universidad Autonoma de Guadalajara（瓜达拉哈拉自治大学）；Universidad de las Americas Puebla（普埃布拉美洲大学）；Università di Corsica（科西嘉大学）
本研究提出基于低功耗FPGA和二值化神经网络的智能相机方案，优化U-Net模型并移植至Xilinx Ultra96-v2，通过剪枝量化减少90%参数，吞吐量从8FPS提升至33.63FPS，分割性能无损失，实现边缘端野火分割。
2023-09-04 cs.CV eess.IV
Vision-based Driver Assistance Systems: Survey, Taxonomy and Advances
Valeo Vision Systems（法雷奥视觉系统公司）
基于视觉的驾驶员辅助系统是ITS快速发展的研究领域之一，这是由于各种因素，例如汽车安全要求的提高，嵌入式系统的计算能力以及对自动驾驶的渴望。它是一个跨学科领域，涵盖计算机视觉、机器学习、机器人导航、嵌入式系统、汽车电子和安全关键软件等专业领域。在本文中，我们调查了基于视觉的高级驾驶辅助系统的列表，并提出了一个统一的术语分类。我们还提出了一个抽象的模型，试图形式化的应用程序开发的自顶向下的视图，以扩展到自动驾驶系统。
2021-04-26 cs.CV cs.RO
EventShiftFlow: Towards Hardware-efficient FPGA-based Flow Estimation
University of Pennsylvania（宾夕法尼亚大学）
提出一种基于事件相机的流估计方法，通过离散化事件、构建1位空间占用网格并并行评估速度假设，仅使用固定宽度整数逻辑实现，无需帧重建、浮点运算或迭代优化，适用于低延迟机器人感知。
2026-05-27 cs.CV cs.RO
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea（赵陈夏石移动研究生院）
本综述聚焦自动驾驶领域的视觉Transformer应用，梳理其基础概念与多场景应用，对比架构优劣，并指明未来研究方向。
2024-03-12 cs.CV cs.LG
Optimization of DNN-based HSI Segmentation FPGA-based SoC for ADS: A Practical Approach
University of the Basque Country (UPV/EHU)（巴斯克大学）
本文针对自动驾驶系统中基于DNN的高光谱图像分割在FPGA SoC上的实时部署问题，提出软硬件协同优化方案，通过任务分配、硬件感知预处理、模型压缩和流水线部署，将运算量降至24.34%、参数量降至1.02%，实现2.86倍推理加速且精度无明显下降。
2025-07-22 cs.AI cs.AR cs.CV
A Survey of Advanced Computer Vision Techniques for Sports
Faculdade de Engenharia, Universidade do Porto（波尔图大学工程学院）；LIAAD - INESC TEC（LIAAD - 葡萄牙系统与计算机工程研究所）；FC Porto – Futebol SAD（波尔图足球俱乐部）
计算机视觉的发展使包括体育在内的许多领域都取得了重大进展。基于计算机视觉技术构建的许多应用程序，例如跟踪数据，现在对每个顶级分析师，教练甚至球员都至关重要。在本文中，我们调查计算机视觉技术，可以帮助许多体育相关的研究收集大量的数据，如目标检测和姿态估计。我们提供了这样的数据的一个用例：建立一个模型，拍摄速度估计与姿态数据，仅使用计算机视觉模型。我们的模型实现了67%的相关性。估计投篮速度的可能性使人们能够更深入地研究如何创建新的指标和推荐系统，以帮助运动员在任何运动中提高成绩。所提议的方法很容易在许多技术运动中推广，仅受视频数据可用性的限制。
2023-01-18 cs.CV cs.LG
Survey on Vision-based Path Prediction
Chubu University（中部大学）；Hiroshima University（广岛大学）
路径预测是估计行人或车辆在场景中如何移动的基本任务。由于作为计算机视觉的任务的路径预测使用视频作为输入，因此除了预测路径之外，还需要从视频估计用于预测的各种信息，诸如目标周围的环境和目标的内部状态。已经提出了许多包括理解环境和内部状态的预测方法。本文系统地总结了以视频为输入，从视频中提取特征的路径预测方法。此外，我们还介绍了用于定量评估路径预测方法的数据集。
2018-11-01 cs.CV cs.RO
A Chronological Survey of Theoretical Advancements in Generative Adversarial Networks for Computer Vision
TCS Research（塔塔咨询服务研究院）
本文针对现有GAN综述缺乏编年视角的问题，梳理计算机视觉领域GAN理论与应用的里程碑工作，展示其训练与应用挑战如何随时间被逐步解决。
2023-11-02 cs.CV eess.IV
Vision-and-Language Pretrained Models: A Survey
The University of Sydney（悉尼大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院）
预训练模型在计算机视觉（CV）和自然语言处理（NLP）领域都取得了巨大的成功。这一进展导致通过将视觉和语言内容馈送到多层Transformer，视觉语言预训练模型（VLPM）中来学习视觉和语言预训练的联合表示。在本文中，我们提出了一个概述的主要进展VLPMs产生联合表示的视觉和语言。作为本文的第二部分，我们简要描述了VLPMs的一般任务定义和遗传结构。本文首先讨论了语言和视觉数据的编码方法，然后介绍了作为核心内容的主流VLPM结构。我们进一步总结了几个基本的预训练和微调策略。最后，我们强调了CV和NLP研究人员未来的三个方向，以提供有见地的指导。
2022-05-03 cs.CL cs.CV
Survey of Computer Vision and Machine Learning in Gastrointestinal Endoscopy
本文试图为读者提供一个开始研究计算机视觉和机器学习在胃肠道（GI）内窥镜检查中的应用的地方。它们被分为18类。读者应该注意到，这是一个前深度学习时代的评论。许多基于深度学习的应用在本文中没有涉及。
2019-04-26 cs.CV eess.IV physics.med-ph
