Ask the Expert: Collaborative Inference for Vision Transformers with Near-Edge Accelerators
CEMSE Division, King Abdullah University of Science and Technology(卡塔尔科学与技术大学CEMSE分校)
本文提出一种协作推理框架,通过边缘设备和近边缘加速器协同工作,提升视觉变换器在边缘计算中的性能与效率。
2026-02-11 cs.CV cs.DC cs.LG
FlexViT: A Flexible FPGA-based Accelerator for Edge Vision Transformers
School of Computing Science, University of Glasgow(格拉斯哥大学计算机科学学院)
针对边缘视觉Transformer模型计算密集和架构异构的问题,提出FlexViT,一种基于SECDA-TFLite框架的可重构FPGA加速器,通过统一INT8 GEMM引擎、双模式数据流和深度优先分块策略实现高效推理。
2026-07-01 cs.AR cs.CV cs.DC
Origami: A 803 GOp/s/W Convolutional Network Accelerator
ETH Zurich(苏黎世联邦理工学院)
越来越多的计算机视觉和图像/视频处理挑战正在使用深度卷积神经网络来解决,从而在对象识别和检测、语义分割、动作识别、光流和超分辨率方面获得最先进的结果。这些算法的硬件加速对于在嵌入式和移动计算机视觉系统中采用这些改进是必不可少的。我们提出了一个新的架构,设计和实施,以及第一次报告的硅测量这样的加速器,优于以前的工作在功率,面积和I/O效率。所制造的器件在UMC 65 nm技术的3.09 mm^2硅上提供高达196 GOp/s的功率,并可实现803 GOp/s/W的功率效率。大幅降低的带宽要求使其成为首个可扩展到TOp/s性能的架构。
2016-01-19 cs.AI cs.CV cs.LG
BitFair: A 12-nm Bit-Serial CNN Accelerator with Learnable Early Termination and Adaptive Bit Ordering for Ultra-Low-Power XR Vision
Delft University of Technology(代尔夫特理工大学)
针对XR可穿戴设备低功耗、低延迟需求,提出BitFair比特串行CNN加速器,通过可学习早期终止和自适应比特排序,利用动态比特级稀疏性,实验表明其在准确率和能效上优于现有加速器。
2026-08-11 cs.AR cs.CV eess.IV
Hardware Accelerators in Autonomous Driving
Motional AD Inc(莫申AD公司);University of Limerick(利默里克大学)
本文综述了用于自动驾驶机器视觉的机器学习硬件加速器,分析其相对传统处理器的优势,并为该新兴领域的未来研究提供建议。
2023-08-11 cs.CV
FixyNN: Efficient Hardware for Mobile Computer Vision via Transfer Learning
Arm ML Research(安谋机器学习研究院);Arizona State University(亚利桑那州立大学)
基于最先进的卷积神经网络(CNN)图像分类的计算机视觉任务的计算需求远远超过移动设备的能量预算。本文提出了FixyNN,它包括一个固定权重的特征提取器,生成无处不在的CNN功能,和一个传统的可编程CNN加速器,处理特定于网络的CNN。FixyNN的图像分类模型通过迁移学习进行端到端训练,其中公共特征提取器表示迁移部分,并且可编程部分在目标数据集上学习。实验结果表明,FixyNN硬件可以实现非常高的能量效率高达26.6 TOPS/W($4.81 \times$优于等面积可编程加速器)。在一套六个数据集上,我们通过迁移学习训练模型,$<1\%$的准确性损失高达11.2 TOPS/W -几乎$2 \times$比相同区域的传统可编程CNN加速器更有效。
2019-02-27 cs.AR cs.CV cs.LG
Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization
Northeastern University(东北大学);Simon Fraser University(西蒙弗雷泽大学);University of California, Irvine(加州大学欧文分校);ETH Zurich(苏黎世联邦理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉Transformer(ViT)正在出现,在计算机视觉任务中具有显著提高的准确性。然而,其复杂的体系结构和巨大的计算/存储需求迫切需要新的硬件加速器的设计方法。这项工作提出了一个FPGA感知的自动ViT加速框架的基础上提出的混合方案量化。据我们所知,这是第一个基于FPGA的ViT加速框架,探索模型量化。与最先进的ViT量化工作(算法方法,只有没有硬件加速)相比,我们的量化实现了0.47%至1.36%的高的Top-1精度在相同的位宽。与32位浮点基线FPGA加速器相比,我们的加速器的帧速率提高了约5.6倍(即,56.8 FPS vs. 10.0 FPS),DeiT-base在ImageNet数据集上的准确率下降了0.71%。
2022-08-10 cs.CV cs.LG eess.IV
MiX: Micro-Inverted-Scaling for End-to-End Low-Bit Vision-Language Model Acceleration
Cornell Tech(康奈尔科技校区);Cornell University(康奈尔大学)
针对VLM边缘部署中微缩放崩溃问题,提出MiX格式反转微缩放范式,以共享尾数分组私有指数,配合MiX-MX框架,在4.5比特下精度不输NVFP4,面积效率提升25%,速度提升2.3-4.5倍。
2026-10-09 cs.AR cs.CV
VAQF: Fully Automatic Software-Hardware Co-Design Framework for Low-Bit Vision Transformer
Northeastern University(东北大学);University of California, Irvine(加州大学欧文分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
具有注意力机制的Transformer架构在自然语言处理(NLP)中获得了成功,并且视觉Transformer(ViTs)最近将应用领域扩展到各种视觉任务。在实现高性能的同时,ViT具有较大的模型大小和较高的计算复杂度,这阻碍了它们在边缘设备上的部署。为了在硬件上实现高吞吐量并同时保持模型精度,我们提出了VAQF,这是一个在FPGA平台上构建推理加速器的框架,用于具有二进制权重和低精度激活的量化ViT。给定模型结构和所需的帧速率,VAQF将自动输出激活所需的量化精度以及满足硬件要求的加速器的优化参数设置。在Xilinx ZCU 102 FPGA板上采用Vivado高级合成(HLS)实现,DeiT-base模型的评估结果表明,8位激活量化满足24帧/秒(FPS)的帧速率要求,6位激活量化满足30 FPS的目标。据我们所知,这是首次在全自动框架的帮助下将量化纳入FPGA上的ViT加速,以指导软件端的量化策略和硬件端的加速器实现,给定目标帧速率。与量化训练相比,编译时间成本非常小,生成的加速器显示出在FPGA上实现最先进的ViT模型实时执行的能力。
2022-02-18 cs.CV cs.LG
ConvShareViT: Enhancing Vision Transformers with Convolutional Attention Mechanisms for Free-Space Optical Accelerators
School of Science and Technology, City St. George’s, University of London(伦敦城市圣乔治大学科学与技术学院);Institute of Cancer Research(癌症研究所)
本文提出ConvShareViT架构,通过将ViT的MHSA和MLP线性层替换为通道共享权重的深度卷积层适配4f自由空间光学系统,分析卷积在注意力学习中的作用,实验验证有效填充配置可获与标准ViT相当的注意力分数,理论推理速度比GPU快3.04倍。
2025-04-15 cs.CV eess.IV
M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design
University of Texas at Austin(德克萨斯大学奥斯汀分校);Georgia Institute of Technology(佐治亚理工学院);Texas A&M University(德克萨斯农工大学);Protagolabs Inc(Protagolabs公司);Microsoft Research(微软研究院)
多任务学习(MTL)将多个学习到的任务封装在一个模型中,通常让这些任务更好地联合学习。然而,当将MTL部署到那些通常资源受限或延迟敏感的现实世界系统时,出现了两个突出的挑战:(i)在训练期间,由于任务之间的梯度冲突,同时优化所有任务通常是困难的;(ii)在推理时,当前的MTL机制必须激活几乎整个模型,甚至只是执行单个任务。然而,大多数真实系统在每个时刻只需要一个或两个任务,并根据需要在任务之间切换:因此,这种所有任务激活的推理也是非常低效和不可扩展的。在本文中,我们提出了一个模型加速器协同设计框架,使有效的设备上MTL。我们的框架被称为M $^3$ ViT,将混合专家模型(MoE)层定制为MTL的视觉Transformer(ViT)骨干,并在训练期间稀疏地激活特定于任务的专家。然后,在对任何感兴趣的任务进行推理时,相同的设计允许仅激活任务对应的稀疏专家路径,而不是完整的模型。我们的新模型设计进一步增强了硬件级的创新,特别是,一种新的计算重排序方案量身定制的内存受限的MTL,实现零开销任务之间的切换,并可以扩展到任何数量的专家。当执行单任务推理时,M $^{3}$ ViT比以编码器为中心的MTL方法实现了更高的准确性,同时显著降低了88%的推理FLOPs。当在一个Xilinx ZCU 104 FPGA的硬件平台上实现时,我们的协同设计框架将内存需求降低了2.4倍,同时实现了比可比FP…
2022-10-26 cs.CV
ELSA: Exploiting Layer-wise N:M Sparsity for Vision Transformer Acceleration
National Yang Ming Chiao Tung University(国立阳明交通大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对视觉Transformer逐层定制N:M稀疏配置方法匮乏的问题,提出ELSA方法,兼顾加速器支持的稀疏等级与吞吐量,以极小精度损失实现ViT的内存与推理效率提升,在ImageNet上使Swin-B、DeiT-B的FLOPs降低2.9倍。
2024-09-15 cs.CV cs.LG
SqueezeJet: High-level Synthesis Accelerator Design for Deep Convolutional Neural Networks
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
深度卷积神经网络通过在诸如对象识别和目标检测之类的计算机视觉问题中提供准确得多的解决方案,已经主导了模式识别场景。这些解决方案中的大多数都需要巨大的计算成本,需要数十亿次乘法累加运算,因此,在嵌入式移动(资源-功率受限)硬件上运行的实时应用中使用它们非常具有挑战性。这项工作提出了架构,高层次的综合设计,并实现SqueezeJet,一个FPGA加速器的推理阶段的SqueezeNet DCNN架构,这是专门设计用于嵌入式系统。结果表明,与运行在嵌入式移动处理器上的SqueezeNet软件实现相比,SqueezeJet可以实现15.16倍的速度提升,而前5名的精度下降不到1%。
2018-05-06 cs.AR cs.CV
Ternary-Input Binary-Weight CNN Accelerator Design for Miniature Object Classification System with Query-Driven Spatial DVS
本文提出了一种三输入二权值CNN加速器,用于微型物体分类系统中的查询驱动空间DVS,通过减少计算和内存需求,实现了更高的能效比。
2025-11-28 cs.AR cs.CV eess.IV
Accelerator-Aware Pruning for Convolutional Neural Networks
Korea University of Technology and Education(韩国技术教育大学)
卷积神经网络在计算机视觉任务中表现出了巨大的性能能力,但其过多的权重存储和算术运算使其无法在嵌入式环境中被采用。其中一个解决方案涉及修剪,其中某些不重要的权重被强制为零。已经提出了许多修剪方案,但这些方案主要集中在修剪权重的数量上。以前的修剪方案很少考虑ASIC或FPGA加速器架构。当这些修剪过的网络在加速器上运行时,缺乏对架构的考虑会导致一些效率低下的问题,包括内部缓冲区不对齐和负载不平衡。本文提出了一种新的修剪方案,反映加速器架构。在所提出的方案中,执行修剪,使得相同数量的权重保持对应于同时获取的激活的每个权重组。通过这种方式,修剪方案解决了效率低下的问题,使加速器性能加倍。即使有这种约束,所提出的修剪方案也达到了与以前的无约束修剪方案相似的修剪率,不仅在AlexNet和VGG16上,而且在最先进的非常深的网络(如ResNet)上。此外,所提出的方案在紧凑网络(如MobileNet)和已经以信道方式修剪的精简网络上表现出相当的修剪率。除了提高以前的稀疏加速器的效率之外,还将表明所提出的修剪方案可以用于降低稀疏加速器的逻辑复杂度。修剪的模型可以在https://github.com/HyeongjuKang/accelerator-aware-pruning上公开获得。
2020-09-05 cs.CV cs.NE
Eventor: An Efficient Event-Based Monocular Multi-View Stereo Accelerator on FPGA Platform
Beihang University(北京航空航天大学);Xidian University(西安电子科技大学);Beijing Real Imaging Medical Technology Co., Ltd.(北京真实影像医疗科技有限公司);The Chinese University of Hong Kong(香港中文大学)
事件摄像机是生物启发的视觉传感器,它异步地将像素级亮度变化表示为事件流。基于事件的单目多视图立体视觉(EMVS)是一种利用事件流来估计具有已知轨迹的半密集3D结构的技术。这是基于事件的单目SLAM的关键任务。然而,所需的密集的计算工作量使得它具有挑战性的实时部署在嵌入式平台上。在本文中,Eventor被提出作为一个快速和有效的EMVS加速器,通过实现最关键和最耗时的阶段,包括事件反投影和体积射线计数在FPGA上。通过FPGA专门设计了高度可扩展和完全流水线的处理单元,并将其与嵌入式ARM集成为异构系统,以提高吞吐量并减少内存占用。同时,通过重新调度、近似计算和混合数据量化等方法,对EMVS算法进行了改进。在DAVIS数据集上的评估结果表明,Eventor与Intel i5 CPU平台相比,在能效方面实现了高达$24\times$的提升。
2022-06-07 cs.AR cs.CV
ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention
Rice University(莱斯大学);Georgia Institute of Technology(佐治亚理工学院);Nanjing University(南京大学)
视觉Transformer(ViT)已成为各种计算机视觉应用中卷积神经网络的竞争替代方案。具体来说,ViT多头注意力层使得在整个图像中全局嵌入信息成为可能。然而,计算和存储这样的注意力矩阵会导致二次成本依赖于补丁的数量,限制了其可实现的效率和可扩展性,并禁止在资源受限的设备上更广泛的现实世界的ViT应用。稀疏注意力已被证明是提高NLP模型硬件加速效率的一个有前途的方向。然而,一个系统的对应方法仍然缺乏加速ViT模型。为了缩小上述差距,我们提出了一个首创的算法硬件协同设计框架,称为ViTALiTy,用于提高ViTs的推理效率。与NLP的基于稀疏性的Transformer加速器不同,ViTALiTy统一了ViTs中注意力的低秩和稀疏成分。在算法层面,我们通过一阶Taylor注意力近似点积softmax操作,行均值中心作为低秩分量,以线性化注意力块的成本,并通过结合基于稀疏的正则化进一步提高准确性。在硬件层面,我们开发了一个专用的加速器,以更好地利用ViTALiTy的线性泰勒注意力产生的工作负载和流水线,该注意力只需要执行低秩组件,以进一步提高硬件效率。广泛的实验和消融研究证实,ViTALiTy提供了提高的端到端效率(例如,$3\times$更快,$3\times$更节能)。
2022-11-09 cs.AR cs.CV cs.LG
Hardware Architecture of Embedded Inference Accelerator and Analysis of Algorithms for Depthwise and Large-Kernel Convolutions
Canon Inc.(佳能公司);Canon Information Technology (Beijing) Co., Ltd. (CIB)(佳能信息技术(北京)有限公司)
为了有效地处理现代卷积神经网络(CNN),提出了一种CNN推理加速器的硬件架构,以处理深度卷积和正则卷积,这两者都是嵌入式计算机视觉算法的基本构建块。与相关工作不同的是,所提出的架构可以支持不同大小的过滤器内核具有很高的灵活性,因为它不需要额外的成本内核内并行,它可以生成卷积结果比相关工作的架构更快。实验结果表明,所提出的硬件架构支持dependent卷积和扩张卷积的重要性。除了大核的深度卷积,本文还分析了一种新的DDC层结构,它包括深度卷积和扩张卷积的组合。对于人脸检测,当DDC层应用于网络时,计算成本减少了30%,模型大小减少了20%。对于图像分类,通过简单地将$3 \times 3$滤波器替换为深度卷积中的$5 \times 5$滤波器,精度提高了1%。
2021-04-29 cs.AR cs.CV eess.IV
Comparative Analysis of Polynomial and Rational Approximations of Hyperbolic Tangent Function for VLSI Implementation
NXP Semiconductors(恩智浦半导体)
深度神经网络在许多计算机视觉和人机界面应用中产生了最先进的结果,例如目标检测,语音识别等。由于这些网络在计算上是昂贵的,因此定制的加速器被设计用于以较低的成本和功耗实现所需的性能。这些神经网络的关键构建块之一是非线性激活函数,例如sigmoid、双曲正切(tanh)和ReLU。需要激活函数的低复杂度精确硬件实现以满足神经网络加速器的性能和面积目标。尽管已经发表了各种tanh激活函数的方法和实现,但是缺少比较研究。本文对多项式法和有理法进行了比较分析,并给出了它们的硬件实现。
2020-09-24 cs.AR cs.CV
EVA$^2$: Exploiting Temporal Redundancy in Live Computer Vision
Cornell University(康奈尔大学);Arizona State University(亚利桑那州立大学)
深度卷积神经网络(CNN)的硬件支持对于移动和嵌入式设备中的高级计算机视觉至关重要。然而,目前的设计加速了通用CNN;它们没有利用实时视觉的独特特性。我们建议使用自然视频中的时间冗余,以避免对大多数帧不必要的计算。一种新的算法,激活运动补偿,检测视觉输入的变化,并逐步更新先前计算的输出。该技术从视频压缩中获得灵感,并应用众所周知的运动估计技术来适应视觉变化。我们使用一个自适应的关键帧速率来控制输入变化时效率和视觉质量之间的权衡。我们在硬件中实现该技术作为对现有最先进的CNN加速器设计的扩展。对于三个CNN,新单元将每帧的平均能量降低了54.2%,61.7%和87.6%,视觉准确性损失不到1%。
2018-04-17 cs.CV eess.IV
Software-Defined FPGA Accelerator Design for Mobile Deep Learning Applications
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
最近,深度学习领域受到了科学界的极大关注,它被用来为许多计算机视觉问题提供改进的解决方案。卷积神经网络(CNN)已经成功地用于攻击诸如对象识别、目标检测、语义分割和场景理解之类的问题。深度学习的快速发展与GPU的适应性密切相关,以加速其过程,例如网络训练和推理。尽管FPGA设计早在GPU用于加速计算之前就存在了,尽管高级综合(HLS)工具越来越有吸引力,但由于硬件设计相关专业知识的要求,FPGA对深度学习研究和应用开发的适应性很差。这项工作提出了一个工作流程,深度学习移动应用加速小型低成本低功耗FPGA设备使用HLS工具。这个工作流程简化了SqueezeJet加速器的改进版本的设计,用于加速移动友好的低参数ImageNet类CNN,例如SqueezeNet v1.1和ZynqNet。此外,工作流程包括开发一个HLS驱动的分析模型,用于加速器的性能估计。该模型还可以用于指导设计过程,并导致未来的设计改进和优化。
2019-03-24 cs.CV cs.LG
Hardware-aware mobile building block evaluation for computer vision
Ghent University(根特大学);imec(比利时微电子研究中心);KU Leuven(荷语鲁汶大学)
在这项工作中,我们提出了一种方法来准确地评估和比较高效的神经网络构建块的性能计算机视觉在硬件感知的方式。我们的比较使用基于设计空间随机抽样网络的帕累托前沿,以捕获潜在的准确性/复杂性权衡。我们表明,我们的方法可以匹配以前的比较范例所获得的信息,但提供了更多的见解,在硬件成本和精度之间的关系。我们使用我们的方法来分析不同的构建块,并评估其在一系列嵌入式硬件平台上的性能。这突出了基准构建块作为神经网络设计过程中预选步骤的重要性。我们表明,选择正确的构建块可以在特定硬件ML加速器上将推理速度提高2倍。
2022-08-26 cs.CV
Hardware Implementation of Hyperbolic Tangent Function using Catmull-Rom Spline Interpolation
NXP Semiconductors India(恩智浦半导体印度公司)
深度神经网络在许多计算机视觉和人机界面任务中产生了最先进的结果,例如对象识别、语音识别等。由于这些网络在计算上是昂贵的,因此定制的加速器被设计用于以较低的成本和功率实现所需的性能。这些神经网络的关键构建块之一是非线性激活函数,例如sigmoid、双曲正切(tanh)和ReLU。需要激活函数的低复杂度精确硬件实现以满足神经网络加速器的性能和面积目标。本文提出了一种用Catmull-Rom样条插值实现双曲正切函数的方法。使用这种方法以相对较小的逻辑面积实现了最先进的结果。
2020-07-13 cs.AR cs.CV
ISyNet: Convolutional Neural Networks design for AI accelerator
Huawei Technologies Co., Ltd(华为技术有限公司);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
近年来,深度学习在许多实际问题上取得了重大成果,例如计算机视觉,自然语言处理,语音识别等。多年来,研究的主要目标是提高模型的质量,即使复杂性高得不切实际。然而,对于通常需要实时工作的生产解决方案,模型的延迟起着非常重要的作用。当前最先进的架构是通过考虑模型复杂性的神经架构搜索(NAS)找到的。然而,设计适合于特定硬件的搜索空间仍然是一个具有挑战性的任务。为了解决这个问题,我们提出了一个衡量神经架构的硬件效率的搜索空间-矩阵效率度量(MEM);一个搜索空间,包括硬件有效的操作;延迟感知缩放方法;和ISyNet -一组架构,旨在快速的专用神经处理单元(NPU)硬件和准确的同时。我们展示了ImageNet上NPU设备设计架构的优势以及下游分类和检测任务的泛化能力。
2022-08-18 cs.CV
Hyperdrive: A Multi-Chip Systolically Scalable Binary-Weight CNN Inference Engine
ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
深度神经网络在计算机视觉和机器学习方面取得了令人印象深刻的成果。不幸的是,最先进的网络是非常计算和内存密集型的,这使得它们不适合物联网终端节点等兆瓦设备。这些网络的积极量化大大减少了计算和内存占用。二进制权重神经网络(BWN)遵循这一趋势,将权重量化推向极限。到目前为止,针对BWN的硬件加速器一直专注于核心效率,而忽略了I/O带宽和系统级效率,这对于在超低功耗设备中部署加速器至关重要。我们介绍Hyperdrive:BWN加速器利用新颖的二进制权重流方法显著降低I/O带宽,该方法可用于任意大小的卷积神经网络架构和输入分辨率,方法是通过将Hyperdrive芯片系统地布置在2D网格中,同时并行处理整个特征图,从而利用芯片级和系统级计算单元的自然可扩展性。Hyperdrive实现了4.3 TOp/s/W的系统级效率(即,包括I/O)--比最先进的BWN加速器高3.1倍,即使其核心使用资源密集型FP 16算法来提高鲁棒性。
2019-03-14 cs.AR cs.CV cs.DC
YodaNN: An Architecture for Ultra-Low Power Binary-Weight CNN Acceleration
ETH Zürich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
卷积神经网络(CNN)在过去几年中彻底改变了计算机视觉世界,使图像分类超越了人类的准确性。当今CNN的计算工作需要耗电的并行处理器或GP-GPU。用于片上系统集成的CNN加速器的最新发展显著降低了能耗。不幸的是,即使是这些高度优化的设备也超出了移动和深度嵌入式应用所施加的功率范围,并面临CNN权重I/O和存储所造成的严格限制。这阻止了CNN在未来的超低功耗物联网端节点中用于近传感器分析。最近的算法和理论进步使得即使在训练期间将CNN限制为二进制(+1/-1)权重时,也能够实现具有竞争力的分类准确性。这些新发现通过消除对昂贵乘法的需求以及减少I/O带宽和存储,为算术核心带来了重大优化机会。在这项工作中,我们提出了一种针对二进制权重CNN优化的加速器,该加速器在1.2 V下实现1510 GOp/s,核心面积仅为1.33 MGE(百万门等效)或0.19 mm $^2$,采用UMC 65 nm技术,0.6 V时功耗为895 μW。我们的加速器性能显著优于最先进的在能量和面积效率方面,分别达到61.2 TOp/s/W@0.6 V和1135 GOp/s/MGE@1.2 V。
2017-02-24 cs.AR cs.CV cs.NE
A neuromorphic approach to image processing and machine vision
Birla Institute of Technology & Science (BITS) Pilani(比拉理工学院(BITS)皮拉尼分校)
神经形态工程本质上是人工系统的发展,例如采用生物神经系统中发现的信息表示的电子模拟电路。尽管计算机比人脑更快、更准确,但在识别能力方面却落后于人脑。然而,可以预见,与计算机视觉和图像处理领域有关的神经形态学的进步将在计算机解释和分析信息的方式上提供相当大的改进。在本文中,我们探讨了视觉任务,如图像分割,视觉注意和对象识别的实现。此外,各向异性扩散的概念已被检查,其次是一种新的方法,采用忆阻器执行图像分割。此外,我们还讨论了神经形态视觉传感器在人工视觉系统中的作用,以及为了实现信号的异步传输而涉及的协议。此外,还讨论了两种被广泛接受的用于模拟物体识别和视觉注意过程的算法。在本文的整个跨度,我们一直强调就业的非易失性存储器件,如忆阻器,实现人工视觉系统。最后,我们讨论了硬件加速器,并希望代表一个恰当的例子,认为计算机视觉的进步可能直接受益于非易失性存储器技术的进步。
2022-08-07 cs.AI cs.CV cs.NE
LAPA: Log-Domain Prediction-Driven Dynamic Sparsity Accelerator for Transformer Model
School of Integrated Circuits Tsinghua University Beijing, China(集成电路学院清华大学北京中国);School of Integrated Circuits Tsinghua University Beijing, China Shanghai Artificial Intelligence Laboratory Shanghai, China(集成电路学院清华大学北京中国上海人工智能实验室上海中国)
LAPA通过设计不对称领先一计算方案和混合精度多轮位移累积机制,提升Transformer模型的计算效率和能效。
2025-11-26 cs.CV cs.LG
Binary Neural Networks as a general-propose compute paradigm for on-device computer vision
DJI Innovations Inc(大疆创新科技有限公司);School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院)
为了使二进制神经网络(BNN)成为主流的设备上计算机视觉算法,它们必须实现比8位量化更好的速度与精度权衡,并在视觉任务中建立类似程度的普遍适用性。为此,我们提出了一个BNN框架,包括1)一个最小化的推理方案,硬件友好,2)一个过参数化的训练方案,高精度,和3)一个简单的程序,以适应不同的视觉任务。由此产生的框架在分类、检测、分割、超分辨率和匹配的速度与准确度之间的权衡中超越了8位量化:我们的BNN不仅保留了其8位基线的准确度水平,而且在移动CPU上展示了1.3-2.4 $\times$更快的FPS。对于基于原型收缩阵列的AI加速器也可以得出类似的结论,其中我们的BNN承诺比8位少2.8-7 $\times$的执行周期,比替代BNN设计少2.1-2.7 $\times$的周期。这些结果表明,大规模采用BNN的时间可能就在我们身边。
2022-02-08 cs.CV
LL-ViT: Edge Deployable Vision Transformers with Look Up Table Neurons
Department of Electrical and Computer Engineering, The University of Texas at Austin(电气与计算机工程系,德克萨斯大学奥斯汀分校);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Federal University of Rio de Janeiro(里约热内卢联邦大学);Instituto de Telecomunicações(电信研究所)
LL-ViT通过集成LUT神经元设计,优化视觉变换器在边缘设备上的部署,实现模型压缩和高效推理。
2025-11-02 cs.CV cs.LG
Latency and Throughput Characterization of Convolutional Neural Networks for Mobile Computer Vision
Aalto University(阿尔托大学)
研究了卷积神经网络(CNN)在移动计算机视觉系统中的性能特点。CNN已被证明是实现此类系统的强大而有效的方法。然而,系统的性能在很大程度上取决于硬件加速器的利用率,硬件加速器能够通过大规模并行来极大地加速底层数学运算的执行。我们的贡献是使用本地(设备上)和远程(网络端服务器)计算,使用几种不同的硬件平台和软件框架对多个基于CNN的对象识别和检测模型进行性能表征。测量是使用真实的工作负载和真实的处理平台进行的。在平台方面,我们特别关注TensorFlow和TensorRT。我们的测量包括移动设备上的嵌入式处理器和可用于移动系统网络侧的高性能处理器。我们发现,存在显着的延迟-吞吐量权衡,但行为是非常复杂的。我们展示和讨论了影响性能和产生这种复杂行为的几个因素。
2018-03-26 cs.CV
Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs
Google(谷歌)
设备上的ML加速器正在成为现代移动片上系统(SoC)的标准。神经架构搜索(NAS)可以有效地利用这些加速器提供的高计算吞吐量。然而,现有的NAS框架在扩展到多个任务和不同的目标平台方面有几个实际的限制。在这项工作中,我们提供了一个双管齐下的方法来应对这一挑战:(i)NAS使能基础设施,其将模型成本评估、搜索空间设计和NAS算法结合在一起,以快速针对各种设备上的ML任务,以及(ii)从基于组卷积的反向瓶颈(IBN)变体制作的搜索空间,其在ML加速器上提供灵活的质量/性能权衡,补充了现有的基于全卷积和去卷积的IBN。使用这种方法,我们针对最先进的移动平台Google Tensor SoC,并展示了神经架构,可以提高各种计算机视觉(分类,检测,分割)以及自然语言处理任务的质量性能帕累托边界。
2022-04-09 cs.CV cs.DC cs.LG
Ristretto: Hardware-Oriented Approximation of Convolutional Neural Networks
Bern University of Applied Sciences(伯尔尼应用科学大学);University of California Davis(加州大学戴维斯分校)
卷积神经网络(CNN)近年来取得了重大突破。他们在计算机视觉方面的表现已经达到甚至超过了人类的能力。深度神经网络可以捕获复杂的非线性特征;然而,这种能力是以高计算和内存需求为代价的。最先进的网络需要数十亿次算术运算和数百万个参数。为了使智能手机、谷歌眼镜和监控摄像头等嵌入式设备具备深度学习的惊人功能,可以使用专用硬件加速器来减少执行时间和功耗。在无法保证快速连接到云或隐私很重要的应用程序中,计算需要在本地完成。最近提出了许多用于深度神经网络的硬件加速器。加速器设计的第一个重要步骤是深度网络的面向硬件的近似,这可以实现节能推理。我们提出了Ristretto,一个快速和自动化的框架CNN近似。Ristretto模拟自定义硬件加速器的硬件算法。该框架减少了网络参数的位宽和资源密集型层的输出,从而显著减少了乘法单元的芯片面积。或者,Ristretto可以完全消除对乘法器的需求,从而产生仅加法器的算术。该工具微调修剪网络,以实现高分类精度。由于深度神经网络的训练可能非常耗时,Ristretto使用在GPU上运行的高度优化的例程。这可以快速压缩任何给定的网络。给定1%的最大容差,Ristretto可以成功地将CaffeNet和SqueezeNet压缩到8位。Ristretto的代码可用。
2016-05-20 cs.CV cs.LG cs.NE
Deep Learning on Edge TPUs
Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
边缘计算在远程环境中很重要,然而,传统硬件并未针对利用深度神经网络进行优化。Google Edge TPU是一种新兴的硬件加速器,具有成本,功耗和速度效率,可用于原型设计和生产目的。在这里,我回顾了Edge TPU平台,使用Edge TPU完成的任务,以及将模型部署到Edge TPU硬件所需的步骤。Edge TPU不仅能够处理常见的计算机视觉任务,而且还超越了其他硬件加速器,特别是当整个模型都可以部署到Edge TPU时。将Edge TPU共同嵌入到相机中可以无缝分析原始数据。总之,Edge TPU是一个成熟的系统,已经证明了它在多个任务中的可用性。
2022-10-28 cs.CV cs.LG
SemifreddoNets: Partially Frozen Neural Networks for Efficient Computer Vision Systems
Intel Corporation(英特尔公司)
我们提出了一个系统,由固定拓扑结构的神经网络部分冻结的权重,命名为SemifreddoNets。SemifreddoNet作为完全流水线的硬件块工作,这些硬件块经过优化以具有高效的硬件实现。这些块冻结每一层的某一部分参数,并用固定的缩放器替换相应的乘法器。固定权重可减少硅面积、逻辑延迟和存储器要求,从而显著节省成本和功耗。与传统的逐层冻结方法不同,SemifreddoNets通过在模型中的不同尺度和抽象级别上配置一些权重,在成本和灵活性之间进行了有利可图的交易。虽然固定的拓扑结构和一些权重在一定程度上限制了灵活性,但我们认为,这种策略的效率优势超过了许多用例中完全可配置模型的优势。此外,我们的系统使用可重复的块,因此它可以灵活地调整模型复杂性,而无需任何硬件更改。与通用加速器上的等效实现相比,SemifreddoNets的硬件实现在硅面积和功耗方面提供了高达一个数量级的减少。
2020-06-12 cs.CV cs.LG
vAccSOL: Efficient and Transparent AI Vision Offloading for Mobile Robots
University Carlos III of Madrid(卡洛斯三世大学);Nubificus Ltd(Nubificus有限公司)
本文提出vAccSOL框架,通过SOL神经网络编译器和vAccel执行框架实现AI视觉任务的高效透明执行,减少能耗并提升执行效率。
2026-03-17 cs.CV cs.RO
TinyTracker: Ultra-Fast and Ultra-Low-Power Edge Vision In-Sensor for Gaze Estimation
本研究利用Sony IMX500传感器内AI平台,提出了用于2D视线估计的高效全量化模型TinyTracker,实现了19ms端到端超低延迟和4.9mJ超低能耗,在精度几乎无损下体积缩减41倍,显著优于其他边缘平台。
2023-11-20 cs.CV cs.RO
CPUBone: Efficient Vision Backbone Design for Devices with Low Parallelization Capabilities
University of Udine, Italy(意大利乌迪内大学);York University, Canada(加拿大约克大学)
本文提出CPUBone,一种针对CPU推理优化的视觉骨干网络,通过改进卷积操作降低计算成本,实现高效的Speed-Accuracy Trade-offs。
2026-03-30 cs.AI cs.CV
SYENet: A Simple Yet Effective Network for Multiple Low-Level Vision Tasks with Real-time Performance on Mobile Device
State Key Laboratory of Mobile Network and Mobile Multimedia Technology(移动网络与移动多媒体技术国家重点实验室);Sanechips Technology(晟芯科技)
本文提出仅约6K参数的双分支实时网络SYENet,通过QCU和Outlier-Aware Loss统一处理ISP、LLE与SR,在移动SoC上达到2K60FPS并取得竞赛最佳成绩。
2023-08-16 cs.AI cs.CV