A Time-Encoded Analog Photonic Interposer for Energy-EfficientIntegration of Analog Vision Sensors and Analog Accelerators
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Case Western Reserve University(凯斯西储大学)
本研究提出时间编码模拟光子中介层,通过ATC转换模拟信号为时间间隔传输,实现模拟视觉传感器与加速器的高能效集成,在VWW数据集上EDP提升2.04倍,泛化性能优异。
2026-09-04 cs.AR
Neuro-Photonix: Enabling Near-Sensor Neuro-Symbolic AI Computing on Silicon Photonics Substrate
本研究提出首款面向视觉应用的近传感器神经符号AI计算加速器Neuro-Photonix,基于硅光子衬底实现,通过光子器件、低成本ADC及超维向量支持,在保持精度的同时大幅降低IoT场景的计算功耗与延迟。
2024-12-13 cs.AR
ColibriES: A Milliwatts RISC-V Based Embedded System Leveraging Neuromorphic and Neural Networks Hardware Accelerators for Low-Latency Closed-loop Control Applications
端到端基于事件的计算有可能推动边缘AI应用程序的延迟和能效。不幸的是,基于事件的传感器(例如,DVS相机)和基于神经形态尖峰的处理器(例如,Loihi)都是以解耦的方式设计的,因此错过了主要的精简机会。本文介绍了ColibriES,有史以来第一个神经形态硬件嵌入式系统平台,具有专用的事件传感器接口和完整的处理管道。ColibriES包括事件和帧接口以及数据处理,旨在边缘场景中的高效和长寿命嵌入式系统。ColibriES基于Kraken片上系统,包含异构并行超低功耗(PULP)处理器、基于帧和基于事件的摄像机接口以及两个硬件加速器,用于计算基于事件的脉冲神经网络和基于帧的三元卷积神经网络。本文以ColibriES上的手势识别为例,探索并准确评估事件数据处理的性能,作为全系统评估的第一步。在我们的实验中,我们展示了7.7 \si{\milli\joule}的芯片能耗和每个推理的164.5 \si{\milli\second}延迟,以DVS手势事件数据集为例进行闭环数据处理,展示了ColibriES在电池供电的应用中的潜力,例如需要低延迟闭环控制的可穿戴设备和无人机。
2023-02-15 cs.AR
Energy Efficient LSTM Accelerators for Embedded FPGAs through Parameterised Architecture Design
University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文提出一种面向嵌入式FPGA的参数化LSTM加速器设计,通过优化资源受限环境下的执行速度和能耗,支持通过DSP使用和激活函数实现等参数适应不同场景。
2026-04-21 cs.AR
Performance Analysis of Edge and In-Sensor AI Processors: A Comparative Review
本文比较了边缘和在传感器AI处理器的性能,评估了不同架构在低功耗和延迟敏感任务中的表现,突显了在传感器计算的优势和挑战。
2026-02-18 cs.AR cs.CV cs.LG
Opto-ViT-v2: Noise-Resilient On-Chip Fine-Tuning for Photonic Near-Sensor Vision Transformer Accelerators
Case Western Reserve University(凯斯西储大学);New Jersey Institute of Technology(新泽西理工学院);Colorado State University(科罗拉多州立大学)
研究针对硅光子加速器支持片上微调的挑战,提出Opto-ViT-v2框架。采用张量低秩分解和梯度累积稀疏分类器,开发噪声模型。实验表明其在光子噪声下能恢复精度,实现高功率效率,达成片上域适应。
2026-07-23 cs.AI cs.AR
Ternary-Input Binary-Weight CNN Accelerator Design for Miniature Object Classification System with Query-Driven Spatial DVS
本文提出了一种三输入二权值CNN加速器,用于微型物体分类系统中的查询驱动空间DVS,通过减少计算和内存需求,实现了更高的能效比。
2025-11-28 cs.AR cs.CV eess.IV
A Near Sensor Edge Computing System for Point Cloud Semantic Segmentation
Worcester Polytechnic Institute(伍斯特理工学院)
点云语义分割因其对光照条件的鲁棒性而受到关注。这使其成为自动驾驶的理想语义解决方案。然而,考虑到神经网络的大计算负担和带宽需求,将所有的计算都放在车辆电子控制单元(ECU)中是不有效的和不切实际的。提出了一种基于范围视图的轻量化点云语义分割网络。由于其简单的预处理和标准卷积,它在DPU等深度学习加速器上运行时非常高效。此外,近传感器计算系统是建立自动驾驶汽车。在该系统中,基于FPGA的深度学习加速器核心(DPU)被放置在LiDAR传感器旁边,以执行点云预处理和分割神经网络。通过将后处理步骤留给ECU,该解决方案大大减轻了ECU的计算负担,从而缩短了决策和车辆反应延迟。我们的语义分割网络在Xilinx DPU上实现了每秒10帧(fps)的计算效率为42.5 GOP/W。
2022-07-12 cs.AR cs.CV
Kraken: A Direct Event/Frame-Based Multi-sensor Fusion SoC for Ultra-Efficient Visual Processing in Nano-UAVs
小型无人机(UAV)有可能在关键基础设施维护和灾后搜救等应用中大幅提高安全性并降低成本。许多场景要求无人机缩小到纳米和微微尺寸的形状因子。在纳米无人机上实现真正自主的关键挑战是在严格的有效载荷和功率限制下,以高速和鲁棒性完全在机载运行复杂的视觉任务,如目标检测、跟踪、导航和避障。通过采用22 nm FDX技术制造的Kraken SoC,我们展示了利用基于事件和BW/RGB成像器的多视觉传感器能力,将其输出结合起来,用于多功能视觉任务,这在以前是不可能的。Kraken是一种超低功耗、异构SoC架构,集成了三个加速引擎和大量外设,可与标准的基于帧的传感器和新型的基于事件的DVS实现高效接口。Kraken在专用的神经形态能量比例加速器上实现了高度稀疏的事件驱动的sub-uJ/inf SNN推理。此外,它可以通过将具有混合精度DNN扩展的1.8 TOp \s \W 8核RISC-V处理器集群与1036 TOp \s \W } TNN加速器相结合来执行基于帧的推理。
2022-08-18 cs.AR eess.SP
A PVT-Resilient Subthreshold SRAM-Based In-Memory Computing Accelerator with In-Situ Regulation for Energy-Efficient Spiking Neural Networks
Institute of Electronics, National Yang Ming Chiao Tung University(国立阳明交通大学电子研究所)
本文提出一种子阈值 SRAM 基内存计算加速器,通过在 situ 电流传感器和分布式电压调节器,实现高能效的脉冲神经网络处理,提升能效和抗变异性。
2026-05-01 cs.AR
Hardware Implementation of Deep Network Accelerators Towards Healthcare and Biomedical Applications
James Cook University(詹姆斯库克大学);The University of Michigan(密歇根大学);ETH Zurich(苏黎世联邦理工学院);Universidad de Sevilla(塞维利亚大学)
专用深度学习(DL)加速器和神经形态处理器的出现为将深度和脉冲神经网络(SNN)算法应用于边缘的医疗保健和生物医学应用带来了新的机会。这可以促进医疗物联网(IoT)系统和护理点(IoT)设备的发展。在本文中,我们提供了一个教程,描述了各种技术,包括新兴的忆阻器件,现场可编程门阵列(FPGA),互补金属氧化物半导体(CMOS)可以用来开发高效的DL加速器,以解决各种各样的诊断,模式识别,和信号处理问题的医疗保健。此外,我们探讨如何尖峰神经形态处理器可以补充他们的DL同行处理生物医学信号。该教程是增加了大量的文献案例研究神经网络和神经形态硬件应用于医疗保健领域。我们通过执行将肌电图(EMG)信号与计算机视觉相结合的传感器融合信号处理任务,对各种硬件平台进行基准测试。在推理延迟和能量方面,对专用神经形态处理器和嵌入式AI加速器进行了比较。最后,我们提供了我们对该领域的分析,并分享了各种加速器和神经形态处理器引入医疗保健和生物医学领域的优势,劣势,挑战和机遇的观点。
2021-04-28 cs.AR cs.LG eess.SP
Machine Learning In-Sensors: Computation-enabled Intelligent Sensors For Next Generation of IoT
本文评估意法半导体新一代智能传感器的传感器内机器学习能力,通过对比全精度与二进制神经网络在加速度计活动识别中的表现,证明其推理性能可比肩Cortex-M4微控制器且能耗极低。
2024-07-31 cs.AR cs.SY eess.SP
Co-design of a novel CMOS highly parallel, low-power, multi-chip neural network accelerator
Green Mountain Semiconductor Inc.(绿山半导体公司);Non-Von LLC(Non-Von有限责任公司);Dartmouth College(达特茅斯学院)
本文提出NV-1低功耗ASIC AI处理器,采用非冯·诺依曼多并行处理器-内存架构,实现并行处理加速超10倍、能耗降低超100倍,并通过软硬件协同设计与数字孪生验证,已成功应用于边缘传感器。
2024-09-28 cs.AI cs.AR cs.DC
Dynamic Tsetlin Machine Accelerators for On-Chip Training at the Edge using FPGAs
IIT Jammu(贾姆穆印度理工学院)
本文提出一种基于 FPGA 的动态 Tsetlin Machine(DTM)训练加速器,通过逻辑推理和有限状态自动机替代 DNN,支持运行时动态重配置,在多变量传感器边缘任务中实现高能效低功耗的片上训练。
2025-04-28 cs.AR cs.LG
Arnold: an eFPGA-Augmented RISC-V SoC for Flexible and Low-Power IoT End-Nodes
广泛的物联网(IoT)应用需要强大、节能且灵活的终端节点从多个源获取数据,通过近传感器数据分析算法处理和提取感测数据,并将其无线传输。这项工作提出阿诺德:采用22 nm Globalfoundries GF 22 FDX(GF 22 FDX)技术制造的0.5 V至0.8 V、46.83 uW/MHz、600 MOPS完全可编程RISC-V微控制器单元(MCU),与最先进的(SoA)微控制器耦合到嵌入式现场可编程门阵列(FPGA)。我们展示了片上系统(SoC)的灵活性,以应对许多新兴物联网应用的挑战,例如(i)将传感器和加速器与非标准接口连接,(ii)对来自外围设备的数据流执行实时预处理任务,以及(iii)加速近传感器分析,加密和机器学习任务。所提出的SoC的一个独特功能是利用体偏置来将嵌入式FPGA(eFPGA)结构的泄漏功率在0.5 V下降低高达18倍,从而实现eFPGA结构的SoA状态比特流保持睡眠功率,低至20.5 uW。所提出的SoC提供了3.4倍更好的性能和2.9倍更好的能源效率比其他制造的异构可重新配置的SoC的同类。
2020-06-25 cs.AR
Flexi-NeurA: A Flexible Neuromorphic Accelerator with Adaptive Bit-Precision Exploration for Edge Devices
University of Tehran(德黑兰大学)
提出Flexi-NeurA灵活神经形态加速器,结合设计时可配置性与时分复用事件驱动处理,并引入Flex-plorer工具自动探索最优定点精度,在生物医学、视觉识别等任务中实现精度与功耗的平衡。
2026-06-15 cs.AR cs.NE
SpiDR: A Reconfigurable Digital Compute-in-Memory Spiking Neural Network Accelerator for Event-based Perception
针对现有SNN加速器适应性差、Vmem处理低效及稀疏优化不足的问题,提出可重构数字存内计算加速器SpiDR,支持多精度与零跳过,在65nm工艺下实现5 TOPS/W能效。
2024-11-05 cs.AR cs.LG cs.NE
MANTIS: A Mixed-Signal Near-Sensor Convolutional Imager SoC Using Charge-Domain 4b-Weighted 5-to-84-TOPS/W MAC Operations for Feature Extraction and Region-of-Interest Detection
本文提出混合信号卷积成像仪SoC(MANTIS),通过电荷域4b加权MAC操作与DS3单元实现高能效特征提取与RoI检测,在亚毫瓦功耗下达84.1 TOPS/W能效并大幅减少片外数据传输。
2024-11-12 cs.AR
CGRA4ML: A Hardware/Software Framework to Implement Neural Networks for Scientific Edge Computing
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Moratuwa(莫拉图瓦大学)
本文提出CGRA4ML框架,通过模块化设计实现高性能可编程神经网络加速器,支持多种SoC平台部署,提供Python API、SystemVerilog硬件和C运行时环境,简化科学计算中的边缘神经网络实现。
2026-03-26 cs.AI cs.AR
EvGNN: An Event-driven Graph Neural Network Accelerator for Edge Vision
Delft University of Technology(代尔夫特理工大学);KU Leuven(鲁汶大学)
本文提出首款面向边缘视觉的事件驱动图神经网络加速器EvGNN,通过有向动态图、事件队列和层并行处理实现低延迟高精度推理,在N-CARS数据集上达87.8%精度与每事件16μs延迟。
2025-02-28 cs.AR cs.CV cs.ET
At the Edge of the Heart: ULP FPGA-Based CNN for On-Device Cardiac Feature Extraction in Smart Health Sensors for Astronauts
Smart Sensors Group, Hamburg University of Technology(汉堡工业大学智能传感器组);Networked Cyber-Physical Systems, Hamburg University of Technology(汉堡工业大学网络化物理系统);Distributed Systems, Kiel University(基尔大学分布式系统)
本文提出一种基于ULP FPGA的CNN方案,用于在资源受限的智能健康传感器中实现实时心音图特征分类,展示了在极端环境下高效且低功耗的可行性。
2026-04-28 cs.AI cs.AR
YodaNN: An Architecture for Ultra-Low Power Binary-Weight CNN Acceleration
ETH Zürich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
卷积神经网络(CNN)在过去几年中彻底改变了计算机视觉世界,使图像分类超越了人类的准确性。当今CNN的计算工作需要耗电的并行处理器或GP-GPU。用于片上系统集成的CNN加速器的最新发展显著降低了能耗。不幸的是,即使是这些高度优化的设备也超出了移动和深度嵌入式应用所施加的功率范围,并面临CNN权重I/O和存储所造成的严格限制。这阻止了CNN在未来的超低功耗物联网端节点中用于近传感器分析。最近的算法和理论进步使得即使在训练期间将CNN限制为二进制(+1/-1)权重时,也能够实现具有竞争力的分类准确性。这些新发现通过消除对昂贵乘法的需求以及减少I/O带宽和存储,为算术核心带来了重大优化机会。在这项工作中,我们提出了一种针对二进制权重CNN优化的加速器,该加速器在1.2 V下实现1510 GOp/s,核心面积仅为1.33 MGE(百万门等效)或0.19 mm $^2$,采用UMC 65 nm技术,0.6 V时功耗为895 μW。我们的加速器性能显著优于最先进的在能量和面积效率方面,分别达到61.2 TOp/s/W@0.6 V和1135 GOp/s/MGE@1.2 V。
2017-02-24 cs.AR cs.CV cs.NE
HyperSense: Hyperdimensional Intelligent Sensing for Energy-Efficient Sparse Data Processing
University of California, Irvine(加利福尼亚大学欧文分校);New Jersey Institute of Technology(新泽西理工学院)
针对传感器数据量攀升的问题,本文提出软硬件协同的HyperSense系统,结合超维计算与智能传感器控制,实现低精度ADC数据的高效处理,在轻量模型中性能最优,FPGA加速器较YOLOv4提速5.6倍、节能达92.1%。
2024-10-29 cs.AI cs.AR
Fine-Grained Power and Energy Attribution on AMD GPU/APU-Based Exascale Nodes
University of Tennessee(田纳西大学);Hewlett Packard Enterprise (HPE)(惠普企业);Advanced Micro Devices, Inc.(超威半导体);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出了一种方法,通过控制的正方形波工作负载量化更新间隔、延迟、混叠和变异性,以归因于短生命周期加速器活动的功率和能耗。
2026-04-09 cs.AR cs.DC
P2M: A Processing-in-Pixel-in-Memory Paradigm for Resource-Constrained TinyML Applications
University of Southern California(南加州大学);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
处理由最先进的高分辨率摄像头生成的大量数据的需求激发了新型节能的设备上AI解决方案。这种相机中的视觉数据通常由传感器像素阵列以模拟电压的形式捕获,然后使用模数转换器(ADC)转换到数字域以进行后续AI处理。最近的研究试图以近传感器和传感器内处理的形式利用大规模并行低功耗模拟/数字计算,其中AI计算部分在像素阵列的外围执行,部分在单独的板载CPU/加速器中执行。不幸的是,高分辨率的输入图像仍然需要在相机和AI处理单元之间逐帧传输,这会导致能源、带宽和安全瓶颈。为了缓解这个问题,我们提出了一种新的内存中像素处理(P2 M)范式,通过添加对模拟多通道、多位卷积、批量归一化和ReLU(整流线性单元)的支持来定制像素阵列。我们的解决方案包括一个整体的算法电路协同设计方法,由此产生的P2 M范式可以用作嵌入内存密集型卷积神经网络(CNN)模型的前几层的替代品,在可代工制造的CMOS图像传感器平台。我们的实验结果表明,P2 M将传感器和模数转换的数据传输带宽降低了约21倍,与标准近处理或传感器内实现相比,在TinyML用例上处理MobileNetV 2模型时产生的能量延迟积(EDP)可达约11倍,而测试准确性没有任何显着下降。
2022-03-17 cs.AR cs.CV cs.LG
ColibriUAV: An Ultra-Fast, Energy-Efficient Neuromorphic Edge Processing UAV-Platform with Event-Based and Frame-Based Cameras
ETH Zürich(苏黎世联邦理工学院);Università di Bologna(博洛尼亚大学)
本文提出ColibriUAV无人机平台,基于低功耗RISC-V芯片Kraken同时处理事件相机与RGB相机数据,实现毫秒级低延迟和低于50毫瓦的感知处理功耗,适用于自主纳米无人机。
2023-05-27 cs.AI cs.AR cs.CV
Smart Video Capsule Endoscopy: Raw Image-Based Localization for Enhanced GI Tract Investigation
Chair of Embedded Systems, Eberhard Karls University of Tübingen(嵌入式系统研究所,图宾根大学)
本研究提出了一种基于原始图像的智能视频胶囊内镜方法,通过低功耗硬件加速器实现高准确率的胃肠道定位与分类,节省89.9%的能源。
2025-07-31 cs.AR cs.CV eess.IV