CRSOT: Cross-Resolution Object Tracking using Unaligned Frame and Event Cameras
Anhui University(安徽大学);Beijing Institute of Technology(北京理工大学);Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学)
本文提出未对齐神经形态与可见光相机目标跟踪任务,构建首个未对齐帧-事件数据集CRSOT,并设计基于ViT与不确定性融合的跟踪框架,在时空未严格对齐下实现高性能双模态跟踪。
2024-01-05 cs.CV cs.NE
CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras
Institute of Informatics, University of Munich (LMU)(慕尼黑大学信息学院);fortiss GmbH, Neuromorphic Computing(fortiss GmbH 神经形态计算部门);Technical University of Munich, TUM School of CIT(慕尼黑技术大学 CIT 学院);Intel Labs, Intel Corporation(英特尔实验室,英特尔公司);Institute of Computational Life Sciences (ICLS), Zurich University of Applied Sciences (ZHAW)(应用科学大学(ZHAW)计算生命科学研究所);Technische Universität Ilmenau, Resource-Efficient Artificial Intelligence Group(伊门豪大学资源高效人工智能小组);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心)
提出CLANE系统,在Intel Loihi 2神经形态芯片上实现端到端的持续学习,用于事件相机动作识别,通过尖峰CNN和新型Loihi 2模块实现高能效和低延迟。
2026-05-27 cs.AI cs.LG cs.NE
Retina : Low-Power Eye Tracking with Event Camera and Spiking Hardware
ETH Zürich(苏黎世联邦理工学院);Inivation AG(因尼维申公司);Synsense AG(森赛思公司)
本研究提出基于事件相机与脉冲硬件的低功耗眼动追踪方案Retina,构建Ini-30数据集,设计小参数SNN回归模型,在Speck处理器上实现低功耗低延迟,精度与运算效率均优于现有最新方法。
2024-04-17 cs.CV cs.NE
An Efficient Spiking Neural Network for Recognizing Gestures with a DVS Camera on the Loihi Neuromorphic Processor
Technische Universität Wien(维也纳工业大学);Politecnico di Torino(都灵理工大学)
脉冲神经网络(SNN)是第三代神经网络,由于其生物可扩展性和与传统人工深度神经网络(DNN)相比降低的复杂性,已经成为基于机器学习的应用的焦点。这些SNN可以在英特尔Loihi研究芯片等神经形态处理器上以极高的能效实现,并由基于事件的传感器(如DVS摄像头)提供。然而,具有许多层的DNN可以在图像分类和识别任务上实现相对较高的准确性,因为用于真实世界应用的SNN的学习规则的研究还不成熟。SNN的准确性结果通常通过将训练的DNN转换为SNN,或者通过在尖峰域中直接设计和训练SNN来获得。对于从DNN到SNN的转换,我们对专门为英特尔Loihi设计的这种过程进行了全面分析,展示了我们设计SNN的方法,该方法实现了与相应DNN几乎相同的精度结果。针对基于事件的传感器的使用,我们设计了一种预处理方法,对DvsGesture数据集进行了评估,这使得它可以在DNN域中使用。因此,基于第一次分析的结果,我们为预处理的DvsGesture数据集训练DNN,并将其转换为尖峰域,以便在英特尔Loihi上部署,从而实现实时手势识别。结果表明,我们的SNN达到89.64%的分类准确率,仅占用37 Loihi核心。用于生成我们的实验的源代码可在https://github.com/albertomarchisio/EfficientSNN上在线获得。
2021-01-25 cs.LG cs.NE stat.ML
CarSNN: An Efficient Spiking Neural Network for Event-Based Autonomous Cars on the Loihi Neuromorphic Research Processor
Technische Universität Wien(维也纳工业大学);Politecnico di Torino(都灵理工大学);New York University(纽约大学)
自动驾驶(AD)相关功能提供了新的移动形式,这也有利于其他类型的智能和自主系统,如机器人,智能交通和智能工业。对于这些应用,需要快速、实时地做出决策。此外,在寻求电动交通的过程中,这项任务必须遵循低功耗政策,而不会影响运输工具或机器人的自主性。这两个挑战可以使用新兴的脉冲神经网络(SNN)来解决。当部署在专门的神经形态硬件上时,SNN可以以低延迟和低功耗实现高性能。在本文中,我们使用连接到基于事件的相机的SNN来面对AD的关键问题之一,即,汽车和其他物体之间的分类。为了比传统的框架式相机消耗更少的功率,我们使用了动态视觉传感器(DVS)。实验是按照离线监督学习规则进行的,然后将学习的SNN模型映射到英特尔Loihi神经形态研究芯片上。我们最好的实验在离线实现时达到了86%的准确率,当它被移植到Loihi芯片上时下降到83%。神经形态硬件实现对于每个样本具有最大0.72 ms的延迟,并且仅消耗310 mW。据我们所知,这项工作是在神经形态芯片上首次实现基于事件的汽车分类器。
2021-07-01 cs.LG cs.NE
Event-Driven Imaging in Turbid Media: A Confluence of Optoelectronics and Neuromorphic Computation
School of Engineering, Brown University(布朗大学工程学院);Intel Laboratories(英特尔实验室)
本文提出一种受人类视觉启发的光学计算方法,利用动态视觉传感器和神经形态计算,在浑浊介质中实现动态目标的图像重建,显著提升人眼或摄像机无法辨识的图像质量。
2023-09-13 cs.CV cs.NE
Object Motion Sensitivity: A Bio-inspired Solution to the Ego-motion Problem for Event-based Cameras
George Mason University(乔治梅森大学);University of Southern California(南加州大学);Northwestern University(西北大学)
本文提出利用第二代神经形态传感器IRIS中的物体运动敏感性(OMS)特征,在保持与传统RGB和DVS相当的任务效率的同时大幅降低带宽,为高速低功耗实时决策提供新方案。
2023-04-14 cs.CV cs.NE
LaneSNNs: Spiking Neural Networks for Lane Detection on the Loihi Neuromorphic Processor
Technische Universität Wien(维也纳工业大学);Politecnico di Torino(都灵理工大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
自动驾驶(AD)相关功能代表了下一代移动机器人和自动驾驶汽车的重要元素,这些机器人和自动驾驶汽车专注于日益智能化、自主化和互联化的系统。根据定义,涉及使用这些功能的应用程序必须提供实时决策,而这一属性是避免灾难性事故的关键。此外,所有的决策过程都必须要求低功耗,以增加电池驱动系统的寿命和自主性。这些挑战可以通过在神经形态芯片上有效实现脉冲神经网络(SNN)以及使用基于事件的相机而不是传统的基于帧的相机来解决。在本文中,我们提出了一种新的SNN为基础的方法,称为LaneSNN,用于检测车道标记的街道上使用基于事件的摄像机输入。我们开发了四种新颖的SNN模型,其特点是低复杂度和快速响应,并使用离线监督学习规则对它们进行训练。之后,我们将学习到的SNN模型实现并映射到英特尔Loihi Neuromorphic研究芯片上。对于损失函数,我们提出了一种新的方法的基础上的加权二进制交叉熵(WCE)和均方误差(MSE)措施的线性组合。我们的实验结果表明,最大交集超过联合(IoU)措施约0.62和非常低的功耗约1 W。最好的IoU是通过SNN实现的,该实现在Loihi处理器上仅占用36个神经核,同时提供不到8 ms的低延迟来识别图像,从而实现实时性能。我们的网络提供的IoU措施与最先进的技术相当,但功耗低得多,仅为1 W。
2022-08-03 cs.LG cs.NE
A Neuromorphic Approach to Obstacle Avoidance in Robot Manipulation
Bonn-Rhein-Sieg University(波恩-莱茵-锡格大学);University of Groningen(格罗宁根大学);University of Bonn(波恩大学)
本文提出在机械臂避障中结合事件视觉、卷积SNN与动态运动基元的神经形态方法,实验证明其在仿真和真实场景中均优于非自适应基线。
2024-04-08 cs.LG cs.NE cs.RO
Sparse Convolutional Recurrent Learning for Efficient Event-based Neuromorphic Object Detection
TU Delft(代尔夫特理工大学);imec(imec研究所);University of Twente(特文特大学);TU Eindhoven(埃因霍温理工大学);Maastricht University(马斯特里赫特大学)
针对稀疏事件数据处理计算量大、难以部署在边缘端的问题,提出稀疏事件高效检测器SEED与稀疏卷积循环学习方法,实现超92%激活稀疏度,在数据集上验证了其在保持mAP的同时大幅降低运算量,为长时程事件目标检测提供了高效神经形态部署方案。
2025-06-16 cs.CV cs.NE
Fully neuromorphic vision and control for autonomous drone flight
Delft University of Technology(代尔夫特理工大学)
生物传感和处理是异步和稀疏的,导致低延迟和节能的感知和行动。在机器人技术中,基于事件的视觉和脉冲神经网络的神经形态硬件有望表现出类似的特性。然而,由于当前嵌入式神经形态处理器的网络大小受限以及训练脉冲神经网络的困难,机器人实现仅限于具有低维感觉输入和运动动作的基本任务。在这里,我们提出了第一个完全神经形态的视觉控制管道,用于控制自由飞行的无人机。具体来说,我们训练一个脉冲神经网络,接受高维原始事件为基础的相机数据和输出低级别的控制动作,执行自主视觉为基础的飞行。网络的视觉部分由五层和28.8k个神经元组成,将传入的原始事件映射到自我运动估计,并在真实事件数据上进行自监督学习训练。控制部分包括一个单一的解码层,并在无人机模拟器的进化算法学习。机器人实验表明,一个成功的仿真到现实迁移的完全学习的神经形态管道。无人机可以准确地遵循不同的自我运动设定点,允许悬停,着陆和侧向操纵$\unicode{x2014}$,即使在同一时间偏航。神经形态流水线在英特尔的Loihi神经形态处理器上运行,执行频率为200 Hz,每个推理仅花费27 $\unicode{x00b5}$ J。这些结果说明了神经形态传感和处理的潜力,使更小,更智能的机器人。
2023-03-15 cs.AI cs.CV cs.LG
Energy-Aware Spike Budgeting for Continual Learning in Spiking Neural Networks for Neuromorphic Vision
Dept. of Electrical and Electronics Engineering, University of Liberal Arts Bangladesh(乌拉尔大学 bangladesh 电子与电气工程系);Dept. of Electrical Engineering, Pennsylvania State University(宾夕法尼亚州立大学电气工程系)
提出一种面向神经形态视觉的节能脉冲预算持续学习框架,通过整合经验回放、可学习神经元参数和自适应调度器,在帧型和事件型数据集上分别提升准确率并降低能耗。
2026-03-10 cs.AI cs.CV cs.NE
FPGA-Accelerated Neuromorphic Vision System for Real-Time Orbital Object Detection
Pontificia Universidad Católica de Valparaíso(天主教瓦尔帕莱索大学)
提出一种基于FPGA加速的神经形态空间目标检测框架,采用事件相机和分布式处理架构,实现97%检测精度、8.5W功耗和低于62ms的确定性延迟。
2026-06-23 cs.AR cs.LG cs.NE
Decisive Data using Multi-Modality Optical Sensors for Advanced Vehicular Systems
University of Galway(戈尔韦大学);University of Central Florida(中佛罗里达大学)
本文探讨多模态光学传感器(如热成像、近红外、事件相机等)在先进车辆舱外前视与舱内监控系统中的应用,结合机器学习增强视觉,并讨论实时环境下的潜在应用。
2023-07-25 cs.CV cs.NE
Language Modeling on a SpiNNaker 2 Neuromorphic Chip
Birla Institute of Technology(比拉理工学院);Centre for Tactile Internet (CeTI) with Human-in-the-Loop, Technische Universität Dresden, Germany(触觉互联网中心(CeTI)与人环路,德累斯顿技术大学,德国);Dept. of Computer Science, Royal Holloway, University of London, Egham, United Kingdom(计算机科学系,伦敦皇家霍洛威大学,埃格姆,英国)
本文首次在SpiNNaker 2神经形态芯片上实现基于EGRU架构的语言模型,展示了其在语言建模和手势识别任务中与LSTM相当的性能。
2024-01-24 cs.CL cs.ET cs.LG
Privacy-preserving fall detection at the edge using Sony IMX636 event-based vision sensor and Intel Loihi 2 neuromorphic processor
Sony Advanced Visual Sensing AG(索尼高级视觉传感股份公司);Sony Semiconductor Solutions Corporation, Research Division 1(索尼半导体解决方案公司第一研究部);Intel Labs, Intel Semiconductor AG(英特尔实验室,英特尔半导体股份公司);Intel Labs, Intel Deutschland GmbH(英特尔实验室,英特尔德国有限公司);Intel Labs, Intel Corporation(英特尔实验室,英特尔公司)
本文提出了一种神经形态跌倒检测系统,结合索尼IMX636事件感知视觉传感器与英特尔Loihi 2神经形态处理器,通过专用FPGA接口实现稀疏神经网络部署,分析检测F1分数与计算成本的权衡,实现了高效率的跌倒检测。
2026-04-13 cs.NE
EventMix: An Efficient Augmentation Strategy for Event-Based Data
高质量和具有挑战性的事件流数据集在设计模仿大脑的有效事件驱动机制方面发挥着重要作用。事件摄像机虽然可以提供高动态范围、低能耗的事件流数据,但与传统的基于帧的数据相比,其规模较小,获取难度较大,制约了类脑计算的发展。数据增强通过处理来自原始数据的更多表示来提高原始数据的数量和质量。提出了一种有效的事件流数据数据增强策略:EventMix。我们通过高斯混合模型对不同事件流的混合进行了精心的设计,以生成随机的3D掩模,实现了事件流在时空维度上的任意形状混合。通过计算事件流的相对距离,我们提出了一种更合理的方法来分配标签的混合样本。在多个神经形态数据集上的实验结果表明,我们的策略可以提高ANN和SNN在神经形态数据集上的性能,并且我们已经在DVS-CIFAR10,N-Caltech101,N-CARS和DVS-Gesture数据集上实现了最先进的性能。
2022-05-24 cs.NE
Neuro-LIFT: A Neuromorphic, LLM-based Interactive Framework for Autonomous Drone FlighT at the Edge
Electrical and Computer Engineering, Purdue University(电子与计算机工程系,普渡大学)
提出 Neuro-LIFT 框架,结合 LLM 与神经形态视觉,在 Parrot Bebop2 无人机上实现实时、低延迟的自然语言交互导航与避障。
2025-04-26 cs.CV cs.LG cs.NE
ANTShapes Benchmarking Datasets for Event-Based Neuromorphic Object Classification
University of York(约克大学);Cardiff University(卡迪夫大学);University of Manchester(曼彻斯特大学);University of Stirling(斯特灵大学);University of Southampton(南安普顿大学)
本研究针对基于事件的神经形态目标分类,用ANTShapes工具创建四个难度各异的新数据集,结合卷积SNN与现有脉冲数据集开展基准测试,验证了ANTShapes工具的可用性并提供了新实验数据集。
2026-08-28 cs.AI cs.CV cs.NE
StereoSpike: Depth Learning with a Spiking Neural Network
CerCo CNRS UMR 5549(法国国家科学研究中心 认知与脑科学中心 联合研究单元5549);Université Toulouse III(图卢兹第三大学)
本文提出StereoSpike,一种结合事件相机与脉冲神经网络的端到端深度估计架构,通过新颖的读出范式实现高精度密集深度预测,并支持低功耗神经形态芯片部署。
2022-11-03 cs.AI cs.CV cs.LG
Oscillatory Neural Network as Hetero-Associative Memory for Image Edge Detection
LIRMM(蒙彼利埃计算机科学、机器人学与微电子实验室);Univ. of Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心)
在边缘设备(如相机)上处理的数据量越来越多,这推动了边缘的人工智能(AI)集成。在边缘处执行的典型图像处理方法(例如特征提取或边缘检测)使用卷积滤波器,所述卷积滤波器是消耗能量、计算和存储器的算法。但是,边缘设备和摄像头的计算资源、带宽和功率都很有限,并且由于隐私限制,将数据发送到云端的能力也很有限。因此,需要在边缘处处理图像数据。多年来,这种需求激发了人们对在边缘实现类脑计算的兴趣。神经形态系统旨在模拟生物神经功能,以实现节能计算。近年来,振荡神经网络(Oscillatory Neural Networks,ONN)提出了一种新的脑激励计算方法,通过模拟脑振荡来执行自联想记忆类型的应用。为了加快图像边缘检测速度并降低功耗,我们对ONNs进行了深入的研究。提出了一种新的图像处理方法,利用ONNs作为异联想记忆(HAM)进行图像边缘检测。我们首先使用Matlab仿真器模拟我们的ONN-HAM解决方案,然后使用全数字ONN设计。我们在灰度正方形评估图上显示结果,也在黑白和灰度28 x28 MNIST图像上显示结果,最后在黑白512 x512标准测试图像上显示结果。我们比较我们的解决方案与标准的边缘检测滤波器,如Sobel和Canny。最后,使用全数字设计仿真结果,我们报告的时间和资源特性,并评估其可行性的实时图像处理应用。我们的数字ONN-HAM解决方案可以处理高达120 x120像素…
2022-02-25 cs.AI cs.NE eess.IV
A New Look at Spike-Timing-Dependent Plasticity Networks for Spatio-Temporal Feature Learning
imec(比利时微电子研究中心);KU Leuven(鲁汶大学);VUB(布鲁塞尔自由大学)
我们提出了新的理论基础,无监督尖峰定时依赖可塑性(STDP)学习脉冲神经网络(SNN)。与以往大多数工作中使用的经验参数搜索相比,我们为SNN和STDP参数调整提供了新的理论依据,大大减少了设计时间。使用我们的通用框架,我们提出了一类全局的,基于动作的和卷积SNN-STDP架构,用于从基于事件的相机中学习时空特征。我们在N-MNIST、CIFAR 10-DVS和IBM DVS 128手势数据集上评估了我们的方法,所有这些数据集都是用真实世界的事件相机采集的。使用我们的框架,我们报告了与传统的最先进的基于事件的特征描述符(CIFAR 10-DVS上+8.2%)相比,以及与最先进的基于STDP的系统(N-MNIST上+9.3%,IBM DVS 128 Gesture上+7.74%)相比,分类准确性的显着提高。我们的工作有助于神经形态边缘设备中的超低功耗学习,并朝着生物学上合理的,基于优化的皮质视觉理论。
2022-02-22 cs.CV cs.NE
Effective AER Object Classification Using Segmented Probability-Maximization Learning in Spiking Neural Networks
与传统的基于帧的摄像机相比,地址事件表示(AER)摄像机由于具有高时间分辨率和低功耗的优点而受到越来越多的关注。由于AER摄像机记录的视觉输入作为异步离散事件,它们本身就适合于协调与脉冲神经网络(SNN),这是生物合理的和能源效率的神经形态硬件。然而,使用SNN执行AER对象分类仍然是具有挑战性的,由于缺乏有效的学习算法,这种新的表示。为了解决这个问题,我们提出了一个AER对象分类模型,使用一种新的分段概率最大化(SPA)学习算法。从技术上讲,SPA学习算法迭代地最大化样本所属类别的概率,以提高神经元响应的可靠性和学习的有效性; SPA中引入峰值检测(PD)机制,逐段定位信息时间点,在此基础上学习可以充分利用整个事件流中的信息。大量的实验结果表明,与最先进的方法相比,我们的模型不仅更有效,而且它需要更少的信息来达到一定的准确度。
2020-02-14 cs.NE
VOWEL: A Local Online Learning Rule for Recurrent Networks of Probabilistic Spiking Winner-Take-All Circuits
King’s College London(伦敦国王学院)
尖峰神经元网络和赢家通吃尖峰电路(WTA-SNN)可以检测编码在时空多值事件中的信息。这些通过感兴趣的事件的时间来描述,例如,点击,以及分配给每个事件的分类数值,例如,喜欢或不喜欢。其他用例包括从神经形态相机收集的数据中识别对象,这些相机在亮度变化足够大的时候为每个像素产生有符号位。现有的训练WTA-SNN的方案仅限于速率编码解决方案,因此只能检测空间模式。为任意WTA-SNN开发更通用的训练算法继承了训练(二进制)脉冲神经网络(SNN)的挑战。这些金额,最值得注意的是,阈值函数的不可微性,尖峰神经模型的经常性行为,以及在神经形态硬件中实现反向传播的困难。在本文中,我们开发了一个变分的WTA-SNN的在线本地训练规则,称为VOWEL,它只利用了可见电路的本地突触前和突触后信息,以及隐藏电路的额外公共奖励信号。该方法是基于概率广义线性神经模型,控制变量,变分正则化。在具有多值事件的真实世界神经形态数据集上的实验结果表明,WTA-SNN优于使用最先进方法训练的传统二进制SNN,特别是在计算资源有限的情况下。
2020-04-20 cs.LG cs.NE eess.SP
When Person Re-Identification Meets Event Camera: A Benchmark Dataset and An Attribute-guided Re-Identification Framework
School of Computer Science and Technology, Anhui University, Hefei, China(安徽大学计算机科学与技术学院);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室);School of Computer Science, Peking University, China(北京大学计算机科学学院)
本文针对事件相机行人重识别数据稀缺问题,构建大规模RGB-事件数据集EvReID,并提出属性引导对比学习框架TriPro-ReID,有效融合RGB帧、事件流与行人属性特征,实验验证了其有效性。
2025-11-09 cs.AI cs.CV cs.LG