Event Camera Simulator Design for Modeling Attention-based Inference Architectures
University of Florida(佛罗里达大学)
近年来,人们对实现在图像传感器的水平上集成越来越多的计算的方法越来越感兴趣。这一上升趋势已经看到了对开发新型事件相机的研究兴趣的增加,这些事件相机可以直接在传感器中促进CNN计算。然而,基于事件的相机在市场上并不普遍,限制了对高级模型和算法的性能探索。本文提出了一个事件摄像机模拟器,可以是一个有力的工具,硬件设计原型,参数优化,注意力为基础的创新算法开发,和基准测试。建议的模拟器实现了一个分布式计算模型,以识别图像帧中的相关区域。我们的模拟器的相关性计算模型实现为一个模块的集合,并执行并行计算。分布式计算模型是可配置的,这使得它对于设计空间探索非常有用。模拟器的渲染引擎仅在有新事件时对帧区域进行采样。模拟器紧密地模拟类似于物理相机的图像处理流水线。我们的实验结果表明,模拟器可以有效地模拟事件的视觉与低开销。
2021-05-03 cs.CV eess.IV
Removing Blocking Artifacts in Video Streams Using Event Cameras
Northwestern University(西北大学)
在本文中,我们提出了EverRestNet,这是一种卷积神经网络,旨在使用来自神经形态传感器的事件来消除视频流中的块效应。我们首先使用四叉树结构来降低视频帧以产生块效应来模拟在严重受限的带宽下传输视频。来自神经形态传感器的事件也被模拟,但被完全传输。使用扭曲的帧和事件流,EverRestNet能够提高图像质量。
2021-05-12 cs.CV eess.IV
Traffic sign detection and recognition using event camera image reconstruction
AGH University of Science and Technology(AGH科技大学)
提出了一种基于事件摄像机信息的交通标志检测与识别方法。该解决方案使用FireNet深度卷积神经网络将事件重建为灰度帧。训练了两个YOLOv4网络模型,一个基于灰度图像,另一个基于彩色图像。基于灰度图像训练的模型效果最好,效率达到87.03%。
2022-12-16 cs.CV eess.IV
Traffic Sign Detection With Event Cameras and DCNN
AGH University of Science and Technology(AGH科技大学);Silesian University of Technology(西里西亚工业大学)
近年来,事件摄像机(DVS -动态视觉传感器)已经被用于视觉系统中作为传统摄像机的替代或补充。它们的特点是高动态范围、高时间分辨率、低延迟以及在有限照明条件下的可靠性能--这些参数在高级驾驶员辅助系统(ADAS)和自动驾驶汽车中尤为重要。在这项工作中,我们测试这些相当新颖的传感器是否可以应用于交通标志检测的流行任务。为此,我们分析了事件数据的不同表示:事件帧,事件频率和指数衰减的时间表面,并应用视频帧重建使用一个深神经网络称为FireNet。我们使用深度卷积神经网络YOLOv 4作为检测器。对于特定的表示,我们获得的检测精度在86.9- 88.9%mAP@0.5的范围内。所考虑的表示的融合的使用允许我们获得具有89.9%mAP@0.5的更高精度的检测器。相比之下,用FireNet重建的帧的检测器的特征在于72.67%mAP@0.5的准确度。所获得的结果说明了事件相机在汽车应用中的潜力,无论是作为独立的传感器还是与典型的基于帧的相机密切合作。
2022-07-27 cs.CV eess.IV
Event Cameras Meet SPADs for High-Speed, Low-Bandwidth Imaging
Robotics and Perception Group, University of Zurich, Switzerland(苏黎世大学机器人与感知组);Camera Culture Group, MIT Media Lab, USA(MIT媒体实验室相机文化组);EPFL, Lausanne, Switzerland(日内瓦联邦理工学院)
本文提出融合事件相机与SPAD传感器的框架,利用两者互补特性,实现低光高速成像,在100 kHz时间分辨率下较传统相机提升超过5 dB PSNR,并降低带宽成本。
2025-06-20 cs.CV eess.IV
CED: Color Event Camera Dataset
Australian National University(澳大利亚国立大学);ETH Zurich(苏黎世联邦理工学院);Monash University(莫纳什大学)
事件摄像机是一种新颖的生物视觉传感器,其像素在局部强度变化时输出异步和独立的时间戳尖峰,称为“事件”。事件摄像机在延迟、高动态范围(HDR)和时间分辨率方面优于传统的基于帧的摄像机。直到最近,事件摄像机一直局限于在强度通道中输出事件,然而,最近的进步导致了彩色事件摄像机的发展,如彩色DAVIS 346。在这项工作中,我们提出并发布了第一个彩色事件相机数据集(CED),其中包含50分钟的彩色帧和事件的镜头。CED具有各种各样的室内和室外场景,我们希望这将有助于推动基于事件的视觉研究。我们还提出了一个扩展的事件摄像机模拟器ESIM,使模拟的颜色事件。最后,我们提出了三个国家的最先进的图像重建方法,可用于将彩色DAVIS346转换为连续时间,HDR,彩色摄像机可视化的事件流,并在下游的视觉应用中使用的评估。
2019-04-24 cs.CV
Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras
University of Dayton(代顿大学);Umm Al-Qura University(乌姆·古拉大学)
本文提出了一种新的方法,用于标记真实世界的神经形态相机传感器数据,通过计算在短时间窗口内每个像素处生成事件的可能性,我们将其称为“事件概率掩模”或“事件概率掩模”。其应用包括(i)事件去噪性能的客观基准测试,(ii)训练用于噪声去除的卷积神经网络,称为“事件去噪卷积神经网络“(EDnCNN),以及(iii)估计内部神经形态相机参数。我们提供了第一个数据集(DVSNOISE20)的真实世界标记的神经形态相机事件的噪声去除。
2020-03-23 cs.CV
A Preliminary Research on Space Situational Awareness Based on Event Cameras
Beijing Institute of Aerospace Systems Engineering(北京宇航系统工程研究所);Space Engineering University(航天工程大学);China Academy of Launch Vehicle Technology(中国运载火箭技术研究院)
事件相机是一种不同于传统相机的新型传感器。每个像素都由一个事件异步触发。触发事件是照射在像素上的亮度的变化。如果增量或减量高于某个阈值,则输出事件。与传统摄像机相比,事件摄像机具有高时间分辨率、低延迟、高动态范围、低带宽和低功耗等优点。我们在模拟空间光环境中进行了一系列的观测实验。实验结果表明,事件相机在空间态势感知中能够充分发挥上述优势。本文首先介绍了事件摄像机的基本原理,然后分析了其优缺点,然后介绍了观察实验并分析了实验结果,最后给出了一种基于事件摄像机的空间态势感知工作流程。
2022-03-25 cs.CV
Real-Time Panoramic Tracking for Event Cameras
Graz University of Technology(格拉茨工业大学)
事件相机是相机技术的一个范式转变。传感器捕获的不是完整的帧,而是由强度变化引起的稀疏事件集。由于仅传输更改,因此这些相机能够捕获场景中对象或相机本身的快速移动。在这项工作中,我们提出了一种新的方法来执行相机跟踪事件相机在全景设置与三个自由度。我们提出了一个直接的摄像机跟踪制定,类似于国家的最先进的视觉里程计。我们表明,同时跟踪和映射所需的最小信息是事件的空间位置,而不使用的成像场景点的外观。我们验证了鲁棒性快速相机运动和动态对象在场景中最近提出的数据集和自记录序列。
2017-03-21 cs.CV
Stereo Co-capture System for Recording and Tracking Fish with Frame- and Event Cameras
Technische Universität Berlin(柏林工业大学);Einstein Center Digital Future(爱因斯坦数字未来中心);SCIoI Excellence Cluster(SCIoI卓越集群)
本文介绍了一种多动物视觉数据采集的联合捕获系统,该系统使用传统相机和事件相机。事件相机提供了多个基于帧的相机的优势,如高时间分辨率和时间冗余抑制,使我们能够有效地捕捉快速和不稳定的鱼类运动。我们还提出了一个基于事件的多动物跟踪算法,这证明了该方法的可行性,并为进一步探索结合事件摄像机和传统摄像机的优点进行多动物跟踪设定了基线。
2022-11-22 cs.CV
EventSplat: 3D Gaussian Splatting from Moving Event Cameras for Real-time Rendering
Sony Semiconductor Solutions Corporation(索尼半导体解决方案公司);University of Toronto(多伦多大学)
针对快速运动场景下新视角合成的难题,提出EventSplat方法,结合事件相机特性、事件转视频先验与样条插值,基于3D高斯泼溅实现比现有事件NeRF方法视觉效果更好、渲染速度快一个数量级的实时渲染。
2025-05-21 cs.CV
Inceptive Event Time-Surfaces for Object Classification Using Neuromorphic Cameras
University of Dayton(代顿大学)
本文提出了一种新的融合低层次的降维方法到一个有效的方法,高层次的对象在神经形态相机数据称为初始事件时间表面(IETS)。IETS克服了传统的时间表面的几个限制,提高鲁棒性噪声,促进空间的一致性,并提高(移动)边缘的时间定位。将IETS与迁移学习相结合,提高了利用事件相机数据进行对象分类这一具有挑战性问题的最新性能。
2020-02-26 cs.CV cs.NE eess.IV
Event-based Camera Tracker by $\nabla$t NeRF
Keio University(庆应义塾大学);Denso IT Laboratory(电装IT实验室)
本文提出首个基于场景隐式表示与事件稀疏强度变化的相机位姿估计算法TeGRA,通过最小化稀疏事件与NeRF时间梯度的误差实现高效位姿追踪。
2023-04-07 cs.CV
Real-Time Intensity-Image Reconstruction for Event Cameras Using Manifold Regularisation
Graz University of Technology(格拉茨技术大学);Austrian Institute Of Technology(奥地利技术研究院)
事件相机或神经形态相机模仿人类感知系统,因为它们测量每像素的强度变化而不是实际的强度水平。与传统相机相比,这种相机以稀疏事件的形式以MHz频率捕获关于场景的新信息。高时间分辨率是以丢失熟悉的每像素强度信息为代价的。在这项工作中,我们提出了一个变分模型,准确地模拟事件相机的行为,使实时的【形】重建的强度图像与任意帧速率。我们的方法是制定每一个事件的基础上,我们明确纳入信息的异步性质的事件,通过事件的相对时间戳引起的事件流形。在我们的实验中,我们验证了解决流形上的变分模型产生高质量的图像,而不显式地估计光流。
2016-08-04 cs.CV
Are High-Resolution Event Cameras Really Needed?
Univ. of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
由于其在具有挑战性的条件下的出色性能,事件相机在汽车,计算摄影和SLAM等广泛应用中已成为不可或缺的。然而,随着对传感器设计的进一步改进,现代事件摄像机趋向于越来越高的传感器分辨率,这导致下游任务的更高带宽和计算要求。尽管有这种趋势,但使用高分辨率事件相机来解决标准计算机视觉任务的好处仍然不清楚。在这项工作中,我们报告了一个令人惊讶的发现,即在低照度条件下和高速下,低分辨率相机可以胜过高分辨率相机,同时需要显著更低的带宽。我们为这一说法提供了经验和理论证据,这表明高分辨率事件相机具有更高的每像素事件率,导致在低照明条件下和高速下的时间噪声更高。因此,在大多数情况下,与这些条件下的低分辨率传感器相比,高分辨率事件相机显示出较低的任务性能。我们经验验证我们的研究结果在几个任务,即图像重建,光流估计,相机姿态跟踪,无论是合成和真实数据。我们相信,这些发现将为事件相机的未来发展趋势提供重要的指导方针。
2022-03-28 cs.CV
Video to Events: Recycling Video Datasets for Event Cameras
ETH Zurich(苏黎世联邦理工学院)
事件相机是一种新型传感器,它以异步“事件”流的形式而不是强度帧的形式输出亮度变化。与传统相机相比,它们具有显著的优势:高动态范围(HDR)、高时间分辨率和无运动模糊。最近,新的学习方法操作的事件数据取得了令人印象深刻的结果。然而,这些方法需要大量的事件数据进行训练,这是很难得到的,由于事件传感器在计算机视觉研究的新颖性。在本文中,我们提出了一种方法,通过将任何现有的视频数据集记录与传统的相机合成事件数据,以满足这些需求。这就解锁了使用几乎无限数量的现有视频数据集来训练为真实事件数据设计的网络。我们在两个相关的视觉任务上评估我们的方法,即,对象识别和语义分割,并且示出了在合成事件上训练的模型具有几个益处:(i)它们通过继承事件相机的突出特性而很好地推广到真实事件数据,即使在标准相机图像模糊或过度曝光的情况下;(ii)它们可以用于对真实数据进行微调,以改进分类和语义分割两者的现有技术。
2020-04-01 cs.CV
Efficient Relative Pose Estimation for Cameras and Generalized Cameras in Case of Known Relative Rotation Angle
South Ural State University(南乌拉尔国立大学);TrunkTech Co., Ltd.(创科有限公司)
我们提出了两个最小的解决方案的问题的相对姿态估计(i)校准相机从四个点在两个视图和(ii)校准广义相机从五个点在两个视图。在这两种情况下,假设视图之间的相对旋转角度是已知的。在实践中,这样的角度可以从3d陀螺仪的读数导出。我们表示的单位四元数的运动的旋转部分,以构建多项式方程编码的极线约束。然后使用格罗布纳基技术来有效地导出解决方案。我们的第一个常规相机求解器显著改进了现有的最先进的解决方案。广义相机的第二个求解器是新颖的。所提出的最小解算器可以用于假设和测试架构,如RANSAC可靠的姿态估计。在合成数据集和真实数据集上的实验表明,我们的算法是数值稳定,快速和鲁棒的。
2019-01-31 cs.CV
Event Cameras versus Frame Cameras for Synthetic-Aperture Imaging: A Simulation Study
Johannes Kepler University Linz(林茨约翰·开普勒大学)
本研究通过模拟对比事件相机与帧相机在合成孔径成像中的表现,发现高速明亮场景下事件相机可重建目标,低速低照度下二者质量相近,高速低照度下事件相机无优势。
2026-10-14 cs.CV
Moving Object Detection for Event-based Vision using k-means Clustering
Jadavpur University(贾达普大学)
运动目标检测是计算机视觉中的一个重要问题。基于事件的相机是生物启发的相机,通过模仿人眼的工作来工作。与传统的基于帧的相机相比,这些相机具有多个优点,如减少的延迟、HDR、在高运动期间减少的运动模糊、低功耗等。尽管有这些优点,基于事件的相机对噪声敏感并且具有低分辨率。此外,在这些相机中的移动目标检测的任务是困难的,因为基于事件的传感器缺乏有用的视觉特征,如纹理和颜色。在本文中,我们研究了应用的k-均值聚类技术在检测基于事件的数据中的移动对象。
2022-01-11 cs.AI cs.CV eess.IV
L2E: Lasers to Events for 6-DoF Extrinsic Calibration of Lidars and Event Cameras
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
随着神经形态技术的成熟,其在机器人和自动驾驶汽车系统中的应用已成为一个活跃的研究领域。特别是,事件摄像机已经成为低功耗和延迟要求高的应用中基于帧的摄像机的引人注目的替代品。为了使事件相机能够与激光雷达等主要传感器一起工作,我们提出了一种事件相机和激光雷达之间的直接,时间解耦的外部校准方法。利用事件相机的高动态范围、高时间分辨率和低延迟操作来直接记录激光雷达激光回波,从而允许基于信息的相关方法来优化两个传感器之间的6-DoF外部校准。本文提出了事件相机和激光雷达之间的第一种直接校准方法,消除了对基于帧的相机中介和/或高精度手部测量的依赖。
2023-02-21 cs.CV cs.RO
Learning to Deblur and Generate High Frame Rate Video with an Event Camera
Peking University(北京大学)
事件相机是生物启发的相机,可以以高时间分辨率异步测量强度的变化。事件摄像机的优势之一是,它们在记录高速场景时不会受到运动模糊的影响。在本文中,我们制定了传统的摄像机的去模糊任务的事件是一个残留的学习,我们提出了相应的网络架构,有效的学习去模糊和高帧速率视频生成任务。我们首先训练一个修改后的U-Net网络,使用相应的事件从模糊图像恢复清晰图像。然后我们用不同的下采样块训练另一个类似的网络,以使用恢复的清晰图像和事件生成高帧速率视频。实验结果表明,我们的方法可以恢复清晰的图像和视频比国家的最先进的方法。
2020-03-20 cs.CV
Events-to-Video: Bringing Modern Computer Vision to Event Cameras
ETH Zurich(苏黎世联邦理工学院);Intel Labs(英特尔实验室)
事件相机是一种新型传感器,它以异步“事件”的形式报告亮度变化,而不是强度帧。与传统相机相比,它们具有显着的优势:高时间分辨率,高动态范围,无运动模糊。由于事件摄像机的输出从根本上不同于传统摄像机,因此通常认为它们需要开发专门的算法来适应事件的特定性质。在这项工作中,我们采取了不同的观点,并建议将现有的,成熟的计算机视觉技术,从事件数据重建的视频。我们提出了一种新的递归网络来重建视频流的事件,并训练大量的模拟事件数据。我们的实验表明,我们的方法超越了国家的最先进的重建方法的图像质量方面的一个很大的利润(> 20%)。我们进一步将现成的计算机视觉算法应用于从对象分类和视觉惯性里程计等任务的事件数据重建的视频,并表明这种策略始终优于专门为事件数据设计的算法。我们相信,我们的方法打开了一扇大门,将事件摄像机的出色性能带到一个全新的任务范围。实验的视频可以在https://youtu.be/IdYrC4cUO0I上获得
2019-04-17 cs.CV
Neural Ganglion Sensors: Learning Task-specific Event Cameras Inspired by the Neural Circuit of the Human Retina
Department of Electrical Engineering, Stanford University(电气工程系,斯坦福大学)
本文受人类视网膜神经节细胞生物设计启发,提出可学习任务特定时空视网膜核的神经节传感器,在视频插值和光流任务中提升性能并降低带宽,为低功耗实时视觉应用提供新方向。
2025-04-18 cs.CV cs.ET eess.IV
Recent Event Camera Innovations: A Survey
Arizona State University(亚利桑那州立大学);University of Pennsylvania(宾夕法尼亚大学);University of Maryland(马里兰大学)
本文全面综述了事件相机的演进、基本原理、模型、技术里程碑、应用领域、数据集及模拟器,旨在整合现有研究资源并推动该领域创新。
2024-08-27 cs.CV
Event Camera Calibration of Per-pixel Biased Contrast Threshold
Australian National University(澳大利亚国立大学)
事件摄像机输出异步事件,以高时间分辨率表示强度变化,即使在极端照明条件下也是如此。目前,大多数现有的工作使用一个单一的对比度阈值来估计所有像素的强度变化。然而,复杂的电路偏置和制造缺陷导致偏置的像素和像素之间的失配对比度阈值,这可能导致不期望的输出。在本文中,我们提出了一个新的事件相机模型和两个校准方法,涵盖事件的相机和混合图像事件相机。当强度图像与事件同时提供时,我们还提出了一种有效的在线方法来校准事件相机,以适应随时间变化的事件率。我们证明了我们提出的方法相比,国家的最先进的几个不同的事件相机数据集的优势。
2020-12-17 cs.CV cs.RO
Time-Ordered Recent Event (TORE) Volumes for Event Cameras
University of Dayton(代顿大学);Umm Al-Qura University(乌姆·古拉大学)
活动摄像机是一种令人兴奋的新型传感器模式,能够以极低的延迟和宽动态范围实现高速成像。不幸的是,大多数机器学习架构并不是设计来直接处理稀疏数据的,比如从事件相机生成的数据。事件摄像机的许多最先进算法依赖于插值事件表示-模糊关键的定时信息,增加数据量,并限制整体网络性能。本文详细介绍了一个事件表示称为时间排序的最近事件(TORE)卷。TORE卷旨在以最小的信息丢失来压缩存储原始尖峰定时信息。这种生物启发的设计是存储器高效的,计算速度快,避免时间阻塞(即固定和预定义的帧速率),并包含来自过去数据的“本地存储器”。该设计在广泛的挑战性任务(例如事件去噪,图像重建,分类和人体姿态估计)上进行了评估,并显示出显着提高了最先进的性能。TORE卷是一个易于实现的替代目前使用事件表示的任何算法。
2021-03-10 cs.CV
LECalib: Line-Based Event Camera Calibration
The College of Aerospace Science and Engineering, National University of Defense Technology, Changsha 410073, China(航空科学与工程学院,国防科技大学,长沙410073,中国);The GNSS Research Center, Wuhan University, Wuhan 430000, China(导航定位研究室,武汉大学,武汉430000,中国)
LECalib提出一种基于线的事件相机校准方法,通过直接从事件流中检测线条并优化参数,提升快速场景下的校准效率和准确性。
2025-12-27 cs.CV
DDD20 End-to-End Event Camera Driving Dataset: Fusing Frames and Events with Deep Learning for Improved Steering Prediction
Institute of Neuroinformatics, University of Zürich(苏黎世大学神经信息学研究所);ETH Zürich(苏黎世联邦理工学院);MILA, University of Montreal(蒙特利尔大学MILA研究所);Benevolent AI(Benevolent AI公司)
神经形态事件相机对于在困难的照明条件下的动态视觉问题是有用的。为了研究在汽车驾驶应用中使用事件相机,本文报告了一个新的端到端驾驶数据集DDD 20。该数据集是用DAVIS相机捕获的,该相机同时流式传输动态视觉传感器(DVS)亮度变化事件和有源像素传感器(APS)强度帧。DDD 20是迄今为止最长的事件相机端到端驾驶数据集,拥有51小时的DAVIS事件+帧相机和车辆人为控制数据,这些数据是在各种照明条件下从4000公里的高速公路和城市驾驶中收集的。使用DDD 20,我们报告了使用深度学习方法融合亮度变化事件和强度帧数据以预测瞬时人类方向盘角度的第一项研究。在所有白天和夜间条件下,来自Resnet-32的人类转向预测的解释方差来自融合的DVS+APS帧(0.88)比单独使用DVS(0.67)或APS(0.77)数据明显更好。
2020-05-18 cs.CV
Learn to See by Events: Color Frame Synthesis from Event and RGB Cameras
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
事件摄像机是生物启发的传感器,收集场景的时间演变。它们捕获逐像素的亮度变化并输出相应的异步事件流。尽管相对于传统相机具有多种优势,但传统数据处理和视觉算法的有限适用性部分阻止了它们的使用。为此,我们提出了一个框架,利用事件相机的输出流来合成RGB帧,依赖于初始或周期性的一组颜色关键帧和中间事件的序列。从现有的工作,我们提出了一个基于深度学习的帧合成方法,由一个对抗架构结合一个循环模块。四个公共数据集上的定性结果和定量的每像素,感知和语义评估证实了合成图像的质量。
2019-12-10 cs.CV
Bina-Rep Event Frames: a Simple and Effective Representation for Event-based cameras
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);IMT Nord Europe(IMT北部高等电信学院)
本文提出了“Bina-Rep”,一个简单的表示方法,将异步流的事件从事件相机的稀疏和表达的事件帧序列。通过将多个二进制事件图像表示为$N$位数的单个帧,我们的方法能够获得更稀疏和更有表现力的事件帧,这要归功于原始流中保留的事件顺序信息。再加上我们提出的基于卷积神经网络的模型,报告的结果达到了最先进的性能,并多次优于其他常见的事件表示方法。我们的方法也表现出竞争力的鲁棒性对常见的图像腐败,相比其他表示技术。
2022-02-28 cs.CV
Event Camera Data Dense Pre-training
Australian National University(澳大利亚国立大学);Beijing Institute of Technology(北京理工大学);Huawei(华为)
本文提出一种针对事件相机数据的自监督密集预训练框架,通过挖掘事件patch特征的上下文相似性并分组以缓解空间稀疏性,在下游密集预测任务上优于现有方法。
2024-09-22 cs.CV
Lattice-allocated Real-time Line Segment Feature Detection and Tracking Using Only an Event-based Camera
Istituto Italiano di Tecnologia(意大利技术研究院);Sony Interactive Entertainment Inc.(索尼互动娱乐公司)
本研究提出一种仅用事件相机的格点分配流水线,实现实时线段检测与跟踪,在速度和精度上优于现有基线,支持独立运行。
2025-10-08 cs.CV
EventSleep: Sleep Activity Recognition with Event Cameras
Universidad de Zaragoza(萨拉戈萨大学);Bitbrain Technologies(比特脑技术公司)
本文提出EventSleep数据集与方法,首次将事件相机和Laplace集成贝叶斯神经网络用于黑暗环境下的睡眠活动识别,验证了其在医疗睡眠监测中的潜力。
2024-04-02 cs.CV
Event Quality Score (EQS): Assessing the Realism of Simulated Event Camera Streams via Distances in Latent Space
Arizona State University(亚利桑那州立大学)
提出事件质量分数(EQS),利用RVT架构的潜在空间距离评估模拟事件流真实性,实验表明优化EQS可提升模拟到真实的泛化能力,缩小模拟差距。
2025-04-21 cs.CV
Gradient events: improved acquisition of visual information in event cameras
Kovilta(科维尔塔公司)
本文提出梯度事件这一新型事件表示,通过降低对振荡光源的敏感度并提升灰度帧重建质量,在公开数据集上显著超越现有基于亮度事件的视频重建方法。
2024-09-03 cs.CV
Asynchronous Corner Tracking Algorithm based on Lifetime of Events for DAVIS Cameras
University of Turku(图尔库大学);Politecnico di Milano(米兰理工大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
事件摄像机,即,动态和有源像素视觉传感器(DAVIS),捕捉场景中的强度变化,并以异步方式生成事件流。在高动态环境中,此类摄像机的输出速率可达到每秒1000万个事件。DAVIS相机使用模仿人眼的新型视觉传感器。它们具有高输出速率、高动态范围(HDR)和高像素带宽等吸引人的特性,是需要高频跟踪的应用的理想解决方案。此外,在具有挑战性的照明场景中操作的应用可以利用事件相机的高HDR,即,140 dB,而传统摄像机为60 dB。在本文中,提出了一种新的异步角点跟踪方法,同时使用事件和强度图像捕获的DAVIS相机。Harris算法用于提取特征,即,来自关键帧的帧角,即,强度图像。然后,使用匹配算法从事件流中提取事件角点。事件仅用于执行异步跟踪,直到捕获下一个关键帧。在事件角周围的5x5像素的窗口大小内的相邻事件用于通过使用随机化霍夫变换算法拟合2D平面来计算提取的事件角的速度和方向。实验评估表明,我们的方法能够在传统相机的盲时间内更新提取的角点的位置多达100次,即,在两个连续的强度图像之间。
2020-10-29 cs.CV
OpenCL-based FPGA accelerator for disparity map generation with stereoscopic event cameras
Universitat Autònoma de Barcelona(巴塞罗那自治大学)
虽然基于事件的相机已经在商业上可用。基于它们的视觉算法仍然不常见。因此,几乎没有硬件加速器。在这项工作中,我们提出了一些实验来创建一个著名的视觉算法,使用基于事件的相机的FPGA加速器。我们提出了一种立体匹配算法来创建视差事件流视差图,并使用英特尔FPGA OpenCL工具链实现了几个加速器。结果表明,多个设计可以很容易地测试,并通过简单的代码转换可以实现超过8倍的性能加速。
2019-03-08 cs.CV
Investigating Event-Based Cameras for Video Frame Interpolation in Sports
Montefiore Institute, University of Liège(列日大学蒙泰菲奥雷研究所);IVUL, KAUST(阿卜杜拉国王科技大学IVUL研究所)
本文首次研究基于事件的视频帧插值模型在体育慢动作视频生成中的应用,设计RGB与事件相机双相机录制装置,并验证TimeLens模型能有效生成体育慢动作画面。
2024-07-03 cs.CV
Continuous-time Intensity Estimation Using Event Cameras
The Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织数据61所)
事件相机提供异步的,数据驱动的测量局部时间对比度在一个大的动态范围内具有极高的时间分辨率。常规相机捕获低频参考强度信息。这两种传感器模态提供互补信息。我们提出了一个计算效率高,异步过滤器,连续融合图像帧和事件到一个单一的高时间分辨率,高动态范围的图像状态。在没有常规图像帧的情况下,过滤器可以仅在事件上运行。我们提出了高速,高动态范围序列的实验结果,以及我们生成的新的地面实况数据集,以证明所提出的算法优于现有的最先进的方法。
2018-11-01 cs.CV
Stereo Hybrid Event-Frame (SHEF) Cameras for 3D Perception
Australian National University(澳大利亚国立大学);CSIRO(澳大利亚联邦科学与工业研究组织)
立体相机系统在机器人应用中扮演着重要的角色,以感知3D世界。然而,传统的相机由于底层的基于帧的机制而具有诸如低动态范围、运动模糊和延迟的缺点。事件相机解决了这些限制,因为它们以精细的时间分辨率独立地报告每个像素的亮度变化,但它们无法直接获取绝对强度信息。虽然集成的混合事件帧传感器(例如,DAVIS)是可用的,数据的质量受到这种相机的电路制造中的像素级耦合的影响。本文提出了一种立体混合事件-帧(SHEF)相机系统,该系统提供了一种具有单独的高质量纯事件和纯帧相机的传感器模态,克服了每个单独传感器的局限性,并允许立体深度估计。我们提供了一个SHEF数据集,旨在评估视差估计算法,并介绍了一种立体视差估计算法,该算法使用从事件流中提取的边缘信息与帧数据中检测到的边缘相关。我们的视差估计优于SHEF数据集上最先进的立体匹配算法。
2022-05-11 cs.CV
FracEvent: Event-Camera Simulation via Fractional-Relaxation Pixel Dynamics
The University of Sydney(悉尼大学);Massachusetts Institute of Technology(麻省理工学院);Beijing Technology and Business University(北京工商大学)
提出FracEvent模拟器,利用分数阶弛豫电压动力学建模像素级生命周期,通过连续电压轨迹定位阈值交叉生成事件,保留记忆模式以改进事件时序结构,在下游任务中优于现有方法。
2026-10-22 cs.CV cs.LG eess.IV
N-ImageNet: Towards Robust, Fine-Grained Object Recognition with Event Cameras
Seoul National University(首尔国立大学)
我们介绍了N-ImageNet,这是一个大规模的数据集,目标是使用事件相机进行鲁棒的细粒度对象识别。该数据集是使用可编程硬件收集的,其中事件相机始终围绕显示ImageNet图像的监视器移动。N-ImageNet是基于事件的对象识别的一个具有挑战性的基准,因为它有大量的类和样本。我们的经验表明,在N-ImageNet上进行预训练可以提高基于事件的分类器的性能,并帮助它们用很少的标记数据进行学习。此外,我们还提出了N-ImageNet的几种变体,以测试基于事件的分类器在不同相机轨迹和恶劣光照条件下的鲁棒性,并提出了一种新的事件表示方法来缓解性能下降。据我们所知,我们是第一个定量研究各种环境条件对基于事件的对象识别算法造成的后果。N-ImageNet及其变体有望指导在现实世界中部署基于事件的对象识别算法的实际实现。
2022-03-28 cs.CV
Control and Evaluation of Event Cameras Output Sharpness via Bias
University of Galway(戈尔韦大学);Xperi Corporation AB(Xperi公司AB)
事件摄像机也被称为神经形态传感器,是一种相对较新的技术,比RGB摄像机有一些优势。最重要的一个是它们在捕捉环境中的光变化方面的差异,每个像素在捕捉环境光变化时独立于其他像素而变化。为了增加用户在控制这些相机的输出时的自由度,例如改变传感器对光线变化的灵敏度,控制生成事件的数量和其他类似操作,相机制造商通常会引入一些工具来在相机设置中进行传感器级别的更改。这项研究的贡献是检查和记录的影响,改变传感器设置的清晰度作为一个指标的质量产生的事件数据流。为了具有定性的理解,将该事件流转换为帧,然后针对这些帧计算作为边缘数量的索引的平均图像梯度幅度以及相应的锐度。五种不同的偏置设置进行了说明,并调查和分析了它们的变化对事件输出的影响。此外,事件相机传感阵列的操作与模拟电路模型和偏置基础的功能与此模型相关联的解释。
2022-10-25 cs.CV
Visual Odometry with an Event Camera Using Continuous Ray Warping and Volumetric Contrast Maximization
ShanghaiTech University(上海科技大学)
我们提出了一种新的解决方案,跟踪和映射的事件相机。摄像机的运动包括旋转和平移,并且位移发生在任意结构的环境中。结果,图像匹配可能不再由低维单应性扭曲表示,从而使通常使用的扭曲事件图像(IWE)的应用复杂化。我们引入了一个新的解决方案,这个问题进行对比度最大化的3D。每个事件的射线投射的3D位置作为连续时间运动参数化的函数平滑地变化,并且通过最大化体积射线密度场中的对比度来找到最佳参数。因此,我们的方法对运动和结构进行联合优化。我们的方法的实际有效性支持的AGV运动估计和3D重建与一个单一的车载事件摄像机的应用程序。该方法接近常规相机获得的性能,并最终在具有挑战性的视觉条件下表现出色。
2021-07-07 cs.CV
How to Calibrate Your Event Camera
ETH Zurich(苏黎世联邦理工学院)
我们提出了一个通用的事件相机校准框架,使用图像重建。而不是依赖于闪烁的LED图案或外部屏幕,我们表明,基于神经网络的图像重建非常适合于事件摄像机的内在和外在校准的任务。我们提出的方法的优点是,我们可以使用标准的校准模式,不依赖于主动照明。此外,我们的方法使基于帧和基于事件的传感器之间进行外部校准的可能性,而无需额外的复杂性。仿真和真实实验均表明,在常见失真模型和各种失真参数下,通过图像重建进行的校准是准确的
2021-05-26 cs.CV
Event-based Camera Pose Tracking using a Generative Event Model
University of Zurich(苏黎世大学)
基于事件的视觉传感器模仿生物视网膜的操作,它们代表了传统相机的主要范式转变。基于事件的相机不是以人为选择的速率同步提供强度测量的帧,而是在亮度变化发生时异步提供关于亮度变化的信息。这种非冗余的信息片段被称为“事件”。这些传感器克服了传统相机的一些限制(响应时间、带宽和动态范围),但需要新的方法来处理它们输出的数据。我们解决的问题,基于事件的摄像机定位在一个已知的环境中,没有额外的传感,使用概率生成事件模型的贝叶斯过滤框架。我们的主要贡献是在过滤器中使用的似然函数的设计来处理所观察到的事件。基于传感器的物理特征和尖峰事件相对于亮度变化的类高斯分布的经验证据,我们建议使用对比度残差作为基于事件的相机和环境的估计姿态的测量结果解释观察到的事件。该滤波器允许在六个自由度运动的一般情况下定位。
2015-10-07 cs.CV cs.RO
EventNeuS: 3D Mesh Reconstruction from a Single Event Camera
Saarland University(萨尔兰大学);MPI for Informatics(信息研究所)
EventNeuS通过结合3D符号距离函数和密度场学习,利用事件相机数据实现更精确的3D网格重建。
2026-02-03 cs.CV
Collimator-assisted high-precision calibration method for event cameras
College of Aerospace Science and Engineering, National University of Defense Technology(航空航天科学与工程学院,国防科技大学)
本文提出一种基于光束校准的高精度事件相机校准方法,通过球运动模型和非线性优化提升远距离测量的精度和可靠性。
2025-12-18 cs.CV
Data-Driven Feature Tracking for Event Cameras With and Without Frames
Robotics and Perception Group(机器人与感知组);University of Zurich(苏黎世大学)
本文提出了一种基于数据驱动的事件相机特征跟踪方法,通过结合事件和帧信息,提升在低延迟和低带宽下的特征跟踪性能。
2026-01-15 cs.CV
Globally-Optimal Event Camera Motion Estimation
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystems and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);Australian National University(澳大利亚国立大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程研究中心)
事件相机是生物启发的传感器,在HDR条件下表现良好,并具有高时间分辨率。然而,与传统的基于帧的相机不同,事件相机测量异步像素级亮度变化,并以高度离散化的格式返回它们,因此需要新的算法。本文着眼于正面平行运动估计的事件相机。的事件流是由一个一般的单应性翘曲的时空量建模,并制定为一个最大化的对比度内的未翘曲事件的图像的目标。然而,与现有技术形成鲜明对比的是,我们导出了这个一般非凸问题的全局最优解,从而消除了对良好初始猜测的依赖性。我们的算法依赖于分支定界优化,我们推导出新颖的,递归的上界和下界六个不同的对比度估计函数。我们的方法的实际有效性是支持一个非常成功的应用AGV运动估计与面向下的事件摄像机,一个具有挑战性的情况下,传感器的经验前平行运动在前面的嘈杂,快速移动的纹理。
2022-03-08 cs.CV
Partially calibrated semi-generalized pose from hybrid point correspondences
University of Oulu(奥卢大学);Czech Technical University in Prague(布拉格捷克理工大学);ETH Zürich(苏黎世联邦理工学院)
在本文中,我们研究的问题,估计半广义姿态的部分校准的相机,即,具有未知焦距w.r.t.广义相机,从2D-2D和2D-3D点对应的混合集合。我们研究了广义相机系统内所有可能的相机配置。为了获得实用的求解器,以前未解决的挑战性的配置,我们测试不同的参数化,以及不同的解决策略的基础上,国家的最先进的方法生成高效的多项式求解器。我们评估三个最有前途的解决方案,即,H51 f求解器具有五个2D-2D对应关系和一个2D-3D对应关系,由通用相机内的同一相机查看,H32 f求解器具有三个2D-2D和两个2D-3D对应关系,H13 f求解器具有一个2D-2D和三个2D-3D对应关系,基于合成数据和真实数据。我们表明,在存在噪声的3D点,这些求解器提供更好的估计比相应的绝对姿态求解器。
2022-09-29 cs.CV
Unleashing the Temporal Potential of Stereo Event Cameras for Continuous-Time 3D Object Detection
KAIST(韩国科学技术院)
提出仅依赖事件相机的立体三维目标检测框架,通过双重过滤机制提取语义和几何信息,并利用对象中心信息增强回归,在动态环境中优于现有方法。
2025-08-04 cs.CV
Multi-Event-Camera Depth Estimation and Outlier Rejection by Refocused Events Fusion
Technische Universität Berlin(柏林工业大学);Einstein Center Digital Future(爱因斯坦数字未来中心);Science of Intelligence Excellence Cluster(智能科学卓越集群)
活动摄像机是生物启发的传感器,提供优于传统摄像机的优势。它们异步操作,以微秒分辨率对场景进行采样,并产生一系列亮度变化。这种非传统的输出激发了新颖的计算机视觉方法来释放相机的潜力。在这里,基于事件的立体三维重建SLAM的问题被认为是。大多数基于事件的立体方法试图利用相机的高时间分辨率和事件跨相机的连续性来建立匹配和估计深度。相比之下,这项工作研究如何估计深度没有明确的数据关联融合视差空间图像(DSI)起源于有效的单目方法。融合理论的开发和应用,以设计多摄像机三维重建算法,产生国家的最先进的结果,证实了与四个基线方法和测试各种可用的数据集的比较。
2022-09-12 cs.CV cs.RO eess.SP
Motion-Aware Optical Camera Communication with Event Cameras
ShanghaiTech University(上海科技大学)
针对传统光学相机通信受屏幕刷新、运动模糊等限制的问题,提出采用事件相机的新型系统,通过动态视觉标记与事件跟踪算法,实现高吞吐量、高精度且低误码率的通信与定位。
2024-12-01 cs.CV cs.RO