Asynchronous "Events" are Better For Motion Estimation
Xiamen University Malaysia(厦门大学马来西亚分校);Xiamen University(厦门大学)
基于事件的相机是一种生物启发的视觉传感器,它异步记录每个像素的强度变化(称为事件)。动态主动像素视觉传感器(DAVIS)是基于事件的摄像机的一个实例,它结合了标准摄像机和基于事件的摄像机。然而,传统的模型不能异步地处理事件流。为了异步分析事件流,大多数现有的方法都是在一定的时间间隔内累积事件,并将累积的事件作为一个同步帧来处理,这浪费了强度变化信息,削弱了DAVIS的优势。因此,在本文中,我们提出了第一个神经异步方法来处理事件流的事件为基础的相机。我们的方法异步提取动态信息的事件,利用以前的运动和关键功能的灰度帧。据我们所知,这是第一个通过新型深度神经网络分析事件流的神经异步方法。大量的实验表明,我们提出的模型实现了显着的改进对国家的最先进的基线。
2019-04-24 cs.CV
E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action Recognition
Politecnico di Torino(都灵理工大学);CINI Consortium(CINI联盟);Politecnico di Milano(米兰理工大学)
事件相机是一种新型的生物传感器,它以“事件”的形式异步捕获像素级的强度变化。由于它们的传感机制,事件相机几乎没有运动模糊,具有非常高的时间分辨率,并且比传统的基于帧的相机需要更少的功率和存储器。这些特性使它们非常适合多种现实应用,例如可穿戴设备上以自我为中心的动作识别,其中快速的摄像头运动和有限的功率挑战了传统的视觉传感器。然而,到目前为止,不断增长的基于事件的视觉领域忽视了事件相机在此类应用中的潜力。在本文中,我们表明,事件数据是一个非常有价值的方式为自我中心的行动识别。为此,我们引入了N-EPIC-Kitterfly,这是大规模EPIC-Kitterfly数据集的第一个基于事件的相机扩展。在这种情况下,我们提出了两种策略:(i)直接处理事件相机数据与传统的视频处理架构(E $^2$(GO))和(ii)使用事件数据提取光流信息(E $^2$(GO)MO)。在我们提出的基准测试中,我们表明事件数据提供了与RGB和光流相当的性能,但在部署时没有任何额外的流计算,并且仅RGB信息的性能提高了4%。
2022-04-03 cs.CV
LiFR-Seg: Anytime High-Frame-Rate Segmentation via Event-Guided Propagation
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学)
本文提出LiFR-Seg框架,通过事件驱动的运动场和不确定性感知的变形过程,在仅使用单帧RGB图像和异步事件数据的情况下实现任意时刻的高帧率语义分割。
2026-03-22 cs.CV
L2E: Lasers to Events for 6-DoF Extrinsic Calibration of Lidars and Event Cameras
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
随着神经形态技术的成熟,其在机器人和自动驾驶汽车系统中的应用已成为一个活跃的研究领域。特别是,事件摄像机已经成为低功耗和延迟要求高的应用中基于帧的摄像机的引人注目的替代品。为了使事件相机能够与激光雷达等主要传感器一起工作,我们提出了一种事件相机和激光雷达之间的直接,时间解耦的外部校准方法。利用事件相机的高动态范围、高时间分辨率和低延迟操作来直接记录激光雷达激光回波,从而允许基于信息的相关方法来优化两个传感器之间的6-DoF外部校准。本文提出了事件相机和激光雷达之间的第一种直接校准方法,消除了对基于帧的相机中介和/或高精度手部测量的依赖。
2023-02-21 cs.CV cs.RO
Event Camera Calibration of Per-pixel Biased Contrast Threshold
Australian National University(澳大利亚国立大学)
事件摄像机输出异步事件,以高时间分辨率表示强度变化,即使在极端照明条件下也是如此。目前,大多数现有的工作使用一个单一的对比度阈值来估计所有像素的强度变化。然而,复杂的电路偏置和制造缺陷导致偏置的像素和像素之间的失配对比度阈值,这可能导致不期望的输出。在本文中,我们提出了一个新的事件相机模型和两个校准方法,涵盖事件的相机和混合图像事件相机。当强度图像与事件同时提供时,我们还提出了一种有效的在线方法来校准事件相机,以适应随时间变化的事件率。我们证明了我们提出的方法相比,国家的最先进的几个不同的事件相机数据集的优势。
2020-12-17 cs.CV cs.RO
E-CHUM: Event-based Cameras for Human Detection and Urban Monitoring
University of Michigan(密歇根大学)
本文提出利用基于事件的相机进行城市动态研究,结合多传感器融合以提升监控效果和隐私保护。
2025-12-11 cs.CV eess.IV
Event-based Camera Pose Tracking using a Generative Event Model
University of Zurich(苏黎世大学)
基于事件的视觉传感器模仿生物视网膜的操作,它们代表了传统相机的主要范式转变。基于事件的相机不是以人为选择的速率同步提供强度测量的帧,而是在亮度变化发生时异步提供关于亮度变化的信息。这种非冗余的信息片段被称为“事件”。这些传感器克服了传统相机的一些限制(响应时间、带宽和动态范围),但需要新的方法来处理它们输出的数据。我们解决的问题,基于事件的摄像机定位在一个已知的环境中,没有额外的传感,使用概率生成事件模型的贝叶斯过滤框架。我们的主要贡献是在过滤器中使用的似然函数的设计来处理所观察到的事件。基于传感器的物理特征和尖峰事件相对于亮度变化的类高斯分布的经验证据,我们建议使用对比度残差作为基于事件的相机和环境的估计姿态的测量结果解释观察到的事件。该滤波器允许在六个自由度运动的一般情况下定位。
2015-10-07 cs.CV cs.RO
Generalized Event Cameras
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);NovoViz(诺沃维兹);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文提出广义事件相机,利用单光子传感器在低带宽下保留场景强度,实现高速高保真成像并支持即插即用下游推理。
2024-07-02 cs.CV eess.IV
Motion-Aware Optical Camera Communication with Event Cameras
ShanghaiTech University(上海科技大学)
针对传统光学相机通信受屏幕刷新、运动模糊等限制的问题,提出采用事件相机的新型系统,通过动态视觉标记与事件跟踪算法,实现高吞吐量、高精度且低误码率的通信与定位。
2024-12-01 cs.CV cs.RO
EvConv: Fast CNN Inference on Event Camera Inputs For High-Speed Robot Perception
University of Toronto(多伦多大学)
事件摄像机以高时间分辨率和宽动态范围捕获视觉信息。这使得能够以精细的时间粒度(例如,在快速变化的环境中。这使得事件相机对于涉及快速运动的高速机器人任务非常有用,例如高速感知,对象跟踪和控制。然而,对事件相机流的卷积神经网络推断当前不能以事件相机操作的高速度执行实时推断-当前CNN推断时间通常在数量级上更接近常规基于帧的相机的帧速率。为了充分利用事件摄像机提供的高频率和高时间分辨率,有必要以事件摄像机速率进行实时推理。本文介绍了EvConv,这是一种新的方法,可以对来自事件摄像机的输入进行CNN的快速推理。我们观察到,从事件相机到CNN的连续输入之间只有很小的差异。因此,我们建议对连续输入张量之间的差异或增量进行推断。这使得所需的浮点运算数量(以及推理延迟)显著减少,因为增量非常稀疏。我们设计EvConv来利用事件摄像机增量中的不规则稀疏性,并在网络的所有层中保留这些增量的稀疏性。我们证明了减少在向前传递所需的浮动操作的数量高达98%。我们还证明了使用CNN进行深度估计、对象识别和光流估计等任务的推理速度高达1.6倍,几乎没有准确性损失。
2023-03-08 cs.CV cs.RO
Event-based, 6-DOF Camera Tracking from Photometric Depth Maps
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
事件摄像机是生物启发的视觉传感器,输出像素级亮度变化,而不是标准的强度帧。这些摄像机不会出现运动模糊,并且具有非常高的动态范围,这使得它们能够在高速运动期间或在以高动态范围为特征的场景中提供可靠的视觉信息。这些特性以及极低的功耗使事件摄像机成为VR/AR和视频游戏应用中标准摄像机的理想补充。考虑到这些应用,本文解决了从现有的光度深度图(即,强度加深度信息)。我们的方法在每个事件到达时跟踪事件相机的6-DOF姿态,从而几乎消除了延迟。我们成功地在室内和室外场景中评估了该方法,并表明-由于事件相机的技术优势-我们的管道在以高速运动为特征的场景中工作,这仍然是标准相机无法访问的。
2017-10-31 cs.CV cs.RO
Heart Rate Detection Using an Event Camera
Dublin City University(都柏林城市大学);Xperi Corporation(Xperi公司);University of Galway(高威大学);Insight Centre for Data Analytics(洞察数据分析中心)
本文研究利用事件相机捕捉手腕皮肤表面因血流脉动引起的细微变化,以实现连续无创心率检测,并通过25名不同年龄和肤色参与者的实验验证了该方法的可行性。
2023-09-21 cs.CV eess.IV
DSEC: A Stereo Event Camera Dataset for Driving Scenarios
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
自动驾驶曾经是一项学术事业,在过去十年中获得了无与伦比的企业资助。尽管如此,目前自动驾驶汽车的运行条件大多局限于理想场景。这意味着在夜间、日出和日落等具有挑战性的照明条件下驾驶仍然是一个悬而未决的问题。在这些情况下,标准相机在低光和高动态范围性能方面被推到了极限。为了解决这些挑战,我们提出,DSEC,一个新的数据集,包含这样苛刻的照明条件,并提供了丰富的感官数据集。DSEC提供来自两台彩色帧相机和两台高分辨率单色事件相机的宽基线立体设置的数据。此外,我们还收集激光雷达数据和RTK GPS测量数据,这两种硬件都与所有相机数据同步。该数据集的一个显著特征是包含高分辨率事件相机。事件摄像机因其高时间分辨率和高动态范围的性能而受到越来越多的关注。然而,由于其新颖性,驾驶场景中的事件相机数据集很少。这项工作提出了第一个高分辨率,大规模的立体数据集与事件相机。该数据集包含53个序列,通过在各种照明条件下驾驶收集,并为基于事件的立体算法的开发和评估提供地面真实视差。
2021-03-10 cs.CV cs.RO
Inter-event Interval Microscopy for Event Cameras
National Key Laboratory for Multimedia Information Processing(国家多媒体信息处理重点实验室);Westlake Laboratory of Life Sciences and Biomedicine(西湖生命科学与生物医学实验室);School of Automation(自动化学院);Department of Automation(自动化系);Nanjing University Medical School(南京大学医学院)
提出基于事件相机的帧间间隔显微术(IEIM),通过量化连续事件的时间间隔实现静态和动态场景的强度重建,在荧光显微镜中实现高时空分辨率和动态范围。
2025-05-12 cs.CV eess.IV
Dynamic Event Camera Calibration
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉成像工程技术研究中心)
摄像机标定是解决三维计算机视觉问题的重要前提。传统方法依赖于校准图案的静态图像。这对事件摄像机的实际使用提出了有趣的挑战,特别是需要图像变化来产生足够的测量。因此,事件摄像机校准的当前标准包括使用闪烁模式。它们具有在所有重新投影的图案特征位置中同时触发事件的优点,但是难以在现场构造或使用这样的图案。提出了第一种动态事件摄像机标定算法。它直接从相机和校准图案之间的相对运动期间捕获的事件进行校准。该方法是由一种新的特征提取机制的校准模式,并利用现有的校准工具,通过多段连续时间配方优化所有参数。如通过我们对真实数据的结果所示,所获得的校准方法非常方便,并且可以从跨度小于10秒的数据序列中可靠地校准。
2021-07-28 cs.CV cs.RO
BiasBench: A reproducible benchmark for tuning the biases of event cameras
Cognitive Systems Group, University of Tübingen(图宾根大学认知系统组)
研究针对事件相机偏差调整工具少的问题,提出BiasBench这一包含多场景的可重现事件数据集,并展示三个场景及下游应用质量指标,还提出基于强化学习的方法促进在线偏差调整。
2026-07-10 cs.CV cs.RO
Multi-Event-Camera Depth Estimation and Outlier Rejection by Refocused Events Fusion
Technische Universität Berlin(柏林工业大学);Einstein Center Digital Future(爱因斯坦数字未来中心);Science of Intelligence Excellence Cluster(智能科学卓越集群)
活动摄像机是生物启发的传感器,提供优于传统摄像机的优势。它们异步操作,以微秒分辨率对场景进行采样,并产生一系列亮度变化。这种非传统的输出激发了新颖的计算机视觉方法来释放相机的潜力。在这里,基于事件的立体三维重建SLAM的问题被认为是。大多数基于事件的立体方法试图利用相机的高时间分辨率和事件跨相机的连续性来建立匹配和估计深度。相比之下,这项工作研究如何估计深度没有明确的数据关联融合视差空间图像(DSI)起源于有效的单目方法。融合理论的开发和应用,以设计多摄像机三维重建算法,产生国家的最先进的结果,证实了与四个基线方法和测试各种可用的数据集的比较。
2022-09-12 cs.CV cs.RO eess.SP
Real-time event simulation with frame-based cameras
University of Tuebingen(蒂宾根大学)
事件摄像机由于其有益的特性而在机器人和计算机视觉中变得越来越流行,例如,高时间分辨率、高带宽、几乎没有运动模糊以及低功耗。然而,这些相机在市场上仍然昂贵和稀缺,使大多数人无法使用。使用事件模拟器最大限度地减少了对真实事件摄像机的需求,以开发新的算法。然而,由于模拟的计算复杂性,现有模拟器的事件流不能实时的【形】生成,而是必须从现有视频序列中预先计算,或者预先渲染,然后从虚拟3D场景中模拟。虽然这些离线生成的事件流可以用作学习任务的训练数据,但所有依赖于响应时间的应用程序都不能从这些模拟器中受益,因为它们仍然需要实际的事件摄像机。这项工作提出的模拟方法,提高了两个数量级的事件模拟的性能(使他们实时的【形】能力),同时保持竞争力的质量评估。
2023-03-23 cs.CV cs.RO
Motion Equivariance OF Event-based Camera Data with the Temporal Normalization Transform
University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们专注于使用卷积神经网络(CNN)对事件数据进行对象识别。在目标识别中,神经网络对测试过程中数据的变化具有鲁棒性是很重要的。对于传统相机,翻译处理得很好,因为CNN自然是翻译的等变。然而,由于事件相机记录图像的光强度的变化,事件体积的几何形状将不仅取决于对象,而且取决于它们相对于相机的相对运动。由运动引起的事件的变形导致CNN在推断期间对看不见的运动不太鲁棒。为了解决这个问题,我们想探索CNN的等方差特性,这是一个研究得很好的领域,它证明了在输入图像的某些变换下会产生可预测的特征变形。
2019-11-28 cs.CV eess.IV
eKalibr: Dynamic Intrinsic Calibration for Event Cameras From First Principles of Events
School of Geodesy and Geomatics (SGG)(测绘地理信息学院);Wuhan University (WHU)(武汉大学)
针对现有事件相机标定方法工程依赖强或设备复杂的问题,提出基于事件圆形网格图案识别与正常流聚类的eKalibr方法,实现精确便捷的动态内参标定并开源验证。
2025-04-06 cs.CV cs.RO
Place Recognition with Event-based Cameras and a Neural Implementation of SeqSLAM
Queensland University of Technology(昆士兰科技大学);Imperial College(帝国理工学院);University of Edinburgh(爱丁堡大学)
基于事件的相机为机器人和计算机视觉领域提供了很大的潜力,部分原因是它们的大动态范围和极高的“帧速率“。这些属性使它们至少在理论上特别适合在具有挑战性的照明条件下在高速机器人平台上实现导航和绘图等任务,这对于传统算法和相机传感器来说是特别具有挑战性的任务。然而,在这些任务变得可行之前,必须在适应和创新当前基于RGB相机的算法以与基于事件的相机一起工作方面取得进展。在本文中,我们提出了正在进行的研究调查两种不同的方法,将基于事件的摄像机机器人导航:合适的地方识别/闭环技术的调查,并开发有效的神经实现的地方识别技术,使地方识别的可能性,使用基于事件的摄像机在非常高的帧速率使用类脑计算硬件。
2015-05-18 cs.CV cs.RO
EvMAPPER: High Altitude Orthomapping with Event Cameras
GRASP Laboratory, University of Pennsylvania(宾夕法尼亚大学GRASP实验室)
本文提出首个基于事件相机的无人机正射影像镶嵌方法EvMAPPER,利用事件相机像素异步触发特性,克服了传统CMOS相机在恶劣光照、运动模糊及高速运动下的局限,实现了在直射阳光和日落等复杂光照条件下的地图生成。
2024-09-26 cs.CV cs.RO
DEVO: Depth-Event Camera Visual Odometry in Challenging Conditions
ShanghaiTech University(上海科技大学);Beijing Institute of Technology(北京理工大学)
我们提出了一种新的实时视觉里程计框架的立体设置的深度和高分辨率的事件相机。我们的框架在具有挑战性的场景中平衡了准确性和鲁棒性对计算效率的影响。我们将传统的基于边缘的半密集视觉里程计扩展到从事件流中获得的时间表面图。半密集深度图是通过扭曲外部校准的深度相机的对应深度值来生成的。跟踪模块通过高效的几何半密集3D-2D边缘对齐来更新相机姿态。我们的方法在各种条件下捕获的公共和自我收集的数据集上进行了验证。我们表明,所提出的方法在常规条件下的性能与最先进的基于RGB-D相机的替代方案相当,并最终在高动态或低光照等具有挑战性的条件下表现出色。
2022-02-05 cs.CV cs.RO
Continuous-Time Visual-Inertial Odometry for Event Cameras
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
事件摄像机是生物启发的视觉传感器,输出像素级亮度变化,而不是标准的强度帧。与标准相机相比,它们具有显著的优势,即非常高的动态范围,无运动模糊,以及微秒级的延迟。然而,由于从根本上不同的结构的传感器的输出,新的算法,利用高的时间分辨率和传感器的异步性质是必需的。最近的工作表明,连续时间表示的事件摄像机姿势可以处理高的时间分辨率和异步性质的传感器在原则上的方式。在本文中,我们利用这样的连续时间表示与事件相机进行视觉惯性里程计。这种表示允许直接集成的异步事件微秒精度和惯性测量在高频率。事件摄像机的轨迹近似的刚体运动空间中使用三次样条的平滑曲线。该公式显着减少了轨迹估计问题中的变量数量。我们评估我们的方法从几个场景的真实数据,并从运动捕捉系统对地面真相的结果进行比较。我们表明,我们的方法提供了一个国家的最先进的视觉里程计方法的事件摄像机的结果提高了精度。我们还表明,无论是地图的方向和比例尺可以准确地恢复融合事件和惯性数据。据我们所知,这是第一次使用连续时间框架的事件相机的视觉惯性融合的工作。
2018-06-10 cs.CV cs.RO
Multi-Bracket High Dynamic Range Imaging with Event Cameras
Univ. of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Huawei Technologies(华为技术有限公司)
现代高动态范围(HDR)成像流水线对齐并融合在不同曝光时间捕获的多个低动态范围(LDR)图像。虽然这些方法在静态场景中工作良好,但动态场景仍然是一个挑战,因为LDR图像仍然受到饱和度和噪声的影响。在这种情况下,事件相机将是一个有效的补充,由于其较高的时间分辨率和动态范围。在本文中,我们提出了第一个多支架HDR管道结合一个标准的相机与事件相机。我们的研究结果表明,使用事件时,整体鲁棒性更好,在合成数据上PSNR提高了5dB,在真实数据上提高了0.7dB。我们还介绍了一个新的数据集,包含括号内的LDR图像与对齐的事件和HDR地面真相。
2022-04-28 cs.CV eess.IV
Noise2Image: Noise-Enabled Static Scene Recovery for Event Cameras
Department of Bioengineering, University of California, Berkeley(生物工程系,加州大学伯克利分校);Department of Electrical Engineering and Computer Sciences, University of California, Berkeley(电气工程与计算机科学系,加州大学伯克利分校);Department of Vision Science, University of California, Berkeley(视觉科学系,加州大学伯克利分校)
针对事件相机无法成像静态场景的问题,该研究发现光子噪声事件与场景强度相关,提出Noise2Image方法利用照度相关噪声特性恢复静态场景,无需额外硬件,为事件相机静态场景捕获提供新途径。
2024-12-05 cs.CV eess.IV
Event Camera Simulator Design for Modeling Attention-based Inference Architectures
University of Florida(佛罗里达大学)
近年来,人们对实现在图像传感器的水平上集成越来越多的计算的方法越来越感兴趣。这一上升趋势已经看到了对开发新型事件相机的研究兴趣的增加,这些事件相机可以直接在传感器中促进CNN计算。然而,基于事件的相机在市场上并不普遍,限制了对高级模型和算法的性能探索。本文提出了一个事件摄像机模拟器,可以是一个有力的工具,硬件设计原型,参数优化,注意力为基础的创新算法开发,和基准测试。建议的模拟器实现了一个分布式计算模型,以识别图像帧中的相关区域。我们的模拟器的相关性计算模型实现为一个模块的集合,并执行并行计算。分布式计算模型是可配置的,这使得它对于设计空间探索非常有用。模拟器的渲染引擎仅在有新事件时对帧区域进行采样。模拟器紧密地模拟类似于物理相机的图像处理流水线。我们的实验结果表明,模拟器可以有效地模拟事件的视觉与低开销。
2021-05-03 cs.CV eess.IV
Autofocus for Event Cameras
The University of Hong Kong(香港大学);Wuhan University(武汉大学);Beihang University(北京航空航天大学);City University of Hong Kong(香港城市大学)
对焦控制(FC)对于相机在具有挑战性的现实场景中捕捉清晰图像至关重要。自动对焦(AF)通过自动调整对焦设置来促进FC。然而,由于最近推出的事件相机缺乏有效的自动对焦方法,他们的FC仍然依赖于简单的自动对焦,如手动对焦调整,导致在具有挑战性的现实世界条件下适应性差。特别地,事件和帧数据之间在感测模态、噪声、时间分辨率等方面的固有差异,为事件相机设计有效的AF方法带来了许多挑战。为了解决这些挑战,我们开发了一种新的基于事件的自动聚焦框架,包括一个事件特定的焦点措施称为事件率(ER)和一个强大的搜索策略称为基于事件的黄金搜索(EGS)。为了验证我们的方法的性能,我们收集了一个基于事件的自动对焦数据集(EAD),其中包含在各种具有严重照明和运动条件的具有挑战性的场景中的同步帧,事件和焦点位置。在这个数据集和其他真实场景上的实验证明了我们的方法在效率和准确性方面优于最先进的方法。
2022-03-23 cs.CV cs.RO
Removing Blocking Artifacts in Video Streams Using Event Cameras
Northwestern University(西北大学)
在本文中,我们提出了EverRestNet,这是一种卷积神经网络,旨在使用来自神经形态传感器的事件来消除视频流中的块效应。我们首先使用四叉树结构来降低视频帧以产生块效应来模拟在严重受限的带宽下传输视频。来自神经形态传感器的事件也被模拟,但被完全传输。使用扭曲的帧和事件流,EverRestNet能够提高图像质量。
2021-05-12 cs.CV eess.IV
eWand: A calibration framework for wide baseline frame-based and event-based camera systems
University of Tuebingen(蒂宾根大学)
针对宽基线、多视角下帧相机与事件相机外参标定繁琐的问题,本文提出 eWand,利用不透明球内闪烁LED实现更快速、易用且高精度的联合外参标定。
2024-04-03 cs.CV cs.RO
EF-Calib: Spatiotemporal Calibration of Event- and Frame-Based Cameras Using Continuous-Time Trajectories
College of Engineering, Peking University(北京大学工学院);Fuzhou University(福州大学)
针对事件相机与帧相机组成的立体视觉系统标定难题,提出EF-Calib时空标定框架,通过新型标定靶标、事件识别算法和连续B样条位姿表示,实现了高精度的内参、外参及时间偏移标定。
2024-09-25 cs.CV cs.RO
Microsaccade-inspired Event Camera for Robotics
University of Maryland(马里兰大学);Zhejiang University(浙江大学);Huzhou Institute of Zhejiang University(浙江大学湖州研究院);Hong Kong University of Science and Technology(香港科技大学)
受人类微跳视启发,提出一种旋转楔形棱镜增强的事件相机系统AMI-EV,通过算法补偿额外运动,在保持低反应时间的同时稳定纹理,提升机器人视觉感知质量。
2024-05-28 cs.CV cs.RO
Stereo Event Lifetime and Disparity Estimation for Dynamic Vision Sensors
University of Zagreb Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院)
基于事件的相机是生物启发的传感器,在场景中输出异步的像素亮度变化,称为事件。与以固定帧速率输出帧并遭受运动模糊的标准相机相反,它们具有高动态范围和微秒级的时间分辨率。形成这种相机的立体对可以打开新的应用可能性,因为对于每个事件深度可以容易地估计;然而,为了充分利用传感器的异步性质并避免固定时间间隔事件累积,应该采用立体事件寿命估计。在本文中,我们提出了一种新的方法,立体事件相机的事件寿命估计,允许生成尖锐的梯度图像的事件,作为输入的视差估计方法。由于一个单一的亮度变化触发事件在两个事件相机传感器,我们提出了一种方法Single Shot事件的生命周期和视差估计,通过立体匹配的关联。所提出的方法是大约两倍的速度和更准确的寿命分别估计每个传感器,然后立体匹配。通过多个立体事件摄像机实验对真实世界的数据进行了验证。
2019-07-17 cs.CV cs.RO
LCE-Calib: Automatic LiDAR-Frame/Event Camera Extrinsic Calibration With A Globally Optimal Solution
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深港协同创新研究院);CWB Institute of Autonomous Driving(CWB自动驾驶研究院)
LiDAR和摄像头的结合使移动机器人能够感知具有多模态数据的环境,成为实现鲁棒感知的关键因素。传统的框架相机对不断变化的照明条件很敏感,这促使我们引入新型事件相机,使LiDAR相机融合更加完整和强大。然而,联合利用这些传感器,具有挑战性的外在校准问题应得到解决。本文提出了一种自动棋盘为基础的方法来校准之间的激光雷达和帧/事件相机,其中四个贡献。首先,本文提出了一种基于LiDAR点云的自动特征提取和棋盘格跟踪方法。其次,我们从事件流重建真实感帧图像,将传统的角点检测器应用到事件相机。第三,我们提出了一个初始化-细化过程来估计extrinsics使用点到平面和点到线的约束,在一个粗到细的方式。第四,我们引入了一个统一的和全局最优的解决方案,以解决校准中的两个优化问题。我们的方法已经在19个模拟和真实世界的数据集上进行了广泛的实验验证,并优于最先进的方法。
2023-03-17 cs.CV cs.RO
Traffic sign detection and recognition using event camera image reconstruction
AGH University of Science and Technology(AGH科技大学)
提出了一种基于事件摄像机信息的交通标志检测与识别方法。该解决方案使用FireNet深度卷积神经网络将事件重建为灰度帧。训练了两个YOLOv4网络模型,一个基于灰度图像,另一个基于彩色图像。基于灰度图像训练的模型效果最好,效率达到87.03%。
2022-12-16 cs.CV eess.IV
The Event-Camera Dataset and Simulator: Event-based Data for Pose Estimation, Visual Odometry, and SLAM
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
新的视觉传感器,如动态和有源像素视觉传感器(DAVIS),将传统的全局快门相机和基于事件的传感器集成在同一像素阵列中。这些传感器在高速机器人和计算机视觉方面具有巨大的潜力,因为它们使我们能够将传统相机的优点与基于事件的传感器的优点结合起来:低延迟,高时间分辨率和非常高的动态范围。然而,需要新的算法来利用传感器的特性,并应对其非常规输出,其中包括一系列异步亮度变化(称为“事件”)和同步灰度帧。为此,我们提出并发布了一系列在各种合成和真实环境中使用DAVIS捕获的数据集,我们希望这将激励对高速和高动态范围机器人和计算机视觉应用的新算法的研究。除了全局快门强度图像和异步事件外,我们还提供来自运动捕捉系统的惯性测量和地面实况相机姿态。后者允许定量地比较自我运动估计算法的姿态精度。所有数据都以标准文本文件和二进制文件(即,rosbag)。本文提供了可用数据的概述,并描述了一个模拟器,我们发布的开源创建合成事件相机数据。
2017-11-08 cs.CV cs.RO
Low-Cost Compressive Sensing for Color Video and Depth
Duke University(杜克大学)
对传统的现成彩色摄像机进行简单且廉价的(低功率和低带宽)修改,从该修改中,我们为每个原始测量帧恢复{多个}彩色帧,并且每个恢复的帧可以聚焦在不同的深度。对于每个测量帧的多个帧的恢复通过高速编码成为可能,通过单个编码孔径的平移来表现;廉价的平移通过将二进制代码安装在压电设备上来构成。为了同时恢复深度信息,经由可变电压以高速调制{液体}透镜。因此,在上述编码过程期间,液体透镜允许相机将焦点扫过多个深度。除了设计和实现的摄像头,快速恢复是通过一个随时算法利用小波/DCT系数的组稀疏性。
2014-02-27 cs.CV
CED: Color Event Camera Dataset
Australian National University(澳大利亚国立大学);ETH Zurich(苏黎世联邦理工学院);Monash University(莫纳什大学)
事件摄像机是一种新颖的生物视觉传感器,其像素在局部强度变化时输出异步和独立的时间戳尖峰,称为“事件”。事件摄像机在延迟、高动态范围(HDR)和时间分辨率方面优于传统的基于帧的摄像机。直到最近,事件摄像机一直局限于在强度通道中输出事件,然而,最近的进步导致了彩色事件摄像机的发展,如彩色DAVIS 346。在这项工作中,我们提出并发布了第一个彩色事件相机数据集(CED),其中包含50分钟的彩色帧和事件的镜头。CED具有各种各样的室内和室外场景,我们希望这将有助于推动基于事件的视觉研究。我们还提出了一个扩展的事件摄像机模拟器ESIM,使模拟的颜色事件。最后,我们提出了三个国家的最先进的图像重建方法,可用于将彩色DAVIS346转换为连续时间,HDR,彩色摄像机可视化的事件流,并在下游的视觉应用中使用的评估。
2019-04-24 cs.CV
Event-based Stereo Depth Estimation from Ego-motion using Ray Density Fusion
Technische Universität Berlin(柏林工业大学);Einstein Center Digital Future(爱因斯坦数字未来中心);SCIoI Excellence Cluster(SCIoI卓越集群)
事件相机是生物启发的传感器,通过响应场景中的亮度变化来模仿人类视网膜。它们以微秒级分辨率生成基于异步尖峰的输出,与传统相机相比具有高动态范围、低运动模糊和能效等优势。大多数基于事件的立体方法试图利用相机的高时间分辨率和事件跨相机的连续性来建立匹配和估计深度。相比之下,这项工作研究如何估计深度立体事件相机没有明确的数据关联融合后投影射线密度,并证明其有效性头戴式摄像机的数据,这是记录在一个以自我为中心的方式。代码和视频可在https://github.com/tub-rip/dvs_mcemvs上获得
2022-10-17 cs.CV cs.RO
EVIMO2: An Event Camera Dataset for Motion Segmentation, Optical Flow, Structure from Motion, and Visual Inertial Odometry in Indoor Scenes with Monocular or Stereo Algorithms
University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所);University of Maryland, College Park(马里兰大学帕克分校)
介绍了一种新的事件相机数据集EVIMO2,它通过在更复杂的场景中提供来自更好的相机的更多数据来改进流行的EVIMO数据集。与其前身一样,EVIMO2以每像素地面真实深度和分割以及相机和对象姿势的形式提供标签。所有序列都使用来自物理相机的数据,许多序列具有多个独立移动的对象。通常,这样的标记数据在物理事件相机数据集中不可用。因此,EVIMO2将作为现有算法的一个具有挑战性的基准,并为新算法的开发提供丰富的训练集。特别是,EVIMO2是适合于支持运动和对象分割,光流,运动恢复结构和视觉(惯性)里程计在单眼或立体配置的研究。EVIMO 2包含来自三个640 $\times$ 480事件相机、一个2080 $\times$ 1552经典彩色相机的41分钟数据、来自两个六轴惯性测量单元的惯性测量以及来自Vicon运动捕捉系统的毫米精度物体姿态。数据集的173个序列被分为三类。3.75独立移动的家居物品22.55分钟,静态场景22.55分钟,浅层场景中的基本运动14.85分钟。一些序列是在弱光条件下记录的,而传统的相机无法做到。深度和分段对于事件相机以60 Hz提供,对于经典相机以30 Hz提供。可以使用开源代码重新生成掩码,速率高达200 Hz。本技术报告简要介绍了EVIMO2。完整的文件可在网上查阅。单个序列的视频可以在下载页面上进行采样。
2022-05-06 cs.CV cs.RO
Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras
University of Dayton(代顿大学);Umm Al-Qura University(乌姆·古拉大学)
本文提出了一种新的方法,用于标记真实世界的神经形态相机传感器数据,通过计算在短时间窗口内每个像素处生成事件的可能性,我们将其称为“事件概率掩模”或“事件概率掩模”。其应用包括(i)事件去噪性能的客观基准测试,(ii)训练用于噪声去除的卷积神经网络,称为“事件去噪卷积神经网络“(EDnCNN),以及(iii)估计内部神经形态相机参数。我们提供了第一个数据集(DVSNOISE20)的真实世界标记的神经形态相机事件的噪声去除。
2020-03-23 cs.CV
Comparing Representations in Tracking for Event Camera-based SLAM
The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学)
本文研究了两种典型的图像类型表示的事件相机为基础的跟踪:时间表面(TS)和事件地图(EM)。在原有的基于TS的跟踪器的基础上,我们利用这两种表示的互补优势,开发了一个增强版本。建议的跟踪器包括一个通用的战略,以评估最优化问题的退化在线,然后切换适当的表示。TS和EM都依赖于运动和场景,因此找出它们在跟踪中的局限性很重要。我们开发了六个跟踪器的变化,并进行了彻底的比较,他们的序列涵盖各种场景和运动的复杂性。我们发布了我们的实现和详细的结果,以使事件摄像机的研究社区受益:https://github.com/gogojjh/ESVO_extension。
2021-04-20 cs.CV cs.RO
EventPoint: Self-Supervised Interest Point Detection and Description for Event-based Camera
Xiamen University(厦门大学);University of Sheffield(谢菲尔德大学);Bosch Research North America(博世北美研究院)
本文提出了一种自监督学习的局部检测器和描述符,称为EventPoint,用于事件流/摄像机跟踪和配准。基于事件的相机由于其生物灵感和低功耗而越来越受欢迎。尽管如此,由于其特殊的数据结构,将局部特征直接应用于事件流是困难的。我们提出了一种新的时间表面的事件流表示方法称为Tencode。Tencode处理的事件流数据可以获得兴趣点的像素级定位,同时还可以通过神经网络提取描述符。我们的网络利用彩色图像局部特征提取的先验知识,并通过单应性和时空适应进行自监督学习,而不是使用昂贵和不可靠的手动注释。据我们所知,我们提出的方法是第一次研究基于事件的局部特征学习使用深度神经网络。我们提供了全面的特征点检测和匹配实验,并使用三个公共数据集(即DSEC,N-Caltech 101和HVGA ATIS Corner Dataset)进行评估。实验结果表明,我们的方法优于SOTA的特征点检测和描述。
2022-10-30 cs.CV cs.RO
Traffic Sign Detection With Event Cameras and DCNN
AGH University of Science and Technology(AGH科技大学);Silesian University of Technology(西里西亚工业大学)
近年来,事件摄像机(DVS -动态视觉传感器)已经被用于视觉系统中作为传统摄像机的替代或补充。它们的特点是高动态范围、高时间分辨率、低延迟以及在有限照明条件下的可靠性能--这些参数在高级驾驶员辅助系统(ADAS)和自动驾驶汽车中尤为重要。在这项工作中,我们测试这些相当新颖的传感器是否可以应用于交通标志检测的流行任务。为此,我们分析了事件数据的不同表示:事件帧,事件频率和指数衰减的时间表面,并应用视频帧重建使用一个深神经网络称为FireNet。我们使用深度卷积神经网络YOLOv 4作为检测器。对于特定的表示,我们获得的检测精度在86.9- 88.9%mAP@0.5的范围内。所考虑的表示的融合的使用允许我们获得具有89.9%mAP@0.5的更高精度的检测器。相比之下,用FireNet重建的帧的检测器的特征在于72.67%mAP@0.5的准确度。所获得的结果说明了事件相机在汽车应用中的潜力,无论是作为独立的传感器还是与典型的基于帧的相机密切合作。
2022-07-27 cs.CV eess.IV
A Preliminary Research on Space Situational Awareness Based on Event Cameras
Beijing Institute of Aerospace Systems Engineering(北京宇航系统工程研究所);Space Engineering University(航天工程大学);China Academy of Launch Vehicle Technology(中国运载火箭技术研究院)
事件相机是一种不同于传统相机的新型传感器。每个像素都由一个事件异步触发。触发事件是照射在像素上的亮度的变化。如果增量或减量高于某个阈值,则输出事件。与传统摄像机相比,事件摄像机具有高时间分辨率、低延迟、高动态范围、低带宽和低功耗等优点。我们在模拟空间光环境中进行了一系列的观测实验。实验结果表明,事件相机在空间态势感知中能够充分发挥上述优势。本文首先介绍了事件摄像机的基本原理,然后分析了其优缺点,然后介绍了观察实验并分析了实验结果,最后给出了一种基于事件摄像机的空间态势感知工作流程。
2022-03-25 cs.CV
Semi-Dense 3D Reconstruction with a Stereo Event Camera
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);ShanghaiTech University(上海科技大学)
事件摄像机是生物启发传感器,具有低延迟、高速和高动态范围等多项优势,可应对计算机视觉中的挑战性场景。本文提出了一种解决方案的三维重建的问题,从一个立体的事件摄像机钻机在静态场景中移动,如在立体同时定位与地图构建的上下文中捕获的数据。所提出的方法包括一个能量函数的优化,旨在利用小基线的时空一致性的事件触发两个立体图像平面。为了提高重建的密度和减少估计的不确定性,还开发了概率深度融合策略。所得到的方法没有特殊的要求,无论是运动的立体事件相机钻机或先验知识的场景。实验表明,我们的方法可以处理纹理丰富的场景,以及稀疏的场景,优于最先进的基于事件数据图像表示的立体方法。
2018-07-19 cs.CV cs.RO
FA-Harris: A Fast and Asynchronous Corner Detector for Event Cameras
National University of Defense Technology(国防科技大学);National Innovation Institute of Defense Technology(国防科技创新研究院);Tianjin Artificial Intelligence Innovation Center(天津人工智能创新中心)
最近,新兴的生物启发的事件摄像机已经展示了在动态环境中广泛的机器人应用的潜力。在本文中,我们提出了一种新的快速和异步的基于事件的角点检测方法,称为FA-Harris。FA-Harris由几个组件组成,包括事件过滤器,全局活动事件表面(G-SAE)维护单元,角点候选选择单元和角点候选细化单元。提出的G-SAE保持算法和角点候选选择算法大大提高了角点检测的实时性,而角点候选细化算法通过使用改进的基于事件的Harris检测器来保持性能的准确性。此外,FA-Harris不需要人工合成的事件帧,可以直接对异步事件进行操作。我们在C++中实现了所提出的方法,并在公共事件摄像机数据集上对其进行了评估。结果表明,我们的方法实现了约8倍的速度相比,以前报道的基于事件的哈里斯检测器,并没有妥协的性能的准确性。
2019-08-28 cs.CV cs.RO
Event Cameras Meet SPADs for High-Speed, Low-Bandwidth Imaging
Robotics and Perception Group, University of Zurich, Switzerland(苏黎世大学机器人与感知组);Camera Culture Group, MIT Media Lab, USA(MIT媒体实验室相机文化组);EPFL, Lausanne, Switzerland(日内瓦联邦理工学院)
本文提出融合事件相机与SPAD传感器的框架,利用两者互补特性,实现低光高速成像,在100 kHz时间分辨率下较传统相机提升超过5 dB PSNR,并降低带宽成本。
2025-06-20 cs.CV eess.IV
Real-Time Panoramic Tracking for Event Cameras
Graz University of Technology(格拉茨工业大学)
事件相机是相机技术的一个范式转变。传感器捕获的不是完整的帧,而是由强度变化引起的稀疏事件集。由于仅传输更改,因此这些相机能够捕获场景中对象或相机本身的快速移动。在这项工作中,我们提出了一种新的方法来执行相机跟踪事件相机在全景设置与三个自由度。我们提出了一个直接的摄像机跟踪制定,类似于国家的最先进的视觉里程计。我们表明,同时跟踪和映射所需的最小信息是事件的空间位置,而不使用的成像场景点的外观。我们验证了鲁棒性快速相机运动和动态对象在场景中最近提出的数据集和自记录序列。
2017-03-21 cs.CV
Deep Event Visual Odometry
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对现有单目事件视觉里程计性能不足、依赖额外传感器的问题,提出纯单目事件系统DEVO,通过新型深度块选择机制稀疏追踪事件块,在七个基准上误差最高降97%,性能接近或超越双目/惯性方法。
2023-12-15 cs.CV cs.RO
Spiking Patches: Asynchronous, Sparse, and Efficient Tokens for Event Cameras
Technical University of Denmark(丹麦技术大学)
该研究提出针对事件相机的令牌生成器Spiking Patches,其保留事件异步稀疏特性,在手势识别和目标检测中推理速度较体素、帧令牌大幅提升,精度相当甚至更高,推动了基于事件的视觉发展。
2026-09-02 cs.CV cs.RO
Stereo Co-capture System for Recording and Tracking Fish with Frame- and Event Cameras
Technische Universität Berlin(柏林工业大学);Einstein Center Digital Future(爱因斯坦数字未来中心);SCIoI Excellence Cluster(SCIoI卓越集群)
本文介绍了一种多动物视觉数据采集的联合捕获系统,该系统使用传统相机和事件相机。事件相机提供了多个基于帧的相机的优势,如高时间分辨率和时间冗余抑制,使我们能够有效地捕捉快速和不稳定的鱼类运动。我们还提出了一个基于事件的多动物跟踪算法,这证明了该方法的可行性,并为进一步探索结合事件摄像机和传统摄像机的优点进行多动物跟踪设定了基线。
2022-11-22 cs.CV
Inceptive Event Time-Surfaces for Object Classification Using Neuromorphic Cameras
University of Dayton(代顿大学)
本文提出了一种新的融合低层次的降维方法到一个有效的方法,高层次的对象在神经形态相机数据称为初始事件时间表面(IETS)。IETS克服了传统的时间表面的几个限制,提高鲁棒性噪声,促进空间的一致性,并提高(移动)边缘的时间定位。将IETS与迁移学习相结合,提高了利用事件相机数据进行对象分类这一具有挑战性问题的最新性能。
2020-02-26 cs.CV cs.NE eess.IV
EventSplat: 3D Gaussian Splatting from Moving Event Cameras for Real-time Rendering
Sony Semiconductor Solutions Corporation(索尼半导体解决方案公司);University of Toronto(多伦多大学)
针对快速运动场景下新视角合成的难题,提出EventSplat方法,结合事件相机特性、事件转视频先验与样条插值,基于3D高斯泼溅实现比现有事件NeRF方法视觉效果更好、渲染速度快一个数量级的实时渲染。
2025-05-21 cs.CV