MonoPLFlowNet: Permutohedral Lattice FlowNet for Real-Scale 3D Scene FlowEstimation with Monocular Images
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
在三维计算机视觉中,真实场景流的估计变得越来越重要。一些工作成功地估计真实规模的三维场景流激光雷达。然而,这些无处不在的和昂贵的传感器仍然不太可能被广泛装备用于实际应用。其他作品使用单目图像来估计场景流,但它们的场景流估计是用尺度模糊度归一化的,其中需要额外的深度或点云地面实况来恢复真实尺度。尽管它们在2D中表现良好,但这些作品不能提供准确可靠的3D估计。我们提出了一个基于置换面体格的深度学习架构- MonoPLFlowNet。与以前的所有作品不同,我们的MonoPLFlowNet是第一个只使用两个连续的单目图像作为输入的作品,而深度和3D场景流都是以真实规模估计的。我们的真实规模的场景流量估计优于所有国家的最先进的单目图像为基础的作品恢复到真实规模的地面真相,并与激光雷达方法。作为一个副产品,我们的实际规模的深度估计也优于其他国家的最先进的作品。
2021-11-24 cs.CV
HPLFlowNet: Hierarchical Permutohedral Lattice FlowNet for Scene Flow Estimation on Large-scale Point Clouds
Stanford University(斯坦福大学);University of California, Davis(加州大学戴维斯分校);TuSimple(图森未来)
我们提出了一种新的深度神经网络架构,用于直接对大规模3D点云进行端到端场景流估计。受双边卷积层(BCL)的启发,我们提出了新的DownBCL,UpBCL和CorrBCL操作,从非结构化点云恢复结构信息,并融合来自两个连续点云的信息。操作离散和稀疏的permutohedral格点,我们的架构设计是节俭的计算成本。我们的模型可以有效地处理一对点云帧,每帧最多86K个点。我们的方法在FlyingThings3D和KITTI Scene Flow 2015数据集上实现了最先进的性能。此外,在合成数据上训练,我们的方法对真实世界的数据和不同的点密度表现出很强的泛化能力,而无需微调。
2019-06-12 cs.CV cs.LG eess.IV
Fusion-FlowNet: Energy-Efficient Optical Flow Estimation using Sensor Fusion and Deep Fused Spiking-Analog Network Architectures
Purdue University(普渡大学)
对光强度帧进行采样的标准基于帧的相机受到高速运动的运动模糊的严重影响,并且在动态范围高时无法准确地感知场景。另一方面,基于事件的相机通过异步检测各个像素强度的变化来克服这些限制。然而,事件相机仅提供关于运动中的像素的信息,从而导致稀疏数据。因此,估计像素的整体密集行为是困难的。为了解决与传感器相关的这些问题,我们提出了融合FlowNet,一个传感器融合框架,用于使用基于帧和基于事件的传感器进行节能光流估计,利用它们的互补特性。我们提出的网络架构也是脉冲神经网络(SNN)和模拟神经网络(ANN)的融合,其中每个网络被设计为分别同时处理异步事件流和基于常规帧的图像。我们的网络是使用无监督学习进行端到端训练的,以避免昂贵的视频注释。该方法在不同的环境(快速运动和具有挑战性的照明条件)中具有很好的通用性,并在多车辆立体事件摄像机(MVSEC)数据集上展示了最先进的光流预测。此外,我们的网络在网络参数和计算能源成本方面提供了大量的节省。
2021-03-19 cs.CV cs.NE
EV-FlowNet: Self-Supervised Optical Flow Estimation for Event-based Cameras
University of Pennsylvania(宾夕法尼亚大学)
基于事件的相机在基于帧的相机受到影响的各种情况下(诸如高速运动和高动态范围场景)已经显示出很大的前景。然而,开发用于事件测量的算法需要一类新的手工算法。深度学习在为视觉社区中的许多问题提供无模型解决方案方面取得了巨大成功,但现有网络的开发考虑到了基于帧的图像,并且不存在用于监督训练的图像所具有的丰富的事件标记数据。针对这些问题,我们提出了EV-FlowNet,这是一种新型的自监督深度学习管道,用于基于事件的相机的光流估计。特别是,我们引入了一个给定的事件流,这是一个自我监督的神经网络作为唯一的输入馈入基于图像的表示。在给定来自网络的估计流量的情况下,与事件同时从同一相机捕获的对应灰度图像然后被用作监督信号以在训练时间提供损失函数。我们表明,由此产生的网络是能够准确地预测光流的事件,只有在各种不同的场景,与基于图像的网络的性能竞争。该方法不仅可以精确估计密集光流,而且还提供了一个框架,其他自监督的方法转移到基于事件的域。
2018-08-13 cs.CV cs.RO
Optical Flow Estimation using a Spatial Pyramid Network
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们通过将经典的空间金字塔公式与深度学习相结合来学习计算光流。这通过按当前流估计扭曲每个金字塔级别处的一对图像中的一个图像并计算对流的更新来以粗略到精细的方法估计大的运动。我们不是在每个金字塔级别上对目标函数进行标准的最小化,而是在每个级别上训练一个深度网络来计算流量更新。与最近的FlowNet方法不同,网络不需要处理大的运动;这些运动由金字塔处理。这有几个优点。首先,我们的空间金字塔网络(SPyNet)在模型参数方面比FlowNet简单得多,小96%。这使得它更有效,更适合嵌入式应用程序。其次,由于每个金字塔级别的流量很小(< 1像素),因此应用于扭曲图像对的卷积方法是合适的。第三,与FlowNet不同的是,学习的卷积滤波器看起来类似于经典的时空滤波器,让我们深入了解该方法以及如何改进它。在大多数标准基准测试中,我们的结果比FlowNet更准确,这表明了将经典流方法与深度学习相结合的新方向。
2016-11-21 cs.CV
ST-FlowNet: An Efficient Spiking Neural Network for Event-Based Optical Flow Estimation
Clinical Hospital of Chengdu Brain Science Institute(成都脑科学研究院临床医院);MOE Key Lab for NeuroInformation(教育部神经信息关键实验室);China-Cuba Belt and Road Joint Laboratory on Neurotechnology and Brain-Apparatus Communication(中 cuba 带路神经技术与脑-装置通信联合实验室);School of Life Science and Technology, University of Electronic Science and Technology of China(电子科技大学生命科学与技术学院);School of Artificial Intelligence, Chongqing University of Education(重庆教育学院人工智能学院);Sichuan Academy of Medical Sciences and Sichuan Provincial People’s Hospital(四川省医学科学院和四川省人民医院);Research Unit of NeuroInformation (2019RU035), Chinese Academy of Medical Sciences(神经信息研究单位(2019RU035),中国医学科学院)
本文提出专为基于事件数据光流估计设计的ST-FlowNet架构,集成ConvGRU模块增强跨模态特征与时间对齐,并结合BISNN等方法从预训练ANN推导SNN以简化参数选择,在三个基准数据集上实现优于现有方法的精确光流估计且具备高能效。
2025-04-27 cs.CV cs.NE q-bio.NC
FlowNet: Learning Optical Flow with Convolutional Networks
University of Freiburg(弗莱堡大学);Technical University of Munich(慕尼黑工业大学)
卷积神经网络(CNN)最近在各种计算机视觉任务中非常成功,特别是在与识别相关的任务中。光流估计并不是CNN成功的任务之一。在本文中,我们构建了适当的CNN,能够解决光流估计问题作为一个监督学习任务。我们提出并比较了两种架构:一个通用的架构和另一个包括一个层,在不同的图像位置的相关特征向量。由于现有的地面实况数据集不足以训练CNN,我们生成一个合成的飞椅数据集。我们发现,在这种不切实际的数据上训练的网络仍然可以很好地推广到现有的数据集,如Sintel和KITTI,在5到10 fps的帧速率下实现了有竞争力的准确性。
2015-05-04 cs.CV cs.LG
LiteFlowNet: A Lightweight Convolutional Neural Network for Optical Flow Estimation
CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室,香港中文大学)
FlowNet 2是用于光流估计的最先进的卷积神经网络(CNN),需要超过160 M的参数来实现准确的流量估计。在本文中,我们提出了一种替代网络,它在具有挑战性的Sintel final pass和KITTI基准测试中的性能优于FlowNet2,同时模型大小小30倍,运行速度快1.36倍。这是通过深入到当前框架中可能遗漏的架构细节来实现的:(1)我们通过轻量级级联网络在每个金字塔级别上提出了一种更有效的流推理方法。它不仅通过早期校正提高了流量估计的准确性,而且还允许在我们的网络中无缝地结合描述符匹配。(2)我们提出了一种新的流正则化层,通过使用特征驱动的局部卷积来改善异常值和模糊流边界的问题。(3)我们的网络拥有一个有效的金字塔特征提取的结构,并包括特征扭曲,而不是在FlowNet2中实践的图像扭曲。我们的代码和训练模型可以在www.example.com上找到。
2018-05-18 cs.CV
Self-Configurable Stabilized Real-Time Detection Learning for Autonomous Driving Applications
Korea University(高丽大学);University of Central Florida(中佛罗里达大学)
在自动驾驶环境中,同时保证实时的【形】和准确的目标检测至关重要。然而,现有的目标检测神经网络系统的特征在于计算时间和准确性之间的权衡,使得优化这样的权衡是必要的。幸运的是,在许多自动驾驶环境中,图像以连续的形式出现,这为使用光流提供了机会。在本文中,我们提高性能的目标检测神经网络利用光流估计。此外,我们提出了一个李雅普诺夫优化框架的时间平均性能最大化的稳定性。该算法自适应地确定是否使用光流来适应动态车辆环境,从而在保证车辆排队稳定性的同时保证车辆时均性能最大化。为了验证的关键思想,我们进行了各种目标检测神经网络和光流估计网络的数值实验。此外,我们展示了自配置的稳定检测与YOLOv 3-tiny和FlowNet 2-S,这是实时的【形】目标检测网络和光流估计网络,分别。在演示中,我们提出的框架提高了3.02%的准确性,检测到的对象的数量由59.6%,和计算能力的队列稳定性。
2022-09-29 cs.CV cs.SY eess.SY
Layered Optical Flow Estimation Using a Deep Neural Network with a Soft Mask
Illinois Institute of Technology(伊利诺伊理工学院)
使用分层表示进行运动估计具有能够处理不连续性和遮挡的优点。在本文中,我们学习通过将分层运动表示与深度学习相结合来估计光流。代替预先分割的图像层,所提出的方法自动生成一个分层表示的光流使用建议的软掩模模块。软掩模模块的基本组成部分是最大输出和融合操作,这使得光流的不相交分层表示和更准确的流量估计。我们表明,通过使用掩码的运动估计结果在输出层的输入功能的二次函数。所提出的软掩模模块可以添加到任何现有的光流估计网络,通过替换它们的流输出层。在这项工作中,我们使用FlowNet作为基础网络,我们添加软掩码模块。由此产生的网络进行了测试,在三个著名的基准与监督和无监督的流量估计任务。评价结果表明,与原FlowNet相比,该网络取得了更好的效果。
2018-05-09 cs.CV
Finding Correspondences for Optical Flow and Disparity Estimations using a Sub-pixel Convolution-based Encoder-Decoder Network
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
深度卷积神经网络(DCNN)最近在光流和视差估计等低级计算机视觉问题中显示出了有希望的结果,但仍有很大的空间进一步提高其性能。在本文中,我们提出了一种新的基于亚像素卷积的编码器-解码器网络的光流和视差估计,它可以扩展FlowNetS和DispNet通过使用超像素卷积块代替反卷积层。通过在解码器级上使用亚像素细化和估计而不是去卷积,即使在参数数量减少的情况下,我们也可以显著提高对光流和视差的估计精度。我们展示了我们提出的网络的有监督的端到端训练,用于光流和视差估计,以及用于单目深度和姿态估计的无监督的端到端训练。为了验证我们提出的网络的有效性,我们进行了密集的实验(i)光流和视差估计,(ii)单眼深度和姿态估计。在整个广泛的实验中,我们提出的网络在估计精度和训练时间方面优于FlowNetS和DispNet等基线。
2018-10-07 cs.CV cs.LG
A Lightweight Optical Flow CNN - Revisiting Data Fidelity and Regularization
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
四十多年来,大多数解决的问题,光流估计使用变分方法。随着机器学习的发展,最近的一些工作试图使用卷积神经网络(CNN)来解决这个问题,并显示出有希望的结果。FlowNet 2是最先进的CNN,需要超过1.6亿个参数才能实现准确的流量估计。我们的LiteFlowNet 2在Sintel和KITTI基准测试中优于FlowNet 2,同时模型尺寸小25.3倍,运行速度快3.1倍。LiteFlowNet 2建立在传统方法的基础上,类似于变分方法中的数据保真度和正则化。我们计算光流的空间金字塔制定SPyNet,但通过一个新的轻量级级联流推理。它通过早期校正并无缝结合描述符匹配来提供高流量估计准确性。流正则化通过特征驱动的局部卷积来改善异常值和模糊流边界的问题。我们的网络还拥有一个有效的金字塔特征提取结构,并包含特征扭曲,而不是像FlowNet 2和SPyNet中实践的图像扭曲。与LiteFlowNet相比,LiteFlowNet 2将Sintel Clean的光流精度提高了23.3%,Sintel Final提高了12.8%,KITTI 2012提高了19.6%,KITTI 2015提高了18.8%,同时速度提高了2.2倍。我们的网络协议和训练模型在https://github.com/twhui/LiteFlowNet2上公开提供。
2020-03-15 cs.CV
Event-based Temporally Dense Optical Flow Estimation with Sequential Learning
Purdue University(普渡大学)
本文提出将光流估计视为序列问题,利用LSTM和SNN两种循环网络实现100Hz的时间密集光流估计,相比基线EV-FlowNet误差降低13%,且SNN能耗仅为LSTM的1.5%。
2023-10-12 cs.CV eess.IV
Secrets in Computing Optical Flow by Convolutional Networks
The Australian National University(澳大利亚国立大学)
卷积神经网络(CNN)在计算机视觉领域有着广泛的应用。尤其是在分类方面。最近,FlowNet和一些使用CNN进行光学估计的工作显示了CNN在进行逐像素回归方面的潜在能力。我们提出了几种可以估计光流的CNN网络结构,并充分揭示了这些结构之间的内在差异。
2017-10-04 cs.CV
Patient-Specific Domain Adaptation for Fast Optical Flow Based on Teacher-Student Knowledge Transfer
Leibniz Universität Hannover(汉诺威莱布尼茨大学)
快速运动反馈在移动组织的计算机辅助手术(CAS)中至关重要。安全关键视觉应用中的图像辅助需要对组织运动进行密集跟踪。这可以使用光流(OF)来完成。高处理速率下的准确运动预测可提高患者安全性。当前的深度学习OF模型显示了常见的速度与准确性的权衡。为了在高处理速率下实现高精度,我们提出了对快速模型进行患者特定的微调。这最大限度地减少了训练和应用数据之间的域差距,同时将目标域减少到较低复杂度的快速模型的能力。我们建议在手术室术前获得训练序列。我们通过师生学习来处理缺失的地面事实。使用教师模型FlowNet2的流量估计,我们在患者特定领域专门设计了一个快速学生模型FlowNet2S。对来自Hamlyn数据集的序列进行评价。我们的学生模型在微调后表现出非常好的性能。跟踪精度与教师模型相当,速度提高了6倍。可在几分钟内进行微调,使其适用于手术室。我们的方法允许使用以前不适合这项任务的实时模型。该方法为CAS中改进的患者特异性运动估计奠定了基础。
2020-07-09 cs.CV
How Do Neural Networks Estimate Optical Flow? A Neuropsychology-Inspired Study
Delft University of Technology(代尔夫特理工大学)
端到端训练的卷积神经网络在光流估计方面取得了突破。最新的进展集中在通过改进架构和在公开可用的MPI-Sintel数据集上设置新的基准来改进光流估计。相反,在本文中,我们研究了深度神经网络如何估计光流。更好地理解这些网络的功能对于(i)评估它们对未知输入的泛化能力以及(ii)提出改进其性能的建议非常重要。对于我们的研究,我们专注于FlowNetS,因为它是用于光流估计的编码器-解码器神经网络的原型。此外,我们使用的过滤器识别方法,发挥了重要作用,在揭示运动过滤器存在于动物大脑中的神经心理学研究。该方法表明,在最深层的FlowNetS的过滤器是敏感的各种运动模式。我们不仅发现了动物大脑中的平移过滤器,而且由于人工神经网络中更容易测量,我们甚至揭示了扩张,旋转和遮挡过滤器。此外,我们发现在网络的细化部分和感知填充过程中发生在哺乳动物初级视觉皮层的相似之处。
2021-06-02 cs.CV cs.LG eess.IV
FDFlowNet: Fast Optical Flow Estimation using a Deep Lightweight Network
Shanghai Jiao Tong University(上海交通大学)
使用深度神经网络估计光流已经取得了重大进展。高级深度模型实现精确的流量估计,通常具有相当大的计算复杂性和耗时的训练过程。在这项工作中,我们提出了一个轻量级的,但有效的实时光流估计模型,称为FDFlowNet(快速深流网)。我们在具有挑战性的KITTI和Sintel基准测试中实现了更好或类似的精度,同时比PWC-Net快2倍。这是通过精心设计的结构和新提出的组件实现的。我们首先介绍了一个U形网络,用于构建多尺度特征,与金字塔网络相比,该网络有利于具有全局感受野的上层。在每个尺度上,提出了一种具有膨胀卷积的部分全连接结构用于流量估计,与顺序连接和密集连接结构相比,该结构在速度,精度和参数数量之间获得了良好的平衡。实验表明,我们的模型实现了最先进的性能,同时是快速和轻量级的。
2020-06-22 cs.CV
A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation
University of Freiburg(弗赖堡大学);Technical University of Munich(慕尼黑工业大学)
最近的工作表明,光流估计可以用公式表示为监督学习任务,并且可以用卷积网络成功地解决。所谓的FlowNet的训练是由一个大型的合成生成的数据集实现的。本文将基于卷积网络的光流估计的概念扩展到视差和场景流估计。为此,我们提出了三个合成立体视频数据集,具有足够的现实主义,变化和大小,成功地训练大型网络。我们的数据集是第一个能够训练和评估场景流方法的大规模数据集。除了数据集之外,我们还提出了一个用于实时视差估计的卷积网络,该网络提供了最先进的结果。通过结合流量和视差估计网络并对其进行联合训练,我们展示了使用卷积网络的第一个场景流量估计。
2015-12-07 cs.CV cs.LG stat.ML
Cubes3D: Neural Network based Optical Flow in Omnidirectional Image Scenes
Chemnitz University of Technology(开姆尼茨工业大学)
利用卷积神经网络(CNN)进行光流估计已经成功地解决了计算机视觉的各种任务。在本文中,我们适应了一个国家的最先进的方法,光流估计全向图像。我们研究了CNN架构,以确定鱼眼图像的几何形状引起的高运动变化。进一步定性地分析了非刚性物体的纹理对运动矢量的影响。为了评估结果,我们综合创建地面实况运动场。地面实况包含具有静态背景的立方体。我们通过指示常见的错误度量来测试预先训练的FlowNet 2.0架构的变化。我们产生竞争力的结果与不均匀纹理的运动物体上的前景的运动。
2018-05-22 cs.CV
EventHPE: Event-based 3D Human Pose and Shape Estimation
University of Alberta(阿尔伯塔大学);Shandong University(山东大学);Celepixel Technology;University of Guelph(圭尔夫大学);Nanyang Technological University(南洋理工大学)
事件相机是一种新兴的图像传感器,用于捕获运动物体的动态作为事件,这激发了我们的工作,估计三维人体姿态和形状的事件信号。另一方面,事件有其独特的挑战:事件信号最擅长捕捉局部运动,而不是捕捉静态的身体姿势。这让我们提出了一种两阶段的深度学习方法,称为EventHPE。第一阶段,FlowNet,通过无监督学习来训练以从事件推断光流。事件和光流都与人体动力学密切相关,在第二阶段将其作为ShapeNet的输入,以估计3D人体形状。为了缓解基于图像的流(光流)和基于形状的流(人体形状的顶点移动)之间的差异,通过利用两种流都源自相同的人体运动这一事实,引入了一种新的流相干性损失。一个内部的基于事件的3D人体数据集被策划,带有3D姿势和形状注释,这是迄今为止我们所知的最大的一个。对DHP19数据集和我们的内部数据集的实证评估证明了我们的方法的有效性。
2021-08-15 cs.CV
FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for Optical Flow Estimation
光流估计是视频分析领域中一个重要而又具有挑战性的问题。卷积神经网络的不同语义级别/层的特征可以提供不同粒度的信息。为了利用这些灵活而全面的信息,我们提出了一种半监督的特征金字塔相关和残差重建网络(FPCR-Net),用于从帧对中估计光流。它包括两个主要模块:金字塔相关映射和残差重建。金字塔相关性映射模块利用全局/局部块的多尺度相关性,通过聚合不同尺度的特征来形成多级成本体积。残差重构模块的目标是重构每一级中更精细光流的子带高频残差。基于金字塔相关映射,我们进一步提出了一个相关-扭曲-归一化(CWN)模块,以有效地利用相关依赖。实验结果表明,该方案实现了最先进的性能,在平均端点误差(AEE)方面的改进,与竞争基线方法-FlowNet 2,LiteFlowNet和PWC-Net在Sintel数据集的最终通过上,分别为0.80,1.15和0.10。
2021-11-23 cs.CV
Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation
Peking University(北京大学)
事件相机为视觉感知提供了有前途的替代方案,特别是在高速和高动态范围场景中。最近,许多深度学习方法在为许多基于事件的问题(例如光流估计)提供有前途的解决方案方面取得了巨大成功。然而,现有的深度学习方法没有从建筑设计的角度很好地解决时态信息的重要性,无法有效地提取时空特征。另一种利用脉冲神经网络的研究受到更深层次结构的训练问题的困扰。为了解决这些问题,提出了一种新的输入表示法,该表示法捕获事件的时间分布以用于信号增强。此外,我们介绍了一个时空递归的编码-解码神经网络架构的事件为基础的光流估计,它利用卷积门控递归单元提取特征映射从一系列的事件图像。此外,我们的架构允许一些传统的基于帧的核心模块,如相关层和迭代残差细化方案,被纳入。该网络在多车辆立体事件相机数据集上进行端到端的自监督学习训练。我们已经证明,它优于所有现有的国家的最先进的方法,由一个很大的利润。代码链接是https://github.com/ruizhao26/STE-FlowNet。
2022-04-05 cs.CV
CapsFlow: Optical Flow Estimation with Capsule Networks
Indian Institute of Science(印度科学学院)
本文提出CapsFlow,利用胶囊网络建模物体姿态并通过简单线性运算估计光流,在小规模数据集上超越FlowNetC和PWC-Net。
2023-12-02 cs.CV
Exploiting Spatiotemporal Properties for Efficient Event-Driven Human Pose Estimation
The University of Sydney(悉尼大学);The Hong Kong University of Science and Technology(香港科学与技术大学)
本文提出利用事件流的时空特性,结合点云框架提升人体姿态估计性能,实验显示在DHP19数据集上平均MPJPE减少4%。
2026-03-06 cs.AI cs.CV
On the Geometry of Learned Representations in Event-Based Multi-Modal Egomotion Estimation
Politecnico di Milano(米兰理工大学)
研究基于事件的多模态自我运动估计中多模态网络的几何结构,通过跨模态注意力架构融合多模态信号并训练,分析潜在空间几何和注意力动态,揭示相关特性,架起分析估计理论与数据驱动融合的桥梁。
2026-07-20 cs.AI cs.CV
EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision
Peking University(北京大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出EvHandPose,利用手部流表示和弱监督框架解决事件相机手部姿态估计中的运动模糊与稀疏标注问题,并构建首个大规模真实事件手部数据集,实验证明其性能优于现有方法。
2023-12-28 cs.AI cs.CV
EAG3R: Event-Augmented 3D Geometry Estimation for Dynamic and Extreme-Lighting Scenes
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学)
EAG3R通过引入事件流和改进的损失函数,提升了动态低光照环境下3D几何估计的鲁棒性。
2026-02-04 cs.AI cs.CV
SRFlow: A Dataset and Regularization Model for High-Resolution Facial Optical Flow via Splatting Rasterization
School of Automation, Guangdong University of Technology(广东工业大学自动化学院)
SRFlow提出高分辨率面部光流数据集和模型,通过定制正则化损失提升光流估计精度和微表情识别性能。
2026-01-10 cs.CV
Spatio-Temporal State Space Model For Efficient Event-Based Optical Flow
Advanced Research and Innovation Center (ARIC), Khalifa University, Abu Dhabi, UAE(高级研究与创新中心(ARIC),哈利法大学,阿布扎比,阿联酋);Department of Computer Science, Khalifa University of Science and Technology, Abu Dhabi, UAE(计算机科学系,哈利法科学技术大学,阿布扎比,阿联酋)
提出 STSSM 模块及新网络,利用状态空间模型捕获事件数据时空相关性,在 DSEC 上以显著更低计算量和更快推理实现有竞争力的光流估计。
2025-06-09 cs.CV
Labits: Layered Bidirectional Time Surfaces Representation for Event Camera-based Continuous Dense Trajectory Estimation
针对事件相机表示构建中信息损失限制连续密集轨迹估计性能的问题,提出保留多类特征的Labits分层双向时间表面表示及APLOF提取模块,在MultiFlow数据集上将轨迹端点误差降低49%。
2024-12-12 cs.AI cs.CV cs.ET
Simultaneous Motion And Noise Estimation with Event Cameras
Keio University(庆应大学);Woven by Toyota, Inc.(丰田公司);Technische Universität Berlin(柏林技术大学);Einstein Center Digital Future, Robotics Institute Germany, and Science of Intelligence Excellence Cluster, Germany(数字未来爱因斯坦中心、德国机器人研究所及智能科学卓越中心)
针对事件相机噪声难表征、现有去噪与运动任务分离处理的问题,提出首个运动与噪声同步估计方法,支持替换运动估计器,在多基准任务上取得优异结果,推动去噪理论发展并开源代码。
2025-08-01 cs.AI cs.CV eess.IV
Single Image Optical Flow Estimation with an Event Camera
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
事件相机是生物启发的传感器,以微秒分辨率异步报告强度变化。DAVIS可以捕获场景的高动态,同时输出高时间分辨率事件和低帧速率强度图像。在本文中,我们提出了一个单一的图像(可能模糊)和事件的光流估计方法。首先,我们演示了如何使用事件来改善流量估计。为此,我们编码流和事件之间的关系,有效地提出了一个基于事件的光度一致性制定。然后,我们考虑在视觉环境中由高动态引起的图像模糊的特殊情况,并表明在我们的模型中包括模糊的形成进一步限制了流量估计。这与现有的忽略模糊图像的作品形成鲜明对比,而我们的配方可以自然地处理模糊或清晰的图像,以实现准确的流量估计。最后,我们减少流量估计,以及图像去模糊,使用原始-对偶算法的目标函数的替代优化问题。合成和真实数据(模糊和非模糊图像)的实验结果表明,我们的模型相比,最先进的方法的优越性。
2020-04-01 cs.CV
Globally Optimal Contrast Maximisation for Event-based Motion Estimation
The University of Adelaide(阿德莱德大学)
对比度最大化通过最大化运动补偿事件图像的锐度来估计在事件流中捕获的运动。为了进行对比度最大化,许多以前的作品采用迭代优化算法,如共轭梯度,这需要良好的初始化,以避免收敛到坏的局部最小值。为了缓解这一弱点,我们提出了一种新的全局最优的基于事件的运动估计算法。基于分支定界(BnB),我们的方法解决了事件流上的旋转(3DoF)运动估计,支持视频稳定和姿态估计等实际应用。支撑我们的方法是新的边界函数的对比度最大化,其理论的有效性是严格建立的。我们展示了来自公共数据集的具体例子,其中全局最优解决方案对对比度最大化的成功至关重要。尽管其确切的性质,我们的算法目前能够在300秒内处理50,000个事件输入(局部最优求解器在相同输入上需要30秒),并且有可能使用GPU进一步加速。
2020-03-16 cs.CV
Line-based 6-DoF Object Pose Estimation and Tracking With an Event Camera
College of Aerospace Science and Engineering, National University of Defense Technology(国防科技大学航天科学与工程学院);ShanghaiTech University(上海科技大学)
本文提出一种基于事件相机和线特征的六自由度物体姿态估计与跟踪方法,通过分支定界初始化、事件-线匹配和鲁棒距离优化实现高动态场景下的精确跟踪,并构建了事件运动物体数据集验证其性能。
2024-08-06 cs.CV
EvtSlowTV -- A Large and Diverse Dataset for Event-Based Depth Estimation
University of Surrey(萨里大学)
本文提出大规模事件相机数据集EvtSlowTV,包含超130亿事件,并证明其用于自监督深度估计可提升模型对复杂场景和运动的泛化能力。
2025-11-04 cs.AI cs.CV cs.LG
Event Stream Filtering via Probability Flux Estimation
University of Science and Technology of China(中国科学技术大学)
EDFilter通过概率流估计实现事件流过滤,提升事件数据的实时处理与连续辐照度动态重建能力。
2025-11-20 cs.CV
Globally-Optimal Event Camera Motion Estimation
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystems and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);Australian National University(澳大利亚国立大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程研究中心)
事件相机是生物启发的传感器,在HDR条件下表现良好,并具有高时间分辨率。然而,与传统的基于帧的相机不同,事件相机测量异步像素级亮度变化,并以高度离散化的格式返回它们,因此需要新的算法。本文着眼于正面平行运动估计的事件相机。的事件流是由一个一般的单应性翘曲的时空量建模,并制定为一个最大化的对比度内的未翘曲事件的图像的目标。然而,与现有技术形成鲜明对比的是,我们导出了这个一般非凸问题的全局最优解,从而消除了对良好初始猜测的依赖性。我们的算法依赖于分支定界优化,我们推导出新颖的,递归的上界和下界六个不同的对比度估计函数。我们的方法的实际有效性是支持一个非常成功的应用AGV运动估计与面向下的事件摄像机,一个具有挑战性的情况下,传感器的经验前平行运动在前面的嘈杂,快速移动的纹理。
2022-03-08 cs.CV
A Geometric Framework for Absolute Pose and Velocity Estimation with Event Cameras
National University of Defense Technology(国防科技大学);independent researcher(独立研究者)
提出利用3D直线及其触发事件的几何约束,通过线性与多项式求解器同时估计事件相机的绝对位姿和速度,最少仅需三个对应关系,在精度和效率上超越现有方法。
2026-06-23 cs.CV
Event-Based Features Selection and Tracking from Intertwined Estimation of Velocity and Generative Contours
Sorbonne Universités(索邦大学);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种新的基于事件的方法检测和跟踪功能的输出基于事件的相机。与来自计算机视觉社区的许多跟踪算法不同,该过程并不针对特定的预定义形状,例如拐角。它依赖于一个双重交织的迭代连续-纯事件为基础的-估计的速度矢量和一个basterness描述的生成特征轮廓。通过沿着针对每个进入事件更新的估计速度进行投影,可以识别和确定跟踪特征的空间位置和生成轮廓,同时迭代地更新速度矢量的估计。几个环境的结果显示考虑到大的变化,在光度,速度,性质和大小的跟踪功能。使用速度而不是位置允许更快的反馈,从而允许非常快的收敛速率。
2018-11-19 cs.CV
EMoTive: Event-guided Trajectory Modeling for 3D Motion Estimation
USTC(中国科学技术大学)
本文提出基于事件的EMoTive框架,利用Event Kymograph、密度感知特征融合与非均匀有理曲线建模异质时空轨迹,并通过CarlaEvent3D和真实基准验证其3D运动估计性能。
2025-03-17 cs.CV
Self-supervised Event-based Monocular Depth Estimation using Cross-modal Consistency
Institute of Cyber-Systems and Control, Zhejiang University(浙江大学网络系统与控制研究所)
本文提出自监督事件相机单目深度估计框架EMoDepth,利用跨模态一致性约束训练并设计多尺度跳跃连接架构,在MVSEC和DSEC上超越现有有监督事件和无监督帧方法。
2024-01-14 cs.CV
A 5-Point Minimal Solver for Event Camera Relative Motion Estimation
Mobile Perception Lab, ShanghaiTech University(上海科技大学移动感知实验室);Robotics and Perception Group, University of Zurich(苏黎世大学机器人与感知小组)
本文提出一种基于eventails非线性参数化的5点最小求解器,联合估计线参数与线性相机速度,在已知旋转条件下实现更稳定、更高成功率的相对运动估计。
2023-09-29 cs.CV
Ego-motion Estimation Based on Fusion of Images and Events
Nanjing Institute of Intelligent Technology(南京智能技术研究院)
事件摄像机是一种新型的生物视觉传感器,输出事件流。在本文中,我们提出了一种新的数据融合算法称为EAS融合传统的强度图像与事件流。融合结果被应用到一些自我运动估计框架,并在昏暗场景中获取的公共数据集上进行评估。在我们的3-DoF旋转估计框架中,EAS在强度图像和事件表示(包括事件切片、TS和SITS)中实现了最高的估计精度。与原始图像相比,EAS将平均APE降低了69%,这得益于包含更多的跟踪特征。结果表明,该算法有效地利用了事件摄像机的高动态范围,提高了基于光流跟踪的自运动估计框架在困难光照条件下的性能。
2022-07-12 cs.CV eess.IV
EventHands: Real-Time Neural 3D Hand Pose Estimation from an Event Stream
MPI for Informatics(MPI信息学研究所);Google Inc.(谷歌公司)
从单目视频中估计3D手部姿态是一个长期存在且具有挑战性的问题,现在正在出现强劲的上升趋势。在这项工作中,我们第一次使用单事件相机解决这个问题,即,一个异步视觉传感器对亮度变化作出反应。我们的EventHands方法具有以前没有用单个RGB或深度相机展示的特性,例如低数据吞吐量下的高时间分辨率和1000 Hz下的实时性能。由于事件摄像机与经典摄像机的数据模态不同,现有方法不能直接应用于事件流并进行重新训练。因此,我们设计了一种新的神经方法,该方法接受适合学习的新事件流表示,该表示在新生成的合成事件流上进行训练,并且可以推广到真实数据。实验表明,EventHands在准确性和捕捉前所未有的速度的手部动作的能力方面优于最近使用彩色(或深度)相机的单眼方法。我们的方法、事件流模拟器和数据集都是公开的;请参见www.example.com
2021-10-11 cs.CV
Continuous-time Intensity Estimation Using Event Cameras
The Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织数据61所)
事件相机提供异步的,数据驱动的测量局部时间对比度在一个大的动态范围内具有极高的时间分辨率。常规相机捕获低频参考强度信息。这两种传感器模态提供互补信息。我们提出了一个计算效率高,异步过滤器,连续融合图像帧和事件到一个单一的高时间分辨率,高动态范围的图像状态。在没有常规图像帧的情况下,过滤器可以仅在事件上运行。我们提出了高速,高动态范围序列的实验结果,以及我们生成的新的地面实况数据集,以证明所提出的算法优于现有的最先进的方法。
2018-11-01 cs.CV
Asynchronous "Events" are Better For Motion Estimation
Xiamen University Malaysia(厦门大学马来西亚分校);Xiamen University(厦门大学)
基于事件的相机是一种生物启发的视觉传感器,它异步记录每个像素的强度变化(称为事件)。动态主动像素视觉传感器(DAVIS)是基于事件的摄像机的一个实例,它结合了标准摄像机和基于事件的摄像机。然而,传统的模型不能异步地处理事件流。为了异步分析事件流,大多数现有的方法都是在一定的时间间隔内累积事件,并将累积的事件作为一个同步帧来处理,这浪费了强度变化信息,削弱了DAVIS的优势。因此,在本文中,我们提出了第一个神经异步方法来处理事件流的事件为基础的相机。我们的方法异步提取动态信息的事件,利用以前的运动和关键功能的灰度帧。据我们所知,这是第一个通过新型深度神经网络分析事件流的神经异步方法。大量的实验表明,我们提出的模型实现了显着的改进对国家的最先进的基线。
2019-04-24 cs.CV
EVEN: An Event-Based Framework for Monocular Depth Estimation at Adverse Night Conditions
Imperial College London(帝国理工学院)
在恶劣的夜间条件下精确的深度估计具有实际的影响和应用,例如在自动驾驶和救援机器人上。在这项工作中,我们研究了单眼深度估计在夜间的各种不利的天气,光线,和不同的道路条件存在,与RGB和事件模式捕获的数据。事件摄像机可以凭借其高动态范围(HDR)更好地捕捉强度变化,这特别适合应用于场景中光量有限的恶劣夜间条件。虽然事件数据可以保留传统RGB相机可能无法捕获的视觉感知,但事件数据的纹理和颜色信息的缺乏阻碍了其单独准确估计深度的适用性。为了解决这个问题,我们提出了一个基于事件视觉的框架,集成了低光增强的RGB源,并利用RGB和事件数据的互补优势。已经构建了包括成对RGB和事件流以及地面实况深度图的数据集。进行了综合试验,研究了不同不利天气组合对框架性能的影响。结果表明,我们提出的框架可以更好地估计单眼深度在不利的夜晚比六个基线。
2023-02-08 cs.CV
End-to-end Learning of Object Motion Estimation from Retinal Events for Event-based Object Tracking
Xiamen University(厦门大学);Edith Cowan University(伊迪斯科文大学)
事件摄像机是一种异步生物视觉传感器,在计算机视觉和人工智能领域显示出巨大的潜力。然而,事件摄像机的应用对象级运动估计或跟踪仍处于起步阶段。这项工作背后的主要思想是提出一种新的深度神经网络来学习和回归用于基于事件的对象跟踪的参数对象级运动/变换模型。为了实现这一目标,我们提出了一个同步的时间表面与线性时间衰减(TSLTD)表示,有效地编码的时空信息的异步视网膜事件到TSLTD帧清晰的运动模式。我们将TSLTD帧序列馈送到一个新的视网膜运动回归网络(RMRNet),以执行端到端的5-DoF对象运动回归。我们的方法相比,国家的最先进的对象跟踪方法,是基于传统的相机或事件相机。实验结果表明,我们的方法在处理各种具有挑战性的环境,如快速运动和低光照条件下的优越性。
2020-02-14 cs.CV
URNet: Uncertainty-aware Refinement Network for Event-based Stereo Depth Estimation
Technical University of Munich (TUM)(慕尼黑技术大学)
本文提出面向事件立体深度估计的URNet,通过局部-全局细化模块和KL散度不确定性建模提升预测可靠性,并在DSEC数据集上超越SOTA方法。
2025-09-18 cs.CV
Globally Optimal Event-Based Divergence Estimation for Ventral Landing
The University of Adelaide(阿德莱德大学);European Space Research and Technology Centre(欧洲空间研究与技术中心)
事件感知是仿生飞行制导和控制系统的重要组成部分。我们探讨使用事件相机预测时间接触(TTC)的表面在腹着陆。这是通过估计发散(逆TTC),这是径向光流的速率,从事件流在着陆期间产生的。我们的核心贡献是一个新的对比度最大化制定基于事件的发散估计,和一个分支定界算法,以准确地最大化对比度,并找到最佳的发散值。GPU加速进行加速的全局算法。另一个贡献是一个新的数据集包含真实的事件流腹着陆,用于测试和基准我们的方法。由于全局优化,我们的算法是更有能力在恢复真正的分歧,相比其他启发式发散估计或基于事件的光流方法。通过GPU加速,我们的方法也实现了具有竞争力的运行时间。
2022-09-27 cs.CV
Stereo Event Lifetime and Disparity Estimation for Dynamic Vision Sensors
University of Zagreb Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院)
基于事件的相机是生物启发的传感器,在场景中输出异步的像素亮度变化,称为事件。与以固定帧速率输出帧并遭受运动模糊的标准相机相反,它们具有高动态范围和微秒级的时间分辨率。形成这种相机的立体对可以打开新的应用可能性,因为对于每个事件深度可以容易地估计;然而,为了充分利用传感器的异步性质并避免固定时间间隔事件累积,应该采用立体事件寿命估计。在本文中,我们提出了一种新的方法,立体事件相机的事件寿命估计,允许生成尖锐的梯度图像的事件,作为输入的视差估计方法。由于一个单一的亮度变化触发事件在两个事件相机传感器,我们提出了一种方法Single Shot事件的生命周期和视差估计,通过立体匹配的关联。所提出的方法是大约两倍的速度和更准确的寿命分别估计每个传感器,然后立体匹配。通过多个立体事件摄像机实验对真实世界的数据进行了验证。
2019-07-17 cs.CV cs.RO
Leveraging RGB Images for Pre-Training of Event-Based Hand Pose Estimation
The University of Tokyo, Japan(东京大学);National University of Singapore, Singapore(新加坡国立大学)
本文提出RPEP,通过将手部运动分解为逐步动作并施加运动反转约束生成伪事件数据,利用RGB图像预训练基于事件的3D手部姿态估计模型,在真实事件数据上显著超越现有方法。
2025-09-21 cs.CV
EDCFlow: Exploring Temporally Dense Difference Maps for Event-based Optical Flow Estimation
Southeast University(东南大学)
EDCFlow提出利用时间密集差分图与代价体互补,通过注意力多尺度差分层和自适应融合,实现高分辨率、低复杂度的基于事件光流估计,并可作为RAFT类方法的即插即用细化模块。
2025-06-04 cs.CV
Event-based Egocentric Human Pose Estimation in Dynamic Environment
Keio University(庆应义塾大学);JST Presto(日本科学技术振兴机构先驱计划)
提出基于事件相机的自我中心人体姿态估计新任务及首个框架D-EventEgo,通过运动分割模块去除动态物体干扰,在合成数据集的五项指标中四项优于基线。
2025-05-28 cs.CV