Motion Equivariant Networks for Event Cameras with the Temporal Normalization Transform
University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们提出了一种新的变换的事件从事件相机是等变的光流下的卷积在3-D时空域。事件由图像中的变化生成,这些变化通常是由于相机或场景的运动引起的。因此,不同的运动导致不同的事件集合。对于基于静态场景的基于学习的任务,例如直接使用事件的分类,我们必须依靠学习方法来学习与运动不同的底层对象,或者通过广泛的数据增强来记忆每个对象的所有可能运动。相反,我们提出了一种新的变换的输入事件数据规范化的$x$和$y$的位置,每个事件的时间戳。我们证明,当光流恒定时,这种变换生成了与这种运动等变的事件表示,允许深度神经网络学习分类任务,而不需要昂贵的数据增强。我们在基于事件的N-MNIST数据集以及一个新的数据集N-MOVING-MNIST上测试了我们的方法,与标准N-MNIST数据集相比,该数据集在运动方面具有更多的变化。在所有序列中,我们证明了与具有标准体积事件输入的网络相比,我们的变换网络能够实现类似或更好的性能,并且当测试集具有比训练时更大的运动集时,表现明显更好。
2019-02-18 cs.CV
EMoTive: Event-guided Trajectory Modeling for 3D Motion Estimation
USTC(中国科学技术大学)
本文提出基于事件的EMoTive框架,利用Event Kymograph、密度感知特征融合与非均匀有理曲线建模异质时空轨迹,并通过CarlaEvent3D和真实基准验证其3D运动估计性能。
2025-03-17 cs.CV
Ontology Based Global and Collective Motion Patterns for Event Classification in Basketball Videos
Beijing University of Technology(北京工业大学);Chinese University of Hong Kong(香港中文大学);SUNY Buffalo(纽约州立大学布法罗分校)
在多人视频中,特别是团队运动视频中,语义事件通常表示为两队球员之间的对抗,其可以表示为集体运动。在广播篮球视频中,特定的相机运动用于呈现特定的事件。因此,广播篮球视频中的语义事件与全局运动(相机运动)和集体运动两者密切相关。篮球视频中的语义事件通常可以分为三个阶段:事件前、事件发生(事件发生)和事件后。提出了一种基于本体的全局集体运动模式(OnGCMP)算法用于篮球项目分类。首先,提出了一种基于两阶段GCMP的事件分类方法。使用光流提取GCMP。该两阶段方案逐步结合了事件发生时的五类事件分类算法和前事件时的两类事件分类算法。这两种算法都利用顺序卷积神经网络(CNN)和长短期记忆(LSTM)网络来提取GCMP的空间和时间特征以用于事件分类。第二,我们利用事件后段来预测成功/失败,使用基于视频帧(RGB_DF_VF)的算法中的图像的深度特征。最后将事件分类结果和成功/失败分类结果进行综合,得到最终结果。为了评估所提出的方案,我们收集了一个新的数据集,称为NCAA+,这是自动从NCAA数据集通过扩展相应的语义事件的前后固定长度的视频剪辑。实验结果表明,该方法在NCAA+上的平均识别精度达到58.10%.它比NCAA的最先进水平高出6.50%。
2019-03-19 cs.CV
Match-Any-Events: Zero-Shot Motion-Robust Feature Matching Across Wide Baselines for Event Cameras
Johns Hopkins University(约翰霍普金斯大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学);Archimedes, Athena RC(Archimedes,Athena RC)
本文提出首个零样本事件匹配模型,通过运动鲁棒且高效的注意力骨干网络和稀疏感知事件token选择,实现跨数据集大基线对应。实验显示比现有方法提升37.7%。
2026-07-01 cs.CV
Unsupervised Event-based Learning of Optical Flow, Depth, and Egomotion
University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们提出了一个新的框架无监督学习的事件摄像机,学习运动信息,只有事件流。特别是,我们提出了一个输入表示的事件的形式的离散体积,保持时间分布的事件,我们通过一个神经网络来预测运动的事件。此运动用于尝试移除事件图像中的任何运动模糊。然后,我们提出了一个损失函数应用于运动补偿的事件图像,测量在这个图像中的运动模糊。我们用这个框架训练两个网络,一个预测光流,一个预测自运动和深度,并在多车辆立体事件相机数据集上评估这些网络,以及来自各种不同场景的定性结果。
2018-12-19 cs.CV
Learning Event-Based Motion Deblurring
Sichuan University(四川大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
从运动模糊图像中恢复清晰的视频序列是一个高度不适定的问题,因为在模糊过程中会丢失大量的运动信息。然而,对于基于事件的相机,快速运动可以被捕获为高时间速率的事件,从而为探索有效的解决方案提供了新的机会。在本文中,我们从基于事件的运动去模糊的顺序公式开始,然后展示如何使用新型端到端深度架构展开其优化。所提出的架构是一个卷积递归神经网络,它以原则性的方式集成了全局和局部尺度的视觉和时间知识。为了进一步提高重建,我们提出了一个可微的方向事件过滤模块,有效地提取丰富的边界前事件流。我们对合成GoPro数据集和DAVIS240C相机捕获的大型新引入数据集进行了广泛的实验。所提出的方法实现了最先进的重建质量,并更好地推广到处理现实世界的运动模糊。
2020-04-13 cs.CV
MATE: Motion-Augmented Temporal Consistency for Event-based Point Tracking
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China(脑启发式智能感知与认知国家重点实验室,中国科学技术大学)
本文提出基于事件的任意点跟踪框架MATE,利用运动引导和可变运动感知模块克服事件稀疏性与速度敏感问题,并在仿真数据集和标准基准上取得显著性能提升。
2025-07-27 cs.CV
ProgressiveMotionSeg: Mutually Reinforced Framework for Event-Based Motion Segmentation
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
动态视觉传感器(DVS)可以以微秒级分辨率异步输出反映物体表观运动的事件,在监控等领域显示出巨大的应用潜力。然而,现有的DVS的输出事件流不可避免地包含背景活动噪声(BA噪声),由于暗电流和结漏电流,这将影响对象的时间相关性,导致恶化的运动估计性能。特别是,现有的基于滤波器的去噪方法不能直接应用于抑制事件流中的噪声,因为不存在空间相关性。为了解决这个问题,本文提出了一种新的渐进式框架,其中运动估计(ME)模块和事件去噪(ED)模块以相互增强的方式联合优化。运动估计模块基于最大清晰度准则,在运动补偿变形场中对输入事件进行自适应聚类,将输入事件划分为若干段,并根据聚类后的运动参数获取事件流的时间相关性。ED模块以时间相关性为指导,计算每个事件属于真实活动事件的置信度,并将其传输给ME模块,更新运动分割的能量函数进行噪声抑制。这两个步骤迭代更新,直到获得稳定的运动分割结果。在合成数据集和真实数据集上的大量实验结果表明,我们提出的方法对最先进的(SOTA)方法的优越性。
2022-03-22 cs.CV
Decoupling Video and Human Motion: Towards Practical Event Detection in Athlete Recordings
University of Augsburg(奥格斯堡大学)
在本文中,我们解决的问题,运动员记录从个人体育运动的运动事件检测。与最近的端到端的方法相比,我们建议使用2D人体姿势序列作为中间表示,从原始视频信息中提取人体运动。结合域适应的运动员跟踪,我们描述了两种方法来事件检测的姿态序列,并评估它们在互补领域:游泳和田径。对于游泳,我们展示了如何强大的决策规则的姿态统计可以检测不同的运动事件在游泳开始,F1得分超过91%,尽管数据有限。对于田径运动,我们使用卷积序列模型来推断跳远和三级跳远记录中与步幅相关的事件,从而实现了高度准确的检测,F1得分仅为+/-5 ms的时间偏差。我们的方法不限于这些领域,并显示了基于姿态的运动事件检测的灵活性。
2020-04-22 cs.CV
ASUMOT: Motion-Consistency-Based Asynchronous UAV Detection and Tracking with Event Cameras
针对远程无人机事件响应问题,提出ASUMOT框架,通过运动一致性建模、局部估计器、多任务验证器和聚类等操作,对无人机进行检测与跟踪,在公共数据和新基准上实验,提升了精度-效率权衡且保持异步处理。
2026-07-14 cs.CV
Globally Optimal Contrast Maximisation for Event-based Motion Estimation
The University of Adelaide(阿德莱德大学)
对比度最大化通过最大化运动补偿事件图像的锐度来估计在事件流中捕获的运动。为了进行对比度最大化,许多以前的作品采用迭代优化算法,如共轭梯度,这需要良好的初始化,以避免收敛到坏的局部最小值。为了缓解这一弱点,我们提出了一种新的全局最优的基于事件的运动估计算法。基于分支定界(BnB),我们的方法解决了事件流上的旋转(3DoF)运动估计,支持视频稳定和姿态估计等实际应用。支撑我们的方法是新的边界函数的对比度最大化,其理论的有效性是严格建立的。我们展示了来自公共数据集的具体例子,其中全局最优解决方案对对比度最大化的成功至关重要。尽管其确切的性质,我们的算法目前能够在300秒内处理50,000个事件输入(局部最优求解器在相同输入上需要30秒),并且有可能使用GPU进一步加速。
2020-03-16 cs.CV
3D Lip Event Detection via Interframe Motion Divergence at Multiple Temporal Resolutions
Beijing Technology and Business University(北京工商大学);The University of Edinburgh(爱丁堡大学)
嘴唇是一个人说话时占主导地位的动态面部单元。检测唇事件有利于语音分析和对听力受损者的支持。本文提出了一种3D唇事件检测流水线,自动确定唇事件从3D说话唇序列。我们定义了一个运动发散措施,使用3D唇地标量化帧间动态的3D说话唇。然后,我们投帧间运动检测在一个多时间分辨率的框架,允许检测适用于不同的说话速度。在S3DFM数据集上的实验研究了基于所提出的运动发散的整体3D嘴唇动力学。所提出的3D流水线能够检测100个序列中的开口和闭合嘴唇事件,实现了最先进的性能。
2021-11-18 cs.CV
AToM: Aligning Text-to-Motion Model at Event-Level with GPT-4Vision Reward
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Informatics, Xiamen University(厦门大学信息学院)
针对文本到动作模型在事件级文本描述对齐上的挑战,提出AToM框架,通过构建MotionPrefer数据集、设计GPT-4Vision标注范式及强化学习微调,显著提升事件级对齐质量。
2024-11-27 cs.CV
TETO: Tracking Events with Teacher Observation for Motion Estimation and Frame Interpolation
KAIST AI(韩国科学技术院人工智能实验室);ETH Zurich(苏黎世联邦理工学院);Korea Aerospace University(韩国航空航天大学)
TETO提出一种教师-学生框架,通过知识蒸馏从预训练的RGB跟踪器中学习事件运动估计,仅用25分钟未标注真实数据实现高精度点跟踪和光流估计,提升帧插值质量。
2026-03-24 cs.CV
GeoIMO: Geometry-Driven Independent Motion Classification for Event Cameras
Politecnico di Torino(都灵理工大学)
提出一种无监督的几何驱动框架,通过事件流中的自运动结构将检测对象分类为静态或独立运动,无需学习或人工标注。
2026-06-24 cs.CV
EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams
Saarland University(萨尔大学);MPI for Informatics(马克斯·普朗克信息学研究所)
针对现有第一视角3D人体动作捕捉方法在低光照、高速运动下失效的问题,提出首个基于鱼眼事件相机的EventEgo3D框架,适配LNES事件流表示,搭配自研头戴设备与真实数据集,实现140Hz实时高鲁棒性高精度捕捉。
2024-04-12 cs.CV
Tracking 6-DoF Object Motion from Events and Frames
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
事件相机是用于低延迟跟踪和高动态范围成像的有前途的设备。在本文中,我们提出了一种新的方法为6度的自由度(6-DoF)的对象运动跟踪相结合的测量事件和帧为基础的相机。我们制定跟踪从高速率事件的概率生成模型的eventmeasurement过程中的对象。在第二层上,我们通过直接图像对齐在较慢速率的图像帧中细化对象轨迹。我们评估了我们的方法的准确性在几个目标跟踪场景与合成数据,并alsocperformed实验与真实数据。
2021-03-29 cs.CV
Static in Frames, Dynamic in Events: Rethinking Features in Event Cameras as Motion Cues
Delft University of Technology(代尔夫特理工大学)
本文将事件相机特征视为运动线索,分析了结构张量特征值与时空密度值,结合局部几何特征增强运动估计,在DSEC基准上提升了光流网络的准确性,数据稀缺与低容量模型增益显著。
2026-08-12 cs.CV
Continuous-Time Human Motion Field from Events
University of Pennsylvania(宾夕法尼亚大学);Archimedes, Athena RC(阿基米德雅典娜研究中心)
提出用循环前馈网络从事件流预测时间隐式连续人体运动场,并构建高速同步数据集,显著降低误差与计算时间。
2024-12-02 cs.CV
M$^2$E-UAV: A Benchmark and Analysis for Onboard Motion-on-Motion Event-Based Tiny UAV Detection
Fujian Key Laboratory of Urban Intelligent Sensing and Computing, School of Informatics, Xiamen University, Xiamen, China(福建城市智能感知与计算重点实验室,厦门大学信息学院,厦门,中国);Meta, Menlo Park, USA(Meta,Menlo Park,美国)
针对机载运动-运动事件基微型无人机检测问题,本文提出首个包含传感平台和目标无人机运动的基准数据集,通过同步事件流和IMU数据评估现有基线方法的性能。
2026-05-14 cs.CV
A Real-Time Event-Based Normal Flow Estimator
University of Maryland, College Park(马里兰大学 College Park 分校)
本文提出一种实时基于事件的法向流估计器,通过将表示步骤重构为池化操作大幅降低原算法的二次时间复杂度,在事件相机上实现了低成本的高速法向流预测。
2025-04-28 cs.CV
Neural Implicit Event Generator for Motion Tracking
Keio University(庆应义塾大学);Denso IT Laboratory(电装IT实验室)
我们提出了一个新的框架,运动跟踪的事件数据使用隐式表达式。我们的框架使用预先训练的事件生成MLP,称为隐式事件生成器(IEG),并根据观察到的事件和当前状态估计生成的事件之间的差异,通过更新其状态(位置和速度)来进行运动跟踪。差异由IEG隐式计算。与传统的显式方法,这需要密集的计算来评估的差异,我们的隐式方法实现了有效的状态更新直接从稀疏的事件数据。我们的稀疏算法特别适合于计算资源和电池寿命有限的移动机器人应用。为了验证我们的方法在真实世界数据上的有效性,我们将其应用到AR标记跟踪应用中。我们已经证实,我们的框架在存在噪声和背景杂波的现实环境中工作得很好。
2021-11-06 cs.CV
Nonlinear Motion-Guided and Spatio-Temporal Aware Network for Unsupervised Event-Based Optical Flow
Faculty of Robot Science and Engineering, Northeastern University(机器人科学与工程学院,东北大学)
本文提出E-NMSTFlow网络,通过非线性运动补偿和时空感知模块,提升事件基光流估计的精度和性能。
2025-05-08 cs.CV
EV-MGRFlowNet: Motion-Guided Recurrent Network for Unsupervised Event-based Optical Flow with Hybrid Motion-Compensation Loss
Northeastern University(东北大学)
本文提出EV-MGRFlowNet,一种基于运动引导循环网络和混合运动补偿损失的无监督事件光流估计方法,在MVSEC数据集上平均端点误差降低约22.71%,达到无监督方法最优性能。
2023-05-13 cs.CV
E-Motion: Future Motion Simulation via Event Sequence Diffusion
Xidian University(西安电子科技大学);City University of Hong Kong(香港城市大学)
提出将视频扩散模型与事件相机信息结合的运动模拟框架,利用预训练模型迁移和强化学习对齐机制,实现高精度未来运动预测。
2024-10-11 cs.CV
Event-based Motion Segmentation with Spatio-Temporal Graph Cuts
Hunan University(湖南大学);Technische Universität Berlin(柏林工业大学);Einstein Center Digital Future(爱因斯坦数字未来中心);Hong Kong University of Science and Technology(香港科技大学)
独立运动目标的识别是动态场景理解的一项重要任务。然而,用于动态场景中的传统相机可能由于其采样原理而遭受运动模糊或曝光伪影。相比之下,基于事件的相机是一种新型的生物传感器,可以克服这些限制。它们异步报告像素级强度变化,这使它们能够以与场景动态完全相同的速率获取视觉信息。我们开发了一种方法来识别用基于事件的相机获取的独立移动对象,即,来解决基于事件的运动分割问题。我们投的问题作为一个能量最小化的一个涉及到多个运动模型的拟合。我们共同解决两个子问题,即事件集群分配(标签)和运动模型拟合,在一个迭代的方式,通过利用输入的事件数据的结构的形式的时空图。在现有数据集上的实验表明,该方法在具有不同运动模式和运动对象数量的场景中具有通用性。评估显示了最先进的结果,而不必预先确定预期的移动对象的数量。我们在开源许可下发布软件和数据集,以促进基于事件的运动分割这一新兴主题的研究。
2021-10-29 cs.CV
Event-Based Motion Magnification
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
提出由事件相机和RGB相机组成的双相机系统及新型深度网络,通过二阶循环传播模块和时间滤波器实现经济有效的小幅度高频运动放大,并构建首个相关数据集验证其有效性与准确性。
2024-07-23 cs.CV
Asynchronous "Events" are Better For Motion Estimation
Xiamen University Malaysia(厦门大学马来西亚分校);Xiamen University(厦门大学)
基于事件的相机是一种生物启发的视觉传感器,它异步记录每个像素的强度变化(称为事件)。动态主动像素视觉传感器(DAVIS)是基于事件的摄像机的一个实例,它结合了标准摄像机和基于事件的摄像机。然而,传统的模型不能异步地处理事件流。为了异步分析事件流,大多数现有的方法都是在一定的时间间隔内累积事件,并将累积的事件作为一个同步帧来处理,这浪费了强度变化信息,削弱了DAVIS的优势。因此,在本文中,我们提出了第一个神经异步方法来处理事件流的事件为基础的相机。我们的方法异步提取动态信息的事件,利用以前的运动和关键功能的灰度帧。据我们所知,这是第一个通过新型深度神经网络分析事件流的神经异步方法。大量的实验表明,我们提出的模型实现了显着的改进对国家的最先进的基线。
2019-04-24 cs.CV
GoStop: Reinforcement Learning for Adaptive Temporal Aggregation in Event-Based Feature Tracking
KAIST(韩国科学技术院)
研究基于事件相机的特征跟踪问题,提出用强化学习框架自适应控制事件累积过程,训练智能体依运动线索决策,引入新数据集评估,集成该框架到现有方法可提升性能,在动态运动下更具鲁棒性且平衡跟踪精度与效率。
2026-07-20 cs.CV
TimeTracker: Event-based Continuous Point Tracking for Video Frame Interpolation with Non-linear Motion
National Key Lab of Multispectral Information Intelligent Processing Technology(multispectral information intelligent processing technology key laboratory);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(人工智能与自动化学院,华中科技大学);School of Electrical and Electronic Engineering, Nanyang Technological University(电子与电气工程学院,南洋理工大学)
本文提出TimeTracker框架,通过场景感知区域分割和连续轨迹引导运动估计,利用事件相机跟踪局部区域的连续运动轨迹,以解决非线性运动下的视频帧插值问题,并在运动估计和插值质量上优于现有方法。
2025-05-06 cs.CV
Event-Based Video Frame Interpolation With Cross-Modal Asymmetric Bidirectional Motion Fields
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对现有基于事件的视频帧插值方法难以应对复杂运动的问题,本文提出EIF-BiOFNet框架,通过跨模态非对称双向运动场估计及交互式注意力帧合成网络提升性能,并构建大规模数据集ERF-X170FPS,实验表明其优于现有方法。
2025-02-19 cs.CV
EventPrune: Cascaded Event-Assisted Token Pruning for Efficient First-Person Dynamic Spatial Reasoning
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学);The University of Hong Kong(香港大学)
本文提出Event Cascade Pruning (ECP),一种无需训练的框架,利用事件相机的高频运动线索作为连续事件引导的运动先验,指导标记选择,从而在第一人称动态空间推理中实现高效的标记修剪,提升推理速度和减少计算量。
2026-05-19 cs.CV
Event-based Image Deblurring with Dynamic Motion Awareness
Huawei Technologies(华为技术有限公司)
由于模糊图像本身缺乏时间和纹理信息,非均匀图像去模糊是一项具有挑战性的任务。正在探索来自辅助传感器(例如事件传感器)的补充信息以解决这些限制。后者可以异步记录对数强度的变化,称为事件,具有高时间分辨率和高动态范围。当前基于事件的去模糊方法将模糊图像与事件相结合,以联合估计每像素运动和去模糊运算符。在本文中,我们认为,分而治之的方法是更适合这项任务。为此,我们建议使用调制可变形卷积,其内核偏移和调制掩模是动态估计的事件编码场景中的运动,而去模糊算子是从模糊图像和相应的事件的组合学习。此外,我们采用了一种由粗到细的多尺度重建方法,以应对低对比度区域中事件的固有稀疏性。重要的是,我们引入了第一个包含真实RGB模糊图像对和曝光时间内相关事件的数据集。我们的研究结果表明,更好的整体鲁棒性时,使用的事件,提高峰值信噪比高达1.57 dB的合成数据和1.08 dB的真实事件数据。
2022-08-24 cs.CV
Unifying Motion Deblurring and Frame Interpolation with Events
Wuhan University(武汉大学)
基于帧的相机的慢快门速度和长曝光时间通常会导致视觉模糊和帧间信息的丢失,从而降低所捕获视频的整体质量。为此,我们提出了一个统一的框架,基于事件的运动去模糊和帧内插模糊视频增强,利用极低的延迟事件,以减轻运动模糊,促进中间帧预测。具体地说,首先通过一个可学习的双积分网络预测模糊帧和清晰潜像之间的映射关系,然后通过利用连续模糊输入和并发事件的信息,提出一个融合网络来改进粗糙结果。通过探索模糊帧,潜像和事件流之间的相互约束,我们进一步提出了一个自监督学习框架,使网络训练与现实世界的模糊视频和事件。大量的实验表明,我们的方法与最先进的方法相比毫不逊色,在合成和真实世界的数据集上都取得了显着的性能。
2022-04-14 cs.CV
EGVD: Event-Guided Video Diffusion Model for Physically Realistic Large-Motion Frame Interpolation
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学)
本文提出事件引导的视频扩散模型EGVD,利用事件相机时间信息和预训练扩散先验,通过多模态条件生成器实现物理真实的大运动帧插值,显著提升感知质量。
2025-03-26 cs.CV
TMA: Temporal Motion Aggregation for Event-based Optical Flow
Tongji University(同济大学);Technical University of Munich(慕尼黑工业大学)
针对事件光流方法将事件流静态化而忽视时间连续性的问题,本文提出TMA,通过事件切分、线性查找和运动模式聚合利用细粒度时序运动信息,在DSEC-Flow和MVSEC上显著提升精度并降低推理时间。
2023-08-21 cs.CV
Event-Based Fusion for Motion Deblurring with Cross-modal Attention
Zhejiang University(浙江大学);ETH Zürich(苏黎世联邦理工学院);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);KU Leuven(鲁汶大学)
传统的基于帧的相机由于长曝光时间而不可避免地遭受运动模糊。作为一种仿生相机,事件相机以高时间分辨率异步记录强度变化,在曝光时间内提供有效的图像退化信息。在本文中,我们重新思考基于事件的图像去模糊问题,并展开成一个端到端的两阶段图像复原网络。为了有效地融合事件和图像特征,我们设计了一个事件-图像跨模态注意模块,应用于我们网络的多个级别,它允许关注事件分支中的相关特征并过滤掉噪声。我们还引入了一种新的对称累积事件表示,专门用于图像去模糊,以及我们的网络的两个阶段之间的事件掩码门控连接,这有助于避免信息丢失。在数据集层面,为了促进基于事件的运动去模糊,并促进对具有挑战性的现实世界图像的评估,我们引入了真实事件模糊(REBlur)数据集,该数据集是在照明控制的光学实验室中用事件相机捕获的。我们的事件融合网络(EFNet)在运动去模糊方面开创了新的技术水平,超越了之前性能最好的基于图像的方法和所有基于事件的方法,并在GoPro数据集(高达2.47dB)和我们的REBlur数据集上公开实现,即使在极端模糊的条件下也是如此。代码和我们的REBlur数据集将公开提供。
2023-01-11 cs.CV
EHGCN: Hierarchical Euclidean-Hyperbolic Fusion via Motion-Aware GCN for Hybrid Event Stream Perception
提出首个联合欧氏与双曲空间建模的双空间事件感知方法EHGCN,通过多尺度体素事件筛选、MRF优化的运动感知超边生成及双空间GCN融合,在事件检测等任务中展现有效性。
2026-07-31 cs.CV
Generalizing Event-Based Motion Deblurring in Real-World Scenarios
Wuhan University(武汉大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院)
本文提出尺度感知网络和两阶段自监督学习方案,利用模糊相对性以自蒸馏方式泛化基于事件的运动去模糊性能,并发布多尺度真实世界数据集。
2023-08-11 cs.CV
EventEgo3D++: 3D Human Motion Capture from a Head-Mounted Event Camera
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
针对单目第一人称3D人体运动捕捉在低光照和快速运动下的挑战,提出EventEgo3D++,利用鱼眼镜头事件相机和LNES表示,实现更优精度与鲁棒性及140Hz实时更新。
2025-02-11 cs.CV
Globally-Optimal Event Camera Motion Estimation
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystems and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);Australian National University(澳大利亚国立大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程研究中心)
事件相机是生物启发的传感器,在HDR条件下表现良好,并具有高时间分辨率。然而,与传统的基于帧的相机不同,事件相机测量异步像素级亮度变化,并以高度离散化的格式返回它们,因此需要新的算法。本文着眼于正面平行运动估计的事件相机。的事件流是由一个一般的单应性翘曲的时空量建模,并制定为一个最大化的对比度内的未翘曲事件的图像的目标。然而,与现有技术形成鲜明对比的是,我们导出了这个一般非凸问题的全局最优解,从而消除了对良好初始猜测的依赖性。我们的算法依赖于分支定界优化,我们推导出新颖的,递归的上界和下界六个不同的对比度估计函数。我们的方法的实际有效性是支持一个非常成功的应用AGV运动估计与面向下的事件摄像机,一个具有挑战性的情况下,传感器的经验前平行运动在前面的嘈杂,快速移动的纹理。
2022-03-08 cs.CV
PEGS: Physics-Event Enhanced Large Spatiotemporal Motion Reconstruction via 3D Gaussian Splatting
School of Electronic Information, Wuhan University(武汉大学电子信息学院);School of Computer Science, Wuhan University(武汉大学计算机学院);College of Mechanical and Vehicle Engineering, Chongqing University(重庆大学机械与车辆工程学院);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院)
PEGS通过结合物理先验和事件流增强,在3D高斯点散布中实现大时空尺度刚性运动的去模糊重建与恢复,首次提出RGB-Event配对数据集并优于主流动态方法。
2025-11-21 cs.CV
EV-LayerSegNet: Self-supervised Motion Segmentation using Event Cameras
Advanced Research and Innovation Center, Khalifa University(哈利法大学先进研究与创新中心);MAVLab, TU Delft(代尔夫特理工大学MAVLab)
针对事件相机运动分割真值获取困难的问题,提出自监督 CNN EV-LayerSegNet,通过分层学习仿射光流与分割掩码并以事件去模糊质量作为损失,在模拟仿射运动数据集上实现最高 71% IoU 和 87% 检测率。
2025-06-07 cs.CV
Unsupervised Learning of a Hierarchical Spiking Neural Network for Optical Flow Estimation: From Events to Global Motion Perception
Delft University of Technology(代尔夫特理工大学)
脉冲神经网络和基于事件的视觉传感器的组合具有高效和高带宽光流估计的潜力。本文提出了第一个层次尖峰架构中,运动(方向和速度)的选择性出现在一个无监督的方式从原始刺激与基于事件的相机。一种新的自适应神经元模型和稳定的尖峰时间依赖的可塑性制定的核心,这个神经网络管理其基于尖峰的处理和学习,分别。收敛后的神经结构表现出生物视觉运动系统的主要特性,即特征提取以及局部和全局运动感知。卷积层与输入突触的特点是单一和多个传输延迟的功能和局部运动感知,分别采用,而全球运动选择性出现在一个最终的全连接层。使用合成和真实事件序列验证了所提出的解决方案。随着本文,我们提供了cuSNN库,一个框架,使GPU加速模拟大规模脉冲神经网络。源代码和示例可在https://github.com/tudelft/cuSNN上获得。
2019-03-28 cs.CV
Instance-Level Moving Object Segmentation from a Single Image with Events
Northwestern Polytechnical University(西北工业大学);National University of Singapore(新加坡国立大学);Peking University(北京大学)
针对单模态方法在运动目标分割中空间纹理与时间运动线索难以兼顾的问题,提出首个融合单张图像纹理与事件运动信息的实例级分割框架,通过跨模态注意力增强等技术提升性能,为事件基运动研究提供新方向。
2025-02-18 cs.CV
A 5-Point Minimal Solver for Event Camera Relative Motion Estimation
Mobile Perception Lab, ShanghaiTech University(上海科技大学移动感知实验室);Robotics and Perception Group, University of Zurich(苏黎世大学机器人与感知小组)
本文提出一种基于eventails非线性参数化的5点最小求解器,联合估计线参数与线性相机速度,在已知旋转条件下实现更稳定、更高成功率的相对运动估计。
2023-09-29 cs.CV
Learning Parallax for Stereo Event-based Motion Deblurring
School of Electronic Information, Wuhan University(武汉大学电子信息学院)
本文提出St-EDNet网络,通过粗到细框架直接从错位输入恢复高质量图像,利用立体事件和强度相机数据,无需真实深度,构建双特征嵌入架构以重建潜在锐化图像序列。
2023-09-18 cs.CV
Fusing Motion Patterns and Key Visual Information for Semantic Event Recognition in Basketball Videos
Beijing University of Technology(北京工业大学);Shanghai Jiao Tong University(上海交通大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));SUNY Buffalo(布法罗纽约州立大学)
在团队体育活动中,许多语义事件(如篮球)往往涉及群体活动和结果(得分或不得分)。运动模式可以是识别不同活动的有效手段。全局运动和局部运动各有侧重,由于全局运动和局部运动的混合,很难从光流中捕获。因此,需要一种更有效的方法来分离全局运动和局部运动。在篮球比赛分析的具体案例中,可以通过篮筐周围的外观变化可靠地检测每一轮的成功得分。在此基础上,提出了一种融合全局和局部运动模式(MP)以及关键视觉信息(KVI)的篮球视频语义事件识别方法。首先,提出了一种基于摄像机调整的内在特性的全局运动估计算法。局部运动可以由混合运动和整体运动得到。其次,一个两个流的三维CNN框架被用于在分离的全局和局部运动模式的群体活动识别。第三,通过CNN结构检测篮子并提取其外观特征。这些特征被用来预测成功或失败。最后,使用克罗内克产品进行事件识别,将群体活动识别和成功/失败预测结果集成在一起。在NCAA数据集上的实验表明,该方法具有较好的性能。
2020-07-13 cs.CV
Motion-Based Tokenization for Cross-Dataset Egocentric Gaze Modeling
Technical University of Munich (TUM)(慕尼黑工业大学(TUM));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
该研究针对跨数据集自我中心凝视建模,提出基于运动的分词方法,通过多维度评估对比不同表示方式,发现其在部分迁移场景下的优势,明确事件构建对跨数据集迁移的影响。
2026-08-25 cs.CV
ClearSight: Human Vision-Inspired Solutions for Event-Based Motion Deblurring
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对事件相机运动去模糊中跨模态特征融合的局限性,提出受人类视觉启发的仿生双驱动混合网络(BDHNet),通过动态调整神经元配置和生成模糊掩码实现更准确的跨模态特征融合,在合成与真实数据集上均优于现有方法。
2025-06-26 cs.CV
From Sharp to Blur: Unsupervised Domain Adaptation for 2D Human Pose Estimation Under Extreme Motion Blur Using Event Cameras
KAIST(韩国科学技术院)
针对运动模糊导致人体姿态估计性能下降的问题,提出利用事件相机的无监督域适应方法,结合事件增强生成运动感知模糊图像与学生-教师伪标签迭代框架,实现目标域无标注下的鲁棒姿态估计。
2025-07-30 cs.CV
Event-guided Deblurring of Unknown Exposure Time Videos
Korea Advanced Institute of Science and Technology(韩国科学技术院);HKUST Guangzhou(香港科技大学(广州));HKUST(香港科技大学)
运动去模糊是一个高度不适定的问题,由于在模糊退化过程中的运动信息的损失。由于事件摄像机可以捕获具有高时间分辨率的表观运动,因此已经进行了几次尝试来探索事件用于引导去模糊的潜力。这些方法通常假设曝光时间与视频帧速率的倒数相同。然而,这在真实情况下并非如此,并且曝光时间可能是未知的并且根据视频拍摄环境而动态变化(例如,照明条件)。在本文中,我们解决了事件引导的运动去模糊假设动态可变的未知曝光时间的帧为基础的相机。为此,我们首先通过考虑视频帧采集过程中的曝光和读出时间,推导出一种新的事件引导运动去模糊公式。然后,我们提出了一种新的端到端的学习框架,用于事件引导的运动去模糊。特别是,我们设计了一种新的曝光时间为基础的事件选择(ETES)模块,有选择地使用事件的功能,通过估计模糊帧和事件的功能之间的交叉模态相关性。此外,我们提出了一个特征融合模块,融合从事件和模糊帧有效地选择的功能。我们在各种数据集上进行了广泛的实验,并证明我们的方法达到了最先进的性能。
2022-07-26 cs.CV
Bring Event into RGB and LiDAR: Hierarchical Visual-Motion Fusion for Scene Flow
Huazhong University of Science and Technology(华中科技大学);School of Artificial Intelligence and Automation(人工智能与自动化学院)
针对RGB与LiDAR直接融合场景流存在模态差距的问题,提出以事件为桥梁的分层视觉-运动融合框架,通过视觉、运动两阶段的同构空间互补融合提升场景流效果,经实验验证具有优越性。
2024-03-12 cs.CV
Dynamic Subframe Splitting and Spatio-Temporal Motion Entangled Sparse Attention for RGB-E Tracking
School of Artificial Intelligence and Computer Science, Jiangnan University(江南大学人工智能与计算机学院);Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心)
本文提出动态事件子帧划分策略与基于事件的稀疏注意力机制,有效提取事件流的时空特征,在FE240和COESOT数据集上优于现有最先进的RGB-E跟踪方法。
2024-09-26 cs.CV