Lifting Monocular Events to 3D Human Poses
Istituto Italiano di Tecnologia（意大利理工学院）；University of Genova（热那亚大学）
本文提出了一种新的三维人体姿态估计方法，使用一个单一的异步事件流作为输入。大多数最先进的方法都是使用RGB相机来解决这个问题，但是当主体快速移动时，这些方法就很难解决了。另一方面，基于事件的3D姿态估计受益于事件相机的优势，特别是它们的效率和对外观变化的鲁棒性。然而，在异步事件中找到人类姿势通常比标准RGB姿势估计更具挑战性，因为在静态场景中很少或没有事件被触发。在这里，我们提出了第一个基于学习的方法，从一个单一的事件流的3D人体姿势。我们的方法包括两个步骤。首先，我们处理事件相机流以预测每个关节的三个正交热图;每个热图是关节在一个正交平面上的投影。接下来，我们融合热图集来估计身体关节的3D定位。作为进一步的贡献，我们通过模拟RGB Human3.6m数据集的事件，提供了一个新的、具有挑战性的数据集，用于基于事件的人体姿势估计。实验表明，我们的方法实现了坚实的准确性，缩小了标准RGB和基于事件的视觉之间的性能差距。该代码可在https://iit-pavis.github.io/lifting_events_to_3d_hpe上免费获得。
2021-04-21 cs.CV
Test-Time Certifiable Self-Supervision to Bridge the Sim2Real Gap in Event-Based Satellite Pose Estimation
Sentient Satellites Laboratory (SSL), Australian Institute for Machine Learning (AIML), The University of Adelaide（感知卫星实验室（SSL）、澳大利亚机器学习研究所（AIML）、阿德莱德大学）；Laboratory for Information and Decision Systems (LIDS), Massachusetts Institute of Technology（信息与决策系统实验室（LIDS）、麻省理工学院）
针对事件相机卫星姿态估计中由光照引起的 Sim2Real 差距，本文提出一种测试时自监督方案，通过优化对齐点云与事件数据纠正姿态，并利用认证器筛选可靠输入进行隐式微分反向传播以细化地标，实验表明其优于现有测试时自适应方法。
2024-09-10 cs.CV cs.RO
Efficient Human Pose Estimation via 3D Event Point Cloud
Zhejiang University（浙江大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；ETH Zürich（苏黎世联邦理工学院）
得益于深度学习，基于RGB图像的人体姿态估计（HPE）得到了快速发展。然而，基于事件的HPE尚未得到充分研究，在极端场景和效率关键条件下的应用仍然具有巨大潜力。在本文中，我们是第一个估计二维人体姿态直接从三维事件点云。我们提出了一种新的表示事件，光栅化的事件点云，聚集在同一位置上的一个小的时间片的事件。它保持了来自多个统计线索的3D特征，并显着降低了内存消耗和计算复杂度，在我们的工作中被证明是有效的。然后，我们利用栅格化的事件点云作为三个不同主干的输入，PointNet，DGCNN和Point Transformer，使用两个线性层解码器来预测人类关键点的位置。我们发现，基于我们的方法，PointNet以更快的速度取得了令人满意的结果，而Point Transfomer达到了更高的精度，甚至接近以前的基于事件帧的方法。一组全面的结果表明，我们提出的方法是一致有效的，这些3D骨干模型在事件驱动的人体姿态估计。我们的方法基于PointNet，输入2048个点，在DHP 19数据集上的MPJPE3D中达到82.46mm，而在NVIDIA Jetson Xavier NX边缘计算平台上的延迟仅为12.29ms，非常适合使用事件相机进行实时检测。代码可在https://github.com/MasterHow/EventPointPose上获得。
2022-08-29 cs.CV cs.RO
Event-based Egocentric Human Pose Estimation in Dynamic Environment
Keio University（庆应义塾大学）；JST Presto（日本科学技术振兴机构先驱计划）
提出基于事件相机的自我中心人体姿态估计新任务及首个框架D-EventEgo，通过运动分割模块去除动态物体干扰，在合成数据集的五项指标中四项优于基线。
2025-05-28 cs.CV
Exploiting Spatiotemporal Properties for Efficient Event-Driven Human Pose Estimation
The University of Sydney（悉尼大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出利用事件流的时空特性，结合点云框架提升人体姿态估计性能，实验显示在DHP19数据集上平均MPJPE减少4%。
2026-03-06 cs.AI cs.CV
GraphEnet: Event-driven Human Pose Estimation with a Graph Neural Network
Maastricht University（马斯特里赫特大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；Sony Interactive Entertainment Inc.（索尼互动娱乐公司）
针对事件相机的低延迟低能耗特性及人体姿态估计需求，提出基于图神经网络的GraphEnet，采用线条中间表示、偏移向量学习与置信度池化实现单人2D姿态高频估计，为该领域首项GNN应用研究且代码开源。
2025-10-09 cs.CV
Exploring Event-driven Dynamic Context for Accident Scene Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语义分割对交通场景边缘情况的鲁棒性是影响智能交通安全的重要因素。然而，交通事故中的关键场景大多是动态的，并且是不可见的，这严重影响了语义分割方法的性能。此外，传统摄像头在高速行驶过程中的延迟，会进一步减少时间维度上的情境信息。因此，我们建议从具有更高时间分辨率的基于事件的数据中提取动态上下文，以增强静态RGB图像，即使是来自具有运动模糊，碰撞，变形，翻转等的交通事故的图像。此外，为了评估交通事故中的分割性能，我们提供了一个逐像素注释的事故数据集，即DADA-seg，它包含了各种交通事故的关键场景。我们的实验表明，基于事件的数据可以提供补充信息，以稳定语义分割在不利的条件下，通过保持细粒度的运动快速移动的前景（碰撞对象）的事故。我们的方法在建议的事故数据集上实现了+8.2%的性能增益，超过了20多种最先进的语义分割方法。该建议已被证明是一致有效的模型学习多个源数据库，包括城市景观，KITTI-360，BDD和ApolloScape。
2021-12-09 cs.CV
E-3DPSM: A State Machine for Event-Based Egocentric 3D Human Pose Estimation
MPI for Informatics, SIC（马克斯·普朗克信息学研究所，SIC）；Saarland University, SIC（萨尔大学，SIC）；Bielefeld University（比勒费尔德大学）
本文提出E-3DPSM，一种基于事件的连续姿态状态机，用于眼动3D人体姿态估计，通过融合事件动态与潜在状态，提升姿态估计的准确性和稳定性。
2026-04-09 cs.CV
A Temporal Densely Connected Recurrent Network for Event-based Human Pose Estimation
Hunan Normal University（湖南师范大学）；Zhejiang University of Technology（浙江工业大学）；City University of Hong Kong（香港城市大学）；Soochow University（苏州大学）
本文提出一种密集连接循环架构，通过建模时序与非时序几何一致性来恢复基于事件相机的人体姿态估计中缺失的身体部位，并构建了大规模多模态数据集验证其有效性。
2023-04-06 cs.CV
SEPose: A Synthetic Event-based Human Pose Estimation Dataset for Pedestrian Monitoring
Arizona State University（亚利桑那州立大学）
针对事件相机行人监控数据匮乏问题，提出合成数据集SEPose，利用CARLA模拟器生成近35万带姿态关键点的行人标注，涵盖多种环境条件，并验证了RVT和YOLOv8模型的仿真到现实泛化能力。
2025-07-16 cs.CV
From Sharp to Blur: Unsupervised Domain Adaptation for 2D Human Pose Estimation Under Extreme Motion Blur Using Event Cameras
KAIST（韩国科学技术院）
针对运动模糊导致人体姿态估计性能下降的问题，提出利用事件相机的无监督域适应方法，结合事件增强生成运动感知模糊图像与学生-教师伪标签迭代框架，实现目标域无标注下的鲁棒姿态估计。
2025-07-30 cs.CV
CCA: Exploring the Possibility of Contextual Camouflage Attack on Object Detection
University of Central Florida（中佛罗里达大学）
基于深度神经网络的目标检测已成为许多现实应用的基石。伴随着这一成功而来的是对其易受恶意攻击的担忧。为了更深入地了解这个问题，我们提出了一种上下文伪装攻击（CCA）算法来影响目标检测器的性能。在本文中，我们使用进化搜索策略和对抗机器学习与照片般逼真的模拟环境进行交互，以找到在各种各样的对象位置，相机姿势和照明条件下有效的伪装图案。所提出的方法被验证有效的大多数国家的最先进的目标检测器。
2020-08-19 cs.CV
Felzenszwalb-Baum-Welch: Event Detection by Changing Appearance
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
我们提出了一种方法，它可以检测视频中的事件，通过建模的事件参与者随着时间的推移外观的变化。这种方法可以检测出不是以运动为特征，而是以所涉及的人或物体的变化状态为特征的事件。这是通过使用对象检测器作为隐马尔可夫模型（HMM）的状态的输出模型来实现的。该方法允许HMM对事件参与者随时间的姿态序列进行建模，并且对于人类和无生命物体的姿态是有效的。将现有的对象检测方法作为事件模型的一部分使用的能力使得利用对象检测社区正在进行的工作成为可能。一种新的训练方法使用EM循环来同时自动学习时间结构和对象模型，而不需要指定要建模的各个姿势或它们发生的帧。E步骤估计视频帧到HMM状态的潜在分配，而M步骤估计HMM转移概率和状态输出模型，包括对象检测器，其在分配给其状态的帧的加权子集上进行训练。收集了一个新的数据集，因为对以改变对象姿势为特征的事件做了很少的工作，并且没有合适的数据集。我们的方法产生的结果优于该数据集上的比较系统。
2013-06-20 cs.CV
Swin-Pose: Swin Transformer Based Human Pose Estimation
Alibaba Group（阿里巴巴集团）
卷积神经网络（CNN）在计算机视觉中得到了广泛的应用。然而，CNN具有固定的接收场，并且缺乏对人体姿态估计至关重要的远距离感知能力。Transformer架构由于其能够捕捉像素之间的长距离依赖关系，近年来已被采用到计算机视觉应用中，并被证明是一种高效的架构。我们有兴趣探索其在人体姿态估计的能力，因此提出了一种新的模型的基础上Transformer架构，增强与特征金字塔融合结构。更具体地说，我们使用预先训练的Swin Transformer作为我们的骨干，从输入图像中提取特征，我们利用特征金字塔结构从不同阶段提取特征图。通过将这些特征融合在一起，我们的模型可以预测关键点热图。我们的研究的实验结果表明，所提出的基于变压器的模型可以实现更好的性能相比，最先进的基于CNN的模型。
2022-06-25 cs.CV
Exploring the Impact of Hand Pose and Shadow on Hand-washing Action Recognition
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔家族电气与计算机工程学院）；Purdue University（普渡大学）
该研究针对洗手动作识别场景，探究手部姿态与阴影对分类器性能的影响，定义了性能崩溃点，发现阴影越重越大崩溃越早、姿态大变时准确率近零，并提出用适度偏离的非标准姿态数据缓解姿态引发的崩溃。
2024-06-19 cs.CV eess.IV
Can Everybody Sign Now? Exploring Sign Language Video Generation from 2D Poses
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
最近的工作已经解决了由用于手语的人体关节的2D/3D坐标表示的人体姿势的生成。我们使用深度学习中最先进的技术进行运动传输，并在美国手语数据集How2 Sign上对其进行评估，以生成签名者在给定2D姿势骨架的情况下执行手语的视频。我们对生成的视频进行了定量和定性评估，结果表明，由于缺乏手中的细节，目前的模型不足以生成足够的手语视频。
2021-01-04 cs.AI cs.CV
Exploring the Adjugate Matrix Approach to Quaternion Pose Extraction
Indiana University（印第安纳大学）；The Flatiron Institute（弗莱提荣研究所）
四元数对于计算机图形学、机器视觉和机器人技术中各种与旋转相关的问题都很重要。我们研究了四元数与旋转矩阵之间的关系的非平凡几何，通过利用相关特征值问题的特征方程的伴随矩阵来获得四元数特征向量空间的流形。我们认为，由其相应的旋转矩阵参数化的四元数不能表示，例如，在机器学习任务中，作为单值函数：四元数的解决方案，而必须被视为一个流形，与不同的代数解决方案的几个单值扇区表示的辅矩阵。最后，我们利用四元数辅助变量重新审视几个经典的姿态估计应用：2D点云匹配，2D点云投影匹配，3D点云匹配，3D正交点云投影匹配，3D透视点云投影匹配。我们找到了3D正射最小二乘姿势提取问题的精确解决方案，并将其成功应用于透视姿势提取问题，结果改进了现有方法。
2022-05-17 cs.CV eess.IV q-bio.QM
Exploring Category-level Articulated Object Pose Tracking on SE(3) Manifolds
针对铰接物体因运动学约束导致位姿跟踪研究不足的问题，提出SE(3)流形上基于点对特征（PPF）的PPF-Tracker框架，通过准规范化、位姿投票与语义约束提升跟踪效果，推动相关领域发展。
2025-11-08 cs.AI cs.CV cs.MM
Exploring intermediate representation for monocular vehicle pose estimation
The Hong Kong University of Science and Technology（香港科技大学）；SenseTime Research（商汤科技研究院）
我们提出了一个新的基于学习的框架来从单个RGB图像中恢复SO（3）中的车辆姿态。与以前的作品，从局部外观到观察角度的映射，我们探索了一个渐进的方法，通过提取有意义的中间几何表示（IGRs）来估计自我中心的车辆方向。这种方法的特征在于将感知强度转换为IGR的深度模型，IGR被映射到相机坐标系中编码对象方向的3D表示。核心问题是使用什么IGR以及如何更有效地学习它们。我们回答前一个问题，设计IGRs的基础上插值长方体，从原始的3D注释容易。后一个问题促使我们将几何知识与一个新的损失函数的基础上的投影不变量。该损失函数允许在训练阶段使用未标记的数据来改进表示学习。在没有额外标签的情况下，我们的系统在KITTI基准测试中的联合车辆检测和姿态估计性能优于以前的基于单目RGB的方法，甚至可以与立体声方法相媲美。代码和预训练模型可在此https URL上获得。
2021-07-12 cs.CV cs.LG cs.RO
Exploring 6D Object Pose Estimation with Deformation
State Key Laboratory of ISN, Xidian University（西安电子科技大学信息与通信系统国家重点实验室）；MagicLeap
本文提出DeSOPE数据集，用于研究变形物体的6D姿态估计，通过高精度3D扫描和半自动标注流程，评估多种姿态方法在变形情况下的性能下降问题。
2026-05-11 cs.CV
Exploring Dual-task Correlation for Pose Guided Person Image Generation
Sun Yat-Sen University（中山大学）
位姿引导的人物图像生成（PGPIG）是将人物图像从源位姿转换为给定目标位姿的任务。现有的方法大多只关注病态的源到目标任务，而不能捕捉到合理的纹理映射。为了解决这个问题，我们提出了一种新的双任务姿态Transformer网络（DPTN），它引入了一个辅助任务（即，源到源任务），并利用双任务的相关性，以提高性能的PGPIG。DPTN是一个连体结构，包含一个源到源的自重构分支和一个源到目标生成的转换分支。通过在它们之间共享部分权重，源到源任务所学习的知识可以有效地辅助源到目标学习。此外，我们桥接这两个分支与建议的姿态Transformer模块（PTM）自适应地探索双任务的功能之间的相关性。这种相关性可以建立源和目标之间所有像素的细粒度映射，并促进源纹理传输，以增强生成的目标图像的细节。大量的实验表明，我们的DPTN优于国家的最先进的PSNR和LPIPS。此外，我们的DPTN只包含979万个参数，这比其他方法要小得多。我们的代码可在https://github.com/PangzeCheung/Dual-task-Pose-Transformer-Network上获得。
2022-03-06 cs.CV
Towards Real-Time Head Pose Estimation: Exploring Parameter-Reduced Residual Networks on In-the-wild Datasets
Fraunhofer-Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
头部姿态是人体通信的关键组成部分，因此是人机交互的决定性元素。实时的【形】头部姿态估计在人机交互或驾驶员辅助系统中至关重要。最有前途的头部姿态估计方法是基于卷积神经网络（CNN）。然而，CNN模型通常过于复杂，无法实现实时的【形】性能。为了应对这一挑战，我们探索了CNN的一个流行子组，即残差网络（ResNets），并对其进行了修改，以减少其参数数量。ResNet针对不同的图像大小进行修改，包括低分辨率图像，并与不同数量的图层组合。他们在野外数据集上进行训练，以确保现实世界的适用性。因此，我们证明了ResNets的性能可以保持，同时减少参数的数量。修改后的ResNets达到了最先进的精度，并提供了实时的【形】适用性的快速推理。
2019-08-01 cs.CV
Exploring Pose-Based Anomaly Detection for Retail Security: A Real-World Shoplifting Dataset and Benchmark
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
针对零售场景入店行窃检测的传统安防不足及隐私等问题，本文提出隐私保护的真实姿态数据集PoseLift，并基准测试了基于姿态的异常检测模型，验证其高精度与伦理优势，推动相关领域创新。
2025-01-11 cs.AI cs.CV
Exploring Event Camera-based Odometry for Planetary Robots
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；University of Zurich（苏黎世大学）
由于它们对运动模糊的适应能力以及在低光和高动态范围条件下的高鲁棒性，事件相机有望成为未来火星直升机任务中基于视觉的探索传感器。然而，现有的基于事件的视觉惯性里程计（VIO）算法要么遭受高跟踪误差或脆弱，因为他们不能应付重大的深度不确定性所造成的不可预见的损失的跟踪或其他影响。在这项工作中，我们介绍了EKLT-VIO，它通过将最先进的基于事件的前端与基于过滤器的后端相结合来解决这两个限制。这使得它对不确定性既准确又鲁棒，在具有挑战性的基准测试中，它的性能比基于事件和帧的VIO算法高出32%。此外，我们展示了在悬停条件下的准确性能（优于现有的基于事件的方法），以及在新收集的火星样和高动态范围序列中的高鲁棒性，现有的基于帧的方法失败。在这样做的过程中，我们表明，基于事件的VIO是基于视觉的火星探测的前进方向。
2022-07-29 cs.CV cs.RO
Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring Sequential Events Detection for Dense Video Captioning
Renmin University of China（中国人民大学）
在未修剪的视频中检测有意义的事件对于密集的视频描述是必不可少的。在这项工作中，我们提出了一种新的和简单的事件序列生成模型，并探讨视频中的事件序列的时间关系。该模型省略了效率低下的两阶段的建议生成，并直接生成事件边界的双向时间依赖性在一个通行证。实验结果表明，该事件序列生成模型能够在少量的提议下生成更准确、更多样的事件。对于事件字幕，我们遵循我们以前的工作，采用事件内字幕模型到我们的管道系统。整个系统在视频任务中的密集字幕事件上实现了最先进的性能，在挑战测试集上的METEOR得分为9.894。
2020-06-14 cs.CV
Exploring Mutual Cross-Modal Attention for Context-Aware Human Affordance Generation
University of Technology Sydney（技术大学悉尼大学）；Indian Institute of Technology, Kharagpur（印度理工学院哈里科特）；Indian Statistical Institute, Kolkata（印度统计研究所科契）
本文提出一种互惠的跨模态注意力机制，通过不同模态的空间特征图互相关注，以提升2D场景中人体可供性预测的准确性与效率。
2026-04-18 cs.CV cs.MM
Exploring Pose-based Sign Language Translation: Ablation Studies and Attention Insights
Univerzity of West Bohemia, Faculty od Applied Sciences, Department of Cybernetics（西波西米亚大学应用科学学院计算机科学系）
本文研究基于姿态的手语翻译中归一化、插值和数据增强等预处理技术的影响，通过基于 T5 的 Transformer 模型在 YouTubeASL 和 How2Sign 上进行消融实验，证明适当预处理可提升模型鲁棒性，并发现添加 register token 可改善性能。
2025-07-02 cs.CV
Activitynet 2019 Task 3: Exploring Contexts for Dense Captioning Events in Videos
Renmin University of China（中国人民大学）；Microsoft Research Asia（微软亚洲研究院）；Carnegie Mellon University（卡内基梅隆大学）
上下文推理对于理解未修剪的长视频中的事件至关重要。在这项工作中，我们系统地探讨了不同的字幕模型与各种背景下的密集字幕事件的视频任务，其目的是在未经修剪的视频中生成不同的事件的字幕。我们提出了五种类型的上下文以及两类事件字幕模型，并从准确性和多样性方面评估其对事件字幕的贡献。建议的字幕模型插入到我们的管道系统的密集视频描述的挑战。整个系统在视频任务中的密集字幕事件上达到了最先进的性能，在挑战测试集上的METEOR得分为9.91。
2019-07-11 cs.CL cs.CV cs.LG
Can Large Language Models Grasp Event Signals? Exploring Pure Zero-Shot Event-based Recognition
School of Computer and Artificial Intelligence（计算机与人工智能学院）；Beijing Technology and Business University（北京工商大学）；School of Computer Science（计算机科学学院）；The University of Sydney（悉尼大学）
本研究首次探索大语言模型对基于事件视觉内容的理解能力，证明其无需额外训练或结合CLIP微调即可实现纯零样本基于事件的识别，实验显示经精心提示增强的LLMs性能显著提升，GPT-4o在N-ImageNet上准确率超现有最优方法五个数量级。
2024-09-15 cs.AI cs.CV cs.MM
On Exploring Pose Estimation as an Auxiliary Learning Task for Visible-Infrared Person Re-identification
由于可见光和红外模式之间存在很大的差异，可见-红外人员重新识别（VI-ReID）一直具有挑战性。大多数开创性的方法通过学习模态共享和ID相关特征来减少类内差异和模态间差异。然而，一个明确的模态共享线索，即，身体关键点，在VI-ReID中尚未得到充分利用。此外，现有的特征学习范式对全局特征或分区特征条带施加了约束，忽略了全局特征和局部特征的预测一致性。为了解决上述问题，我们利用姿态估计作为辅助学习任务，以协助端到端框架中的VI-ReID任务。通过以互利的方式联合训练这两个任务，我们的模型学习更高质量的模态共享和ID相关特征。在此基础上，全局特征和局部特征的学习通过层次特征约束（HFC）实现无缝同步，全局特征通过知识蒸馏策略监督局部特征的学习。在两个基准VI-ReID数据集上的实验结果表明，该方法通过显着的裕度一致地改进了最先进的方法。具体来说，我们的方法实现了近20个$\%$ mAP的改进，对国家的最先进的方法在RegDB数据集。我们有趣的发现突出了VI-ReID中辅助任务学习的使用。
2022-02-23 cs.CV
Exploring Convolutional Networks for End-to-End Visual Servoing
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
目前基于图像的视觉伺服方法依赖于从图像中提取手工制作的视觉特征。选择正确的功能集非常重要，因为它直接影响任何方法的性能。受最近数据驱动方法在识别和定位任务上的性能突破的启发，我们的目标是学习适用于非结构化和未知环境中伺服任务的视觉特征表示。在本文中，我们提出了一个端到端的学习为基础的方法，视觉伺服在不同的场景中，相机参数和场景几何的知识是不可用的先验。这是通过在具有同步相机姿态的彩色图像上训练卷积神经网络来实现的。通过在模拟和四旋翼上进行的实验，我们证明了我们的方法在室内和室外环境中的各种相机姿势的有效性和鲁棒性。
2017-06-10 cs.CV cs.RO
EDCFlow: Exploring Temporally Dense Difference Maps for Event-based Optical Flow Estimation
Southeast University（东南大学）
EDCFlow提出利用时间密集差分图与代价体互补，通过注意力多尺度差分层和自适应融合，实现高分辨率、低复杂度的基于事件光流估计，并可作为RAFT类方法的即插即用细化模块。
2025-06-04 cs.CV
Event-based Camera Pose Tracking using a Generative Event Model
University of Zurich（苏黎世大学）
基于事件的视觉传感器模仿生物视网膜的操作，它们代表了传统相机的主要范式转变。基于事件的相机不是以人为选择的速率同步提供强度测量的帧，而是在亮度变化发生时异步提供关于亮度变化的信息。这种非冗余的信息片段被称为“事件”。这些传感器克服了传统相机的一些限制（响应时间、带宽和动态范围），但需要新的方法来处理它们输出的数据。我们解决的问题，基于事件的摄像机定位在一个已知的环境中，没有额外的传感，使用概率生成事件模型的贝叶斯过滤框架。我们的主要贡献是在过滤器中使用的似然函数的设计来处理所观察到的事件。基于传感器的物理特征和尖峰事件相对于亮度变化的类高斯分布的经验证据，我们建议使用对比度残差作为基于事件的相机和环境的估计姿态的测量结果解释观察到的事件。该滤波器允许在六个自由度运动的一般情况下定位。
2015-10-07 cs.CV cs.RO
Keypoint-based Dynamic Object 6-DoF Pose Tracking via Event Camera
ShanghaiTech University（上海科技大学）；ShanghaiTech Automation and Robotics (STAR) Center（上海科技大学自动化与机器人中心）；School of Information Science and Technology（信息科学与技术学院）；WLSA Shanghai Academy（WLSA上海研究院）
本文提出基于关键点的动态物体姿态估计方法，利用事件相机高动态范围和低延迟特性，结合关键点检测与跟踪，通过EPnP算法实现6自由度姿态估计，实验表明方法在准确性和鲁棒性上优于现有技术。
2026-04-25 cs.CV cs.RO
Exploring Temporal Event Cues for Dense Video Captioning in Cyclic Co-learning
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）；Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education, China（中国教育部可持续城市智能交通工程研究中心）
本文提出多概念循环学习（MCCL）网络，通过帧级概念检测提供时间事件线索，并设计生成器与定位器间的循环共学习，在ActivityNet Captions和YouCook2上取得最先进性能。
2024-12-16 cs.CV
Exploring deep learning for Event-Based Saliency Prediction with a Transformer-based model
i3S/CNRS, Université Côte d’Azur（i3S/CNRS，法国国家科学研究中心，埃克塞特大学）
提出SEST模型，利用自监督预训练的事件Swin Transformer和轻量CNN解码器，从事件数据预测动态显著性图，并创建两个新基准数据集，显著优于现有方法。
2026-05-22 cs.CV
Real-Time 6DOF Pose Relocalization for Event Cameras with Stacked Spatial LSTM Networks
IIT（意大利理工学院）；University of Adelaide（阿德莱德大学）
我们提出了一种新的方法来重新定位的事件摄像机的六自由度的姿势完全基于事件流。我们的方法首先从在很短的时间间隔内发生的事件列表中创建事件图像，然后使用堆叠空间LSTM网络（SP-LSTM）来学习相机姿势。我们的SP-LSTM由一个CNN和一个LSTM堆栈组成，前者用于从事件图像中学习深度特征，后者用于学习图像特征空间中的空间依赖关系。我们证明了空间依赖性在重定位任务中起着重要作用，SP-LSTM可以有效地学习这些信息。在公开数据集上的实验结果表明，我们的方法具有很好的泛化能力，并且比最近的方法有很大的优势。总的来说，我们提出的方法减少了大约。与当前技术水平相比，位置误差为6倍，方向误差为3倍。源代码和训练模型将被发布。
2018-04-14 cs.CV cs.RO
Towards Bridging the Space Domain Gap for Satellite Pose Estimation using Event Sensing
Australian Institute for Machine Learning (AIML)（澳大利亚机器学习研究所）；Sentient Satellites Laboratory (SSL)（感知卫星实验室）
针对太空场景真实数据稀缺导致域适应困难的问题，提出仅用合成事件数据训练并结合基础增强的卫星位姿估计方法，依托实验室模拟交会数据集验证其可在剧烈光照下有效泛化。
2022-09-24 cs.CV cs.RO
Event-based Camera Tracker by $\nabla$t NeRF
Keio University（庆应义塾大学）；Denso IT Laboratory（电装IT实验室）
本文提出首个基于场景隐式表示与事件稀疏强度变化的相机位姿估计算法TeGRA，通过最小化稀疏事件与NeRF时间梯度的误差实现高效位姿追踪。
2023-04-07 cs.CV
The Event-Camera Dataset and Simulator: Event-based Data for Pose Estimation, Visual Odometry, and SLAM
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
新的视觉传感器，如动态和有源像素视觉传感器（DAVIS），将传统的全局快门相机和基于事件的传感器集成在同一像素阵列中。这些传感器在高速机器人和计算机视觉方面具有巨大的潜力，因为它们使我们能够将传统相机的优点与基于事件的传感器的优点结合起来：低延迟，高时间分辨率和非常高的动态范围。然而，需要新的算法来利用传感器的特性，并应对其非常规输出，其中包括一系列异步亮度变化（称为“事件”）和同步灰度帧。为此，我们提出并发布了一系列在各种合成和真实环境中使用DAVIS捕获的数据集，我们希望这将激励对高速和高动态范围机器人和计算机视觉应用的新算法的研究。除了全局快门强度图像和异步事件外，我们还提供来自运动捕捉系统的惯性测量和地面实况相机姿态。后者允许定量地比较自我运动估计算法的姿态精度。所有数据都以标准文本文件和二进制文件（即，rosbag）。本文提供了可用数据的概述，并描述了一个模拟器，我们发布的开源创建合成事件相机数据。
2017-11-08 cs.CV cs.RO
Line-based 6-DoF Object Pose Estimation and Tracking With an Event Camera
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）；ShanghaiTech University（上海科技大学）
本文提出一种基于事件相机和线特征的六自由度物体姿态估计与跟踪方法，通过分支定界初始化、事件-线匹配和鲁棒距离优化实现高动态场景下的精确跟踪，并构建了事件运动物体数据集验证其性能。
2024-08-06 cs.CV
Exploring Spatial-Temporal Dynamics in Event-based Facial Micro-Expression Analysis
Universidad de Buenos Aires, Facultad de Ciencias Exactas y Naturales（布宜诺斯艾利斯大学，精确科学与自然学院）；Institute of Engineering Sciences, Universidad de O’Higgins（工程科学研究所，奥希金斯大学）；CONICET-UBA, Instituto de Ciencias de la Computacion (ICC)（CONICET-UBA，计算科学研究所）；L3S Research Center, Leibniz Universität Hannover（L3S研究中心，汉诺威莱布尼茨大学）
本文提出一个同步RGB与事件相机的多模态微表情数据集，并通过脉冲神经网络和条件变分自编码器验证事件数据在运动单元分类与帧重建中的有效性。
2025-08-21 cs.CV
YCB-Ev 1.1: Event-vision dataset for 6DoF object pose estimation
Fraunhofer IGD（弗劳恩霍夫研究所）
本文提出YCB-Ev数据集，提供同步RGB-D与事件数据及6DoF姿态真值，用于评估物体姿态估计算法，并验证两种先进算法的泛化能力。
2024-09-25 cs.CV
EventVGGT: Exploring Cross-Modal Distillation for Consistent Event-based Depth Estimation
HKUST(GZ)（香港科技大学（珠海））；CUHK（香港中文大学）；SCNU（华南师范大学）
EventVGGT通过跨模态蒸馏实现一致的基于事件的深度估计，有效提升深度预测精度和泛化能力。
2026-07-09 cs.CV
Event6D: Event-based Novel Object 6D Pose Tracking
KAIST（韩国科学技术院）；NVIDIA（英伟达）
本文提出EventTrack6D框架，通过重建任意时间戳间的强度和深度，实现无需特定对象训练的新型物体6D位姿跟踪，支持高速动态场景下的实时跟踪。
2026-04-06 cs.CV
EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision
Peking University（北京大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出EvHandPose，利用手部流表示和弱监督框架解决事件相机手部姿态估计中的运动模糊与稀疏标注问题，并构建首个大规模真实事件手部数据集，实验证明其性能优于现有方法。
2023-12-28 cs.AI cs.CV
Efficient Onboard Spacecraft Pose Estimation with Event Cameras and Neuromorphic Hardware
University of Luxembourg（卢森堡大学）；Fortiss GmbH（Fortiss有限公司）；Technical University of Munich（慕尼黑工业大学）；Paddington Robotics（Paddington机器人公司）
本文提出一种结合事件相机与神经形态硬件的空间飞行器六自由度姿态估计方案，通过轻量事件-帧表示训练紧凑的MobileNet风格关键点回归网络，实现低功耗实时推理，展示了首个在Akida硬件上端到端运行的飞行器姿态估计演示。
2026-04-05 cs.CV cs.LG cs.RO
EventHPE: Event-based 3D Human Pose and Shape Estimation
University of Alberta（阿尔伯塔大学）；Shandong University（山东大学）；Celepixel Technology；University of Guelph（圭尔夫大学）；Nanyang Technological University（南洋理工大学）
事件相机是一种新兴的图像传感器，用于捕获运动物体的动态作为事件，这激发了我们的工作，估计三维人体姿态和形状的事件信号。另一方面，事件有其独特的挑战：事件信号最擅长捕捉局部运动，而不是捕捉静态的身体姿势。这让我们提出了一种两阶段的深度学习方法，称为EventHPE。第一阶段，FlowNet，通过无监督学习来训练以从事件推断光流。事件和光流都与人体动力学密切相关，在第二阶段将其作为ShapeNet的输入，以估计3D人体形状。为了缓解基于图像的流（光流）和基于形状的流（人体形状的顶点移动）之间的差异，通过利用两种流都源自相同的人体运动这一事实，引入了一种新的流相干性损失。一个内部的基于事件的3D人体数据集被策划，带有3D姿势和形状注释，这是迄今为止我们所知的最大的一个。对DHP19数据集和我们的内部数据集的实证评估证明了我们的方法的有效性。
2021-08-15 cs.CV
Exploring Fourier Prior and Event Collaboration for Low-Light Image Enhancement
College of Artificial Intelligence, Southwest University（西南大学人工智能学院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对现有基于事件的低光照图像增强方法未充分利用模态优势的问题，本研究将增强流程解耦为可见性恢复与结构细化两阶段，结合傅里叶幅相纠缠网络、动态对齐融合策略及对比损失，实现了优于现有最优模型的增强效果。
2025-08-01 cs.CV
Event-based Motion & Appearance Fusion for 6D Object Pose Tracking
Event-driven Perception for Robotics, Istituto Italiano di Tecnologia, Italy（事件驱动感知机器人实验室，意大利理工学院）；Humanoid Sensing and Perception, Istituto Italiano di Tecnologia, Italy（人形感知与感知，意大利理工学院）；University of Genoa, Genoa, Italy（热那亚大学，意大利）
提出一种结合事件相机高时间分辨率优势的无学习方法，通过事件光流传播姿态并利用模板匹配校正，在高速运动物体上达到或超越现有算法性能。
2026-05-26 cs.CV
Optical Flow-Guided 6DoF Object Pose Tracking with an Event Camera
National University of Defense Technology（国防科技大学）；Wuhan University（武汉大学）
本文提出基于事件相机的光学流引导的6自由度物体姿态跟踪方法，通过混合特征提取和光流优化提升跟踪精度与鲁棒性。
2025-12-24 cs.CV
Leveraging RGB Images for Pre-Training of Event-Based Hand Pose Estimation
The University of Tokyo, Japan（东京大学）；National University of Singapore, Singapore（新加坡国立大学）
本文提出RPEP，通过将手部运动分解为逐步动作并施加运动反转约束生成伪事件数据，利用RGB图像预训练基于事件的3D手部姿态估计模型，在真实事件数据上显著超越现有方法。
2025-09-21 cs.CV
Event-Based high-speed low-latency fiducial marker tracking
Technical University of Vienna（维也纳技术大学）；AIT Austrian Institute of Technology（奥地利技术研究院）
运动和动态环境，特别是在具有挑战性的照明条件下，仍然是鲁棒机器人应用的一个悬而未决的问题。在本文中，我们提出了一个端到端的管道实时，低延迟，6度的自由度的基准标记的姿态估计。而不是通过传统的基于帧的方法来实现姿态估计，我们采用基于事件的传感器的高速能力，使用连续事件直接细化空间变换。此外，我们引入了一种新的双向验证过程，通过回溯估计的姿态来检测跟踪错误，从而评估跟踪的质量。这种方法允许我们以高达156 kHz的速率实现姿态估计，同时仅依赖于CPU资源。我们的方法的平均端到端的延迟是3毫秒。实验结果表明，机器人任务，如视觉伺服在快速动作感知回路的突出潜力。
2021-10-12 cs.CV cs.RO
A Geometric Framework for Absolute Pose and Velocity Estimation with Event Cameras
National University of Defense Technology（国防科技大学）；independent researcher（独立研究者）
提出利用3D直线及其触发事件的几何约束，通过线性与多项式求解器同时估计事件相机的绝对位姿和速度，最少仅需三个对应关系，在精度和效率上超越现有方法。
2026-06-23 cs.CV
