Scene-Segmentation-Based Exposure Compensation for Tone Mapping of High Dynamic Range Scenes
Tokai University（东海大学）；Tokyo Metropolitan University（东京都立大学）
针对多曝光融合色调映射中曝光值选择不当的问题，提出基于亮度场景分割并保持亮度关系的曝光补偿及改进融合权重方法，TMQI实验优于三种典型方法。
2024-10-21 cs.CV eess.IV
EV-MGRFlowNet: Motion-Guided Recurrent Network for Unsupervised Event-based Optical Flow with Hybrid Motion-Compensation Loss
Northeastern University（东北大学）
本文提出EV-MGRFlowNet，一种基于运动引导循环网络和混合运动补偿损失的无监督事件光流估计方法，在MVSEC数据集上平均端点误差降低约22.71%，达到无监督方法最优性能。
2023-05-13 cs.CV
Continuous-Time Gaussian Process Motion-Compensation for Event-vision Pattern Tracking with Distance Fields
University of Technology Sydney（悉尼科技大学）；Imperial College London（帝国理工学院）
这项工作解决的问题，运动补偿和模式跟踪的事件相机数据。事件摄像机在观察到的强度发生变化时生成由每个像素独立触发的异步事件流。这种非传统的数据在低光和快速运动场景中具有很大的优势，因此传统的视觉算法无法直接适用于这种传感模式，因此提出了重大的研究挑战。所提出的方法将跟踪问题分解为局部SE（2）运动补偿步骤，然后是小运动补偿事件批次的单应性配准。第一个组件依赖于高斯过程（GP）理论来模拟图像平面中事件的连续占用场，并将相机轨迹嵌入协方差核函数中。在这样做时，通过最大化数据的对数边际似然来估计轨迹，类似于GP超参数学习。连续占用字段被转换成距离字段，并用作基于单应性的配准的模板。通过对所提出的方法与其他最先进的技术进行基准测试，我们证明了我们的开源实现可以执行高精度的运动补偿，并在真实场景中生成高质量的轨迹。
2023-03-05 cs.CV cs.RO
Robust Video Content Alignment and Compensation for Rain Removal in a CNN Framework
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）；Singapore Technologies Dynamics Pte Ltd（新加坡科技动力私人有限公司）
雨水去除对于提高基于室外视觉的系统的鲁棒性是重要的。目前的雨水去除方法显示出局限性，无论是从快速移动的相机拍摄的复杂的动态场景，或在暴雨与不透明的遮挡下降。提出了一种新的去深度算法，该算法采用超像素（SP）分割将场景分解为深度一致的单元。场景内容的对齐是在SP级完成的，这被证明是对雨遮挡和快速相机运动的鲁棒性。两个对准输出张量，即，最佳时间匹配张量和排序的时空匹配张量，为雨带定位和被遮挡的背景内容提供信息线索，以生成中间的深度输出。这些张量随后将被准备作为卷积神经网络的输入特征，以将高频细节恢复到中间输出，用于补偿未对准模糊。广泛的评估表明，高达5 dB的重建PSNR的优势，实现了国家的最先进的方法。目视检查表明，特别是对于快速移动的摄像机拍摄的具有大量和不透明降雨的高度动态场景，可以实现更清洁的雨水去除。
2018-03-28 cs.CV
GeoIMO: Geometry-Driven Independent Motion Classification for Event Cameras
Politecnico di Torino（都灵理工大学）
提出一种无监督的几何驱动框架，通过事件流中的自运动结构将检测对象分类为静态或独立运动，无需学习或人工标注。
2026-06-24 cs.CV
OVOSE: Open-Vocabulary Semantic Segmentation in Event-Based Cameras
Sapienza University of Rome（罗马大学）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院 Télécom Paris LTCI 实验室）
针对事件相机语义分割数据少、基准缺且现有方法局限于闭集的问题，提出首个事件相机开放词汇语义分割算法OVOSE，通过合成事件数据与图像基础模型知识蒸馏实现能力迁移，在两个驾驶数据集上性能优于现有方法。
2024-08-18 cs.CV
Implicit Motion-Compensated Network for Unsupervised Video Object Segmentation
Beihang University（北京航空航天大学）；Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR)（资讯通信研究院，新加坡科技研究局）
本文提出IMCNet，通过特征层面的隐式运动补偿结合外观与运动线索，在不估计光流的情况下提升无监督视频目标分割的鲁棒性和效率。
2024-01-16 cs.CV
Enhanced Event-Based Video Reconstruction with Motion Compensation
Imperial College London（帝国理工学院）
针对基于事件的视频重建中运动位移被忽略的问题，提出结合流网络与CISTA-LSTC的CISTA-Flow模型，通过扭曲输入帧和稀疏码实现运动补偿，达到最先进的重建精度并提供可靠流估计。
2024-03-18 cs.AI cs.CV cs.LG
EventSSEG: Event-driven Self-Supervised Segmentation with Probabilistic Attention
Defence Research and Development Organization, Bangalore and Indian Institute of Science, Bangalore（国防研究与发展组织、班加罗尔和印度科学学院，班加罗尔）；Department of Electronics Systems Engineering, Indian Institute of Science, Bangalore（电子系统工程系，印度科学学院，班加罗尔）
针对自动驾驶道路分割中基于帧相机的低延迟低计算挑战，提出EventSSEG方法，通过仅事件计算、概率注意力机制和基于事件的自监督学习，在DSEC-Semantic和DDD17数据集上以少量标注事件实现最先进性能。
2025-08-20 cs.CV
Event-Frame Fusion for Inter-Frame Segmentation via Event-Guided Motion
I3S, Côte d’Azur University, CNRS（I3S，蔚蓝海岸大学，法国国家科学研究中心）；LEAT, Côte d’Azur University（LEAT，蔚蓝海岸大学）；Zernike Institute, Groningen University（泽尼克研究所，格罗宁根大学）
针对传统相机帧间信息丢失问题，提出结合帧与事件相机的混合架构，利用紧凑SNN估计运动并插值帧间分割，实现高达500Hz分割率且低能耗，提升鲁棒性。
2026-09-22 cs.CV
Efficient Event-Based Semantic Segmentation via Exploiting Frame-Event Fusion: A Hybrid Neural Network Approach
Hebei Li 1, † , Yansong Peng 1, † , Jiahui Yuan 1 , Peixi Wu 1 , Jin Wang 1 Yueyi Zhang 1, * , Xiaoyan Sun 1, 2（河北理工大学）
本文提出一种融合脉冲神经网络与人工神经网络的混合框架，通过三个专用模块高效结合事件与帧信息，在多个数据集上实现最先进分割精度并显著降低能耗。
2025-07-04 cs.CV
Learning Monocular Depth from Events via Egomotion Compensation
本文提出一种可解释的单目深度估计框架，通过运动补偿和聚焦代价判别、假设间代价聚合模块，在真实与合成数据集上比前沿方法误差降低最多10%。
2024-12-26 cs.CV cs.LG cs.RO
Asynchronous Events-based Panoptic Segmentation using Graph Mixer Neural Network
Kingston University（金斯顿大学）；Khalifa University of Science Technology（哈利法科技大学）
针对机器人抓取动态场景下物体分割的难题，提出带协同上下文混合层的图混合神经网络处理异步事件3D图，在ESD数据集上的交并比与像素精度均优于现有最优方法。
2023-05-05 cs.CV
ISSAFE: Improving Semantic Segmentation in Accidents by Fusing Event-based Data
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
确保所有交通参与者的安全是让智能汽车更接近实际应用的前提。辅助系统不仅要在正常情况下实现高精度，而且要在极端情况下获得强大的感知。然而，涉及物体碰撞、变形、倾覆等的交通事故，然而在大多数训练集中看不见，这将在很大程度上损害现有语义分割模型的性能。为了解决这个问题，我们提出了一个很少解决的任务，关于语义分割在意外的情况下，随着事故数据集DADA-seg。它包含313个不同的事故序列，每个40帧，其中的时间窗口位于交通事故之前和期间。每第11帧被手动注释，用于对分割性能进行基准测试。此外，我们提出了一种新的基于事件的多模态分割架构ISSAFE。我们的实验表明，基于事件的数据可以提供补充信息，以稳定语义分割在不利的条件下，通过保持细粒度运动的快速移动的前景（碰撞对象）的事故。我们的方法在建议的评估集上实现了+8.2%的mIoU性能增益，超过了10多种最先进的分割方法。建议的ISSAFE架构被证明是一致有效的模型学习多个源数据库，包括Cityscapes，KITTI-360，BDD和ApolloScape。
2021-12-09 cs.CV
EV-SegNet: Semantic Segmentation for Event-based Cameras
Universidad de Zaragoza（萨拉戈萨大学）
事件相机或动态视觉传感器（DVS）是非常有前途的传感器，其已经显示出比基于帧的相机的几个优点。然而，这些相机的实际应用的最新工作集中在3D重建和6-DOF相机跟踪。基于深度学习的方法在视觉识别任务中处于领先地位，可能会利用DVS的优势，但仍然需要进行一些调整，以便有效地在这些相机上工作。这项工作介绍了第一个基线的语义分割与这种数据。我们建立了一个语义分割CNN的基础上，国家的最先进的技术，将事件信息作为唯一的输入。此外，我们提出了一种新的表示DVS数据，优于以前使用的事件表示相关的任务。由于没有现有的标记数据集，这项任务，我们提出了如何自动生成近似的语义分割标签的DDD 17数据集的一些序列，我们一起发布的模型，并证明他们是有效的训练模型的DVS数据。我们比较了我们的结果语义分割从DVS数据与结果使用相应的灰度图像，证明它们是互补的，值得结合。
2018-11-29 cs.CV
Enhanced Neuromorphic Semantic Segmentation Latency through Stream Event
Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；I3S（信息科学与系统实验室）；LEAT（高级技术与网络实验室）
本研究利用事件相机的事件流，结合脉冲神经网络，在DSEC数据集上实现了语义分割的延迟显著降低，同时保持高准确性和低功耗，适用于实时动态环境。
2025-02-26 cs.CV
Box Supervised Video Segmentation Proposal Network
Ludwig-Maximilians-University（路德维希-马克西米利安大学）；Hensoldt Analytics（亨索尔特分析公司）
视频对象分割（VOS）已经成为各种全监督和自监督方法的目标。虽然全监督方法表现出出色的结果，但不使用像素级地面实况的自监督方法引起了人们的广泛关注。然而，自我监督的方法造成了显着的性能差距。框级注释为图像分割提供了标记工作和结果质量之间的平衡折衷，但尚未被用于视频域。在这项工作中，我们提出了一个框监督的视频对象分割建议网络，它利用了固有的视频属性。我们的方法采用了以下方式的对象运动：首先，运动计算使用双向时间差和一种新的限界框引导的运动补偿。其次，我们引入了一种新的运动感知的亲和力损失，鼓励网络预测积极的像素对，如果它们共享相似的运动和颜色。该方法在DAVIS和Youtube-VOS数据集上的性能优于最先进的自监督基准16.4%和6.9%的$\mathcal{J}$和$\mathcal{F}$分数以及大多数完全监督方法，而无需强加网络架构规范。我们对数据集进行了广泛的测试和消融，证明了我们方法的稳健性。
2022-02-16 cs.CV
EIFNet: Leveraging Event-Image Fusion for Robust Semantic Segmentation
Beijing University of Posts and Telecommunications（北京邮电大学）
针对事件流特征提取难、事件与图像模态融合难的问题，提出含AEFRM、MARM及MGFM模块的EIFNet多模态融合网络，在两个语义分割数据集上取得SOTA性能。
2025-07-29 cs.CV
Out of the Room: Generalizing Event-Based Dynamic Motion Segmentation for Complex Scenes
Huawei Technologies, Zurich Research Center（华为技术有限公司苏黎世研究中心）；ETH Zurich（苏黎世联邦理工学院）
针对现有运动分割方法在复杂场景泛化性差的问题，提出结合自运动补偿事件与光流的分治式事件基类别无关运动分割方法，引入时序注意力模块保证时序一致性，在室内外基准上均取得最优性能。
2024-03-07 cs.CV
EV-LayerSegNet: Self-supervised Motion Segmentation using Event Cameras
Advanced Research and Innovation Center, Khalifa University（哈利法大学先进研究与创新中心）；MAVLab, TU Delft（代尔夫特理工大学MAVLab）
针对事件相机运动分割真值获取困难的问题，提出自监督 CNN EV-LayerSegNet，通过分层学习仿射光流与分割掩码并以事件去模糊质量作为损失，在模拟仿射运动数据集上实现最高 71% IoU 和 87% 检测率。
2025-06-07 cs.CV
Generic Event Boundary Detection: A Benchmark for Event Segmentation
Facebook AI（脸书人工智能研究院）；National University of Singapore（新加坡国立大学）
本文提出了一个新的任务，以及一个新的基准检测通用的，无分类的事件边界，分割成块的整个视频。时间视频分割和动作检测中的常规工作集中于定位预定义的动作类别，因此不能扩展到通用视频。自上世纪以来，认知科学就知道人类会不断地将视频分割成有意义的时间块。这种分割是自然发生的，没有预先定义的事件类别，也没有明确要求这样做。在这里，我们在主流CV数据集上重复这些认知实验;我们的新注释指南解决了无分类事件边界注释的复杂性，我们介绍了通用事件边界检测（GEBD）和新基准动力学-GEBD的任务。我们的Kinetics-GEBD拥有最多的边界（例如ActivityNet的32个，EPIC-Kitchen-100的8个），这些边界是在野外，无分类，涵盖通用事件变化，并尊重人类感知的多样性。我们认为GEBD是理解整个视频的重要垫脚石，并且认为由于缺乏适当的任务定义和注释，它以前被忽视了。通过实验和人体研究，我们证明了注释的价值。此外，我们在TAPOS数据集和我们的Kinetics-GEBD上对监督和非监督GEBD方法进行了基准测试。我们在CVPR'21 LOVEU Challenge上发布我们的注释和基线代码：https://sites.google.com/view/loveucvpr21。
2021-08-19 cs.CV
Learning Flow-Guided Registration for RGB-Event Semantic Segmentation
Lehigh University（莱维大学）；Qualcomm AI Research（高通AI研究）；City University of Hong Kong（香港城市大学）
针对RGB-事件分割中的时空与模态错位问题，提出流引导双向配准框架BRENet，利用光流和事件时间特征生成像素配对，并引入MET表示，在四个数据集上验证了有效性。
2025-09-25 cs.CV
ProgressiveMotionSeg: Mutually Reinforced Framework for Event-Based Motion Segmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
动态视觉传感器（DVS）可以以微秒级分辨率异步输出反映物体表观运动的事件，在监控等领域显示出巨大的应用潜力。然而，现有的DVS的输出事件流不可避免地包含背景活动噪声（BA噪声），由于暗电流和结漏电流，这将影响对象的时间相关性，导致恶化的运动估计性能。特别是，现有的基于滤波器的去噪方法不能直接应用于抑制事件流中的噪声，因为不存在空间相关性。为了解决这个问题，本文提出了一种新的渐进式框架，其中运动估计（ME）模块和事件去噪（ED）模块以相互增强的方式联合优化。运动估计模块基于最大清晰度准则，在运动补偿变形场中对输入事件进行自适应聚类，将输入事件划分为若干段，并根据聚类后的运动参数获取事件流的时间相关性。ED模块以时间相关性为指导，计算每个事件属于真实活动事件的置信度，并将其传输给ME模块，更新运动分割的能量函数进行噪声抑制。这两个步骤迭代更新，直到获得稳定的运动分割结果。在合成数据集和真实数据集上的大量实验结果表明，我们提出的方法对最先进的（SOTA）方法的优越性。
2022-03-22 cs.CV
Finding Meaning in Points: Weakly Supervised Semantic Segmentation for Event Cameras
KAIST（韩国科学技术院）
针对事件相机语义分割标注成本高的问题，提出EV-WSSS弱监督方法，利用稀疏点标注，通过非对称双学生学习和基于类原型的对比学习，实现无需密集真值的有效分割。
2024-07-15 cs.CV
Exploring Event-driven Dynamic Context for Accident Scene Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语义分割对交通场景边缘情况的鲁棒性是影响智能交通安全的重要因素。然而，交通事故中的关键场景大多是动态的，并且是不可见的，这严重影响了语义分割方法的性能。此外，传统摄像头在高速行驶过程中的延迟，会进一步减少时间维度上的情境信息。因此，我们建议从具有更高时间分辨率的基于事件的数据中提取动态上下文，以增强静态RGB图像，即使是来自具有运动模糊，碰撞，变形，翻转等的交通事故的图像。此外，为了评估交通事故中的分割性能，我们提供了一个逐像素注释的事故数据集，即DADA-seg，它包含了各种交通事故的关键场景。我们的实验表明，基于事件的数据可以提供补充信息，以稳定语义分割在不利的条件下，通过保持细粒度的运动快速移动的前景（碰撞对象）的事故。我们的方法在建议的事故数据集上实现了+8.2%的性能增益，超过了20多种最先进的语义分割方法。该建议已被证明是一致有效的模型学习多个源数据库，包括城市景观，KITTI-360，BDD和ApolloScape。
2021-12-09 cs.CV
Predicting Visual Context for Unsupervised Event Segmentation in Continuous Photo-streams
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
将视频内容分割成事件提供了用于索引、检索和摘要的语义结构。由于运动线索在连续的照片流中不可用，并且生活日志中的注释是稀缺且昂贵的，因此通常通过以无监督的方式比较帧之间的视觉特征来将帧聚类为事件。然而，这样的方法对于处理异构事件（例如，散步）和视线方向的临时改变（例如，在会议上）是无效的。为了解决这些限制，我们提出了上下文事件分割（CES），一种新的分割范式，使用基于LSTM的生成网络来建模照片流序列，预测其视觉上下文，并跟踪其演变。CES通过比较从过去的帧生成的视觉上下文与从未来预测的视觉上下文来决定帧是否是事件边界。我们在一个新的大规模生活记录数据集上实施了CES，该数据集由超过150万张图像组成，跨越1,723天。在流行的EDUB-Seg数据集上的实验表明，我们的模型在f-measure方面比最先进的模型高出16%以上。此外，CES的性能仅比人类注释者低3分。
2018-08-07 cs.CV
Event-based Motion Segmentation with Spatio-Temporal Graph Cuts
Hunan University（湖南大学）；Technische Universität Berlin（柏林工业大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）；Hong Kong University of Science and Technology（香港科技大学）
独立运动目标的识别是动态场景理解的一项重要任务。然而，用于动态场景中的传统相机可能由于其采样原理而遭受运动模糊或曝光伪影。相比之下，基于事件的相机是一种新型的生物传感器，可以克服这些限制。它们异步报告像素级强度变化，这使它们能够以与场景动态完全相同的速率获取视觉信息。我们开发了一种方法来识别用基于事件的相机获取的独立移动对象，即，来解决基于事件的运动分割问题。我们投的问题作为一个能量最小化的一个涉及到多个运动模型的拟合。我们共同解决两个子问题，即事件集群分配（标签）和运动模型拟合，在一个迭代的方式，通过利用输入的事件数据的结构的形式的时空图。在现有数据集上的实验表明，该方法在具有不同运动模式和运动对象数量的场景中具有通用性。评估显示了最先进的结果，而不必预先确定预期的移动对象的数量。我们在开源许可下发布软件和数据集，以促进基于事件的运动分割这一新兴主题的研究。
2021-10-29 cs.CV
Event-assisted Low-Light Video Object Segmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出利用事件相机数据辅助低光照视频目标分割的框架，通过自适应跨模态融合和事件引导记忆匹配模块提升分割精度，并构建了合成与真实数据集验证其有效性。
2024-04-02 cs.CV
Contextual Relationship-based Activity Segmentation on an Event Stream in the IoT Environment with Multi-user Activities
Korea Advanced Institute of Science and Technology（韩国科学技术院）
物联网环境中的人类活动识别在环境辅助生活中起着核心作用，其中人类活动可以表示为从各种智能对象生成的级联事件流。从串联的事件流中，每个活动都应该被单独区分，以便进行人类活动识别，从而提供用户可能需要的服务。在这方面，准确地分割整个流在每个活动的精确边界是必不可少的高优先级的任务，以实现活动识别。物联网环境中的多种人类活动会产生不同的事件流模式，这些模式的不可预测性使它们包含冗余或丢失的事件。在处理这个复杂的分割问题时，我们发现动态和混乱的模式会导致主要问题，原因是：包含事件流，冗余事件和共享事件。为了解决这些问题，我们利用了与活动状态相关的上下文关系，无论是正在进行的还是已终止/已开始的。为了发现流中事件之间的内在关系，我们利用LSTM模型进行活动分割。然后，我们的验证算法进行了修改，推断的边界位移位的边界。我们的实验显示了令人惊讶的结果，在我们自己的测试平台上，各种智能对象的准确率高达95%以上。这优于先前的作品，甚至不假设多用户活动的环境，在他们的测试环境中，他们的准确率略高于80%。这证明了我们的工作是可行的，足以应用于物联网环境。
2016-09-20 cs.CV
Redefining Radar Segmentation: Simultaneous Static-Moving Segmentation and Ego-Motion Estimation using Radar Point Clouds
Microwave Sensing, Signals and Systems (MS3) group, Delft University of Technology（微波传感、信号与系统（MS3）组，代尔夫特理工大学）；NXP Semiconductors（NXP半导体公司）
本研究提出一种基于神经网络的方法，利用雷达点云同时实现静态-移动分割和自主运动估计，无需中间信号处理步骤。
2025-11-25 cs.CV eess.SP
Event-guided Low-light Video Semantic Segmentation
Lehigh University（莱文斯顿大学）
本文提出EVSNet，利用事件模态引导学习光照不变表示，实现低光照环境下视频语义分割的高效高精度
2024-11-01 cs.CV
Bimodal SegNet: Instance Segmentation Fusing Events and RGB Frames for Robotic Grasping
Faculty of Science, Engineering and Computing, Kingston University（科学、工程与计算学院，金斯顿大学）；Aerospace Engineering Department, Khalifa University of Science and Technology（航空航天工程系，哈利法大学科技学院）；Dubai Future Labs - RLab（迪拜未来实验室-RLab）
双模SegNet通过融合事件和RGB帧数据，提升机器人抓取中动态环境下物体分割的准确率。
2025-12-08 cs.CV
MambaSeg: Harnessing Mamba for Accurate and Efficient Image-Event Semantic Segmentation
MambaSeg通过双分支框架和双维交互模块，实现高效准确的多模态语义分割，适用于快速运动和低光条件下的图像事件分割任务。
2025-12-30 cs.CV
Un-EVIMO: Unsupervised Event-Based Independent Motion Segmentation
University of Pennsylvania（宾夕法尼亚大学）；Archimedes, Athena RC（阿基米德、阿泰纳RC）
本研究提出首个利用几何约束生成IMO伪标签的无监督事件框架，在EVIMO数据集上评估显示其IMO分割性能与监督方法相当，可处理任意非预定物体且易扩展至无昂贵标注的数据集。
2026-08-13 cs.CV
0-MMS: Zero-Shot Multi-Motion Segmentation With A Monocular Event Camera
University of Maryland, College Park（马里兰大学帕克分校）
动态场景中运动目标的分割是导航任务中场景理解的一个关键过程。经典相机在这种情况下遭受运动模糊，从而使它们失效。相反，事件相机，因为它们的高时间分辨率和缺乏运动模糊，是为这个问题量身定制的。我们提出了一种单目多运动分割的方法，该方法将自下而上的特征跟踪和自上而下的运动补偿结合到一个统一的管道中，这是我们所知的第一种方法。该方法利用时间间隔内的事件，通过分割和合并将场景分割为多个运动。我们进一步加快我们的方法，通过使用运动传播和集群密钥片的概念。该方法在EV-IMO，EED和MOD数据集的具有挑战性的真实世界和合成场景中成功进行了评估，并超过了最先进的检测率12%，在上述数据集上实现了81.06%，94.2%和82.35%的最先进的平均检测率。为了进一步研究和系统评估多运动分割，我们提出并开源了一个名为MOD++的新数据集/基准，其中包括具有挑战性的序列和广泛的数据分层，包括相机和对象运动，速度大小，方向和旋转速度。
2020-11-07 cs.CV
EV-IMO: Motion Segmentation Dataset and Learning Pipeline for Event Cameras
University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）；ETH Zurich（苏黎世联邦理工学院）
我们提出了第一个基于事件的学习方法，用于室内场景中的运动分割和第一个基于事件的数据集- EV-IMO -其中包括精确的像素运动掩模，自运动和地面真实深度。我们的方法是基于一个有效的实现的SfM学习管道使用低参数神经网络架构的事件数据。除了相机自运动和密集的深度图之外，该网络还估计像素独立移动对象分割，并计算移动对象的每个对象的3D平移速度。我们还训练了一个只有40 k个参数的浅层网络，它能够计算深度和自运动。我们的EV-IMO数据集具有32分钟的室内记录功能，最多可同时在摄像机视野中记录3个快速移动的物体。物体和摄像机由VICON运动捕捉系统跟踪。通过对房间和物体进行3D扫描，可以获得精确的深度图地面实况和像素级物体遮罩，即使在光线不足的情况下和快速运动期间也是可靠的。然后，我们在EV-IMO上进行训练和评估我们的学习管道，并证明我们的方法远远超过其竞争对手，非常适合场景受限的机器人应用。
2020-01-12 cs.CV
Instance-Level Moving Object Segmentation from a Single Image with Events
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）；Peking University（北京大学）
针对单模态方法在运动目标分割中空间纹理与时间运动线索难以兼顾的问题，提出首个融合单张图像纹理与事件运动信息的实例级分割框架，通过跨模态注意力增强等技术提升性能，为事件基运动研究提供新方向。
2025-02-18 cs.CV
EventRR: Event Referential Reasoning for Referring Video Object Segmentation
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）；Northwestern Polytechnical University（西北工业大学）
针对指代视频目标分割中忽略表达式语义结构及事件时序关系的问题，提出事件指代推理框架EventRR，通过解耦目标摘要与指代推理并构建指代事件图进行时序概念角色推理，显著优于现有方法。
2025-08-13 cs.CV
HPL-ESS: Hybrid Pseudo-Labeling for Unsupervised Event-based Semantic Segmentation
Shanghai AI Laboratory（上海人工智能实验室）；Loughborough University（拉夫堡大学）；Northwestern Polytechnical University（西北工业大学）；CUHK-Shenzhen（香港中文大学（深圳））；Institute of Artificial Intelligence (TeleAI)（人工智能研究所（腾讯人工智能实验室））
本文提出用于无监督事件相机语义分割的混合伪标签框架HPL-ESS，通过结合自训练与离线事件图像重建生成双源伪标签，并利用噪声标签学习策略与软原型对齐模块提升标签质量与特征一致性，在DSEC-Semantic数据集上大幅超越现有方法。
2024-03-25 cs.CV
Re-coding for Uncertainties: Edge-awareness Semantic Concordance for Resilient Event-RGB Segmentation
State Key Laboratory of Virtual Reality Technology and Systems, SCSE & QRI, Beihang University（虚拟现实技术与系统国家重点实验室，SCSE与QRI，北京航空航天大学）；School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学）
本文提出边缘感知语义一致性框架，通过重编码和不确定性优化实现鲁棒的事件-RGB分割，提升极端条件下的分割性能。
2026-03-04 cs.CV
EvSegSNN: Neuromorphic Semantic Segmentation for Event Data
i3S / CNRS Université Côte d’Azur（蔚蓝海岸大学 i3S / 法国国家科学研究中心）
针对传统深度语义分割模型算力与内存消耗高、难以部署在资源受限系统的问题，该研究提出结合SNN与事件相机的EvSegSNN架构，在DDD17数据集上MIoU优于同类SOTA模型，参数量减少1.6倍且无需批量归一化。
2024-06-20 cs.CV
Motion-Compensated Latent Semantic Canvases for Visual Situational Awareness on Edge
Aimech Technologies Corp.（Aimech技术公司）；Covijn Ltd.（Covijn有限公司）；Applied Artificial Intelligence（应用人工智能）；Applied AI and Computer Vision（应用人工智能和计算机视觉）
MCLSC通过运动补偿和异步分割优化，显著降低边缘设备上的语义分割计算负载，提升视觉态势感知效率。
2025-12-29 cs.CV
A Perceptual Prediction Framework for Self Supervised Event Segmentation
University of South Florida（南佛罗里达大学）
长视频的时间分割是一个重要的问题，它主要通过监督学习来解决，通常需要大量带注释的训练数据。在本文中，我们解决了长视频的自监督时间分割问题，从而减轻了对任何监督的需求。我们引入了一个自我监督的预测学习框架，该框架从认知心理学中汲取灵感，将长而视觉复杂的视频分割成具有相同语义的单个稳定片段。我们还介绍了一种新的自适应学习范式，有助于减少灾难性遗忘在递归神经网络的影响。在三个公开的数据集-早餐动作，50沙拉，和INRIA教学视频数据集上进行了广泛的实验，显示了所提出的方法的有效性。我们表明，所提出的方法是能够优于弱监督和其他无监督学习方法高达24%，并具有竞争力的性能相比，完全监督的方法。我们还表明，所提出的方法是能够学习高度歧视性的功能，有助于提高动作识别时，用于表示学习范例。
2019-04-05 cs.CV
Driver Maneuver Detection and Analysis using Time Series Segmentation and Classification
University of Missouri-Columbia（密苏里大学哥伦比亚分校）；Syracuse University-USA（美国雪城大学）；University of Nebraska Medical Center（内布拉斯加大学医学中心）；Iowa State University（爱荷华州立大学）
目前的论文实现了一种方法，自动检测车辆操纵车辆遥测数据下自然驾驶设置。以前的方法已处理车辆机动检测作为一个分类问题，虽然时间序列分割和分类是必需的，因为输入遥测数据是连续的。我们的目标是开发一个端到端的管道，用于逐帧注释自然驾驶研究视频到各种驾驶事件，包括停止和车道保持事件，车道变化，左右转弯运动和水平曲线机动。为了解决时间序列分割问题，该研究开发了一种能量最大化算法（EMA），能够从连续信号数据中提取不同持续时间和频率的驾驶事件。为了减少过拟合和误报率，启发式算法被用来分类事件与高度可变的模式，如停止和车道保持。为了对分段的驾驶事件进行分类，实现了四个机器学习模型，并在多个数据源上评估了它们的准确性和可移植性。EMA提取的事件持续时间与实际事件相当，准确率从59.30%（左车道变化）到85.60%（车道保持）。此外，1D-卷积神经网络模型的总体准确率为98.99%，其次是长短期记忆模型，为97.75%，然后是随机森林模型，为97.71%，支持向量机模型，为97.65%。这些模型的准确性在不同的数据源中是一致的。该研究的结论是，实施分割分类管道显着提高了驾驶员机动检测的准确性以及不同数据集之间浅层和深层ML模型的可移植性。
2022-11-10 cs.CV
CMDA: Cross-Modality Domain Adaptation for Nighttime Semantic Segmentation
East China University of Science and Technology（华东理工大学）；United Imaging Intelligence（联影智能）
针对夜间低光下传统相机图像细节缺失的问题，提出无监督跨模态域适应（CMDA）框架，结合图像与事件多模态信息并仅需白天标签，设计了运动与内容提取器弥合模态与域间差距，并发布了首个图像-事件夜间语义分割数据集。
2023-07-29 cs.CV
Motion Segmentation for Neuromorphic Aerial Surveillance
International Center for Neuromorphic Systems, Western Sydney University（国际神经形态系统中心，西悉尼大学）
本文提出一种基于自监督视觉Transformer的事件相机运动分割方法，融合事件数据与光流信息，无需人工标注和场景特定参数调节，在航空监控场景中实现了最先进的运动分割性能。
2024-10-21 cs.CV
Beyond Backscatter: AlphaEarth Land-Cover Priors for Rapid SAR Flood Segmentation Across Foundation Backbones
本研究评估了在无配准预事件SAR图像时，稳定土地背景先验（AlphaEarth）能否提升灾后SAR洪水分割性能，实验表明AlphaEarth在困难事件上优于DEM，而DEM更稳定。
2026-06-28 cs.CV
LiFR-Seg: Anytime High-Frame-Rate Segmentation via Event-Guided Propagation
The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）
本文提出LiFR-Seg框架，通过事件驱动的运动场和不确定性感知的变形过程，在仅使用单帧RGB图像和异步事件数据的情况下实现任意时刻的高帧率语义分割。
2026-03-22 cs.CV
HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously Exploiting Image and Event Modalities
Purdue University（普渡大学）
本文提出混合端到端分割框架 HALSIE，融合图像帧与事件并采用 SNN/ANN 双编码器和多尺度混合器，以更低推理成本和更高参数效率在多个数据集上达到先进性能。
2023-09-28 cs.CV
Neuromorphic Vision-based Motion Segmentation with Graph Transformer Neural Network
Propulsion and Space Research Center (PSRC) at the Technology Innovation Institute (TII)（技术创新研究所推进与空间研究中心（PSRC））；Khalifa University Center for Autonomous Robotic Systems (KUCARS), Khalifa University of Science and Technology（哈利法科技大学自主机器人系统中心（KUCARS），哈利法科技大学）；Advanced Research and Innovation Center (ARIC), Khalifa University of Science and Technology（哈利法科技大学先进研究与创新中心（ARIC），哈利法科技大学）
针对神经形态视觉事件数据的运动分割需求，提出基于图Transformer神经网络的GTNN算法，结合DOMEL标注方法与新数据集，在动态复杂场景下实现了优于现有方法的分割精度与检测率。
2024-04-16 cs.CV
On the Influence of Smoothness Constraints in Computed Tomography Motion Compensation
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学）
本研究分析了基于样条的运动模型在锥束CT刚性运动补偿中对可恢复运动频率的影响，发现运动模型选择至关重要，节点数增加可扩展可恢复高频范围，最优模型需根据解剖部位和扫描协议仔细调整。
2024-05-29 cs.CV eess.IV
Motion Segmentation and Egomotion Estimation from Event-Based Normal Flow
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出基于事件法向流的运动分割与自运动估计框架，通过几何约束、残差分析和层次聚类，在无需完整光流的情况下实现准确分割与平移估计，并在EVIMO2v2数据集上验证了其有效性。
2025-07-19 cs.CV cs.RO
Event-Driven Refresh and Recurrence Memory to Reduce Stale Grounding in Referring Video Object Segmentation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对指代视频对象分割中因固定关键帧传播导致的过时定位问题，提出事件驱动刷新与循环记忆方法，在稳定变化点选择性重调用Sa2VA，以低刷新开销保持精度并减少误报。
2026-10-01 cs.CV
Simultaneous Optical Flow and Segmentation (SOFAS) using Dynamic Vision Sensor
Monash University（莫纳什大学）；Australian Centre of Excellence for Robotic Vision（澳大利亚机器人视觉卓越中心）
本文提出了一种估计动态视觉传感器（DVS）产生的事件的光流的算法（SOFAS）。在传统相机以固定速率产生帧的情况下，DVS响应于具有高时间分辨率的强度变化而产生异步事件。我们的算法使用的事实，即事件产生的场景中的边缘，不仅估计的光流，但也同时分割成以相同的速度移动的对象的图像。这样就可以避免影响其他实现（如Lucas-Kanade）的光圈问题。最后，我们表明，SOFAS产生更准确的结果比传统的光流算法。
2018-05-31 cs.CV
