MudrockNet: Semantic Segmentation of Mudrock SEM Images through Deep Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Bureau of Economic Geology, University of Texas at Austin(德克萨斯大学奥斯汀分校经济地质局)
从扫描电镜图像中分割和分析泥岩的单个孔隙和颗粒是不平凡的,因为噪声、成像伪影、图像中像素灰度值的变化以及图像中不同物理特征(如淤泥颗粒、粘土颗粒和孔隙)之间的灰度值的重叠使得它们的识别变得困难。此外,由于颗粒和孔隙通常具有重叠的灰度值,直接应用基于阈值的分割技术是不够的。计算机视觉领域的最新进展使得分割图像和识别图像中多次出现的这种特征变得更容易和更快,只要用于训练算法的地面实况数据可用。在这里,我们提出了一个深度学习SEM图像分割模型,MudrockNet基于Google的DeepLab-v3+架构,使用TensorFlow库实现。地面实况数据是从应用于日本近海熊野盆地深度< 1.1 km的未胶结泥浆扫描电子显微镜图像的图像处理工作流程中获得的。经过训练的深度学习模型获得了约90%的像素准确度,并且对测试数据的预测获得了0.6591的淤泥颗粒和0.6642的孔隙的平均交集(IoU)。我们还将我们的模型与ImageJ中使用可训练Weka分割的随机森林分类器进行了比较,观察到MudrockNet对泥沙颗粒和孔隙都给出了更好的预测。粉砂和粘土颗粒的大小、浓度和空间排列会影响泥岩的岩石物理性质,准确识别泥岩中不同颗粒和孔隙的自动化方法有助于改善石油勘探和人为废物封存的储层和密封特征。
2021-02-05 cs.CV eess.IV physics.geo-ph
Disparity Image Segmentation For ADAS
L4B Automotive(L4B汽车公司)
我们提出了一个简单的解决方案,分割灰度图像使用现有的连接组件标记(CCL)算法(通常适用于二进制图像),这是足够有效的约束(嵌入式汽车)架构中实现。我们的解决方案定制区域增长和合并方法,主要针对立体视差图像,其中较近的物体具有更大的相关性。我们提供了一些基本情况下的标准OpenCV实现的结果和来自筑波立体对数据集的图像。
2018-06-27 cs.CV
An Unsupervised Dynamic Image Segmentation using Fuzzy Hopfield Neural Network based Genetic Algorithm
提出了一种基于遗传算法的灰度图像自动分割方法。该方法主要包括空间无监督灰度图像分割,将图像划分为区域。该算法的目的是产生精确的分割图像的强度信息以及邻域关系。本文采用模糊Hopfield神经网络(FHNN)聚类方法,生成遗传算法的种群,并利用该种群对图像进行自动分割。该技术是一种强大的图像分割方法,适用于具有空间信息的单特征和多特征数据。有效性指数已被用于引入一个强大的技术,找到最佳数量的组件在图像中。实验结果表明,该算法生成的分割图像质量较好。
2012-05-30 cs.CV
It's Moving! A Probabilistic Model for Causal Motion Segmentation in Moving Camera Videos
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
人类检测和分割移动物体的能力在存在多个物体、复杂背景几何形状、观察者运动甚至伪装的情况下都有效。除此之外,检测运动的能力几乎是瞬时的。虽然最近在运动分割方面取得了很大进展,但似乎我们离人类的能力还很远。在这项工作中,我们从第一原理推导出一个新的似然函数,用于评估给定物体的3D运动方向的光流矢量的概率。这种可能性使用光流的角度和幅度的新颖组合来最大化关于对象的真实运动的信息。使用这种新的可能性和几个创新的初始化,我们开发了一个运动分割算法,击败了当前最先进的方法,由一个大的利润。我们比较了五个国家的最先进的方法在两个既定的基准,和第三个新的数据集的动物,我们介绍了推动运动分割到一个新的水平。
2016-04-01 cs.CV
Semantics-Guided Moving Object Segmentation with 3D LiDAR
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);The University of Macau(澳门大学)
本文提出一种语义引导卷积神经网络,通过单扫描语义分割、多扫描MOS及ASA模块对齐相邻扫描语义特征,实现快速可靠的3D LiDAR运动物体分割。
2022-05-06 cs.CV cs.RO
Moving6DPoSe: A Multimodal Database for Monocular 6D Pose Estimation and Segmentation of Moving Objects
University of Chile(智利大学);Advanced Mining Technology Center (AMTC), University of Chile(智利大学先进采矿技术中心);The Iniciativa de Datos e Inteligencia Artificial, University of Chile(智利大学数据与人工智能计划)
该文提出多模态数据库Moving6DPoSe,含真实与合成子集,提供16个物体、1702个rosbag及分割、检测、6D姿态标注,实验显示事件式表示在运动物体分割上更鲁棒。
2026-09-23 cs.CV
Spatio-Temporal Multi-Task Learning Transformer for Joint Moving Object Detection and Segmentation
Valeo R&D(法雷奥研发中心)
移动物体对于自动驾驶任务具有特殊的重要性。检测移动对象可以通过分割对象像素而被定位为移动对象分割,或者通过生成移动目标的限界框而被定位为移动目标检测。在本文中,我们提出了一个多任务学习架构,基于Transformers,通过一个网络来共同执行这两个任务。由于运动特征对任务的重要性,整个设置基于时空聚合。我们评估的性能与MTL设置,无论是早期共享的编码器,和后期共享的编码器-解码器Transformers器的单独任务架构。对于后者,我们提出了一种新的联合任务查询解码器Transformer,使我们能够有任务专用头的共享模型。为了评估我们的方法,我们使用KITTI MOD [29]数据集。结果显示,在单个任务网络上,移动目标检测的mAP提高了1.5%,移动对象分割的IoU提高了2%。
2021-06-21 cs.CV cs.LG
Technical Report for ICRA 2025 GOOSE 2D Semantic Segmentation Challenge: Boosting Off-Road Segmentation via Photometric Distortion and Exponential Moving Average
Daegu-Gyeongbuk Research Center, Electronics and Telecommunications Research Institute (ETRI)(大邱-庆尚研究中心,电子电信研究所)
本文提出面向GOOSE越野2D语义分割挑战的方案,采用FlashInternNet-B与UPerNet,并结合光度畸变增强和EMA,仅用训练集即在验证集达到88.8% mIoU。
2025-05-17 cs.CV
Radar Velocity Transformer: Single-scan Moving Object Segmentation in Noisy Radar Point Clouds
CARIAD SE;University of Bonn(波恩大学);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
本文提出Radar Velocity Transformer,将多普勒速度信息融入Transformer各模块,实现稀疏噪声雷达点云的单帧运动目标分割,并构建新基准,性能优于现有方法且运行速度快于传感器帧率。
2025-07-04 cs.CV
Learning to Segment Moving Objects in Videos
University of California, Berkeley(加州大学伯克利分校);Universidad de los Andes, Colombia(哥伦比亚安第斯大学)
我们分段视频中的移动对象的排名时空段建议根据“移动对象”:他们有多大可能包含一个移动的对象。在每一个视频帧中,我们计算段建议使用多个图形地面分割每帧运动边界。我们使用在图像和运动场上训练的移动对象检测器对它们进行排名,以检测移动对象并丢弃场景的上/下分割或背景部分。我们扩展到时空管使用随机步行者密集点轨迹的运动亲和力排名靠前的片段。对于任何数量的提案,我们的最终管排名在当前可用的两个最大视频分割基准中始终优于之前的分割方法。此外,我们的每帧移动对象的建议增加检测率高达7\%,比以前的国家的最先进的静态建议方法。
2015-05-08 cs.CV
Moving Object Segmentation: All You Need Is SAM (and Flow)
University of Oxford(牛津大学);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院)
本文研究如何利用 SAM 与光流结合进行视频运动目标分割,提出两种简单模型,无需额外修改即在单目标和多目标基准上大幅超越已有方法,并扩展至保持对象身份的序列级分割。
2024-11-21 cs.CV
Scene Invariant Crowd Segmentation and Counting Using Scale-Normalized Histogram of Moving Gradients (HoMG)
Aimetis Corp.(艾梅蒂斯公司);University of Waterloo(滑铁卢大学)
自动人群分割和计数的问题在视频监控领域引起了极大的兴趣。本文提出了一种新的场景不变的人群分割和计数算法,设计精度高,但低计算复杂性的想法,这是广泛的工业采用的关键。一种新的低复杂度,规模归一化的功能称为直方图的移动干扰(HoMG)被引入到一个视频中的个人和人群的高效时空表示。该方法通过基于滑动窗口HoMG特征的弱分类器级联实现实时人群分割,同时采用人群区域HoMG特征的线性SVM回归实现实时人群计数。使用多摄像机人群数据集的实验结果表明,该算法显着优于国家的最先进的人群计数算法,以及实现非常有前途的人群分割结果,从而证明了该方法的高精度,实时视频驱动的人群分析的有效性。
2016-02-01 cs.CV
MovSAM: A Single-image Moving Object Segmentation Framework Based on Deep Thinking
Shanghai Jiao Tong University(上海交通大学);China University of Mining and Technology(中国矿业大学);University of Cambridge(剑桥大学)
MovSAM是首个单图像运动目标分割框架,通过思维链增强的多模态大语言模型进行深度思考生成文本提示,并与SAM和VLM视觉特征交叉融合,在公开基准上以92.5%的J&F达到最先进性能。
2025-04-09 cs.CV
MOVES: Movable and Moving LiDAR Scene Segmentation in Label-Free settings using Static Reconstruction
Indian Institute of Technology(印度理工学院)
MOVES提出基于GAN的对抗模型,在无分割标签下通过将动态LiDAR扫描重建为静态扫描,实现移动及可移动物体的分割,解决自主导航中的动态干扰问题。
2023-10-15 cs.CV cs.RO
Moving Object Segmentation in Jittery Videos by Stabilizing Trajectories Modeled in Kendall's Shape Space
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
运动对象分割对于抖动/抖动视频是一项具有挑战性的任务。对于抖动视频,非平滑的相机运动使得前景对象和背景层之间的区分难以解决。虽然大多数最近的工作,运动视频对象分割失败,在这种情况下,我们的方法生成一个准确的分割一个单一的运动对象。所提出的方法进行稀疏分割,其中帧的标签只分配给轨迹坐标,其次是帧的像素标记。稀疏分割涉及3阶段迭代过程中的轨迹稳定和聚类。在第一阶段,使用成对的Procrustes距离作为创建亲和矩阵的线索来聚类轨迹。第二阶段对轨迹进行逐块Procrustes分析,并估计聚类的Frechet均值(在Kendall形状空间中)。Frechet均值表示运动聚类的平均轨迹。一个优化功能已制定稳定的Frechet手段,在第三阶段产生稳定的轨迹。运动簇的精度被迭代地细化,产生不同的稳定轨迹组。接下来,从稀疏分割获得的标签被传播用于帧的逐像素标记,使用基于GraphCut的能量公式。在Kendall形状空间中使用Procrustes分析和能量最小化来分割抖动视频中的运动对象,是这项工作的新颖之处。第二个贡献来自于在由20个真实世界自然抖动视频组成的数据集上进行的实验,这些视频具有手动注释的基础事实。实验是在SegTrack 2数据集的视频上使用受控水平的人工抖动进行的。定性和定量的结果表明,所提出的方法的优越性。
2018-08-14 cs.CV
On Moving Object Segmentation from Monocular Video with Transformers
Robert Bosch GmbH(罗伯特·博世有限公司);Heidelberg University(海德堡大学)
本文提出 M3Former 融合架构,利用 Transformer 结合外观与二维/三维运动特征完成单目运动分割,并证明多样化训练数据对 KITTI 和 DAVIS 上的 SotA 性能至关重要。
2024-11-28 cs.AI cs.CV
Moving Object Detection from Moving Camera Using Focus of Expansion Likelihood and Segmentation
Department of Precision Engineering, Graduate School of Engineering, The University of Tokyo(精密工程学系,工学研究生院,东京大学);Department of Human and Engineered Environmental Studies, Graduate School of Frontier Sciences, The University of Tokyo(人类与工程环境研究系,前沿科学研究生院,东京大学)
针对运动相机依赖光流检测运动目标在复杂场景效果不佳的问题,提出融合光流与纹理信息的FoELS方法,在相关数据集和真实视频上实现了SOTA性能。
2026-09-30 cs.CV
RiWNet: A moving object instance segmentation Network being Robust in adverse Weather conditions
Wuhan University(武汉大学)
分割场景中的每个移动对象实例对于许多应用是必不可少的。但就像许多其他计算机视觉任务一样,这项任务在最佳天气下表现良好,但随后不利天气往往会失败。为了在天气条件下保持鲁棒性,通常的方法是用给定天气模式的数据对网络进行训练或融合多个传感器。我们专注于一种新的可能性,即通过网络的结构设计来提高其对天气干扰的适应能力。首先,我们提出了一种新的FPN结构称为RiWFPN与渐进的自上而下的互动和注意力细化模块。RiWFPN可以直接替代其他FPN结构,提高网络在非最佳天气条件下的鲁棒性。然后,我们扩展SOLOV 2捕获视频中的时间信息来学习运动信息,并提出了一个运动对象实例分割网络与RiWFPN称为RiWNet。最后,为了验证运动实例分割在不同天气扰动下的效果,本文提出了一种基于VKTTI数据集的运动实例分割数据集VKTTI-moving,该数据集考虑了雨、雾、日落、早晨以及阴天等不同天气场景。实验证明了与其他FPN结构相比,RiWFPN如何提高网络对不利天气影响的弹性。我们在一些具有挑战性的数据集中将RiWNet与其他几种最先进的方法进行了比较,RiWNet表现出更好的性能,特别是在恶劣的天气条件下。
2021-09-04 cs.CV
Unsupervised Segmentation Algorithms' Implementation in ITK for Tissue Classification via Human Head MRI Scans
International University of Business Agriculture and Technology(国际商业、农业与技术大学)
生物组织分类是生物医学图像分析领域的重要任务之一。磁共振成像(MRI)在组织分类中非常重要,特别是在脑组织分类的领域中,其能够识别感兴趣的解剖学区域,诸如手术计划、监测治疗、临床药物试验、图像配准、立体定向神经外科手术,本文的任务是在ITK中实现不同的无监督分类算法,并进行组织分类(白质、灰质、脑脊液(CSF)和人脑的背景)。为此,提供了5次灰度头部MRI扫描。为了对脑组织进行分类,使用了三种算法。这些是:大津阈值,贝叶斯分类和贝叶斯分类与高斯平滑。在结果和讨论部分中分析所获得的分类结果。
2020-01-25 cs.CV cs.DC
InsMOS: Instance-Aware Moving Object Segmentation in LiDAR Data
National University of Defense Technology(国防科学技术大学)
识别移动物体是自主导航、一致地图生成和物体未来轨迹预测的关键能力。在本文中,我们提出了一种新的网络,解决了在3D激光雷达扫描中分割移动物体的挑战。我们的方法不仅预测逐点移动标签,但也检测实例信息的主要交通参与者。这样的设计有助于确定当前场景中哪些实例实际上在移动,哪些实例暂时静止。我们的方法利用一系列的点云作为输入,并将它们量化为4D体素。我们使用4D稀疏卷积从4D体素中提取运动特征,并将其注入到当前扫描中。然后,我们提取时空特征从当前扫描的实例检测和特征融合。最后,我们设计了一个上采样融合模块,通过融合时空特征和预测实例信息来输出逐点标签。我们在基于SemanticKITTI的LiDAR-MOS基准测试中评估了我们的方法,与最先进的方法相比,我们的方法实现了更好的运动对象分割性能,证明了我们的方法在集成实例信息进行运动对象分割方面的有效性。此外,我们的方法在Apollo数据集上显示出优越的性能,并在SemanticKITTI上使用了预训练模型,这表明我们的方法在不同场景中具有良好的泛化能力。我们方法的代码和预训练模型将在https://github.com/nubot-nudt/InsMOS上发布。
2023-03-07 cs.CV
Motion-Corrected Moving Average: Including Post-Hoc Temporal Information for Improved Video Segmentation
Ostbayerische Technische Hochschule Regensburg (OTH Regensburg)(雷根斯堡东巴伐利亚应用技术大学);Klinikum rechts der Isar, Technical University of Munich(慕尼黑工业大学右岸医院);Imperial College London(伦敦帝国学院);Regensburg Medical Image Computing (ReMIC)(雷根斯堡医学影像计算中心);Regensburg Center of Health Sciences and Technology (RCHST)(雷根斯堡健康科学与技术中心)
针对医学视频分割的帧间预测噪声问题,提出无需修改训练或额外标注的运动校正移动平均方法,用光流对齐先验项提升性能,且无显著运行损耗,在多数据集上优于基线。
2024-03-05 cs.CV
Radar Instance Transformer: Reliable Moving Instance Segmentation in Sparse Radar Point Clouds
CARIAD SE;University of Bonn(波恩大学);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对稀疏雷达点云的运动实例分割,提出Radar Instance Transformer,通过时间信息增强、全分辨率骨干和类别无关实例头,在基于RadarScenes的新基准上取得优越性能。
2023-09-28 cs.CV
Inductive Graph Neural Networks for Moving Object Segmentation
La Rochelle Université(拉罗谢尔大学);Télécom Paris - Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院)
针对运动目标分割在现实部署中无法访问全部数据的直推式学习局限,提出基于图神经网络的GraphIMOS归纳算法,利用已训练模型对新数据帧进行预测,性能优于现有方法且更具通用性。
2023-05-16 cs.CV cs.LG
Joint Stereo Video Deblurring, Scene Flow Estimation and Moving Object Segmentation
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学)
动态场景的立体视频通常由于相机运动和具有大深度变化的多个移动对象而显示出令人不快的模糊效果。给定连续的模糊立体视频帧,我们的目标是恢复潜在的干净图像,估计三维场景流和分割的多个运动物体。这三个任务以前被单独处理,未能利用这些任务之间的内在联系,不能实现最优。在本文中,我们建议通过利用它们的内在联系,在一个统一的框架中共同解决这三个任务。为此,我们表示的动态场景与分段平面模型,它利用局部结构的场景,并表示各种动态场景。在我们的模型下,这三个任务自然地连接在一起,并表示为三维场景结构和相机运动(动态场景的结构和运动)的参数估计。通过利用模糊模型约束,运动物体和三维场景结构,我们得到了一个能量最小化公式联合去模糊,场景流和分割。我们在合成数据集和公开可用的真实数据集上广泛评估了我们的方法,这些数据集包括快速移动的物体,相机运动,不受控制的照明条件和阴影。实验结果表明,我们的方法可以实现立体视频去模糊,场景流估计和运动对象分割,比国家的最先进的方法显着改善。
2019-10-06 cs.CV
U2-ONet: A Two-level Nested Octave U-structure with Multiscale Attention Mechanism for Moving Instances Segmentation
Wuhan University(武汉大学)
在实际应用中,大多数场景都是包含运动目标的动态场景,因此准确分割运动目标对于许多计算机视觉应用来说至关重要。为了有效地分割出场景中的所有运动对象,无论对象是否具有预定义的语义标签,我们提出了一个两级嵌套的Octave U结构网络与多尺度注意力机制称为U2-ONet。U2-ONet的每个阶段都填充了我们新设计的Octave ReSidual U块(ORSU),以增强在不同尺度下获得更多上下文信息的能力,同时减少特征图的空间冗余。为了高效地训练我们的多尺度深度网络,我们引入了一种分层训练监督策略,该策略在计算每一级的损失的同时添加知识匹配损失以保持优化的一致性。实验结果表明,我们的方法达到了国家的最先进的性能在几个一般的运动对象分割数据集。
2020-07-26 cs.CV cs.LG eess.IV
Coherent Motion Segmentation in Moving Camera Videos using Optical Flow Orientations
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
在移动摄像机视频中,通常使用像素的图像平面运动或光流来执行运动分割。但是,与相机处于不同深度的对象可能会显示不同的光流,即使它们共享相同的真实世界运动。这可能导致场景的深度相关分割。我们的目标是开发一种分割算法,集群像素,具有类似的现实世界中的运动,无论其在场景中的深度。我们的解决方案使用光流方向,而不是完整的矢量,并利用众所周知的属性,即在相机平移,光流方向是独立的对象深度。我们引入了一个概率模型,自动估计观察到的独立运动的数量,并导致与场景中的真实运动一致的标签。我们的系统的结果是,静态对象被正确地识别为一个片段,即使它们在不同的深度。颜色特征和信息,从以前的帧中的视频序列被用来纠正偶尔的错误,由于基于方向的分割。我们展示了来自不同基准的30多个视频的结果。该系统在包含深度显著不同的对象的复杂背景场景上特别鲁棒
2015-11-05 cs.CV
Learning Temporal Distribution and Spatial Correlation Towards Universal Moving Object Segmentation
University of Alberta(阿尔伯塔大学)
针对现有运动目标分割方法仅适用于特定场景的问题,提出融合时间分布学习与空间相关性优化的LTS方法,经多数据集和真实视频验证,性能优于现有最优方法,有望成为通用解决方案。
2024-03-08 cs.CV
GS-EMA: Integrating Gradient Surgery Exponential Moving Average with Boundary-Aware Contrastive Learning for Enhanced Domain Generalization in Aneurysm Segmentation
University of Leeds(利兹大学);University of Manchester(曼彻斯特大学)
本文提出GS-EMA优化结合边界感知对比学习,通过学习领域不变特征提升3DRA脑动脉瘤分割在跨机构领域偏移下的鲁棒性与准确性。
2024-02-23 cs.CV cs.LG
Receding Moving Object Segmentation in 3D LiDAR Data Using Sparse 4D Convolutions
University of Bonn(波恩大学);University of Oxford(牛津大学)
自动驾驶汽车面临的一个关键挑战是在看不见的动态环境中导航。将移动对象与静态对象分离对于导航、姿态估计以及了解其他交通参与者在不久的将来可能如何移动至关重要。在这项工作中,我们解决了区分属于当前移动物体的3D LiDAR点的问题,例如步行的行人或驾驶的汽车,以及从非移动物体获得的点,例如墙壁和停放的汽车。我们的方法采用了一系列观察到的LiDAR扫描,并将它们转化为体素化的稀疏4D点云。我们应用计算效率高的稀疏4D卷积来联合提取空间和时间特征,并预测序列中所有点的移动对象置信度得分。我们开发了一种后退地平线策略,使我们能够在线预测移动的物体,并根据新的观察结果在移动中改进预测。我们使用二进制贝叶斯滤波器递归地整合新的预测扫描,从而产生更强大的估计。我们评估了我们的方法在SemanticKITTI运动对象分割的挑战,并显示出比现有方法更准确的预测。由于我们的方法只对点云的几何信息进行操作,因此它可以很好地推广到新的、看不见的环境,我们在Apollo数据集上进行了评估。
2022-06-08 cs.CV cs.RO
Total Variation Minimization and Graph Cuts for Moving Objects Segmentation
在本文中,我们感兴趣的是应用到视频分割的离散形状优化问题,涉及形状加权周长和一个额外的长期依赖于一个参数。基于最近的工作,特别是一个Darbon和Sigelle,我们证明了等价的形状优化问题和加权总变分正则化。为了解决这个问题,我们适应最近提出的投影算法来解决基本的TV正则化问题。另一个解决方案的形状优化研究这里是图形切割技术。这两种方法都具有导致全局最小值的优点。由于我们可以通过分析光流向量的范数来区分场景中的运动物体和静态元素,因此我们选择光流范数作为初始数据。为了使轮廓尽可能接近图像中的边缘,我们使用经典的边缘检测器函数作为加权总变差的权重。该模型已在我们以前的一个工作中使用。我们还将相同的方法应用于Jehan-Besson,Barlaud和Aubert使用的视频分割模型。在这种情况下,只有标准周长被纳入形状泛函。我们还提出了另一种方法来寻找运动目标,即在解决Rudin-Osher-Fatemi全变差正则化问题得到的图像上使用目标的反向检测,我们可以注意到,在以前的方法中,分割可以与水平集相关联。
2006-09-18 cs.CV
A Foundation Model for General Moving Object Segmentation in Medical Images
Shenzhen University(深圳大学);Shenzhen RayShape Medical Technology Inc.(深圳睿影医疗科技有限公司)
针对医学视频和3D体数据标注成本高的问题,提出首个医学运动目标分割基础模型iMOS,仅用少量标注即可在多模态数据集中实现双向跟踪与分割。
2024-02-27 cs.AI cs.CV cs.LG
Event-Free Moving Object Segmentation from Moving Ego Vehicle
University of Burgundy(勃艮第大学);University of Wurzburg(维尔茨堡大学);INSAIT(保加利亚国家研究与技术创新研究所);Université Rouen Normandie(鲁昂诺曼底大学);INSA Rouen Normandie(鲁昂诺曼底国立应用科学学院);Université Le Havre Normandie(勒阿弗尔诺曼底大学);Normandie Université(诺曼底大学);ETH Zurich(苏黎世联邦理工学院);CVL(计算机视觉实验室)
针对运动自车场景下运动目标分割问题,提出利用事件相机构建DSEC-MOS数据集,并设计EmoFormer网络融合事件时间先验与空间语义图,实现训练依赖事件数据但推理无需事件输入的高效分割。
2024-09-25 cs.CV cs.RO
Instance-Level Moving Object Segmentation from a Single Image with Events
Northwestern Polytechnical University(西北工业大学);National University of Singapore(新加坡国立大学);Peking University(北京大学)
针对单模态方法在运动目标分割中空间纹理与时间运动线索难以兼顾的问题,提出首个融合单张图像纹理与事件运动信息的实例级分割框架,通过跨模态注意力增强等技术提升性能,为事件基运动研究提供新方向。
2025-02-18 cs.CV
Motion Segmentation from a Moving Monocular Camera
University of Waterloo(滑铁卢大学)
本文提出在物体层面融合点轨迹与光流线索,通过对极几何构建亲和矩阵并用协同正则化多视图谱聚类实现移动单目相机的运动分割,在 KT3DMoSeg 上达到先进水平。
2023-09-24 cs.CV
Unsupervised 4D LiDAR Moving Object Segmentation in Stationary Settings with Multivariate Occupancy Time Series
Telekooperation Lab, Technical University Darmstadt(达姆施塔特工业大学远程协作实验室)
在这项工作中,我们解决了从固定传感器记录的4D LiDAR数据中的无监督运动对象分割(MOS)问题,其中不涉及地面实况注释。用于LiDAR MOS的基于深度学习的最先进方法强烈依赖于注释的地面实况数据,这是昂贵的获得和稀缺的存在。为了缩小固定设置中的这一差距,我们提出了一种新的基于多变量时间序列的4D LiDAR表示,该表示将无监督MOS的问题放松为时间序列聚类问题。更具体地说,我们提出了一个多变量占用时间序列(MOTS),它捕捉体素水平上的时空占用变化及其周围的邻居的体素的占用率的变化建模。为了执行无监督MOS,我们训练一个神经网络在一个自我监督的方式编码MOTS到体素级的特征表示,它可以通过聚类算法分为移动或静止。在来自原始KITTI数据集的静止场景上的实验表明,我们的完全无监督方法的性能与有监督的最先进方法相当。
2023-01-12 cs.CV
Redefining Radar Segmentation: Simultaneous Static-Moving Segmentation and Ego-Motion Estimation using Radar Point Clouds
Microwave Sensing, Signals and Systems (MS3) group, Delft University of Technology(微波传感、信号与系统(MS3)组,代尔夫特理工大学);NXP Semiconductors(NXP半导体公司)
本研究提出一种基于神经网络的方法,利用雷达点云同时实现静态-移动分割和自主运动估计,无需中间信号处理步骤。
2025-11-25 cs.CV eess.SP
MONA: Moving Object Detection from Videos Shot by Dynamic Camera
Johns Hopkins University(约翰斯·霍普金斯大学)
MONA利用光流和任意点跟踪提取动态点,结合自适应边界框过滤和Segment Anything分割,实现动态相机视频中的运动目标检测,并在MPI Sintel数据集上达到最先进性能。
2025-01-22 cs.CV
Competitive Collaboration: Joint Unsupervised Learning of Depth, Camera Motion, Optical Flow and Motion Segmentation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);NVIDIA(英伟达);MIT(麻省理工学院)
我们解决的无监督学习的几个相互关联的问题,在低层次的视觉:单视图深度预测,摄像机运动估计,光流,并分割成静态场景和运动区域的视频。我们的关键见解是,这四个基本的视觉问题是通过几何约束耦合。因此,学习一起解决它们可以简化问题,因为解决方案可以相互加强。我们超越以前的工作,更明确地利用几何和分割成静态和移动区域的场景。为此,我们引入了竞争协作,这是一个促进多个专业神经网络协调训练以解决复杂问题的框架。竞争性协作的工作原理与期望最大化非常相似,但神经网络既充当竞争者来解释与静态或移动区域相对应的像素,又充当协作者,通过调节器将像素分配为静态或独立移动。我们的新方法集成了所有这些问题在一个共同的框架,并同时对分割的场景到运动物体和静态背景,摄像机运动,静态场景结构的深度,和光流的运动物体的原因。我们的模型在没有任何监督的情况下进行训练,并在所有子问题的联合无监督方法中实现了最先进的性能。
2019-03-11 cs.CV
GMOS: Grounding Moving Object Segmentation in 3D Space and Time
Visual Geometry Group, Department of Engineering Science, University of Oxford, UK(牛津大学工程科学系视觉几何组);SAI, Shanghai Jiao Tong University, China(上海交通大学SAI)
提出GMOS框架,直接在RGB视频上实现3D感知、时间细粒度的多运动物体分割,并构建GMOS-2K数据集和MOS-I评估协议,在多个基准上取得最先进结果。
2026-05-28 cs.CV
Moving Object Proposals with Deep Learned Optical Flow for Video Object Segmentation
Umass Amherst(马萨诸塞大学阿默斯特分校)
提出一种结合无监督光流估计网络UnFlow和全卷积SegNet的神经网络架构,通过在DAVIS数据集上微调预训练模型,实现高效准确的视频运动对象分割。
2024-02-14 cs.CV cs.LG
Self-Supervised Moving Object Segmentation of Sparse and Noisy Radar Point Clouds
CARIAD SE(CARIAD公司);TU Dortmund University(杜伊斯堡-艾森大学);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所)
针对稀疏含噪雷达点云标注成本高的问题,提出基于聚类对比损失与动态点移除的两步自监督运动物体分割方法,利用有限标注微调有效提升标签效率与最优性能。
2025-11-04 cs.CV cs.LG
Foreground-Background Segmentation Based on Codebook and Edge Detector
Université d’Abomey-Calavi(阿波美-卡拉维大学);Université du Littoral Côte d’Opale(滨海阿尔卑斯大学)
背景建模技术用于视频中的运动目标检测。在目标检测领域中存在着许多具有不同目的的算法。本文提出了一种改进的基于码书分割的运动目标检测方法。我们将原始码书算法与边缘检测算法相关联。我们的目标是证明使用边缘检测算法与背景建模算法的效率。在我们的研究中,我们比较了当码本分割算法与一些标准的边缘检测器相结合时,运动目标检测的质量。在每种情况下,我们使用基于帧的指标进行检测的评估。不同的结果进行了介绍和分析。
2014-10-23 cs.CV
Adversarial optimization for joint registration and segmentation in prostate CT radiotherapy
Leiden University Medical Center(莱顿大学医学中心);University Medical Center Utrecht(乌得勒支大学医学中心)
联合图像配准和分割长期以来一直是医学成像中的活跃研究领域。在这里,我们使用对抗学习在深度学习环境中重新定义这个问题。我们考虑的情况下,固定和移动的图像,以及它们的分割可用于训练,而分割是不可用的测试过程中,在放射治疗中的一个常见的情况。该框架由一个3D端到端生成器网络组成,该网络以无监督的方式估计固定图像和运动图像之间的变形向量场(DVF),并将此DVF应用于运动图像及其分割。训练一个神经网络来评估运动图像和分割与固定图像和分割的对齐程度。所提出的网络进行了训练和评估后续前列腺CT扫描图像引导放射治疗,其中计划CT轮廓传播到日常CT图像使用估计的DVF。与传统的注册使用\texttt{elastix}的定量比较表明,所提出的方法提高了性能,大大减少了计算时间,从而使实时轮廓传播所需的在线自适应放射治疗。
2019-06-28 cs.CV eess.IV
CVABS: Moving Object Segmentation with Common Vector Approach for Videos
Eskisehir Osmangazi University(埃斯基谢希尔奥斯曼加齐大学);Anadolu University(阿纳多卢大学)
背景建模是需要安全系统和监控的几种实时计算机视觉应用的基本步骤。准确的背景模型有助于检测视频中移动对象的活动。在这项工作中,我们已经开发了一个新的子空间为基础的背景建模算法,使用的概念,公共向量的方法与Gram-Schmidt正交化。一旦获得涉及对应于同一场景的不同视图的共同特征的背景模型,则基于动态控制参数应用智能前景检测和背景更新过程。对与动态背景相关的不同问题类型进行了各种实验。利用几种类型的度量作为客观的措施,并主观判断所获得的视觉结果。据观察,所提出的方法通过用自学习反馈机制更新背景帧,成功地代表了CDNet 2014数据集上报告的所有问题类型。
2018-10-19 cs.CV
Video Segmentation Learning Using Cascade Residual Convolutional Neural Network
São Paulo State University(圣保罗州立大学);Petroleo Brasileiro S.A. - Petrobras(巴西石油公司)
视频分割是一个逐帧选择与前景运动对象相关的有意义区域的过程。一些应用包括交通监控、人体跟踪、动作识别、高效视频监控和异常检测。在这些应用中,面临诸如天气条件的突然变化、照明问题、阴影、微妙的动态背景运动以及伪装效果等挑战并不罕见。在这项工作中,我们通过提出一种新的深度学习视频分割方法来解决这些缺点,该方法将残差信息纳入前景检测学习过程。主要目标是提供一种能够在给定灰度视频的情况下生成准确的前景检测的方法。在Change Detection 2014和Petrobras的私有数据集Petrobras ROUTES上进行的实验支持所提出的方法关于一些最先进的视频分割技术的有效性,其中Change Detection 2014和Petrobras ROUTES数据集中的整体F-度量分别为$\mathbf{0.9535}$和$\mathbf{0.9636}$。这样的结果将所提出的技术置于前3种最先进的视频分割方法之中,除了包括比其前一种对应方法少大约七倍的参数之外。
2022-12-20 cs.CV cs.LG
LiMoSeg: Real-time Bird's Eye View based LiDAR Motion Segmentation
Valeo, Germany(法雷奥,德国);Valeo, Ireland(法雷奥,爱尔兰);Spleenlab.ai, Germany(Spleenlab.ai,德国);TU Ilmenau, Germany(伊尔默瑙工业大学,德国)
运动目标检测和分割是自动驾驶流水线中的一项重要任务。在路径规划和定位任务中,检测和隔离车辆周围环境的静态和移动组件尤其重要。本文提出了一种新的实时的【形】结构的光探测和测距(LiDAR)数据的运动分割。我们使用三个连续扫描的激光雷达数据在2D鸟瞰图(BEV)表示执行像素分类为静态或移动。此外,我们提出了一种新的数据增强技术,以减少静态和移动对象之间的显着类不平衡。我们通过剪切和粘贴静态车辆人工合成移动对象来实现这一点。我们展示了一个常用的汽车嵌入式平台,即Nvidia Jetson Xavier的低延迟8毫秒。据我们所知,这是第一个直接在LiDAR BEV空间中进行运动分割的工作。我们提供了具有挑战性的SemanticKITTI数据集的定量结果,定性结果在https://youtu.be/2aJ-cL8b0LI中提供。
2022-01-22 cs.CV cs.RO
Segmentation Guided Deep HDR Deghosting
Indian Institute of Science(印度科学学院)
我们提出了一种运动分割引导的卷积神经网络(CNN)的高动态范围(HDR)图像去重影的方法。首先,我们使用CNN分割输入序列中的运动区域。然后,我们合并静态和运动区域分别与不同的融合网络,并结合融合的功能,以产生最终的无鬼影的HDR图像。我们的运动分割引导的HDR融合方法提供了显着的优势,现有的HDR去重影方法。首先,通过将输入序列分割成静态和运动区域,我们所提出的方法学习有效的融合规则,用于各种具有挑战性的饱和度和运动类型。其次,我们引入了一种新的记忆网络,它积累了在饱和区域生成合理细节所需的必要特征。该方法在两个公开的数据集上优于现有的九种最先进的方法,并生成视觉上令人愉悦的无重影HDR结果。我们还提出了一个大规模的运动分割数据集的3683个不同的曝光图像,有利于研究界。
2022-07-04 cs.CV
MBO Scheme for Local Chan--Vese Segmentation
University of California, Irvine(加利福尼亚大学欧文分校);Université Paris Cité(巴黎城市大学);Sorbonne Université(索邦大学);Romanian Academy(罗马尼亚科学院)
本文提出一种基于MBO方案的算法,用于求解对强度不均匀性鲁棒的局部Chan-Vese模型,适用于二相、多相及彩色图像分割,在医学、显微等图像上验证了有效性。
2026-08-04 cs.CV cs.NA eess.IV
Detection of Moving Object in Dynamic Background Using Gaussian Max-Pooling and Segmentation Constrained RPCA
Tianjin University of Technology(天津理工大学);Nanjing University of Information Science and Technology(南京信息工程大学)
鲁棒主成分分析(RobustPrincipalComponent Analysis,RPCA)由于其高效性和稳定性,已成为运动目标检测的一种有效工具。不幸的是,现有的基于RPCA的方法假设静态或准静态背景,从而它们可能在处理表现出持续动态行为的背景场景时遇到麻烦。在这项工作中,我们将介绍两种技术来填补空白。首先,而不是使用的原始像素值的功能,是脆弱的存在下,动态背景,我们设计了一个所谓的高斯最大池运算符来估计一个“稳定值”为每个像素。这些稳定值对各种背景变化具有鲁棒性,因此可以有效地区分前景物体和背景。然后,为了获得更准确的结果,我们进一步提出了一个分割约束RPCA(SC-RPCA)模型,它结合了图像的时间和空间连续性到RPCA。SC-RPCA的推理过程是一个群稀疏约束核模最小化问题,该问题是凸的且易于求解。在CDCNET 2014数据库中的7个视频上的实验结果表明了该方法的优越性能。
2017-09-03 cs.CV
Unsupervised Region-Growing Network for Object Segmentation in Atmospheric Turbulence
Clemson University(克莱姆森大学);Arizona State University(亚利桑那州立大学);George Mason University(乔治梅森大学)
提出无监督“先检测后生长”区域生长网络,利用刚性几何一致性、Sampson距离及时空损失,在大气湍流视频中鲁棒分割运动目标,并发布首个真实远距离湍流真值数据集。
2024-08-05 cs.CV
MotionBEV: Attention-Aware Online LiDAR Moving Object Segmentation with Bird's Eye View based Appearance and Motion Features
Southeast University(东南大学)
针对LiDAR移动物体分割问题,提出MotionBEV框架,将点云转换为极坐标BEV表示,利用简化的PointNet和连续帧高度差提取外观与运动特征,并通过双分支网络与协同注意力模块融合时空信息,在SemanticKITTI-MOS上达到SOTA,并贡献了固态LiDAR数据集。
2023-10-10 cs.CV cs.RO
Unsupervised RGBD Video Object Segmentation Using GANs
Kyungpook National University(庆北国立大学);Information Technology University (ITU)(信息技术大学);University of Warwick(华威大学)
视频对象分割是许多高级视觉应用中的基本步骤。大多数现有的算法都是基于手工制作的特征,如HOG,超像素分割或基于纹理的技术,而最近发现深度特征更有效。现有的算法观察性能下降的存在下的挑战,如照明变化,阴影,和颜色伪装。为了应对这些挑战,我们提出了一种基于融合的运动对象分割算法,利用颜色以及深度信息,使用GAN,以达到更高的精度。我们的目标是在真实环境中,在具有挑战性的背景场景中分割移动对象。为了解决这个问题,GAN以无监督的方式独立于具有挑战性的视频序列对颜色和深度信息进行训练。在测试过程中,经过训练的GAN生成的背景与测试样本中的背景相似。然后将生成的背景样本与测试样本进行比较,以分割移动对象。最终结果通过融合两种模态(RGB和深度)中的对象边界来计算。我们提出的算法与公开数据集上的五种最先进的方法的比较表明,我们的算法在具有挑战性的真实场景中用于视频中的移动对象分割的强度。
2018-11-05 cs.CV
Efficient Spatial-Temporal Information Fusion for LiDAR-Based 3D Moving Object Segmentation
Northwestern Polytechnical University(西北工业大学);HAOMO.AI Tech. Co., Ltd.(毫末智行科技有限公司)
精确的运动目标分割是自动驾驶的一项重要任务。它可以为许多下游任务提供有效的信息,如避碰,路径规划和静态地图构建。如何有效地利用时空信息是三维激光雷达运动目标分割的关键问题。在这项工作中,我们提出了一种新的深度神经网络,利用时空信息和激光雷达扫描的不同表示方式来提高激光雷达MOS的性能。具体来说,我们首先使用基于距离图像的双分支结构来分别处理可以从连续激光雷达扫描中获得的空间和时间信息,然后使用运动引导注意力模块将它们结合起来。我们还通过3D稀疏卷积使用点细化模块来融合来自LiDAR范围图像和点云表示的信息,并减少对象边界上的伪影。我们验证了我们提出的方法的有效性的LiDAR-MOS基准SemanticKITTI。我们的方法在LiDAR-MOS IoU方面明显优于最先进的方法。受益于设计的粗到细的架构,我们的方法在传感器帧速率在线操作。我们的方法的实现可以在https://github.com/haomo-ai/MotionSeg3D上作为开源获得。
2022-07-05 cs.CV cs.RO
Unsupervised Video Object Segmentation for Deep Reinforcement Learning
University of Waterloo(滑铁卢大学)
我们提出了一种新的深度强化学习技术,可以自动检测移动对象并使用相关信息进行动作选择。通过从运动中利用运动恢复结构,以无监督的方式进行运动对象的检测。该代理不是直接从原始图像中学习策略,而是首先通过利用视频序列中的流信息来学习检测和分割移动对象。然后使用学习的表示将代理的策略集中在移动对象上。随着时间的推移,智能体识别哪些对象对决策至关重要,并根据相关的移动对象逐步建立策略。这种方法我们称之为面向运动的强化学习(MOREL),它在一系列Atari游戏中得到了演示,其中检测移动物体的能力减少了获得良好策略所需的与环境的交互量。此外,所产生的策略比直接将图像映射到具有黑盒神经网络的动作或值的策略更可解释。我们可以通过检查代理检测到的每个对象的分割和运动来深入了解策略。这使得从业人员能够确认政策是否基于合理的信息做出决策。
2018-05-20 cs.AI cs.CV cs.LG