Alligat0R: Pre-Training Through Co-Visibility Segmentation for Relative Camera Pose Regression
LIGM, Ecole des Ponts, Univ. Gustave Eiffel, CNRS, France(LIGM,巴黎理工大学,埃菲尔大学,CNRS,法国);Univ. Bordeaux, CNRS, Bordeaux INP, IMS, UMR 5218, France(波尔多大学,CNRS,波尔多INP,IMS,UMR 5218,法国)
Alligat0R通过共视分割预训练方法在相对相机姿态回归中优于CroCo
2025-12-01 cs.CV
Simultaneous 3D Object Segmentation and 6-DOF Pose Estimation
本文提出一种基于多任务CNN的单次方法,在纯三维点云中同时完成物体分割与六自由度位姿估计,并利用增强现实技术生成训练数据,在两个数据集上取得与最先进方法相当或更好的性能。
2024-11-25 cs.CV
SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images
Baidu(百度);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Ryerson University(瑞尔森大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
深度估计和语义分割在场景理解中起着至关重要的作用。最先进的方法采用多任务学习,在像素级同时学习这两个任务的模型。它们通常专注于共享公共特征或缝合来自相应分支的特征图。然而,这些方法缺乏深入考虑的相关性的几何线索和场景解析。本文首先通过对成像过程的分析,引入语义对象性的概念,利用这两个任务之间的几何关系,提出了一种基于对象性假设的语义对象分割和深度估计网络(SOSD-Net)。据我们所知,SOSD-Net是第一个利用几何约束同时进行单目深度估计和语义分割的网络。此外,考虑到这两个任务之间的相互隐含的关系,我们利用期望最大化算法的迭代思想,训练建议的网络更有效。在Cityscapes和NYU v2数据集上进行了大量的实验,结果表明了所提出方法的优越性能。
2021-01-19 cs.CV
Robust 6D Object Pose Estimation with Stochastic Congruent Sets
Rutgers University(罗格斯大学)
物体姿态估计通常通过首先分割RGB图像,然后在给定深度数据的情况下,将对应的点云段与物体的3D模型配准来实现。尽管由于CNN而取得了进步,但语义分割输出可能是嘈杂的,特别是当CNN仅在合成数据上训练时。这导致配准方法无法估计良好的对象姿态。这项工作提出了一种新的随机优化过程,将CNN的分割输出视为置信概率。该算法称为随机同余集(Stochastic Congruent Sets,StoCS),根据软分割分布对点云上的点集进行采样,以符合对象的已知几何形状。然后将点集与3D对象模型上的全等集匹配以生成姿态估计。StoCS在APC数据集上显示出鲁棒性,尽管CNN仅在合成数据上训练。在YCB数据集中,StoCS在6D姿态估计和替代点集匹配技术方面优于最近的网络。
2018-05-16 cs.CV
SegNeRF: 3D Part Segmentation with Neural Radiance Fields
KAUST(阿卜杜拉国王科技大学)
神经辐射场(NeRF)的最新进展在生成任务(如新视图合成和3D重建)方面具有令人印象深刻的性能。基于神经辐射场的方法能够通过完全依赖于姿态图像来隐式地表示3D世界。然而,他们很少被探索的领域的歧视性任务,如3D部分分割。在这项工作中,我们试图通过提出SegNeRF来弥合这一差距:一种神经场表示,它将语义场与通常的辐射场集成在一起。SegNeRF从以前的作品继承了执行新视图合成和3D重建的能力,并从几个图像中实现3D部分分割。我们在PartNet上进行的大量实验表明,SegNeRF能够同时预测来自姿势图像的几何形状,外观和语义信息,即使是看不见的物体。预测的语义场允许SegNeRF实现$\textbf{30.30%}$的平均mIoU用于2D新视图分割,以及$\textbf{37.46%}$用于3D部件分割,通过仅使用几个姿势图像,与基于点的方法相比具有竞争力的性能。此外,SegNeRF能够从野外拍摄的物体的单个图像生成明确的3D模型,并对其进行相应的部分分割。
2022-11-22 cs.CV
Robust Human Registration with Body Part Segmentation on Noisy Point Clouds
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软公司);Stanford University(斯坦福大学);Google(谷歌公司)
针对含噪点云人体网格配准不精确的问题,提出将身体部位分割融入SMPL-X两步拟合过程的混合方法,在真实数据集上显著提升了姿态估计与分割准确性。
2025-04-04 cs.CV
Domain Adaptation of Networks for Camera Pose Estimation: Learning Camera Pose Estimation Without Pose Labels
Nokia Bell Labs(诺基亚贝尔实验室);New York University(纽约大学)
对深度学习的一个关键批评是,为了训练具有高性能和良好泛化能力的模型,需要大量昂贵且难以获取的训练数据。针对通过场景坐标回归(SCR)进行单目摄像机姿态估计的任务,提出了一种新的摄像机姿态估计网络(DANCE)的领域自适应方法,该方法能够在不访问目标任务上的任何标签的情况下训练模型。DANCE需要未标记的图像(没有已知的姿势,排序或场景坐标标签)和空间的3D表示(例如,扫描的点云),这两者都可以使用现成的商品硬件以最小的努力来捕获。DANCE从3D模型中渲染标记的合成图像,并通过应用无监督图像级领域自适应技术(不成对的图像到图像转换)来弥合合成图像和真实图像之间不可避免的领域差距。当在真实图像上进行测试时,使用DANCE训练的SCR模型以一小部分成本实现了与其完全监督的对应模型相当的性能(在这两种情况下,都使用PnP-RANSAC进行最终姿态估计)。我们的代码和数据集可在https://github.com/JackLangerman/dance上获得
2021-11-29 cs.CV
Object detection and Autoencoder-based 6D pose estimation for highly cluttered Bin Picking
Cognitive Systems Group, CS Department \ Karls Universit\"at T\"ubingen, Germany
料仓拾取是工业环境和机器人领域的核心问题,其主要模块是6D位姿估计。然而,工业深度传感器在处理小物体时缺乏准确性。因此,我们提出了一个框架,姿态估计在高度杂乱的场景中的小对象,主要依赖于RGB数据,并利用深度信息只为姿态细化。在这项工作中,我们比较合成数据生成方法的目标检测和姿态估计,并介绍了一个姿态过滤算法,确定最准确的估计姿态。我们将使我们
2021-06-15 cs.CV
3DFS: Deformable Dense Depth Fusion and Segmentation for Object Reconstruction from a Handheld Camera
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-尚佩恩分校)
我们提出了一种方法,用于从输入视频中对放置在平面上的单个对象进行3D重建和分割。我们的方法是执行密集的深度图估计多个视图使用建议的目标函数,保留细节。然后,使用对估计误差具有鲁棒性的建议的隐式表面函数来融合所得到的深度图,从而产生整个场景的平滑表面重建。最后,使用建议的2D-3D分割,将图像和深度线索与先验和正则化的3D体积和2D分割从剩余的场景中分割出对象。我们在我们的Object-Videos数据集上定性评估3D重建,与融合,多视图立体和分割基线进行比较。我们还使用RGBD场景V2数据集[Henry et al. 2013]定量评估了密集深度估计,并使用Object-Videos数据集的关键帧注释进行了分割。
2016-07-27 cs.CV
Can You Trust Your Pose? Confidence Estimation in Visual Localization
University of Vaasa(瓦萨大学);Aalto University(阿尔托大学)
大规模环境中的摄像机姿态估计仍然是一个悬而未决的问题,尽管最近取得了可喜的成果,但在某些情况下仍然可能失败。到目前为止,研究的重点是改进估计管道的子组件,以实现更准确的姿态。然而,没有保证的结果是正确的,即使姿态估计的正确性是至关重要的几个视觉定位应用,如在自主导航。在本文中,我们注意到一个新的研究问题,构成的信心估计,我们的目标是量化的视觉估计姿态是多么可靠。我们开发了一种新的置信度来完成这一任务,并表明它可以灵活地应用于不同的数据集,室内或室外,并为各种视觉定位pipelines.We还表明,所提出的技术可以用来实现第二个目标:提高现有的姿态估计管道的准确性。最后,所提出的方法是计算重量轻,只增加了一个微不足道的计算工作量的姿态估计。
2020-10-01 cs.CV
Motion Segmentation and Egomotion Estimation from Event-Based Normal Flow
University of Maryland, College Park(马里兰大学学院公园分校)
本文提出基于事件法向流的运动分割与自运动估计框架,通过几何约束、残差分析和层次聚类,在无需完整光流的情况下实现准确分割与平移估计,并在EVIMO2v2数据集上验证了其有效性。
2025-07-19 cs.CV cs.RO
False Positive Detection and Prediction Quality Estimation for LiDAR Point Cloud Segmentation
University of Wuppertal(伍珀塔尔大学);Aptiv(安波福)
我们提出了一种新的激光雷达点云数据的语义分割后处理工具,称为LidarMetaSeg,它估计预测质量分段。为此,我们计算分散措施的基础上,网络的概率输出,以及基于点云输入功能的功能措施,并将它们聚集在段级。这些聚集的测量被用于训练Meta分类模型以预测预测的段是否是假阳性,以及Meta回归模型以预测段级交集。然后,这两个模型都可以应用于语义分割推理,而无需知道地面真相。在我们的实验中,我们使用不同的LiDAR分割模型和数据集,并分析我们的方法的能力。我们表明,我们的结果优于其他标准的方法。
2021-10-29 cs.AI cs.CV
GroundGrid:LiDAR Point Cloud Ground Segmentation and Terrain Estimation
Dahlem Center for Machine Learning and Robotics (DCMLR)(达勒姆机器学习与机器人学中心);Freie Universität Berlin(柏林自由大学)
GroundGrid利用2D高程图实现LiDAR点云地面分割与地形估计,在SemanticKITTI上以94.78%平均IoU和171Hz性能超越现有方法。
2024-05-24 cs.CV cs.RO
Patchwork: Concentric Zone-based Region-wise Ground Segmentation with Ground Likelihood Estimation Using a 3D LiDAR Sensor
KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院)
地面分割对于地面移动平台进行导航或邻近目标识别至关重要。不幸的是,地面并不平坦,因为它具有陡峭的斜坡;颠簸的道路;或物体,如路边石,花坛等。为了解决这个问题,本文提出了一种新的地面分割方法称为\textit{Patchwork},这是强大的解决欠分割问题,并在40 Hz以上。在本文中,一个点云被编码成同心区域模型为基础的表示,以分配一个适当的云点之间的密度箱的方式,是不计算复杂。然后进行区域接地平面拟合,以估计每个箱的部分接地。最后,地面似然估计的引入,以显着减少误报。在SemanticKITTI和粗糙地形数据集上进行了实验验证,与现有的基于平面拟合的方法相比,我们所提出的方法具有更快的速度。代码可用:www.example.com
2022-03-10 cs.CV cs.RO
Monocular Retinal Depth Estimation and Joint Optic Disc and Cup Segmentation using Adversarial Networks
IIT-Madras(印度理工学院马德拉斯分校)
青光眼评估的重要参数之一是视神经乳头(ONH)评估,其通常涉及深度估计和随后的视盘和视杯边界提取。深度通常从光学相干断层扫描(OCT)等成像模式中明确获得,并且从单个RGB图像估计深度非常具有挑战性。为此,我们提出了一种使用对抗网络从单个图像预测深度图的新方法。使用来自INSPIRE立体数据集的单个视网膜图像来训练和评估所提出的深度估计技术。我们获得了一个非常高的平均相关系数为0.92五折交叉验证后优于最先进的状态。然后,我们使用的深度估计过程作为联合视盘和杯分割的代理任务。
2020-07-15 cs.CV cs.LG eess.IV
Real-Time Monocular Human Depth Estimation and Segmentation on Embedded Systems
Beihang University(北京航空航天大学);JD.COM Inc(京东集团);Tongji University(同济大学);Democritus University of Thrace(德谟克利特大学)
估计场景的深度以实现对移动行人的避碰是机器人领域中的一个关键和基本问题。本文提出了一种新的,低复杂度的网络架构,快速和准确的人体深度估计和分割在室内环境中,针对资源受限的平台(包括电池供电的天线,微型天线和地面车辆)与单目摄像机的主要感知模块的应用。根据编码器-解码器结构,所提出的框架由两个分支组成,一个用于深度预测,另一个用于语义分割。此外,网络结构的优化,以提高其正向推理速度。在三个自行生成的数据集上进行的详尽实验证明了我们的流水线能够实时的【形】执行,实现了比当代最先进的框架更高的帧速率(在采用TensorRT的NVIDIA Jetson Nano GPU上为每秒114.6帧),同时保持了相当的准确性。
2021-08-24 cs.CV cs.RO
P$^2$GNet: Pose-Guided Point Cloud Generating Networks for 6-DoF Object Pose Estimation
Tsinghua University(清华大学);State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
通过利用从日常生活中学习的对象模型先验,即使在严重遮挡下,人类也能够执行快速准确的对象姿态估计。然而,大多数最近提出的姿态估计算法忽略了利用对象模型的信息,往往以有限的精度结束,并往往在杂乱的场景中失败。在本文中,我们提出了一种新的基于学习的模型,\underline{P} ose-Guided \underline{P} oint Cloud \underline{G} generating Networks for 6D Object Pose Estimation(P $^2$ GNet),旨在有效地利用对象模型先验来促进6D对象姿态估计。我们通过一个端到端的逐代估计工作流来实现这一点,该工作流将RGB-D图像的外观信息和对象点云的结构知识相结合,以实现准确和鲁棒的姿态估计。在两个常用的6D姿态估计基准YCB-Video数据集和LineMOD数据集上的实验表明,P $^2$ GNet的性能大大优于最先进的方法,并对严重遮挡显示出显着的鲁棒性,同时实现实时推理。
2019-12-20 cs.CV cs.RO
Jenga Stacking Based on 6D Pose Estimation for Architectural Form Finding Process
University of California, Berkeley, USA(加州大学伯克利分校)
本文回顾6D姿态估计方法,以Gen6d为例评估开放集方法在建筑设计中的表现,并结合建筑风环境评估探索可触知的建筑找形方法,同时指出其局限与改进方向。
2025-07-01 cs.CV cs.HC
SoftEnNet: Symbiotic Monocular Depth Estimation and Lumen Segmentation for Colonoscopy Endorobots
University of Dundee(邓迪大学)
结直肠癌是世界范围内第三大常见的癌症死亡原因。光学结肠镜检查是检测结直肠癌的金标准;然而,大约25%的息肉在手术过程中被遗漏。基于视觉的自主式内机器人可以通过系统的、完整的结肠粘膜筛查来显着改善结肠镜检查程序。可靠的机器人导航需要对环境和管腔跟踪的三维理解,以支持自主任务。我们提出了一种新的多任务模型,该模型可以同时预测密集深度和管腔分割,并使用深度网络集合。深度估计子网络以由视图合成引导的自监督方式进行训练;管腔分割子网络受到监督。这两个子网络通过能够进行信息交流从而相互学习的路径相互连接。由于管腔位于图像最深的视觉空间中,因此管腔分割有助于最远位置处的深度估计。进而,估计的深度引导管腔分割网络,因为管腔位置限定最远场景位置。与其他环境不同,由于可变形壁、无纹理表面、镜面反射和宽视场图像失真,我们的管道解决了所有挑战,因此视图合成在结肠中经常失败。我们对合成数据集进行了定性分析,并对结肠训练模型和真实结肠镜视频进行了定量分析。实验表明,我们的模型预测准确的尺度不变的深度图和管腔分割结肠镜图像在近实时。
2023-01-19 cs.CG cs.CV eess.IV
Multi-Modal Attention Networks for Enhanced Segmentation and Depth Estimation of Subsurface Defects in Pulse Thermography
Khalifa University of Science and Technology(哈利法科技大学);Khalifa University(哈利法大学)
针对脉冲热成像无损检测中独立处理PCA、TSR模态限制模型性能的问题,提出多模态注意力融合网络PT-Fusion及新型数据增强方法,在基准数据集上分割与深度估计精度较现有模型提升10%。
2025-01-17 cs.AI cs.CV eess.IV
Car Segmentation and Pose Estimation using 3D Object Models
Johns Hopkins University(约翰斯·霍普金斯大学)
图像分割和三维姿态估计是任何场景理解算法中的两个关键环节。然而,用于图像分割的最先进的基于CRF的模型主要依赖于2D对象模型来构造自上而下的高阶势。在本文中,我们提出了新的自上而下的潜力的图像分割和姿态估计的基础上的形状和体积的三维物体模型。我们表明,这些复杂的自上而下的潜力,可以很容易地分解成标准的形式,在分割和姿态估计任务的有效推理。在汽车数据集上的实验表明,分割的知识有助于更好地执行姿态估计,反之亦然。
2016-06-17 cs.CV
Efficient Pose and Cell Segmentation using Column Generation
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚高级研究学院);Experian Data Lab(益百利数据实验室)
研究了自然图像中的多人姿态分割问题和细胞密集的生物图像中的实例分割问题。我们将这些不同的任务制定为整数规划,其中变量对应于姿势/细胞。为了优化,我们提出了一个通用的松弛计划,用于解决这些组合问题,使用列生成配方,其中用于生成列的程序是通过精确优化非常小规模的整数程序来解决的。这导致姿势和细胞的空间的有效探索。
2016-12-01 cs.CV
Distilling Facial Knowledge With Teacher-Tasks: Semantic-Segmentation-Features For Pose-Invariant Face-Recognition
University of Michigan - Dearborn(密歇根大学迪尔伯恩分校)
提出了一种基于语义分割特征提高人脸识别姿态不变性的方法。所提出的Seg-Distilled-ID网络联合学习识别和语义分割任务,其中分割任务然后被“蒸馏”(MobileNet编码器)。性能基准对三个国家的最先进的编码器上公开的数据集,强调头部姿势的变化。实验评估表明,Seg-Distilled-ID网络显示出显著的鲁棒性优势,测试准确率达到99.9%,而ResNet-101为81.6%,VGG-19为96.1%,InceptionV 3为96.3%。这是使用大约十分之一的顶部编码器的推理参数来实现的。这些结果表明,提取语义分割特征可以有效地解决人脸识别的姿态不变性。
2022-09-02 cs.CV
Robust 6D Object Pose Estimation in Cluttered Scenes using Semantic Segmentation and Pose Regression Networks
University of Bonn(波恩大学)
目标位姿估计是机器人在复杂环境中进行自主操作的重要前提。仓库等现实世界的装箱设置带来了额外的挑战,例如,不断地添加新对象。大多数现有的物体姿态估计方法假设物体的3D模型是预先可用的。我们提出了一个管道,需要最少的人为干预和规避依赖的3D模型的可用性,通过快速数据采集方法和合成数据生成过程。这项工作建立在以前的工作上的语义分割的混乱bin-picking场景,以隔离在混乱的个别对象。在合成场景上训练附加网络以从从分割结果中提取的裁剪的以对象为中心的编码来估计对象姿态。所提出的方法进行评估的合成验证数据集和杂乱的现实世界的场景。
2018-10-08 cs.CV
SAM-pose2seg: Pose-Guided Human Instance Segmentation in Crowds
Visual Recognition Group(视觉识别组);Department of Cybernetics(cybernetics系);Faculty of Electrical Engineering(电气工程系);Czech Technical University in Prague(布拉格捷克技术大学)
SAM-pose2seg通过姿态引导微调提升遮挡下的人类实例分割性能,保留模型泛化能力。
2026-01-16 cs.CV
Pose2Instance: Harnessing Keypoints for Person Instance Segmentation
Google Research(谷歌研究院);UC San Diego(加州大学圣地亚哥分校);Google Inc.(谷歌公司);Cornell University(康奈尔大学)
人体关键点是一个很好的研究表示的人。我们探讨如何使用关键点模型,以改善实例级的人分割。主要思想是利用oracle提供的关键点或估计的关键点热图的距离变换的概念作为深度神经网络内的人实例分割任务的先验。对于训练和评估,我们考虑来自COCO的所有那些图像,其中实例分割和人类关键点注释都可用。我们首先展示了Oracle关键点如何在没有任何训练的情况下在推理过程中提高现有人类分割模型的性能。接下来,我们提出了一个框架来直接学习以人体姿势为条件的深度实例分割模型。实验结果表明,在不同的交集超过联合(IOU)阈值,在一个约束环境中与甲骨文关键点,实例分割的准确性实现了10%至12%的相对提高超过一个强大的基线的甲骨文边界框。在更现实的环境中,在没有oracle关键点的情况下,所提出的以人体姿势为条件的深度人实例分割模型与仅为分割而训练的深度网络的最强基线相比实现了3.8%至10.5%的相对改进。
2017-04-04 cs.CV
Globally Tuned Cascade Pose Regression via Back Propagation with Application in 2D Face Pose Estimation and Heart Segmentation in 3D CT Images
Dalio Institute of Cardiovascular Imaging, Weill Cornell Medical College(威尔康奈尔医学院达利奥心血管影像研究所)
最近,一个成功的姿态估计算法,称为级联姿态回归(CPR),在文献中提出。在姿势指数特征上训练,CPR是类似于Boosting的回归子集合。在本文中,我们展示了如何心肺复苏术可以表示为一个神经网络。具体来说,我们采用了一个图形Transformer网络(GTN)表示,并相应地训练CPR与反向传播(BP),允许全球调整。相比之下,以前的CPR文献只进行了逐层训练,没有任何后期微调。我们的经验表明,BP的全局训练优于逐层(预)训练。我们的CPR-GTN采用多层Percetron作为回归器,利用稀疏连接来学习局部图像特征表示。我们测试了所提出的CPR-GTN在2D人脸姿态估计问题,在以前的CPR文献。此外,我们还研究了将CPR-GTN扩展到3D姿态估计的可能性,通过使用3D CT数据集进行心脏分割来进行实验。
2015-03-30 cs.CV
Pose-Aware Instance Segmentation Framework from Cone Beam CT Images for Tooth Segmentation
Seoul National University(首尔国立大学);Soong-sil University(崇实大学)
从锥形束计算机断层扫描(CBCT)图像中分割单个牙齿是在几种应用中(如牙齿重建计划和种植体引导模拟)解剖学理解正畸结构的必要先决条件。然而,CBCT图像中严重金属伪影的存在阻碍了每个牙齿的准确分割。在这项研究中,我们提出了一个神经网络的像素标记,利用实例分割框架,是强大的金属文物。我们的方法包括三个步骤:1)图像裁剪和重新对齐的姿态回归,2)金属鲁棒的个人牙齿检测,和3)分割。我们首先通过姿态回归神经网络提取患者的对齐信息,以获得感兴趣体积(VOI)区域并重新对齐输入图像,从而减少牙齿边界框之间的相互重叠区域。然后,使用卷积检测器将各个牙齿区域定位在VOI重新对准的图像内。我们通过在区域建议网络中采用非最大抑制和多类分类度量来提高检测器的准确性。最后,我们应用卷积神经网络(CNN)通过将像素级标记任务转换为距离回归任务来执行单个牙齿分割。金属密集型图像增强也被用于金属伪影的鲁棒分割。结果表明,我们提出的方法优于其他国家的最先进的方法,特别是对牙齿的金属文物。所提出的方法的主要意义是双重的:1)引入姿态感知VOI重新对准,随后是稳健的牙齿检测,以及2)用于精确牙齿分割的金属稳健的CNN框架。
2020-02-06 cs.CV
Pose-Aware Weakly-Supervised Action Segmentation
Honda Research Institute(本田研究所);UC Berkeley(加州大学伯克利分校)
本文提出一种训练时融入姿态知识、推理时省略姿态的弱监督动作分割框架,并设计姿态启发对比损失以更有效区分动作边界,在长教学视频的在线与离线分割中均超越现有最优方法。
2025-04-08 cs.CV
Superpixel Segmentation: A Long-Lasting Ill-Posed Problem
University of Bordeaux(波尔多大学);Bordeaux INP(波尔多国立理工学院);IMS(图像与信号处理研究所);CNRS UMR 5218(法国国家科学研究中心UMR 5218);LaBRI(拉布拉德研究所);CNRS UMR 5800(法国国家科学研究中心UMR 5800)
本文论证超像素分割本质上是病态问题,指出现有评估体系存在缺陷,并证明无需专门训练即可用 SAM 取得有竞争力的超像素分割结果,从而呼吁依据下游任务重新审视超像素分割的性质。
2025-09-23 cs.CV
Weakly Supervised Body Part Segmentation with Pose based Part Priors
University of Rochester(罗切斯特大学);Google Inc.(谷歌公司);ByteDance AI Lab(字节跳动人工智能实验室);Vaitl Inc.(维特尔公司)
人体部位分割是指预测每个身体部位的语义分割掩码的任务。完全监督的身体部位分割方法实现了良好的性能,但需要大量的工作来注释用于训练的部分掩码。与有限数量的部分遮罩注释所需的高注释成本相比,大量的弱标签(如姿势和全身遮罩)已经存在并包含相关信息。出于使用现有弱标签的可能性,我们提出了第一个弱监督身体部位分割框架。其核心思想是首先将稀疏弱标签(如关键点)转换为身体部位掩模的初始估计,然后迭代地细化部位掩模预测。我们将从姿势估计的初始部分掩模命名为“部分先验”。“有了足够的额外弱标签,我们的弱监督框架在Pascal-Person-Part数据集上实现了与完全监督方法(63.6% mIoU)相当的性能(62.0% mIoU)。此外,在扩展的半监督设置,所提出的框架优于国家的最先进的方法。此外,我们将我们提出的框架扩展到其他关键点监督的部分分割任务,如人脸解析。
2020-10-30 cs.CV
Integrated In-vehicle Monitoring System Using 3D Human Pose Estimation and Seat Belt Segmentation
Sogang University(西江大学);Hyundai Mobis(现代摩比斯)
最近,随着人们对自动驾驶汽车的兴趣,汽车内驾驶员和乘客的监控系统的重要性也在增加。本文提出了一种新的车载监测系统,结合三维姿态估计,安全带分割,安全带状态分类网络。我们的系统通过准确地考虑车载环境的数据特性来输出监控所需的各种信息。具体而言,所提出的3D姿态估计直接估计驾驶员和乘客的关键点的绝对坐标,并且所提出的安全带分割通过应用基于特征金字塔的结构来实现。此外,我们提出了一个分类任务,以区分正常和异常状态的佩戴安全带使用的结果,结合3D姿态估计与安全带分割。这些任务可以同时学习并实时操作。我们的方法在我们新创建并注释的私有数据集上进行了评估。实验结果表明,我们的方法具有显着的高性能,可以直接应用到真正的车载监控系统。
2023-03-02 cs.CV
Multitask Network for Joint Object Detection, Semantic Segmentation and Human Pose Estimation in Vehicle Occupancy Monitoring
Mannheim University of Applied Sciences(曼海姆应用科学大学)
为了确保安全的自动驾驶,必须提供有关车辆内部和周围条件的精确信息。因此,对车内乘员和物体的监控至关重要。在现有技术中,单个或多个深度神经网络用于对象识别、语义分割或人体姿态估计。相比之下,我们提出了我们的多任务检测,分割和姿态估计网络(MDSP)-第一个多任务网络解决所有这三个任务联合在占用监测领域。由于共享架构,可以节省内存和计算成本,同时实现更高的准确性。此外,我们的架构允许在简单的端到端培训期间灵活组合上述三项任务。我们对公共数据集SVIRO和TiCaM进行了全面的评估,以证明其优越的性能。
2022-05-03 cs.CV
ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments
King’s College London, School of Biomedical Engineering & Imaging Sciences(伦敦国王学院生物医学工程与影像科学学院)
本文提出ROBUST-MIPS数据集,结合骨骼姿态和实例分割,通过改进的标注方法提升手术器械定位性能,并提供基准测试和工具姿态标注软件。
2026-03-04 cs.CV
Occlusion-Aware Object Localization, Segmentation and Pose Estimation
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种学习方法的局部化和分割的图像中的对象的方式是强大的部分遮挡。我们的算法产生一个限界框周围的对象和标签的内部属于该对象的像素的全部范围。与现有的分割感知检测方法一样,我们学习对象的外观模型,并将不适合该模型的区域视为潜在的遮挡。然而,除了已建立的使用成对的潜力,以鼓励当地的一致性,我们使用高阶潜力,捕捉信息的图像段的水平。我们还提出了一个高效的损失函数,该函数同时针对定位和分割性能。我们的算法在具有挑战性的CMU厨房遮挡数据集上平均实现了13.52%的分割错误和0.81的每幅图像假阳性下的面积与召回曲线。这是一个42.44%的分割误差减少和16.13%的本地化性能的增加相比,最后,我们表明,我们的算法产生的可见性标签可以使完整的3D姿态估计从一个单一的图像鲁棒闭塞。
2015-07-27 cs.CV
PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model
Google, Inc.(谷歌公司)
我们提出了一个无框自自底向上的【形】的方法的任务的姿态估计和实例分割的人在多人图像中使用一个有效的单镜头模型。建议的PersonLab模型处理语义级推理和对象的部分关联使用基于部分的建模。我们的模型采用了一个卷积网络,该网络可以学习检测单个关键点并预测它们的相对位移,从而使我们能够将关键点分组为人物姿势实例。此外,我们提出了一个部分诱导的几何嵌入描述符,使我们能够将语义人像素与其相应的人的实例,提供实例级的人分割。我们的系统基于全卷积架构,并允许高效的推理,运行时间基本上与场景中的人数无关。仅在COCO数据上进行训练,我们的系统使用单尺度推理实现了0.665的COCO测试-开发关键点平均精度,使用多尺度推理实现了0.687,显著优于所有以前的自底向上的【形】姿态估计系统。我们也是第一个自自底向上的【形】的方法来报告COCO实例分割任务中人员类别的竞争结果,实现了0.417的人员类别平均精度。
2018-03-22 cs.CV
Joint Learning of Motion Estimation and Segmentation for Cardiac MR Image Sequences
Imperial College London(帝国理工学院);Queen Mary University of London(伦敦玛丽女王大学);University of Oxford(牛津大学)
心脏运动估计和分割在定量评价心脏功能和心血管疾病诊断中具有重要作用。在本文中,我们提出了一种新的深度学习方法,用于心脏MR图像序列的运动和分割的联合估计。所提出的网络由两个分支组成:心脏运动估计分支,它是建立在一个新的无监督暹罗风格的递归空间Transformer网络,和心脏分割分支,是基于一个完全卷积网络。特别地,通过同时优化分割分支和运动估计分支来学习联合多尺度特征编码器。这通过利用在运动估计分支中从大量未注释的数据中无监督地学习的特征来实现弱监督分割。使用来自220名受试者的心脏MRI图像的实验结果表明,这两个任务的联合学习是互补的,所提出的模型在准确性和速度方面明显优于竞争方法。
2018-06-11 cs.CV
Multi Kernel Estimation based Object Segmentation
本文提出Multi-KernelGAN,通过结合目标分割掩码估计多个核,并验证YOLOv8与SAM组合在超分辨率任务中优于传统单核方法。
2024-10-22 cs.CV
Pose2Seg: Detection Free Human Instance Segmentation
BNRist(北京国家信息科学技术研究院);Cardiff University(卡迪夫大学);Tencent AI Lab(腾讯人工智能实验室);Tsinghua University(清华大学)
本文提出Pose2Seg,一种基于人体姿态而非检测框的人体实例分割框架,并发布包含严重遮挡人体及全面标注的OCHuman基准数据集,以提升遮挡场景下的分割精度。
2019-04-08 cs.CV
Joint Multi-Person Pose Estimation and Semantic Part Segmentation
University of California, Los Angeles(加州大学洛杉矶分校);Johns Hopkins University(约翰斯·霍普金斯大学)
人体姿态估计和语义部分分割是计算机视觉中两个相辅相成的任务。在本文中,我们建议解决这两个任务联合自然多人图像,其中估计的姿态提供对象级形状之前,正则化部分段,而部分级段约束的姿态位置的变化。具体来说,我们首先训练两个完全卷积神经网络(FCN),即Pose FCN和Part FCN,以提供姿势联合潜力和语义部分潜力的初始估计。然后,细化姿态关节位置,这两种类型的潜力融合与一个完全连接的条件随机场(FCRF),其中一个新的段关节平滑项是用来鼓励零件和关节之间的语义和空间的一致性。为了细化零件段,通过零件FCN集成细化的姿态和原始零件潜力,其中来自姿态的骨架特征用作零件段的附加正则化线索。最后,为了降低FCRF的复杂性,我们引入了人类检测框并推断每个框内的图形,使推理速度提高了40倍。由于没有包含部分片段和姿势标签的数据集,我们使用人体姿势关节扩展了PASCAL VOC部分数据集,并进行了大量的实验,将我们的方法与几种最新的策略进行比较。我们表明,在这个数据集上,我们的算法在这两项任务中都大大优于竞争方法。
2017-08-10 cs.CV
SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition
TU Wien(维也纳技术大学);University of Bristol(布里斯托尔大学)
本研究提出仅用RGB帧结合伪深度的SHARP方法分割场景无关部分,在H2O数据集上实现91.73%的动作识别准确率,姿态误差28.66mm,无需深度传感器即可提升自我中心3D手部姿态估计与动作识别性能。
2024-08-19 cs.CV
Detection, Pose Estimation and Segmentation for Multiple Bodies: Closing the Virtuous Circle
Czech Technical University in Prague(布拉格捷克理工大学)
针对多人体近距离场景下姿态估计等任务性能不佳的问题,提出BBox-Mask-Pose闭环迭代方法,通过三个专用模型相互优化,在多数据集刷新三项任务SOTA,高重叠场景检测提升39%,是大型基础模型的高效替代。
2025-08-01 cs.CV
Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich(苏黎世联邦理工学院);University of Bonn(波恩大学);KU Leuven(鲁汶大学)
训练用于语义分割的深度网络需要大量标记的训练数据,这在实践中提出了一个重大挑战,因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题,我们提出了一个框架,半监督语义分割,这是增强了自监督单目深度估计从未标记的图像序列。特别是,我们提出三个关键贡献:(1)我们将知识从自监督深度估计期间学习的特征转移到语义分割,(2)我们通过使用场景的几何形状混合图像和标签来实现强数据增强,以及(3)我们利用深度特征多样性以及学生学习深度的难度水平-教师框架来选择最有用的样本进行语义分割的注释。我们在Cityscapes数据集上验证了所提出的模型,其中所有三个模块都表现出显着的性能增益,并且我们实现了半监督语义分割的最新结果。该实现可在www.example.com上获得。
2021-04-05 cs.CV
POSTURE: Pose Guided Unsupervised Domain Adaptation for Human Body Part Segmentation
University of California, Riverside(加州大学河滨分校);NASA-Impact;AWS AI Labs(亚马逊云科技人工智能实验室)
提出POSTURE方法,利用姿态关键点的解剖学先验指导无监督域适应,显著提升人体部位分割在域偏移下的性能,并支持无源设置以保护隐私。
2024-07-23 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题,其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案,多任务网络,执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本,因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测,我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案,以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明,我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
Probabilistic Category-Level Pose Estimation via Segmentation and Predicted-Shape Priors
Duke University(杜克大学);Brown University(布朗大学)
我们介绍了一种新的方法,类别级的姿态估计,产生的分布预测的姿态,通过整合3D形状估计从生成对象模型与分割信息。给定对象的输入深度图像,我们的可变时间方法使用混合密度网络架构来产生3DOF姿态上的多模态分布;然后将该分布与先验概率相结合,以鼓励观察到的输入和预测的对象姿态之间的轮廓一致性。我们的方法在类别级3DOF姿态估计方面显着优于当前最先进的技术--输出点估计,并且没有显式地包含形状和分割信息--在Pix 3D和ShapeNet数据集上进行测量。
2019-05-28 cs.CV cs.RO
Isolated Sign Language Recognition with Segmentation and Pose Estimation
University of Tennessee, Knoxville(田纳西大学,诺克斯维尔)
本文提出了一种降低计算成本且具备鲁棒性的孤立手语识别模型,通过姿态估计、分割模块和ResNet-Transformer主干联合建模空间与时间依赖性,以提升对签署人变异的适应能力。
2025-12-16 cs.CV
Inconsistency-aware Uncertainty Estimation for Semi-supervised Medical Image Segmentation
Nanjing University(南京大学);Tsinghua University(清华大学);Tencent Jarvis Lab(腾讯Jarvis实验室);Shandong Women’s University(山东女子学院);Southeast University(东南大学)
在半监督医学图像分割中,大多数以前的工作都基于一个共同的假设,即较高的熵意味着较高的不确定性。在本文中,我们研究了一种新的方法来估计不确定性。我们观察到,当在一定程度上分配不同的误分类成本时,如果像素的分割结果变得不一致,则该像素在其分割中表现出相对的不确定性。因此,我们提出了一种新的半监督分割模型,即基于我们的不确定性估计和单独的自训练策略的保守-激进网络(CoraNet)。特别是,我们的CoraNet模型由三个主要组件组成:保守-激进模块(CRM),特定区域分割网络(C-SN)和不确定区域分割网络(UC-SN),它们可以以端到端的方式进行交替训练。我们已经广泛评估了我们的方法在各种分割任务与公开可用的基准数据集,包括CT胰腺,MR内镜,和MR多结构分割的ACDC数据集。与目前的技术水平相比,我们的CoraNet表现出了卓越的性能。此外,我们还分析了它与传统的半监督医学图像分割中的不确定性估计方法的联系和区别。
2021-10-17 cs.CV
Combining local regularity estimation and total variation optimization for scale-free texture segmentation
Univ Lyon(里昂大学);Ens de Lyon(里昂高等师范学院);Univ Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);IRIT(图卢兹计算机研究所);INP-ENSEEIHT(国立图卢兹应用科学学院-高等电力、电子、计算机、水力与电信学院);University of Toulouse(图卢兹大学)
纹理分割是一项标准的图像处理任务,对许多应用至关重要。目前的贡献集中在无尺度纹理的特定子集,其独创性在于三个关键成分的组合:第一,纹理表征依赖于局部规律性的概念;第二,局部规律性的估计是基于新的多尺度量,称为小波领导;第三,从局部规律性分割面临一个基本的偏差方差权衡:在自然界中,局部规律性估计显示出损害变化的检测的高可变性,而规律性估计的后验平滑排除了正确定位变化。相反,目前的贡献提出了几个变分问题的配方的基础上,总的变化和近端的决议,有效地规避这种权衡。估计和分割性能的建议程序进行量化和比较合成以及现实世界的纹理。
2016-06-24 cs.CV
Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation
在自然的对话和互动中,我们的手经常重叠或相互接触。由于手的均匀外观,这使得从图像估计交互手的3D姿态变得困难。在本文中,我们证明了自相似性,以及由此产生的模糊性,在分配像素观察到各自的手和他们的部分,是最终的3D姿态误差的主要原因。出于这种见解,我们提出了DIGIT,一种新的方法,用于估计从一个单目图像的两个相互作用的手的3D姿态。该方法由两个交织的分支,处理成一个每像素的语义部分分割掩模和视觉特征量的输入图像。与之前的工作相比,我们没有将分割与姿态估计阶段解耦,而是直接在下游姿态估计任务中利用每像素概率。为此,将部分概率与视觉特征合并,并通过全卷积层进行处理。我们的实验表明,该方法实现了新的国家的最先进的性能InterHand2.6M数据集。我们提供了详细的消融研究,以证明我们的方法的有效性,并提供深入了解像素所有权的建模如何影响3D手部姿势估计。
2021-11-28 cs.CV
Fast Piecewise-Affine Motion Estimation Without Segmentation
Center for Biomedical Imaging (CIBM-SP), EPFL(洛桑联邦理工学院生物医学成像中心(CIBM-SP));Universität Heidelberg(海德堡大学);Helmholtz Zentrum München(慕尼黑亥姆霍兹中心);Hochschule Darmstadt(达姆施塔特应用技术大学)
当前用于分段仿射运动估计的算法方法基于交替的运动分割和估计。我们提出了一种新的方法来估计分段仿射运动场直接没有中间分割。为此,我们重新制定的问题,通过施加分段常数的参数字段,并推导出一个特定的邻近分裂优化方案。我们的框架的一个关键组成部分是一个有效的一维分段仿射估计向量值信号。与基于分割的方法相比,我们的方法的第一个优点是它没有初始化。第二个优点是其较低的计算成本,这是独立的运动场的复杂性。除了这些功能,我们表现出竞争力的准确性与其他分段参数方法的标准评估基准。我们的新正则化方案也优于更标准的全变分和全广义变分。
2018-02-06 cs.CV
DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
通过具有丰富注释的基准测试(例如DeepFashion),可以进一步理解时尚图像,其标签包括服装类别,地标和消费者-商业图像对。然而,DeepFashion存在不可忽视的问题,例如每个图像的单个衣物项目,稀疏的地标(仅4~8个),以及没有每个像素的掩模,使其与真实世界的场景有很大的差距。我们通过提出DeepFashion 2来解决这些问题。它是四个任务的通用基准,包括衣服检测,姿势估计,分割和检索。它有801 K个服装项目,每个项目都有丰富的注释,如样式,比例,视点,遮挡,限界框,密集的地标和面具。还有873 K的商业消费者服装。提出了一个强基线,称为Match R-CNN,它建立在Mask R-CNN的基础上,以端到端的方式解决上述四个任务。在DeepFashion 2中使用不同的标准进行了广泛的评估。
2019-01-23 cs.CV
Joint Semantic Segmentation and Depth Estimation with Deep Convolutional Networks
George Mason University(乔治梅森大学);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
多尺度深度CNN已成功用于将每个像素映射到标签的问题,例如深度估计和语义分割。它还表明,这种架构是可重用的,可以用于多个任务。这些网络通常通过改变输出层和训练目标来为每个任务独立训练。在这项工作中,我们提出了一个新的模型,同时深度估计和语义分割从一个单一的RGB图像。我们的方法证明了为每个任务训练模型的一部分,然后使用单个损失函数同时对两个任务的完整组合模型进行微调的可行性。此外,我们将深度CNN与完全连接的CRF耦合,其捕获语义和深度线索之间的上下文关系和交互,从而提高最终结果的准确性。所提出的模型在NYUDepth V2数据集上进行训练和评估,在语义分割方面优于最先进的方法,并在深度估计任务上取得了可比的结果。
2016-09-19 cs.CV
Y-MAP-Net: Real-time depth, normals, segmentation, multi-label captioning and 2D human pose in RGB images
Institute of Computer Science, FORTH(FORTH计算机科学研究所);University of Crete(克里特大学)
提出Y形架构Y-MAP-Net,通过多教师单学生范式将多任务能力蒸馏至轻量级网络,实现RGB图像实时预测深度、法线、姿态、分割及多标签描述,适用于机器人等场景。
2024-11-15 cs.CV