Distilling Facial Knowledge With Teacher-Tasks: Semantic-Segmentation-Features For Pose-Invariant Face-Recognition
University of Michigan - Dearborn(密歇根大学迪尔伯恩分校)
提出了一种基于语义分割特征提高人脸识别姿态不变性的方法。所提出的Seg-Distilled-ID网络联合学习识别和语义分割任务,其中分割任务然后被“蒸馏”(MobileNet编码器)。性能基准对三个国家的最先进的编码器上公开的数据集,强调头部姿势的变化。实验评估表明,Seg-Distilled-ID网络显示出显著的鲁棒性优势,测试准确率达到99.9%,而ResNet-101为81.6%,VGG-19为96.1%,InceptionV 3为96.3%。这是使用大约十分之一的顶部编码器的推理参数来实现的。这些结果表明,提取语义分割特征可以有效地解决人脸识别的姿态不变性。
2022-09-02 cs.CV
Real-time Semantic Image Segmentation via Spatial Sparsity
The University of Adelaide(阿德莱德大学)
我们提出了一种语义(图像)分割的方法,减少了计算成本的一个因素的25有限的影响,结果的质量。语义分割具有许多实际应用,并且对于大多数这样的应用,计算成本是关键的。该方法遵循典型的两列网络结构,其中一列接受输入图像,而另一列接受该图像的半分辨率版本。通过识别全分辨率图像中可以安全忽略的特定区域,以及仔细定制网络结构,我们可以使用单个GTX 980视频卡每秒处理大约15个高分辨率Cityscapes图像(1024 x2048),同时在Cityscapes测试集上实现72.9%的平均交叉-联合得分。
2017-12-01 cs.CV
Reversible Column Networks
MEGVII Technology(旷视科技);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
提出了一种新的神经网络设计范式--可逆列网络(RevCol)。RevCol的主体由多个子网络的副本组成,分别命名为列,它们之间采用多级可逆连接。这种架构方案使RevCol的行为与传统网络非常不同:在前向传播过程中,RevCol中的特征在通过每个列时被逐渐解开,其总信息被保留,而不是像其他网络那样被压缩或丢弃。我们的实验表明,CNN风格的RevCol模型可以在多个计算机视觉任务(如图像分类,目标检测和语义分割)上实现非常有竞争力的性能,特别是在大参数预算和大数据集的情况下。例如,在ImageNet-22 K预训练之后,RevCol-XL获得了88.2%的ImageNet-1 K准确率。给出更多的预训练数据,我们最大的模型RevCol-H在ImageNet-1 K上达到90.0%,在COCO检测minival集上达到63.8%的APbox,在ADE 20 k分割上达到61.0%的mIoU。据我们所知,它是纯(静态)CNN模型中最好的COCO检测和ADE 20 k分割结果。此外,RevCol作为一种通用的宏结构形式,也可以引入到Transformers或其他神经网络中,在计算机视觉和自然语言处理任务中,RevCol都能有效地提高神经网络的性能。我们在https://github.com/megvii-research/RevCol发布代码和模型
2023-02-01 cs.CV
Dual-Flattening Transformers through Decomposed Row and Column Queries for Semantic Segmentation
OPPO US Research Center(OPPO美国研究中心);InnoPeak Technology, Inc.(InnoPeak科技公司);Texas A&M University(德克萨斯A&M大学)
对于诸如语义分割之类的密集预测任务,获得具有长程依赖性的高分辨率特征是至关重要的。为了从大小为$h\times w$($hw\ll HW$)的低分辨率特征图生成大小为$H\times W$的高分辨率输出,朴素密集Transformer导致$\mathcal{O}(hwHW)$的难以处理的复杂性,限制了其在高分辨率密集预测上的应用。我们提出了一个双扁平Transformer(DFlatFormer),使高分辨率的输出,通过降低复杂性$\mathcal{O}(hw(H+W))$是几个数量级小于天真的密集Transformer。分解查询通过单独的Transformers可追踪地检索行和列注意力,并且它们的输出被组合以形成高分辨率的密集特征图。为此,从编码器馈送的输入序列被逐行和逐列扁平化,以通过分别保留其行和列结构来与分解的查询对齐。行和列Transformers也彼此交互以利用行和列之间的空间交叉来捕获它们的相互注意。我们还建议通过有效的分组和池化来执行注意力,以进一步降低模型的复杂性。在ADE 20 K和Cityscapes数据集上进行的大量实验证明了所提出的双扁平化Transformer架构具有更高mIoU的优越性。
2022-01-22 cs.CV cs.LG
Robust 6D Object Pose Estimation in Cluttered Scenes using Semantic Segmentation and Pose Regression Networks
University of Bonn(波恩大学)
目标位姿估计是机器人在复杂环境中进行自主操作的重要前提。仓库等现实世界的装箱设置带来了额外的挑战,例如,不断地添加新对象。大多数现有的物体姿态估计方法假设物体的3D模型是预先可用的。我们提出了一个管道,需要最少的人为干预和规避依赖的3D模型的可用性,通过快速数据采集方法和合成数据生成过程。这项工作建立在以前的工作上的语义分割的混乱bin-picking场景,以隔离在混乱的个别对象。在合成场景上训练附加网络以从从分割结果中提取的裁剪的以对象为中心的编码来估计对象姿态。所提出的方法进行评估的合成验证数据集和杂乱的现实世界的场景。
2018-10-08 cs.CV
SAM-pose2seg: Pose-Guided Human Instance Segmentation in Crowds
Visual Recognition Group(视觉识别组);Department of Cybernetics(cybernetics系);Faculty of Electrical Engineering(电气工程系);Czech Technical University in Prague(布拉格捷克技术大学)
SAM-pose2seg通过姿态引导微调提升遮挡下的人类实例分割性能,保留模型泛化能力。
2026-01-16 cs.CV
Globally Tuned Cascade Pose Regression via Back Propagation with Application in 2D Face Pose Estimation and Heart Segmentation in 3D CT Images
Dalio Institute of Cardiovascular Imaging, Weill Cornell Medical College(威尔康奈尔医学院达利奥心血管影像研究所)
最近,一个成功的姿态估计算法,称为级联姿态回归(CPR),在文献中提出。在姿势指数特征上训练,CPR是类似于Boosting的回归子集合。在本文中,我们展示了如何心肺复苏术可以表示为一个神经网络。具体来说,我们采用了一个图形Transformer网络(GTN)表示,并相应地训练CPR与反向传播(BP),允许全球调整。相比之下,以前的CPR文献只进行了逐层训练,没有任何后期微调。我们的经验表明,BP的全局训练优于逐层(预)训练。我们的CPR-GTN采用多层Percetron作为回归器,利用稀疏连接来学习局部图像特征表示。我们测试了所提出的CPR-GTN在2D人脸姿态估计问题,在以前的CPR文献。此外,我们还研究了将CPR-GTN扩展到3D姿态估计的可能性,通过使用3D CT数据集进行心脏分割来进行实验。
2015-03-30 cs.CV
Pose-Aware Instance Segmentation Framework from Cone Beam CT Images for Tooth Segmentation
Seoul National University(首尔国立大学);Soong-sil University(崇实大学)
从锥形束计算机断层扫描(CBCT)图像中分割单个牙齿是在几种应用中(如牙齿重建计划和种植体引导模拟)解剖学理解正畸结构的必要先决条件。然而,CBCT图像中严重金属伪影的存在阻碍了每个牙齿的准确分割。在这项研究中,我们提出了一个神经网络的像素标记,利用实例分割框架,是强大的金属文物。我们的方法包括三个步骤:1)图像裁剪和重新对齐的姿态回归,2)金属鲁棒的个人牙齿检测,和3)分割。我们首先通过姿态回归神经网络提取患者的对齐信息,以获得感兴趣体积(VOI)区域并重新对齐输入图像,从而减少牙齿边界框之间的相互重叠区域。然后,使用卷积检测器将各个牙齿区域定位在VOI重新对准的图像内。我们通过在区域建议网络中采用非最大抑制和多类分类度量来提高检测器的准确性。最后,我们应用卷积神经网络(CNN)通过将像素级标记任务转换为距离回归任务来执行单个牙齿分割。金属密集型图像增强也被用于金属伪影的鲁棒分割。结果表明,我们提出的方法优于其他国家的最先进的方法,特别是对牙齿的金属文物。所提出的方法的主要意义是双重的:1)引入姿态感知VOI重新对准,随后是稳健的牙齿检测,以及2)用于精确牙齿分割的金属稳健的CNN框架。
2020-02-06 cs.CV
Segmentation-driven 6D Object Pose Estimation
EPFL(洛桑联邦理工学院)
估计刚性对象的6D姿态的最新趋势是训练深度网络,以直接从图像回归姿态或预测3D关键点的2D位置,可以使用Pestrian算法从3D关键点获得姿态。在这两种情况下,对象被视为一个全球实体,并计算一个单一的姿态估计。因此,所得到的技术可能容易受到大的遮挡。在本文中,我们引入了一个分割驱动的6D姿态估计框架,其中对象的每个可见部分以2D关键点位置的形式贡献局部姿态预测。然后,我们使用预测的置信度来将这些姿态候选者组合成一组强大的3D到2D对应关系,从中可以获得可靠的姿态估计。我们在具有挑战性的Occluded-LINEMOD和YCB-Video数据集上的表现优于最先进的技术,这证明我们的方法可以很好地处理多个纹理不良的对象相互遮挡。此外,它依赖于一个足够简单的架构来实现实时性能。
2019-04-06 cs.CV
Pose-Aware Weakly-Supervised Action Segmentation
Honda Research Institute(本田研究所);UC Berkeley(加州大学伯克利分校)
本文提出一种训练时融入姿态知识、推理时省略姿态的弱监督动作分割框架,并设计姿态启发对比损失以更有效区分动作边界,在长教学视频的在线与离线分割中均超越现有最优方法。
2025-04-08 cs.CV
Superpixel Segmentation: A Long-Lasting Ill-Posed Problem
University of Bordeaux(波尔多大学);Bordeaux INP(波尔多国立理工学院);IMS(图像与信号处理研究所);CNRS UMR 5218(法国国家科学研究中心UMR 5218);LaBRI(拉布拉德研究所);CNRS UMR 5800(法国国家科学研究中心UMR 5800)
本文论证超像素分割本质上是病态问题,指出现有评估体系存在缺陷,并证明无需专门训练即可用 SAM 取得有竞争力的超像素分割结果,从而呼吁依据下游任务重新审视超像素分割的性质。
2025-09-23 cs.CV
Weakly Supervised Body Part Segmentation with Pose based Part Priors
University of Rochester(罗切斯特大学);Google Inc.(谷歌公司);ByteDance AI Lab(字节跳动人工智能实验室);Vaitl Inc.(维特尔公司)
人体部位分割是指预测每个身体部位的语义分割掩码的任务。完全监督的身体部位分割方法实现了良好的性能,但需要大量的工作来注释用于训练的部分掩码。与有限数量的部分遮罩注释所需的高注释成本相比,大量的弱标签(如姿势和全身遮罩)已经存在并包含相关信息。出于使用现有弱标签的可能性,我们提出了第一个弱监督身体部位分割框架。其核心思想是首先将稀疏弱标签(如关键点)转换为身体部位掩模的初始估计,然后迭代地细化部位掩模预测。我们将从姿势估计的初始部分掩模命名为“部分先验”。“有了足够的额外弱标签,我们的弱监督框架在Pascal-Person-Part数据集上实现了与完全监督方法(63.6% mIoU)相当的性能(62.0% mIoU)。此外,在扩展的半监督设置,所提出的框架优于国家的最先进的方法。此外,我们将我们提出的框架扩展到其他关键点监督的部分分割任务,如人脸解析。
2020-10-30 cs.CV
Integrated In-vehicle Monitoring System Using 3D Human Pose Estimation and Seat Belt Segmentation
Sogang University(西江大学);Hyundai Mobis(现代摩比斯)
最近,随着人们对自动驾驶汽车的兴趣,汽车内驾驶员和乘客的监控系统的重要性也在增加。本文提出了一种新的车载监测系统,结合三维姿态估计,安全带分割,安全带状态分类网络。我们的系统通过准确地考虑车载环境的数据特性来输出监控所需的各种信息。具体而言,所提出的3D姿态估计直接估计驾驶员和乘客的关键点的绝对坐标,并且所提出的安全带分割通过应用基于特征金字塔的结构来实现。此外,我们提出了一个分类任务,以区分正常和异常状态的佩戴安全带使用的结果,结合3D姿态估计与安全带分割。这些任务可以同时学习并实时操作。我们的方法在我们新创建并注释的私有数据集上进行了评估。实验结果表明,我们的方法具有显着的高性能,可以直接应用到真正的车载监控系统。
2023-03-02 cs.CV
Multitask Network for Joint Object Detection, Semantic Segmentation and Human Pose Estimation in Vehicle Occupancy Monitoring
Mannheim University of Applied Sciences(曼海姆应用科学大学)
为了确保安全的自动驾驶,必须提供有关车辆内部和周围条件的精确信息。因此,对车内乘员和物体的监控至关重要。在现有技术中,单个或多个深度神经网络用于对象识别、语义分割或人体姿态估计。相比之下,我们提出了我们的多任务检测,分割和姿态估计网络(MDSP)-第一个多任务网络解决所有这三个任务联合在占用监测领域。由于共享架构,可以节省内存和计算成本,同时实现更高的准确性。此外,我们的架构允许在简单的端到端培训期间灵活组合上述三项任务。我们对公共数据集SVIRO和TiCaM进行了全面的评估,以证明其优越的性能。
2022-05-03 cs.CV
Spotting Separator Points at Line Terminals in Compressed Document Images for Text-line Segmentation
University of Mysore(迈索尔大学)
行分隔符用于在文档图像分析中将文本行彼此分隔开。在文档图像中的每个行终端处找到分隔点将启用文本行分割。特别是,识别手写文本中的分隔符可能是一个令人兴奋的练习。显然,这将是具有挑战性的文件图像的压缩版本中执行这一点,这是在这项研究中提出的目标。这样的努力将防止为文本行分割而解压缩文档的计算负担。由于文档图像通常按照CCITT标准使用行程长度编码(RLE)技术进行压缩,因此RLE中的第一列将是白色列。当特定行是文本行时,白色列中的值(深度)非常低,并且在文本行分隔点处深度可能更大。具有较大深度的较长连续序列应指示文本行之间的间隙,这提供了分隔符区域。在过度分离和分离不足的情况下,分别建议了删除和插入等纠正措施。对ICDAR 13和Alireza等人[17]的基准数据集的压缩图像进行了广泛的实验,以证明其有效性。
2017-08-18 cs.CV
ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments
King’s College London, School of Biomedical Engineering & Imaging Sciences(伦敦国王学院生物医学工程与影像科学学院)
本文提出ROBUST-MIPS数据集,结合骨骼姿态和实例分割,通过改进的标注方法提升手术器械定位性能,并提供基准测试和工具姿态标注软件。
2026-03-04 cs.CV
Mushroom Segmentation and 3D Pose Estimation from Point Clouds using Fully Convolutional Geometric Features and Implicit Pose Encoding
School of Electrical and Computer Engineering, National Technical University of Athens(雅典国立技术大学电气与计算机工程学院)
本文提出一种基于全卷积几何特征和隐式姿态编码的深度学习方法,利用合成点云数据训练网络,实现蘑菇分割与三维姿态估计,并在真实数据上验证有效性。
2024-04-17 cs.CV
Occlusion-Aware Object Localization, Segmentation and Pose Estimation
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种学习方法的局部化和分割的图像中的对象的方式是强大的部分遮挡。我们的算法产生一个限界框周围的对象和标签的内部属于该对象的像素的全部范围。与现有的分割感知检测方法一样,我们学习对象的外观模型,并将不适合该模型的区域视为潜在的遮挡。然而,除了已建立的使用成对的潜力,以鼓励当地的一致性,我们使用高阶潜力,捕捉信息的图像段的水平。我们还提出了一个高效的损失函数,该函数同时针对定位和分割性能。我们的算法在具有挑战性的CMU厨房遮挡数据集上平均实现了13.52%的分割错误和0.81的每幅图像假阳性下的面积与召回曲线。这是一个42.44%的分割误差减少和16.13%的本地化性能的增加相比,最后,我们表明,我们的算法产生的可见性标签可以使完整的3D姿态估计从一个单一的图像鲁棒闭塞。
2015-07-27 cs.CV
PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model
Google, Inc.(谷歌公司)
我们提出了一个无框自自底向上的【形】的方法的任务的姿态估计和实例分割的人在多人图像中使用一个有效的单镜头模型。建议的PersonLab模型处理语义级推理和对象的部分关联使用基于部分的建模。我们的模型采用了一个卷积网络,该网络可以学习检测单个关键点并预测它们的相对位移,从而使我们能够将关键点分组为人物姿势实例。此外,我们提出了一个部分诱导的几何嵌入描述符,使我们能够将语义人像素与其相应的人的实例,提供实例级的人分割。我们的系统基于全卷积架构,并允许高效的推理,运行时间基本上与场景中的人数无关。仅在COCO数据上进行训练,我们的系统使用单尺度推理实现了0.665的COCO测试-开发关键点平均精度,使用多尺度推理实现了0.687,显著优于所有以前的自底向上的【形】姿态估计系统。我们也是第一个自自底向上的【形】的方法来报告COCO实例分割任务中人员类别的竞争结果,实现了0.417的人员类别平均精度。
2018-03-22 cs.CV
Pose2Seg: Detection Free Human Instance Segmentation
BNRist(北京国家信息科学技术研究院);Cardiff University(卡迪夫大学);Tencent AI Lab(腾讯人工智能实验室);Tsinghua University(清华大学)
本文提出Pose2Seg,一种基于人体姿态而非检测框的人体实例分割框架,并发布包含严重遮挡人体及全面标注的OCHuman基准数据集,以提升遮挡场景下的分割精度。
2019-04-08 cs.CV
ArrowPose: Segmentation, Detection, and 5 DoF Pose Estimation Network for Colorless Point Clouds
SDU Robotics, Mærsk Mc-Kinney Møller Institute University of Southern Denmark(SDU机器人学院、马士基麦克金尼莫勒研究所、南丹麦大学)
本文提出ArrowPose网络,通过预测物体中心点和顶点,从无色点云中完成检测、分割与5 DoF位姿估计,在基准上达到最优且推理仅需250毫秒。
2025-06-10 cs.CV
Multi-task human analysis in still images: 2D/3D pose, depth map, and multi-part segmentation
Universitat Oberta de Catalunya(加泰罗尼亚开放大学);Universitat de Barcelona(巴塞罗那大学)
虽然人类分析领域的许多单个任务最近都从深度学习方法中获得了准确性的提升,但由于缺乏数据,多任务学习大多被忽视了。新的合成数据集正在发布,用合成生成的数据填补这一空白。在这项工作中,我们分析了四个相关的人类分析任务,在静态图像中的多任务的情况下,利用这样的数据集。具体而言,我们研究了2D/3D姿态估计,身体部位分割和全身深度估计的相关性。这些任务是通过众所周知的堆叠沙漏模块学习的,这样每个特定于任务的流都可以与其他流共享信息。主要目标是分析如何一起训练这四个相关的任务可以有利于每个单独的任务更好的泛化。新发布的SURREAL数据集的结果显示,所有四个任务都受益于多任务方法,但任务的组合不同:虽然组合所有四个任务可以最大限度地提高2D姿态估计,但2D姿态既不能提高3D姿态,也不能提高全身深度估计。另一方面,2D零件分割可以受益于2D姿态,但不能受益于3D姿态。在所有情况下,正如预期的那样,在空间分布、外观和形状方面表现出更多变化的人体部位(例如手腕和脚踝)上实现了最大改善。
2019-05-08 cs.CV
Joint Multi-Person Pose Estimation and Semantic Part Segmentation
University of California, Los Angeles(加州大学洛杉矶分校);Johns Hopkins University(约翰斯·霍普金斯大学)
人体姿态估计和语义部分分割是计算机视觉中两个相辅相成的任务。在本文中,我们建议解决这两个任务联合自然多人图像,其中估计的姿态提供对象级形状之前,正则化部分段,而部分级段约束的姿态位置的变化。具体来说,我们首先训练两个完全卷积神经网络(FCN),即Pose FCN和Part FCN,以提供姿势联合潜力和语义部分潜力的初始估计。然后,细化姿态关节位置,这两种类型的潜力融合与一个完全连接的条件随机场(FCRF),其中一个新的段关节平滑项是用来鼓励零件和关节之间的语义和空间的一致性。为了细化零件段,通过零件FCN集成细化的姿态和原始零件潜力,其中来自姿态的骨架特征用作零件段的附加正则化线索。最后,为了降低FCRF的复杂性,我们引入了人类检测框并推断每个框内的图形,使推理速度提高了40倍。由于没有包含部分片段和姿势标签的数据集,我们使用人体姿势关节扩展了PASCAL VOC部分数据集,并进行了大量的实验,将我们的方法与几种最新的策略进行比较。我们表明,在这个数据集上,我们的算法在这两项任务中都大大优于竞争方法。
2017-08-10 cs.CV
SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition
TU Wien(维也纳技术大学);University of Bristol(布里斯托尔大学)
本研究提出仅用RGB帧结合伪深度的SHARP方法分割场景无关部分,在H2O数据集上实现91.73%的动作识别准确率,姿态误差28.66mm,无需深度传感器即可提升自我中心3D手部姿态估计与动作识别性能。
2024-08-19 cs.CV
Detection, Pose Estimation and Segmentation for Multiple Bodies: Closing the Virtuous Circle
Czech Technical University in Prague(布拉格捷克理工大学)
针对多人体近距离场景下姿态估计等任务性能不佳的问题,提出BBox-Mask-Pose闭环迭代方法,通过三个专用模型相互优化,在多数据集刷新三项任务SOTA,高重叠场景检测提升39%,是大型基础模型的高效替代。
2025-08-01 cs.CV
POSTURE: Pose Guided Unsupervised Domain Adaptation for Human Body Part Segmentation
University of California, Riverside(加州大学河滨分校);NASA-Impact;AWS AI Labs(亚马逊云科技人工智能实验室)
提出POSTURE方法,利用姿态关键点的解剖学先验指导无监督域适应,显著提升人体部位分割在域偏移下的性能,并支持无源设置以保护隐私。
2024-07-23 cs.CV
GS-Pose: Generalizable Segmentation-based 6D Object Pose Estimation with 3D Gaussian Splatting
Tampere University(坦佩雷大学);University of Oulu(奥卢大学)
本文提出GS-Pose统一框架,通过分阶段采用不同物体表示,结合3D高斯溅射优化6D物体姿态估计,在两个数据集上达到当前最优性能,支持用普通设备采集新物体。
2024-08-14 cs.CV
Isolated Sign Language Recognition with Segmentation and Pose Estimation
University of Tennessee, Knoxville(田纳西大学,诺克斯维尔)
本文提出了一种降低计算成本且具备鲁棒性的孤立手语识别模型,通过姿态估计、分割模块和ResNet-Transformer主干联合建模空间与时间依赖性,以提升对签署人变异的适应能力。
2025-12-16 cs.CV
Moving6DPoSe: A Multimodal Database for Monocular 6D Pose Estimation and Segmentation of Moving Objects
University of Chile(智利大学);Advanced Mining Technology Center (AMTC), University of Chile(智利大学先进采矿技术中心);The Iniciativa de Datos e Inteligencia Artificial, University of Chile(智利大学数据与人工智能计划)
该文提出多模态数据库Moving6DPoSe,含真实与合成子集,提供16个物体、1702个rosbag及分割、检测、6D姿态标注,实验显示事件式表示在运动物体分割上更鲁棒。
2026-09-23 cs.CV
Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation
在自然的对话和互动中,我们的手经常重叠或相互接触。由于手的均匀外观,这使得从图像估计交互手的3D姿态变得困难。在本文中,我们证明了自相似性,以及由此产生的模糊性,在分配像素观察到各自的手和他们的部分,是最终的3D姿态误差的主要原因。出于这种见解,我们提出了DIGIT,一种新的方法,用于估计从一个单目图像的两个相互作用的手的3D姿态。该方法由两个交织的分支,处理成一个每像素的语义部分分割掩模和视觉特征量的输入图像。与之前的工作相比,我们没有将分割与姿态估计阶段解耦,而是直接在下游姿态估计任务中利用每像素概率。为此,将部分概率与视觉特征合并,并通过全卷积层进行处理。我们的实验表明,该方法实现了新的国家的最先进的性能InterHand2.6M数据集。我们提供了详细的消融研究,以证明我们的方法的有效性,并提供深入了解像素所有权的建模如何影响3D手部姿势估计。
2021-11-28 cs.CV
Probabilistic Category-Level Pose Estimation via Segmentation and Predicted-Shape Priors
Duke University(杜克大学);Brown University(布朗大学)
我们介绍了一种新的方法,类别级的姿态估计,产生的分布预测的姿态,通过整合3D形状估计从生成对象模型与分割信息。给定对象的输入深度图像,我们的可变时间方法使用混合密度网络架构来产生3DOF姿态上的多模态分布;然后将该分布与先验概率相结合,以鼓励观察到的输入和预测的对象姿态之间的轮廓一致性。我们的方法在类别级3DOF姿态估计方面显着优于当前最先进的技术--输出点估计,并且没有显式地包含形状和分割信息--在Pix 3D和ShapeNet数据集上进行测量。
2019-05-28 cs.CV cs.RO
DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
通过具有丰富注释的基准测试(例如DeepFashion),可以进一步理解时尚图像,其标签包括服装类别,地标和消费者-商业图像对。然而,DeepFashion存在不可忽视的问题,例如每个图像的单个衣物项目,稀疏的地标(仅4~8个),以及没有每个像素的掩模,使其与真实世界的场景有很大的差距。我们通过提出DeepFashion 2来解决这些问题。它是四个任务的通用基准,包括衣服检测,姿势估计,分割和检索。它有801 K个服装项目,每个项目都有丰富的注释,如样式,比例,视点,遮挡,限界框,密集的地标和面具。还有873 K的商业消费者服装。提出了一个强基线,称为Match R-CNN,它建立在Mask R-CNN的基础上,以端到端的方式解决上述四个任务。在DeepFashion 2中使用不同的标准进行了广泛的评估。
2019-01-23 cs.CV
A Unified Point-Based Framework for 3D Segmentation
National Taiwan University(国立台湾大学);Amazon(亚马逊)
三维点云分割对于无结构和无纹理区域仍然具有挑战性。我们提出了一个新的统一的基于点的框架,有效地优化像素级功能,几何结构和全局上下文先验的整个场景的三维点云分割。通过将2D图像特征反向投影到3D坐标中,我们的网络在统一的框架中学习2D纹理外观和3D结构特征。此外,我们调查了一个全球范围内获得更好的预测之前。我们在ScanNet在线基准测试中评估了我们的框架,并表明我们的方法优于几种最先进的方法。我们探索在3D重建场景中合成相机姿势,以实现更高的性能。对特征组合和合成相机姿态的深入分析验证了来自不同模态的特征彼此受益,并且密集相机姿态采样进一步改善了分割结果。
2019-08-18 cs.CV
Y-MAP-Net: Real-time depth, normals, segmentation, multi-label captioning and 2D human pose in RGB images
Institute of Computer Science, FORTH(FORTH计算机科学研究所);University of Crete(克里特大学)
提出Y形架构Y-MAP-Net,通过多教师单学生范式将多任务能力蒸馏至轻量级网络,实现RGB图像实时预测深度、法线、姿态、分割及多标签描述,适用于机器人等场景。
2024-11-15 cs.CV
NVSMask3D: Hard Visual Prompting with Camera Pose Interpolation for 3D Open Vocabulary Instance Segmentation
Aalto University(阿莱大学);University of Helsinki(赫尔辛基大学);University of Oulu(奥卢大学)
提出NVSMask3D,一种基于三维高斯泼溅和相机位姿插值的免训练硬视觉提示方法,通过生成多样化视角并强制几何一致性,增强视觉语言模型在三维开放词汇实例分割中的性能。
2025-04-20 cs.CV
Alligat0R: Pre-Training Through Co-Visibility Segmentation for Relative Camera Pose Regression
LIGM, Ecole des Ponts, Univ. Gustave Eiffel, CNRS, France(LIGM,巴黎理工大学,埃菲尔大学,CNRS,法国);Univ. Bordeaux, CNRS, Bordeaux INP, IMS, UMR 5218, France(波尔多大学,CNRS,波尔多INP,IMS,UMR 5218,法国)
Alligat0R通过共视分割预训练方法在相对相机姿态回归中优于CroCo
2025-12-01 cs.CV
Point-Set Anchors for Object Detection, Instance Segmentation and Pose Estimation
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
用于目标检测和人类姿态估计的最近方法是从对象或人上的中心点回归边界框或人类关键点。虽然这种中心点回归是简单和有效的,我们认为,在中心点提取的图像特征包含有限的信息,用于预测遥远的关键点或限界框边界,由于对象变形和规模/方向的变化。为了便于推断,我们建议从一组放置在更有利位置的点进行回归。该点集被布置为反映给定任务的良好初始化,例如用于姿态估计的训练数据中的模式,其比中心点更接近地面实况,并为回归提供更多信息特征。由于点集的效用取决于其尺度、长宽比和旋转与目标的匹配程度,因此我们采用锚框技术对这些变换进行采样,以生成额外的点集候选。我们提出的框架,称为点集邻域,目标检测,实例分割,和人体姿态估计。我们的研究结果表明,这种通用的方法可以实现与这些任务的每一个国家的最先进的方法的性能竞争。代码可在\url{https://github.com/FangyunWei/PointSetAnchor}上获得
2020-08-03 cs.CV
Post-Processing Mask-Based Table Segmentation for Structural Coordinate Extraction
University of Moratuwa, Sri Lanka(斯里兰卡穆拉图瓦大学)
本文提出了一种基于多尺度信号处理的表格边缘检测方法,通过高斯卷积和统计阈值处理提升表格分割精度,实验表明在PubLayNet-1M基准测试中Cell-Aware Segmentation Accuracy提升至76%。
2025-12-24 cs.CV
Simultaneous 3D Object Segmentation and 6-DOF Pose Estimation
本文提出一种基于多任务CNN的单次方法,在纯三维点云中同时完成物体分割与六自由度位姿估计,并利用增强现实技术生成训练数据,在两个数据集上取得与最先进方法相当或更好的性能。
2024-11-25 cs.CV
Class Balanced PixelNet for Neurological Image Segmentation
National University of Singapore(新加坡国立大学)
在本文中,我们提出了一种自动脑肿瘤分割方法(例如,PixelNet)使用像素级卷积神经网络(CNN)。该模型从多个卷积层中提取特征,并将它们连接起来形成一个超列,其中对适度数量的像素进行采样以进行优化。超列确保了像素预测器的局部和全局上下文信息。该模型通过在训练阶段采样几个像素来确认统计效率,其中空间冗余限制了传统像素级语义分割方法中相邻像素之间的信息学习。此外,训练数据中的标签偏斜导致卷积模型经常收敛到某些类别,这是医学数据集中的常见问题。我们通过在采样时间内为所有类选择相等数量的像素来处理这个问题。该模型在脑肿瘤和缺血性中风病变分割数据集上取得了令人满意的结果。
2022-04-23 cs.CV eess.IV
SegSLR: Promptable Video Segmentation for Isolated Sign Language Recognition
Computer Vision Group, University of Hamburg, Germany(汉堡大学计算机视觉组)
提出SegSLR系统,通过可提示零样本视频分割结合RGB与姿态信息,保留手部形状细节,在ChaLearn249 IsoGD数据集上优于现有最先进方法。
2025-09-12 cs.CV
Farthest sampling segmentation of triangulated surfaces
Instituto de Cibernética, Matemática y Física, ICIMAF(控制论、数学与物理研究所(ICIMAF));Universidade Federal do Amazonas(亚马逊联邦大学);Technical University of Delft, TU Delft(代尔夫特理工大学(TU Delft))
在本文中,我们介绍Faradian采样分割(FSS),一种新的方法,用于分割的三角形表面,它包括两个基本步骤:计算的一个子矩阵$W^k$的亲和矩阵$W$和应用的k-均值聚类算法的行的$W^k$。子矩阵$W^k$是通过计算所有三角形和少数特殊三角形之间的亲和度得到的:这些三角形在定义的度量中是最远的。这相当于选择$W$列的样本,但未完全构建它。所提出的方法是计算成本低于其他分割算法,因为它只计算几列的$W$,它不需要特征分解的$W$或任何子矩阵的$W$。我们证明了$W$在由$W^k$的列生成的空间上的正交投影与$W$在由使用$W^k$的列作为$W$的样本的Nyström方法计算的$k$特征向量生成的空间上的正交投影重合。此外,示出了对于增加的尺寸$k$,$W^k$的行之间的邻近关系倾向于忠实地反映$W$的对应行之间的邻近。FSS方法不依赖于必须手动调整的参数,并且非常灵活,因为它可以处理任何度量来定义三角形之间的距离。数值实验与几个度量和各种各样的三维三角形网格表明,得到的分割计算小于10%的列$W$是一样好的,从聚类的行的全矩阵$W$。
2020-12-01 cs.CV cs.GR cs.NA
Video Human Segmentation using Fuzzy Object Models and its Application to Body Pose Estimation of Toddlers for Behavior Studies
University of Campinas(坎皮纳斯大学);Duke University(杜克大学);University of Minnesota(明尼苏达大学)
视频对象分割是一个具有挑战性的问题,由于存在可变形的,连接的,和铰接的对象,内部和对象间的闭塞,对象运动,和照明差。其中一些挑战需要对象模型来定位所需对象并将其与周围背景分离,即使两者具有相似的颜色和纹理。在这项工作中,我们扩展了一个模糊对象模型,云系统模型(CSM),处理视频分割,并评估它的身体姿势估计的幼儿自闭症的风险。CSM已成功用于对大脑的部分(大脑、左右脑半球和小脑)进行建模,以便自动定位并将它们彼此分离、连接脑干和3D MR图像中的背景。在我们的例子中,对象是人体的关节部位(2D投影),它可以变形,导致自遮挡,并沿着视频移动。建议CSM扩展处理关节连接的个别云,身体部位,使用2D火柴人模型的系统。火柴人表示自然使我们能够提取2D身体姿势措施的手臂不对称模式在不支持步态的幼儿,自闭症的一个可能的行为标记。结果表明,我们的方法可以提供有见地的知识,以协助专家的意见,在真正的临床评估。
2013-05-29 cs.CV
Robust 6D Object Pose Estimation with Stochastic Congruent Sets
Rutgers University(罗格斯大学)
物体姿态估计通常通过首先分割RGB图像,然后在给定深度数据的情况下,将对应的点云段与物体的3D模型配准来实现。尽管由于CNN而取得了进步,但语义分割输出可能是嘈杂的,特别是当CNN仅在合成数据上训练时。这导致配准方法无法估计良好的对象姿态。这项工作提出了一种新的随机优化过程,将CNN的分割输出视为置信概率。该算法称为随机同余集(Stochastic Congruent Sets,StoCS),根据软分割分布对点云上的点集进行采样,以符合对象的已知几何形状。然后将点集与3D对象模型上的全等集匹配以生成姿态估计。StoCS在APC数据集上显示出鲁棒性,尽管CNN仅在合成数据上训练。在YCB数据集中,StoCS在6D姿态估计和替代点集匹配技术方面优于最近的网络。
2018-05-16 cs.CV
BOP Challenge 2022 on Detection, Segmentation and Pose Estimation of Specific Rigid Objects
German Aerospace Center(德国航空航天中心);TU Munich(慕尼黑工业大学);Reality Labs at Meta(Meta现实实验室);INRIA Paris(巴黎法国国家信息与自动化研究所);Tsinghua University(清华大学);Niantic(Niantic公司);MVTec(MVTec公司);Heidelberg University(海德堡大学);Czech Technical University in Prague(布拉格捷克理工大学)
我们介绍了BOP Challenge 2022的评估方法、数据集和结果,这是一系列公开竞赛中的第四场,旨在从RGB/RGB-D图像中捕捉6D对象姿态估计领域的现状。在2022年,我们见证了姿态估计精度的另一个显著提高-最先进的水平,2019年为56.9 AR $_C$(Vidal等人)。和69.8 AR $_C$在2020年(Cosypose),移动到83.7 AR $_C$(GDRNPP)的新高度。在2019年以来评估的49种姿态估计方法中,前18种来自2022年。基于点对特征的方法于2010年推出,即使在2020年也取得了有竞争力的结果,现在深度学习方法的表现明显优于点对特征。合成域与真实域之间的差距再次显著减小,GDRNPP仅在来自BlenderProc的合成图像上训练获得82.7 AR $_C$。GDRNPP的最快变体达到80.5 AR $_C$,每个图像的平均时间为0.23 s。由于大多数最近的6D对象姿态估计方法都是从检测/分割对象开始的,因此我们也开始基于COCO指标评估2D目标检测和分割性能。与2020年Cosypose的Mask R-CNN结果相比,检测从60.3 AP $_C$提高到77.3 AP,分割从40.5 AP $_C$提高到58.7 AP。在线评估系统保持开放状态,可在以下网址访问:\href{http://bop.felk.cvut.cz/}{bop…
2023-02-25 cs.CV
DeepSportLab: a Unified Framework for Ball Detection, Player Instance Segmentation and Pose Estimation in Team Sports Scenes
UCLouvain(鲁汶大学);SportRadar AG(SportRadar公司)
本文提出了一个统一的框架,(i)定位球,(ii)预测的姿态,(iii)分割的团队运动场景中的球员的实例面具。这些问题在自动化体育分析,制作和广播中具有很高的兴趣。一种常见的做法是通过利用通用的最先进的模型\eg、Panoptic-DeepLab来单独解决每个问题。除了由单任务模型的倍增导致的增加的复杂性之外,由于团队运动场景的复杂性和特异性,例如强遮挡和运动模糊,使用现成模型也阻碍了性能。为了克服这些局限性,我们提出了一个训练单一的模型,同时预测球和球员面具和姿势相结合的部分强度场和空间嵌入原则。部分强度字段提供球和球员位置,以及球员关节位置。然后利用空间嵌入将玩家实例像素与其各自的玩家中心相关联,但也将玩家关节分组为骨架。我们在DeepSport篮球数据集上证明了所提出的模型的有效性,实现了与单独处理每个任务的SoA模型相当的性能。
2021-12-01 cs.CV
SegNeRF: 3D Part Segmentation with Neural Radiance Fields
KAUST(阿卜杜拉国王科技大学)
神经辐射场(NeRF)的最新进展在生成任务(如新视图合成和3D重建)方面具有令人印象深刻的性能。基于神经辐射场的方法能够通过完全依赖于姿态图像来隐式地表示3D世界。然而,他们很少被探索的领域的歧视性任务,如3D部分分割。在这项工作中,我们试图通过提出SegNeRF来弥合这一差距:一种神经场表示,它将语义场与通常的辐射场集成在一起。SegNeRF从以前的作品继承了执行新视图合成和3D重建的能力,并从几个图像中实现3D部分分割。我们在PartNet上进行的大量实验表明,SegNeRF能够同时预测来自姿势图像的几何形状,外观和语义信息,即使是看不见的物体。预测的语义场允许SegNeRF实现$\textbf{30.30%}$的平均mIoU用于2D新视图分割,以及$\textbf{37.46%}$用于3D部件分割,通过仅使用几个姿势图像,与基于点的方法相比具有竞争力的性能。此外,SegNeRF能够从野外拍摄的物体的单个图像生成明确的3D模型,并对其进行相应的部分分割。
2022-11-22 cs.CV
Robust Human Registration with Body Part Segmentation on Noisy Point Clouds
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软公司);Stanford University(斯坦福大学);Google(谷歌公司)
针对含噪点云人体网格配准不精确的问题,提出将身体部位分割融入SMPL-X两步拟合过程的混合方法,在真实数据集上显著提升了姿态估计与分割准确性。
2025-04-04 cs.CV
Shape Constrained CNN for Cardiac MR Segmentation with Simultaneous Prediction of Shape and Pose Parameters
KU Leuven(鲁汶大学);UZ Leuven(鲁汶大学医院)
使用卷积神经网络(CNN)的语义分割是许多医学分割任务的最新技术,包括心脏MR图像中的左心室(LV)分割。然而,缺点是这些CNN缺乏明确的形状约束,偶尔会导致不切实际的分割。在本文中,我们执行LV和心肌分割的姿态和形状参数的回归来自统计形状模型。集成的形状模型使预测的分割规则化并保证真实的形状。此外,与语义分割相比,它允许直接计算区域测量,如心肌厚度。我们通过在训练过程中同时构建分割距离图来增强形状和姿态预测的鲁棒性。我们评估了所提出的方法在一个内部的临床数据集,共包含1539个划定的短轴切片覆盖LV从心尖到基底,并实现了99%的相关性为LV面积,94%的心肌面积,98%的LV尺寸和88%的区域壁厚的五重交叉验证。该方法还在LVQuan 18和LVQuan 19公共数据集上进行了验证,并获得了最先进的结果。
2020-10-18 cs.CV eess.IV
A CNN Cascade for Landmark Guided Semantic Part Segmentation
The University of Nottingham(诺丁汉大学)
本文提出了一种CNN级联语义部分分割的指导下的姿势特定的信息编码的一组地标(或关键点)。这些任务中的每一个都有大量的先前工作,然而,据我们所知,这是文献中第一次研究姿态估计和语义部分分割之间的相互作用。为了解决现有工作的这一局限性,在本文中,我们提出了一个CNN级联任务,首先执行地标定位,然后使用此信息作为输入指导语义部分分割。我们将我们的架构应用于面部部分分割的问题,并报告在最具挑战性的面部数据集上,与标准无引导网络相比,性能有了很大的提高。测试代码和模型将在http://cs.nott.ac.uk/~psxasj/在线发布。
2016-09-30 cs.CV
Cross-Domain Complementary Learning Using Pose for Multi-Person Part Segmentation
University of Washington(华盛顿大学);Microsoft Azure+AI(微软Azure+AI)
带有逐像素训练标签的监督深度学习在多人部分分割方面取得了巨大成功。然而,像素级的数据标记非常昂贵。为了解决这一问题,人们一直在探索使用合成数据来避免数据标注。虽然为合成数据生成标签很容易,但与使用真实数据和手动标签的结果相比,结果要差得多。性能的下降主要是由于畴隙,即,真实数据和合成数据之间像素值统计的差异。在本文中,我们观察到,真实的和合成的人都有一个骨架(姿势)表示。我们发现,在训练过程中,骨架可以有效地连接合成域和真实域。我们所提出的方法利用了真实数据的丰富和现实的变化和容易获得的标签的合成数据学习多人部分分割的真实图像上没有任何人类注释的标签。通过实验,我们表明,在没有任何人类标记的情况下,我们的方法可以在Pascal-Person-Parts和COCO-DensePose数据集上执行几种需要人类标记的最先进方法。另一方面,如果在训练过程中真实图像中也有部分标签,则我们的方法比有监督的最先进的方法表现得更好。我们进一步证明了我们的方法在预测真实图像中的新关键点时的通用性,其中没有真实的数据标签可用于新关键点检测。代码和预训练模型可在https://github.com/kevinlin311tw/CDCL-human-part-segmentation上获得
2020-05-14 cs.CV
Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering
Shanghai Jiao Tong University(上海交通大学);SenseTime Research(商汤科技研究院);Zhejiang University(浙江大学)
从单目图像中重建出高质量的人体姿态和形状依赖于消除由遮挡和形状变化引起的模糊性。最近的工作在基于回归的方法中取得了成功,这些方法直接通过由3D地面实况监督的深度神经网络来估计参数模型。然而,3D地面实况既不丰富也不能有效地获得。在本文中,我们引入身体部位分割作为关键监督。部分分割不仅指示每个身体部分的形状,而且还有助于推断部分之间的遮挡。为了提高重建与部分分割,我们提出了一个部分级可微渲染器,使部分为基础的模型进行监督的部分分割在神经网络或优化循环。我们还介绍了一个通用的参数化模型参与渲染管道作为骨架和详细形状之间的中间表示,其中包括原始几何形状更好的可解释性。该方法结合了参数回归、人体模型优化和详细的模型配准。在Human3.6M、UP-3D和LSP数据集上的实验结果表明,该方法实现了姿态和形状的平衡评估,性能优于现有方法。
2021-01-29 cs.CV
EffiScene: Efficient Per-Pixel Rigidity Inference for Unsupervised Joint Learning of Optical Flow, Depth, Camera Pose and Motion Segmentation
Xidian University(西安电子科技大学);Johns Hopkins University(约翰斯·霍普金斯大学);Xidian Guangzhou Institute of Technology(西安电子科技大学广州研究院)
本文解决了具有挑战性的无监督场景流估计问题,通过联合学习四个低级视觉子任务:光流$\textbf{F}$,立体深度$\textbf{D}$,相机姿态$\textbf{P}$和运动分割$\textbf{S}$。我们的关键见解是,场景的刚性与对象运动和场景深度共享相同的固有几何结构。因此,可以通过联合耦合$\textbf{F}$、$\textbf{D}$和$\textbf{P}$来推断来自$\textbf{S}$的刚性,以实现更鲁棒的估计。为此,我们提出了一种新的场景流框架EffiScene,它具有高效的联合刚性学习,超越了现有的具有独立辅助结构的管道。在EffiScene中,我们首先在粗略的水平上估计光流和深度,然后通过Perspective-$n$-Points方法计算相机位姿。为了共同学习局部刚性,我们设计了一个新的运动刚性(RfM)层,该层具有三个主要组成部分:\emph{}{(i)}相关提取; \emph{}{(ii)}边界学习;和\emph{}{(iii)}离群值排除。最终输出基于来自RfM的刚性图$M_R$在更精细的水平上进行融合。为了有效地训练EffiScene,设计了两个新的损失$\mathcal{L}_{bnd}$和$\mathcal{L}_{unc}$,以防止平凡的解决方案和正则化流动边界不连续性。在场景流基准KITTI上进行的大量实验表明,该方法是有效的,并显著…
2021-05-15 cs.CV
Shape constrained CNN for segmentation guided prediction of myocardial shape and pose parameters in cardiac MRI
KU Leuven(鲁汶大学);UZ Leuven(鲁汶大学医院)
使用卷积神经网络(CNN)的语义分割是许多医学图像分割任务(包括心脏MR图像中的心肌分割)的最新技术。然而,从这种标准CNN获得的预测分割图不允许直接量化区域形状属性,例如区域壁厚。此外,CNN缺乏明确的形状约束,偶尔会导致不切实际的分割。在本文中,我们使用CNN来预测从图像训练集学习的心肌的基本统计形状模型的形状参数。此外,预测心脏姿态,这允许重建心肌轮廓。集成的形状模型使预测的轮廓规则化,并保证真实的形状。我们通过在训练过程中同时执行像素级语义分割来增强形状和姿态预测的鲁棒性,并定义了两个损失函数来在两个预测表示之间施加一致性:一个基于距离的损失和一个基于距离的损失。我们对75名受试者的内部临床数据集以及ACDC和LVQuan 19公共数据集进行了5倍交叉验证,评估了所提出的方法。我们同时语义分割和两个新定义的损失函数的形状参数的预测的好处。我们的方法在三个数据集上实现了左心室(LV)面积99%的相关性,心肌面积在91%和97%之间,LV尺寸在98-99%之间,局部壁厚在80%和92%之间。
2022-03-02 cs.CV eess.IV