Dually Supervised Feature Pyramid for Object Detection and Segmentation
Temple University（天普大学）；Stony Brook University（石溪大学）
在目标检测和分割中，为了解决多尺度问题，特征金字塔结构被广泛采用。然而，在本文中，我们表明，该架构的能力还没有得到充分的探讨，由于监管信息的利用率不足。这种利用不足是由反向传播中的监控信号劣化引起的。因此，我们提出了一种双重监督的方法，称为双重监督FPN（DSFPN），以增强监督信号时，训练的特征金字塔网络（FPN）。具体地，DSVPN通过附加额外预测（即，检测或分段）去往FPN的自底向上子网。因此，特征可以在被转发到后续网络之前由附加头优化。此外，辅助头部可以用作正则化项以促进模型训练。此外，为了增强DSVPN中检测头处理两个非同质任务的能力，即，分类和回归，分离原来共享的隐藏特征空间的解耦分类和回归建模。为了证明所提出的方法的通用性，有效性和效率，DSVPN被集成到四个代表性的检测器（Faster RCNN，Mask RCNN，Cascade RCNN和Cascade Mask RCNN）中，并在MS COCO数据集上进行评估。通过大量的实验证明了有前途的精度提高，最先进的性能，和微不足道的额外的计算成本。代码将被提供。
2019-12-13 cs.CV
Instance Segmentation for Whole Slide Imaging: End-to-End or Detect-Then-Segment
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
在肾脏全切片成像（WSI）中，肾小球的自动实例分割对于肾脏病理学的临床研究至关重要。在计算机视觉中，端到端实例分割方法（例如，Mask-RCNN）通过同时执行互补检测和分割任务，显示了它们相对于检测然后分割方法的优势。因此，端到端Mask-RCNN方法已经成为最近肾小球分割研究中事实上的标准方法，其中使用下采样和基于块的技术来正确评估来自WSI的高分辨率图像（例如，>10，000 x10，000像素（在40 x上）。然而，在高分辨率WSI中，单个肾小球本身在原始分辨率下可能超过1，000 × 1，000像素，当通过Mask-RCNN管道对相应的特征图进行下采样时，会产生显著的信息损失。在本文中，我们通过将Mask-RCNN与我们提出的检测然后分割框架进行比较，评估端到端实例分割框架是否最适合高分辨率WSI对象。除了这样的比较之外，我们还通过以下方式全面评估了我们的检测-然后-分割流水线的性能：1）两个最流行的分割主干（U-Net和DeepLab_v3）; 2）六种不同的图像分辨率（从512 x512到28 x28）;以及3）两种不同的颜色空间（RGB和LAB）。我们的检测-然后-分段管道，使用DeepLab_v3分割框架对先前检测到的512 x512分辨率的肾小球进行操作，实现了0.953的骰子相似性系数（DSC），而端到端Mask-RCNN管道的DSC为0.902。此外，我们发现…
2020-07-07 cs.CV eess.IV
Airplane Type Identification Based on Mask RCNN and Drone Images
Istanbul Technical University（伊斯坦布尔理工大学）；Universiti Sains Islam Malaysia（马来西亚伊斯兰理科大学）；Universiti Teknologi Malaysia（马来西亚理工大学）
对于处理机场的交通瓶颈，飞行器目标检测是不够的。每个机场通常都有各种各样的飞机，具有各种物理和技术要求以及各种服务要求。检测新飞机的存在并不能解决所有的交通拥堵问题。另一方面，识别飞机的类型将完全解决这个问题，因为它将提供有关飞机技术规格的重要信息（即，需要送达的时间和在机场的适当位置）。有几项研究为解决机场交通堵塞问题做出了各种贡献;然而，他们的最终目标是确定飞机物体的存在。本文提出了一种基于掩模区域卷积神经网络的飞机检测方法，并根据检测结果对机场的飞机类型进行识别。用于识别飞机类型的关键特征是基于飞机检测结果计算的表面积。表面积用于评估估计的机舱长度，这被认为是识别飞机类型的附加关键特征。任何检测到的平面的长度可以通过测量检测到的平面的两个最远点之间的距离来计算。建议的方法的性能进行评估，使用平均精度和混淆矩阵。结果表明，该方法是可靠的。这种方法将大大有助于机场交通拥挤的管理。
2021-08-29 cs.CV eess.IV
iFS-RCNN: An Incremental Few-shot Instance Segmenter
VinAI Research（VinAI研究院）；Oregon State University（俄勒冈州立大学）
本文讨论了增量式Few-Shot实例分割，当访问旧类的训练样本不再可用时，新对象类的一些示例到达，目标是在旧类和新类上都表现良好。我们通过在第二阶段扩展常见的Mask-RCNN框架做出了两个贡献-即，我们指定了一个基于probit函数的新对象类分类器和一个新的不确定性指导的边界框预测器。前者利用贝叶斯学习来解决新类的训练样本缺乏的问题。后者不仅学习预测对象边界框，而且还学习估计预测的不确定性作为限界框细化的指导。我们还指定了两个新的损失函数的估计对象类分布和边界框的不确定性。我们的贡献在COCO数据集上产生了显着的性能增益，特别是在AP实例分割度量中，新类的增益为+6，旧类的增益为+16。此外，我们是第一个在更具挑战性的LVIS数据集上评估增量Few-Shot设置的人。
2022-05-31 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente（特文特大学）；Wuhan University（武汉大学）
近年来，视频对象分割（VOS），即从背景中分割出前景对象的任务，受到了相当大的关注。在本文中，我们提出了一个端到端的可训练深度神经网络，卷积门控递归Mask-RCNN，用于解决半监督VOS任务。我们利用实例分割网络（Mask-RCNN）和视觉记忆模块（Conv-GRU）来处理VOS任务。实例分割网络为实例预测掩模，而视觉记忆模块学习同时为多个实例选择性地传播信息，处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后，我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
Auto-Context R-CNN
Alibaba Group（阿里巴巴集团）；North Carolina State University（北卡罗来纳州立大学）
基于区域的卷积神经网络（R-CNN）~ \cite{fast_rcnn,faster_rcnn,mask_rcnn}在很大程度上主导了目标检测。在RoI（感兴趣区域）上定义的算子在R-CNN中起着重要作用，例如RoIPooling~ \cite{fast_rcnn}和RoIAlign~ \cite{mask_rcnn}。它们都只利用ROI内部的信息进行ROI预测，即使是最近的可变形扩展~ \cite{deformable_cnn}。虽然周围环境在对象检测中的重要性众所周知，但它尚未以灵活有效的方式集成到R-CNN中。受自动上下文挖掘工作\cite{auto_context}和多类对象布局工作\cite{nms_context}的启发，本文提出了一种通用的上下文挖掘RoI算子（即，\textit{RoICtxMining}）无缝集成在R-CNN中，并且所产生的对象检测系统被称为\textbf{Auto-Context R-CNN}，它是端到端训练的。RoICtxMining算子是RoIPooling或RoIAlign算子的简单而有效的双层扩展。以对象RoI为中心，它创建了一个$3\times 3$布局，以动态地在$8$周围的上下文区域中自适应地挖掘上下文信息。在每个$8$上下文区域内，根据区分能力挖掘上下文RoI，并将其RoIPooling / RoIAlign特征与对象RoI连接以…
2018-07-08 cs.CV
SEMI-PointRend: Improved Semiconductor Wafer Defect Classification and Segmentation as Rendering
imec；University of Ulsan（蔚山大学）；KU Leuven（鲁汶大学）
本文提出 SEMI-PointRend，将 PointRend 模块用于半导体晶圆缺陷分割，并在多种缺陷类型上相较 Mask-RCNN 最高提升18.8%的分割 mAP。
2023-02-19 cs.CV
Multi-Person 3D Human Pose Estimation from Monocular Images
IIT Bombay（印度理工学院孟买分校）；Axogyan AI（Axogyan AI公司）
从单个图像中估计多人的3D人体姿态是一个具有挑战性的问题，特别是对于缺乏3D注释数据的野外环境。我们提出了HG-RCNN，这是一种基于Mask-RCNN的网络，它还利用了沙漏架构的优点来进行多人3D人体姿态估计。提出了一种两阶段的方法，首先估计每个感兴趣区域（ROI）中的2D关键点，然后将估计的关键点提升到3D。最后，使用弱透视投影假设和焦距和根平移的联合优化将估计的3D姿态放置在相机坐标中。其结果是一个简单的模块化网络，用于多人3D人体姿态估计，不需要任何多人3D姿态数据集。尽管HG-RCNN的公式简单，但它在MuPoTS-3D上实现了最先进的结果，同时也近似于相机坐标系中的3D姿态。
2019-09-24 cs.CV
On Pre-Trained Image Features and Synthetic Images for Deep Learning
Université de Bordeaux（波尔多大学）
深度学习方法通常需要大量的训练数据才能充分发挥其潜力，并且通常需要昂贵的手动标记。因此，使用合成图像对于训练对象检测器是非常有吸引力的，因为标记是免费的，并且已经提出了几种方法来组合合成图像和真实图像用于训练。在本文中，我们表明，一个简单的技巧是足够的训练非常有效的现代目标检测器与合成图像：我们冻结层负责特征提取的通用层预训练的真实图像，和训练只有其余的层与平原OpenGL渲染。我们对最近用于对象识别的深度架构（Faster-RCNN，R-FCN，Mask-RCNN）和图像特征提取器（InceptionResnet和Resnet）的实验表明，这种简单的方法表现得非常好。
2017-11-16 cs.CV
supervised adptive threshold network for instance segmentation
Shanghai Jiao Tong University（上海交通大学）
目前，实例分割在机器学习领域受到越来越多的关注。然而，以往的Mask R-CNN和其他网络模型在信息传播方面存在一些缺陷。本文提出了一种有监督的自适应阈值网络用于实例分割。具体来说，我们采用基于自适应阈值的Mask R-CNN方法，通过建立分层自适应网络结构，对Mask RCNN生成的概率图进行自适应二值化，以获得更好的分割效果，降低出错率。同时，设计了自适应特征池，使网络不同层之间的传输更加准确有效，减少了特征传输过程中的损失，并进一步改进了掩码方法。在基准数据集上的实验表明了该模型的有效性
2021-06-07 cs.CV
Mask Scoring R-CNN
Institute of AI, School of EIC, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院人工智能研究院）；Horizon Robotics Inc.（地平线机器人技术有限公司（Horizon Robotics Inc.））
让深度网络意识到自己预测的质量是一个有趣但重要的问题。在实例分割任务中，大多数实例分割框架都使用实例分类的置信度作为掩模质量分数。然而，掩模质量，量化为实例掩模和其基础事实之间的IoU，通常与分类分数没有很好的相关性。在本文中，我们研究了这个问题，并提出了掩码评分R-CNN，它包含一个网络块来学习预测实例掩码的质量。所提出的网络块将实例特征和对应的预测掩码一起回归掩码IoU。掩模评分策略校准掩模质量和掩模评分之间的不对准，并通过在COCO AP评估期间优先考虑更准确的掩模预测来提高实例分割性能。通过对COCO数据集的广泛评估，Mask Scoring R-CNN为不同模型带来了一致和显著的增益，并优于最先进的Mask R-CNN。我们希望我们的简单而有效的方法将提供一个新的方向，改善实例分割。我们的方法的源代码可在\url{https://github.com/zjhuang22/maskscoring_rcnn}上获得。
2019-03-01 cs.CV
MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
Google Inc.（谷歌公司）；RWTH Aachen University（亚琛工业大学）；UCLA（加利福尼亚大学洛杉矶分校）
在这项工作中，我们解决的问题，实例分割，同时解决目标检测和语义分割的任务。为了实现这一目标，我们提出了一个模型，称为MaskLab，它产生三个输出：框检测，语义分割和方向预测。在Faster-RCNN对象检测器的基础上，预测框提供了对象实例的准确定位。在每个感兴趣的区域内，MaskLab通过结合语义和方向预测来执行前景/背景分割。语义分割有助于模型区分不同语义类别的对象，包括背景，而方向预测，估计每个像素的方向，其相应的中心，允许分离相同的语义类别的实例。此外，我们还探讨了将最近成功的分割和检测方法（即atrous卷积和hypercolumn）结合起来的效果。我们提出的模型进行评估的COCO实例分割基准，并显示出与其他国家的最先进的模型相媲美的性能。
2017-12-13 cs.CV
Mask-RCNN and U-net Ensembled for Nuclei Segmentation
Aalto University（阿尔托大学）
细胞核分割对于现代计算机视觉方法（例如，卷积神经网络）来说是重要的并且在某些方面是理想的任务。虽然理论和开源软件的最新发展使这些工具更容易实现，但仍然需要专业知识来选择正确的模型架构和培训设置。我们比较了两种流行的分割框架，U-Net和Mask-RCNN在核分割任务中的表现，发现它们有不同的优势和失败。为了两全其美，我们开发了一个集成模型来结合它们的预测，该模型可以显著优于两个模型，并且在目标是最佳细胞核分割性能时应该考虑。
2019-01-29 cs.CV
AMD: Adaptive Masked Distillation for Object Detection
Nanjing Normal University（南京师范大学）；Nanjing Tech University（南京工业大学）
作为一种通用的模型压缩范例，基于特征的知识蒸馏允许学生模型从教师模型中学习表达特征。在本文中，我们主要集中在设计一个有效的特征提取框架，并提出了一个空间通道自适应掩蔽蒸馏（AMD）网络的目标检测。更具体地说，为了准确地重建重要的特征区域，我们首先在学生网络的特征图上执行注意力引导的特征掩蔽，这样我们就可以通过空间自适应特征掩蔽来识别重要特征，而不是以前方法中的随机掩蔽。此外，我们采用了一个简单而有效的模块，使学生网络通道是自适应的，提高其模型在对象感知和检测的能力。与以往的方法相比，该网络能够重构和学习更多的目标感知特征，有利于准确的目标检测。实证实验证明了我们的方法的优越性：在我们提出的蒸馏方法的帮助下，当RetinaNet，Cascade Mask-RCNN和RepPoints分别用作目标检测的教师框架时，学生网络报告41.3%，42.4%和42.7%的mAP分数，这优于以前的最先进的蒸馏方法，包括FGD和MGD。
2023-02-10 cs.CV
Detecting Hands and Recognizing Physical Contact in the Wild
Stony Brook University（石溪大学）；VinAI Research（越南人工智能研究院）
研究了无约束条件下手部的检测和物理接触状态的识别问题。这是一个具有挑战性的推理任务，因为需要超越手的局部外观进行推理。缺乏指示手接触哪个对象或对象的哪个部分的训练注释进一步使任务复杂化。我们提出了一种基于Mask-RCNN的新型卷积网络，它可以联合学习定位手并预测它们的物理接触来解决这个问题。该网络使用来自另一个对象检测器的输出来获得场景中存在的对象的位置。它使用这些输出和手的位置来识别手的接触状态，使用两个注意力机制。第一种注意力机制基于手和区域的亲和性，将手和对象包围起来，并将来自该区域的特征密集地汇集到手区域。第二个注意力模块自适应地从这个看似合理的接触区域中选择显著特征。为了开发和评估我们的方法的性能，我们引入了一个名为ContactHands的大规模数据集，其中包含用手的位置和接触状态注释的无约束图像。所提出的网络，包括注意力模块的参数，是端到端可训练的。该网络比建立在香草Mask-RCNN架构上的基线网络实现了约7%的相对改进，并经过训练以识别手部接触状态。
2020-10-19 cs.CV
One-Shot Instance Segmentation
University of Tübingen（图宾根大学）
我们解决了一次性实例分割的问题：给定一个新的，以前未知的对象类别的示例图像，在一个复杂的场景中找到并分割该类别的所有对象。为了解决这个具有挑战性的新任务，我们提出了Siamese Mask R-CNN。它通过对参考图像和场景进行编码的Siamese主干扩展了Mask R-CNN，使其能够对参考类别进行目标检测和分割。我们在MS Coco上展示了实证结果，突出了一次性设置的挑战：虽然将有关实例分割的知识转移到新的对象类别效果很好，但将检测网络定位到参考类别似乎更困难。我们的工作提供了第一个强有力的基线单镜头实例分割，并有望激发进一步研究更强大和灵活的景物分析算法。代码可在：https://github.com/bethgelab/siamese-mask-rcnn
2019-05-28 cs.CV
Segmentation of the Prostatic Gland and the Intraprostatic Lesions on Multiparametic MRI Using Mask-RCNN
Henry Ford Health System（亨利·福特医疗系统）
前列腺癌（PCa）是美国男性最常见的癌症。多参数磁共振成像（mp-MRI）已被许多研究人员探索用于靶向前列腺活检和放射治疗。然而，mp-MRI的评估可能是主观的，开发计算机辅助诊断系统来自动描绘前列腺和前列腺内病变（IL）对于促进放射科医生在临床实践中的工作变得非常重要。在本文中，我们首先研究了Mask-RCNN模型的实现，以分割前列腺和IL。我们对来自两个不同患者队列的120名患者进行了训练和评估。我们还使用2D U-Net和3D U-Net作为基准来分割前列腺并比较模型的性能。使用该算法的IL轮廓变异性还以19名患者的两名不同放射肿瘤学家之间的观察者间变异性为基准。我们的研究结果表明，Mask-RCNN模型在前列腺分割中能够达到最先进的性能，并且在IL分割中优于几个竞争基线。
2019-04-04 cs.CV
MaskDiff: Modeling Mask Distribution with Diffusion Probabilistic Model for Few-Shot Instance Segmentation
University of Science, VNU-HCM（胡志明市国家大学科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市国家大学）；Stony Brook University（石溪大学）；University of Dayton（代顿大学）；Monash University（莫纳什大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出 MaskDiff，用扩散概率模型建模少样本实例分割中二值掩码的条件分布，并引入无分类器引导采样融合类别信息，在 COCO 基类和新类上稳定超越现有方法。
2024-01-21 cs.CV
Conditional Convolutions for Instance Segmentation
The University of Adelaide（阿德莱德大学）
我们提出了一个简单而有效的实例分割框架，称为CondInst（条件卷积实例分割）。性能最佳的实例分割方法（如Mask R-CNN）依赖于ROI操作（通常为ROIPool或ROIAlign）来获得最终的实例掩码。相反，我们提出从一个新的角度来解决实例分割。我们采用动态实例感知网络，以实例为条件，而不是使用实例ROI作为固定权重网络的输入。CondInst有两个优势：1）实例分割通过全卷积网络解决，无需ROI裁剪和特征对齐。2)由于动态生成的条件卷积的能力大大提高，掩模头可以非常紧凑（例如，3 conv.层，每个层仅具有8个通道），从而导致显著更快的推理。我们展示了一个更简单的实例分割方法，可以实现提高性能的准确性和推理速度。在COCO数据集上，我们的表现优于最近的一些方法，包括精心调整的Mask RCNN基线，而不需要更长的训练时间表。代码可用：https://github.com/aim-uofa/adet
2020-07-26 cs.CV
Road Damage Detection And Classification In Smartphone Captured Images Using Mask R-CNN
Atkins（阿特金斯）；Indian Institute Of Science（印度科学学院）
本文总结了我们的解决方案的设计，实验和结果的道路损坏检测和分类的挑战举行的一部分，2018年IEEE大数据杯国际会议。道路损伤的自动检测和分类是维护和自动驾驶等多种应用的基本问题。我们证明了基于卷积神经网络的实例检测和分类方法可以用来解决这个问题。特别是，我们表明，Mask-RCNN，一个国家的最先进的算法，用于目标检测，定位和实例分割的自然图像，可以用来执行这项任务，以快速的方式与有效的结果。在使用智能手机摄像头获取的真实道路图像中，我们在IoU为50%的情况下实现了0.528的平均F1分数，对不同类型的损坏进行检测和分类，在NVIDIA GeForce 1080Ti显卡上，我们对每张图像的平均推理时间为0.105秒。我们的方法的代码和保存的模型可以在这里找到：https://github.com/sshkhr/BigDataCup18提交
2018-11-12 cs.CV
Adversarial Semantic Contour for Object Detection
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
现代对象检测器容易受到对抗性示例的影响，这给许多应用带来了潜在风险，例如，自动驾驶汽车在由$\ell_p$范数正则化的攻击中，$\ell_0$ -攻击旨在修改尽可能少的像素。然而，这个问题是不平凡的，因为它通常需要同时优化形状和纹理，这是一个NP-难问题。为了解决这个问题，我们提出了一种新的方法的对抗性语义轮廓（ASC）的目标轮廓为先验指导。在此基础上，我们减少了搜索空间，加快了$\ell_0$的优化，同时也引入了更多的语义信息，这些信息对检测器的影响更大。在轮廓的基础上，我们通过采样和梯度下降交替优化修改像素的选择。大量的实验表明，我们提出的ASC优于最常见的手动设计的模式（例如，方形补丁和网格）的任务消失。通过分别修改不超过5%和3.5%的目标区域，我们提出的ASC可以成功地误导主流目标检测器，包括SSD 512，Yolov 4，Mask RCNN，Faster RCNN等。
2021-09-30 cs.CV
SWA Object Detection
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；QUT Centre for Robotics（昆士兰科技大学机器人中心）；Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
您是否希望在不增加任何推理成本和对检测器进行任何更改的情况下为您的对象检测器改进1.0 AP？让我们告诉你这样一个食谱。这是令人惊讶的简单：使用循环学习率对检测器进行额外12个时期的训练，然后将这12个检查点平均作为最终检测模型}。这个强大的配方受到随机权重平均（SWA）的启发，SWA在arXiv：1803.05407中提出，用于改善深度神经网络的泛化能力。我们发现它在目标检测中也非常有效。在这份技术报告中，我们系统地研究了应用SWA的目标检测以及实例分割的效果。通过大量的实验，我们发现了上述在目标检测中执行SWA的可行策略，并且我们在具有挑战性的COCO基准测试中始终实现了$\sim$ 1.0 AP对各种流行检测器的改进，包括Mask RCNN，Faster RCNN，RetinaNet，FCOS，YOLOv 3和VFNet。我们希望这项工作能使更多的目标检测研究人员了解这项技术，并帮助他们训练更好的目标检测器。代码可在：https://github.com/hyz-xmaster/swa_object_detection.
2021-03-12 cs.CV
Transfer Learning for Instance Segmentation of Waste Bottles using Mask R-CNN Algorithm
University of Reading（雷丁大学）
本文提出了一种使用\textit{mask region proposal convolutional neural network}（Mask R-CNN）的方法，该方法具有用于塑料废物瓶检测和实例分割的迁移学习方案。塑料瓶是对海洋和陆地环境构成严重威胁的主要污染物之一。瓶子的自动识别和分离可以促进塑料废物的回收。我们准备了一个定制的192个瓶子图像的数据集，带有逐像素多边形注释，用于自动分割任务。所提出的迁移学习方案利用在Microsoft COCO数据集上预训练的Mask R-CNN模型。我们提出了一个全面的方案，用于在我们的自定义数据集上微调基础预训练的Mask-RCNN模型。我们最终微调的模型达到了59.4 \textit{mean average precision}（mAP），这对应于MS COCO指标。结果表明，深度学习在检测废瓶方面的应用前景广阔。
2022-04-15 cs.CV cs.LG
PatchDCT: Patch Refinement for High Quality Instance Segmentation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
高质量的实例分割在计算机视觉中显示出越来越重要的作用。DCT-Mask不需要任何细化，直接通过压缩矢量生成高分辨率的掩码。为了进一步细化压缩向量得到的掩码，我们首次提出了一个基于压缩向量的多级细化框架。然而，香草组合并没有带来显著的收益，因为DCT向量的某些元素的变化会影响整个掩码的预测。因此，我们提出了一种简单而新颖的方法命名PatchDCT，它分离的DCT矢量解码的掩码成几个补丁和细化每个补丁的设计分类器和回归。具体地说，分类器用于区分混合补丁从所有补丁，并纠正以前错误预测的前景和背景补丁。相反，回归器用于混合块的DCT向量预测，进一步细化边界位置处的分割质量。COCO上的实验表明，我们的方法在COCO，LVIS和Cityscapes上分别比Mask-RCNN提高了2.0%，3.2%，4.5% AP和3.4%，5.3%，7.0%边界AP。在COCO、LVIS和Cityscapes上，它也超过了DCT-Mask 0.7%、1.1%、1.3% AP和0.9%、1.7%、4.2%边界AP。此外，PatchDCT的性能也与其他国家的最先进的方法竞争。
2023-02-07 cs.CV
Robust Mitosis Detection Using a Cascade Mask-RCNN Approach With Domain-Specific Residual Cycle-GAN Data Augmentation
Tribvn Healthcare（Tribvn Healthcare（Tribvn医疗保健公司））；Paris, France（巴黎，法国）
对于MIDOG有丝分裂检测挑战，我们创建了一个由Mask-RCNN检测器组成的级联算法，然后是由ResNet 50和DenseNet 201组成的分类集合，以细化检测到的有丝分裂候选物。MIDOG训练数据由源自四个扫描仪的200帧组成，其中三个被注释为具有质心注释的有丝分裂实例。我们的主要算法选择如下：首先，为了增强我们的检测器和分类网络的泛化能力，我们使用最先进的残差Cycle-GAN将每个扫描器域转换为每个其他扫描器域。在训练过程中，我们为每张图像随机加载四个域中的一个。通过这种方式，我们的网络可以从第四个未注释的扫描器域中学习，即使我们没有对它进行注释。其次，为了训练检测器网络，我们创建了特定于有丝分裂的边界框，而不是使用基于质心的固定大小的边界框。我们通过手动注释一小部分有丝分裂，在这个小数据集上训练Mask-RCNN，并将其应用于其余数据以获得完整的注释。我们只使用挑战提供的正面和负面的例子来训练后续的分类集合。在初步测试集上，该算法的F1得分为0.7578，使我们成为排行榜上的第二名。
2021-09-28 cs.CV
Evaluating Novel Mask-RCNN Architectures for Ear Mask Segmentation
Howard University（霍华德大学）
人耳通常是通用的、可收集的、独特的和永久的。基于耳朵的生物识别是一个利基和最近的方法，正在探索。为了使任何基于耳朵的生物识别算法表现良好，需要准确地执行耳朵检测和分割。虽然在现有的文献中已经针对边界框做了大量的工作，但是缺乏方法输出用于耳朵的分割掩模。本文在四个不同的数据集上训练并比较了三个新模型与最先进的MaskRCNN（ResNet 101 +FPN）模型。报告的平均精度（AP）评分显示，较新的模型优于最先进的模型，但没有一个模型在多个数据集上表现最好。
2022-11-05 cs.AI cs.CV
Entropy Bootstrapping for Weakly Supervised Nuclei Detection
University of Oxford（牛津大学）
本文提出一种基于熵估计的弱监督细胞核检测方法，仅用单点标签推断完整细胞掩膜并训练Mask-RCNN，在像素标签减少95%的情况下仍取得与全监督相当的性能。
2024-11-21 cs.AI cs.CV
Pseudo-label Alignment for Semi-supervised Instance Segmentation
Xiamen University（厦门大学）；Contemporary Amperex Technology Co. Limited（宁德时代新能源科技股份有限公司）
本文提出PAIS框架，通过动态对齐损失DALoss解决半监督实例分割中伪标签因类别与掩码质量不匹配被过滤的问题，在COCO和Cityscapes上显著超越现有方法。
2023-08-10 cs.CV
ConvNeXtv2 Fusion with Mask R-CNN for Automatic Region Based Coronary Artery Stenosis Detection for Disease Diagnosis
Nepal Applied Mathematics and Informatics Institute for research（尼泊尔应用数学与信息学研究所）；Fogsphere(Redev AI Ltd.)（Fogsphere（Redev AI有限公司））；University of Lausanne（洛桑大学）；University of Aberdeen（阿伯丁大学）
针对冠状动脉疾病人工诊断繁琐、X射线造影图像狭窄病变检测耗时耗力的问题，提出基于Convnext-V2骨干网络的预训练Mask RCNN模型实现自动化检测，在该任务上F1分数达0.5353，可有效简化诊断流程。
2023-10-07 cs.AI cs.CV
Descriptive Modeling of Textiles using FE Simulations and Deep Learning
Safran Tech（赛峰科技）；LMT (ENS Paris-Saclay/CNRS/Univ. Paris-Saclay)（巴黎萨克雷大学巴黎萨克雷高等师范学院/法国国家科学研究中心力学与技术实验室）；Safran Aircraft Engines（赛峰飞机发动机公司）
在这项工作中，我们提出了一种新的和完全自动化的方法，用于提取编织复合材料中的纱线几何特征，以便实现纺织增强的直接参数化（例如，FE网格）。因此，我们的目标不仅是执行纱线分割断层图像，而是提供一个完整的描述性建模的织物。因此，这种直接方法改进了先前的方法，这些方法使用体素掩码作为中间表示，然后进行重新网格化操作（纱线包络估计）。所提出的方法采用两种深度神经网络架构（U-Net和Mask RCNN）。首先，我们训练U-Net从相应的FE模拟生成合成CT图像。这允许生成大量带注释的数据，而不需要昂贵的手动注释。然后，该数据用于训练Mask R-CNN，其专注于预测图像中每条纱线周围的轮廓点。实验结果表明，该方法对CT图像上的纱线实例分割具有较好的准确性和鲁棒性，定量和定性分析进一步验证了该方法的有效性。
2021-06-26 cs.CV
Weak-to-Strong Generalization Enables Fully Automated De Novo Training of Multi-head Mask-RCNN Model for Segmenting Densely Overlapping Cell Nuclei in Multiplex Whole-slice Brain Images
Department of Electrical and Computer Engineering, University of Houston（电子与计算机工程系，休斯顿大学）；National Institute of Neurological Disorders and Stroke（国家神经疾病与中风研究所）；Department of Neurobiology and Anatomy, UT McGovern Medical School（神经生物学与解剖学系，UT麦戈文医学学校）；Canva Pty Ltd.
通过弱到强泛化方法，实现多头Mask-RCNN模型全自动训练，有效分割多重免疫荧光整张图像中的重叠细胞核。
2025-12-12 cs.CV
Driver Behavior Analysis Using Lane Departure Detection Under Challenging Conditions
Iowa State University（爱荷华州立大学）；University of Nebraska Medical Center（内布拉斯加大学医学中心）
在本文中，我们提出了一种新的模型来检测车道区域和提取车道偏离事件（变化和入侵）从具有挑战性的，低分辨率的视频记录与移动摄像头。我们的算法使用基于Mask-RCNN的车道检测模型作为预处理器。最近，基于深度学习的模型为结合分割的目标检测提供了最先进的技术。在几种深度学习架构中，卷积神经网络（CNN）的性能优于其他机器学习模型，特别是在区域建议和目标检测任务方面。目标检测的最新发展是由区域建议方法和基于区域的CNN（R-CNN）的成功驱动的。我们的算法利用车道分割掩模检测和固定滞后卡尔曼滤波器的跟踪，而不是通常的方法检测车道线从单个视频帧。该算法允许从连续车道检测中检测驾驶员车道偏离到左车道或右车道。初步结果表明，车道偏离事件的鲁棒检测的承诺。在我们的自定义测试数据集上，车道偏离事件的总体灵敏度为81.81%。
2019-05-31 cs.CV
Cascade R-CNN: High Quality Object Detection and Instance Segmentation
University of California, San Diego（加州大学圣地亚哥分校）
在目标检测中，交集大于并集（IoU）阈值经常用于定义正/负。用于训练检测器的阈值定义其\textit{quality}。虽然常用的阈值0.5会导致噪声（低质量）检测，但检测性能经常会因阈值较大而降低。这种高质量检测的悖论有两个原因：1）过度拟合，由于大阈值的正样本消失，以及2）检测器和测试假设之间的推理时间质量不匹配。提出了一种多阶段目标检测架构，级联R-CNN，由一系列使用增加的IoU阈值训练的检测器组成，以解决这些问题。检测器被顺序地训练，使用检测器的输出作为下一个的训练集。这种恢复逐渐提高了假设的质量，保证了所有检测器的正训练集大小相等，并最大限度地减少了过拟合。同样的级联应用于推理，以消除假设和检测器之间的质量不匹配。Cascade R-CNN的实现在COCO数据集上实现了最先进的性能，并显着提高了通用和特定目标检测数据集的高质量检测，包括VOC，KITTI，CityPerson和WiderFace。最后，Cascade R-CNN被推广到实例分割，与Mask R-CNN相比有了非平凡的改进。为了方便未来的研究，两个实现可在\url{https://github.com/zhaoweicai/cascade-rcnn}（咖啡馆）和\url{https://github.com/zhaoweicai/Detectron-Cascade-RCNN}（Detectron）。
2019-06-24 cs.CV
A Novel Improved Mask RCNN for Multiple Targets Detection in the Indoor Complex Scenes
Chongqing Technology and Business University（重庆工商大学）；Zhejiang University（浙江大学）
随着全球人口老龄化的加剧，应用于室内场景的生活辅助服务机器人将在未来的老年人护理和健康领域发挥重要作用。服务机器人在完成辅助任务时需要探测多个目标。然而，室内场景通常比较复杂，存在多种干扰因素，给多目标检测带来了很大的挑战。针对这一技术难点，提出了一种改进的Mask RCNN方法，用于室内复杂场景下的多目标检测。改进后的模型采用Mask RCNN作为网络框架。在此基础上，集成了信道机制和空间机制的卷积块注意模块（CBAM），综合考虑了不同背景、距离、角度和干扰因素的影响。同时，为了评价所建模型的检测识别效果，建立了基于损失函数和平均精度（mAP）的综合评价体系。为了验证这一点，进行了不同距离、不同背景、不同角度和不同干扰因素下的检测和识别效果实验。结果表明，在检测速度相近的情况下，所设计的模型比其他方法的检测精度提高了一个层次，抗干扰能力也更强。
2023-01-07 cs.CV eess.IV
A Review of Uncertainty Calibration in Pretrained Object Detectors
University of Kassel（卡塞尔大学）
在基于深度学习的计算机视觉领域中，深度目标检测的发展已经导致了独特的范例（例如，两级或基于集合的）和体系结构（例如，Faster-RCNN或DETR），在具有挑战性的基准数据集上实现出色的性能。尽管如此，经过训练的对象检测器通常不能可靠地评估关于其自身知识的不确定性，并且其概率预测的质量通常很差。由于这些通常用于做出后续决策，因此必须避免这种不准确的概率预测。在这项工作中，我们研究了不同的预训练目标检测架构在多类设置的不确定性校准属性。我们提出了一个框架，以确保公平，公正和可重复的评估，并进行详细的分析，评估分布变化下的校准（例如，分布移位和对分布外数据的应用）。此外，通过调查不同的检测器范例，后处理步骤和合适的度量选择的影响，我们提供了新的见解，为什么出现检测器校准差。基于这些见解，我们能够通过简单地微调其最后一层来改进检测器的校准。
2022-10-06 cs.CV
Deep Learning based Defect classification and detection in SEM images: A Mask R-CNN approach
在这项研究工作中，我们展示了Mask-RCNN（区域卷积神经网络），一种用于计算机视觉的深度学习算法，特别是目标检测，在半导体缺陷检测领域的应用。半导体制造期间的随机缺陷检测和分类已经发展成为具有挑战性的任务，因为我们不断缩小电路图案尺寸（例如，对于小于32 nm的间距）。通过最先进的光学和电子束检测工具进行的缺陷检测和分析通常由一些基于规则的技术驱动，这又常常导致错误分类，从而需要人类专家的干预。在这项工作中，我们重新审视并扩展了我们以前的基于深度学习的缺陷分类和检测方法，以改进SEM图像中的缺陷实例分割，具有精确的缺陷范围，并为每个缺陷类别/实例生成掩模。这也使得能够提取和校准每个分割的掩模，并量化构成每个掩模的像素，这反过来又使我们能够对每个分类缺陷实例进行计数，并以像素为单位计算表面积。我们的目标是检测和分割不同类型的类间随机缺陷模式，如桥接，断裂和线塌陷，以及准确区分类内多类别缺陷桥接场景（如薄/单/多线/水平/非水平），用于侵略性间距以及薄抗蚀剂（高NA应用）。我们提出的方法证明了其有效性定量和定性。
2022-11-03 cs.AI cs.CV
A Probabilistic Segment Anything Model for Ambiguity-Aware Medical Image Segmentation
Department of Computer Science University of Kentucky（计算机科学系 哥伦比亚大学）
针对医学图像分割中标注模糊性问题，提出概率SAM模型，通过潜在变量和变分训练生成多样分割，在LIDC-IDRI数据集上优于基线。
2025-09-06 cs.CV
Interactive Full Image Segmentation by Considering All Regions Jointly
Google Research（谷歌研究院）
我们解决了交互式全图像注释，其目标是准确地分割图像中的所有对象和填充区域。我们提出了一个交互式的，基于涂鸦的注释框架，它对整个图像产生分割的所有区域。这使得能够跨区域共享涂鸦校正，并允许注释器专注于机器在整个图像中产生的最大错误。为了实现这一点，我们将Mask-RCNN适配到一个快速交互式分割框架中，并在完整图像画布中引入一个在像素级测量的实例感知损失，这使得对附近区域的预测能够正确地竞争空间。最后，我们比较COCO panoptic数据集上的交互式单对象分割。我们证明了我们的交互式完整图像分割方法可以获得5%的IoU增益，在每个区域四次极端点击和四次纠正涂鸦的预算下达到90%的IoU。
2019-04-10 cs.CV
Few-shot Weakly-Supervised Object Detection via Directional Statistics
University of Washington（华盛顿大学）；ANU（澳大利亚国立大学）；ACRV（澳大利亚视觉研究中心）
近年来，从少量样本中检测新目标已成为计算机视觉的一个新兴课题。然而，这些方法需要完全注释的训练图像来学习新的对象类别，这限制了它们在诸如现场机器人等现实世界场景中的适用性。在这项工作中，我们提出了一个概率多实例学习方法的Few-Shot共同目标定位（COL）和Few-Shot弱监督目标检测（WSOD）。在这些任务中，只有图像级标签，这是更便宜的获取，是可用的。我们发现，与以前基于情景学习的Few-Shot COL方法相比，对从预训练Faster-RCNN的最后一层提取的特征进行操作更有效。我们的模型同时学习新对象的分布，并通过期望最大化步骤将它们定位。作为概率模型，我们采用von Mises-Fisher（vMF）分布，当应用于预训练的嵌入空间时，它比高斯分布更好地捕获语义信息。当新对象被定位时，我们利用它们来学习线性外观模型，以检测新图像中的新类别。我们广泛的实验表明，所提出的方法，尽管是简单的，优于强基线在Few-Shot COL和WSOD，以及大规模的WSOD任务。
2021-03-25 cs.CV
DRDr II: Detecting the Severity Level of Diabetic Retinopathy Using Mask RCNN and Transfer Learning
University of Georgia（佐治亚大学）；Florida International University（佛罗里达国际大学）
DRDr II是机器学习和深度学习的混合体。它建立在其前身的成功基础上，即DRDr，该模型经过训练，可以检测，定位和创建糖尿病视网膜病变（DR）患者眼中两种类型病变（渗出液和微动脉瘤）的分割掩模;并将整个模型用作其管道核心的固体特征提取器，以检测DR病例的严重程度。我们采用了一个大数据集，其中包含从全球各地收集的超过3.5万张眼底图像，经过两个阶段的预处理和特征提取，我们成功地预测了正确的严重程度，准确率超过92%。
2020-11-30 cs.CV cs.LG eess.IV
Fusion++: Volumetric Object-Level SLAM
Dyson Robotics Laboratory（戴森机器人实验室）；Imperial College London（帝国理工学院）
我们提出了一个在线的对象级SLAM系统，建立一个持久的和准确的任意重建对象的3D图形地图。当RGB-D相机浏览杂乱的室内场景时，Mask-RCNN实例分割用于初始化具有对象大小相关分辨率和新颖的3D前景掩模的紧凑的每对象截断有符号距离函数（TSDF）重建。重建的对象存储在一个可优化的6DoF姿态图中，这是我们唯一的持久地图表示。对象通过深度融合逐步细化，并用于跟踪，重新定位和循环闭合检测。循环闭合导致对象实例的相对姿态估计的调整，但没有对象内扭曲。每个对象还携带语义信息，这些信息随着时间和存在概率的推移而细化，以说明虚假的实例预测。我们展示了我们的方法，从一个杂乱的办公室场景，大量和各种各样的对象实例的手持RGB-D序列，突出显示系统如何关闭循环，并充分利用现有的对象重复循环。我们定量地评估了我们的系统对RGB-D SLAM基准的基线方法的轨迹误差，并定性地比较了YCB视频数据集上发现的对象的重建质量。性能评估表明，我们的方法是高度的内存效率和运行在4- 8赫兹（不包括重新定位），尽管没有在软件层面上进行优化。
2018-08-28 cs.CV
Long-tailed Instance Segmentation using Gumbel Optimized Loss
King’s College London（伦敦国王学院）；University of Liverpool（利物浦大学）；Imperial College London（帝国理工学院）
近年来，在目标检测和分割领域取得了重大进展。然而，当涉及到罕见类别时，最先进的方法无法检测到它们，从而导致罕见类别和频繁类别之间的显著性能差距。在本文中，我们发现深度检测器中使用的Sigmoid或Softmax函数是性能低下的主要原因，并且对于长尾检测和分割来说是次优的。为了解决这个问题，我们开发了Gumbel优化损失（GOL），用于长尾检测和分割。它与不平衡数据集中稀有类的Gumbel分布一致，考虑到长尾检测中的大多数类具有较低的预期概率。与Mask-RCNN相比，所提出的GOL在AP上的性能显著优于最先进的方法1.1%，并将整体分割提高了9.0%，检测提高了8.0%，特别是在LVIS数据集上将罕见类别的检测提高了20.3%。代码可在：https://github.com/kostas1515/GOL
2022-11-03 cs.CV
Bayesian Deep Learning for Affordance Segmentation in images
Instituto de Ingenieria de Aragon (I3A)（阿拉贡工程研究所）；Universidad de Zaragoza（萨拉戈萨大学）
示能表示是机器人技术中的一个基本概念，因为它们根据智能体的感觉运动能力和环境将智能体的可用动作联系起来。我们提出了一种新的贝叶斯深度网络来检测图像中的启示，同时我们量化了空间水平上的随机和认知方差的分布。我们采用Mask-RCNN架构来学习使用Monte Carlo dropout的概率表示。我们的结果优于确定性网络的最先进的。我们将这种改进归因于编码器上更好的概率特征空间表示和在掩模生成时引起的贝叶斯可变性，其更好地适应对象轮廓。我们还介绍了新的基于概率的掩模质量的措施，揭示了语义和空间上的概率实例分割模型的差异。我们通过比较二进制掩码而不是预测的边界框来修改现有的概率检测质量度量，从而实现概率分割的更细粒度评估。我们发现任意方差的轮廓的对象，由于相机噪声，而认知方差出现在视觉挑战像素。
2023-03-02 cs.AI cs.CV cs.LG
Mask4Former: Mask Transformer for 4D Panoptic Segmentation
RWTH Aachen University（亚琛工业大学）
针对激光雷达点云4D全景分割任务，提出基于Transformer的Mask4Former模型，通过时空实例查询统一实现分割与跟踪，辅以6自由度边界框回归提升预测紧凑性，在SemanticKITTI测试集上取得新SOTA。
2024-04-10 cs.CV
Energy-Based Models for Deep Probabilistic Regression
Uppsala University（乌普萨拉大学）；ETH Zürich（苏黎世联邦理工学院）
虽然基于深度学习的分类通常使用标准化方法来处理，但回归采用了各种各样的技术。在计算机视觉中，一种特别流行的这种技术是基于置信度的回归，其需要预测每个输入-目标对（x，y）的置信度值。虽然这种方法已经证明了令人印象深刻的结果，但它需要重要的任务相关的设计选择，并且预测的置信度缺乏自然的概率意义。我们解决这些问题，提出了一个通用的和概念上简单的回归方法，一个明确的概率解释。在我们提出的方法中，我们创建了条件目标密度p（y）的基于能量的模型|x），使用深度神经网络从（x，y）预测未归一化的密度。这个模型p（y| x）通过直接最小化相关的负对数似然来训练，使用Monte Carlo抽样近似。我们对四个计算机视觉回归任务进行了综合实验。我们的方法优于直接回归，以及其他基于概率和置信度的方法。值得注意的是，我们的模型在COCO数据集上的目标检测方面比Faster-RCNN实现了2.2%的AP改进，并且在应用于限界框估计时，在视觉跟踪方面设置了新的最先进技术。与基于信心的方法相比，我们的方法也被证明是直接适用于更一般的任务，如年龄和头部姿势估计。代码可在www.example.com上获得。
2020-07-19 cs.CV cs.LG stat.ML
Improved-Mask R-CNN: Towards an Accurate Generic MSK MRI instance segmentation platform (Data from the Osteoarthritis Initiative)
Schulich School of Engineering, University of Calgary（卡尔加里大学舒立克工程学院）；Department of Radiology & Diagnostic Imaging, University of Alberta（阿尔伯塔大学放射与诊断成像系）；Alberta Machine Intelligence Institute (AMII), University of Alberta（阿尔伯塔大学阿尔伯塔机器智能研究所（AMII））；Mechanical and Manufacturing Engineering, University of Calgary（卡尔加里大学机械与制造工程系）
磁共振成像（MRI）扫描骨关节炎（OA）的客观评估可以解决当前OA评估的局限性。骨、软骨和关节液的分割对于OA的客观评估是必要的。大多数提出的分割方法不执行实例分割，并遭受类不平衡问题。该研究部署了Mask R-CNN实例分割并对其进行了改进（改进的Mask R-CNN（iMaskRCNN）），以获得更准确的OA相关组织的广义分割。使用来自骨关节炎倡议（OAI）数据集的500个MRI膝关节和97个症状性髋关节OA患者的MRI扫描进行了方法的培训和验证。对Mask R-CNN的三个修改产生了iMaskRCNN：添加第二个ROIA标记的块，向mask-header添加额外的解码器层，并通过跳过连接连接它们。使用Hausdorff距离、骰子评分和变异系数（CoV）评估结果。与Mask RCNN相比，iMaskRCNN改善了骨和软骨分割，如股骨的骰子分数从95%增加到98%，胫骨从95%增加到97%，股骨软骨从71%增加到80%，胫骨软骨从81%增加到82%。对于渗出检测，iMaskRCNN的骰子改善了72%，而MaskRCNN为71%。Reader 1和Mask R-CNN（0.33）、Reader 1和iMaskRCNN（0.34）、Reader 2和Mask R-CNN（0.22）、Reader 2和iMaskRCNN（0.29）之间的积液检测的CoV值接近于两个读取器之间的CoV（…
2022-06-23 cs.CV cs.LG eess.IV
Augmentation for small object detection
Tensorflight, Inc.（Tensorflight公司）；University College London（伦敦大学学院）；Warsaw University of Technology（华沙理工大学）；New York University（纽约大学）
近年来，目标检测经历了令人印象深刻的进步。尽管有这些改进，但在检测小物体和大物体之间的性能仍然存在显著差距。我们在一个具有挑战性的数据集MS COCO上分析了当前最先进的模型Mask-RCNN。我们发现，小的地面实况对象和预测的锚点之间的重叠远低于预期的IoU阈值。我们推测这是由于两个因素：（1）只有少数图像包含小对象，（2）即使在包含它们的每个图像中，小对象也没有足够的显示。因此，我们建议用小对象对这些图像进行过采样，并通过多次复制粘贴小对象来增强这些图像。它使我们能够权衡探测器在大物体上的质量和在小物体上的质量。我们评估了不同的粘贴增强策略，并最终，我们实现了9.7\%的实例分割和7.1\%的小对象的目标检测的相对改善，相比MS COCO的最先进的方法的当前状态。
2019-02-19 cs.CV
Fashionpedia: Ontology, Segmentation, and an Attribute Localization Dataset
Hearst Magazines（赫斯特杂志）；Cornell University（康奈尔大学）；Google Research（谷歌研究院）
在这项工作中，我们探索的任务实例分割与属性定位，它统一了实例分割（检测和分割每个对象实例）和细粒度的视觉属性分类（识别一个或多个属性）。所提出的任务需要本地化的对象和描述其属性。为了说明这个任务的各个方面，我们专注于时尚领域，并介绍Fashionpedia作为绘制时尚世界视觉方面的一步。Fashionpedia由两部分组成：（1）由时尚专家构建的本体，包含27个主要服装类别，19个服装部件，294个细粒度属性及其关系;（2）基于Fashionpedia本体构建的数据集，其中包含用分割掩码及其相关的每个掩码细粒度属性注释的日常和名人事件时尚图像。为了解决这一具有挑战性的任务，我们提出了一种新的属性掩码RCNN模型，以联合执行实例分割和局部属性识别，并为任务提供了一种新的评价指标。我们还证明了在Fashionpedia上预训练的实例分割模型在其他时尚数据集上的迁移学习性能优于ImageNet预训练。Fashionpedia的网址是：https://fashionpedia.github.io/home/index.html。
2020-07-18 cs.CV cs.LG eess.IV
Event Camera as Region Proposal Network
Technical University Dortmund（多特蒙德工业大学）
受人类视杆细胞充当视觉区域候选网络的启发，本研究用事件相机替换detectron2中Mask R-CNN的RPN来生成运动物体候选，在精度相当的情况下提升了检测速度、降低了计算成本。
2023-05-01 cs.CV
A Critical Study towards the Detection of Parkinsons Disease using ML Technologies
The Assam Kaziranga University（阿萨姆卡齐兰加大学）；Adamas University（阿达玛斯大学）
本研究提出深度学习方案用于三类茶叶病害分类与受损区域检测，对比了两种目标检测模型的性能，还结合自定义方法用Mask R-CNN实现叶片病损面积计算。
2025-10-28 cs.CV
Cattle Detection Occlusion Problem
Multimedia University Of Alberta（阿尔伯塔多媒体大学）
在农业部门，管理大面积的牛仍然是一个具有挑战性的问题。随着技术的发展，配备消费级数码相机的无人机（UAV）正成为人工动物普查的热门替代品，因为它们风险较低且价格昂贵。本文评估并比较了前沿的目标检测算法YOLOv7、ResNet50主干网RetinaNet、EfficientNet RetinaNet和mask RCNN。它旨在改善遮挡问题，即使用深度学习算法从无人机捕获的庞大数据集中检测隐藏的牛，以实现准确的牛检测。实验结果表明，YOLOv7算法的识别精度优于其他两种算法，为0.612。该方法被证明优于通常的竞争算法的奶牛人脸检测，特别是在非常困难的情况下。
2022-12-21 cs.CV cs.MM
Comparative performance analysis of the ResNet backbones of Mask RCNN to segment the signs of COVID-19 in chest CT scans
Ghulam Ishaq Khan Institute of Engineering Sciences and Technology（古拉姆·伊沙克·汗工程科学与技术学院）
COVID-19对全球的死亡人数和危重患者人数的增加造成了不利影响。根据联合国开发计划署（UNDP）针对COVID-19危机的社会经济计划，这场大流行病远远不止是一场健康危机：它正在影响社会和经济的核心。作为COVID-19诊断的一部分，基于胸部X射线的成像技术最近有了更大的发展，特别是使用卷积神经网络（CNN）来识别和分类图像。然而，鉴于监督标记的成像数据的限制，医疗诊断的分类和预测风险建模往往会妥协。本文旨在通过在肺部轴向CT（胸部计算机断层扫描）扫描中使用深度神经网络来识别和监测COVID-19对人类肺部的影响。我们采用Mask RCNN，以ResNet 50和ResNet 101为骨干，对受COVID-19冠状病毒影响的区域进行细分。使用已经出现症状的人类肺部区域，该模型将患者的状况分类为“轻度”或“警报”。此外，该模型被部署在谷歌云平台（GCP）上，以模拟模型的在线使用，以进行性能评估和准确性提高。ResNet 101主干模型产生0.85的F1分数和更快的预测分数，每个推理的平均时间为9.04秒。
2020-08-21 cs.CV cs.LG eess.IV
TensorFlow with user friendly Graphical Framework for object detection API
University of Tasmania（塔斯马尼亚大学）
TensorFlow是一个用于深度学习的开源框架，包含语音分析，自然语言处理和计算机视觉的应用程序编程接口（API）。特别是，计算机视觉领域的TensorFlow对象检测API已广泛应用于农业，工程和医学技术，但对于信息技术（IT）领域的业余爱好者和初学者来说，通过命令行界面（CLI）和代码使用框架的门槛仍然很高。因此，我们的目标是为TensorFlow上的对象检测API开发一个用户友好的图形框架，称为TensorFlow图形框架（TF-GraF）。TF-GraF在服务器端根据用户账户提供独立的虚拟环境，在客户端无需CLI即可执行数据预处理、训练和评估。此外，还可以通过TF-GraF进行超参数设置、实时观察训练过程、测试图像的对象可视化以及测试数据的度量评估。特别是，TF-GraF通过GUI环境支持SSD，Faster-RCNN，RFCN和Mask-RCNN的灵活模型选择，包括卷积神经网络（inceptions和ResNets）。因此，TF-GraF允许任何人，即使以前没有任何深度学习框架的知识，也可以设计，训练和部署机器智能模型，而无需编码。由于TF-GraF负责设置和配置，因此任何人都可以在其项目中使用深度学习技术，而无需花费时间安装复杂的软件和环境。
2020-06-11 cs.CV cs.LG eess.IV
Airplane Detection Based on Mask Region Convolution Neural Network
Istanbul Technical University（伊斯坦布尔理工大学）；Universiti Sains Islam Malaysia（马来西亚伊斯兰理科大学）
解决机场交通拥堵问题是遥感领域最关键和最具挑战性的任务之一，特别是对于最繁忙的机场。根据飞机检测过程，已经采用了几种解决方案来解决这个问题。最有效的解决方案是通过使用卫星图像和深度学习技术。然而，这种解决办法成本很高，需要卫星和复杂的现代技术，而世界上大多数国家可能没有这些技术。本文为机场的飞机检测提供了一种通用、低成本、快速的解决方案。本文建议使用无人机代替卫星，使用拟议的深度学习模型向系统提供无人机图像。采用无人机图像作为数据集来训练和评估掩模区域卷积神经网络（RCNN）模型。Mask RCNN模型应用更快的RCNN作为其基本配置，并对其头部神经网络结构进行了关键修改。该模型检测飞机是否存在，并包括近似表面积和长度的掩模估计，这将有助于未来的工作识别飞机类型。该解决方案可以在全球轻松实施，因为它是机场飞机检测的低成本和快速解决方案。根据Microsoft Common Objects in Context（COCO）指标，评估过程显示了有希望的结果。
2021-08-29 cs.CV eess.IV
