MRIFE: A Mask-Recovering and Interactive-Feature-Enhancing Semantic Segmentation Network For Relic Landslide Detection
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Institute of Technology(北京理工大学);China Aero Geophysical Survey and Remote Sensing Center for Natural Resources(中国自然资源航空物探遥感中心);La Trobe University(拉筹伯大学)
针对古滑坡检测中目标视觉模糊和小数据集问题,提出MRIFE语义分割模型,通过掩码恢复、交互特征增强和自蒸馏学习提升特征提取与分离能力,在真实数据集上较基线模型显著提升检测性能。
2024-11-26 cs.CV
DRDrV3: Complete Lesion Detection in Fundus Images Using Mask R-CNN, Transfer Learning, and LSTM
University of Georgia(佐治亚大学);Florida International University(佛罗里达国际大学)
医学成像是计算机视觉领域中不断发展的领域之一。在这项研究中,我们的目标是解决糖尿病视网膜病变(DR)的问题,在医学成像的开放性挑战之一。在这项研究中,我们提出了一个新的病变检测架构,包括两个子模块,这是一个最佳的解决方案,检测和发现不仅是由DR引起的病变类型,其相应的边界框,和他们的面具,而且整体情况下的严重程度。除了传统的准确性,我们还使用两个流行的评估标准来评估我们的模型的输出,它们是交集(IOU)和平均精度(mAP)。我们假设,这种新的解决方案使专家能够以高置信度检测病变,并以高精度估计损伤的严重程度。
2021-08-18 cs.CV cs.LG eess.IV
Accurate Prostate Cancer Detection and Segmentation on Biparametric MRI using Non-local Mask R-CNN with Histopathological Ground Truth
目的:我们的目标是开发深度机器学习(DL)模型,通过使用基于全量前列腺切除术的轮廓来改善bp-MRI上前列腺内病变(IL)的检测和分割。我们还旨在研究迁移学习和自我训练是否会改善少量标记数据的结果。研究方法:158例患者在bp-MRI基础上MRI显示可疑病灶,64例患者在全子宫切除标本切片上MRI显示IL,40例患者未标记。提出了一种非局部Mask R-CNN来提高分割精度。通过微调使用基于MRI的描绘与基于脑切除术的描绘训练的模型来研究迁移学习。在自我训练中,研究了两种标签选择策略。以3D检出率、Dice相似系数(DSC)、95百分位Hausdrauff(95 HD,mm)和真阳性率(TPR)评价模型的性能。结果如下:通过基于轮廓的描绘,具有微调和自训练的非局部Mask R-CNN显着改善了所有评估指标。对于具有最高检出率和DSC的模型,在所有Gleason分级组(GGG)中检出80.5%(33/41)的病变,DSC为0.548[0.165],95 HD为5.72[3.17],TPR为0.613[0.193]。其中GGG > 2的病灶检出率为94.7%(18/19),DSC为0.604[0.135],95 HD为6.26[3.44],TPR为0.580[0.190]。结论:DL模型可以实现高的前列腺癌检测和分割准确率的bp-MRI的基础上的注释从组织学图像。为了进一步提高性能,需…
2020-10-28 cs.CV cs.LG eess.IV
Relict landslide detection using Deep-Learning architectures for image segmentation in rainforest areas: A new framework
University of São Paulo(圣保罗大学)
本文提出一种带预训练步骤的CNN框架,结合k-means数据集和CBERS-04A图像,在雨林地区半自动检测古滑坡,并通过42种CNN组合实验证明其预测更准确,同时揭示了雨林植被光谱相似性带来的检测局限。
2023-05-29 cs.CV eess.IV physics.data-an
Reconstructing Randomly Masked Spectra Helps DNNs Identify Discriminant Wavenumbers
Institute of Robotics and Automatic Information System (IRAIS), College of Artificial Intelligence, Nankai University(机器人与自动信息系统研究所(IRAIS),人工智能学院,南开大学);VisionMetric Ltd(VisionMetric有限公司);School of Physics and Astronomy, University of Kent(物理与天文学院,肯特大学)
提出任务增强网络TeaNet,通过重构随机掩蔽光谱生成增广样本,同时训练分类模型,在合成和真实数据集上优于CNN,并能更好识别判别波数。
2026-06-23 cs.LG
A Benchmark Study of Segmentation Models and Adaptation Strategies for Landslide Detection from Satellite Imagery
University of Central Florida(佛罗里达中央大学)
本文系统评估了CNN、Transformer分割模型和大预训练模型在滑坡检测中的性能,比较了全微调与参数高效微调方法,发现Transformer模型表现优异,参数高效微调在保持精度的同时大幅降低参数量。
2026-04-17 cs.CV
Synergising Local Geo-Environmental Characteristics with Spatial Context for Enhancing Landslide Susceptibility Mapping
该研究提出LGSCF策略,整合至CNN架构构建9种模型,在台湾南投县2644km²区域的5332对滑坡与非滑坡样本上,使LSM的F1分数最高达87.09%、AUC达0.9472,提升了制图准确性。
2026-09-10 cs.CV
Landslide Geohazard Assessment With Convolutional Neural Networks Using Sentinel-2 Imagery Data
University of Sannio(萨尼奥大学);Massachusetts Institute of Technology (MIT)(麻省理工学院(MIT))
在本文中,作者的目标是将最新的图像识别模型与最好的公开卫星图像相结合,以创建一个滑坡风险缓解系统。我们首先专注于滑坡检测,并进一步提出了一个类似的系统用于预测。随着卫星图像的日益普及,这种模型很有价值,因为可以很容易地扩大规模,为灾害评估提供数据。其目标是利用卫星图像和相关数据丰富公共数据库,并指导救灾工作,以确定发生山体滑坡的准确地区。使用不同的图像增强方法来增加所选数据集的多样性,并创建更强大的分类。然后将所得输出馈送到3D卷积神经网络的变体中。对现有文献的回顾表明,没有使用CNN(卷积神经网络)和免费提供的卫星图像对滑坡风险进行分类的研究。该模型已被证明最终能够实现比基线更好的准确性。
2019-06-10 cs.CV cs.LG eess.IV
The Outcome of the 2022 Landslide4Sense Competition: Advanced Landslide Detection from Multi-Source Satellite Imagery
Institute of Advanced Research in Artificial Intelligence (IARAI)(高级人工智能研究所(IARAI));Wuhan University(武汉大学);Xidian University(西安电子科技大学);Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心(DLR));Chengdu University of Technology(成都理工大学)
这里介绍了由人工智能高级研究所(IARAI)组织的2022年Landslide 4Sense(L4 S)竞赛的科学成果。比赛的目的是根据全球收集的大规模多来源卫星图像自动检测滑坡。2022 L4 S旨在促进对深度学习(DL)模型最新发展的跨学科研究,用于使用卫星图像的语义分割任务。在过去的几年中,由于卷积神经网络(CNN)的发展,基于DL的模型已经实现了满足图像判读期望的性能。本文的主要目的是介绍本次比赛的细节和最佳性能算法。获奖的解决方案采用了最先进的模型,如Swin Transformer、SegFormer和U-Net。还考虑了高级机器学习技术和策略,如硬示例挖掘,自训练和混合数据增强。此外,我们描述了L4 S基准数据集,以方便进一步的比较,并报告的准确性评估结果在线。这些数据可以在\textit{Future Development Leaderboard}上访问,以便将来在\url{https://www.iarai.ac.at/landslide4sense/challenge/}进行评估,研究人员被邀请提交更多的预测结果,评估他们的方法的准确性,将其与其他用户的方法进行比较,并在理想情况下,改进本文中报告的滑坡检测结果。
2022-09-12 cs.CV
Landslide Detection and Segmentation Using Remote Sensing Images and Deep Neural Network
Austrian Institute of Technology(奥地利技术研究院);GeoSphere Austria(奥地利地球物理、气象和地球物理研究所);University of Natural Resources and Life Sciences, Vienna(维也纳自然资源与生命科学大学)
本文提出基于深度神经网络的滑坡检测与分割系统,通过特征工程、残差卷积、注意力机制、多分辨率集成和组合损失改进U-Net,在Landslide4Sense上F1达84.07,mIoU达76.07。
2023-12-27 cs.CV cs.LG eess.IV
Landslide Hazard Mapping with Geospatial Foundation Models: Geographical Generalizability, Data Scarcity, and Band Adaptability
School of Geographical Sciences and Urban Planning(地理科学与城市规划学院);Arizona State University(亚利桑那州立大学);School of Computing and Augmented Intelligence(计算与增强智能学院);NASA Marshall Space Flight Center(国家航空航天局马歇尔航天飞行中心)
本文提出传感器、标签、域三轴分析框架,验证Prithvi-EO-2.0在滑坡制图中优于CNN、ViT及其他GeoFMs,在光谱变化、标签稀缺和跨域泛化方面表现更稳健,同时指出计算成本与AI就绪数据不足等挑战。
2025-11-06 cs.CV
Fully Convolutional Networks for Automatically Generating Image Masks to Train Mask R-CNN
Anhui University of Technology(安徽工业大学);University of Glasgow(格拉斯哥大学)
本文针对最先进的Mask R-CNN深度学习方法提出了一种新的自动生成图像掩码的方法。Mask R-CNN方法在目标检测中取得了最好的效果,但是训练时需要得到目标Mask,非常费时费力,本文提出的方法分为两阶段设计,自动生成图像Mask,第一阶段实现基于全卷积网络(FCN)的分割网络,第二阶段实现基于Mask R-CNN的目标检测网络,其在来自FCN输出的对象图像掩模、原始输入图像和附加标签信息上被训练。通过实验,我们提出的方法可以自动获取图像模板来训练Mask R-CNN,并且可以达到很高的分类精度,平均分割精度(mAP)超过90
2021-05-20 cs.CV cs.LG
Faster Training of Mask R-CNN by Focusing on Instance Boundaries
BMW Car IT GmbH(宝马汽车信息技术有限公司);Georg-August University of Göttingen(哥廷根大学);Albert Ludwig University of Freiburg(阿尔伯特·路德维希·弗莱堡大学)
我们为Mask R-CNN提供了一个辅助任务,这是一个实例分割网络,可以更快地训练掩码头。我们对Mask R-CNN的补充是一个新的预测头,边缘一致性头,它的灵感来自人类注释器执行实例分割的方式。人类注释者复制对象实例的轮廓,并且仅间接复制所占用的实例区域。因此,实例掩码的边缘特别有用,因为它们很好地表征了实例。因此,边缘一致性头使用边缘检测滤波器鼓励预测的掩模具有与地面真实掩模相似的图像梯度。我们提供了损失组合的详细调查,并显示与不使用额外损失相比,MS COCO Mask指标的改进。我们的方法稍微增加了模型的大小,并且没有添加额外的可训练模型变量。虽然计算成本略有增加,但考虑到Mask R-CNN架构的高计算成本,增量可以忽略不计。由于额外的网络头仅在训练期间相关,因此与Mask R-CNN相比,推理速度保持不变。在默认的Mask R-CNN设置中,与基线相比,我们实现了训练速度的提高,MS COCO指标的相对整体改善为8.1%。
2019-08-10 cs.CV cs.LG
DeepApple: Deep Learning-based Apple Detection using a Suppression Mask R-CNN
由于劳动力短缺和劳动力成本上升,机器人苹果收获在过去几年中受到了广泛的研究关注。实现自动化收获的一个关键技术是准确和强大的苹果检测,由于复杂的果园环境,包括不同的照明条件和树叶/树枝遮挡,这带来了巨大的挑战。这封信报告了一个新的基于深度学习的苹果检测框架DeepApple的开发。具体来说,我们首先收集了一个全面的苹果园数据集'Gala'和'Blondee'苹果,使用彩色相机,在不同的照明条件下(阳光与阴天和正面照明与背面照明)。然后,我们开发了一种用于苹果检测的新型抑制Mask R-CNN,其中将抑制分支添加到标准Mask R-CNN中,以抑制原始网络生成的非苹果特征。进行了全面的评估,结果表明,开发的抑制掩码R-CNN网络优于最先进的模型,在标准台式计算机上具有更高的F1分数0.905和每帧0.25秒的检测时间。
2020-10-19 cs.CV cs.LG
Convolutional Neural Networks for Multispectral Image Cloud Masking
University of Valencia(瓦伦西亚大学)
卷积神经网络(CNN)已被证明是许多图像分类任务的最先进的方法,它们的使用正在迅速增加在遥感问题。它们的主要优势之一是,当有足够的数据可用时,CNN可以执行端到端学习,而无需自定义特征提取方法。在这项工作中,我们研究了使用不同的CNN架构的云遮蔽的Proba-V多光谱图像。我们比较这些方法与更经典的机器学习方法的基础上特征提取加监督分类。实验结果表明,CNN是一个有前途的替代解决云掩蔽问题。
2020-12-09 cs.CV cs.LG
Boundary-preserving Mask R-CNN
Huazhong University of Science and Technology(华中科技大学);Horizon Robotics Inc.(地平线机器人公司)
为了提高实例分割中掩模定位的准确性,人们做了大量的工作。依赖于全卷积网络的现代实例分割方法执行逐像素分类,这忽略了对象边界和形状,导致粗糙和模糊的掩模预测结果和不精确的定位。为了解决这些问题,我们提出了一种概念上简单而有效的边界保持掩码R-CNN(BMask R-CNN),以利用对象边界信息来提高掩码定位精度。BMask R-CNN包含一个边界保持掩码头,其中对象边界和掩码通过特征融合块相互学习。因此,预测的掩模与对象边界更好地对齐。在没有花里胡哨的情况下,BMask R-CNN在COCO数据集上的表现远远优于Mask R-CNN;在Cityscapes数据集中,有更准确的边界地面实况,因此BMask R-CNN比Mask R-CNN有了显着的改进。此外,当评估标准需要更好的定位(例如,AP $_{75}$),如图1所示。代码和型号可在\url{https://github.com/hustvl/BMaskR-CNN}上找到。
2020-07-17 cs.CV
Using Segmentation Masks in the ICCV 2019 Learning to Drive Challenge
Columbia University(哥伦比亚大学)
在这项工作中,我们预测车辆的速度和转向角给定的摄像机图像帧。我们的主要贡献是使用外部预训练的神经网络进行分割。我们用它们的分割掩码和镜像来增强原始图像。我们集成了三种不同的神经网络模型:(i)使用单个图像及其分割掩码的CNN,(ii)将图像序列和分割掩码作为输入的堆栈CNN,以及(iii)双向GRU,使用预训练的ResNet 34,DenseNet 121和我们自己的CNN单个图像模型提取图像特征。我们在MSE角度和整体性能方面取得了第二好的成绩,赢得了ICCV学习驾驶挑战赛的第二名。我们公开我们的模型和代码。
2019-10-23 cs.CV cs.LG
Active learning with MaskAL reduces annotation effort for training Mask R-CNN
Wageningen University & Research(瓦赫宁根大学及研究中心);Exxact Robotics(Exxact机器人公司)
卷积神经网络(CNN)的泛化性能受训练图像的数量、质量和种类的影响。训练图像必须被注释,这是耗时且昂贵的。我们工作的目标是减少训练CNN所需的注释图像数量,同时保持其性能。我们假设,通过确保训练图像集包含大部分难以分类的图像,可以更快地提高CNN的性能。我们的研究的目的是测试这个假设与主动学习方法,可以自动选择难以分类的图像。我们开发了一种基于掩码区域的CNN(Mask R-CNN)的主动学习方法,并将该方法命名为MaskAL。MaskAL涉及Mask R-CNN的迭代训练,之后训练的模型用于选择一组模型最不确定的未标记图像。然后对选定的图像进行注释并用于重新训练Mask R-CNN,并重复多次采样迭代。在我们的研究中,将MaskAL与具有五个视觉相似类的西兰花数据集上的随机抽样方法进行了比较。MaskAL的表现明显好于随机抽样。此外,MaskAL在采样900张图像后的性能与随机采样2300张图像后的性能相同。与在整个训练集(14,000张图像)上训练的Mask R-CNN模型相比,MaskAL用17.9%的训练数据实现了该模型93.9%的性能。随机抽样达到了该模型的性能的81.9%,其训练数据的16.4%。我们的结论是,通过使用MaskAL,可以减少在具有视觉相似类的西兰花数据集上训练Mask R-CNN的注释工作。我们的软件可在https://github.com/pieter…
2022-03-26 cs.CV
Improved-Mask R-CNN: Towards an Accurate Generic MSK MRI instance segmentation platform (Data from the Osteoarthritis Initiative)
Schulich School of Engineering, University of Calgary(卡尔加里大学舒立克工程学院);Department of Radiology & Diagnostic Imaging, University of Alberta(阿尔伯塔大学放射与诊断成像系);Alberta Machine Intelligence Institute (AMII), University of Alberta(阿尔伯塔大学阿尔伯塔机器智能研究所(AMII));Mechanical and Manufacturing Engineering, University of Calgary(卡尔加里大学机械与制造工程系)
磁共振成像(MRI)扫描骨关节炎(OA)的客观评估可以解决当前OA评估的局限性。骨、软骨和关节液的分割对于OA的客观评估是必要的。大多数提出的分割方法不执行实例分割,并遭受类不平衡问题。该研究部署了Mask R-CNN实例分割并对其进行了改进(改进的Mask R-CNN(iMaskRCNN)),以获得更准确的OA相关组织的广义分割。使用来自骨关节炎倡议(OAI)数据集的500个MRI膝关节和97个症状性髋关节OA患者的MRI扫描进行了方法的培训和验证。对Mask R-CNN的三个修改产生了iMaskRCNN:添加第二个ROIA标记的块,向mask-header添加额外的解码器层,并通过跳过连接连接它们。使用Hausdorff距离、骰子评分和变异系数(CoV)评估结果。与Mask RCNN相比,iMaskRCNN改善了骨和软骨分割,如股骨的骰子分数从95%增加到98%,胫骨从95%增加到97%,股骨软骨从71%增加到80%,胫骨软骨从81%增加到82%。对于渗出检测,iMaskRCNN的骰子改善了72%,而MaskRCNN为71%。Reader 1和Mask R-CNN(0.33)、Reader 1和iMaskRCNN(0.34)、Reader 2和Mask R-CNN(0.22)、Reader 2和iMaskRCNN(0.29)之间的积液检测的CoV值接近于两个读取器之间的CoV(…
2022-06-23 cs.CV cs.LG eess.IV
FibeR-CNN: Expanding Mask R-CNN to Improve Image-Based Fiber Analysis
Institute of Technology for Nanostructures (NST)(纳米结构技术研究所(NST));Center for Nanointegration Duisburg-Essen (CENIDE)(杜伊斯堡-埃森纳米集成中心(CENIDE));University of Duisburg-Essen(杜伊斯堡-埃森大学)
纤维状材料(例如碳纳米管)具有重要意义,因为它们具有独特的特性,但也可能带来健康风险。不幸的是,基于图像的纤维分析仍然涉及手动注释,这是一个耗时且昂贵的过程。因此,我们建议使用基于区域的卷积神经网络(R-CNN)来自动化这项任务。Mask R-CNN是语义分割任务中使用最广泛的R-CNN,在分析纤维状对象时容易出错。因此,引入并验证了一种新的架构- FibeR-CNN。FibeR-CNN结合了两种已建立的R-CNN架构(Mask和Keypoint R-CNN),并增加了额外的网络头,用于预测纤维宽度和长度。因此,FibeR-CNN能够在一组新的纤维图像测试数据上超过Mask R-CNN的平均精度33%(11个百分点)。
2020-10-19 cs.CV
Mask R-CNN
Facebook AI Research (FAIR)(Facebook人工智能研究院(FAIR))
我们提出了一个概念上简单,灵活,通用的框架对象实例分割。我们的方法有效地检测图像中的对象,同时为每个实例生成高质量的分割掩码。该方法被称为Mask R-CNN,通过添加一个分支来扩展Faster R-CNN,该分支用于预测与现有分支并行的对象掩码,用于限界框识别。Mask R-CNN的训练很简单,并且仅为Faster R-CNN增加了很小的开销,运行速度为5 fps。此外,Mask R-CNN很容易推广到其他任务,例如,让我们可以在同一个框架下评估人类的姿势。我们展示了COCO系列挑战的所有三个方面的最佳结果,包括实例分割、边界框目标检测和人物关键点检测。没有花里胡哨的东西,Mask R-CNN在每项任务上的表现都优于所有现有的单一模型参赛作品,包括COCO 2016挑战赛的获胜者。我们希望我们简单有效的方法能够作为坚实的基线,并帮助简化实例级识别的未来研究。代码已在https://github.com/facebookresearch/Detectron上提供
2018-01-24 cs.CV
Detector Algorithms of Bounding Box and Segmentation Mask of a Mask R-CNN Model
BSN iNet Co. Ltd.(BSN iNet有限公司);Tokyo National Museum(东京国立博物馆)
评估了Mask R-CNN模型的限界框和分割掩码输出的检测性能。边界框和分割模板的检测性能存在显着差异,前者始终优于后者。线性裂缝、接缝、填充和阴影的精确度和召回率的调和值在分割遮罩中明显低于边界框。其他类别显示出类似的谐波值。讨论了边界框和分割模板检测度量的不同性能,重点讨论了两种检测器的检测算法。
2020-10-26 cs.CV
Mask Scoring R-CNN
Institute of AI, School of EIC, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院人工智能研究院);Horizon Robotics Inc.(地平线机器人技术有限公司(Horizon Robotics Inc.))
让深度网络意识到自己预测的质量是一个有趣但重要的问题。在实例分割任务中,大多数实例分割框架都使用实例分类的置信度作为掩模质量分数。然而,掩模质量,量化为实例掩模和其基础事实之间的IoU,通常与分类分数没有很好的相关性。在本文中,我们研究了这个问题,并提出了掩码评分R-CNN,它包含一个网络块来学习预测实例掩码的质量。所提出的网络块将实例特征和对应的预测掩码一起回归掩码IoU。掩模评分策略校准掩模质量和掩模评分之间的不对准,并通过在COCO AP评估期间优先考虑更准确的掩模预测来提高实例分割性能。通过对COCO数据集的广泛评估,Mask Scoring R-CNN为不同模型带来了一致和显著的增益,并优于最先进的Mask R-CNN。我们希望我们的简单而有效的方法将提供一个新的方向,改善实例分割。我们的方法的源代码可在\url{https://github.com/zjhuang22/maskscoring_rcnn}上获得。
2019-03-01 cs.CV
A Mask R-CNN approach to counting bacterial colony forming units in pharmaceutical development
GSK Vaccines(葛兰素史克疫苗部)
我们提出了一个应用程序的著名的面具R-CNN方法计数不同类型的细菌菌落形成单位培养在培养皿中。我们的模型在现代SPA(单页应用程序)中提供给实验室技术人员。用户可以上传培养皿的图像,之后专门为此任务训练和调整的Mask R-CNN模型检测BVG-和BVG+菌落的数量,并在交互式界面中显示这些菌落供用户验证。然后,用户可以检查模型的预测,如果认为有必要,可以对其进行纠正,并最终验证它们。我们的适应性Mask R-CNN模型在50%的交叉联合(IoU)阈值下实现了94%的平均精度(mAP)。有了这些令人鼓舞的结果,我们看到了提高相关问题的准确性和节省时间的机会,例如推广到其他细菌类型和病毒病灶计数。
2021-03-09 cs.CV cs.LG q-bio.QM
Mask R-CNN with Pyramid Attention Network for Scene Text Detection
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);South China University of Technology(华南理工大学)
在本文中,我们提出了一种新的基于Mask R-CNN的文本检测方法,该方法可以以统一的方式从自然场景图像中鲁棒地检测多方向和弯曲的文本。为了增强Mask R-CNN在文本检测任务中的特征表示能力,我们建议使用金字塔注意力网络(PAN)作为Mask R-CNN的新骨干网络。实验表明,PAN能更有效地抑制类文本背景引起的虚警。我们提出的方法仅使用单尺度和单模型测试,在多方向(ICDAR-2015,ICDAR-2017 MLT)和弯曲(SCUT-CTW 1500)文本检测基准任务上都取得了优异的性能。
2018-11-22 cs.CV
DRDr: Automatic Masking of Exudates and Microaneurysms Caused By Diabetic Retinopathy Using Mask R-CNN and Transfer Learning
University of Georgia(佐治亚大学)
本文讨论了识别糖尿病患者眼中由糖尿病视网膜病变(DR)引起的两种主要类型病变-渗出物和微动脉瘤的问题。我们利用卷积神经网络(CNN)和迁移学习来定位和生成高质量的分割掩模,用于在患者眼底图像中发现的每个病变实例。我们从e-ophtha EX和e-ophtha MA中创建标准化数据库,并调整Mask R-CNN以检测小病变。此外,我们使用数据增强和ResNet 101的预训练权重来补偿我们的小数据集。我们的模型达到了0.45的有希望的测试mAP,这表明它可以帮助临床医生和眼科医生检测和治疗臭名昭著的DR。
2020-07-04 cs.CV
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition
Nanjing University(南京大学)
细粒度图像识别是一个具有挑战性的计算机视觉问题,这是由于高度相似的从属类别引起的小的类间变化,以及姿态、尺度和旋转的大的类内变化。在本文中,我们提出了一种新的端到端Mask-CNN模型,没有完全连接的层,用于细粒度识别。基于细粒度图像的部分注释,所提出的模型由一个完全卷积的网络组成,以定位有区别的部分(例如,头部和躯干),更重要的是,生成对象/部分掩模,用于选择有用和有意义的卷积描述符。之后,构建一个四流Mask-CNN模型,用于同时聚合选定的对象级和部件级描述符。与最先进的细粒度方法相比,所提出的Mask-CNN模型具有最少的参数数量,最低的特征维度和最高的识别准确率。
2016-05-23 cs.CV
Polyp Detection and Segmentation using Mask R-CNN: Does a Deeper Feature Extractor CNN Always Perform Better?
Oslo University Hospital(奥斯陆大学医院);University of Oslo(奥斯陆大学);Norwegian University of Science and Technology(挪威科技大学);OmniVision Technologies Norway AS(OmniVision技术挪威公司);LG CNS
由于医师在结肠镜检查期间约25%的息肉遗漏率,自动息肉检测和分割对于结肠筛查是非常期望的。然而,这种计算机化仍然是一个未解决的问题,由于各种息肉样结构的结肠和高类间息肉的变化方面的大小,颜色,形状和纹理。在本文中,我们调整掩模R-CNN,并评估其性能与不同的现代卷积神经网络(CNN)作为其特征提取息肉检测和分割。我们通过向训练数据集添加额外的息肉图像来研究每个特征提取器的性能改进,以回答我们是否需要更深,更复杂的CNN或更好的数据集来进行自动息肉检测和分割的训练。最后,我们提出了一个集成的方法,进一步提高性能。我们评估了2015年MICCAI息肉检测数据集的性能。最好的结果是72.59%的召回率,80%的准确率,70.42%的骰子和61.24%的Jaccard。该模型实现了最先进的分割性能。
2019-07-22 cs.CV cs.LG eess.IV
DoPAMINE: Double-sided Masked CNN for Pixel Adaptive Multiplicative Noise Despeckling
Sungkyunkwan University(成均馆大学)
我们提出了一种新的基于神经网络的乘性噪声降斑算法DoPAMINE。我们的算法的灵感来自神经AIDE(N-AIDE),这是最近提出的神经自适应图像去噪。虽然原始的N-AIDE是为加性噪声情况设计的,但我们证明了相同的框架,即,通过最小化MSE的无偏估计来自适应地学习用于逐像素仿射去噪器的网络也可以应用于乘性噪声的情况。此外,我们推导出一种双面掩蔽的CNN架构,该架构可以控制每层中激活值的方差,并在监督训练期间快速收敛到高去噪性能。在实验结果中,我们表明我们的DoPAMINE具有很高的自适应性,通过微调网络参数的基础上给定的噪声图像,并取得显着更好的去斑效果相比,SAR-DRN,最先进的CNN为基础的算法。
2019-02-07 cs.CV cs.LG eess.IV
5G Utility Pole Planner Using Google Street View and Mask R-CNN
随着第五代(5G)蜂窝网络技术的进步,已经就如何为智慧城市构建5G网络进行了许多研究和工作。在之前的研究中,路灯杆和智能路灯杆都有能力成为5G接入点。为了确定点的位置,本文讨论了一种基于Mask R-CNN的极点识别新方法,该方法通过使用递归贝叶斯滤波并执行建议传播和重用来扩展Fast R-CNN。该数据集包含来自谷歌地图的3,000张高分辨率图像。为了使训练更快,我们使用了非常高效的GPU实现卷积运算。我们实现了7.86%的训练出错率和32.03%的测试出错率。最后,我们使用免疫算法在智慧城市中设置5G极点。
2020-08-26 cs.CV cs.LG eess.IV
Lightweight Mask R-CNN for Long-Range Wireless Power Transfer Systems
Tongji University(同济大学);Tsinghua University(清华大学)
谐振光束充电(RBC)是一种无线充电技术,支持在米级距离上传输多瓦功率。安全性、移动性和同时充电功能使RBC能够同时安全地为多个移动设备充电。为了检测需要充电的设备,在以前的工作中提出了一种基于Mask R-CNN的检测模型。然而,考虑到RBC系统的限制,由于其沉重的模型和巨大的计算量,将Mask R-CNN应用于轻量级硬件嵌入式设备并不容易。因此,我们提出了一种机器学习检测方法,该方法基于传统的Mask R-CNN提供了更轻,更快的模型。该方法使得目标检测更容易移植到移动设备上,并减轻了硬件计算负担。通过调整Mask R-CNN的主干和头部的结构,我们将每个图像的平均检测时间从$1.02\mbox{s}$减少到$0.6132\mbox{s}$,并将模型大小从$245\mbox{MB}$减少到$47.1\mbox{MB}$。改进后的模型更适合于RBC系统的应用。
2020-04-19 cs.CV
Automatic Cadastral Boundary Detection of Very High Resolution Images Using Mask R-CNN
Shahid Beheshti University(沙希德·贝赫什提大学)
针对甚高分辨率影像的自动地籍边界检测,本文采用以 ResNet-50 为骨干的 Mask R-CNN 实例分割,并结合三种几何后处理及新的 pocket 线简化算法,显著提升检测效果。
2023-08-17 cs.CV cs.LG
Fully automatic computer-aided mass detection and segmentation via pseudo-color mammograms and Mask R-CNN
School of Information Technology and Electrical Engineering, University of Queensland(昆士兰大学信息技术与电气工程学院)
乳腺摄影肿块检测和分割通常作为连续和单独的任务执行,在先前的研究中,分割通常仅在手动确认的真阳性检测上执行。我们提出了一个完全集成的计算机辅助检测(CAD)系统,用于同时进行乳房X线摄影肿块检测和分割,而无需用户干预。所提出的CAD仅包括伪彩色图像生成和基于Mask R-CNN的质量检测分割阶段。基于多尺度形态筛选将灰度乳房X线照片转换为伪彩色图像,其中增强了团块状图案以提高Mask R-CNN的性能。然后采用Mask R-CNN的迁移学习来同时检测和分割伪彩色图像上的肿块。在公共数据集INbreast上进行评估,该方法通过在每张图像0.9个假阳性时实现0.90的平均真阳性率和0.88的平均Dice相似性指数来进行质量分割,从而优于最先进的方法。
2019-10-19 cs.CV
Extract and Merge: Merging extracted humans from different images utilizing Mask R-CNN
Tokai University(东海大学)
从图像中的各种类型的对象中选择人体对象并将其与其他场景合并是照片编辑器的手动和日常工作。虽然最近Adobe Photoshop发布了“选择主题”工具,可以自动选择图像中的前景对象,但仍然需要单独进行精细的手动调整。在这项工作中,我们提出了一个利用Mask R-CNN(用于目标检测和掩码分割)的应用程序,该应用程序可以从多个图像中提取人体实例并将其与新的背景合并。此应用程序不会向Mask R-CNN添加任何开销,以每秒5帧的速度运行。它可以从任何数量的图像或视频中提取人类实例,并将它们合并在一起。我们还构造了代码,以接受不同长度的视频作为输入,输出视频的长度将等于最长的输入视频。我们希望创建一个简单而有效的应用程序,可以作为照片编辑的基础,并自动完成大多数耗时的工作,因此,编辑可以更专注于设计部分。其他应用可以是将来自不能物理地在一起的不同图像的具有新背景的单个图片中的人分组在一起。我们展示了在两种不同背景下的单人和多人提取和放置。此外,我们还展示了一个单人提取的视频示例。
2019-08-01 cs.CV cs.GR cs.LG
BshapeNet: Object Detection and Instance Segmentation with Bounding Shape Masks
Ajou University(亚洲大学)
最近的对象检测器使用四坐标限界框(bbox)回归来预测对象位置。提供指示对象位置和坐标的附加信息将提高检测性能。因此,我们提出了两种类型的面具:bbox面具和边界形状(bshape)面具,分别代表对象的bbox和边界形状。对于这些类型中的每一种,我们考虑两种变体:Thick模型和Scored模型,两者具有相同的形态,但在使其边界更厚的方式上有所不同。为了评估提出的掩码,我们通过向Faster R-CNN框架添加bshape掩码(或bbox掩码)分支来设计扩展框架,并将其称为BshapeNet(或BboxNet)。此外,我们还提出了BshapeNet+,这是一种将bshape掩码分支与Mask R-CNN相结合的网络,可以改进实例分割和检测。在我们提出的模型中,BshapeNet+在这两项任务中表现出最佳的性能,并与最先进的(SOTA)模型相比取得了极具竞争力的结果。特别是,它比Faster R-CNN+RoIAlign提高了检测结果(37.3%和28.9%),在MS COCO test-dev和Cityscapes val上的检测AP分别为42.4%和32.3%。此外,对于小对象,它在COCO测试开发中实现了24.9%的AP,比以前的SOTA模型有了显着的改进。对于实例分割,它在两个测试数据集上都明显优于Mask R-CNN。
2019-07-31 cs.CV cs.LG stat.ML
Fine-tuned Pre-trained Mask R-CNN Models for Surface Object Detection
BSN iNet Co. Ltd.(BSN iNet 有限公司);Tokyo National Museum(东京国立博物馆);Universiti Teknologi PETRONAS(马来西亚石油科技大学)
本研究使用四个Mask R-CNN模型评估路面目标检测任务,作为石制考古物体表面劣化检测的预研究。这些模型通过COCO数据集和15,188个分段的路面注释标签进行了预训练和微调。模型的质量使用平均精度和平均召回来衡量。结果表明大量的假阴性计数,即左侧检测和未分类检测。测试了修改后的混淆矩阵模型,以避免优先考虑IoU,并且在限界框检测中有显着的真阳性增加,但在分割掩码中几乎没有变化。
2020-10-22 cs.CV
Intentional Attention Mask Transformation for Robust CNN Classification
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
卷积神经网络在各种任务中取得了令人印象深刻的成果,但解释内部机制是一个具有挑战性的问题。为了解决这个问题,我们利用多通道注意力机制的特征空间。我们的网络架构允许我们获得每个特征的注意力掩码,而现有的CNN可视化方法仅为所有特征提供公共注意力掩码。我们将提出的多通道注意力机制应用到多属性识别任务中。我们可以为每个特征和每个属性获得不同的注意力掩码。这些分析使我们对CNN的特征空间有了更深入的了解。此外,我们提出的注意力机制自然地导出了一种提高CNN鲁棒性的方法。从基于所提出的注意力掩模的特征空间的观察中,我们证明了我们可以通过故意强调对属性重要的特征来获得鲁棒的CNN。对基准数据集的实验结果表明,该方法在准确把握数据属性的同时,具有较高的人类可解释性,提高了网络的鲁棒性。
2019-05-20 cs.AI cs.CV
Automated Kidney Segmentation by Mask R-CNN in T2-weighted Magnetic Resonance Imaging
UT Southwestern Medical Center(德克萨斯大学西南医学中心)
尽管医学成像中的深度学习算法最近取得了进展,但MRI检查中肾脏的自动分割算法仍然很少。磁共振成像(MRI)检查中肾脏的自动分割对于实现肾脏疾病的放射组学和机器学习分析非常重要。在这项工作中,我们建议使用流行的Mask R-CNN在100次MRI检查的冠状T2加权快速自旋Eco切片中自动分割肾脏。我们提出将形态操作作为后处理,以进一步提高MaskR-CNN执行此任务的性能。使用5倍交叉验证数据,提出的Mask R-CNN在70和10次MRI检查中进行训练和验证,然后在每个折叠中对剩余的20次检查进行评估。我们提出的方法获得了0.904的骰子得分和0.822的IoU。
2021-08-27 cs.CV eess.IV
RANDOM MASK: Towards Robust Convolutional Neural Networks
Peking University(北京大学);University of Southern California(南加州大学)
神经网络的鲁棒性最近已经通过对抗性的例子来强调,即,输入加上精心设计的扰动,这些扰动是人类无法察觉的,但可能导致网络给出不正确的输出。在本文中,我们设计了一个新的CNN架构,本身具有良好的鲁棒性。我们引入了一种简单但功能强大的技术,随机掩码,以修改现有的CNN结构。我们证明了具有随机掩码的CNN在不应用任何对抗训练的情况下实现了对抗黑盒对抗攻击的最先进性能。接下来,我们研究用随机掩码“愚弄”CNN的对抗性示例。令人惊讶的是,我们发现这些对抗性的例子也经常“愚弄”人类。这就提出了如何正确定义对抗性示例和鲁棒性的基本问题。
2020-07-27 cs.CV
Evaluating the Effectiveness of Automated Identity Masking (AIM) Methods with Human Perception and a Deep Convolutional Neural Network (CNN)
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Oak Ridge National Laboratory(橡树岭国家实验室);University of Maryland(马里兰大学)
人脸去识别算法已经响应于公共视频记录和监控摄像机的普遍使用而被开发。在这里,我们评估了身份掩蔽在监控驾驶员积极驾驶机动车的背景下的成功。我们使用人类感知器和最先进的深度卷积神经网络(CNN)研究了八种去识别算法的有效性。我们使用了一个标准的人脸识别实验,其中人类受试者研究高分辨率(工作室风格)图像来学习驾驶员身份。受试者随后被测试他们在低分辨率视频中识别这些身份的能力,视频描述了驾驶机动车的司机。这些视频要么是未屏蔽的格式,要么是被八种去识别算法之一屏蔽的。相对于未掩蔽的视频,所有掩蔽算法大幅降低了识别精度。在所有情况下,鉴定都是用严格的决策标准进行的,这表明受试者对自己的决策信心不足。在将高分辨率静止图像中的身份与掩蔽视频中的身份进行匹配时,CNN的表现是偶然的。接下来,我们检查了CNN在相同任务上的性能,但是使用了未掩蔽的视频和它们的掩蔽对应物。在这种情况下,网络在掩码条件的子集上的得分令人惊讶。我们的结论是,经过仔细测试的去识别方法,单独或组合使用,可以是一个有效的工具,用于保护视频中捕获的个人隐私。我们注意到,没有一种方法在掩蔽所有刺激方面同样有效,未来的工作应该研究确定每个刺激最有效的掩蔽的可能方法。
2019-11-04 cs.CV
Human Extraction and Scene Transition utilizing Mask R-CNN
Tokai University(东海大学);ICT Center, Tokai University(东海大学信息通信技术中心)
目标检测是计算机视觉的一个新兴分支,尤其是在人体识别和行人检测方面。识别一个人的完整身体一直是一个难题。多年来,研究人员提出了各种方法,最近,Mask R-CNN在实例分割方面取得了突破。基于Faster R-CNN,Mask R-CNN能够为每个实例生成分割掩码。我们提出了一个应用程序,从图像和视频中提取多个人的愉快的生活场景分组快乐的时刻的人,如家人或朋友和一个社区的生活质量(QOL)。我们同样提出了一种方法,把提取的图像的人到新的背景。这使得用户能够愉快地收集他/她的家人和朋友在他/她的生活中的快乐面部表情和动作。Mask R-CNN从图像中检测所有类型的对象掩码。然后,我们的算法只考虑目标人,只提取一个人没有障碍物,如狗在前面的人,用户也可以选择多个人作为他们的期望。我们的算法对图像和视频都有效,无论其长度如何。我们的算法不会给Mask R-CNN增加任何开销,运行速度为5 fps。我们展示的例子瑜伽的人在图像和舞蹈视频帧的舞者。我们希望我们简单而有效的方法可以作为替换图像背景的基线,并有助于简化未来的研究。
2019-10-26 cs.CV cs.GR
YOLO and Mask R-CNN for Vehicle Number Plate Identification
针对停车场倾斜车牌识别困难问题,提出基于Mask R-CNN的方法,在AOLP数据集上对斜角大于0/60的车牌分类及倾斜超45度的字符识别效果优于YOLOv2等传统技术。
2024-01-02 cs.CV
Mask is All You Need: Rethinking Mask R-CNN for Dense and Arbitrary-Shaped Scene Text Detection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Guangzhou University(广州大学);Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司)
由于在目标检测和实例分割方面的巨大成功,Mask R-CNN引起了极大的关注,并被广泛用作任意形状场景文本检测和定位的强基线。然而,有两个问题尚待解决。第一种是密集文本情况,这是很容易被忽视,但相当实用。在一个方案中可能存在多个实例,这使得掩模头难以区分不同的实例,从而降低性能。在这项工作中,我们认为,性能下降的结果,从学习混乱的问题,在面具头。我们建议在掩码头中使用MLP解码器而不是“deconv-conv”解码器,这解决了问题并显著提高了鲁棒性。我们提出了实例感知的掩码学习,其中掩码头学习预测整个实例的形状,而不是将每个像素分类为文本或非文本。通过实例感知掩码学习,掩码分支可以学习分离和紧凑的掩码。其次,由于比例和长宽比的变化很大,RPN需要复杂的锚点设置,因此很难在不同的数据集之间进行维护和传输。为了解决这个问题,我们提出了一个自适应的标签分配,其中所有的实例,特别是那些极端的长宽比,保证与足够的锚。配备了这些组件,所提出的名为MAYOR的方法在包括DAST 1500,MSRA-TD 500,ICDAR 2015,CTW 1500和Total-Text在内的五个基准上实现了最先进的性能。
2021-09-08 cs.CV
Object Detection with Mask-based Feature Encoding
HERE North America LLC(HERE北美有限责任公司);University of South Carolina(南卡罗来纳大学);Tianjin University(天津大学)
基于区域的卷积神经网络(R-CNN)在目标检测领域取得了巨大的成功。现有的R-CNN通常将感兴趣区域(ROI)划分为网格,然后利用ROI中每个网格的相对位置所反映的空间信息来定位对象。在本文中,我们提出了一种新的特征编码方法,空间信息表示通过视觉模式的空间分布。特别是,我们设计了一个掩码权重网络(MWN)来学习一组掩码,然后将通道掩码操作应用于ROI特征图,然后是全局池化和廉价的全连接层。我们将新设计的特征编码器集成到Faster R-CNN架构中。由此产生的新的Faster R-CNN可以通过使用更少的参数来保持标准Faster R-CNN的对象检测精度。与使用最先进的PS ROI池化和可变形PS ROI池化的R-FCN相比,新的Faster R-CNN可以产生更高的对象检测精度和良好的运行时效率。我们还表明,一个专门设计和学习的MWN可以捕获全局上下文信息,并进一步提高对象检测的准确性。验证实验在PASCAL VOC和MS COCO数据集上进行。
2018-02-12 cs.CV
Comparing YOLOv8 and Mask R-CNN for instance segmentation in complex orchard environments
Center for Precision & Automated Agricultural Systems, Washington State University(华盛顿州立大学精准与自动化农业系统中心)
本研究在休眠季、生长季初期两个果园数据集上对比单阶段YOLOv8与两阶段Mask R-CNN的实例分割性能,发现YOLOv8的精确率、召回率更高且推理速度更快,更适用于实时果园自动化任务。
2025-10-02 cs.CV
LevelSet R-CNN: A Deep Variational Method for Instance Segmentation
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);MIT(麻省理工学院)
获得精确的实例分割掩模在许多现代应用(例如机器人操作和自动驾驶)中具有高度重要性。目前,许多最先进的模型都是基于Mask R-CNN框架的,该框架虽然非常强大,但以低分辨率输出掩码,这可能导致边界不精确。另一方面,经典的变分分割方法施加所需的全球和当地的数据和几何约束的掩模,通过优化的能量泛函。虽然数学上很优雅,但它们直接依赖于良好的初始化,非鲁棒的图像提示和手动设置超参数,使其不适合现代应用。我们提出了LevelSet R-CNN,它通过获得强大的特征表示来结合这两个世界的优点,这些特征表示以端到端的方式与变分分割框架相结合。我们证明了我们的方法在COCO和Cityscapes数据集上的有效性。
2020-07-30 cs.CV
Segmenting Unknown 3D Objects from Real Depth Images using Mask R-CNN Trained on Synthetic Data
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);Department of Industrial Engineering and Operations Research(工业工程与运筹学系);The AUTOLAB at UC Berkeley(加州大学伯克利分校AUTOLAB)
在深度图像中分割未知物体的能力有可能提高机器人在抓取和物体跟踪方面的技能。最近的计算机视觉研究表明,Mask R-CNN可以被训练来分割RGB图像中的特定类别的对象,当大量的手工标记数据集可用时。由于生成这些数据集是耗时的,我们改为使用合成深度图像进行训练。许多机器人现在使用深度传感器,最近的结果表明,对合成深度数据的训练可以成功地转移到现实世界中。我们提出了一种自动生成数据集的方法,并使用3D CAD模型的模拟堆快速生成50,000个深度图像和320,000个对象掩模的合成训练数据集。我们训练Mask R-CNN的一个变体,在生成的数据集上进行域随机化,以在没有任何手动标记数据的情况下执行类别不可知的实例分割,并在一组真实的高分辨率深度图像上评估训练的网络,我们将其称为合成深度(SD)Mask R-CNN,这些图像具有挑战性,密集杂乱的bin包含具有高度变化的几何形状的对象。在COCO基准测试中,SD Mask R-CNN的平均精度和平均召回率分别比点云聚类基线高出15%和20%,并且达到了类似于Mask R-CNN的性能水平,该Mask R-CNN在大量手动标记的RGB数据集上进行了训练,并在实验设置的真实图像上进行了微调。我们部署在一个特定于实例的抓取管道模型,以证明其在机器人应用程序的有用性。代码、合成训练数据集和补充材料可在https://bit.ly/2letCuE上获…
2019-03-03 cs.CV cs.RO
Multi-Stage CNN Architecture for Face Mask Detection
Ping Data Labs LLP(平数据实验室有限责任公司)
2019年年底,2019冠状病毒病(COVID-19)爆发,即使在2020年,仍是数百万人生活和企业陷入困境的原因。随着世界从大流行病中复苏并计划恢复正常状态,所有人,特别是那些打算恢复亲自活动的人都感到焦虑。研究证明,戴口罩可以显著降低病毒传播的风险,同时还能提供一种保护感。但是,手动跟踪此策略的执行情况是不可行的。技术是这里的关键。我们引入了一个基于深度学习的系统,可以检测出口罩使用不当的情况。我们的系统包括一个双阶段卷积神经网络(CNN)架构,能够检测蒙面和未蒙面的面孔,并可以与预装的闭路电视摄像机集成。这将有助于追踪安全违规行为,促进口罩的使用,并确保安全的工作环境。
2020-09-17 cs.CV eess.IV
MaskPlus: Improving Mask Generation for Instance Segmentation
Northwestern University(西北大学)
实例分割是计算机视觉中一个有前途但又具有挑战性的课题。最近的方法,如Mask R-CNN,通常将这个问题分为两个部分-检测组件和掩码生成分支,并且主要集中在检测部分的改进上。在本文中,我们提出了一种方法,该方法使用五种新的优化技术来扩展Mask R-CNN,以改进掩码生成分支并减少训练中掩码分支和检测组件之间的冲突。这五种技术相互独立,可以灵活地用于构建各种实例分割体系结构,以提高整体精度。我们证明了我们的方法的有效性与COCO数据集上的测试。
2019-09-27 cs.CV
Segmentation-Aware Convolutional Networks Using Local Attention Masks
Carnegie Mellon University(卡内基梅隆大学);Ryerson University(瑞尔森大学);Facebook AI Research(Facebook人工智能研究院)
我们介绍了一种在卷积神经网络(CNN)中集成分割信息的方法。这抵消了CNN跨区域平滑信息的趋势,并提高了它们的空间精度。为了获得分割信息,我们建立了一个CNN来提供一个嵌入空间,其中可以基于欧几里得距离来估计区域共同隶属度。我们使用这些嵌入来计算相对于每个神经元位置的局部注意力掩码。我们将这样的掩码合并到CNN中,并将卷积操作替换为“分段感知”变体,该变体允许神经元选择性地关注来自其自身区域的输入。我们将生成的网络称为分割感知的CNN,因为它根据局部分割线索在每个图像点处调整其滤波器。我们证明了我们的方法在两个不同的密集预测任务,涉及分类(语义分割)和回归(光流)的优点。我们的研究结果表明,在语义分割中,我们可以匹配DenseCRFs的性能,同时更快,更简单,在光流中,我们获得了比不使用局部注意力掩模的网络更清晰的响应。在这两种情况下,分割感知卷积都能在强基线上产生系统性的改进。这个工作的源代码可以在http://cs.cmu.edu/~aharley/segaware上获得。
2017-08-15 cs.CV
A Histogram Thresholding Improvement to Mask R-CNN for Scalable Segmentation of New and Old Rural Buildings
Sun Yat-sen University(中山大学);Commonwealth Scientific and Industrial Research Organisation (CSIRO)(澳大利亚联邦科学与工业研究组织)
测绘新老建筑对于了解农村地区的社会经济发展具有重要意义。近年来,深度神经网络在高分辨率遥感影像中取得了显著的建筑物分割效果。然而,稀缺的训练数据和变化的地理环境对可扩展的建筑物分割提出了挑战。这项研究提出了一种基于Mask R-CNN的新框架,名为HTMask R-CNN,即使在标签稀缺的情况下也能提取新的和旧的农村建筑。该框架采用了传统Mask R-CNN的单对象实例分割结果。在训练数据较少的情况下,通过对两目标实例分割的结果进行动态灰度阈值分析,将农村建筑物分为新旧两类。我们发现,该框架可以提取更多的建筑物,并实现比传统的Mask R-CNN模型更高的平均精度(mAP)。我们通过增加训练数据测试了新框架的性能,发现即使在训练样本有限的情况下,它也会收敛。该框架的主要贡献是通过使用比传统机器学习实践少得多的训练样本来允许可扩展的分割。这使得绘制中国新老农村建筑的地图变得可行。
2021-02-08 cs.CV eess.IV
Person Search via A Mask-Guided Two-Stream CNN Model
Nanjing University of Science and Technology(南京理工大学);The University of Sydney(悉尼大学);SenseTime(商汤科技);Tencent(腾讯)
在这项工作中,我们解决了人的搜索问题,这是一个具有挑战性的任务,包括行人检测和人的重新识别~(re-ID)。而不是在一个单一的联合模型共享表示,我们发现,分离检测器和重新ID特征提取产生更好的性能。为了提取每个身份的更具代表性的特征,我们从原始图像块中分割出前景人。我们提出了一种简单而有效的re-ID方法,该方法分别对前景人物和原始图像块进行建模,并从两个单独的CNN流中获得丰富的表示。在中大中山大学和PRW两个标准的人物搜索基准上的实验中,我们分别实现了$83.0\%$和$32.6\%$的mAP,大大超过了现有技术水平(超过5 pp)。
2018-07-21 cs.CV
A Front-End for Dense Monocular SLAM using a Learned Outlier Mask Prior
Massachusetts Institute of Technology(麻省理工学院)
最近在从单个RGB图像进行深度预测方面的成就为将卷积神经网络(CNN)与经典的同时定位与地图构建(SLAM)算法相结合的新研究领域提供了动力。在传统SLAM算法中,来自CNN的深度预测在优化过程中提供了合理的初始点,而SLAM算法进一步在线改进了CNN预测。然而,大多数当前的CNN-SLAM方法仅利用了深度预测,而没有利用来自CNN的其他产品。在这项工作中,我们探索使用离群掩码,从视频的深度的无监督学习的副产品,作为一个经典的概率模型的深度估计融合的先验,以加强SLAM前端的抗离群跟踪性能。另一方面,以前的一些CNN-SLAM工作建立在基于特征的稀疏SLAM方法上,浪费了来自CNN的每像素密集预测。与这些稀疏方法相比,我们设计了一个密集的CNN辅助SLAM前端,可以使用TensorFlow实现,并在室内和室外数据集上进行评估。
2021-04-01 cs.CV cs.RO
A Novel Deep ML Architecture by Integrating Visual Simultaneous Localization and Mapping (vSLAM) into Mask R-CNN for Real-time Surgical Video Analysis
The Harker School(哈克学校)
每年有700万人遭受手术并发症,但通过充分的手术培训和审查,50%的并发症是可以预防的。为了提高手术性能,现有研究使用各种深度学习(DL)技术,包括卷积神经网络(CNN)和递归神经网络(RNN)来自动化手术工具和工作流程检测。然而,还有提高准确性的空间;由于CNN的复杂性,实时分析也是最小的。在这项研究中,提出了一种新的DL架构,将视觉同时定位和映射(vSLAM)集成到Mask R-CNN中。这种架构vSLAM-CNN(vCNN)首次整合了两个世界的最佳方案,包括(1)用于对象检测的vSLAM,专注于区域建议的几何信息,以及(2)用于对象识别的CNN,专注于图像分类的语义信息,将它们组合成一个联合的端到端训练过程。该方法使用时空信息以及视觉特征,在M2 CAI 2016挑战数据集上进行了评估,实现了最先进的结果,工具检测为96.8 mAP,工作流检测为97.5平均Jaccard得分,超过了所有以前的作品,并达到了50 FPS的性能,比基于区域的CNN快10倍。区域建议模块(RPM)取代了Mask R-CNN中的区域建议网络(RPN),准确地放置边界框并减少了注释要求。此外,微软还开发了一个HoloLens 2应用程序,为手术培训和辅助提供基于增强现实(AR)的解决方案。
2022-04-18 cs.CV eess.IV