PolyTransform: Deep Polygon Transformer for Instance Segmentation
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);MIT(麻省理工学院)
在本文中,我们提出了PolyTransform,一种新的实例分割算法,通过结合流行的分割方法和现代的基于模板的方法的优势,产生精确的,几何形状保持的掩模。特别是,我们首先利用分割网络来生成实例掩码。然后,我们将遮罩转换为一组多边形,然后将其馈送到变形网络,该变形网络转换多边形,以便它们更好地适应对象边界。我们在具有挑战性的Cityscapes数据集上的实验表明,我们的PolyTransform显著提高了骨干实例分割网络的性能,并在Cityscapes测试集排行榜上排名第一。我们在交互式注释设置中也显示了令人印象深刻的收益。我们在https://github.com/uber-research/PolyTransform上发布代码。
2021-01-16 cs.CV
CenterPoly: real-time instance segmentation using bounding polygons
Polytechnique Montréal(蒙特利尔理工学院);Genetec(Genetec公司)
我们提出了一种新的方法,称为CenterPoly,实时实例分割使用边界多边形。我们将其应用于检测密集城市环境中的道路使用者,使其适用于自动驾驶汽车等智能交通系统。CenterPoly通过其中心关键点检测对象,同时为每个对象预测固定数量的多边形顶点,从而并行执行检测和分割。大部分网络参数由网络头共享,使其足够快速和轻量级,以实时的【形】速度运行。为了正确地将掩模地面实况转换为多边形地面实况,我们设计了一个顶点选择策略,以促进多边形的学习。此外,为了更好地分割密集城市场景中的重叠对象,我们还训练相对深度分支,以确定哪些实例更接近,哪些更远,使用可用的弱注释。我们提出了几种不同的骨干模型,以显示可能的速度/精度的权衡。这些模型在Cityscapes、KITTI和IDD上进行了训练和评估,结果在其公共基准上报告,这些基准是最先进的实时速度。代码可在www.example.com上获得
2021-09-15 cs.CV
Polygon-free: Unconstrained Scene Text Detection with Box Annotations
Zhejiang University(浙江大学);University of Hong Kong(香港大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai AI Laboratory(上海人工智能实验室)
虽然多边形是一个更准确的表示比一个直立的限界框的文本检测,多边形的注释是非常昂贵和具有挑战性的。与现有的采用带有多边形注释的全监督训练的作品不同,这项研究提出了一种称为Polygon-free(PF)的无约束文本检测系统,其中大多数现有的基于文本的文本检测器(例如,PSENet [33],DB [16])仅使用直立限界框注释进行训练。我们的核心思想是将知识从合成数据转移到真实数据,以增强直立包围盒的监督信息。这可以通过一个简单的分割网络,即骨架注意力分割网络(SASN)来实现,该网络包括三个重要组件(即,通道注意力、空间注意力和骨架注意力图)和一个软交叉熵损失。实验证明,所提出的Polygonfree系统可以组合通用检测器(例如,EAST,PSENet,DB)在各种数据集(例如,ICDAR2019-Art、TotalText、ICDAR2015)。例如,在不使用多边形注释的情况下,PSENet在TotalText [3]上获得了80.5%的F分数(而完全监督的同行为80.9%),比直接使用直立限界框注释进行训练高出31.1%,并节省80%以上的标签成本。我们希望PF可以为文本检测提供一个新的视角,以降低标签成本。代码可以在https://github.com/weijiawu/Unconstrained-Text-Detection-with-Box-Supervisionand-…
2022-05-26 cs.CV
QANet -- Quality Assurance Network for Image Segmentation
Ben Gurion University of the Negev(内盖夫本-古里安大学);Zlotowski Center for Neuroscience(兹洛托夫斯基神经科学中心)
我们引入了一个新的深度学习框架,该框架可以定量估计图像分割质量,而无需人工检查或标记。我们将这种方法称为质量保证网络(QANet)。具体而言,给定图像和通过包括手动注释的任何方法获得的"建议"对应分割,QANet解决回归问题,以便相对于未知的地面真实估计预定义的质量度量。QANet绝不是另一种分割方法。相反,它基于一种独特的网络架构(称为RibCage)对图像分割对进行多层次、多特征的比较。为了证明QANet的实力,我们使用来自不同领域的两个不同数据集,即来自细胞分割基准的高通量活细胞显微镜图像和来自叶分割挑战的植物自然图像,对实例分割进行了评估。虽然合成的分割被用于训练QANet,但它是在通过参与不同挑战的公开可用方法获得的分割上进行测试的。我们表明,QANet准确地估计了评估分割的分数相对于隐藏的地面真相,由挑战的组织者公布。代码可在:TBD。
2019-11-05 cs.AI cs.CV cs.LG
Panoptic Image Annotation with a Collaborative Assistant
Google Research(谷歌研究院)
本文旨在减少用于全景分割的注释图像的时间,这需要注释所有对象实例和填充区域的分割掩模和类标签。我们制定我们的方法作为一个注释者和自动化助理谁轮流共同注释图像使用预定义的片段池之间的协作过程。注释者执行的操作充当一个强上下文信号。助手通过自己注释图像的其他部分来智能地对此信号做出反应,这减少了注释器所需的工作量。我们在COCO panoptic数据集上进行了彻底的实验,无论是在模拟中还是在人工注释中。这些表明,我们的方法比[4]最近的机器辅助界面快得多,比手动多边形绘制快2.4倍到5倍。最后,我们在ADE20k上展示了我们的方法可以用于有效地注释新数据集,从非常少量的注释数据开始。
2020-12-15 cs.CV
Efficient Interactive Annotation of Segmentation Datasets with Polygon-RNN++
University of Toronto(多伦多大学);NVIDIA(英伟达);Vector Institute(向量研究所)
使用对象掩码手动标记数据集非常耗时。在这项工作中,我们遵循Polygon-RNN的思想,使用人机交互来生成对象的多边形注释。我们对模型进行了几项重要的改进:1)我们设计了一种新的CNN编码器架构,2)展示了如何使用强化学习有效地训练模型,3)使用图神经网络显着提高输出分辨率,使模型能够准确地注释图像中的高分辨率对象。对Cityscapes数据集的广泛评估表明,我们的模型(我们称之为Polygon-RNN++)在自动(平均IoU的10%绝对和16%相对改善)和交互方式(需要注释者减少50%的点击)方面都显着优于原始模型。我们进一步分析了跨域场景,其中我们的模型在一个数据集上进行训练,并在来自不同领域的数据集上开箱即用。结果表明,Polygon-RNN++具有强大的泛化能力,与现有的像素方法相比取得了显着的改进。使用简单的在线微调,我们进一步实现了新数据集的注释时间的大幅减少,向实践中使用的交互式注释工具迈进了一步。
2018-03-26 cs.CV
Coarse-to-Fine Annotation Enrichment for Semantic Segmentation Learning
The University of Queensland(昆士兰大学);University of Electronic Science and Technology of China(电子科技大学)
丰富的高质量注释数据对于语义分割学习至关重要,但获取密集的像素级地面实况既耗时又费力。粗略的注释(例如,粗糙多边形)提供了一种经济的替代方案,遗憾的是,使用该替代方案,训练阶段几乎不能产生令人满意的性能。为了以较低的时间成本生成高质量的注释数据进行准确分割,本文提出了一种新的注释丰富策略,该策略将现有的训练数据的粗注释扩展到更细的尺度。在Cityscapes和PASCAL VOC 2012基准测试上进行的大量实验表明,使用我们框架中丰富的注释训练的神经网络比使用原始粗糙标签训练的神经网络有显著的改进。这是非常有竞争力的性能,通过使用人类注释的密集注释。所提出的方法也优于其他国家的最先进的弱监督分割方法。
2018-08-22 cs.CV cs.LG
Efficient Full Image Interactive Segmentation by Leveraging Within-image Appearance Similarity
Google Research(谷歌研究院)
我们提出了一种新的交互式全图像语义分割方法,该方法可以快速收集具有以前看不到的语义类的新数据集的训练数据(演示可在https://youtu.be/yUK8D5gEX-o上获得)。我们利用一个关键的观察:从标记的像素到未标记的像素的传播不一定需要类别特定的知识,而是可以纯粹基于图像内的外观相似性来完成。我们建立在这个观察,并提出了一种方法,能够联合传播像素标签从多个类,而没有明确的类特定的外观模型。为了实现长距离传播,我们的方法首先在整个图像中全局测量标记和未标记像素之间的外观相似性。然后,它局部地整合每像素的测量,提高了边界的准确性,并消除了均匀区域中的噪声标签开关。我们还设计了一个高效的手动注释接口,扩展了传统的多边形绘制工具,提供了一套额外的方便功能(并添加自动传播)。COCO Panoptic Challenge数据集上的人类注释器实验表明,与多边形绘制相比,我们更好的手动界面和我们新颖的自动传播机制的结合导致注释时间减少了2倍以上。我们还在ADE-20 k和Fashionista数据集上测试了我们的方法,没有进行任何特定于数据集的调整,也没有重新训练我们的模型,证明它可以推广到新的数据集和视觉类。
2020-07-16 cs.CV
COCONut: Modernizing COCO Segmentation
ByteDance(字节跳动)
针对COCO分割基准标注粗糙、不同分割类型标注不一致的问题,研究团队推出含38.3万张图像、超518万高质量全景掩码的COCONut数据集,统一三类分割标注,构建经人工验证的大规模通用分割基准。
2024-04-12 cs.CV
LSP-DETR: Efficient and Scalable Nuclei Segmentation in Whole-Slide Images
Masaryk University, Faculty of Informatics(马萨里克大学信息学院);Masaryk University, Institute for Computer Science(马萨里克大学计算机科学研究所);Masaryk Memorial Cancer Institute(马萨里克纪念癌症研究所)
LSP-DETR通过轻量级Transformer和星形凸多边形表示,在全滑动图像中实现高效且可扩展的细胞核分割,展现出卓越的效率和泛化能力。
2026-09-10 cs.CV
Large-scale interactive object segmentation with human annotators
Google Research(谷歌研究院)
手动注释对象分割蒙版非常耗时。交互式对象分割方法提供了一种更有效的替代方案,其中人类注释者和机器分割模型协作。在本文中,我们对交互式分割做出了几项贡献:(1)我们在模拟中系统地探索了深度交互式分割模型的设计空间,并报告了新的见解和警告;(2)我们使用真实的人类注释器执行了大规模的注释活动,为OpenImages数据集上的250万个实例生成了掩码。我们计划公开发布这些数据,形成现有最大的实例分割数据集。此外,通过重新注释COCO数据集的一部分,我们表明我们可以比传统的多边形绘制工具快3倍地生成实例掩码,同时还提供更好的质量。(3)我们提出了一种技术,用于自动估计所产生的面具,利用间接的注释过程中的信号的质量。
2019-04-17 cs.CV
Latent Commonality Expectation-Maximisation for Box-supervised Tree Crown Instance Segmentation
University of Technology Sydney(悉尼科技大学)
提出LACE框监督分割模型,利用冻结自监督特征和期望最大化分离树冠共性,仅用框标注即超越掩膜监督基线,适用于稀疏冠层环境。
2026-09-23 cs.CV
Fast Interactive Object Annotation with Curve-GCN
University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
通过跟踪对象的边界来手动标记对象是一个费力的过程。在Polygon-RNN++中,作者提出了Polygon-RNN,它使用CNN-RNN架构以递归方式生成多边形注释,允许通过人工循环进行交互式校正。我们提出了一个新的框架,通过使用图卷积网络(GCN)同时预测所有顶点,来描述Polygon-RNN的顺序性质。我们的模型是端到端训练的。它支持通过多边形或样条线进行对象注释,从而提高基于线的对象和弯曲对象的标注效率。我们表明,Curve-GCN在自动模式下优于所有现有方法,包括功能强大的PSP-DeepLab,并且在交互方式下比Polygon-RNN++更有效。我们的模型在自动模式下运行时间为29.3 ms,在交互方式下运行时间为2.6 ms,比Polygon-RNN++快10倍和100倍。
2019-03-16 cs.CV cs.LG
Progressive Evolution from Single-Point to Polygon for Scene Text
Huazhong University of Science and Technology(华中科技大学);South China University of Technology(华南理工大学)
针对单点文本标注定位信息不足的问题,本文提出 Point2Polygon,由粗到细利用识别置信度和识别信息将单点转换为紧凑多边形,并在 ICDAR 2015 等实验中验证其有效性。
2024-05-10 cs.CV
Annotating Object Instances with a Polygon-RNN
University of Toronto(多伦多大学)
我们提出了一种半自动标注对象实例的方法。虽然目前大多数方法将对象分割视为像素标记问题,但我们在这里将其视为多边形预测任务,模仿大多数当前数据集的注释方式。特别是,我们的方法作为输入的图像作物,并依次产生多边形的顶点概述的对象。这允许人类注释者在任何时候进行干预,并在需要时校正顶点,从而产生注释者所期望的精确分割。我们表明,我们的方法在Cityscapes中的所有类中将注释过程加快了4.7倍,同时在IoU中实现了78.4%的与原始地面事实的一致性,与人类注释者之间的典型一致性相匹配。对于汽车,我们的加速系数为7.3,协议率为82.2%。我们进一步展示了我们的方法对未知数据集的泛化能力。
2017-04-18 cs.CV
VisioFirm: Cross-Platform AI-assisted Annotation Tool for Computer Vision
TOELT LLC AI lab(TOELT LLC人工智能实验室)
本研究推出开源跨平台AI辅助视觉标注工具VisioFirm,集成CLIP、Grounding DINO等基础模型与交互式标注功能,可减少90%人工工作量并保持高准确率,支持多格式导出与离线运行。
2025-09-04 cs.AI cs.CV
Split GCN: Effective Interactive Annotation for Segmentation of Disconnected Instance
Ajou University(亚洲大学);SelectStar AI Research(SelectStar AI 研究院)
人工标注对象边界需要很高的成本。最近,基于人工交互的注释方法已经显示出成功的性能。然而,给定连接顶点拓扑,这些方法表现出难以预测的对象中的断开组件。本文介绍了Split-GCN,一种基于多边形方法和自注意力机制的新体系结构。通过提供方向信息,Split-GCN使多边形顶点能够更精确地移动到对象边界。我们的模型成功地预测断开组件的一个对象,通过转换的初始拓扑结构,使用上下文交换的依赖关系的顶点。Split-GCN在Cityscapes上展示了与最先进的模型竞争的性能,甚至在基线模型上表现出更高的性能。在四个跨域数据集上,我们证实了我们的模型的泛化能力。
2021-12-13 cs.AI cs.CV
Selective Synthetic Augmentation with Quality Assurance
The Pennsylvania State University(宾夕法尼亚州立大学);National Institutes of Health(美国国立卫生研究院)
自动化医学图像分析系统的监督训练通常需要大量难以收集的专家注释,并且对于罕见疾病,不同类别的可用数据比例可能高度不平衡。为了缓解这些问题,我们研究了一种新的数据增强管道,该管道选择性地添加由条件对抗网络(cGAN)生成的新合成图像,而不是直接使用合成图像扩展训练集。我们引入合成增强流水线的选择机制的动机是观察到,尽管cGAN生成的图像在视觉上很吸引人,但它们不能保证包含分类性能改进的基本特征。通过基于其分配的标签的置信度及其与真实标记图像的特征相似性选择合成图像,我们的框架通过确保将选定的合成图像添加到训练集中将提高性能来为合成增强提供质量保证。我们评估我们的模型上的医学组织病理学数据集,和两个自然的图像分类基准,CIFAR10和SVHN。这些数据集上的结果显示,通过利用cGAN生成的图像进行选择性增强,分类性能得到了显著且一致的改善(准确率分别提高了6.8%,3.9%,1.6%)。
2019-12-09 cs.CV
Topology-Preserving Polygon Augmentation for Segmentation in Structured Visual Domains
Independent Researcher(独立研究者)
本文提出一种轻量拓扑保持的多边形增强方法,用于保持结构视觉领域中多边形标注的拓扑关系,提升分割任务的标注一致性。
2026-05-15 cs.AI cs.CV cs.LG
Mitigating Distributional Shift in Semantic Segmentation via Uncertainty Estimation from Unlabelled Data
University of Oxford(牛津大学);Oxford Robotics Institute(牛津机器人研究所);Hartree Centre(哈特里中心)
本文提出Gamma-SSL分割网络,利用未标注数据通过数据增强一致性学习不确定性估计,在SAX基准上以单次前向传播检测分布偏移,显著超越现有不确定性估计和OoD方法。
2024-02-27 cs.CV cs.RO
Active Learning for Semantic Segmentation with Multi-class Label Query
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
本研究提出一种带多类标签查询的语义分割主动学习方法,通过两阶段算法消解部分标签歧义,搭配专用采集函数,在更低标注成本下于Cityscapes和PASCAL VOC 2012上取得更优性能。
2023-11-06 cs.AI cs.CV cs.LG
Object as Distribution
MIT(麻省理工学院)
目标检测是视觉场景理解的一个关键部分。检测任务中的对象的表示对注释的效率和可行性、对遮挡、姿态、照明和语义不确定性的其他视觉源的鲁棒性以及在现实世界应用中的有效性(例如,自动驾驶)。流行的对象表示包括2D和3D边界框、多边形、样条线、像素和体素。每个人都有自己的长处和短处。在这项工作中,我们提出了一种新的表示的基础上的二元正态分布的对象。这种基于分布的表示具有高度重叠对象的鲁棒检测的益处,并且由于对象边缘的统计表示而具有改进下游跟踪和实例分割任务的潜力。我们提供了定性评估的对象检测任务和定量评估其使用的基线算法的实例分割任务的这种表示。
2019-07-25 cs.CV cs.LG eess.IV
The AAU Multimodal Annotation Toolboxes: Annotating Objects in Images and Videos
Aalborg University(奥尔堡大学)
这份技术报告介绍了两个注释工具箱,它们可以创建基于像素和像素的遮罩以及感兴趣对象周围的边界框。这两个工具箱都支持RGB和热模态中的序列图像的注释。每个带注释的对象都被分配了一个分类标签、一个唯一的ID和一个或多个可选的Meta数据标签。这些工具箱是用C++编写的,带有OpenCV和Qt库,并通过使用可视化界面和广泛的键盘快捷键进行操作。预构建的二进制文件可用于Windows和MacOS,这些工具也可以在Linux下从源代码构建。到目前为止,已经有数万个框架使用工具箱进行了注释。
2018-09-10 cs.CV
AgRegNet: A Deep Regression Network for Flower and Fruit Density Estimation, Localization, and Counting in Orchards
Washington State University(华盛顿州立大学)
针对果园人工成本高的问题,提出基于深度回归的AgRegNet网络,依托点标注和注意力模块实现花果的密度估计、定位与计数,在苹果园数据集上精度优异,适用于疏密不同的花果场景,可助力产量估算和疏花管理。
2025-01-16 cs.AI cs.CV
Cross-Model Image Annotation Platform with Active Learning
Defence Science Technology Agency(国防科技局);National Technological University(南洋理工大学)
近几十年来,我们看到了机器学习的巨大飞跃。机器可学习性的中心思想在于构建从良好数据中学习的学习算法。近年来,越来越多的数据被公开,这也加速了人工智能的发展。在计算机视觉领域,图像数据的质量取决于图像标注的准确性。标记大量的图像数据是一项艰巨而繁琐的任务。这项工作提出了一个端到端的管道工具,对象注释和识别的目的是使快速图像标记。我们已经开发了一个模块化的图像注释平台,它无缝地结合了辅助图像注释(注释辅助),主动学习和模型训练和评估。我们的方法提供了一些优势,目前的图像注释工具。首先,注释辅助利用参考层次和参考图像来定位图像中的对象,从而减少了对整个对象进行注释的需要。其次,可以使用多边形点来注释图像,从而允许注释任何形状的对象。第三,它还可以跨多个图像模型进行互操作,并且该工具为一系列预训练模型的对象模型训练和评估提供了接口。我们已经测试了该模型,并嵌入了几个基准深度学习模型。最高的准确率达到74%。
2020-08-06 cs.CV
Pixel-Level Pavement Distress Assessment Using Instance Segmentation
Computer Science Department University of Wisconsin - Green Bay, Green Bay, WI, USA(威斯康星大学绿湾分校计算机科学系)
提出基于Mask R-CNN实例分割的路面病害分析系统,在自定义数据集上实现精确的裂缝和坑洞分割,并验证了其在实际路面图像中的有效性。
2026-10-14 cs.CV
Deep Learning-Based Fixation Type Prediction for Quality Assurance in Digital Pathology
Institute of Pathology, Technical University of Munich, Germany(慕尼黑技术大学病理学研究所);School of Computation, Information and Technology, Technical University of Munich, Germany(慕尼黑技术大学计算、信息与技术学院);Munich Center for Machine Learning, Germany(慕尼黑机器学习中心);Institute of Pathology, University of Regensburg, Regensburg, Germany(罗森堡大学病理学研究所);Institute of Pathology and Molecular Diagnostics, University Hospital of Augsburg, Germany(埃格利希大学医院病理学与分子诊断研究所);Digital Medicine, University Hospital of Augsburg, Germany(埃格利希大学医院数字医学);Bavarian Cancer Research Center (BZKF), Augsburg, Germany(巴伐利亚癌症研究中心(BZKF));Bio M {}^{\text{M}} Biotech Cluster Development GmbH, Martinsried, Germany(Bio M {}^{\text{M}} 生物技术集群发展 GmbH);Institute of Pathology, Medical Faculty Mannheim, University Heidelberg, Germany(海德堡大学曼海姆医学学院病理学研究所);Munich Data Science Institute, Technical University of Munich, Germany(慕尼黑数据科学研究所)
本研究提出一种基于深度学习的模型,利用低分辨率预扫描图像预测病理切片的固定类型,提高了高通量病理学工作流程中的质量控制效率。
2026-02-13 cs.CV
Exploring Machine Learning Engineering for Object Detection and Tracking by Unmanned Aerial Vehicle (UAV)
Edgewood Jr/Sr High School(埃奇伍德初中/高中);Florida Institute of Technology(佛罗里达理工学院)
本研究开发了一个强调保障方法的机器学习流水线,构建了模拟室内SAR的新数据集,并在Parrot Mambo无人机上部署YOLOv4和Mask R-CNN模型实现实时目标检测与跟踪,达到0.1942平均损失和96%准确率。
2024-12-19 cs.AI cs.CV cs.LG
Quality Assured: Rethinking Annotation Strategies in Imaging AI
German Cancer Research Center(德国癌症研究中心);Helmholtz Imaging(亥姆霍兹成像中心);Heidelberg University(海德堡大学);University of Minnesota(明尼苏达大学);National Center for Tumor Diseases(国家肿瘤疾病中心)
本文研究了标注公司内部质量保证(QA)对影像AI数据标注质量的影响,基于57,648张实例分割图像发现标注公司优于MTurk,且改进标注说明比投资内部QA更能提升标注效率。
2024-07-26 cs.AI cs.CV cs.LG
Foreign object segmentation in chest x-rays through anatomy-guided shape insertion
University Medicine Essen(埃森大学医学部);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对胸部X光片中异物分割标注困难的问题,提出通过解剖引导的任意形状插入和剪切粘贴增强生成合成数据,在减少93%人工标注下达到全监督模型性能。
2025-01-21 cs.CV
CLAIRE-DSA: Fluoroscopic Image Classification for Quality Assurance of Computer Vision Pipelines in Acute Ischemic Stroke
TU Delft(代尔夫特理工大学);Erasmus MC(埃因霍温麦斯特理工大学);Maastricht UMC+(马斯特里赫特大学医学中心);TU Eindhoven(埃因霍温理工大学)
提出CLAIRE-DSA框架,基于ResNet微调分类透视MinIP图像属性,过滤低质量图像后分割成功率从42%提升至69%,为AIS机械取栓提供质量控制。
2025-08-18 cs.AI cs.CV
RandCrowns: A Quantitative Metric for Imprecisely Labeled Tree Crown Delineation
University of Florida(佛罗里达大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在遥感中用于对象描绘的监督方法需要标记的地面实况数据。收集足够的高质量地面实况数据是困难的,特别是当目标形状不规则或难以与背景或邻近物体区分时。树冠描绘为林业、生态和管理提供了遥感图像的关键信息。然而,在遥感图像中的树冠往往是难以标注和注释,由于不规则的形状,重叠的树冠,阴影,和模糊的边缘。在该领域中还有多种注释方法(例如,矩形框与凸多边形),这进一步导致注释不精确。然而,目前的评估方法没有考虑到注释中的这种不确定性,并且用于评估的定量度量可以在多个注释器之间变化。在本文中,我们解决这些限制,通过开发一个适应的兰德指数弱标记的树冠划定,我们称之为RandCrowns。我们新的RandCrowns评估指标提供了一种方法来适当地评估描绘的树冠,同时考虑到地面真实描绘的不精确性。RandCrowns度量通过调整计算索引的每个项的区域来重新制定Rand索引,以考虑不确定和不精确的对象描绘标签。与常用的交集方法进行定量比较,可以看出多个注释器之间的差异所产生的方差有所减少。结合定性的例子,我们的研究结果表明,RandCrowns度量是更强大的评分目标划定中存在的不确定性和不精确的注释是固有的树冠划定。
2021-10-20 cs.CV
Few Shot Learning Framework to Reduce Inter-observer Variability in Medical Images
Volvocars R&D Tech Office USA(沃尔沃汽车美国研发技术办公室)
大多数计算机辅助病理检测系统依赖于大量的高质量注释数据来辅助诊断和后续程序。然而,保证大量带注释的医学图像数据的质量可能是主观的且昂贵的。在这项工作中,我们提出了一种新的标准化框架,实现了三个少样本学习(FSL)模型,可以迭代训练最多5个图像每个3D堆栈生成多个区域的建议(RP)每个测试图像。这些FSL模型包括一个新的并行回声状态网络(ParESN)框架和一个增强的U-网模型。此外,我们提出了一种新的目标标签选择算法(TLSA),测量RP和手动标注的目标标签之间的相对一致性,以检测每幅图像的“最佳”质量注释。使用FSL模型,我们的系统实现了0.28-0.64 Dice系数跨供应商图像堆栈的视网膜内囊肿分割。此外,TLSA能够自动将60-97%的图像中的高质量目标标签从其嘈杂的对应物中分类出来,同时确保对剩余图像进行手动监督。此外,所提出的框架与ParESN模型最大限度地减少手动注释检查的图像总数的12-28%。TLSA度量进一步提供用于自动化注释质量保证的置信度分数。因此,所提出的框架对于其他图像堆栈的质量图像注释管理的扩展也是灵活的。
2020-08-07 cs.CV cs.LG
TJDR: A High-Quality Diabetic Retinopathy Pixel-Level Annotation Dataset
Tongji University(同济大学);Tongji Hospital, School of Medicine, Tongji University(同济大学附属同济医院);Tongji Eye Institute, School of Medicine, Tongji University(同济大学医学院同济眼科研究所)
本文提出TJDR数据集,包含561张来自同济医院的高分辨率眼底图像,由眼科医生像素级标注四种DR病变,并公开训练与测试集,以推动DR病变分割研究。
2023-12-24 cs.CV eess.IV
Extracting Human Attention through Crowdsourced Patch Labeling
Seoul National University(首尔大学)
针对图像分类数据集偏差问题,提出结合AI辅助与众包的块标注方法提取人类注意力,有效缓解模型偏差并提升标注效率。
2024-03-22 cs.CV cs.HC
Self-supervised Scene Text Segmentation with Object-centric Layered Representations Augmented by Text Regions
University of Science and Technology of China(中国科学技术大学);Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
针对文本分割像素级标签成本高、合成数据与真实场景分布差异大的问题,提出带区域查询模块和表示一致性约束的自监督场景文本分割算法,无需像素标注和合成预训练,性能优于现有无监督SOTA。
2023-08-25 cs.CV