Generalized Mask-aware IoU for Anchor Assignment for Real-time Instance Segmentation
TU Darmstadt(达姆施塔特工业大学);METU(中东技术大学);Five AI Ltd.(Five AI 有限公司);LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS(LIGM,巴黎高科桥路学校,古斯塔夫·埃菲尔大学,法国国家科学研究中心);Center for Robotics and Artificial Intelligence (ROMER), METU(中东技术大学机器人与人工智能中心(ROMER))
提出广义掩码感知IoU(GmaIoU)用于锚点分配,结合分割掩码提升监督精度,应用于ATSS和YOLACT,实现更快的推理和更高的掩码AP,最佳模型在COCO上达到38.7掩码AP。
2023-12-28 cs.CV
Performance Evaluation of Deep Learning for Tree Branch Segmentation in Autonomous Forestry Systems
Centre for Data Science and Artificial Intelligence(数据科学与人工智能中心);Victoria University of Wellington(惠灵顿维多利亚大学);Department of Computer Science and Software Engineering(计算机科学与软件工程系);University of Canterbury(坎特伯雷大学)
本文评估了不同深度学习方法在自主林业系统中树枝分割的性能,发现U-Net+MiT-B3在高分辨率下表现最佳,PSPNet在效率上最优。
2025-12-05 cs.CV
CT organ segmentation using GPU data augmentation, unsupervised labels and IOU loss
Stanford University(斯坦福大学)
全卷积神经网络在各种图像分割任务中取得了优异的性能。然而,它们的训练需要对大型数据集进行费力的手动注释,以及通过具有高带宽内存的并行处理器(如GPU)进行加速。我们表明,简单的模型可以实现竞争力的准确性,器官分割的CT图像时,训练广泛的数据增强,利用现有的图形硬件,快速应用几何和光度变换的三维图像数据。在3 mm^3 CT体积上,我们的GPU实现比广泛使用的CPU版本快2.6- 8倍,包括通信开销。我们还展示了如何使用基本的形态学操作自动生成训练标签,这些操作通过3D傅立叶变换有效地计算。我们将肺和骨骼的全自动标记与肝、肾和膀胱的半自动标记相结合,创建了一个包含130个标记CT扫描的数据集。为了从数据增强中获得最佳结果,我们的模型使用了与Dice损失密切相关的交集-并集(IOU)损失函数。我们讨论了它的数学性质,并解释了为什么它优于通常的加权交叉熵损失不平衡分割任务。我们的结论是,没有唯一的IOU损失函数,因为天真的属于一个广泛的家庭的功能具有相同的基本属性。当将数据增强与IOU损失相结合时,我们的模型为每个器官实现了78-92%的Dice评分。经过训练的模型,代码和数据集将公开提供,以进一步开展医学成像研究。
2018-11-27 cs.CV cs.NE
Optic Disc Segmentation using Disk-Centered Patch Augmentation
Georgia State University(乔治亚州立大学)
视神经盘是眼睛的一个重要诊断特征,因为它的外貌变化与各种眼部和心血管疾病的严重程度相关。虽然在彩色眼底图像中识别视盘的大部分是简单的,但在像素级准确分割其边界是非常具有挑战性的。在这项工作中,我们提出了以圆盘为中心的补丁增强(DCPA)-一种简单但新颖的深度神经网络训练方案-来解决这个问题。DCPA在全尺寸图像上实现了最先进的结果,即使使用小型神经网络,特别是只有700万个参数的U-Net,而不是原始的3100万个。在DCPA中,我们将训练数据限制为完全包含视神经的补丁。此外,我们还训练网络使用动态代价函数,以增加其鲁棒性。我们在五个视网膜数据集上测试了DCPA训练的网络:DRISTI,DRIONS-DB,DRIVE,AV-WIDE和CHASE-DB。前两个有可用的视盘地面实况,我们手动估计后三个的地面实况。我们的方法在四个数据集上实现了最先进的F1和IOU结果(DRISTI上95% F1,91% IOU; DRIVE上92% F1,84% IOU; AV-WIDE上83% F1,71% IOU; CHASEDB上83% F1,71% IOU),并在第五个数据集上实现了竞争性结果(DRIONS-DB上95% F1,91% IOU),证实了其通用性。我们的开源代码和地面实况注释可在https://github.com/saeidmotevali/fundusdisk上获得
2021-10-01 cs.CV cs.LG eess.IV
Semi-Unsupervised Microscopy Segmentation with Fuzzy Logic and Spatial Statistics for Cross-Domain Analysis Using a GUI
ITMO University(ITMO大学)
针对无染色显微图像分割难题,提出基于模糊逻辑与空间统计的免标注无监督框架,通过背景估计与去噪校准实现跨域分割,在多个数据集上超越现有方法,并引入同质图像平面理论。
2025-10-13 cs.CV eess.IV
Brachial Plexus Nerve Trunk Segmentation Using Deep Learning: A Comparative Study with Doctors' Manual Segmentation
Research Institute for Medical and Biological Engineering, Ningbo University(宁波大学医学与生物工程研究院);Affiliated Hospital of Medical School of Ningbo University(宁波大学医学院附属医院);Ningbo No. 6 Hospital(宁波市第六医院)
本研究构建含320张臂丛超声图像的公开数据集,提出基于深度学习的BPSegSys分割系统,其分割精度超过经验丰富医生,可辅助提升神经识别准确率,具备临床应用价值。
2022-05-17 cs.CV cs.LG eess.IV
Boosting Mask R-CNN Performance for Long, Thin Forensic Traces with Pre-Segmentation and IoU Region Merging
AIUI GmbH(AIUI有限公司)
Mask R-CNN最近在实例分割领域取得了巨大的成功。然而,该算法的弱点也被反复指出,特别是在分割方向不完全是水平或垂直的长而稀疏的对象时。在这里,我们提出了一种方法,显着提高了算法的性能,首先预分割的图像与PSPNet算法。为了进一步提高其预测能力,我们以训练策略的形式开发了自己的成本函数和算法,可以防止所谓的(早期)过拟合,实现更有针对性的收敛。此外,由于图像的高方差,特别是对于PSPNet,我们的目标是开发高鲁棒性和泛化的策略,这也在这里提出。
2022-03-08 cs.AI cs.CV cs.RO
Chest X-ray lung and heart segmentation based on minimal training sets
Eötvös Loránd University(厄特沃什·罗兰大学)
随着COVID-19疫情加剧全球医生的过度工作量,对医学影像分析的计算机辅助方法的需求进一步增加。这样的工具可以产生更稳健的诊断管道,其不太容易出现人为错误。在我们的论文中,我们提出了一个深度神经网络,我们称之为Attention BCDU-Net,并将其应用于胸部X射线(CXR)图像的肺和心脏分割任务,这是诊断流程中的一个基本但优选的步骤,例如用于检测心脏肥大。我们表明,微调模型超过了以前的最先进的结果,达到$98.1\pm 0.1\%$ Dice评分和$95.2\pm 0.1\%$ IoU评分的日本放射技术学会(JSRT)的数据集。除此之外,我们通过使用大小为10和20的训练集获得令人惊讶的强大结果来证明任务的相对简单性:在Dice评分方面,分别为$97.0\pm 0.8\%$和$97.3\pm 0.5$,而在IoU评分方面,分别为$92.2\pm 1.2\%$和$93.3\pm 0.4\%$。为了达到这些分数,我们利用了mixup增强技术,该技术在10号设置中产生了高于$4\%$ IoU分数的显著增益。
2021-01-20 cs.CV eess.IV
Exploiting CNNs for Semantic Segmentation with Pascal VOC
University of California, San Diego(加州大学圣地亚哥分校)
本文针对Pascal VOC语义分割任务,在FCN基线基础上提出三项训练改进,探索三种架构,发现数据增强贡献最大,基于ResNet的迁移学习性能最优。
2023-05-05 cs.AI cs.CV
End-to-End Segmentation via Patch-wise Polygons Prediction
Tel-Aviv University(特拉维夫大学)
主要的分割方法将输出地图表示为像素网格。我们研究了另一种表示,其中对象的边缘建模,每个图像补丁,作为一个多边形与$k$顶点,再加上每个补丁标签概率。通过采用可微分神经渲染器来创建光栅图像来优化顶点。然后将描绘的区域与地面实况分割进行比较。我们的方法获得了多个最先进的结果:Cityscapes验证的mIoU为76.26\%,Vaihingen建筑分割基准的IoU为90.92\%,MoNU显微镜数据集的IoU为66.82\%,鸟类基准CUB为90.91\%。我们训练和复制这些结果的代码作为补充。
2021-12-05 cs.CV
Fast Self-Supervised depth and mask aware Association for Multi-Object Tracking
Concordia University(康科迪亚大学)
提出一种基于自监督编码器的TBD多目标跟踪方法,融合深度与掩码特征生成稳定目标表示,避免计算掩码IoU,在复杂场景基准上优于现有方法。
2025-10-10 cs.CV
Light-Weight RefineNet for Real-Time Semantic Segmentation
The University of Adelaide(阿德莱德大学)
我们认为有效且高效的语义图像分割是一项重要任务。特别是,我们适应了一个强大的语义分割架构,称为精炼网,到更紧凑的,甚至适合的任务,需要高分辨率输入的实时的【形】性能。为此,我们确定了计算昂贵的块在原来的设置,并提出了两个修改,旨在减少参数和浮点运算的数量。通过这样做,我们实现了超过两倍的模型减少,同时保持性能水平几乎不变。我们最快的模型在512x512输入的通用GPU卡上从20 FPS显著加速到55 FPS,在PASCAL VOC测试集上平均iou性能为81.1%,而我们最慢的模型为32 FPS(从原始的17 FPS),在同一数据集上平均iou性能为82.7%。或者,我们展示了我们的方法很容易与轻量级分类网络混合:我们使用仅包含3.3M参数并仅执行9.3B浮点运算的模型在PASCAL VOC上获得了79.2%的平均iou。
2018-10-08 cs.CV
FAU-Net: An Attention U-Net Extension with Feature Pyramid Attention for Prostate Cancer Segmentation
Tecnologico de Monterrey(蒙特雷科技大学);Hospital Sant Joan de Déu(圣胡安德迪奥斯医院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出FAU-Net,一种结合加性注意力和特征金字塔注意力的U-Net扩展,用于MRI前列腺区域分割,在测试集上达到84.15%的平均DSC和76.9%的IoU,优于多数对比模型。
2023-09-04 cs.CV eess.IV
RankSEG: A Consistent Ranking-based Framework for Segmentation
The Chinese University of Hong Kong(香港中文大学);University of Minnesota(明尼苏达大学)
本文提出基于排序的一致性分割框架RankDice/RankIoU,解决现有阈值法在Dice/IoU指标下不一致的问题,并证明其校准性与收敛性,在多个数据集上验证了有效性。
2023-11-13 cs.CV cs.LG math.ST
Segmenting Medical Images: From UNet to Res-UNet and nnUNet
Brunel University London(布鲁内尔大学伦敦分校)
本文比较了UNet、Res-UNet、Attention Res-UNet和nnUNet在脑肿瘤、息肉及心脏分割任务中的表现,发现nnUNet整体性能最优,尤其在召回率和准确率上表现突出,适合临床应用。
2024-07-05 cs.CV eess.IV
Interactive Full Image Segmentation by Considering All Regions Jointly
Google Research(谷歌研究院)
我们解决了交互式全图像注释,其目标是准确地分割图像中的所有对象和填充区域。我们提出了一个交互式的,基于涂鸦的注释框架,它对整个图像产生分割的所有区域。这使得能够跨区域共享涂鸦校正,并允许注释器专注于机器在整个图像中产生的最大错误。为了实现这一点,我们将Mask-RCNN适配到一个快速交互式分割框架中,并在完整图像画布中引入一个在像素级测量的实例感知损失,这使得对附近区域的预测能够正确地竞争空间。最后,我们比较COCO panoptic数据集上的交互式单对象分割。我们证明了我们的交互式完整图像分割方法可以获得5%的IoU增益,在每个区域四次极端点击和四次纠正涂鸦的预算下达到90%的IoU。
2019-04-10 cs.CV
MapAI: Precision in Building Segmentation
The Norwegian Mapping Authority(挪威测绘局);University of Agder(阿格德大学);Centre for Artificial Intelligence Research(人工智能研究中心);Norkart(诺卡特公司);AI:Hub(AI中心);SDFI(丹麦地质调查局)
本文介绍了由NORA等机构联合举办的MapAI建筑物分割竞赛,提出两项分别基于航空图像和激光数据的分割任务,并采用IoU和Boundary IoU评估模型精度。
2024-01-09 cs.CV
SEMU-Net: A Segmentation-based Corrector for Fabrication Process Variations of Nanophotonics with Microscopic Images
McGill University(麦吉尔大学)
针对集成硅光子器件对制造偏差的敏感性问题,提出SEMU-Net方法,通过分割SEM图像训练预测器和校正器两个U-Net基模型,有效预测并校正制造偏差,实验中分割模型IoU达99.30%,校正器模型达98.67%。
2024-11-25 cs.CV eess.IV
Explainable Convolutional Neural Networks for Retinal Fundus Classification and Cutting-Edge Segmentation Models for Retinal Blood Vessels from Fundus Images
Ahsanullah University of Science and Technology(阿萨努拉科技大学)
本研究开发双管道框架,结合可解释CNN分类与注意力/Transformer模型的视网膜血管分割,在FIVES和DRIVE数据集上取得分类准确率94.17%、分割IoU最高0.648的成果。
2026-09-04 cs.CV eess.IV
Enhanced Seam Segmentation for Automated Welding Robot in Construction Through Transfer Learning: Addressing Limitations of Bilateral Segmentation Network
Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔国立大学人工智能跨学科项目);Department of Civil Engineering and Construction, Georgia Southern University(佐治亚南方大学土木工程与建筑系);The Graduate School of Advanced Imaging Science, Multimedia & Film, Chung-Ang University(中央大学先进影像科学、多媒体与电影研究生院)
研究针对建筑自动化焊接中焊缝分割难题,提出通过迁移学习和混合损失增强BiSeNetV2的框架,提升反射鲁棒性。实验表明其联合交并比等指标优异,能恢复多数失败案例,对轻量级实时分割架构有效,为机器人焊接提供实用感知方案。
2026-07-30 cs.CV cs.LG
DCFFSNet: Deep Connectivity Feature Fusion Separation Network for Medical Image Segmentation
School of Software Yunnan University(软件学院云南大学);School of Information Yunnan University(信息学院云南大学)
本文提出DCFFSNet,通过特征空间解耦策略量化连通性特征强度并构建融合分离架构,在ISIC2018、DSB2018和MoNuSeg数据集上以Dice和IoU指标超越现有主流方法,有效改善医学图像分割的边缘精度与区域一致性。
2025-09-22 cs.CV
Oil Spill Segmentation using Deep Encoder-Decoder models
University of Groningen(格罗宁根大学)
本文研究基于深度编码器-解码器模型的高维SAR卫星图像溢油分割,发现ResNet-50编码器与DeepLabV3+解码器组合表现最佳,显著提升了溢油类别的分割精度。
2025-04-09 cs.AI cs.CV
Prediction Error Meta Classification in Semantic Segmentation: Detection via Aggregated Dispersion Measures of Softmax Probabilities
University of Wuppertal(伍珀塔尔大学);University Leipzig(莱比锡大学);Volkswagen Group Innovation(大众汽车集团创新中心)
我们提出了一种方法,“Meta”分类是否段预测的语义分割神经网络与地面真理相交。为此,我们采用预测像素类概率分布的分散度测量,如分类熵,产生输入场景大小的热图。我们将这些分散度量分段汇总,并导出与预测和地面实况的分段IoU良好相关的度量。这个过程产生了一个几乎即插即用的后处理工具,以评价段级别上的语义分割网络的预测质量。这对于监控在线应用中的神经网络尤其重要,例如自动驾驶或医学成像,其中可靠性至关重要。在我们的测试中,我们使用了在Cityscapes数据集和BraTS2017数据集上训练的公开可用的最先进的网络,并分析了不同指标以及不同指标集的预测能力。为此,我们计算逻辑LASSO回归拟合,用于对每个片段的IoU=0与IoU>0进行分类,并获得高达91.55%的AUROC值。我们用线性回归拟合来补充这些测试,以预测分段IoU,并获得低至0.130的预测标准差以及高达84.15%的$R^2$值。我们表明,这些结果明显优于标准方法。
2019-10-02 cs.CV cs.LG stat.ML
Multi-temporal crack segmentation in concrete structures using deep learning approaches
Institute of Geodesy
本研究针对混凝土结构裂缝分割问题,构建含1356组图像的多时序数据集,对比多时序Swin UNETR与单时序U-Net,发现多时序方法以更少参数实现更优分割性能,为混凝土结构监测提供新方案。
2025-09-30 cs.CV eess.IV
Out of the Room: Generalizing Event-Based Dynamic Motion Segmentation for Complex Scenes
Huawei Technologies, Zurich Research Center(华为技术有限公司苏黎世研究中心);ETH Zurich(苏黎世联邦理工学院)
针对现有运动分割方法在复杂场景泛化性差的问题,提出结合自运动补偿事件与光流的分治式事件基类别无关运动分割方法,引入时序注意力模块保证时序一致性,在室内外基准上均取得最优性能。
2024-03-07 cs.CV
Optical Flow augmented Semantic Segmentation networks for Automated Driving
CDV AI Research(CDV人工智能研究院);Valeo Vision Systems(法雷奥视觉系统公司);Valeo R&D DVS(法雷奥研发DVS中心);Nile University(尼罗河大学)
运动是自动驾驶系统中的主要线索。通常计算光流以检测移动对象并使用三角测量来估计深度。在本文中,我们的动机是利用现有的密集光流,以提高性能的语义分割。为了提供一个系统的研究,我们构建了四种不同的架构,使用RGB,流,RGBF级联和两个流RGB +流。我们使用最先进的流量估计器FlowNet v2在两个汽车数据集上评估这些网络,即Virtual KITTI和Cityscapes。我们还利用虚拟KITTI中的地面实况光流作为一个理想的估计器和标准的Farneback光流算法来研究噪声的影响。在Virtual KITTI中使用流地面实况,双流架构实现了最佳结果,IoU提高了4%。正如预期的那样,卡车、货车和汽车等移动物体的IoU分别增加了38%、28%和6%。FlowNet的平均IoU提高了2.4%,移动物体的改善幅度更大,卡车、货车和汽车分别提高了26%、11%和5%。在Cityscapes中,流动增强为摩托车和训练等移动物体提供了改善,IoU增加了17%和7%。
2019-01-11 cs.CV cs.LG stat.ML
DeSAM: Decoupled Segment Anything Model for Generalizable Medical Image Segmentation
Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences(中国科学院苏州生物医学工程技术研究所);The Hong Kong Polytechnic University(香港理工大学)
针对医学图像分割的域偏移问题及SAM自动分割性能受劣质提示耦合影响的缺陷,提出解耦式DeSAM模型,通过两个新模块实现提示与掩码生成解耦,在跨域医学分割任务上性能优于现有最优方法。
2024-07-09 cs.CV eess.IV
Insights from Autoresearch for Solar Panel Segmentation
Vilnius University(维尔纽斯大学);IRISA, Université Bretagne Sud(IRISA,南布列塔尼大学);European Commission Joint Research Centre(欧盟委员会联合研究中心)
本文探讨AutoResearch协议在太阳能电池板分割中的应用,通过编码语言模型在GPU预算内迭代改进训练程序,发现其能提升基线性能但修改不跨硬件迁移,其中Qwen3-8B在真实图像上达到0.836的IoU,略优于GAN增强方案。
2026-10-08 cs.CV
PinPoint3D: Fine-Grained 3D Part Segmentation from a Few Clicks
Department of Computer Science and Engineering(计算机科学与工程系)
针对现有3D分割方法的局限,该研究提出交互式框架PinPoint3D,结合新型3D数据合成流水线,仅需少量点击即可实现高精度细粒度3D部件分割,性能显著优于现有基线。
2025-09-30 cs.CV
PNM: Pixel Null Model for General Image Segmentation
Tsinghua University(清华大学);ByteDance Group(字节跳动集团)
图像分割中的一个主要挑战是对对象边界进行分类。最近的努力提出了改进的分割结果与边界掩模。然而,即使模型正确地捕获了对象轮廓,它们仍然容易对边界像素进行错误分类。在这种情况下,即使是完美的边界图也无助于分割细化。在本文中,我们认为,分配适当的先验权重,容易出错的像素,如对象边界,可以显着提高分割质量。具体而言,我们提出了\textit{pixel null model}(PNM),先验模型,根据其被正确分类的随机分割器的概率加权每个像素。实证分析表明,PNM捕获的错误分类分布的不同国家的最先进的(SOTA)分割。在三个数据集(Cityscapes,ADE 20 K,MS COCO)上进行的语义,实例和全景分割任务的广泛实验证实,PNM始终提高了大多数SOTA方法(包括视觉Transformer)的分割质量,并大大优于基于边界的方法。我们还观察到,广泛使用的平均IoU(mIoU)度量对不同锐度的边界不敏感。作为一个副产品,我们提出了一个新的度量,\textit{PNM IoU},它感知边界的清晰度,更好地反映了模型分割性能的易错区域。
2022-03-13 cs.CV
Automatic Classification of Symmetry of Hemithoraces in Canine and Feline Radiographs
University of Guelph(圭尔夫大学);Ontario Veterinary College(安大略兽医学院);University of Calgary(卡尔加里大学)
目的:胸部X线片通常用于评估确诊或疑似胸部病理的患者。在犬和猫X线摄影中,由于患者合作较少和体型变化,正确的患者定位比人类更具挑战性。在X光片采集过程中,患者体位不当可能导致误诊。不对称性半胸是先天性畸形的一种表现,为此我们提出了一种自动分类方法。方法:我们提出了一种基于卷积神经网络(CNN)和活动轮廓的半胸分割方法。我们利用U-Net模型分割肋骨和脊柱,然后利用活动轮廓找到左,右半胸。然后,我们从左,右半胸提取特征训练集成分类器,其中包括支持向量机,梯度提升和多层感知器。使用五重交叉验证,通过联合交叉(IoU)评价胸部分割,并使用精确度、召回率、曲线下面积和F1评分评价对称性分类。结果:900张X线片的对称性分类报告F1评分为82.8%。为了测试所提出的胸部分割方法对曝光不足和过度曝光的鲁棒性,我们综合损坏了适当曝光的X射线照片,并使用IoU评估结果。结果表明,模型的IoU不足和过度分别下降了2.1%和1.2%。结论:我们的研究结果表明,所提出的胸部分割方法是强大的曝光差的射线照片。所提出的胸部分割方法可以应用于人体X射线摄影与最小的变化。
2023-02-24 cs.CV cs.LG eess.IV
SoftPQ: Robust Instance Segmentation Evaluation via Soft Matching and Tunable Thresholds
Harvard Medical School(哈佛医学院)
SoftPQ提出一种基于软匹配和可调IoU阈值的实例分割评估指标,将评估视为连续体,增强对结构性错误的稳健性,提供更平滑、更具信息量的反馈,优于现有指标。
2025-05-27 cs.AI cs.CV cs.LG
Cell segmentation from telecentric bright-field transmitted light microscopy images using a Residual Attention U-Net: a case study on HeLa line
University of South Bohemia in České Budějovice(捷克布杰约维采南波希米亚大学);Helmholtz Centre Potsdam GFZ German Research Centre for Geosciences(亥姆霍兹波茨坦中心德国地球科学研究中心)
由于活细胞的图像复杂性和时间变化,从明场光学显微镜图像中分割活细胞是具有挑战性的。最近开发的基于深度学习(DL)的方法由于其成功和有希望的结果而在医学和显微镜图像分割任务中变得流行。本文的主要目标是开发一种基于深度学习的U-Net方法,在亮场透射光显微镜中分割HeLa细胞系的活细胞。为了找到最适合我们的数据集的架构,提出了一种剩余注意力U-网,并与注意力和简单的U-网架构进行了比较。注意机制突出了显著的特征,抑制了不相关图像区域的激活。残差机制克服了梯度消失问题。我们的数据集的Mean-IoU得分分别为简单,注意力和剩余注意力U-Net的0.9505,0.9524和0.9530。通过将残差和注意力机制一起应用,在Mean-IoU和Dice度量中实现了最准确的语义分割结果。分水岭方法应用于这个最好的-剩余注意-语义分割结果,给出了每个细胞的特定信息的分割。
2022-07-06 cs.CV eess.IV q-bio.QM
Point Label Aware Superpixels for Multi-species Segmentation of Underwater Imagery
Queensland University of Technology(昆士兰科技大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所)
使用水下航行器监测珊瑚礁,通过收集大量图像,扩大了海洋调查的范围和历史生态数据的可用性。可以使用经过训练以执行语义分割的模型来自动分析该图像,但是密集地标记图像以用于训练监督模型太昂贵和耗时。在这封信中,我们利用照片样方图像标记的生态学家与稀疏的点标签。我们提出了一种点标签感知方法,用于在超像素区域内传播标签,以获得用于训练语义分割模型的增强地面实况。我们的点标签感知超像素方法利用稀疏的点标签,并使用学习到的特征对像素进行聚类,以准确地在杂乱复杂的珊瑚图像中生成单物种片段。我们的方法在UCSD Mosaics数据集上的像素准确度和标签传播任务的平均IoU分别比之前的方法高出3.62%和8.35%,同时将之前方法报告的计算时间减少了76%。我们训练了DeepLabv3+架构,并在UCSD Mosaics数据集上的像素准确度和平均IoU分别为2.91%和9.65%,在Eilat数据集上的像素准确度和平均IoU分别为4.19%和14.32%,优于最先进的语义分割。
2022-07-10 cs.CV cs.LG cs.RO
AI-Powered Semantic Segmentation and Fluid Volume Calculation of Lung CT images in Covid-19 Patients
Sullamussalam Science College(苏拉穆萨拉姆科学学院);Govt. Medical College, Manjeri(曼杰里政府医学院)
本文提出基于DeepLabV3+和Resnet50的迁移学习分割方法,自动计算COVID-19患者肺部CT中磨玻璃影和实变体积,肺掩膜IoU达99.78%,感染区域IoU达89.01%,用于辅助医生进行患者优先级排序。
2021-10-29 cs.CV eess.IV
Uncertainty Measures and Prediction Quality Rating for the Semantic Segmentation of Nested Multi Resolution Street Scene Images
University of Wuppertal(伍珀塔尔大学)
在街道场景的语义分割中,预测的可靠性以及因此的不确定性度量是最感兴趣的。我们提出了一种方法,为每个输入图像生成一个层次结构的嵌套作物周围的图像中心,并提出这些,所有重新缩放到相同的大小,神经网络的语义分割。然后对产生的softmax输出进行后处理,这样我们就可以研究所有图像作物的均值和方差,以及从应用于每个作物softmax输出的像素不确定性度量(如熵)获得的不确定性热图的均值和方差。在我们的测试中,我们使用公开的DeepLabv3+ MobilenetV2网络(在Cityscapes数据集上训练),并证明农作物的加入提高了预测的质量,并且我们获得了更可靠的不确定性度量。然后在预测的片段上聚合这些数据,以便在IoU=0和IoU>0之间进行分类(Meta分类)或通过线性回归(Meta回归)预测IoU。后者为分割网络提供了可靠的性能估计,特别是在没有地面实况的情况下。对于Meta分类的任务,我们获得了$81.93\%$的分类精度和$89.89\%$的AUROC。对于Meta回归,我们获得的$R^2$值为$84.77\%$。与其他方法相比,这些结果产生了显着的改进。
2019-04-09 cs.CV cs.LG stat.ML
Adaptive Frequency Domain Alignment Network for Medical image segmentation
College of Intelligence and Computing(智能与计算学院);Tianjin University(天津大学)
AFDAN通过自适应频域对齐技术提升医学图像分割的准确性和鲁棒性,有效解决数据稀缺问题。
2025-12-20 cs.CV
Ingredient-Level Food Image Segmentation for Nutrition Awareness
Jarvis College of Computing and Digital Media(计算与数字媒体学院);DePaul University(德保罗大学)
研究FoodSeg103上的食材级语义分割,微调SegFormer-B0和B1模型,B1在像素精度和平均IoU上分别达到0.7929和0.3204,并输出食材面积百分比作为营养提示。
2026-06-25 cs.CV
First arrival picking using U-net with Lovasz loss and nearest point picking method
University of Houston(休斯顿大学);Advanced Geophysical Technology Inc(先进地球物理技术公司)
针对地震信号处理中的初至拾取问题,提出了一种鲁棒的分割拾取流程。与传统的分类算法不同,图像分割方法通过输出与输入图像大小相同的预测图来利用位置信息。为了进一步提高初至拾取的精度,提出了一种无参数最近点拾取算法。用合成的干净数据、合成的噪声数据、合成的拾取-断开数据和现场数据对算法进行了测试。该算法在所有接收机上都有很好的性能,每个接收机的拾取误差最低可达4.8ms。将初至波拾取问题转化为轮廓检测问题。与\cite{wu2019semi}类似,我们使用U-网来执行分割,因为它在许多图像分割任务中被证明是最先进的。特别地,使用Lovasz损失代替传统的交叉熵损失来训练网络以获得更好的分割性能。Lovasz损失是Jaccard指数的替代损失或所谓的交集(IoU)得分,这通常是分割任务中最常用的指标之一。在拾取部分,我们使用了一种新的最近点拾取(NPP)方法,以利用相邻接收机之间的初至拾取的相干性。我们的模型进行了测试和验证合成和现场数据与谐波噪声。本文的主要贡献如下:1.使用Lovasz损失直接优化分割任务的IoU。测试结果验证了该方法在分割精度方面对交叉熵损失的改善。2.提出了一种最近点拾取后处理方法,以克服分割输出中的任何缺陷。3.进行噪声分析,并使用噪声合成数据集和现场数据集验证模型。
2021-04-06 cs.CV eess.IV
Comparative Assessment of Deep Learning Architectures for Underwater Subsurface Kelp Forest Segmentation with The Kelp-o-Tron
该研究评估三种深度学习分割框架对水下海带林的分割性能,发现ResNet50-DeepLabV3(即Kelp-O-Tron)在准确率、鲁棒性和泛化性上表现最优,相关资源可用于水下生境制图与生态监测。
2026-08-26 cs.CV
Semi-Supervised Segmentation via Embedding Matching
Stryker(史赛克公司)
本文提出一种基于预测不确定性与体素嵌入匹配的半监督分割方法,利用少量标注CT图像实现髋骨分割,仅用4个扫描即取得优于现有方法的HD95和IoU结果。
2024-07-05 cs.CV
PlantC2USeg: Cross-Scale Consistent Pre-Training for Few-Shot Unified Plant Point Cloud Segmentation
McGill University(麦吉尔大学)
PlantC2USeg是含跨尺度一致性学习与信息受限解码的深度迁移学习框架,可实现植物点云的小样本统一分割,在多数据集上的全监督、小样本迁移任务中均取得领先性能,支持农业外3D表示学习。
2026-09-03 cs.CV
Toward an Artificial General Teacher: Procedural Geometry Data Generation and Visual Grounding with Vision-Language Models
Freya
本文研究几何教育中的视觉解释问题,提出通过程序生成几何图示数据,结合视觉-语言模型进行领域特定微调,提升几何元素分割性能,并引入几何感知的评估指标。
2026-04-03 cs.AI cs.CV cs.LG
Rank & Sort Loss for Object Detection and Instance Segmentation
Middle East Technical University(中东技术大学)
我们提出了Rank & Sort(RS)Loss,这是一种基于排名的损失函数,用于训练深度目标检测和实例分割方法(即视觉检测器)。RS Loss监督分类器,这些方法的一个子网络,将每个阳性排列在所有阴性之上,并根据(wrt.)它们的本地化质量(例如Intersection-over-Union - IoU)。为了解决排名和排序的不可微性质,我们将错误驱动更新与反向传播的结合重新表述为身份更新,这使我们能够在阳性之间建模我们的新排序错误。通过RS Loss,我们大大简化了培训:(i)由于我们的分类目标,分类器在没有额外辅助头的情况下对阳性进行优先排序(ii)由于其基于排名的性质,RS Loss对类别不平衡是鲁棒的,因此,不需要采样启发式,以及(iii)我们使用免调谐任务平衡系数来解决视觉检测器的多任务性质。使用RS Loss,我们仅通过调整学习率来训练七种不同的视觉检测器,并表明它始终优于基线:例如,我们的RS Loss改进了(i)更快的R-CNN,约3盒AP和aLRP Loss(基于排名的基线)通过COCO数据集上的~ 2箱AP,(ii)在LVIS数据集上通过3.5掩码AP(对于罕见类别,约7 AP)使用重复因子采样(RFS)掩码R-CNN;并且也优于所有同行。代码可在:https://github.com/kemaloksuz/RankSortLoss
2021-08-30 cs.CV
Semantic segmentation on multi-resolution optical and microwave data using deep learning
本研究使用改进型U-Net和VGG-UNet等深度学习模型,对多分辨率光学和微波卫星数据进行多类别语义分割,在六大任务中实现了85%至98%的IoU准确率。
2024-11-12 cs.CV eess.IV
Generalization vs. Specialization: Evaluating Segment Anything Model (SAM3) Zero-Shot Segmentation Against Fine-Tuned YOLO Detectors
Cornell University, Department of Biological and Environmental Engineering(康奈尔大学生物与环境工程系);University of the Peloponnese, Department of Informatics and Telecommunications(希腊皮埃里亚大学信息与电信系)
本文评估了SAM3在零样本分割中的性能,与微调的YOLO检测器相比,展示了SAM3在遮罩精度上的优势。
2025-12-09 cs.CV
Hierarchical Multi-Scale Attention for Semantic Segmentation
Nvidia(英伟达)
多尺度推理通常用于改善语义分割的结果。多个图像尺度通过网络传递,然后将结果与平均或最大池化相结合。在这项工作中,我们提出了一种基于注意力的方法来结合多尺度预测。我们表明,在某些尺度上的预测更好地解决特定的故障模式,并且网络学会了在这种情况下支持这些尺度,以便生成更好的预测。我们的注意力机制是分层的,这使得它的训练内存效率比其他最近的方法高出大约4倍。除了实现更快的训练外,这还允许我们使用更大的作物尺寸进行训练,从而提高模型精度。我们在两个数据集上展示了我们的方法的结果:Cityscapes和Mapillary Vistas。对于具有大量弱标记图像的Cityscapes,我们还利用自动标记来提高泛化能力。使用我们的方法,我们在Mapillary(61.1 IOU值)和Cityscapes(85.1 IOU测试)中实现了新的最先进的结果。
2020-05-21 cs.CV
MetaBox+: A new Region Based Active Learning Method for Semantic Segmentation using Priority Maps
Aptiv(安波福);University of Wuppertal(伍珀塔尔大学)
我们提出了一种新的基于区域的主动学习语义图像分割方法,称为MetaBox+。对于采集,我们训练Meta回归模型来估计未标记图像的每个预测段的逐段交联(IoU)。这可以被理解为逐段预测质量的估计。被查询的区域应该最小化竞争目标,即,低预测IoU值/分割质量和低估计注释成本。为了估计后者,我们提出了一个简单而实用的方法来估计注释成本。我们将我们的方法与基于熵的方法进行比较,其中我们将熵视为预测的不确定性。结果的比较和分析提供了对注释成本以及方法的鲁棒性和方差的见解。在Cityscapes数据集上使用两个不同网络进行的数值实验清楚地表明,与随机采集相比,注释工作量减少了。值得注意的是,使用MetaBox+与使用完整数据集进行训练时相比,我们实现了95%的平均交集(mIoU),两个网络的注释工作量分别为10.47% / 32.01%。
2020-10-05 cs.CV
An Experimental Study of SOTA LiDAR Segmentation Models
针对现有点云分割模型缺乏从应用视角的全面对比问题,本文通过激光雷达数据运动补偿及多维度指标对三类SOTA模型进行对比,结果助力工程师选型并启发研究者设计实用模型。
2025-02-18 cs.CV
Semantic Segmentation of Transparent and Opaque Drinking Glasses with the Help of Zero-shot Learning
TU Darmstadt(达姆施塔特工业大学);Fraunhofer IGD(弗劳恩霍夫图形数据处理研究所)
针对透明水杯分割难、部分品类样本少的问题,研究提出改进零样本模型TransCaGNet,构建合成与真实数据集,结合SAM 2并采用多类别分配策略,显著提升了分割的平均交并比与准确率。
2025-03-19 cs.CV
A Simple Framework Uniting Visual In-context Learning with Masked Image Modeling to Improve Ultrasound Segmentation
University of Alberta(阿尔伯塔大学)
针对医学超声图像标注成本高、模型泛化受限的问题,提出结合视觉上下文学习与掩码图像建模的SimICL方法,在腕部超声骨分割任务上以有限标注实现远超现有模型的精度,降低标注成本并提升AI辅助实用性。
2024-03-08 cs.CV
SPARK-SAM: Learning How to Prompt and Respond for Infrared Small Target Segmentation
针对SAM直接迁移至红外小目标分割存在的提示-响应不匹配问题,提出SPARK-SAM方法,仅增0.726M参数即实现高IoU,在两个基准上排名第一。
2026-08-27 cs.CV
Shape Constrained Network for Eye Segmentation in the Wild
Imperial College London(帝国理工学院);Samsung AI Centre(三星人工智能中心)
眼睛的语义分割一直是许多生物识别应用中至关重要的预处理步骤。大部分的工作只集中在高分辨率的眼睛图像,而很少有人做分割的眼睛从低质量的图像在野外。然而,这是一个特别有趣和有意义的话题,因为眼睛在传达一个人的情绪状态和心理健康方面起着至关重要的作用。在这项工作中,我们采取了两个步骤来解决这个问题:(1)我们收集和注释了一个具有挑战性的眼睛分割数据集,包含8882个眼睛补丁,从4461个不同分辨率,照明条件和头部姿势的面部图像;(2)我们开发了一种新的眼睛分割方法,形状约束网络(SCN),将形状之前的分割网络训练过程。具体来说,我们使用VAE-GAN从我们的数据集中学习形状,并利用预训练的编码器和编码器来规范SegNet的训练。为了提高预测掩码的准确性和质量,我们用三个新的损失来代替SegNet的损失:交集(IoU)损失,形状嵌入损失和形状嵌入损失。大量的实验表明,我们的方法优于国家的最先进的分割和地标检测方法的平均IoU(mIoU)的准确性和质量的分割掩模。眼睛分割数据库可在https://www.dropbox.com/s/yvveouvxsvti08x/Eye_Segmentation_Database.zip?上获得dl=0。
2019-10-11 cs.CV
Boundary Loss for Remote Sensing Imagery Semantic Segmentation
Skoltech(斯科尔科沃科技学院)
随着地理空间数据重要性的日益增长,包括语义分割在内的地理空间数据分析成为当今计算机视觉中越来越受欢迎的任务。卷积神经网络是一种功能强大的可视化模型,它可以产生层次化的特征,从业者广泛使用它来处理遥感数据。在进行遥感图像分割时,常常会遇到同一类的多个实例具有精确定义的边界的情况,准确地提取这些边界是至关重要的。分割区域边界划分的准确性直接影响到整个分割区域的质量。然而,广泛使用的分割损失函数,例如BCE、IoU损失或Dice损失,不能充分地惩罚边界的未对准。在本文中,我们提出了一种新的损失函数,即一个度量会计边界检测精度的可微代理。我们可以使用损失函数与任何神经网络进行二进制分割。我们进行了验证我们的损失函数与各种修改的UNet上的合成数据集,以及使用真实世界的数据(ISPRS波茨坦,INRIA AIL)。使用所提出的损失函数进行训练,模型在IoU得分方面优于基线方法。
2019-05-20 cs.CV cs.LG