Fractal Pyramid Networks
Zhejiang University(浙江大学)
我们提出了一种新的网络架构,分形金字塔网络(PFN)的像素预测任务作为替代广泛使用的编码器-解码器结构。在编码器-解码器结构中,输入由编码-解码流水线处理,该流水线试图获得语义大通道特征。与此不同的是,我们提出的PFN拥有多个信息处理路径,并将信息编码为多个独立的小通道特征。在自我监督的单目深度估计任务中,即使没有ImageNet预训练,我们的模型也可以用更少的参数在KITTI数据集上竞争或优于最先进的方法。此外,预测的视觉质量显著提高。语义分割的实验结果表明,PFN可以应用于其他像素级的预测任务,并表明我们的模型可以捕捉到更多的全局结构信息。
2021-06-28 cs.AI cs.CV
Texture Based Image Segmentation of Chili Pepper X-Ray Images Using Gabor Filter
Avinashilingam Institute for Home Science and Higher Education for Women(阿维纳希林加姆家政与高等教育女子学院)
纹理分割是将图像分割成具有不同纹理的区域的过程,这些区域包含相似的像素组。检测滤波器输出的不连续性及其统计特性有助于对具有不同纹理区域的给定图像进行分割和分类。在本文中,辣椒X射线图像的纹理分割是通过使用Gabor滤波器。将Gabor滤波得到的纹理分割结果分别送入熵、标准差和范围滤波器。在进行纹理分析之后,可以通过使用统计方法来提取特征。本文采用灰度共生矩阵和一阶统计量作为特征提取方法。将统计方法提取的特征输入支持向量机(SVM)分类器。实验结果表明,在纹理分割之后,采用灰度共生矩阵特征提取方法,与一阶特征提取方法相比,其准确率可达84%.关键词:纹理分割,纹理滤波,Gabor滤波,特征提取方法,SVM分类器。
2014-04-15 cs.CV cs.LG
Scaling Vision Mamba Across Resolutions via Fractal Traversal
vivo Mobile Communication Co., Ltd(vivo移动通信有限公司);Kuaishou Technology(快手科技);University of Alberta(阿尔伯塔大学)
本文提出FractalMamba++视觉骨干网络,利用Hilbert曲线进行分形图块序列化以保持空间局部性并适应多分辨率,并引入CSR机制和PRC模块增强全局上下文传播与局部邻接恢复,在图像分类、分割和检测等任务中显著超越以往Mamba模型。
2025-08-13 cs.CV
Clothes Grasping and Unfolding Based on RGB-D Semantic Segmentation
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);University of Birmingham(伯明翰大学);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Ministry of Education, China(教育部知识驱动人机智能工程研究中心)
针对现有衣物抓取方法域差距大、遮挡场景表现差的问题,提出融合RGB-D的BiFCNet语义分割网络及对抗数据增强方法,构建抓取展开流程,在公开数据集达SOTA水平,机器人实验成功率84%。
2023-05-08 cs.AI cs.CV
Fractal Calibration for long-tailed object detection
Imperial College London(帝国理工学院);University of Liverpool(利物浦大学)
针对长尾目标检测中现有方法忽略图像空间类别分布的问题,提出无需训练的后校准方法FRACAL,利用分形维数调整logit实现双维度平衡,提升稀有类检测性能且泛化性良好。
2025-03-24 cs.CV
Beyond Semantic Image Segmentation : Exploring Efficient Inference in Video
University of California San Diego(加州大学圣地亚哥分校);Cornell NYC Tech(康奈尔大学纽约科技校区)
我们探讨的CRF推理模块的效率超越图像级语义分割。其核心思想是将语义联合标记和利用更具表达力的模型这两个世界中的最佳部分结合起来。与[Alvarez 14]类似,我们的公式使我们能够在几秒钟内对一万张图像进行推理。另一方面,它可以处理类似于[vineet 2014]的高阶团势,在区域级标签一致性和同现上下文方面。我们遵循类似于[vineet 2014]的高阶势的平均场更新,并扩展空间平滑度和外观内核[DenseCRF 13]以解决受[Alvarez 14]启发的视频数据;从而使系统能够最有效地执行视频语义分割。
2015-07-01 cs.CV
Graph entropies in texture segmentation of images
University for Health Sciences, Medical Informatics and Technology (UMIT)(健康科学、医学信息与技术大学(UMIT))
我们研究了作者在最近的工作中引入的一组纹理描述符的适用性,以基于纹理的图像分割。研究中的纹理描述符是将定量图论中的图指数应用于对图像局部结构进行编码的图形的结果。底层图形产生于形态阿米巴作为自适应形态的结构元素的计算,作为加权或未加权的Dijkstra搜索树或作为结构元素内的边缘加权像素图。在本文中,我们专注于纹理描述符,其中的图索引是基于熵的,并使用它们在测地线活动轮廓框架的图像分割。几个合成和一个真实世界的图像上的实验表明,这种方法来演示纹理分割。为了避免这种情况,我们尝试分析选定的基于熵的纹理描述符,关于它们实际编码的纹理信息。而这种分析使用了一些启发式的假设,它表明,基于图的纹理描述符相关的分形维数的措施,已被证明是有用的纹理分析。
2015-12-28 cs.CV
Semantic-guided modeling of spatial relation and object co-occurrence for indoor scene recognition
Shandong University(山东大学);Engineering Research Center of Intelligent Unmanned System, Ministry of Education(教育部智能无人系统工程研究中心)
针对室内场景识别中空间布局多样与对象共存差异的挑战,提出SpaCoNet,通过语义分割引导同时建模空间关系与对象共现,并在三个数据集上验证了其有效性与通用性。
2025-01-04 cs.CV
CRF Learning with CNN Features for Image Segmentation
The University of Adelaide(阿德莱德大学)
条件随机瑞尔德(CRF)在图像分割中有着广泛的应用。虽然大多数研究依赖于手工制作的特征,但我们在这里建议利用预先训练的大型卷积神经网络(CNN)来生成用于CRF学习的深度特征。深度CNN在ImageNet数据集上进行训练,并在这里转移到图像分割,以构建超像素的潜力。然后使用结构化支持向量机(SSVM)学习CRF参数。为了充分利用上下文信息的推断,我们构建空间相关的共现成对电位,并将它们纳入能量函数。这更倾向于标记在特定空间布局中经常共同出现的对象对,同时避免在推理过程中出现令人难以置信的标记。在二进制和多类分割基准上进行的大量实验证明了所提出方法的可行性。因此,我们为Weizmann horse,Graz-02,MSRC-21,Stanford Background和PASCAL VOC 2011数据集的分割性能提供了新的基线。
2015-03-28 cs.CV
Safety Metrics for Semantic Segmentation in Autonomous Driving
DENSO AUTOMOTIVE Deutschland GmbH(电装汽车德国有限公司);TU Munich(慕尼黑工业大学)
在自动驾驶的背景下,深度神经网络的安全相关度量已被广泛研究用于图像分类和目标检测。在本文中,我们进一步考虑专门用于语义分割的安全感知的正确性和鲁棒性度量。我们的建议的新颖性是超越像素级指标:给定两个图像,每个图像有N个像素被类翻转,设计的指标应该,取决于被类翻转的像素的聚类或发生的位置,反映不同级别的安全关键性。在自动驾驶数据集上评估的结果证明了我们提出的方法的有效性和实用性。
2021-09-25 cs.CV cs.LG
Learning Stixel-based Instance Segmentation
Kiel University(基尔大学);Daimler AG R&D(戴姆勒股份公司研发部)
Stixels已成功应用于自动驾驶中的各种视觉任务,最近包括实例分割。然而,由于它们在图像中的稀疏出现,到目前为止,Stixels很少用作深度学习算法的输入,限制了它们在这种方法中的实用性。在这项工作中,我们提出了StixelPointNet,一种新的方法来执行快速实例分割直接对Stixels。通过将Stixel表示视为类似于点云的非结构化数据,PointNet等架构能够从Stixel中学习特征。我们使用一个限界框检测器来提出候选实例,从输入图像中提取相关的Stixels。在这些Stixels上,PointNet模型学习二进制分割,然后在最终的选择步骤中统一整个图像。StixelPointNet在Stixel级别上实现了最先进的性能,比基于像素的分割方法快得多,并表明通过我们的方法,Stixel域可以引入许多新的3D深度学习任务。
2021-07-07 cs.CV
Self-supervised Semantic Segmentation Grounded in Visual Concepts
Robert Bosch Research and Technology Center North America(北美罗伯特·博世研究与技术中心);Robert Bosch GmbH(罗伯特·博世有限公司)
无监督的语义分割需要为每个像素分配一个标签,而不需要任何人工注释。尽管最近在个体图像的自监督表示学习方面取得了进展,但具有像素级表示的无监督语义分割仍然是一项具有挑战性的任务,并且仍然未得到充分探索。在这项工作中,我们提出了一个自我监督的像素表示学习方法的语义分割通过使用视觉概念(即,具有语义含义的像素组,例如部件、对象和场景)。为了指导自监督学习,我们利用像素和概念之间的三种类型的关系,包括像素和局部概念之间的关系,局部和全局概念之间的关系,以及概念的同现。我们在三个数据集上评估了学习的像素嵌入和视觉概念,包括PASCAL VOC 2012,COCO 2017和DAVIS 2017。我们的研究结果表明,该方法获得了一致的和实质性的改进,最近的无监督语义分割方法,也表明,视觉概念可以揭示图像数据集的见解。
2022-07-26 cs.AI cs.CV
Weakly Supervised Object Localization Using Things and Stuff Transfer
University of Edinburgh(爱丁堡大学);Tencent Youtu Lab(腾讯优图实验室)
我们建议通过从具有可用注释的源集中转移事物和知识来帮助位置注释不可用的类的弱监督对象定位。源类和目标类可能共享相似的外观(例如熊的皮毛与猫的皮毛相似),或者出现在相似的背景下(例如马和羊出现在草地上)。为了利用这一点,我们从源集合中获取三种类型的知识:在事物和材料类上训练的分割模型;目标和源类之间的相似关系;以及源中事物和材料类之间的共现关系。分割模型用于在目标图像上生成事物和东西分割图,而类相似性和共现知识有助于细化它们。然后,我们将这些地图作为新的线索到一个多实例学习框架(MIL),传播转移的知识从像素级的对象建议的水平。在广泛的实验中,我们进行了从PASCAL上下文数据集(源)到ILSVRC,COCO和PASCAL VOC 2007数据集(目标)的转移。我们评估我们在广泛不同的事物类别之间的迁移,包括一些外观不相似,但出现在类似背景下的事物。结果表明,与标准MIL相比有显着改善,并且我们在传输设置方面优于最先进的技术。
2017-08-07 cs.CV
Unsupervised Hierarchical Semantic Segmentation with Multiview Cosegmentation and Clustering Transformers
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
无监督语义分割的目的是发现图像内和图像间的分组,这些分组在没有外部监督的情况下捕获类别的对象和视图不变性。自然地,分割具有不同的粒度级别,在无监督分割中产生了歧义。现有的方法避免了这种模糊性,并将其视为建模之外的一个因素,而我们拥抱它,并希望无监督分割的分层分组一致性。我们将无监督分割作为一个逐像素的特征学习问题。我们的想法是,一个好的表示不仅应该揭示特定的分组级别,而且应该以一致和可预测的方式揭示任何分组级别。我们通过同一图像的多个视图之间的共同分割来执行分组和引导特征学习的空间一致性,并通过粗粒度和细粒度特征之间的聚类Transformers来执行分组层次结构的语义一致性。我们提供了第一个数据驱动的无监督分层语义分割方法,称为分层分割(HSG)。通过捕获视觉相似性和统计共现,HSG在五个主要的以对象和场景为中心的基准测试中也大大优于现有的无监督分割方法。我们的代码可在https://github.com/twke18/HSG上公开获取。
2022-04-25 cs.CV cs.LG
Evaluation of Classifiers for Image Segmentation: Applications for Eucalypt Forest Inventory
Universidade Federal de Mato Grosso do Sul(南马托格罗索联邦大学)
从无人机(UAV)采集的航空图像中计数桉树的任务经常通过估计断面积的技术进行探索,即通过基于采样技术确定树木的预期数量。另一种方法是使用机器学习来识别表示树单元的模式,然后在整个图像中搜索这些模式的出现。该策略依赖于监督图像分割步骤来定义预定义的感兴趣区域。因此,有可能自动计算这些图像中的桉树,从而提高桉树森林资源清查管理的效率。在本文中,我们评估了20种不同的分类器的图像分割任务。考虑到实际环境,使用真实样本对树木计数任务进行了分析。结果表明,它可以自动化这项任务的0.7%的计数误差,特别是,通过使用基于组合的分类器的策略。此外,我们提出了一些性能考虑每个分类器,可以作为决策的基础,在未来的任务。
2017-03-28 cs.CV
Causal Intervention for Weakly-Supervised Semantic Segmentation
Nanjing University of Science and Technology(南京理工大学);Nanyang Technological University(南洋理工大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);Singapore Management University(新加坡管理大学)
我们提出了一个因果推理框架,以改善弱监督语义分割(WSSS)。具体来说,我们的目标是通过只使用图像级标签来生成更好的像素级伪掩模-这是WSSS中最关键的一步。我们将伪掩码的模糊边界的原因归因于混淆上下文,例如,“马”和“人”的正确图像级分类不仅可以归因于对每个实例的识别,而且还可以归因于它们的同现上下文,使得模型检查(例如,很难区分边界。受此启发,我们提出了一个结构因果模型来分析图像,上下文和类标签之间的因果关系。在此基础上,我们开发了一种新的方法:上下文调整(CONTA),以消除图像级分类中的混淆偏差,从而为后续的分割模型提供更好的伪掩模作为基础事实。在PASCAL VOC 2012和MS-COCO上,我们展示了CONTA将各种流行的WSSS方法提升到新的最先进水平。
2020-10-07 cs.CV
Skyline variations allow estimating distance to trees on landscape photos using semantic segmentation
European Commission, Joint Research Centre (JRC)(欧盟委员会联合研究中心)
近似距离估计可以用来确定基本的景观属性,包括复杂性和开放性。我们表明,景观照片的天际线的变化可以用来估计距离树木的地平线上。一种基于天际线变化的方法已经被开发出来,并用于研究与天际线物体距离的潜在关系。天际线信号,定义的天际线高度表示在像素,提取了几个土地利用/覆盖面积框架调查(LUCAS)景观照片。使用DeepLabV 3+对照片进行语义分割,DeepLabV 3+使用上下文中的常见对象(COCO)数据集进行训练。这提供了形成天际线的对象的像素级分类。还应用条件随机场(CRF)算法来增加天际线信号的细节。三个指标,能够捕捉天际线信号的变化,然后考虑进行分析。这些指标显示了一类树的距离,其轮廓具有分形性质的函数关系。特别是,对475个基于正射照片的距离测量值进行回归分析,在最好的情况下,R2得分等于0.47。这是一个令人鼓舞的结果,它显示了天际线变化度量用于推断距离相关信息的潜力。
2022-01-14 cs.CV eess.IV stat.AP
ConDSeg: A General Medical Image Segmentation Framework via Contrast-Driven Feature Enhancement
China University of Geosciences(中国地质大学);Baidu Inc(百度公司)
针对医学图像分割中前景背景难区分、共现特征误导模型的问题,提出ConDSeg通用框架,通过对比训练、特征解耦聚合及尺寸感知解码器提升性能,在多数据集上达SOTA。
2024-12-11 cs.CV eess.IV
SAR Image Segmentation using Vector Quantization Technique on Entropy Images
NMIMS University(NMIMS大学);MPSTME;V.E.S.I.T;TSEC
各种遥感平台的发展和应用产生了海量的卫星图像数据。因此,越来越需要在这些图像数据库中进行有效的查询和浏览。为了充分利用卫星图像数据,我们必须能够从图像中提取有意义的信息。为此,我们提出了一种新的SAR图像分割算法。在本文中,我们提出了使用矢量量化技术的熵图像分割。首先,我们获得熵图像,在第二步中,我们使用Kekre的快速码本生成(KFCG)算法的熵图像的分割。此后,为熵图像生成大小为128的码本。使用相同的KFCG算法将这些代码向量进一步聚类为8个簇,并转换为8幅图像。结果显示了这8幅图像。这种方法不会导致过度分割或分割不足。我们比较了这些结果与著名的灰度共生矩阵。该算法以较低的复杂度给出了更好的分割。
2010-04-11 cs.CV cs.MM
A Comprehensive Analysis of Weakly-Supervised Semantic Segmentation in Different Image Domains
University of Toronto(多伦多大学)
最近提出的弱监督语义分割方法在预测像素类方面取得了令人印象深刻的性能,尽管只使用缺乏位置信息的图像标签进行训练。由于图像注释更便宜,生成速度更快,因此弱监督比训练分割算法的完全监督更实用。这些方法主要用于解决自然场景图像的背景分离和部分分割问题,目前还不清楚它们是否可以简单地转移到其他具有不同特征的领域,如组织病理学和卫星图像,并且仍然表现良好。本文评估了最先进的弱监督语义分割方法对自然场景,组织病理学和卫星图像数据集,并分析了如何确定哪种方法是最适合于给定的数据集。我们的实验表明,组织病理学和卫星图像提出了一套不同的问题,弱监督语义分割比自然场景图像,如模糊的边界和类同现。方法在它们开发的数据集上表现良好,但在其他数据集上往往表现不佳。我们提出了一些实用的技术,这些方法看不见的数据集,并认为需要更多的工作,一个可推广的方法,弱监督语义分割。我们的完整代码实现可在GitHub上获得:https://github.com/lyndonchan/wsss-analysis。
2020-10-17 cs.CV
Next day fire prediction via semantic segmentation
Athena Research Center(雅典娜研究中心);National Kapodistrian University of Athens(雅典国立卡波迪斯特里亚大学);National Observatory of Athens(雅典国家天文台);National Technical University of Athens(雅典国立技术大学)
本文提出一种深度学习流水线用于次日火灾预测,将原先基于表格特征向量的二元分类任务重新表述为图像上的语义分割任务,并取得了最先进的结果。
2024-03-20 cs.CV cs.LG
Generalized Few-shot Semantic Segmentation
CUHK(香港中文大学);MPI Informatics(马克斯·普朗克信息学研究所);SmartMore(思谋科技);Cornell University(康奈尔大学);HKU(香港大学);MIT(麻省理工学院)
训练语义分割模型需要大量精细注释的数据,使得难以快速适应不满足此条件的新类别。Few-Shot Segmentation(FS-Seg)在许多约束条件下解决了这个问题。在本文中,我们引入了一个新的基准,所谓的广义Few-Shot语义分割(GFS-Seg),同时分割的新类别与很少的例子和足够的例子的基本类别的泛化能力进行分析。这是第一个研究表明,以前的代表性国家的最先进的FS-Seg方法在GFS-Seg的不足,性能差异主要来自FS-Seg的约束设置。为了使GFS-Seg易于处理,我们设置了一个GFS-Seg基线,该基线在原始模型上没有结构变化的情况下实现了良好的性能。然后,由于上下文是必不可少的语义分割,我们提出了上下文感知的原型学习(CAPL),显着提高性能1)利用支持样本的同现先验知识,2)动态丰富的上下文信息的分类器,条件是每个查询图像的内容。这两个贡献的实验表明,有很大的实际价值。在Pascal-VOC和COCO上的大量实验表明了CAPL的有效性,CAPL通过实现具有竞争力的性能很好地推广到FS-Seg。代码可在https://github.com/dvlab-research/GFS-Seg上获得。
2022-05-31 cs.CV
Co-occurrence matrix analysis-based semi-supervised training for object detection
DGIST(韩国大邱庆北科学技术院);KAIST(韩国科学技术院);SK Telecom(SK电讯)
使用卷积神经网络(CNN)训练对象识别网络的最重要因素之一是提供伴随人类判断的注释数据。特别地,在目标检测或语义分割中,注释过程需要相当多的人力。在本文中,我们提出了一种基于半监督学习(SSL)的训练方法用于目标检测,该方法通过应用先前从注释数据集训练的网络来自动标记未注释的数据。由于经过训练的网络的推断标签取决于学习的参数,因此重新训练网络通常是没有意义的。为了将有价值的推断标签转移到未标记的数据,我们提出了一种基于共生矩阵分析的重新对齐方法,该方法考虑了估计标签的单热矢量编码和图像中对象之间的相关性。我们使用MS-COCO检测数据集来验证所提出的SSL方法和可变形神经网络(D-ConvNets)作为基本训练的对象检测器的性能。现有的最先进的检测器(DConvNets,YOLO v2,和Single Shot multi-box detector(SSD))的性能可以通过所提出的SSL方法来提高,而无需使用额外的模型参数或修改网络架构。
2018-02-20 cs.CV
Keyword Spotting Simplified: A Segmentation-Free Approach using Character Counting and CTC re-scoring
National Technical University of Athens(雅典国立技术大学);University of West Attica(西阿提卡大学);University of Ioannina(约阿尼纳大学)
本文提出一种基于字符计数与CTC重评分的免分割关键词识别方法,用简单紧凑的CNN模型高效扫描文档,在两个数据集上取得优于复杂方案的最先进结果。
2023-08-07 cs.CV
SGS-3D: High-Fidelity 3D Instance Segmentation via Reliable Semantic Mask Splitting and Growing
SGS-3D通过可靠的语义掩码分割与生长方法,提升3D实例分割的精度和鲁棒性,适用于多样化的室内和室外环境。
2025-12-19 cs.CV
A context based deep learning approach for unbalanced medical image segmentation
HTIC
医学图像的自动分割是许多医学过程中的重要步骤。最近,深度学习网络已被广泛用于各种医学图像分割任务,其中U-Net和生成对抗网络(GANs)是一些常用的网络。前景-背景类不平衡是医学图像中的常见现象,U-Net的交叉熵(CE)目标函数难以处理类不平衡。同样,GAN也存在类别不平衡的问题,因为鉴别器会查看整个图像来将其分类为真实图像或虚假图像。由于神经网络本质上是一个深度学习分类器,它无法正确识别小结构中的微小变化。为了解决这些问题,我们提出了一个新的上下文为U-Net的CE损失函数,和一个新的架构Seg-GLGAN。基于上下文的CE是在整个图像及其感兴趣区域(ROI)上获得的CE的线性组合。在Seg-GLGAN中,我们引入了一种新的上下文映射,将整个图像及其ROI作为输入,从而执行局部上下文。我们使用两个具有挑战性的不平衡数据集进行了广泛的实验:PROMISE 12和ACDC。我们观察到,与各种基线方法相比,从我们的方法获得的分割结果提供了更好的分割指标。
2020-01-08 cs.CV eess.IV
Detecting and Learning the Unknown in Semantic Segmentation
University of Wuppertal(伍珀塔尔大学)
语义分割是自动驾驶中感知的关键组成部分。深度神经网络(DNN)通常用于此任务,并且它们通常在出现在封闭操作域中的对象类的封闭集合上进行训练。然而,这与DNN部署到自动驾驶中的开放世界假设形成对比。因此,DNN必须面对以前从未遇到过的数据,也称为异常,这对于正确处理非常安全。在这项工作中,我们首先从信息论的角度对异常进行了概述。接下来,我们回顾了在语义分割中检测语义未知对象的研究。我们证明了对异常物体的高熵响应的训练优于其他最近的方法,这与我们的理论研究结果一致。此外,我们研究了一种方法来评估异常的发生频率,以选择异常类型,包括到一个模型的一组语义类别。我们证明了这些异常可以以无监督的方式学习,这特别适合基于深度学习的在线应用程序。
2022-02-17 cs.CV cs.LG
Context Decoupling Augmentation for Weakly Supervised Semantic Segmentation
South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学)
数据增强对于深度学习神经网络至关重要。通过提供大量的训练样本,有助于提高模型的泛化能力。弱监督语义分割(Weakly Supervised Semantic Segmentation,WSSS)是近年来研究的一个具有挑战性的问题,传统的数据增强方法通常采用几何变换、随机裁剪和颜色抖动等方法。然而,仅仅增加相同的上下文语义数据并不能为网络区分对象带来太多增益,例如,对“飞机”的正确图像级分类可能不仅是由于对对象本身的识别,而且是由于其同现上下文(如“天空”),这将导致模型较少地关注对象特征。为此,我们提出了一种上下文解耦增强(CDA)方法,改变对象出现的固有上下文,从而驱动网络消除对象实例与上下文信息之间的依赖。为了验证所提出的方法的有效性,在PASCAL VOC 2012数据集上进行了大量的实验,并使用了几种不同的网络架构,结果表明CDA可以将各种流行的WSSS方法大幅提升到最新的水平。
2021-10-28 cs.CV
Vehicle Occurrence-based Parking Space Detection
Federal University of Paraná (UFPR)(巴拉那联邦大学);Pontifical Catholic University of Paraná (PUCPR)(巴拉那天主教大学);Santa Catarina State University (UDESC)(圣卡塔琳娜州立大学)
针对现有停车场视觉管理方法依赖手动标注停车位、部署成本高的问题,提出一种基于实例分割与车辆出现热力图的自动停车位检测方法,在PKLot等数据集上取得了较高的AP得分。
2023-06-16 cs.AI cs.CV cs.LG
SemIE: Semantically-aware Image Extrapolation
IIT Kanpur(印度理工学院坎普尔分校);Adobe Research India(Adobe印度研究院);Triomics(Triomics公司)
我们提出了一个语义感知的新范式来执行图像外推,使新的对象实例的添加。所有以前的方法都局限于它们的外推能力,仅扩展图像中已经存在的对象。然而,我们提出的方法不仅关注(i)扩展已经存在的对象,而且关注(ii)基于上下文在扩展区域中添加新对象。为此,对于一个给定的图像,我们首先获得一个对象分割图使用国家的最先进的语义分割方法。因此,所获得的分割图被馈送到网络中以计算外推的语义分割和对应的全景分割图。进一步利用输入图像和所获得的分割图来生成最终外推图像。我们在Cityscapes和ADE 20 K-bedroom数据集上进行了实验,结果表明,我们的方法在FID和对象共现统计的相似性方面优于所有基线。
2021-08-31 cs.AI cs.CV cs.GR
Bidirectional Graph Reasoning Network for Panoptic Segmentation
Sun Yat-sen University(中山大学);DarkMatter AI Research(DarkMatter人工智能研究)
最近的研究全景分割诉诸于一个单一的端到端的网络,结合实例分割和语义分割的任务。然而,以前的模型只统一了两个相关的任务在架构层面上通过一个多分支计划或揭示了它们之间的潜在的相关性,通过单向的特征融合,这忽略了显式的语义和共生关系的对象和背景。背景信息对目标的识别和定位至关重要,而包含目标的细节对背景场景的分析至关重要。因此,本文研究了在全景分割任务中,如何对目标和背景之间的相关性进行显式建模,以实现对图像的整体理解。我们引入了一个双向图推理网络(BGRNet),它将图结构融入到传统的全景分割网络中,以挖掘前景事物和背景事物类内部和之间的模块内和模块间关系。特别是,BGRNet首先在实例和语义分割分支中构建图像特定的图,分别在建议级别和类级别实现灵活的推理。为了建立独立分支之间的相关性,并充分利用事物和东西之间的互补关系,我们提出了一个双向图连接模块,以可学习的方式在分支之间传播信息。实验结果证明了我们的BGRNet的优越性,它在具有挑战性的COCO和ADE 20 K全景分割基准上实现了最先进的性能。
2020-04-14 cs.CV cs.LG eess.IV
Cognitive-mapping and contextual pyramid based Digital Elevation Model Registration and its effective storage using fractal based compression
数字高程模型(DEM)是嵌入地形信息的图像。使用认知映射概念进行DEM配准,已经从使用空间到对象之间的映射并定义它们的关系以形成需要在环境或其他候选环境中或周围标记、存储和操纵的基本地标的基本思想演变而来,即,在我们的情况下,DEM。地理空间认知方法的渐进式两级封装包括地标知识和布局知识,可用于DEM配准。基于空间的方法,强调所考虑的环境的显式程度,和基于对象的方法,强调在本地环境中的对象之间的关系是两个范式的认知映射可以有条不紊地集成在这三个架构的DEM配准。最初,执行基于P模型的分割,然后进行使用上下文金字塔形成的上下文映射的地标形成。除了用于配准关键点查找的标志之外,基于欧几里得距离的变形计算已用于变换和变化检测。地标已被分类为属于平坦平原地区,在土地高度没有太大的变化;高峰,可以发现时,有逐渐增加的高度相比,平坦的地区;山谷,标志着在DEM中看到的高度逐渐下降;最后,波纹区非常浅的波峰和最低点。基于分形的压缩用于存储共配准DEM。该方法可进一步推广应用于DEM地形图和DEM与遥感影像的配准。实验结果进一步证实了该方法可以有效地进行DEM配准。
2014-05-09 cs.AI cs.CV
PRISM: Perinuclear Ring-based Image Segmentation Method for Acute Lymphoblastic Leukemia Classification
Institute of Exact and Technological Sciences(精确与技术科学研究所);Federal University of Viçosa(弗雷塔斯联邦大学);School of Computer Science(计算机科学学院);Federal University of Uberlândia(伯南布哥联邦大学);Departament of Computing(计算系);Federal University of São Carlos(萨o卡洛斯联邦大学)
PRISM通过核周环分割方法提取鲁棒的细胞质描述符,无需准确细胞边界检测,在白血病分类中达到98.46%的准确率和0.9937的精度召回AUC。
2026-05-13 cs.AI cs.CV
Strongly Convex Optimization for Joint Fractal Feature Estimation and Texture Segmentation
目前的工作研究分割的纹理,制定它作为一个强凸优化问题,旨在有利于分段恒定的分形特征(局部方差和局部规律性)广泛用于模拟现实世界的纹理在许多应用中非常不同的性质。结合这两个功能的两个目标函数进行比较,被称为联合和耦合,促进独立或共同本地化的变化,局部方差和规律性。为了解决由此产生的凸非光滑最优化问题,由于处理大尺寸图像和数据库的目标,两类邻近算法(对偶向前向后和原始对偶),设计和比较。深入研究的目标函数,特别是他们的强凸性,内存和计算成本,允许提出显着加速算法。构造并研究了一类分段分形纹理的综合模型。他们使,通过大规模的蒙特卡罗模拟,量化的好处,在纹理分割相结合的局部规律性和局部方差(而不是规律性),同时使用强凸性加速原始对偶法。所取得的成果也允许讨论的收益/成本在实施co-localizations的变化,在当地的规律性和当地的方差的问题制定。最后,所提出的方法的潜力说明了现实世界的纹理从公开的和有记录的数据库。
2021-04-16 math.OC physics.data-an stat.AP
Mitigating Spurious Correlations in Weakly Supervised Semantic Segmentation via Cross-architecture Consistency Regularization
University of Amsterdam(阿姆斯特丹大学)
针对弱监督语义分割中因图像级标签训练导致的虚假相关性等问题,提出结合CNN与ViT的师生框架,通过知识迁移损失实现跨架构一致性,辅以处理提升伪掩码质量。
2025-07-29 cs.CV
WeakMedSAM: Weakly-Supervised Medical Image Segmentation via SAM with Sub-Class Exploration and Prompt Affinity Mining
Nanjing University(南京大学);Nanjing Drum Tower Hospital(南京鼓楼医院);Southeast University(东南大学);BOE Technology Group Co., Ltd.(京东方科技集团股份有限公司)
为降低标注成本,提出弱监督分割模型WeakMedSAM,通过子类探索模块缓解共现问题,并利用提示亲和力挖掘模块提升类激活图质量,在多个基准数据集上取得优异结果。
2025-03-06 cs.CV
Impact of PolSAR pre-processing and balancing methods on complex-valued neural networks segmentation tasks
ONERA(法国国家航空航天研究院);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
研究了基于复值神经网络的极化合成孔径雷达(PolSAR)图像语义分割。虽然相干矩阵更广泛地用作CVNN的输入,但最近已证明泡利向量是一种有效的替代方案。我们详尽地比较了这两种方法的六个模型架构,三个复值,以及各自的实等价模型。因此,我们不仅比较了输入表示的影响,还比较了复数与实值模型的影响。然后,我们认为,数据集分割在训练集和验证集之间产生了高度的相关性,使任务饱和,从而实现了非常高的性能。因此,我们使用了一种不同的数据预处理技术,旨在减少这种影响,并使用与以前相同的配置(输入表示和模型架构)重现结果。在看到每个类的性能根据类的出现情况有很大的不同之后,我们提出了两种方法来减少这种差距,并为所有输入表示,模型和数据集预处理执行结果。
2022-10-28 cs.CV cs.LG eess.IV
Halluci-Net: Scene Completion by Exploiting Object Co-occurrence Relationships
Adobe Research India(Adobe印度研究院);Arizona State University(亚利桑那州立大学);Carnegie Mellon University(卡内基梅隆大学)
近年来,基于语义标签的图像合成技术取得了很大的进展.然而,用于此任务的方法假设完整和明确的labelmaps的可用性,对象的实例边界和每个像素的类标签。这种对大量注释输入的依赖限制了图像合成技术在现实世界应用中的应用,特别是在由于天气、遮挡或噪声引起的不确定性下。另一方面,可以从稀疏的标签地图或草图合成图像的算法是非常可取的工具,可以指导内容创作者和艺术家通过简单地指定几个对象的位置来快速生成场景。在本文中,我们解决的问题,复杂的场景完成稀疏labelmaps。在此设置下,很少有关于场景的细节(30%的对象实例)可用作图像合成的输入。我们提出了一种基于两阶段深度网络的方法,称为“Halluci-Net”,它学习场景中对象之间的共现关系,然后利用这些关系来生成密集而完整的标签图。然后,生成的密集标签图可以用作最先进的图像合成技术(如pix 2 pixHD)的输入,以获得最终图像。在Cityscapes数据集上对所提出的方法进行了评估,它在Fréchet Inception Distance(FID),语义分割准确性和对象共现相似性等性能指标上优于两种基线方法。我们还展示了包含卧室图像的ADE 20 K数据集子集的定性结果。
2021-05-21 cs.CV cs.LG
Unsupervised and semi-supervised co-salient object detection via segmentation frequency statistics
Stony Brook University(石溪大学);Visual Search & AR, Amazon(亚马逊视觉搜索与增强现实部门);Indiana University(印第安纳大学)
本文提出基于分割频率统计的无监督共显著目标检测方法US-CoSOD,并扩展为半监督SS-CoSOD,利用大规模未标注数据提升性能,在三个基准上显著超越现有方法。
2023-11-11 cs.CV
RethNet: Object-by-Object Learning for Detecting Facial Skin Problems
lululab Inc(露露实验室公司)
语义分割是计算机视觉领域的一个热点问题,语义分割方法的成功解决了目标检测和识别中最具挑战性的任务。我们提出了一个逐对象学习技术的概念,使用语义分割方法检测11种面部皮肤病变。由于视觉数据的外观模糊,在密集组中检测单个皮肤病变是一项具有挑战性的任务。我们观察到对象类之间存在共现的视觉关系(例如,皱纹和老年斑,或丘疹和白头等)。事实上,丰富的上下文信息对处理这个问题有很大帮助。因此,我们提出了由本地构造的convLSTM/Conv 3D层和SE模块组成的REthinker块作为一次性注意力机制,其责任是增加网络在本地和全局上下文表示中的敏感性,支持捕获模糊出现的对象和对象类之间的共现交互。实验表明,我们提出的模型在测试准备好的数据集时达到了79.46%的MIoU,比Deeplab v3+提高了15.34%(MIoU为64.12%)。
2021-01-11 cs.CV
Comparative Analysis of Hand-Crafted and Machine-Driven Histopathological Features for Prostate Cancer Classification and Segmentation
本文比较了手工特征(GLCM、LBP)与U-Net机器驱动特征在前列腺癌分类和分割中的表现,发现U-Net在分割质量上更优,而手工特征分类准确率最高达99.0%。
2025-01-19 cs.CV cs.LG eess.IV
A Topology fixated Shape Gradient Framework for Non Simple Boundary Extraction for CIE Lab color images with Repulsive Energy
Tessellab, Department of Mathematics, SRM University-AP(Tessellab,数学系,SRM大学-安得拉邦)
本文提出了一种无需水平集的混合图像分割方法,结合修改后的Mumford-Shah形状功能形状梯度和排斥函数,用于处理包含不连通区域和多重边界的复杂图像,通过非局部形状驱动的离散曲线演化实现精确分割,具有拓扑控制和自交处理能力。
2026-04-25 cs.CV math.AP
Fast building segmentation from satellite imagery and few local labels
Microsoft AI for Good Research Lab(微软AI向善研究实验室);World Bank(世界银行)
用于卫星图像分析的计算机视觉算法的创新可以使我们能够在行星层面探索城市化和土地利用变化等全球挑战。然而,当试图复制将这些分析推向新领域的模型时,特别是在发展中国家,领域转移问题是常见的。如果一个模型是用来自一个位置的图像和标签训练的,那么它通常不会很好地推广到图像内容和数据分布不同的新位置。在这项工作中,我们考虑的设置中,我们有一个单一的大型卫星图像场景,我们要解决一个应用问题-建设足迹分割。在这里,我们不必担心创建一个泛化场景边界的模型,而是可以训练本地模型。我们发现,令人惊讶的是,很少的标签需要非常高的分辨率(0.5m/px)的卫星图像,考虑到这种设置来解决建筑物分割问题。我们的最佳模型仅使用527个稀疏多边形注释(相当于1500 x 1500个密集标记的像素)进行训练,在计算200 x 200米窗口中的建筑物数量时,对保持的足迹的召回率为0.87,R2为0.93。我们将我们的模型应用于约旦安曼的高分辨率图像,在城市变化检测的案例研究。
2022-06-10 cs.CV cs.LG
Graph-based Semantic Calibration Network for Unaligned UAV RGBT Image Semantic Segmentation and A Large-scale Benchmark
Key Laboratory of Intelligent Computing & Signal Processing (Anhui University), Ministry of Education(智能计算与信号处理重点实验室(安徽大学),教育部);Anhui Provincial Key Laboratory of Multimodal Cognitive Computation, School of Artificial Intelligence, Anhui University(安徽省多模态认知计算重点实验室,人工智能学院,安徽大学);School of Computer Science and Technology, Anhui University(计算机科学与技术学院,安徽大学);GEOVIS Earth Technology Co., Ltd.(GEOVIS地球科技有限公司)
本文提出GSCNet网络,通过特征解耦对齐模块和语义图校准模块解决无人机RGBT图像语义分割中的跨模态空间不一致和细粒度地面物体语义混淆问题,并构建了大规模URTF基准。
2026-04-29 cs.CV
FSDA-DG: Improving Cross-Domain Generalizability of Medical Image Segmentation with Few Source Domain Annotations
School of Biomedical Engineering(生物医学工程学院);College of Information Science and Technology(信息科学与技术学院);State Key Laboratory of Industrial Control Technology(工业控制技术国家重点实验室);School of Information(信息学院);Yunnan Key Laboratory of Intelligent Systems and Computing(云南智能系统与计算重点实验室);Guangdong Provincial Key Laboratory of Medical Image Processing(广东省医学图像处理重点实验室);Guangdong Province Engineering Laboratory for Medical Imaging and Diagnostic Technology(广东省医学影像与诊断技术工程实验室);Pazhou Lab(琶洲实验室)
提出FSDA-DG方法,通过语义引导的半监督数据增强与多解码器U-Net半监督学习网络,在少量单源域标注下提升医学图像分割的跨域泛化能力,性能优于现有方法。
2025-06-27 cs.CV
RadiomicNet: A Hybrid Radiomics-Guided Lightweight Architecture for Interpretable Medical Image Segmentation
Department of Computer Science and Engineering(计算机科学与工程系);Ahsanullah University of Science and Technology (AUST)(阿萨努拉科学与技术大学)
提出RadiomicNet,通过放射组学注意力门(RAG)将手工放射组学特征集成到轻量级编码器-解码器中,实现可解释分割,在BUSI和Kvasir-SEG数据集上分别达到0.763和0.854的Dice系数,参数仅3.27M。
2026-07-03 cs.AI cs.CV
MudrockNet: Semantic Segmentation of Mudrock SEM Images through Deep Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Bureau of Economic Geology, University of Texas at Austin(德克萨斯大学奥斯汀分校经济地质局)
从扫描电镜图像中分割和分析泥岩的单个孔隙和颗粒是不平凡的,因为噪声、成像伪影、图像中像素灰度值的变化以及图像中不同物理特征(如淤泥颗粒、粘土颗粒和孔隙)之间的灰度值的重叠使得它们的识别变得困难。此外,由于颗粒和孔隙通常具有重叠的灰度值,直接应用基于阈值的分割技术是不够的。计算机视觉领域的最新进展使得分割图像和识别图像中多次出现的这种特征变得更容易和更快,只要用于训练算法的地面实况数据可用。在这里,我们提出了一个深度学习SEM图像分割模型,MudrockNet基于Google的DeepLab-v3+架构,使用TensorFlow库实现。地面实况数据是从应用于日本近海熊野盆地深度< 1.1 km的未胶结泥浆扫描电子显微镜图像的图像处理工作流程中获得的。经过训练的深度学习模型获得了约90%的像素准确度,并且对测试数据的预测获得了0.6591的淤泥颗粒和0.6642的孔隙的平均交集(IoU)。我们还将我们的模型与ImageJ中使用可训练Weka分割的随机森林分类器进行了比较,观察到MudrockNet对泥沙颗粒和孔隙都给出了更好的预测。粉砂和粘土颗粒的大小、浓度和空间排列会影响泥岩的岩石物理性质,准确识别泥岩中不同颗粒和孔隙的自动化方法有助于改善石油勘探和人为废物封存的储层和密封特征。
2021-02-05 cs.CV eess.IV physics.geo-ph
Tool Wear Segmentation in Blanking Processes with Fully Convolutional Networks based Digital Image Processing
本文针对冲裁工艺中刀具磨损监测的局限,提出利用全卷积网络(FCN)对600 spm下获取的12.5万张高分辨率刀具图像进行语义分割,实现磨损表面的直接监测与量化。
2023-10-06 cs.CV eess.IV
Gaussian Random Fields as an Abstract Representation of Patient Metadata for Multimodal Medical Image Segmentation
Manchester Metropolitan University(曼彻斯特城市大学);Lancaster University(兰卡斯特大学);Lancashire Teaching Hospitals NHS Foundation Trust(兰开夏教学医院NHS基金会信托)
本文提出一种将患者元数据表示为高斯随机场并引入训练流程的多模态医学图像分割方法,在 Diabetic Foot Ulcer Challenge 2022 数据集上通过多模型预测掩码的距离变换平均合并,显著提升了慢性伤口分割的交并比与 Dice 相似系数。
2025-03-19 cs.CV eess.IV
Robust variance estimators in application to segmentation of measurement data distorted by impulsive and non-Gaussian noise
本文针对脉冲行为系统中测量数据的状态变化点识别问题,提出基于经典结构突变检测的离线鲁棒方法,无需数据分布方差,在模拟和真实数据集上表现出比经典方法更小的估计误差。
2025-02-14 stat.AP stat.ME