ScaleLSD: Scalable Deep Line Segment Detection Streamlined
Wuhan University(武汉大学);Ant Group(蚂蚁集团);NC State University(北卡罗来纳州立大学)
针对图像线段检测的领域泛化需求,研究团队提出可扩展自监督学习框架ScaleLSD,通过精简LSD方法基础设计,利用超千万无标注图像训练,成为首个在多类零样本任务中全面超越经典非深度LSD的深度方法。
2025-06-11 cs.CV
SemSegLoss: A python package of loss functions for semantic segmentation
图像分割一直是一个活跃的研究领域,因为它具有广泛的应用,从自动疾病检测到自动驾驶汽车。近年来,各种研究论文提出了不同的损失函数,用于有偏数据,稀疏分割和不平衡数据集的情况下。在本文中,我们介绍了SemSegLoss,一个Python包,包括一些著名的损失函数广泛用于图像分割。它的目的是帮助研究人员开发新的损失函数,并为各种应用程序的模型架构进行广泛的实验。所提出的软件包的易用性和灵活性,允许减少开发时间和增加评估策略的机器学习模型的语义分割。此外,由于其功能的通用性,使用图像分割的不同应用程序可以使用SemSegLoss。这种广泛的应用将导致AI在所有行业的发展和增长。
2021-05-18 cs.CV cs.LG eess.IV
LiDARNet: A Boundary-Aware Domain Adaptation Model for Point Cloud Semantic Segmentation
Texas A&M University(德克萨斯A&M大学)
提出了一种基于边界感知的LiDAR扫描全场景语义分割领域自适应模型(LiDARNet)。我们的模型可以同时提取领域私有特征和领域共享特征,具有双分支结构。我们将Gated-SCNN嵌入到LiDARNet的分割器组件中,以学习边界信息,同时学习预测全场景语义分割标签。此外,我们进一步减少域差距诱导模型学习两个域之间的映射使用域共享和私有功能。此外,我们引入了一个新的数据集(SemanticUSL \footnote{The access address of SemanticUSL:\url{https://unmannedlab.github.io/research/SemanticUSL}}),用于LiDAR点云语义分割的领域自适应。该数据集具有与SemanticKITTI相同的数据格式和本体。我们对真实世界的数据集SemanticKITTI,SemanticPOSS和SemanticUSL进行了实验,这些数据集在通道分布,反射率分布,场景多样性和传感器设置方面存在差异。使用我们的方法,我们可以得到一个单一的基于投影的激光雷达全场景语义分割模型工作在这两个领域。我们的模型可以保持几乎相同的性能在源域适配后,得到了8%-22%的mIoU性能提高目标域。
2021-04-24 cs.CV cs.LG eess.IV
Training Semantic Segmentation on Heterogeneous Datasets
Eindhoven University of Technology(埃因霍温理工大学)
本文在传统的单数据集同质训练的基础上,对语义分割进行了探索,提出了语义分割的异质训练问题。HTSS涉及多个异构数据集的同时训练,即从语义分割的角度来看,具有冲突标签空间和不同(弱)注释类型的数据集。HTSS公式将深度网络暴露给更大且以前未探索的信息聚合,这些信息可以在三个方向上潜在地增强语义分割:i)性能:在可见数据集上增加分割度量,ii)泛化:在不可见数据集上改进分割度量,以及iii)知识性:增加可识别语义概念的数量。为了研究HTSS的这些好处,我们提出了一个统一的框架,该框架将异构数据集纳入一个单一的网络训练管道,遵循既定的FCN标准。我们的框架首先管理异构数据集,将它们转换为通用格式,然后同时在所有数据集上训练单一骨干FCN。为了实现这一点,它转换弱注释,这是不兼容的语义分割,每像素的标签,并分层到一个通用的分类标签空间。经过训练的HTSS模型在广泛的数据集上展示了性能和泛化增益,并扩展了推理标签空间,从而产生了数百个语义类。
2023-01-18 cs.AI cs.CV cs.LG
Learning Attraction Field Representation for Robust Line Segment Detection
Wuhan University(武汉大学);University of Oxford(牛津大学);NC State University(北卡罗来纳州立大学)
本文提出了一种基于区域划分的线段地图吸引场对偶表示,从而将线段检测问题转化为区域着色问题。然后通过学习深度卷积神经网络(ConvNets)来解决后者的准确性、鲁棒性和效率。对于2D线段图,我们的对偶表示由三个部分组成:(i)区域分区图,其中每个像素被分配给一个且仅一个线段;(ii)吸引场图,其中分区区域中的每个像素由其2D投影向量w.r.t.相关联的线段;以及(iii)挤压模块,其将吸引场挤压成几乎完美地恢复输入场的线段图。通过利用二元性,我们学习ConvNets以端到端的方式计算原始输入图像的吸引场图,然后是LSD的挤压模块。我们的方法严格解决了LSD中的几个挑战,如局部模糊性和类不平衡。我们的方法还利用了基于ConvNets的语义分割方法中开发的最佳实践,例如编码器-解码器架构和a-trous卷积。在实验中,我们的方法在WireFrame数据集和YorkUrban数据集上进行了测试,获得了最先进的性能。特别是,我们将WireFrame数据集的性能提高了4.5个百分点。我们的方法也是快速的6.6~10.4 FPS,优于大多数现有的线段检测器。
2019-03-05 cs.CV
Semi-supervised Segmentation Fusion of Multi-spectral and Aerial Images
University of Birmingham(伯明翰大学)
提出了一种基于一致性和分布式学习的半监督分割融合算法。无监督分割融合(Unsupervised Segmentation Fusion,USF)的目的是通过计算NP问题的近似解,以较低的计算复杂性,在不同分割算法得到的不同分割结果之间达成一致。半监督被纳入USF使用一种新的算法称为半监督分割融合(SSSF)。在SSSF中,边信息的共同出现的像素在相同或不同的部分被制定为一个凸优化问题的约束。人工和真实世界的基准多光谱和航空图像的实验结果表明,所提出的算法比个别国家的最先进的分割算法的性能更好。
2015-02-26 cs.CV
M-FasterSeg: An Efficient Semantic Segmentation Network Based on Neural Architecture Search
Foshan University(佛山学院)
图像语义分割技术是智能系统理解自然场景的关键技术之一。作为视觉智能领域的重要研究方向之一,该技术在移动机器人、无人机、智能驾驶、智能安防等领域具有广阔的应用场景。但在移动机器人的实际应用中,可能会出现分割语义标签预测不准确、分割对象和背景边缘信息丢失等问题。本文提出了一种基于深度学习网络的语义分割网络的改进结构,该深度学习网络结合了自注意神经网络和神经网络架构搜索方法。首先,使用神经网络搜索方法NAS(Neural Architecture Search)来找到具有多个分辨率分支的语义分割网络。在搜索过程中,结合自注意力网络结构模块对搜索到的神经网络结构进行调整,再将不同分支搜索到的语义分割网络进行组合,形成快速语义分割网络结构,将图片输入网络结构,得到最终的预测结果。在Cityscapes数据集上的实验结果表明,该算法的准确率为69.8%,分割速度为48/s。该算法在实时性和准确性之间取得了很好的平衡,能够优化边缘分割,在复杂场景中有较好的表现。具有良好的鲁棒性,适合于实际应用。
2022-05-30 cs.CV
Towards 3D Semantic Image Synthesis for Medical Imaging
Institute of Signal Processing and System Theory(信号处理与系统理论研究所);University of Stuttgart(斯图加特大学)
本文提出Med-LSDM,一种在预训练VQ-GAN潜在空间中运行扩散模型的3D语义医学图像合成方法,在Duke Breast数据集上取得接近真实图像的Dice分数,验证了其用于隐私保护和数据增强的有效性。
2025-06-30 cs.CV eess.IV
Object-Centric Slot Diffusion
Rutgers University(罗格斯大学);KAIST(韩国科学技术院)
针对扩散模型与以物体为中心的学习融合不足的问题,提出Latent Slot Diffusion模型,用潜在扩散模型替代传统槽位解码器,实现无监督组合生成,性能优于现有Transformer解码器,还可结合预训练模型用于真实场景图像任务。
2023-11-03 cs.CV cs.LG
Learning Regional Attraction for Line Segment Detection
Wuhan University(武汉大学);University of Oxford(牛津大学);NC State University(北卡罗来纳州立大学)
本文提出了线段地图的区域吸引性,从而将线段检测问题转化为区域着色问题。给定一个线段图,所提出的区域吸引力首先建立线段和图像网格中的区域之间的关系。在此基础上,线段地图被等价地转换为吸引场地图(AFM),它可以被重新映射到一组线段,而不会丢失信息。因此,我们开发了一个端到端的框架来学习原始输入图像的吸引力场图,然后是一个挤压模块来检测线段。除了现有的工作,建议的检测器适当地处理本地的模糊性,不依赖于边缘像素的准确识别。在Wireframe数据集和YorkUrban数据集上的综合实验证明了该方法的优越性。特别是,我们在线框数据集上实现了0.831的F测量,将最先进的性能提高了10.3%。
2019-12-18 cs.CV
Semantic Segmentation Alternative Technique: Segmentation Domain Generation
University of Bucharest(布加勒斯特大学);ETH Zürich(苏黎世联邦理工学院)
在图像中检测感兴趣的对象一直是一项强制性的自动化任务。近年来,越来越多地使用深度学习技术来探索这项任务,主要是使用基于区域的卷积网络。在这个项目中,我们提出了一种替代的语义分割技术,利用生成对抗网络。我们认为语义分割是一个域转移问题。因此,我们训练前馈网络(FFNN)接收作为输入的种子真实图像,并生成作为输出的分割掩模。
2021-07-06 cs.CV cs.LG eess.IV
Self-supervised Depth Estimation to Regularise Semantic Segmentation in Knee Arthroscopy
University of Adelaide(阿德莱德大学);Queensland University of Technology(昆士兰科技大学)
膝关节结构的术中自动语义分割可以在膝关节镜检查期间在情境感知方面帮助外科医生。然而,由于成像条件差(例如,低纹理、过度曝光等),自动语义分割是一个具有挑战性的场景,这证明了关于这个主题的文献很少。在本文中,我们提出了一种新的自我监督的单目深度估计规则化训练的膝关节镜语义分割。为了进一步规范深度估计,我们建议使用由常规对象的立体关节镜捕获的干净训练图像(不呈现任何不良成像条件并且具有丰富的纹理信息)来预训练模型。我们微调这样的模型,以产生语义分割和自我监督的单眼深度使用立体关节镜图像从膝盖内。使用包含在尸体膝关节镜检查期间捕获的具有语义分割注释的3868个关节镜图像、尸体膝关节镜检查的2000个立体图像对和常规对象的2150个立体图像对的数据集,我们表明,我们的语义分割规则化的自我监督深度估计产生了更准确的分割比国家的,本发明涉及一种专门用语义分割注释建模的语义分割方法。
2020-07-05 cs.CV eess.IV
Cooperative Semantic Segmentation and Image Restoration in Adverse Environmental Conditions
Tsinghua University(清华大学);Shenzhen Institutes of Advanced Technology (SIAT), Chinese Academy of Science(中国科学院深圳先进技术研究院);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);University College London(伦敦大学学院)
大多数最先进的语义分割方法仅在良好条件下实现高准确度。在实际常见但讨论较少的不利环境条件下,它们的性能可能会大大降低。现有的研究通常将不利条件下的分割处理作为信号恢复后的一个单独的后处理步骤,使得分割性能在很大程度上取决于恢复的质量。在本文中,我们提出了一种新的深度学习框架,以整体的方式解决恶劣环境条件下的语义分割和图像复原。所提出的方法包含两个组成部分:语义引导的适应,它利用退化图像的语义信息来细化分割;和示例引导的合成,它从语义标签地图中恢复图像,给出退化的示例作为指导。我们的方法合作利用低级别恢复和高级别分割在不利的环境条件下的互补性和相互依赖性。在不同数据集上的实验表明,该方法不仅可以提高基于退化线索的语义分割的准确性,而且可以提高基于语义指导的图像复原的感知质量和结构相似性。
2020-03-03 cs.CV eess.IV
SAR image matching algorithm based on multi-class features
本文提出一种基于直线和区域多类特征的SAR图像匹配算法,结合LSD线检测与模板匹配,提升了SAR与可见光图像的匹配精度和鲁棒性。
2024-05-06 cs.CV eess.IV
Semi-Supervised Domain Adaptation for Semantic Segmentation of Roads from Satellite Images
Huawei Turkey R&D Center(华为土耳其研发中心)
本文提出了一种半监督分割方法从卫星图像中提取道路的初步研究结果。人工神经网络和图像分割方法是从卫星图像中提取道路数据的最成功的方法之一。然而,这些模型需要来自不同区域的大量训练数据来实现高准确率。在这些数据需要更多数量或质量的情况下,通过从不同来源获得的注释数据中转移知识来训练深度神经网络是一种标准方法。本研究提出一种利用半监督学习方法进行路径分割的方法。提出了一种基于伪标记和最小类混淆方法的半监督场自适应方法,并观察到它在目标数据集上的性能提高。
2022-12-26 cs.CV eess.IV
Detecting Line Segments in Motion-blurred Images with Events
School of Electronic Information, Wuhan University(武汉大学电子信息学院);School of Computer Science, Wuhan University(武汉大学计算机学院);Baidu Inc(百度公司)
针对运动模糊图像中的线段检测难题,本文提出融合图像纹理与事件边缘的帧-事件特征融合网络,并构建FE-Wireframe和FE-Blurframe数据集,显著提升真实模糊场景的检测精度。
2022-11-20 cs.CV
SweepLSD: A One-Pass, O(width)-Memory Line Segment Detector with an Integer-Only Streaming Core and a Real-Time FPGA Realization
本文提出了纯整数流核心的SweepLSD线段检测器,其内存为O(宽度),实现了1080p30实时FPGA检测,CPU速度优于ELSED等,在消失点和相机姿态任务上表现出色。
2026-08-25 cs.AR cs.CV eess.IV
Artificial Satellite Trails Detection Using U-Net Deep Neural Network and Line Segment Detector Algorithm
School of Physics and Astronomy, China West Normal University(物理与天文学院,西南大学);National Astronomical Observatories, Chinese Academy of Sciences(国家天文台,中国科学院);School of Astronomy and Space Science, University of Chinese Academy of Sciences(天文与空间科学学院,中国科学院大学);Shandong Provincial Key Laboratory of Optical Astronomy and Solar-Terrestrial Environment, School of Space Science and Technology, Institute of Space Sciences, Shandong University(山东省光学天文与太阳-地球环境重点实验室,空间科学与技术学院,空间科学研究院,山东大学)
本文提出结合U-Net图像分割与LSD算法的人造卫星轨迹检测模型,在Mini-SiTian Array模拟数据上训练,对SNR>3的轨迹检测率超99%,并在真实数据上取得79.57召回率和74.56精确率。
2025-09-20 astro-ph.IM cs.CV
NPLSD: Accelerating Line-Segment Detection on NPU Microcontrollers
Iran University of Science and Technology(伊朗科技大学);Case Western Reserve University(凯斯西储大学)
针对NPU微控制器上Transformer线段检测器不兼容的问题,提出NPLSD-H和NPLSD-M两种全卷积检测器,分别基于HGNetv2和M-LSD-tiny,在STM32N6上实现高精度检测,初始化贡献显著。
2026-09-23 cs.AR cs.CV
Segmenter: Transformer for Semantic Segmentation
Inria(法国国家信息与自动化研究所)
图像分割在单个图像块的水平上通常是模糊的,并且需要上下文信息来达成标签共识。在本文中,我们介绍了Segmenter,一个Transformer模型的语义分割。与基于卷积的方法相比,我们的方法允许在第一层和整个网络中对全局上下文进行建模。我们建立在最近的视觉Transformer(ViT),并将其扩展到语义分割。为此,我们依赖于与图像块相对应的输出嵌入,并使用逐点线性解码器或掩码Transformer解码器从这些嵌入中获得类标签。我们利用预先训练的图像分类模型,并表明我们可以在中等大小的数据集上进行微调,可用于语义分割。线性解码器允许获得优秀的结果已经,但性能可以进一步提高由掩码Transformer生成类掩码。我们进行了广泛的消融研究,以显示不同参数的影响,特别是大模型和小贴片尺寸的性能更好。Segmenter在语义分割方面取得了很好的效果。它在ADE20K和Pascal Context数据集上的性能优于最先进的技术,在Cityscapes上也具有竞争力。
2021-09-02 cs.AI cs.CV cs.LG
Image Compression with Encoder-Decoder Matched Semantic Segmentation
Hosei University(法政大学);Fudan University(复旦大学)
近年来,分层图像压缩被证明是一个很有前途的方向,它编码的输入图像的紧凑表示和应用上采样网络来重建图像。为了进一步提高重建图像的质量,有些作品将语义片段与压缩图像数据一起传输。因此,压缩比也降低,因为需要额外的比特来传输语义段。为了解决这个问题,我们提出了一个新的分层图像压缩框架与编码器-解码器匹配的语义分割(EDMS)。然后,在语义分割之后,使用一种特殊的卷积神经网络来增强不准确的语义段。因此,在解码器中可以获得准确的语义段,而不需要额外的比特。实验结果表明,所提出的EDMS框架可以得到高达35.31%的BD率减少基于HEVC(BPG)的编解码器,5%的比特率,和24%的编码时间节省相比,最先进的基于语义的图像编解码器。
2021-01-30 cs.CV cs.MM eess.IV
Unified and Efficient Point-Line Local Features
ETH Zurich(苏黎世联邦理工学院);Microsoft Spatial AI Lab(微软空间人工智能实验室)
该研究提出UPAL特征提取器,联合提取点线特征,在保持最优性能的同时大幅降低计算成本,优于ALIKED+DeepLSD流程。
2026-08-21 cs.CV
Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation
POSTECH(浦项科技大学)
我们提出了一种新的深度神经网络架构,用于使用异构注释的半监督语义分割。与现有的方法将语义分割作为基于区域的分类的单个任务相反,我们的算法将分类和分割合并,并为每个任务学习一个单独的网络。在这种架构中,与图像相关联的标签由分类网络识别,并且随后在分割网络中对每个识别的标签执行二进制分割。解耦的架构使我们能够分别基于具有图像级和像素级类别标签的训练数据来学习分类和分割网络。它有利于减少搜索空间分割有效地利用类特定的激活图从桥接层。与其他半监督方法相比,我们的算法表现出出色的性能,即使在PASCAL VOC数据集中具有强注释的训练图像少得多。
2015-06-17 cs.CV
An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset
Dalian University of Technology(大连理工大学)
随着水下目标抓取技术的发展,对水下目标进行高精度的识别和分割成为一个挑战。现有的水下目标检测技术只能给出物体的大致位置,无法给出物体的轮廓等更详细的信息,严重影响抓取效率。为了解决这个问题,我们标记并建立了第一个真实场景的水下语义分割数据集(DUT-USEG:DUT Underwater Segmentation Dataset)。DUT- USEG数据集包括6617幅图像,其中1487幅具有语义分割和实例分割注释,其余5130幅图像具有目标检测框注释。基于此数据集,我们提出了一个半监督的水下语义分割网络(US-Net:水下分割网络)的边界为重点。该网络通过设计伪标签生成器和边界检测子网络,实现了水下目标与背景边界的精细学习,提高了边界区域的分割效果。实验结果表明,该方法在DUT-USEG数据集上对海参、海胆、海星三种鱼类的分类效果提高了6.7%,达到了最佳的分类效果。DUT- USEG数据集将在https://github.com/baxiyi/DUT-USEG上发布。
2021-08-26 cs.CV
Pixel Level Data Augmentation for Semantic Image Segmentation using Generative Adversarial Networks
Beihang University(北京航空航天大学);Keep Inc(Keep公司)
语义分割是计算机视觉的基本课题之一,它的目的是为图像中的每个像素分配语义标签。不平衡的语义标签分布可能对分割精度产生负面影响。在本文中,我们研究使用数据增强方法来平衡语义标签分布,以提高分割性能。我们建议使用生成对抗网络(GANs)来生成逼真的图像,以提高语义分割网络的性能。实验结果表明,该方法不仅可以提高对低精度类的分割性能,而且平均分割精度提高了1.3%~ 2.1%。实验结果表明,这种增强方法可以提高分割精度,并且可以很容易地应用到其他分割模型中。
2019-11-26 cs.CV
Bridging Category-level and Instance-level Semantic Image Segmentation
The University of Adelaide(阿德莱德大学)
我们提出了一种建立在类别级分割之上的实例级图像分割方法。具体地,对于语义类别掩码中的每个像素,使用深度全卷积回归网络来预测其对应的实例限界框。因此,它遵循与流行的检测然后分割方法不同的流水线,该方法首先预测实例的边界框,这是实例分割中的当前最先进技术。我们表明,通过利用我们的国家的最先进的语义分割模型的力量,所提出的方法可以实现可比的,甚至更好的结果,检测,然后段的方法。我们做出以下贡献。(i)首先,我们提出了一个简单而有效的方法来语义实例分割。(ii)其次,我们提出了一种在线自举方法在训练过程中,这是至关重要的实现语义类别分割和实例级分割的良好性能。(iii)由于语义类别分割的性能对实例级分割有很大的影响,这是我们方法的第二步,我们训练完全卷积的残差网络,以达到最佳的语义类别分割精度。在PASCAL VOC 2012数据集上,我们获得了目前最好的平均交叉-联合评分为79.1%。(iv)我们还实现了国家的最先进的实例级分割的结果。
2016-05-23 cs.CV
Semantic segmentation of trajectories with agent models
Hiroshima University(广岛大学)
在许多情况下,如轨迹聚类和分类,我们经常把一个轨迹分割成段作为预处理。本文提出了一种基于学习行为模型的轨迹语义分割方法。在所提出的方法中,我们从视频序列中学习一些行为模型。接下来,使用学习的行为模型和隐马尔可夫模型,我们将轨迹分割成语义段。通过与Ramer-Douglas-Peucker算法的比较,验证了该方法的有效性。
2018-02-27 cs.CV
Better Image Segmentation by Exploiting Dense Semantic Predictions
Beihang University(北京航空航天大学);UCL(伦敦大学学院)
人们普遍认为,图像分割可以受益于利用多级线索。本文重点研究了在自底向上的图像分割中利用基于模糊神经网络的密集语义预测,认为从一开始就考虑语义线索。通过这种方式,我们可以避免合并外观相似但语义类别不同的区域。语义效率低下的问题得到了解决。我们还提出了一种简单的方法来使用轮廓线索来抑制多级线索中的噪声,从而提高分割的鲁棒性。在BSDS500上的性能评估表明,本文的算法得到了竞争区域和边界性能。此外,由于在计算过程中可以为所有单独的区域分配适当的语义标签,因此我们能够提取调整后的语义分割。在Pascal VOC 2012上的实验表明,我们对直接来自密集预测的原始语义分割进行了改进。
2016-06-05 cs.CV
Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP
Johns Hopkins University(约翰斯·霍普金斯大学)
我们介绍了一种方法,允许自动分割图像到语义有意义的区域,而无需人工监督。衍生区域在不同的图像中是一致的,并且与某些数据集上的人类定义的语义类一致。在语义区域可能很难为人类定义和一致的标签的情况下,我们的方法仍然能够找到有意义的和一致的语义类。在我们的工作中,我们使用预训练的StyleGAN2生成模型:生成模型的特征空间中的聚类允许发现语义类。一旦发现了类别,就可以创建具有生成的图像和对应的分割掩模的合成数据集。之后,在合成数据集上训练分割模型,并能够推广到真实图像。此外,通过使用CLIP,我们能够使用自然语言中定义的提示来发现一些所需的语义类。我们在公开的数据集上测试了我们的方法,并展示了最先进的结果。
2021-11-18 cs.CV
MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
Google Inc.(谷歌公司);RWTH Aachen University(亚琛工业大学);UCLA(加利福尼亚大学洛杉矶分校)
在这项工作中,我们解决的问题,实例分割,同时解决目标检测和语义分割的任务。为了实现这一目标,我们提出了一个模型,称为MaskLab,它产生三个输出:框检测,语义分割和方向预测。在Faster-RCNN对象检测器的基础上,预测框提供了对象实例的准确定位。在每个感兴趣的区域内,MaskLab通过结合语义和方向预测来执行前景/背景分割。语义分割有助于模型区分不同语义类别的对象,包括背景,而方向预测,估计每个像素的方向,其相应的中心,允许分离相同的语义类别的实例。此外,我们还探讨了将最近成功的分割和检测方法(即atrous卷积和hypercolumn)结合起来的效果。我们提出的模型进行评估的COCO实例分割基准,并显示出与其他国家的最先进的模型相媲美的性能。
2017-12-13 cs.CV
Segment-Phrase Table for Semantic Segmentation, Visual Entailment and Paraphrasing
University of Washington(华盛顿大学);The Allen Institute for AI(艾伦人工智能研究所)
我们介绍段短语表(SPT),文本短语和它们相应的分割之间的双射关联的大集合。利用对象识别和自然语言语义的最新进展,我们展示了如何成功地建立一个高质量的段短语表,使用最少的人的监督。更重要的是,我们展示了这种丰富的双峰资源所释放的独特价值,无论是视觉还是自然语言理解。首先,我们表明,细粒度的文本标签促进上下文推理,有助于满足跨图像段的语义约束。此功能使我们能够在基准数据集上实现最先进的分割结果。接下来,我们表明,高质量的分割文本短语的关联有助于更丰富的语义理解和推理这些文本短语。利用这一功能,我们激发了视觉蕴涵和视觉释义的问题,并展示了它在大型数据集上的实用性。
2015-09-27 cs.CV
CNN-aware Binary Map for General Semantic Segmentation
University of Genova(热那亚大学);Istituto Italiano di Tecnologia(意大利技术研究院);University of Trento(特伦托大学);Allen Institute for AI(艾伦人工智能研究所)
在本文中,我们介绍了一种新的方法,一般语义分割,可以受益于一般语义的卷积神经网络(CNN)。我们的分割提出了视觉和语义连贯的图像段。我们使用CNN特征的二进制编码来克服在高维CNN特征空间上聚类的困难。这些二进制代码对图像中的噪声和非语义变化非常鲁棒。这些二进制编码可以嵌入到CNN中,作为网络末端的额外层。这导致实时分割。据我们所知,我们的方法是第一次尝试一般语义图像分割使用CNN。所有以前的论文都局限于少数几个类别的图像(例如PASCAL VOC)。实验表明,我们的分割算法优于国家的最先进的非语义分割方法的大幅度。
2016-09-29 cs.CV
Associatively Segmenting Instances and Semantics in Point Clouds
The University of Adelaide(阿德莱德大学);Youtu Lab, Tencent(腾讯优图实验室);The Chinese University of Hong Kong(香港中文大学)
三维点云精确、直观地描述了真实场景,如何在这样一个信息丰富的三维场景中分割出各种元素,目前还很少有人讨论。在本文中,我们首先介绍了一个简单而灵活的框架,分割实例和语义的点云同时。然后,我们提出了两种方法,使这两个任务发挥各自的优势,导致双赢的局面。具体来说,我们通过学习语义感知的点级实例嵌入,使实例分割受益于语义分割。同时,属于同一实例的点的语义特征被融合在一起,以做出更准确的逐点语义预测。我们的方法在3D实例分割方面大大优于最先进的方法,并且在3D语义分割方面有显着改进。代码已在https://github.com/WXinlong/ASIS上提供。
2019-02-28 cs.CV
Joint Learning of Intrinsic Images and Semantic Segmentation
University of Amsterdam(阿姆斯特丹大学);DUniversum B.V.(3DUniversum B.V.)
当成像条件存在变化时,室外场景的语义分割是有问题的。众所周知,反射率对各种照明效果都是不变的。因此,使用反射图像进行语义分割任务可能是有利的。此外,不仅分割可以受益于反射率,而且分割可以用于反射率计算。因此,在本文中,任务的语义分割和内在的图像分解被认为是一个联合的过程,通过探索他们的相互关系,在联合的方式。为此,我们提出了一种有监督的端到端CNN架构,以联合学习内在图像分解和语义分割。我们分析了共同解决这两个问题的好处。此外,提出了新的级联CNN架构的内在分割和分割的内在作为单一的任务。此外,还创建了一个35 K自然环境合成图像的数据集,其中包含相应的阴影和阴影(内在),以及分配给每个对象/场景的语义标签(分割)。实验表明,联合学习的内在图像分解和语义分割是有益的自然场景的任务。数据集和模型可在https://ivi.fnwi.uva.nl/cv/intrinseg上获得
2018-07-31 cs.CV
PSSNet: Planarity-sensible Semantic Segmentation of Large-scale Urban Meshes
Delft University of Technology(代尔夫特理工大学);CycloMedia Technology(CycloMedia科技公司)
我们引入了一种新颖的基于深度学习的框架来解释表示为纹理网格的3D城市场景。基于对象边界通常与平面区域的边界对齐的观察,我们的框架通过两个步骤实现了语义分割:平面敏感的过分割,然后进行语义分类。过分割步骤生成捕获城市场景的平面和非平面区域的网格段的初始集合。在随后的分类步骤中,我们构造一个图,该图编码其节点中的片段的几何和光度特征以及其边缘中的多尺度上下文特征。通过使用图卷积网络对片段进行分类来获得最终的语义分割。在两个语义城市网格基准上的实验和比较表明,我们的方法在边界质量、平均IoU(交集)和泛化能力方面优于最先进的方法。我们还介绍了几个新的指标,用于评估网格过分割方法专用于语义分割,我们提出的过分割方法优于国家的最先进的方法上的所有指标。我们的源代码可以在\url{https://github.com/WeixiaoGao/PSSNet}上找到。
2022-12-24 cs.CV
Shape-aware Semi-supervised 3D Semantic Segmentation for Medical Images
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海市智能视觉与成像工程技术研究中心)
半监督学习在医学图像分割中引起了广泛关注,因为获取逐像素图像注释是构建高性能深度学习方法的关键步骤。大多数现有的半监督分割方法要么倾向于忽略对象分割中的几何约束,导致不完整的对象覆盖,要么强加强形状先验,需要额外的对齐。在这项工作中,我们提出了一种新的shapeware半监督分割策略,利用丰富的未标记的数据,并强制执行分割输出的几何形状约束。为了实现这一目标,我们开发了一个多任务深度网络,该网络联合预测对象表面的语义分割和符号距离图(SDM)。在训练过程中,我们在标记数据和未标记数据的预测SDM之间引入对抗性损失,以便我们的网络能够更有效地捕获形状感知特征。在心房分割挑战数据集上的实验表明,我们的方法优于当前最先进的方法,改进了形状估计,这验证了其有效性。代码可在https://github.com/kleinzcy/SASSnet上获得。
2020-07-21 cs.CV
Discovering Latent Classes for Semi-Supervised Semantic Segmentation
University of Bonn(波恩大学);EyewareTech(EyewareTech公司)
高标注成本是语义分割系统训练的主要瓶颈。因此,具有较少注释工作的方法是特别感兴趣的。研究了半监督语义分割问题。这意味着只有一小部分训练图像被注释,而其他训练图像不包含任何注释。为了利用未标记图像中的信息,我们建议学习第二个任务,该任务与语义分割相关,但更容易。在标记的图像上,我们学习与语义类一致的潜在类,以便分配给潜在类的语义类的种类尽可能少。在未标记的图像上,我们预测潜在类别的概率图,并将其用作监督信号来学习语义分割。潜在类,以及语义类,同时预测的两个分支网络。在我们对Pascal VOC和Cityscapes的实验中,我们表明,以这种方式学习的潜在类具有直观的意义,并且所提出的方法实现了半监督语义分割的最新结果。
2021-03-08 cs.CV
Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
DGIST(韩国基础科学研究院);POSTECH(浦项科技大学)
切分标签的不足是语义分割的主要障碍之一。为了缓解这个问题,我们提出了一个新的框架,生成分割标签的图像给出了他们的图像级类标签。在这种弱监督的设置中,训练的模型已经被称为分割局部区分部分,而不是整个对象区域。我们的解决方案是传播这样的本地响应到附近的地区属于同一个语义实体。为此,我们提出了一种称为AffinityNet的深度神经网络(DNN),它可以预测一对相邻图像坐标之间的语义相似度。然后,语义传播通过随机游走与AffinityNet预测的亲和力来实现。更重要的是,用于训练AffinityNet的监督由初始判别部分分割给出,其作为分割注释是不完整的,但足以学习小图像区域内的语义亲和力。因此,整个框架只依赖于图像级的类标签,不需要任何额外的数据或注释。在PASCAL VOC 2012数据集上,使用我们的方法生成的分割标签学习的DNN优于使用相同监督级别训练的先前模型,甚至与那些依赖于更强监督的模型一样具有竞争力。
2018-04-09 cs.CV
Synergy Between Semantic Segmentation and Image Denoising via Alternate Boosting
University of Science and Technology of China(中国科学技术大学)
图像语义分割的能力可能会由于噪声输入图像而恶化,其中在分割之前的图像去噪有所帮助。随着深度学习的发展,图像去噪和语义分割都得到了显著的发展。因此,我们感兴趣的是它们之间的协同作用,通过使用一个整体的深度模型。我们观察到,不仅去噪有助于对抗由于噪声而导致的分割精度下降,而且像素级语义信息也提高了去噪的能力。然后,我们提出了一个boosting网络来交替执行去噪和分割。该网络由多个分割和去噪块(SDB)组成,每个块估计语义映射,然后使用该映射来正则化去噪。实验结果表明,去噪后的图像质量有了明显的提高,分割精度也提高到接近干净图像的水平。我们的代码和模型将公开提供。
2021-02-24 cs.CV
Semantic-Fast-SAM: Efficient Semantic Segmenter
Kyungpook National University, Korea(韩国全州国立大学)
本文提出Semantic-Fast-SAM,结合快速分割任何模型与语义标注流程,实现高精度实时语义分割。
2026-04-23 cs.CV
EADNet: Efficient Asymmetric Dilated Network for Semantic Segmentation
Fudan University(复旦大学);Shanghai Huawei Technologies Co., Ltd.(上海华为技术有限公司)
由于实时图像语义分割需要在功率受限的边缘设备上进行,因此越来越希望设计轻量级的语义分割神经网络,以同时降低计算成本并提高推理速度。本文提出了一种高效的非对称扩张语义分割网络EADNet,它由多个具有不同扩张率的非对称卷积分支组成,以捕获图像的可变形状和尺度信息。特别地,多尺度多形状感受野卷积(MMRFC)块只有几个参数的设计,以捕捉这些信息。在Cityscapes数据集上的实验结果表明,我们提出的EADNet在主流轻量级语义分割网络中以最少的参数(仅0.35 M)实现了67.1的分割mIoU。
2021-03-16 cs.CV
Generative Semantic Segmentation
Fudan University(复旦大学);University of Surrey(萨里大学)
本文提出生成式语义分割(GSS),将语义分割转化为以图像为条件的掩码生成问题,通过隐变量先验学习和条件网络实现分割,在标准设置下表现优异,并在跨域设置中取得新最优。
2023-08-10 cs.CV
Weakly- and Semi-Supervised Learning of a DCNN for Semantic Image Segmentation
Google, Inc.(谷歌公司);UCLA(加州大学洛杉矶分校)
深度卷积神经网络(DCNN)在大量具有强像素级注释的图像上训练,最近显着推动了语义图像分割的最新技术。我们研究了从(1)弱注释的训练数据(如边界框或图像级标签)或(2)来自一个或多个数据集的少数强标记和许多弱标记图像的组合中学习DCNN进行语义图像分割的更具挑战性的问题。我们开发了期望最大化(EM)方法,用于在这些弱监督和半监督设置下进行语义图像分割模型训练。广泛的实验评估表明,所提出的技术可以学习模型提供具有挑战性的PASCAL VOC 2012图像分割基准的竞争力的结果,同时需要显着减少注释工作。我们在https://bitbucket.org/deeplab/deeplab-public上共享实现所提出的系统的源代码。
2015-10-05 cs.CV
Semantic Aware Attention Based Deep Object Co-segmentation
The University of Tokyo(东京大学)
对象共分割是从多幅图像中分割出相同对象的任务。在本文中,我们提出了基于注意力的对象共分割的对象共分割,利用一种新的注意力机制的瓶颈层的深层神经网络的语义相关的功能选择。此外,我们利用注意力学习器的优点,提出了一种线性时间复杂度的多输入图像分割算法。实验结果表明,我们的模型在多个数据集上实现了最先进的性能,并显着减少了计算时间。
2018-10-16 cs.CV
Context Tricks for Cheap Semantic Segmentation
University College London(伦敦大学学院)
图像像素的精确语义标记是困难的,因为类内变化通常大于类间变化。反过来,快速的语义分割是困难的,因为准确的模型通常太复杂,无法在测试时快速运行。我们在构建和运行语义分割系统方面的经验也表明,由于小的训练数据集,模型复杂性存在相当明显的瓶颈。因此,我们提出了两个简单的互补策略,利用上下文提供更好的语义分割,同时扩大或缩小到不同大小的数据集上的训练。作为现有的语义分割算法的简单修改,我们引入解相关的语义文本元森林,上下文敏感的图像水平优先级。提出的修改使用语义Texton森林(STF)系统进行测试,并在两个标准的基准数据集,MSRC-21和PascalVOC-2010的修改进行验证。在基于Python的比较中,我们的系统在测试时比STF慢得不明显,但总体上产生了优越的语义分割,只需按钮训练。
2015-02-17 cs.CV
Prototype Guided Network for Anomaly Segmentation
语义分割方法不能直接识别图像中的异常对象。异常分割算法可以区分分布内对象和分布外(OOD)对象,并输出像素的异常概率。本文提出了一种原型引导的异常分割网络(PGAN),用于从有限的标注图像中提取分布式训练数据的语义原型。在模型中,原型被用来建模的层次类别语义信息和区分OOD像素。提出的PGAN模型包括一个语义分割网络和一个原型抽取网络。采用相似性度量对原型进行优化。将学习到的语义原型作为类别语义,与从测试图像中提取的特征进行相似度比较,然后生成语义分割预测。提出的原型提取网络也可以集成到大多数语义分割网络和识别OOD像素。在StreetHazards数据集上,所提出的PGAN模型产生了53.4%的mIoU用于异常分割。实验结果表明,PGAN在异常分割任务中可以达到SOTA的性能。
2022-03-15 cs.CV
Learning High-level Prior with Convolutional Neural Networks for Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学)
提出了一种融合高层先验信息的卷积神经网络用于图像语义分割。受人类视觉识别系统的启发,我们设计了一个由高层编码、中层分割和底层图像组成的三层生成结构,为语义分割引入全局先验。基于这种结构,我们提出了一个生成模型,称为条件变分自动编码器(CVAE),可以建立这三个层背后的链接。这些重要环节包括从图像中提取高层信息的图像编码器、从分割中提取高层信息的分割编码器和从高层先验图像和输入图像中输出语义分割的混合解码器。我们从理论上推导出的语义分割作为这些链接参数化的优化问题。最后,优化问题使我们能够利用最先进的全卷积网络结构来实现上述编码器和解码器。在几个有代表性的数据集上的实验结果表明,我们的最高性能的语义分割。
2015-11-22 cs.CV
Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts
Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院);Everest Innovation Technology(珠科创新技术)
在本文中,我们提出了一个联合多任务学习框架的语义分割和边界检测。框架中的关键组件是迭代金字塔上下文模块(PCM),它耦合两个任务并存储共享的潜在语义以在两个任务之间进行交互。对于语义边界检测,我们提出了新的空间梯度融合抑制非语义边缘。由于语义边界检测是语义分割的双重任务,本文引入了一个带有边界一致性约束的损失函数,以提高语义分割的边界像素精度。我们广泛的实验表明,优越的性能超过国家的最先进的作品,不仅在语义分割,但也在语义边界检测。特别是,Cityscapes测试集上的平均IoU得分为81:8%,无需使用粗数据或任何外部数据进行语义分割。对于语义边界检测,我们在AP和MF(ODS)方面比以前的最先进的作品提高了9.9%和6:8%。
2020-04-16 cs.CV
Robust 3D Scene Segmentation through Hierarchical and Learnable Part-Fusion
Intel Labs(英特尔实验室)
3D语义分割是自动驾驶、机器人和AR/VR等多个场景理解应用的基本构建块。几种最先进的语义分割模型遭受部分误分类问题,其中,同一对象的部分被不正确地标记。以往的方法采用层次化、迭代法来融合语义和实例信息,但它们在上下文融合中缺乏可学习性,并且计算复杂和启发式驱动。本文提出了分段融合,一种新的基于注意力的语义和实例信息的层次融合方法,以解决部分错误分类。所提出的方法包括一个图形分割算法,用于将点分组为片段,将点特征合并为片段特征,一个可学习的基于注意力的网络,根据它们的语义和实例特征融合这些片段,然后是一个简单而有效的连接组件标记算法,将片段特征转换为实例标签。Segment-Fusion可以灵活地与任何网络架构一起用于语义/实例分割。在ScanNet和S3 DIS数据集上进行评估时,它将几个语义分割骨干的定性和定量性能提高了5%。
2021-11-16 cs.CV
LidarMultiNet: Unifying LiDAR Semantic Segmentation, 3D Object Detection, and Panoptic Segmentation in a Single Multi-task Network
TuSimple(图森未来);University of Central Florida(中佛罗里达大学)
本技术报告介绍了Waymo Open Dataset 3D语义分割挑战赛2022的第一名获奖解决方案。我们的网络,称为LidarMultiNet,统一了主要的激光雷达感知任务,如3D语义分割,目标检测和全景分割在一个单一的框架。LidarMultiNet的核心是一个强大的基于3D体素的编码器-解码器网络,具有一个新颖的全局上下文池(GCP)模块,从LiDAR帧中提取全局上下文特征以补充其局部特征。提出了可选的第二阶段以细化第一阶段分割或生成准确的全景分割结果。我们的解决方案实现了71.13的mIoU,并且是Waymo 3D语义分割测试集上22个类中大多数的最佳,优于官方排行榜上的所有其他3D语义分割方法。我们首次证明,主要的LiDAR感知任务可以统一在一个可以端到端训练的强大网络中。
2022-06-24 cs.CV
Image-Text Co-Decomposition for Text-Supervised Semantic Segmentation
NVIDIA(英伟达);MediaTek(联发科);National Taiwan University(国立台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出图像-文本协同分解框架CoDe,通过将图像和文本分别分解为区域与词片段并进行对比对齐,结合提示学习机制,在六个基准数据集上提升了文本监督语义分割性能。
2024-04-05 cs.CV
Bitewing Radiography Semantic Segmentation Base on Conditional Generative Adversarial Nets
目前,咬翼类X光图像的分割是一个非常具有挑战性的任务。研究的重点是将其细分为龋齿,釉质,牙本质,牙髓,牙冠,修复和根管治疗。现阶段对咬翼片图像进行语义分割的主要方法是U型深卷积神经网络,但其准确率较低。为了提高咬翼片图像语义分割的准确性,提出了将条件生成对抗网络(cGAN)与U形网络结构(U-Net)相结合的方法用于咬翼片图像的语义分割。实验结果表明,cGAN结合U-Net的准确率为69.7%,比U形深卷积神经网络的准确率56.4%提高了13.3%。
2018-02-07 cs.CV
Multi-Scale Semantic Segmentation with Modified MBConv Blocks
Princeton University(普林斯顿大学)
本文针对语义分割定制改进MBConv块,使U-Net各分支具备等效分割能力,在Cityscapes测试和验证集上分别达到84.5%和84.0%的mIoU。
2024-02-07 cs.CV
Semantic Segmentation Using Super Resolution Technique as Pre-Processing
Tamkang University(淡江大学);Crean Lutheran High School(克里安路德高中)
本文提出将图像超分辨率技术作为预处理步骤集成到语义分割中,用于文档图像二值化,有效提升了分割结果与性能。
2023-06-27 cs.CV