Joint Calibration for Semantic Segmentation
University of Edinburgh（爱丁堡大学）
语义分割是指为图像中的每个像素分配类别标签的任务。我们提出了一个基于区域的语义分割框架，它可以处理完全监督和弱监督，并解决了三个常见的问题：（1）对象出现在多个尺度，因此我们应该使用多个尺度的区域。然而，这些区域是重叠的，这在像素级上产生了冲突的类预测。(2)类频率在现实数据集中是高度不平衡的。(3)每个像素只能分配给一个类，这就造成了类之间的竞争。我们解决所有这三个问题的联合校准方法，优化了多类损失定义在最终的像素级输出标签，而不是简单的区域分类。我们的方法在完全和弱监督设置中的流行SIFT Flow [18]数据集上的表现优于最先进的方法（分别为+6%和+10%）。
2015-08-12 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley（加州大学伯克利分校）
卷积网络是一种强大的视觉模型，可以产生层次结构的特征。我们证明了卷积网络本身，经过端到端，像素到像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是构建“全卷积”网络，该网络接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先验模型的连接。我们将当代分类网络（AlexNet，VGG网络和GoogLeNet）适应于完全卷积网络，并通过微调将其学习的表示转移到分割任务中。然后，我们定义了一种新的架构，结合语义信息从一个深，粗层与外观信息从一个浅，细层，以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC（2012年平均IU为62.2%，相对提高了20%），NYUDv2和SIFT Flow的最先进分割，而典型图像的推理时间为三分之一秒。
2015-03-08 cs.CV
Region-based semantic segmentation with end-to-end training
University of Edinburgh（爱丁堡大学）
我们提出了一种新的方法，语义分割，标记图像中的每个像素的语义类的任务。我们的方法结合了两种主要竞争范式的优点。基于区域分类的方法为外观测量提供了适当的空间支持，但通常在两个单独的阶段中操作，其中没有一个阶段针对流水线末端的像素标记性能。最近的全卷积方法能够为最终的像素标记进行端到端的训练，但采用固定的补丁作为空间支持。我们展示了如何修改现代基于区域的方法，以实现语义分割的端到端训练。这是通过可微分的区域到像素层和可微分的自由形式的感兴趣区域池化层来实现的。我们的方法在类平均准确度方面提高了最先进的水平，在SIFT Flow上为64.0%，在PASCAL Context上为49.9%，并且在对象边界上特别准确。
2016-07-26 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley（加州大学伯克利分校）
卷积网络是一种强大的视觉模型，可以产生层次结构的特征。我们证明了卷积网络本身，经过端到端，像素到像素的训练，在语义分割中改善了以前的最佳结果。我们的关键见解是构建“全卷积”网络，该网络接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先验模型的连接。我们将当代分类网络（AlexNet，VGG网络和GoogLeNet）适应于完全卷积网络，并通过微调将其学习的表示转移到分割任务中。然后，我们定义了一个跳过架构，结合语义信息从一个深，粗层与外观信息从一个浅，细层，以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC的改进分割（相对于2012年的67.2%平均IU提高了30%），NYUDv 2，SIFT Flow和PASCAL-Context，而对于典型图像，推理需要十分之一秒。
2016-05-20 cs.CV
Efficient piecewise training of deep structured models for semantic segmentation
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
语义图像分割的最新进展主要是通过训练深度卷积神经网络（CNN）实现的。我们将展示如何通过使用上下文信息来提高语义分割;具体而言，我们将探索图像区域之间的“补丁-补丁”上下文和“补丁-背景”上下文。为了从补丁补丁上下文中学习，我们用基于CNN的成对势函数来构造条件随机场（CRF），以捕获相邻补丁之间的语义相关性。然后应用所提出的深度结构化模型的有效分段训练，以避免用于反向传播的重复昂贵的CRF推断。对于捕获补丁背景上下文，我们表明，传统的多尺度图像输入和滑动金字塔池的网络设计是有效的，以提高性能。我们的实验结果在一些流行的语义分割数据集上设置了新的最先进的性能，包括NYUDv 2，PASCAL VOC 2012，PASCAL上下文和SIFT流。特别是，我们在具有挑战性的PASCAL VOC 2012数据集上实现了78.0的交叉-联合得分。
2016-06-06 cs.CV
Unsupervised Total Variation Loss for Semi-supervised Deep Learning of Semantic Segmentation
Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
我们引入了一种新的无监督损失函数，用于在密集标记的训练图像不可用时使用深度卷积神经网络（ConvNet）学习语义分割。更具体地，所提出的损失函数惩罚由ConvNet产生的标签概率向量图像的梯度的L1范数，即总变差。这可以被看作是一个正则化项，它促进了ConvNet在学习过程中产生的标签概率向量图像的分段平滑。将无监督损失函数与半监督设置中的监督损失相结合，以学习ConvNets，即使在训练图像中只有很小比例的像素被标记时，也可以实现高语义分割精度。我们展示了显着的改进，在魏茨曼马，斯坦福背景和Sift Flow数据集的纯监督设置。此外，我们表明，在学习阶段使用建议的分段平滑约束显着优于后处理结果从一个纯粹的监督方法与马尔可夫随机场（MRF）。最后，我们注意到，我们介绍的框架是通用的，可以用来学习标记其他类型的结构，如曲线结构，通过相应地修改无监督损失函数。
2018-08-07 cs.CV
Exploring Context with Deep Structured models for Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最先进的语义图像分割方法大多基于训练深度卷积神经网络（CNN）。在这项工作中，我们提出了改善语义分割与上下文信息的使用。特别是，我们探索了深度CNN中的“补丁-补丁”上下文和“补丁-背景”上下文。我们通过结合CNN和条件随机场（CRF）来制定深度结构化模型，以学习图像区域之间的补丁-补丁上下文。具体来说，我们制定了基于CNN的成对势函数，以捕捉相邻补丁之间的语义相关性。然后应用所提出的深度结构化模型的有效分段训练，以避免在反向传播过程中重复昂贵的CRF推断。对于捕获补丁背景上下文，我们表明，传统的多尺度图像输入和滑动金字塔池的网络设计是非常有效的，以提高性能。我们对所提出的方法进行了综合评价。我们在许多具有挑战性的语义分割数据集上实现了新的最先进的性能，包括$NYUDv2$、$PASCAL$ - $VOC2012$、$Cityscapes$、$PASCAL$ - $Context$、$SUN$ - $RGBD$、$SIFT$ - $flow$和$KITTI$数据集。特别是，我们报告了$PASCAL$ - $VOC2012$数据集上$77.8$的交叉-联合评分。
2017-05-02 cs.CV
ParseNet: Looking Wider to See Better
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；MagicLeap Inc.（MagicLeap公司）
我们提出了一种将全局上下文添加到深度卷积网络以进行语义分割的技术。该方法很简单，使用层的平均特征来增强每个位置的特征。此外，我们还研究了训练的几个特性，显著提高了基线网络（例如来自FCN）的性能。当我们添加我们提出的全局特征和学习归一化参数的技术时，准确性甚至比我们改进的基线版本都要一致地提高。我们提出的方法ParseNet在SiftFlow和PASCAL-Context上实现了最先进的性能，并且在基线上具有较小的额外计算成本，并且在PASCAL VOC 2012语义分割上具有接近当前最先进的性能。代码可在https://github.com/weiliu89/caffe/tree/fcn上获得。
2015-11-19 cs.CV
Deep Hierarchical Parsing for Semantic Segmentation
University of Maryland（马里兰大学）；MERL（三菱电机研究实验室）
本文提出了一种基于学习的场景解析方法，该方法受到深度递归上下文传播网络（RCPN）的启发。RCPN是一个深度前馈神经网络，它利用来自整个图像的上下文信息，通过自下而上，然后通过随机二进制解析树自上而下的上下文传播。这改进了图像中每个超像素的特征表示，以便更好地分类到语义类别中。我们分析了RCPN，并提出了两个新的贡献，以进一步改善模型。我们首先分析了RCPN参数的学习，发现RCPN的计算图中存在旁路错误路径，这可能会阻碍上下文传播。我们建议通过在原始RCPN损失函数中包括随机解析树的内部节点的分类损失来解决这个问题。其次，我们在解析树节点上使用MRF来对输出中存在的层次依赖进行建模。这两个修改都提供了比原始RCPN更高的性能，新系统在斯坦福背景，SIFT-Flow和戴姆勒城市数据集上实现了最先进的性能。
2015-03-30 cs.CV
Evidential fully convolutional network for semantic segmentation
Université de technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Heudiasyc（混合智能系统与机器人实验室）；Institut universitaire de France（法兰西大学研究院）
我们提出了一个混合架构组成的全卷积网络（FCN）和Dempster-Shafer层的图像语义分割。在所谓的证据FCN（E-FCN）中，编码器-解码器架构首先从输入图像中提取逐像素特征图。然后，Dempster-Shafer层根据到原型的距离计算每个像素位置处的质量函数。最后，效用层从质量函数执行语义分割，并允许模糊像素和离群值的不精确分类。我们提出了一种端到端的学习策略，用于联合更新网络参数，该策略可以使用软（不精确）标签。实验结果表明，该方法通过将混淆像素分配到多类集合中，提高了语义分割的准确性和标定度。
2021-03-25 cs.AI cs.CV
Co-Seg: An Image Segmentation Framework Against Label Corruption
Columbia University（哥伦比亚大学）；Imperial College London（帝国理工学院）；The University of Alabama（阿拉巴马大学）
受监督的深度学习性能与高质量标签的可用性密切相关。如果直接在噪声数据集上训练，神经网络会逐渐过拟合损坏的标签，导致测试时性能严重下降。在本文中，我们提出了一种新的深度学习框架，即Co-Seg，用于在包含低质量噪声标签的数据集上协作训练分割网络。我们的方法首先同时训练两个网络来筛选所有样本，并获得具有可靠标签的子集。然后，一个有效的但易于实现的标签校正策略，以丰富的可靠子集。最后，使用更新的数据集，我们重新训练分割网络以确定其参数。在两个有噪声的标签场景中的实验表明，我们提出的模型可以实现与无噪声标签上训练的监督学习所获得的结果相当的结果。此外，我们的框架可以很容易地在任何分割算法中实现，以增加其对噪声标签的鲁棒性。
2021-01-31 cs.CV cs.LG
BiX-NAS: Searching Efficient Bi-directional Architecture for Medical Image Segmentation
University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）；University of Pittsburgh（匹兹堡大学）；JD Finance America Corporation（京东金融美国公司）
最近，在各种医学图像分割任务中，将递归机制引入到U-Net中。现有的研究主要集中在通过重用构建块来促进网络递归。虽然可以大大节省网络参数，但按照预先设定的迭代时间，计算量仍不可避免地增加。在这项工作中，我们研究了双向跳跃连接网络的多尺度升级，然后通过一种新的两阶段神经架构搜索（NAS）算法，即BiX-NAS，自动发现一个有效的架构。我们提出的方法通过在不同的层次和迭代中筛选出无效的多尺度特征来降低网络的计算成本。我们使用三种不同的医学图像数据集对BiX-NAS进行了两个分割任务的评估，实验结果表明，我们的BiX-NAS搜索架构以显著降低的计算成本实现了最先进的性能。
2021-07-01 cs.CV eess.IV
ELASTIC: Improving CNNs with Dynamic Scaling Policies
Johns Hopkins University（约翰斯·霍普金斯大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
尺度变化一直是计算机视觉中从传统方法到现代方法的一个挑战。大多数规模问题的解决方案都有一个类似的主题：一组直观的手动设计的通用和固定的策略（例如SIFT或功能金字塔）。我们认为，扩展策略应该从数据中学习。在本文中，我们介绍了ELASTIC，这是一种简单，高效，但非常有效的方法，可以从数据中学习动态扩展策略。我们将扩展策略制定为网络结构内部的非线性函数，（a）从数据中学习，（b）是特定于实例的，（c）不增加额外的计算，（d）可以应用于任何网络架构。我们将ELASTIC应用于几种最先进的网络架构，并在ImageNet分类，MSCOCO多标签分类和PASCAL VOC语义分割上显示出一致的改进，而无需额外（有时甚至更低）的计算。我们的研究结果显示，具有规模挑战的图像有了重大改进。我们的代码可以在这里找到：https://github.com/allenai/elastic
2019-04-08 cs.CV
Semi and Weakly Supervised Semantic Segmentation Using Generative Adversarial Network
University of Central Florida（中佛罗里达大学）；University of Catania（卡塔尼亚大学）
语义分割一直是计算机视觉中一个具有挑战性的任务。它的目的是为每个图像像素分配一个标签，需要大量的像素级注释数据，这通常是不可用的。为了解决这一问题，在本文中，我们一方面利用大量可用的未标记或弱标记数据，另一方面利用通过生成对抗网络创建的非真实图像。特别是，我们提出了一个基于生成对抗网络（GANs）的半监督框架，它由一个生成器网络组成，为多类分类器提供额外的训练样本，在GAN框架中充当训练器，从K个可能的类中为样本分配标签y或将其标记为假样本（额外类）。其基本思想是，添加大量虚假视觉数据迫使真实样本在特征空间中接近，从而实现自底向上的聚类过程，这反过来又改善了多类像素分类。为了确保GANs生成的图像质量更高，从而改进像素分类，我们通过添加弱注释数据来扩展上述框架，即，我们向生成器提供类级别信息。我们在几个具有挑战性的基准视觉数据集上测试了我们的方法，即PASCAL，SiftFlow，Stanford和CamVid，与最先进的语义分割方法相比，也实现了具有竞争力的性能
2017-03-28 cs.CV
FCN+RL: A Fully Convolutional Network followed by Refinement Layers to Offline Handwritten Signature Segmentation
Escola Politécnica de Pernambuco, Universidade de Pernambuco（伯南布哥大学伯南布哥理工学院）；University of Bari（巴里大学）
虽然世俗，手写签名是大多数国家使用的最可靠的生物识别方法之一。在过去十年中，手写签名验证技术的应用有了很大发展，包括法医方面。一些因素，如背景的复杂性和感兴趣区域的小尺寸-签名像素-增加了目标任务的难度。使其具有挑战性的其他因素是手写签名中存在的各种变化，例如位置，墨水类型，笔的颜色和类型以及笔画类型。在这项工作中，我们提出了一种方法来定位和提取识别文件上的手写签名的像素，没有任何先验信息的签名的位置。所使用的技术是基于一个完全卷积的编码器-解码器网络，结合了预测图像的alpha通道的一个细化层块。实验结果表明，该技术输出一个干净的签名，具有更高的保真度的行比传统的方法和保存的相关特征，签名人的拼写。为了评估我们的建议的质量，我们使用以下图像相似性度量：SSIM，SIFT和骰子系数。定性和定量的结果表明，与基线系统相比，有了重大改进。
2020-05-28 cs.CV
InstanceRefer: Cooperative Holistic Understanding for Visual Grounding on Point Clouds through Instance Multi-level Contextual Referring
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Southern University of Science and Technology（南方科技大学）
与基于二维图像的视觉定位相比，基于自然语言引导的点云三维目标定位更具挑战性。在本文中，我们提出了一个新的模型，命名为InstanceRefer，通过地面匹配策略，以实现优越的三维视觉接地。在实践中，我们的模型首先使用简单的语言分类模型从语言描述中预测目标类别。然后，基于类别，我们的模型从点云的全景分割中筛选出少量的候选实例（通常小于20个）。因此，考虑到实例级候选比冗余3D对象提议更合理，非平凡3D视觉基础任务已被有效地重新制定为简化的实例匹配问题。随后，对于每个候选者，我们执行多级上下文推理，即，分别涉及实例属性感知、实例间关系感知和实例间背景全局定位感知。最后，最相关的候选人被选中，并通过排名的置信度得分，这是由合作的整体视觉语言特征匹配。实验证实，我们的方法优于以前的国家的最先进的ScanRefer在线基准和Nr 3D/Sr 3D数据集。
2021-07-29 cs.CV
