Incorporating Depth into both CNN and CRF for Indoor Semantic Segmentation
South China University of Technology（华南理工大学）
为了提高分割性能，提出了一种新的神经网络结构（DFCN-DCRF），它将RGB-D全卷积神经网络（DFCN）与深度敏感的全连接条件随机场（DCRF）相结合。首先，设计了一种DFCN架构，该架构将深度信息融合到早期层中，并将扩张卷积应用于后续的上下文推理。然后，提出了一个深度敏感的全连接条件随机场（DCRF），并结合以前的DFCN完善的初步结果。对比实验表明，所提出的DFCN-DCRF具有最好的性能相比，大多数国家的最先进的方法。
2018-07-27 cs.CV
Perturb-and-MPM: Quantifying Segmentation Uncertainty in Dense Multi-Label CRFs
University of Bern（伯尔尼大学）；University Hospital and University of Bern（伯尔尼大学医院和伯尔尼大学）
提出了一种稠密条件随机场不确定性量化的新方法。所提出的方法，称为扰动和MPM，使有效的，近似采样密集的多标签CRF通过随机扰动。进行了分析误差分析，确定了近似误差的主要原因，以及显示的错误是有界的。空间不确定性图可以从扰动和MPM模型中导出，其可以用于可视化图像分割结果中的不确定性。该方法在合成和临床磁共振成像数据上进行了验证。该方法的有效性证明了具有挑战性的问题，在胶质母细胞瘤的肿瘤核心分割。我们发现，高不确定性的区域对应错误分割的图像区域。此外，我们证明了不确定性地图的潜在用途，以改善脑肿瘤患者的切除范围和残留肿瘤体积的情况下的成像生物标志物。
2017-03-02 cs.CV
Bottom-up Instance Segmentation using Deep Higher-Order CRFs
University of Oxford（牛津大学）
由于采用了深度学习，目标检测和语义分割等传统场景理解问题近年来取得了突破性进展。然而，前一个任务不能在像素级定位对象，后一个任务没有同一类对象的不同实例的概念。我们专注于实例分割的任务，识别和本地化的对象到一个像素级。我们的模型是基于一个经过语义分割训练的深度神经网络。该网络结合了一个条件随机场，具有基于对象检测器输出的端到端可训练高阶电位。这允许我们从初始的类别级语义分割中推理实例。我们简单的方法有效地利用了最近在语义分割和目标检测方面取得的巨大进展。我们的网络产生的准确的实例级分割反映在以前的工作中获得的相当大的改进。
2016-09-08 cs.CV
Structured Learning of Tree Potentials in CRF for Image Segmentation
The University of Adelaide（阿德莱德大学）；Nanyang Technological University（南洋理工大学）
我们提出了一种新的图像分割方法，它利用了条件随机场（CRF）和决策树的优点。在文献中，CRF的势函数大多被定义为一些预定义的参数模型的线性组合，然后应用结构化支持向量机（SSVMs）等方法来学习这些线性系数。相反，我们制定的一元和成对的潜力作为非参数森林-合奏的决策树，并学习合奏参数和树在一个统一的优化问题的大利润框架内。以这种方式，我们很容易实现非线性学习的潜在功能的一元和成对的条件下。此外，我们学习类明智的决策树的图像中出现的每个对象。由于决策树丰富的结构和灵活性，我们的方法是强大的建模复杂的数据可能性和标签关系。由此产生的优化问题是非常具有挑战性的，因为它可以有指数许多变量和约束。我们表明，这种具有挑战性的优化，可以有效地解决相结合的修改列生成和切割平面技术。在二进制（Graz-02，Weizmann horse，Oxford flower）和多类（MSRC-21，PASCAL VOC 2012）分割数据集上的实验结果证明了学习的非线性非参数势的能力。
2017-03-26 cs.CV
Actor-Action Semantic Segmentation with Grouping Process Models
University of Michigan（密歇根大学）
演员-动作语义分割为解决高级视频理解问题迈出了重要的一步：什么动作正在发生;谁在执行动作;以及动作在时空中的位置。目前针对这个问题的模型是局部的，基于分层CRF，并且无法捕获视频部分的长距离交互。我们提出了一个新的模型，结合这些本地标记CRF的层次supervoxel分解。超体素在CRF中以各种尺度为可能的节点分组提供线索，以鼓励自适应的高阶组进行更有效的标记。我们的模型是动态的，并在推理过程中不断交换信息：局部CRF影响层次结构中的超体素是活跃的，这些活跃的节点影响CRF中的连通性;因此我们称之为分组过程模型。在最近的一个大规模视频数据集上的实验结果显示，与现有技术相比，60%的相对改善幅度很大，这证明了标记和分组之间的动态双向流的有效性。
2015-12-30 cs.CV
Semantic Image Segmentation with Task-Specific Edge Detection Using CNNs and a Discriminatively Trained Domain Transform
Google Inc.（谷歌公司）
深度卷积神经网络（CNN）是最先进的语义图像分割系统的支柱。最近的工作表明，用全连接条件随机场（CRF）补充CNN可以显着提高其对象定位精度，但密集的CRF推理在计算上是昂贵的。我们建议用域变换（DT）代替完全连接的CRF，域变换是一种现代的边缘保持滤波方法，其平滑量由基准边图控制。域变换过滤比密集CRF推理快几倍，我们表明，它产生可比的语义分割结果，准确地捕捉对象边界。重要的是，我们的公式允许从中间CNN特征学习基准边图，而不是像标准DT滤波那样使用图像梯度幅度。这在优化目标语义分割质量的端到端可训练系统中产生任务特定的边缘。
2016-06-02 cs.CV
Higher Order Conditional Random Fields in Deep Neural Networks
University of Oxford（牛津大学）
我们使用深度学习来解决语义分割的问题。大多数分割系统包括条件随机场（CRF），以产生与图像的视觉特征一致的结构化输出。最近的深度学习方法将CRF纳入了卷积神经网络（CNN），有些甚至与网络的其余部分端到端地训练CRF。然而，这些方法没有采用高阶势，这已经被证明可以显着提高分割性能。在本文中，我们证明了基于目标检测和超像素的两种类型的高阶势可以包含在嵌入深度网络的CRF中。我们设计这些高阶的潜力，让推理与微分平均场算法。因此，我们更丰富的CRF模型的所有参数都可以通过我们的逐像素CNN分类器进行端到端学习。我们实现了最先进的分割性能的PASCAL VOC基准与这些可训练的高阶电位。
2016-07-29 cs.CV
Superpixel-enhanced Pairwise Conditional Random Field for Semantic Segmentation
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Air Force Research Laboratory（空军研究实验室）
基于超像素的高阶条件随机场（CRF）在逐像素标记问题（如语义分割）中有效地执行长程一致性。然而，与成对模型相比，它们的主要缺点是学习高阶势和额外的超参数和/或权重的时间要长得多。本文提出了一个超像素增强的成对CRF框架，包括传统的成对以及我们提出的超像素增强的成对（SP-成对）的潜力。SP-成对电位通过调节分段滤波图像来结合基于超像素的高阶线索，并且与常规成对电位共享相同的参数集。因此，所提出的超像素增强的成对CRF在参数学习中具有较低的时间复杂度，同时在推理精度方面优于高阶CRF。此外，新方案通过重用其参数和/或权重来利用预训练的成对模型，即使没有训练，也可以在CRF-RNN的基础上显著提高精度。在MSRC-21和PASCAL VOC 2012数据集上的实验验证了该方法的有效性。
2018-05-29 cs.CV
Gated CRF Loss for Weakly Supervised Semantic Image Segmentation
最先进的语义分割方法依赖于在完全注释的数据集上训练的深度卷积神经网络，众所周知，收集这些数据集在时间和金钱方面都非常昂贵。为了补救这种情况，弱监督方法利用其他形式的监督，这些监督需要显著更少的注释工作，但由于这些区域中监督信号的近似性质，它们通常无法预测精确的对象边界。虽然在提高性能方面已经取得了很大的进展，但这些弱监督方法中的许多都是针对其特定设置的。这对重用算法和取得稳定进展提出了挑战。在本文中，我们有意避免这种做法时，处理弱监督语义分割。特别是，我们训练标准的神经网络与部分交叉熵损失函数的标记像素和我们提出的门控CRF损失的未标记像素。门控CRF损失被设计为提供几个重要的资产：1）它使内核构造具有灵活性，以屏蔽来自不期望的像素位置的影响; 2）它将学习上下文关系卸载到CNN并集中于语义边界; 3）它不依赖于高维滤波，因此具有简单的实现。在整个文件中，我们提出的损失函数的优点，分析了弱监督训练的几个方面，并表明我们的“纯粹主义”的方法实现了最先进的性能，基于点击和基于涂鸦的注释。
2019-10-30 cs.CV
Post Processing of image segmentation using Conditional Random Fields
Dept. of Computer Science & Engineering（计算机科学与工程系）；Space Applications Center（空间应用中心）；JMIETI（JMIETI学院）；ISRO（印度空间研究组织）
本文研究了如何通过条件随机场提升图像分割结果的清晰度，分析了不同CRF类型在低质量卫星图像和高质量航拍照片上的表现，评估了不同方法的优缺点。
2025-10-10 cs.CV
A Multi-Layer Approach to Superpixel-based Higher-order Conditional Random Field for Semantic Image Segmentation
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Rome Airforce Research Lab（罗马空军研究实验室）
基于超像素的高阶条件随机场（SP-HO-CRF）因其在计算机视觉中为逐像素标记执行短和长空间邻接的有效性而闻名。然而，它们的高阶势通常太复杂而无法学习，并且在执行推理时经常产生高计算成本。我们提出了一种新的近似方法SP-HO-CRF，解决了这些问题。我们的方法是一个多层的CRF框架，继承了简单的成对CRF制定成相同的成对电位在第一层的高阶和成对线索。本质上，该方法通过重新使用成对CRF的预先训练的参数和/或权重，在没有训练的情况下基于成对CRF提供准确性增强。所提出的多层方法在描绘诸如“树”和“灌木丛”之类的对象类别的边界细节（边界）方面表现得特别好。在MSRC-21和PASCAL VOC 2012数据集上进行的多组实验验证了所提方法的有效性和效率。
2018-04-05 cs.CV
Learning Sparse High Dimensional Filters: Image Filtering, Dense CRFs and Bilateral Neural Networks
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）
双边滤波器由于其边缘保持特性而被广泛使用。常见的用例是手动选择参数滤波器类型，通常是高斯滤波器。在本文中，我们将推广的参数化，特别是推导出一个梯度下降算法，使滤波器参数可以从数据中学习。这种推导允许学习在稀疏填充的特征空间中操作的高维线性滤波器。我们建立在permutohedral晶格建设有效的过滤。学习更一般形式的高维滤波器的能力可以用于多种不同的应用程序。首先，我们演示了在由于运行时原因需要单个过滤器应用程序的应用程序中的使用。此外，我们还展示了如何使用该算法来学习密集连接的条件随机场中的成对电位，并将其应用于不同的图像分割任务。最后，我们在CNN中引入了双边滤波器层，并提出了用于高维稀疏数据的双边神经网络。这个视图提供了将模型结构编码到网络架构中的新方法。一组不同的实验经验验证了一般形式的过滤器的使用。
2015-11-25 cs.CV
On Regularized Losses for Weakly-supervised CNN Segmentation
University of Waterloo（滑铁卢大学）；Disney Research（迪士尼研究院）；École de Technologie Supérieure, University of Quebec（魁北克大学高等技术学院）
一般来说，最小化正则化损失是深度学习中公认的弱监督的原则性方法。然而，它在很大程度上被忽视的语义分割目前占主导地位的方法模仿充分监督通过“假”完全标记的训练掩码（建议）从可用的部分输入。为了获得这样的全掩模，典型的方法明确地使用标准正则化技术用于“浅”分割，例如图切割或密集CRF。相比之下，我们将这样的标准正则化器直接集成到部分输入上的损失函数中。这种方法通过避免额外的MRF/CRF推理步骤或显式生成完整掩码的层来简化弱监督训练，同时提高训练的质量和效率。本文提出并实验比较了不同的损失集成MRF/CRF正则化项。我们将我们的正则化损失与早期使用显式正则化步骤或层的提案生成方法并列。我们的方法在语义分割中达到了最先进的准确性，并且具有接近全监督的质量。
2018-04-10 cs.CV
A Projected Gradient Descent Method for CRF Inference allowing End-To-End Training of Arbitrary Pairwise Potentials
Chalmers University of Technology（查尔姆斯理工大学）；University of Oxford（牛津大学）；Centre for Mathematical Sciences, Lund University（隆德大学数学科学中心）
我们是否在Vision社区中流行的条件随机场模型中使用了正确的势函数？语义分割和其他像素级标签任务最近由于深度学习范式而取得了重大进展。然而，大多数最先进的结构化预测方法还包括具有手工制作的高斯势的随机场模型，以模拟空间先验，标签识别和基于特征的图像调节。在本文中，我们挑战这一观点，通过开发一个新的推理和学习框架，可以学习成对CRF潜力的限制，只依赖于图像像素值和大小的支持。标准的空间和高维双边内核被认为是。我们的框架基于这样的观察：CRF推理可以通过投影梯度下降实现，因此可以很容易地集成到深度神经网络中，以允许端到端的训练。经验表明，这种学习的潜力可以提高分割精度，某些标签类的相互作用确实更好地模拟了非高斯潜力。此外，我们比较我们的推理方法，常用的平均场算法。我们的框架在几个公共的语义分割基准上进行了评估，与以前最先进的CNN+CRF模型相比，性能有所提高。
2018-01-02 cs.CV
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs
Google Inc.（谷歌公司）；University College London（伦敦大学学院）；Johns Hopkins University（约翰霍普金斯大学）
在这项工作中，我们用深度学习解决了语义图像分割的任务，并做出了三个主要贡献，实验表明这些贡献具有实质性的实际价值。首先，我们强调使用上采样滤波器的卷积，或“atrous卷积”，作为密集预测任务中的强大工具。Atrous卷积允许我们显式控制在深度卷积神经网络内计算特征响应的分辨率。它还允许我们有效地扩大过滤器的视野，以包含更大的上下文，而不增加参数的数量或计算量。其次，我们提出了一种新的空间金字塔池（ASPP）来鲁棒地分割多尺度的对象。ASPP使用多个采样率和有效视场的滤波器探测传入的卷积特征层，从而以多个尺度捕获对象以及图像上下文。第三，我们通过结合DCNN和概率图形模型的方法来改进对象边界的定位。DCNN中通常部署的最大池化和下采样的组合实现了不变性，但对定位精度有影响。我们通过将最终DCNN层的响应与完全连接的条件随机场（CRF）相结合来克服这一点，这在定性和定量上都表明可以提高定位性能。我们提出的“DeepLab”系统在PASCAL VOC-2012语义图像分割任务中设置了新的最先进技术，在测试集中达到了79.7% mIOU，并在其他三个数据集上取得了进步：PASCAL-上下文，PASCAL-人-部分和城市景观。我们所有的代码都在网上公开提供。
2017-05-12 cs.CV
Closed-Form Training of Conditional Random Fields for Large Scale Image Segmentation
IST Austria（奥地利科学技术研究所）；ETH Zürich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）
我们提出了LS-CRF，一种非常有效的大规模条件随机场（CRF）训练的新方法。它的灵感来自于现有的封闭形式的表达与树拓扑结构的生成图形模型的最大似然参数。LS-CRF训练只需要解决一组独立的回归问题，对于这些问题，可以使用封闭形式的表达式和高效的迭代求解器。这使得它比需要重复运行概率推理的CRF的传统最大似然学习快几个数量级。同时，通过我们的方法学习的模型仍然允许在测试时进行联合推理。我们将LS-CRF应用于语义图像分割的任务，表明它是高效的，即使对于概率推理有问题的循环模型。它允许从比以前使用的更大的训练集训练图像分割模型。我们证明了这两个新的数据集，形成本文的第二个贡献。它们由超过180，000张带有图形-背景分割注释的图像组成。我们的大规模实验表明，基于CRF的图像分割的可能性远远没有用尽，例如，表明半监督学习和使用非线性预测器是未来实现更高分割精度的有希望的方向。
2014-03-27 cs.CV cs.LG
ClassWise-CRF: Category-Specific Fusion for Enhanced Semantic Segmentation of Remote Sensing Imagery
Xi'an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）
ClassWise-CRF通过类别特定融合提升遥感图像语义分割性能，利用贪心算法选择专家网络并动态调整权重，实验表明在LoveDA和Vaihingen数据集上均取得显著提升。
2025-12-29 cs.AI cs.CV cs.LG
Conditional Random Field and Deep Feature Learning for Hyperspectral Image Segmentation
Institute of Integrated and Intelligent Systems, Griffith University（格里菲斯大学集成与智能系统研究所）；School of Engineering and Information Technology, University of New South Wales at Canberra（新南威尔士大学堪培拉校区工程与信息技术学院）；Laboratoire Grenoblois de l’Image, de la Parole, du Signal et de l’Automatique (GIPSA-Lab), Grenoble Institute of Technology（格勒诺布尔理工学院图像、语音、信号与自动化实验室）；Faculty of Electrical and Computer Engineering, University of Iceland（冰岛大学电气与计算机工程学院）
图像分割是高光谱遥感图像处理的关键任务之一。最近，卷积神经网络（CNN）已经建立了自己作为一个强大的模型，在分割和分类，表现出优异的性能。使用图形模型，如条件随机场（CRF）有助于进一步捕捉上下文信息，从而提高分割性能。在本文中，我们提出了一种方法来分割高光谱图像的光谱和空间信息通过组合框架组成的CNN和CRF。我们使用多个谱立方体使用CNN来学习深度特征，然后用基于CNN的一元和成对势函数来制定深度CRF，以有效地提取由三维数据立方体组成的补丁之间的语义相关性。有效的分段训练，以避免计算昂贵的迭代CRF推理。此外，我们引入了一个深度去卷积网络，它改进了分割掩码。我们还引入了一个新的数据集，并在其上与几个广泛采用的基准数据集一起实验了我们提出的方法，以评估我们方法的有效性。通过比较我们的结果与那些从几个国家的最先进的模型，我们展示了我们的方法的潜力。
2017-12-27 cs.CV
Tackling the Problem of Limited Data and Annotations in Semantic Segmentation
University of Waterloo（滑铁卢大学）
在这项工作中，语义分割的情况下，一个小的图像数据集（模拟1000随机选择的图像从PASCAL VOC 2012年），其中只有微弱的监督信号（涂鸦从用户交互）进行了研究。特别地，为了解决图像分割中有限的数据注释问题，应用了不同的预训练模型和基于CRF的方法来提高分割性能。为此，RotNet，DeeperCluster和半弱监督学习（SWSL）预训练模型在DeepLab-v2基线中进行传输和微调，并将密集CRF作为后处理和损失正则化技术。我的研究结果表明，在这个小数据集上，使用预训练的ResNet 50 SWSL模型的结果比应用ImageNet预训练模型的结果好7.4%;此外，对于完整PASCAL VOC 2012训练数据的训练情况，这种预训练方法将mIoU结果提高了近4%。另一方面，密集CRF也被证明是非常有效的，作为弱监督训练中的损失正则化技术和后处理工具，都增强了结果。
2020-07-14 cs.CV
Efficient Relaxations for Dense CRFs with Sparse Higher Order Potentials
稠密条件随机场（CRF）已成为一个流行的框架建模的几个问题，在计算机视觉，如立体对应和多类语义分割。通过对长距离相互作用进行建模，密集CRF提供了一种标签，可以捕获比稀疏CRF更精细的细节。目前，最先进的算法使用基于滤波器的方法来执行平均场推断，但未能提供强有力的理论保证解决方案的质量。一个问题自然出现，是否有可能获得一个最大的后验概率（MAP）估计密集的CRF使用的原则性方法。在本文中，我们证明这确实是可能的。我们将表明，通过使用基于过滤器的方法，连续松弛的MAP问题可以有效地使用最先进的算法进行优化。具体来说，我们将使用Frank-Wolfe算法解决二次规划（QP）松弛，并通过开发一个近似最小化框架解决线性规划（LP）松弛。通过利用高阶势中的标签一致性并利用基于滤波器的方法，我们能够制定上述算法，使得每次迭代的复杂度与类和随机变量的数量呈线性关系。所提出的算法可以适用于任何标签问题，使用密集的CRF稀疏高阶电位。在本文中，我们使用语义分割作为一个示例应用程序，因为它证明了该算法的能力，以规模密集的CRF与大尺寸。我们在Pascal数据集上进行了实验，表明所提出的算法能够获得比平均场推理方法更低的能量。
2018-10-26 cs.CV
Bipartite Conditional Random Fields for Panoptic Segmentation
Five AI；University of Moratuwa（莫拉图瓦大学）
我们解决了全景分割问题的条件随机场（CRF）模型。全景分割涉及为给定图像的每个像素分配语义标签和实例标签。在每个像素处，语义标签和实例标签应该兼容。此外，良好的全景分割应该具有许多其他期望的属性，例如标记的空间和颜色一致性（类似外观的相邻像素应该具有相同的语义标签和实例标签）。为了解决这个问题，我们提出了一个CRF模型，命名为二分CRF或BCRF，有两种类型的随机变量的语义和实例标签。在该公式中，在两种类型的随机变量内和跨两种类型的随机变量定义各种能量，以促进一致的全景分割。我们提出了一个基于平均场的高效推理算法求解CRF和经验表明其收敛性能。该算法是完全可微的，因此，BCRF推理可以作为深度网络中的可训练模块。在实验评价中，我们定量和定性地表明，BCRF产生优越的全景分割的结果在实践中。
2020-08-22 cs.CV eess.IV
Efficient Graph Cut Optimization for Full CRFs with Quantized Edges
与稀疏连接的条件随机场相比，具有高斯边缘权重的全连接成对条件随机场（Full-CRF）可以获得更好的结果。然而，用于全CRF的传统方法太昂贵。以前的工作开发了有效的近似优化的平均场推理的基础上，这是一个局部优化方法，可以远离最优。我们提出了高效和有效的优化的基础上，图削减全CRF量化边权重。为了确定边缘权重，我们将图像划分为超像素，并假设任何两个像素之间的边缘的权重仅取决于这些像素所属的超像素。我们的量化边缘CRF是高斯边缘CRF的近似，并且随着超像素尺寸的减小而变得更接近它。作为一个近似，我们的模型提供了一个直观的高斯边缘全CRF的正则化属性。为了有效的推理，我们首先考虑两个标签的情况下，并开发一个近似的方法的基础上转换到一个较小的域的原始问题。然后，我们通过展示如何实现扩展移动来处理多标签CRF。在二进制和多标签的情况下，我们的解决方案具有显着较低的能量相比，平均场推理。我们也证明了我们的方法在语义分割任务上的有效性。
2018-09-13 cs.CV
Encoder-Decoder based CNN and Fully Connected CRFs for Remote Sensed Image Segmentation
随着遥感成像技术的进步，现在可以获得大量分辨率非常高的土地覆盖图像。然而，这些2D图像中的对象识别的自动化仍然是一个关键问题。超高分辨率（VHR）图像的类内方差和类间方差高，影响了目标识别任务中预测的准确性。最近在各种计算机视觉任务中最成功的技术都是基于深度监督学习的。在这项工作中，深度卷积神经网络（CNN）基于对称的编码器-解码器架构与跳跃连接的2D语义分割的最常见的土地覆盖对象类-不透水的表面，建筑物，低植被，树木和汽车。在所提出的CNN模型中，采用了Atrous卷积来获得大的感受野。此外，使用全连接条件随机场（FCRF）模型对CNN输出进行后处理，以细化CNN像素标签预测。在ISPRS Vaihingen数据集上，所提出的CNN-FCRF模型的总体准确率达到90.5%。
2019-10-14 cs.CV eess.IV
Efficient Continuous Relaxations for Dense CRF
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
具有高斯成对势的稠密条件随机场（CRF）已经成为几种计算机视觉应用（如立体对应和语义分割）的流行框架。通过对远程相互作用进行建模，密集CRF与稀疏CRF相比提供了更详细的标签。在这些密集的模型中的变分推理是使用基于滤波的平均场算法，以获得一个完全因式分解的分布，最大限度地减少Kullback-Leibler发散的真实分布。与用于稀疏CRF的基于连续松弛的能量最小化算法相比，平均场算法未能提供强有力的理论保证其解决方案的质量。为了解决这一缺陷，我们表明，它是可以使用相同的过滤方法来加快优化的几个连续松弛。具体来说，我们解决了凸二次规划（QP）松弛使用高效的弗兰克-沃尔夫算法。这也允许我们通过迭代凹凸过程来解决凸差松弛，其中每次迭代都需要求解凸QP。最后，我们开发了一种新的分而治之的方法来计算次梯度的线性规划松弛，提供了最好的理论界的能量最小化。我们证明了连续松弛的优势，广泛使用的平均场算法公开可用的数据集。
2016-08-22 cs.CV
Fast, Exact and Multi-Scale Inference for Semantic Image Segmentation with Deep Gaussian CRFs
INRIA（法国国家信息与自动化研究所）；Centrale Supélec（中央理工-高等电力学院）
在这项工作中，我们提出了一种结构化预测技术，将高斯条件随机场（G-CRF）的优点与深度学习相结合：（a）我们的结构化预测任务具有从线性系统的解精确获得的唯一全局最优值（b）我们的模型参数的梯度使用封闭形式表达式来解析计算，与依赖于时间反向传播的要求存储器的当代深度结构化预测方法相反，（c）我们的成对项不必是简单的手工制作的表达式，如在建立在DenseCRF上的作品中，而是可以通过深层架构从数据中“发现”，以及（d）我们的系统可以以端到端的方式进行训练。基于数值分析的标准工具，我们开发了非常有效的推理和学习算法，以及适应语义分割任务的定制技术。这种效率使我们能够在深度学习中探索更复杂的结构化预测架构：我们引入多分辨率架构，在联合优化框架中跨尺度耦合信息，从而产生系统性改进。我们展示了我们的方法在具有挑战性的VOC PASCAL 2012图像分割基准上的实用性，显示出在强基线上的实质性改进。我们在{https：//github.com/siddharthachandra/gcrf}上提供了所有的代码和实验
2016-11-29 cs.CV cs.LG
Conditional Random Fields as Recurrent Neural Networks
University of Oxford（牛津大学）；Stanford University（斯坦福大学）；Baidu Institute of Deep Learning（百度深度学习研究院）
像素级标记任务，如语义分割，在图像理解中起着核心作用。最近的方法试图利用深度学习技术的能力进行图像识别，以解决像素级标记任务。这种方法的一个核心问题是深度学习技术描绘视觉对象的能力有限。为了解决这个问题，我们引入了一种新形式的卷积神经网络，它结合了卷积神经网络（CNN）和基于条件随机场（CRF）的概率图形建模的优势。为此，我们将具有高斯两两势的条件随机场的平均场近似推理表示为循环神经网络。然后将这个称为CRF-RNN的网络作为CNN的一部分插入，以获得具有CNN和CRF两者的理想属性的深度网络。重要的是，我们的系统将CRF建模与CNN完全集成，使得使用通常的反向传播算法对整个深度网络进行端到端的训练成为可能，避免了用于对象描绘的离线后处理方法。我们将所提出的方法应用于语义图像分割问题，在具有挑战性的Pascal VOC 2012分割基准上获得了最佳结果。
2016-04-13 cs.CV
Semantic 3D Occupancy Mapping through Efficient High Order CRFs
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Language Technology Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
语义3D映射可以用于许多应用，例如机器人导航和虚拟交互。近年来，在语义分割和几何三维映射方面取得了很大的进展。然而，它仍然是具有挑战性的结合这两个任务，从图像的准确和大规模的语义映射。在本文中，我们提出了一个增量和（近）实时语义映射系统。建立了一个3D滚动占用网格地图来表示世界，这是内存和计算效率高，并有界的大规模环境。我们利用CNN分割作为先验预测，并通过一种新的CRF模型进一步优化3D网格标签。利用超像素增强光顺性，形成鲁棒的PN高阶势.一个有效的平均场推理的图形优化。我们在KITTI数据集上评估了我们的系统，并将分割精度提高了10%。
2017-07-24 cs.CV cs.RO
Can We Learn Heuristics For Graphical Model Inference Using Reinforcement Learning?
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
组合优化是计算机视觉中常用的一种优化方法。例如，在像语义分割、人体姿态估计和动作识别这样的应用中，制定程序用于解决条件随机场（CRF）中的推理，以产生与图像的视觉特征一致的结构化输出。然而，解决CRF中的推理通常是棘手的，并且近似方法在计算上要求很高，并且限于高阶势的一元、成对和手工形式。在本文中，我们表明，我们可以学习程序逻辑学，即，策略，用于使用强化学习解决用于语义分割任务的高阶CRF中的推理。我们的方法有效地解决了推理任务，而不施加任何限制的形式的潜力。我们在Pascal VOC和MOTS数据集上显示了令人信服的结果。
2020-05-05 cs.CV
Adaptive Affinity Fields for Semantic Segmentation
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
语义分割已经取得了很大的进展，越来越强大的像素分类器，并通过条件随机场（CRF）或生成对抗网络（GAN）纳入结构先验。我们提出了一个更简单的替代方案，只在训练过程中学习验证分割的空间结构。与现有的方法，强制执行单个像素的语义标签和相邻像素之间的标签匹配，我们提出了自适应亲和场（AAF）的概念，以捕捉和匹配标签空间中相邻像素之间的语义关系。我们使用对抗学习来为每个语义类别选择最佳的亲和场大小。它被公式化为一个极大极小问题，在最好最坏的学习情况下优化我们的分割神经网络。AAF是通用的表示结构作为一个集合的像素为中心的关系，更容易训练比GAN和更有效的比CRF没有运行时推理。我们对PASCAL VOC 2012、Cityscapes和GTA5数据集进行了广泛的评估，证明了其高于标准的分割性能和跨领域的强大泛化能力。
2018-08-21 cs.CV
Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs
Univ. of California, Los Angeles（加州大学洛杉矶分校）；Google Inc.（谷歌公司）；CentraleSupélec（巴黎中央理工-高等电力学院）；INRIA（法国国家信息与自动化研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
深度卷积神经网络（DCNN）最近在高级视觉任务（诸如图像分类和目标检测）中显示出最先进的性能。这项工作汇集了DCNN和概率图形模型的方法，用于解决像素级分类（也称为“语义图像分割”）的任务。我们发现，DCNN最后一层的响应对于准确的对象分割来说并不充分。这是由于DCNN的不变性使其适合高级任务。我们通过将最终DCNN层的响应与完全连接的条件随机场（CRF）相结合，克服了深度网络的这种较差的本地化特性。我们的“DeepLab”系统能够以超越以往方法的准确度定位片段边界。量化，我们的方法在PASCAL VOC-2012语义图像分割任务中设置了新的最先进的技术，在测试集中达到了71.6%的IOU准确率。我们展示了如何有效地获得这些结果：仔细的网络重新利用和小波社区的“孔”算法的新应用允许在现代GPU上以每秒8帧的速度密集计算神经网络响应。
2016-06-07 cs.CV cs.LG cs.NE
Efficient fine-grained road segmentation using superpixel-based CNN and CRF models
University of Duisburg-Essen（杜伊斯堡-埃森大学）
为了安全舒适的驾驶，道路场景分割是基于摄像头的高级驾驶员辅助系统（ADAS）中的一个基本问题。尽管卷积神经网络（CNN）在语义分割方面取得了巨大的成就，但基于CNN的方法的高计算量仍然是一个具有挑战性的领域。在最近的工作中，我们提出了一种新的方法，利用CNN的优势，以合理的计算量进行道路分割。运行时受益于使用不规则的超像素作为CNN而不是图像网格的输入基础，这极大地减少了输入大小。尽管该方法在训练和测试阶段都实现了显著低的计算时间，但是与高成本的现有技术方法相比，超像素域的较低分辨率自然产生较低的准确度。在这项工作中，我们专注于使用条件随机场（CRF）的道路分割的细化。细化过程仅限于接触预测的道路边界的超像素，以保持额外的计算工作量低。减少对超像素域的输入可以使CNN结构保持小而高效的计算，同时保持卷积层的优势，并使它们有资格用于ADAS。应用CRF补偿了精度和计算效率之间的折衷。所提出的系统获得了性能相当的顶级算法之间的KITTI道路基准和其快速推理，使其特别适合于实时应用。
2022-06-22 cs.AI cs.CV cs.LG
Complex Relations in a Deep Structured Prediction Model for Fine Image Segmentation
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Center for Brains, Minds and Machines（脑、心智与机器中心）；MIT（麻省理工学院）
许多用于语义分割的深度学习架构涉及全卷积神经网络（FCN），然后是条件随机场（CRF），以对图像进行推理。这些模型通常涉及基于由FCNs计算的局部外观特征的一元势，以及基于像素之间的位移的二元势。我们表明，虽然目前的方法成功地分割整个对象，他们表现不佳的情况下，涉及大量的对象部分。因此，我们建议纳入到推理算法的方式，人类识别和本地化的部分启发额外的高阶电位。我们将两个关系，被证明是有用的人类对象识别-遏制和附件-到CRF的能量项，并评估其性能的Pascal VOC零件数据集。我们的实验结果表明，精细部分的分割是积极的影响，这两个关系的增加，精细部分的分割可以进一步影响复杂的结构特征。
2018-05-24 cs.CV
Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials
Stanford University（斯坦福大学）
用于多类别图像分割和标记的大多数最先进的技术使用在像素或图像区域上定义的条件随机场。虽然区域级模型通常具有密集的成对连接性，但像素级模型要大得多，并且只允许稀疏的图形结构。在本文中，我们考虑全连接CRF模型定义在一个完整的图像中的像素集。由此产生的图具有数十亿条边，使得传统的推理算法不切实际。我们的主要贡献是针对完全连接的CRF模型提出了一种高效的近似推理算法，其中成对边缘势由高斯核的线性组合定义。我们的实验表明，在像素级的密集连接大大提高了分割和标记的准确性。
2012-10-20 cs.AI cs.CV cs.LG
Efficient Linear Programming for Dense CRFs
Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；University of Oxford（牛津大学）；EPFL（洛桑联邦理工学院）；Alan Turing Institute（阿兰·图灵研究所）
具有高斯成对势的全连接条件随机场（CRF）已被证明是多类语义分割的流行和有效的。虽然可以使用线性规划（LP）松弛精确地最小化密集CRF的能量，但是最先进的算法太慢而不能在实践中使用。为了缓解这一不足，我们引入了一个有效的LP最小化算法密集CRF。为此，我们开发了一个近似最小化框架，其中每个近似问题的对偶通过块坐标下降进行优化。我们表明，每个块的变量可以有效地优化。具体来说，对于一个块，问题分解成显着更小的子问题，其中每个都是在一个单一的像素定义。对于另一个块，通过条件梯度下降优化问题。这有两个优点：1）条件梯度可以在像素和标签数量的时间线性内计算;以及2）最佳步长可以解析地计算。我们在标准数据集上的实验提供了令人信服的证据，证明我们的方法优于所有现有的基线，包括以前的基于LP的密集CRF方法。
2017-02-14 cs.CV
Efficient piecewise training of deep structured models for semantic segmentation
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
语义图像分割的最新进展主要是通过训练深度卷积神经网络（CNN）实现的。我们将展示如何通过使用上下文信息来提高语义分割;具体而言，我们将探索图像区域之间的“补丁-补丁”上下文和“补丁-背景”上下文。为了从补丁补丁上下文中学习，我们用基于CNN的成对势函数来构造条件随机场（CRF），以捕获相邻补丁之间的语义相关性。然后应用所提出的深度结构化模型的有效分段训练，以避免用于反向传播的重复昂贵的CRF推断。对于捕获补丁背景上下文，我们表明，传统的多尺度图像输入和滑动金字塔池的网络设计是有效的，以提高性能。我们的实验结果在一些流行的语义分割数据集上设置了新的最先进的性能，包括NYUDv 2，PASCAL VOC 2012，PASCAL上下文和SIFT流。特别是，我们在具有挑战性的PASCAL VOC 2012数据集上实现了78.0的交叉-联合得分。
2016-06-06 cs.CV
SEGCloud: Semantic Segmentation of 3D Point Clouds
Stanford University（斯坦福大学）
3D语义场景标记是智能体在现实世界中运行的基础。特别是，标记来自传感器的原始3D点集提供了细粒度的语义。最近的工作利用了神经网络（NN）的能力，但仅限于粗略的体素预测，并没有明确地实施全局一致性。我们提出了SEGCloud，这是一个端到端的框架，用于获得3D点级分割，它结合了NN，三线性插值（TI）和全连接条件随机场（FC-CRF）的优点。通过三线性插值将来自3D全卷积NN的粗略体素预测传输回原始3D点。然后，FC-CRF强制全局一致性，并提供细粒度的语义上的点。我们将后者实现为一个可微的递归神经网络，以允许联合优化。我们在两个室内和两个室外3D数据集（NYU V2，S3 DIS，KITTI，Semantic3D.net）上评估了该框架，并在所有数据集上显示出与最先进的性能相当或优于最先进的性能。
2017-10-20 cs.CV
Exploring Context with Deep Structured models for Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最先进的语义图像分割方法大多基于训练深度卷积神经网络（CNN）。在这项工作中，我们提出了改善语义分割与上下文信息的使用。特别是，我们探索了深度CNN中的“补丁-补丁”上下文和“补丁-背景”上下文。我们通过结合CNN和条件随机场（CRF）来制定深度结构化模型，以学习图像区域之间的补丁-补丁上下文。具体来说，我们制定了基于CNN的成对势函数，以捕捉相邻补丁之间的语义相关性。然后应用所提出的深度结构化模型的有效分段训练，以避免在反向传播过程中重复昂贵的CRF推断。对于捕获补丁背景上下文，我们表明，传统的多尺度图像输入和滑动金字塔池的网络设计是非常有效的，以提高性能。我们对所提出的方法进行了综合评价。我们在许多具有挑战性的语义分割数据集上实现了新的最先进的性能，包括$NYUDv2$、$PASCAL$ - $VOC2012$、$Cityscapes$、$PASCAL$ - $Context$、$SUN$ - $RGBD$、$SIFT$ - $flow$和$KITTI$数据集。特别是，我们报告了$PASCAL$ - $VOC2012$数据集上$77.8$的交叉-联合评分。
2017-05-02 cs.CV
Deep Learning for Semantic Part Segmentation with High-Level Guidance
Center for Visual Computing（视觉计算中心）；Centrale-Supelec（中央理工-高等电力学院）；Google Inc.（谷歌公司）；Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
在这项工作中，我们解决的任务分割成一个对象的部分，或语义部分分割。我们首先采用最先进的语义分割系统来完成这项任务，并证明了全卷积深度CNN系统与Dense CRF标签的结合为广泛的对象类别提供了出色的结果。尽管如此，这种方法仍然不知道对象部件之间的高级约束。我们引入这样的先验信息的限制玻尔兹曼机，适应我们的任务和训练我们的模型中的歧视性的方式，作为一个隐藏的CRF，证明先验信息可以产生额外的改进。我们还研究了我们的方法“在野外”的性能，在没有有关对象边界框的信息的情况下，使用对象检测器来指导多尺度分割方案。我们评估我们的方法的性能在宾夕法尼亚复旦和LFW数据集的行人解析和人脸标签的任务分别。我们表现出优越的性能与竞争力的方法，已被广泛设计在这些基准，以及现实的定性结果的部分分割，即使是闭塞或可变形的对象。我们还提供了定量和广泛的定性结果，从PASCAL零件数据集的三个类。最后，我们证明了我们的多尺度分割方案可以提高准确性，恢复更精细部分的分割。
2015-11-24 cs.CV
Semantic Segmentation with Boundary Neural Fields
University of Pennsylvania（宾夕法尼亚大学）；Dartmouth College（达特茅斯学院）
语义分割的最新技术目前由全卷积网络（FCN）表示。然而，FCN使用大的感受野和许多池化层，这两者都导致深层中的模糊和低空间分辨率。因此，FCN往往产生在对象边界周围局部化较差的分割。先前的工作试图在后处理步骤中解决这个问题，例如在FCN预测之上使用基于颜色的CRF。然而，这些方法需要额外的参数和低级功能，难以调整和集成到原始网络架构中。此外，大多数CRF使用基于颜色的像素亲和度，这不太适合语义分割，并导致空间不相交的预测。为了克服这些问题，我们引入了一个边界神经场（BNF），这是一个全球性的能源模型集成FCN预测与边界线索。边界信息被用来增强语义段的连贯性和改善对象定位。具体来说，我们首先表明，语义FCNs的卷积滤波器提供了良好的功能，边界检测。然后，我们使用预测的边界来定义我们能量中的成对势。最后，我们表明，我们的能量分解语义分割成多个二进制问题，可以放松有效的全局优化。我们报告了大量的实验表明，我们的全球边界为基础的能量最小化产生优于以前的全球化方法的结果，无论是定量还是定性。
2016-05-24 cs.CV
Learning Pixel Representations for Generic Segmentation
Technion - Israel Institute of Technology（以色列理工学院）
到目前为止，用于通用（非语义）分割的深度学习方法是间接的，并且依赖于边缘检测。这与直接应用DNN的语义分割相反。我们提出了一种替代方法，称为深度通用分割（DGS），并尝试遵循用于语义分割的路径。我们的主要贡献是一个新的方法，学习一个像素的代表，反映段的相关性。该表示与CRF相结合以产生分割算法。我们表明，我们能够学习有意义的表示，提高分割质量和表示本身实现国家的最先进的段相似性分数。分割结果是有竞争力和有前途的。
2019-09-25 cs.CV
Fusion Based Holistic Road Scene Understanding
Zhejiang University（浙江大学）
研究了基于视觉和距离数据融合的道路整体场景理解问题。为了实现这一宏伟目标，我们提出了一种方法，共同解决对象级图像分割和语义区域标记的条件随机场（CRF）的框架内。具体来说，我们首先通过对3D点进行聚类，学习它们先前的外观模型，并使用深度学习方法来推理它们的语义类别来生成语义对象假设。学习的先验知识，连同空间和几何背景，被纳入CRF。该方法将视觉数据和距离数据进行融合，并利用图割算法对分割和语义标注问题进行推理。我们的方法是验证具有挑战性的KITTI数据集，包含各种复杂的道路场景。定量和定性评价都证明了其有效性。
2014-06-29 cs.CV
PPEDCRF: Privacy-Preserving Enhanced Dynamic CRF for Location-Privacy Protection for Sequence Videos with Minimal Detection Degradation
本文提出PPEDCRF，通过动态CRF和归一化控制惩罚减少位置隐私泄露，同时保持检测性能，实验显示其在降低位置检索攻击成功率方面效果显著。
2026-04-02 cs.CV
Car Segmentation and Pose Estimation using 3D Object Models
Johns Hopkins University（约翰斯·霍普金斯大学）
图像分割和三维姿态估计是任何场景理解算法中的两个关键环节。然而，用于图像分割的最先进的基于CRF的模型主要依赖于2D对象模型来构造自上而下的高阶势。在本文中，我们提出了新的自上而下的潜力的图像分割和姿态估计的基础上的形状和体积的三维物体模型。我们表明，这些复杂的自上而下的潜力，可以很容易地分解成标准的形式，在分割和姿态估计任务的有效推理。在汽车数据集上的实验表明，分割的知识有助于更好地执行姿态估计，反之亦然。
2016-06-17 cs.CV
Semantic Video Segmentation: A Review on Recent Approaches
Iran University of Science & Technology（伊朗科技大学）；University of Bonn（波恩大学）；Fundamental Sciences (IPM)（基础科学研究所（IPM））
本文综述了语义分割的研究现状，语义分割与其他视觉基本任务的关系，不同的数据集和常用的评价参数。这项调查还包括对各种最新方法（RDF、MRF、CRF等）的全面审查。以及它们的优势和挑战，并显示了基于CNN的语义分割系统在CamVid和NYUDv2数据集上的优越性。此外，还提到了一些对今后的工作非常理想的领域。
2018-06-16 cs.CV
Convolutional Random Walk Networks for Semantic Image Segmentation
University of Pennsylvania（宾夕法尼亚大学）；Dartmouth College（达特茅斯学院）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
当前大多数语义分割方法依赖于全卷积网络（FCN）。然而，它们使用大的感受野和许多池化层导致深层内的低空间分辨率。这导致边界周围的预测定位较差。先前的工作试图通过用CRF或MRF后处理预测来解决这个问题。但这样的模型往往无法捕捉对象之间的语义关系，这导致空间不相交的预测。为了克服这些问题，最近的方法将CRF或MRF集成到FCN框架中。这些新模型的缺点是它们比传统的FCN复杂得多，这使得训练和测试更具挑战性。在这项工作中，我们介绍了一个简单而有效的卷积随机游走网络（RWN），它解决了边界定位差和空间碎片预测的问题，而模型复杂性几乎没有增加。我们提出的RWN共同优化的目标像素级的亲和力和语义分割。它通过一个新的随机游走层将这两个目标结合起来，该层在网络的深层执行一致的空间分组。我们的RWN是使用标准卷积和矩阵乘法实现的。这允许轻松集成到现有的FCN框架中，并通过标准的反向传播实现整个网络的端到端训练。我们的RWN的实现只需要$131$额外的参数相比，传统的FCNs，但它始终产生一个改进的语义分割和场景标记的FCNs。
2017-05-08 cs.CV
Image Segmentation by Iterative Inference from Conditional Score Estimation
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Imagia Cybernetics（Imagia Cybernetics 公司）
受虚拟皮层中前馈和迭代计算相结合的启发，并利用去噪自动编码器估计联合分布得分的能力，我们提出了一种新的迭代推理方法，用于捕获和利用以某些输入变量为条件的输出变量的复杂联合分布。这种方法被应用到图像逐像素分割，与估计的条件得分用于执行梯度上升到估计的条件分布的模式。这扩展了先前通过对自动编码器进行去噪来进行分数估计的工作到条件分布的情况下，使用损坏的前馈预测器代替高斯损坏。这种方法相对于对结构化输出（如条件随机场（CRF））执行迭代推理的更经典的方法的优点在于，不再需要定义连接输出变量的显式能量函数。为了保持计算易于处理，这种能量函数参数化通常受到相当的约束，仅涉及每个团中每个输出变量的几个邻居。我们的实验发现，所提出的迭代推理从有条件的去噪自动编码器的条件得分估计比可比模型的基础上CRF或那些不使用任何显式建模的条件联合分布的输出更好。
2017-08-18 cs.CV
Semantic Video Segmentation : Exploring Inference Efficiency
University of California San Diego（加州大学圣地亚哥分校）；Cornell NYC Tech（康奈尔纽约科技学院）；Korea Electronics Technology Institute（韩国电子技术研究院）
我们探索CRF推理的效率超越图像级语义分割，并在视频帧中执行联合推理。其核心思想是将两个世界的最佳组合：语义共同标记和更具表达力的模型。我们的公式使我们能够在几秒钟内执行超过一万个图像的推理，并使系统能够最有效地执行视频语义分割。在CamVid数据集上，使用TextonBoost一元数，我们提出的方法在没有额外时间开销的情况下，比单个语义图像分割的准确率提高了8%。源代码可在https://github.com/subtri/video_inference上获得
2015-09-04 cs.CV
End-to-end Training of CNN-CRF via Differentiable Dual-Decomposition
University of Pennsylvania（宾夕法尼亚大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Verisk Computational and Human Intelligence Laboratory（Verisk计算与人类智能实验室）
现代计算机视觉（CV）通常基于擅长分层特征提取的卷积神经网络（CNN）。上一代CV方法通常基于条件随机场（CRF），其擅长建模灵活的高阶相互作用。由于它们的好处是互补的，它们往往是结合在一起的。然而，这些方法通常使用平均场近似，因此，可以说，没有直接优化真正的问题。在这里，我们重新审视双分解为基础的方法CRF优化，替代平均场近似。这些算法可以高效、准确地求解子问题，并直接优化实际问题的凸上界，提供最优性证明。我们的方法使用了一种新的不动点迭代算法，它具有双重单调性，双重可微性和高度并行性。因此，整个系统、CRF和CNN可以使用反向传播来有效地训练。我们证明了我们的系统在语义图像分割上的有效性，与基线模型相比表现出一致的改进。
2019-12-06 cs.CV cs.LG
Leveraging point annotations in segmentation learning with boundary loss
Uppsala University（乌普萨拉大学）；Erasmus MC（伊拉斯姆斯大学医学中心）；Antaros Medical；University of Copenhagen（哥本哈根大学）
针对点监督语义分割中边界损失易惩罚误报的问题，提出结合强度感知距离图的方法，无需额外先验，在两个数据集上取得有竞争力的表现且代码公开。
2023-11-06 cs.CV
Reinforcement Learning for Semantic Segmentation in Indoor Scenes
George Mason University（乔治梅森大学）
未来机器人自主性和机器人任务复杂性的进步取决于对环境的鲁棒、高效和任务相关的语义理解。语义分割是同时分割和分类的感觉数据的分区的问题。目前的大多数方法都是在条件随机场（CRF）框架中使用多类分割和标记，或者通过生成多个对象假设并按顺序组合它们来解决这个问题。在实际设置中，所需的语义标签的子集取决于任务和特定场景，并且标记每个像素并不总是必要的。我们追求这些意见在开发一个更模块化和灵活的方法来多类分析RGBD数据的学习策略的基础上，结合独立的二进制对象与背景分割，而不是通常的单片多标签CRF的方法。独立二进制分割模型的参数可以非常有效地学习，并且组合策略--使用强化学习学习--可以独立设置，并且可以在不同的任务和环境中变化。准确性与NYU-V2室内场景数据集子集上的最先进方法相当，同时提供额外的灵活性和模块化。
2016-06-03 cs.CV cs.RO
Dilated Continuous Random Field for Semantic Segmentation
University of Kansas（堪萨斯大学）；Wetland Studies and Solutions, Inc.（湿地研究与解决方案公司）
平均场近似方法为现代基于连续随机场（CRF）的语义分割精细化解决方案奠定了基础。在本文中，我们提出放松的硬约束的平均场近似-最小化每个节点的能量项从概率图模型，通过全局优化与建议的扩张稀疏卷积模块（DSConv）。此外，自适应全局平均池化和自适应全局最大池化被实现为全连接层的替代。为了集成DSConv，我们设计了一个端到端，时间效率高的DilatedCRF管道。一元能量项是从pre-softmax和post-softmax特征中导出的，或者是使用传统分类器的预测示能图，使得更容易为各种分类器实现DilatedCRF。我们还提出了优越的实验结果相比，其他基于CRF的方法在吸力数据集上的方法。
2022-02-01 cs.AI cs.CV
An Integrated Image Filter for Enhancing Change Detection Results
College of Information Sciences and Technology, Donghua University（东华大学信息科学与技术学院）；Engineering Research Center of Digitized Textile & Fashion Technology, Ministry of Education, Donghua University（东华大学数字化纺织服装技术教育部工程研究中心）
变化检测是计算机视觉中的一项基本任务。尽管已经取得了重大进展，但由于无处不在的噪声和干扰，大多数变化检测方法在具有挑战性的场景中无法很好地工作。目前，旨在增强二进制变化检测结果的后处理方法（例如MRF和CRF）仍然不能满足对特殊场景的通用性、对不同类型检测方法的适用性、准确性和实时性的要求。受图像滤波的性质的启发，从像素观察中分离噪声并恢复补丁的真实结构，我们考虑利用图像滤波器来增强检测掩模。在本文中，我们提出了一个集成的滤波器，它包括一个加权的局部引导图像滤波器和一个加权的时空树滤波器。时空树滤波器利用相邻视频帧的全局时空信息，同时引导滤波器执行像素的局部窗口滤波，用于增强粗略变化检测掩模。本文的主要贡献有三：（1）该滤波器充分利用连续帧中同一目标的信息，通过时空最小生成树的计算来改进当前的检测模板，（2）该滤波器兼有局部滤波和全局滤波的优点，不仅具有良好的边缘保持性能，而且能够处理纹理丰富的前景区域;和（iii）与一些流行的增强方法（MRF和CRF）不同，这些方法需要每个像素的先验背景概率或后验前景概率来改进粗略检测掩模，我们的方法是一种通用的增强滤波器，可以在许多不同类型的变化检测方法之后应用，并且特别适合于视频序列。
2019-07-02 cs.CV
Beyond Semantic Image Segmentation : Exploring Efficient Inference in Video
University of California San Diego（加州大学圣地亚哥分校）；Cornell NYC Tech（康奈尔大学纽约科技校区）
我们探讨的CRF推理模块的效率超越图像级语义分割。其核心思想是将语义联合标记和利用更具表达力的模型这两个世界中的最佳部分结合起来。与[Alvarez 14]类似，我们的公式使我们能够在几秒钟内对一万张图像进行推理。另一方面，它可以处理类似于[vineet 2014]的高阶团势，在区域级标签一致性和同现上下文方面。我们遵循类似于[vineet 2014]的高阶势的平均场更新，并扩展空间平滑度和外观内核[DenseCRF 13]以解决受[Alvarez 14]启发的视频数据;从而使系统能够最有效地执行视频语义分割。
2015-07-01 cs.CV
Recent progress in semantic image segmentation
Tsinghua University（清华大学）
语义图像分割已成为图像处理和计算机视觉领域的关键应用之一，在医疗、智能交通等领域得到了广泛的应用。大量的基准数据集被发布给研究人员来验证他们的算法。语义分割已经被研究了很多年。自深度神经网络（DNN）出现以来，分词技术取得了巨大的进步。本文将语义图像分割方法分为两大类：传统的DNN方法和最近的DNN方法。本文首先简要总结了传统方法以及用于分割的数据集，然后从全卷积网络、上采样方法、FCN与CRF联合方法、扩张卷积方法、骨干网络进展、金字塔方法、多层次特征和多阶段方法、监督、弱监督和无监督方法等八个方面对基于DNN的最新方法进行了全面的研究。最后，得出了该领域的结论。
2018-09-20 cs.CV
