An ILP Solver for Multi-label MRFs with Connectivity Constraints
Heidelberg University（海德堡大学）；École de technologie supérieure (ETS)（高等技术学院）；Polytechnique Montréal（蒙特利尔综合理工学院）；IBM（国际商业机器公司）
先前在计算机视觉中研究了具有全局连通性先验的马尔可夫随机场（MRF）模型的线性规划（ILP）公式，例如，\cite{globalinter,globalconn}。在这些工作中，只有线性规划（LP）松弛\cite{globalinter,globalconn}或简化版本的问题\cite{graphcutbase}解决。本文研究了具有精确连通性先验的多标签MRF的ILP问题，通过分支切割方法，可证明找到全局最优解。该方法通过切割平面方法迭代地执行连接先验，并提供可行解，即使我们提前终止它也能保证次优性。所提出的ILP可以应用于任何现有的多标签分割方法之上的后处理方法。由于它提供了全局最优解，因此可以离线使用它来生成地面实况标记，这可以作为任何快速在线算法的质量检查。此外，它可以用于生成弱监督分割的地面实况建议。我们通过在BSDS 500和PASCAL图像数据集以及具有训练概率图的医学图像上的几个实验来证明我们的模型的能力和实用性。
2018-03-20 cs.CV
A discriminative view of MRF pre-processing algorithms
Google Research（谷歌研究院）；Cornell University（康奈尔大学）
马尔可夫随机场（MRF）被广泛应用于计算机视觉，他们提出了一个相当具有挑战性的推理问题。MRF推理可以通过预处理技术来加速，如死端消除（DEE）或基于QPBO的方法，这些方法计算变量子集的最佳标记。这些技术保证永远不会错误地标记变量，但它们通常会留下大量未标记的变量。我们通过将预处理解释为分类问题来解决这个缺点，这允许我们权衡误报（即，给予变量不正确的标签）与假阴性（即，无法标记变量）。我们描述了一个有效的判别规则，找到最佳的解决方案的一个子集的变量。我们的技术提供了关于解决方案质量的每个实例和最坏情况的保证。对几个基准数据集进行了实证研究。我们获得了2到12的加速因子，在没有预处理的情况下扩展移动，并且在困难的非子模块能量函数上产生稍低的能量。
2017-08-08 cs.CV
Markov Random Field Model-Based Salt and Pepper Noise Removal
脉冲噪声抑制问题是图像处理界研究得非常深入的问题，并且已经提出了许多不同的方法来解决这个问题。在目前的工作中，固定值脉冲噪声（盐和胡椒）从图像中去除的问题进行了研究，使用马尔可夫随机场（MRF）模型与平滑先验。在制定的问题作为一个修复问题，图形切割与$α$ -扩展移动被认为是最小化的能量功能。作为比较，其他几个最小化技术，被广泛用于MRF模型的优化被认为是和结果进行比较，使用峰值信噪比（PSNR）和结构相似性指数（SSIM）作为度量。研究表明，图切割与$α$ -扩展移动的优越性，无论是在PSNR和计算时间方面的其他技术。
2016-09-20 cs.CV
Efficient MRF Energy Propagation for Video Segmentation via Bilateral Filters
在多媒体应用中，从视频中分割出目标是一项具有挑战性的任务。根据应用，自动或交互式方法是理想的;然而，无论应用类型如何，视频对象分割的有效计算对于时间关键型应用至关重要;具体而言，移动和交互式应用需要接近实时的效率。在本文中，我们从效率的角度来解决视频分割的问题。我们最初重新定义的问题，视频对象分割的MRF能量沿时域的传播。为此，提出了一种新颖而有效的方法，通过双边滤波器在整个帧中传播MRF能量，而不使用任何全局纹理，颜色或形状模型。最近提出的双指数过滤器是利用效率，而一种新的技术也被开发来动态地解决图形切割的变化，在一般的线性过滤方案的非格图。这些改进的实验自动和交互式视频分割方案。此外，除了效率，分割质量也测试定量和定性。事实上，对于一些具有挑战性的示例，在不损失分割质量的情况下观察到显著的时间效率。
2014-10-27 cs.CV
Memory Efficient Max Flow for Multi-label Submodular MRFs
Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
多标签次模马尔可夫随机场（MRF）已被证明是可解的使用最大流基于编码的标签提出的石川，其中每个变量$X_i$表示的$\ell$节点（其中$\ell$是标签的数量）排列在一列中。然而，该方法通常需要每对相邻变量的$2\,\ell^2$边缘。这使得它不适用于许多变量和标签的现实问题，由于过多的内存需求。在本文中，我们介绍了一个变种的最大流算法，需要更少的存储。因此，我们的算法使得有可能在标准计算机上最优地解决涉及大量变量和标签的多标签子模块问题。
2017-02-20 cs.CV cs.DS
Enforcing Label and Intensity Consistency for IR Target Detection
Janelia Farm Research Campus-HHMI（霍华德·休斯医学研究所珍妮莉亚农场研究园区）
本研究将红外目标检测问题归结为一个像素的二值分类问题。每个像素都与一个标签相关联，该标签指示该像素是目标像素还是背景像素。最佳标签集的所有像素的图像最大化后验分布的标签配置给定的像素强度。后验概率被考虑到强度值的条件似然性和标签配置的先验概率中（或与强度值的条件似然性和标签配置的先验概率成比例）。这两个概率中的每一个都是假设像素强度和它们的标签上的马尔可夫随机场（MRF）来计算的。特别是，本研究强制执行邻域依赖于两个强度值，通过同步自回归（SAR）模型，和标签，通过自逻辑模型。这些MRF模型的参数是从标记的例子中学习的。在测试过程中，MRF推理技术，即迭代条件模式（ICM），为每个像素产生最佳标签。通过背景减法结合时间信息，进一步提高了检测性能。在基准数据集上的高性能证明了该方法对红外目标检测的有效性。
2014-09-09 cs.CV
CNN in MRF: Video Object Segmentation via Inference in A CNN-Based Higher-Order Spatio-Temporal MRF
Tencent AI Lab（腾讯人工智能实验室）
本文讨论了视频对象分割的问题，其中的初始对象掩模是给定的输入视频的第一帧。我们提出了一种新的时空马尔可夫随机场（MRF）模型定义的像素来处理这个问题。与传统的MRF模型不同，我们的模型中像素之间的空间依赖性是由卷积神经网络（CNN）编码的。具体地，对于给定对象，可以通过针对该特定对象训练的CNN来预测标记到空间相邻像素集合的概率。因此，可以通过CNN隐式地对集合中的像素之间的更高阶、更丰富的依赖性进行建模。通过光流建立时间依赖关系，所得到的MRF模型结合了空间和时间线索来处理视频对象分割。然而，在MRF模型中执行推理是非常困难的，由于非常高阶的依赖关系。为此，我们提出了一种新的CNN嵌入式算法来执行近似推理的MRF。该算法通过在时间融合步骤和前馈CNN步骤之间交替来进行。当使用基于外观的单次分割CNN初始化时，我们的模型优于DAVIS 2017挑战赛的获奖作品，而无需采用模型集成或任何专用检测器。
2018-03-26 cs.CV
Consensus Based Medical Image Segmentation Using Semi-Supervised Learning And Graph Cuts
IBM Research - Australia（IBM研究 - 澳大利亚）
医学图像分割需要从多个专家注释中获得共识地面实况分割。提出了一种新的方法，获得共识分割的专家使用图割（GC）和半监督学习（SSL）。流行的方法使用迭代期望最大化（EM）来估计最终的注释和量化注释器的性能。这种技术有陷入局部极小值的风险。我们提出了一个自我一致性（SC）的分数来量化注释者的一致性，使用低级别的图像特征。SSL通过考虑全局特征和局部图像一致性来预测丢失的注释。SC得分还用作使用图切割优化的二阶马尔可夫随机场（MRF）成本函数中的惩罚成本以导出最终共识标签。图割不需要迭代就能得到全局最大值.对合成图像、克罗恩病患者的真实数据和视网膜图像的实验结果表明，我们的最终分割比竞争方法更准确，更一致。
2018-05-21 cs.CV
Continuous 3D Label Stereo Matching using Local Expansion Moves
University of Tokyo（东京大学）；Osaka University（大阪大学）
提出了一种基于图割的局部扩张移动的立体匹配方法。这种新的移动决策方案用于有效地推断每像素的3D平面标签上的成对马尔可夫随机场（MRF），有效地结合了最近提出的倾斜补丁匹配和曲率正则化条款。局部扩展移动被呈现为针对小网格区域定义的许多α扩展。局部扩展步是对传统扩展步的两种扩展：局部化和空间传播。通过局部化，我们根据局部α-扩展的位置使用不同的候选α-标签。通过空间传播，我们设计了我们的局部α-扩展来传播附近区域的当前分配的标签。通过这种定位和空间传播，我们的方法可以使用随机搜索有效地推断具有连续标签空间的MRF模型。我们的方法比以前的方法有几个优点，是基于融合移动或信念传播;它产生子模块化的移动派生的子问题的最优性;它有助于找到良好的，平滑的，分段线性视差图;它是适合并行化;它可以使用成本-体积过滤技术，加速匹配成本计算。即使使用一个简单的成对MRF，我们的方法被证明有最好的性能在米德尔伯里立体声基准V2和V3。
2017-10-17 cs.CV
Multi-Cue Structure Preserving MRF for Unconstrained Video Segmentation
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
视频分割是理解视频上下文的垫脚石。视频分割使人们能够通过将视频分解成包括对象的全部或部分的相干区域来表示视频。然而，这一挑战源于这样一个事实，即大多数视频分割算法是基于无监督学习，由于昂贵的成本像素视频注释和类内的变化，在类似的无约束视频类。我们提出了一个马尔可夫随机场模型的无约束视频分割，依赖于紧密集成的多个线索：顶点定义从基于轮廓的超像素，一元潜力从时间平滑标签的可能性和成对的潜力从全球结构的视频。多线索结构是在无监督的情况下提取无约束视频中相干对象区域的一个突破。我们在VSB 100数据集上的实验表明，该模型的性能显着优于竞争的最先进的算法。定性分析表明，该模型的视频分割结果与人类对对象的感知是一致的。
2015-06-30 cs.CV
Multi-hypothesis contextual modeling for semantic segmentation
Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）；Isik University（伊希克大学）
语义分割（即图像解析）旨在用其对应的语义类标签注释每个图像像素。图像的空间一致性标记需要对局部上下文信息进行准确的描述和建模。分割结果通常通过对初始标签进行马尔可夫随机场（MRF）优化来改善。然而，这种改进受到初始结果的准确性和如何定义上下文邻域的限制。在本文中，我们开发了通用的和灵活的上下文模型的分割邻域，以提高解析精度。而不是使用一个固定的分割和邻域定义，我们探索各种上下文模型的互补信息的融合，在替代分割相同的图像。换句话说，我们提出了一个新的MRF框架，描述和优化多个分割之间的上下文依赖关系。在两个常见数据集上的仿真结果表明，与基线方法相比，解析准确率有了显着提高。
2018-12-14 cs.CV
Curvature Prior for MRF-based Segmentation and Shape Inpainting
Czech Technical University（捷克技术大学）；Microsoft Research（微软研究院）；Center for Machine Perception（机器感知中心）
大多数图像标记问题，如分割和图像重建，从根本上是不适定的，并遭受模糊性和噪声。高阶图像先验对像素之间的高级结构依赖性进行编码，并且是克服这些问题的关键。然而，这些先验一般导致计算上难以处理的模型。本文讨论的问题，发现紧凑的高阶先验表示，允许有效的推理。我们提出了一个框架来解决这个问题，它使用最近提出的表示高阶函数，它们被编码为较低的线性函数的信封。对我们学习的模型的最大后验推理减少到最小化离散变量的成对函数，这可以使用标准方法近似完成。虽然这是一个主要的理论论文，我们也证明了我们的框架的实际有效性的问题上学习的形状之前的图像分割和重建。我们表明，我们的框架可以学习一个紧凑的表示，近似于鼓励低曲率形状的先验。我们评估近似精度，讨论训练模型的属性，并显示形状修复和图像分割的各种结果。
2011-09-07 cs.CV
Semantic Image Segmentation via Deep Parsing Network
The Chinese University of Hong Kong（香港中文大学）
本文提出了语义图像分割的马尔可夫随机场（MRF）的丰富信息，包括高阶关系和标签上下文的混合。与以前使用迭代算法优化MRF的工作不同，我们通过提出卷积神经网络（CNN）来解决MRF，即深度解析网络（DPN），它可以在单个前向传递中实现确定性的端到端计算。具体而言，DPN扩展了当代CNN架构来对一元项进行建模，并仔细设计了额外的层来近似成对项的平均场算法（MF）。它有几个吸引人的特性。首先，与最近结合CNN和MRF的工作不同，在反向传播过程中每个训练图像需要多次MF迭代，DPN能够通过逼近MF的一次迭代来实现高性能。其次，DPN表示了各种类型的成对项，使得许多已有的工作成为它的特例。第三，DPN使MF更容易在图形处理器（GPU）中并行化和加速。DPN在PASCAL VOC 2012数据集上进行了全面评估，其中单个DPN模型产生了新的最先进的分割精度。
2015-09-24 cs.CV
An MRF-UNet Product of Experts for Image Segmentation
School of Biomedical Engineering & Imaging Sciences, KCL（伦敦国王学院生物医学工程与影像科学学院）；Athinoula A. Martinos Center for Biomedical Imaging, MGH and HMS（马萨诸塞总医院与哈佛医学院阿西努拉·A·马蒂诺斯生物医学影像中心）；Wellcome Center for Human Neuroimaging, UCL（伦敦大学学院惠康人类神经影像中心）；Institute of Cognitive Neuroscience, UCL（伦敦大学学院认知神经科学研究所）；Institute of Neurology, UCL（伦敦大学学院神经病学研究所）
虽然通过反向传播训练的卷积神经网络（CNN）在语义分割任务中取得了前所未有的成功，但众所周知，它们在分布外的数据上很难。另一方面，马尔可夫随机场（MRF）对标签上的简单分布进行编码，尽管比UNets灵活性低，但不太容易过度拟合。在本文中，我们建议通过计算UNet和MRF的分布的乘积来融合这两种策略。由于该产品是棘手的，我们解决了一个近似分布使用迭代平均场方法。由此产生的MRF-UNet通过反向传播联合训练。与其他使用条件随机场（CRF）的作品相比，MRF不依赖于成像数据，这应该允许更少的过拟合。我们在3D神经成像数据上显示，这种新型网络提高了对分布外样本的泛化能力。此外，它允许减少参数的总数，同时保持高精度。这些结果表明，当主要集成到CNN模型中时，经典的MRF平滑先验可以允许较少的过度拟合。我们的实现可以在https://github.com/balbasty/nitorch上获得。
2021-04-12 cs.CV eess.IV
Learning Structured Outputs from Partial Labels using Forest Ensemble
Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
学习具有一般结构的结构化输出在计算上是具有挑战性的，除了树结构模型。因此，我们提出了一个有效的基于提升算法AdaBoost.MRF的任务。这个想法是基于实现图是树的叠加。不同于大多数现有的工作，我们的算法可以处理部分标签，因此在实践中，可靠的标签往往稀疏观察是特别有吸引力的。此外，我们的方法只适用于树，因此保证收敛。我们将AdaBoost.MRF算法应用于室内视频监控场景，其中活动在多个级别上建模。
2014-07-24 cs.CV cs.LG stat.ML
Polarimetric SAR Image Semantic Segmentation with 3D Discrete Wavelet Transform and Markov Random Field
University of Bristol（布里斯托大学）；Shanghai Em-Data Technology Co., Ltd.（上海数慧科技股份有限公司）；China University of Mining and Technology（中国矿业大学）；University of Derby（德比大学）
极化合成孔径雷达（PolSAR）图像分割是当前遥感应用中图像处理的重要内容。然而，由于两个主要原因，这是一项具有挑战性的任务。首先，由于标注成本高，标签信息难以获取。其次，相干斑效应嵌入在极化SAR成像过程中显着降低了分割性能。针对这两个问题，本文提出了一种上下文PolSAR图像语义分割方法，以新定义的通道一致性特征集为输入，利用三维离散小波变换（3D-DWT）技术提取对相干斑噪声具有鲁棒性的多尺度判别特征。然后，马尔可夫随机场（MRF）进一步应用于执行标签的平滑空间分割。通过首次同时利用3D-DWT特征和MRF先验，在分割过程中完全集成了上下文信息，以确保准确和平滑的分割。为了证明所提出的方法的有效性，我们进行了广泛的实验上的三个真正的基准极化SAR图像数据集。实验结果表明，该方法使用最少的标记像素数，获得了较好的分割精度和较好的空间一致性。
2020-08-05 cs.CV
CUTS: A Deep Learning and Topological Framework for Multigranular Unsupervised Medical Image Segmentation
University of California, San Francisco（加利福尼亚大学旧金山分校）；Yale University（耶鲁大学）；Northern California Retina Vitreous Associates（北加州视网膜玻璃体协会）
CUTS是一种无监督医学图像分割框架，利用对比学习和拓扑划分实现多粒度分割，在视网膜和脑MRI上较现有无监督方法提升至少10%，性能媲美SAM系列模型。
2024-06-25 cs.CV
Sublabel-Accurate Discretization of Nonconvex Free-Discontinuity Problems
Technical University of Munich（慕尼黑工业大学）
在这项工作中，我们将展示如何子标签准确的多重标签方法可以通过近似一个经典的标签连续凸松弛的非凸自由不连续性问题。这种见解允许扩展这些sublabel-accurate方法从总变分一般凸和非凸正则化。此外，它导致一个系统的方法来离散连续凸松弛。我们研究现有的离散化和离散连续MRF的关系。最后，我们应用所提出的方法，以获得一个子标签准确和凸的解决方案，向量Mumford-Shah功能，并显示在几个实验中，它导致更精确的解决方案，使用更少的标签。
2017-08-05 cs.CV
Sublabel-Accurate Relaxation of Nonconvex Energies
Technical University of Munich（慕尼黑工业大学）；University of Lübeck（吕贝克大学）
我们提出了一个新的空间连续的框架，凸松弛的基础上功能提升。我们的方法可以被解释为一个多标签问题的子标签准确的解决方案。我们表明，以前提出的功能提升方法优化的能量是线性的两个标签之间，因此需要（往往是无限）许多标签的忠实近似。相比之下，所提出的配方是基于分段凸近似，因此需要少得多的标签。与最近基于MRF的方法相比，我们的方法在空间连续设置中制定，并且显示出较少的网格偏差。此外，在局部意义上，我们的配方是最严格的可能凸松弛。它易于实现，并允许在GPU上进行有效的原始-对偶优化。我们证明了我们的方法对几个计算机视觉问题的有效性。
2015-12-04 cs.CV
Deep Learning Markov Random Field for Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）
语义分割任务可以用马尔可夫随机场（MRF）很好地建模。本文提出了语义分割，将高阶关系和混合的标签上下文到MRF。与以前使用迭代算法优化MRF的工作不同，我们通过提出卷积神经网络（CNN）来解决MRF，即深度解析网络（DPN），它可以在单个前向传递中实现确定性的端到端计算。具体而言，DPN扩展了当代的CNN来对一元项进行建模，并设计了额外的层来近似成对项的平均场（MF）算法。它有几个吸引人的特性。首先，不同于最近的作品，需要多次迭代的MF在反向传播过程中，DPN是能够实现高性能的近似一次迭代的MF。其次，DPN代表了各种类型的成对项，使得许多现有的模型成为它的特例。此外，DPN中的成对项提供了一个统一的框架来编码高维数据（如图像和视频）中的丰富上下文信息。第三，DPN使MF更容易并行化和加速，从而实现有效的推理。DPN在标准语义图像/视频分割基准上进行了全面评估，其中单个DPN模型在PASCAL VOC 2012、Cityscapes数据集和CamVid数据集上产生了最先进的分割精度。
2017-08-08 cs.CV cs.LG
Unsupervised Total Variation Loss for Semi-supervised Deep Learning of Semantic Segmentation
Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
我们引入了一种新的无监督损失函数，用于在密集标记的训练图像不可用时使用深度卷积神经网络（ConvNet）学习语义分割。更具体地，所提出的损失函数惩罚由ConvNet产生的标签概率向量图像的梯度的L1范数，即总变差。这可以被看作是一个正则化项，它促进了ConvNet在学习过程中产生的标签概率向量图像的分段平滑。将无监督损失函数与半监督设置中的监督损失相结合，以学习ConvNets，即使在训练图像中只有很小比例的像素被标记时，也可以实现高语义分割精度。我们展示了显着的改进，在魏茨曼马，斯坦福背景和Sift Flow数据集的纯监督设置。此外，我们表明，在学习阶段使用建议的分段平滑约束显着优于后处理结果从一个纯粹的监督方法与马尔可夫随机场（MRF）。最后，我们注意到，我们介绍的框架是通用的，可以用来学习标记其他类型的结构，如曲线结构，通过相应地修改无监督损失函数。
2018-08-07 cs.CV
Submodular Decomposition Framework for Inference in Associative Markov Networks with Global Constraints
Moscow State University（莫斯科大学）；University College London（伦敦大学学院）
本文研究了具有关联项的离散马尔可夫随机场的最概然状态问题。虽然具有实际意义，但这个问题通常是NP难的。我们提出了一种新的MRF分解，子模分解（SMD）。与现有的分解方法不同，SMD将初始问题分解为对应于特定类标签的子问题，同时保留每个子问题的图结构。这种分解使我们能够以有效的方式考虑几种类型的全局约束。我们研究所提出的方法的理论特性，并证明其适用性上的一些问题。
2011-03-05 cs.CV cs.DM math.OC
Semantically Informed Multiview Surface Refinement
ETH Zurich（苏黎世联邦理工学院）
我们提出了一种方法来联合细化的几何和语义分割的三维表面网格。我们的方法在更新形状和语义标签之间交替。在几何细化步骤中，利用变分能量最小化来变形网格，使得其同时最大化跨一组校准图像的语义分割的照片一致性和兼容性。标签特定的形状先验解释了3D中几何和语义标签之间的相互作用。在语义分割步骤中，利用MRF推理更新网格上的标签，使得它们与输入图像中的语义分割兼容。此外，该步骤包括关于不同语义类的表面形状的先验假设。先验信息诱导了紧耦合，其中语义信息影响形状更新，反之亦然。具体来说，我们引入先验，有利于（i）自适应平滑，这取决于类标签;（ii）类边界的直线度;（iii）与表面方向一致的语义标签。新的基于网格的重建进行了评估，在一系列的实验与真实和合成数据。我们比较两个国家的最先进的，基于体素的语义3D重建，和纯粹的几何网格细化，并证明该方案产生改进的3D几何形状以及改进的语义分割。
2017-06-26 cs.CV
Multi-label Pixelwise Classification for Reconstruction of Large-scale Urban Areas
Concordia University（康考迪亚大学）；Guangdong University of Technology（广东工业大学）
对象分类是计算机视觉中的众多圣杯之一，因此已经提出了非常大量的算法。特别是近年来，这一领域取得了相当大的进展，主要是由于深度学习技术的效率和可访问性的提高。事实上，对于单标签对象分类[即图像中仅存在一个对象]，最先进的技术采用深度神经网络，并且报告非常接近人类的性能。在一些特殊的应用中，单标签对象级分类是不够的;例如，在图像包含多个不同标签的交织对象的情况下。在本文中，我们解决了复杂的多标签像素分类问题。我们提出了一种基于卷积神经网络（CNN）的独特解决方案，用于执行多标签像素分类及其在大规模城市重建中的应用。一个监督学习的方法是训练一个13层的CNN使用激光雷达和卫星图像。已经进行了一项实证研究，以确定超参数，导致CNN的最佳性能。通过在输入和标记数据的五个不同尺度上训练网络来引入尺度不变性。这导致每个不同尺度的六个像素分类。然后训练SVM将六个像素分类映射到单个标签中。最后，我们细化边界像素标签使用图切割的最大后验概率（MAP）估计与马尔可夫随机场（MRF）先验。由此产生的像素分类，然后用于准确地提取和重建大规模的城市地区的建筑物。所提出的方法已经过广泛的测试和结果报告。
2018-01-23 cs.CV
Efficient optimization for Hierarchically-structured Interacting Segments (HINTS)
University of Western Ontario（西安大略大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Iowa（爱荷华大学）
我们提出了一个有效的优化算法的一般层次分割模型之间的几何相互作用的部分。任何给定的树都可以在定义层次结构的对象标签上指定偏序。众所周知，段的相互作用，如包含/排除和边缘约束，使模型显着更具判别力。然而，现有的优化方法不允许充分利用这样的模型。一般的扩展导致弱局部最小值，而常见的二进制多层配方导致非子模块化，复杂的高阶电位，或极域展开和形状偏差。在实践中，除了简单的情况，将这些方法应用于任意树并不起作用。我们的主要贡献是一个优化方法的层次结构的相互作用段（HINTS）模型与任意树。我们的路径移动算法是基于多标签MRF制定，可以被看作是一个众所周知的a-扩展和石川技术的组合。我们展示了最先进的生物医学分割的许多不同的例子复杂的树。
2017-03-30 cs.CV
Event-based Motion Segmentation with Spatio-Temporal Graph Cuts
Hunan University（湖南大学）；Technische Universität Berlin（柏林工业大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）；Hong Kong University of Science and Technology（香港科技大学）
独立运动目标的识别是动态场景理解的一项重要任务。然而，用于动态场景中的传统相机可能由于其采样原理而遭受运动模糊或曝光伪影。相比之下，基于事件的相机是一种新型的生物传感器，可以克服这些限制。它们异步报告像素级强度变化，这使它们能够以与场景动态完全相同的速率获取视觉信息。我们开发了一种方法来识别用基于事件的相机获取的独立移动对象，即，来解决基于事件的运动分割问题。我们投的问题作为一个能量最小化的一个涉及到多个运动模型的拟合。我们共同解决两个子问题，即事件集群分配（标签）和运动模型拟合，在一个迭代的方式，通过利用输入的事件数据的结构的形式的时空图。在现有数据集上的实验表明，该方法在具有不同运动模式和运动对象数量的场景中具有通用性。评估显示了最先进的结果，而不必预先确定预期的移动对象的数量。我们在开源许可下发布软件和数据集，以促进基于事件的运动分割这一新兴主题的研究。
2021-10-29 cs.CV
An Optimization Framework to Enforce Multi-View Consistency for Texturing 3D Meshes
Institute for Intelligent Computing, Alibaba Group（阿里巴巴集团智能计算研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一个四阶段优化框架，通过多视图一致扩散生成、基于半定规划的视点选择、非刚性对齐与马尔可夫随机场面片分配及迭代优化，显著提升三维网格纹理生成的多视图一致性和质量。
2024-08-02 cs.AI cs.CV
Multi-View Stereo with Single-View Semantic Mesh Refinement
Politecnico di Milano（米兰理工大学）
虽然三维重建是一个成熟的和广泛探索的研究课题，语义三维重建只是最近才见证了越来越多的关注份额从计算机视觉社区。语义标注实际上允许强制执行强类相关先验，如地面和墙壁的平面性，可以利用这些先验来改进重建，通常会导致非平凡的性能改进。最先进的方法提出了体积方法来融合RGB图像数据与语义标签;即使成功，它们也不能很好地扩展，并且无法输出高分辨率网格。在本文中，我们提出了一种新的方法来细化一个给定的网格的几何和语义标签。我们通过应用变分方法来细化网格几何形状，该变分方法优化了由最先进的成对光度量项和单视图项组成的复合能量，该单视图项模拟了3D网格的标签与分割图像的标签之间的语义一致性。我们还通过一种新的马尔可夫随机场（MRF）公式更新了语义标签，该公式与经典数据和平滑项一起，考虑到直接从注释网格中估计的特定于类的先验。这与通常基于手工制作或学习的先验的最先进的方法形成对比。我们是第一个，连同最近和开创性的工作[M。Blaha et al arXiv：1706.08336，2017]，提出在网格细化框架内使用语义。从[M。Blaha et al arXiv：1706.08336，2017]采用更经典的成对比较来估计网格的流量，我们在语义注释图像和当前3D网格标签之间应用单视图比较;这提高了噪声分割情况下的鲁棒性。
2017-08-24 cs.CV
Multi Receptive Field Network for Semantic Segmentation
Samsung Research China（三星中国研究院）
语义分割是计算机视觉中的关键任务之一，即为图像中的每个像素分配一个类别标签。尽管最近取得了重大进展，但大多数现有方法仍然存在两个具有挑战性的问题：1）图像中对象和东西的大小可能非常多样化，需要将多尺度特征纳入全卷积网络（FCN）; 2）由于卷积网络的固有弱点，靠近或位于对象/东西边界处的像素难以分类。为了解决第一个问题，我们提出了一个新的多感受场模块（MRFM），明确考虑到多尺度功能。对于第二个问题，我们设计了一个边缘感知的损失，这是有效的区分对象/东西的边界。通过这两个设计，我们的多接收场网络在两个广泛使用的语义分割基准数据集上实现了新的最先进的结果。具体来说，我们在Cityscapes数据集上实现了83.0的平均IoU，在Pascal VOC 2012数据集上实现了88.4的平均IoU。
2022-09-07 cs.CV
Fusion Based Holistic Road Scene Understanding
Zhejiang University（浙江大学）
研究了基于视觉和距离数据融合的道路整体场景理解问题。为了实现这一宏伟目标，我们提出了一种方法，共同解决对象级图像分割和语义区域标记的条件随机场（CRF）的框架内。具体来说，我们首先通过对3D点进行聚类，学习它们先前的外观模型，并使用深度学习方法来推理它们的语义类别来生成语义对象假设。学习的先验知识，连同空间和几何背景，被纳入CRF。该方法将视觉数据和距离数据进行融合，并利用图割算法对分割和语义标注问题进行推理。我们的方法是验证具有挑战性的KITTI数据集，包含各种复杂的道路场景。定量和定性评价都证明了其有效性。
2014-06-29 cs.CV
Exact and Approximate Inference in Associative Hierarchical Networks using Graph Cuts
Oxford Brookes University（牛津布鲁克斯大学）；Microsoft Research Cambridge（微软研究院剑桥实验室）
马尔可夫网络广泛应用于计算机视觉和机器学习。一个重要的子类是关联马尔可夫网络，用于各种各样的应用。对于这些网络，可以使用基于图切割的移动算法（例如α扩展）有效地找到良好的近似最小成本解决方案。最近提出了一个相关的模型，关联层次网络，它为高阶集团（即集团大小大于2）提供了关联马尔可夫网络的自然概括。该方法为计算机视觉中的目标类分割问题提供了一个很好的模型。在本文中，我们简要描述了关联层次网络，并提供了一个计算效率高的方法，基于图割近似推理。我们的方法对于包含数十万个变量的网络表现良好，并且在包含数万个变量的集团上定义了高阶势。由于这些问题的规模，标准的线性规划技术是不适用的。我们表明，我们的方法有一个边界为4的解决方案的一般联想层次网络与任意集团大小注意到少数结果存在的解决方案的标签马尔可夫网络与高阶集团。
2012-03-15 cs.AI cs.CV
Efficient Graph Cut Optimization for Full CRFs with Quantized Edges
与稀疏连接的条件随机场相比，具有高斯边缘权重的全连接成对条件随机场（Full-CRF）可以获得更好的结果。然而，用于全CRF的传统方法太昂贵。以前的工作开发了有效的近似优化的平均场推理的基础上，这是一个局部优化方法，可以远离最优。我们提出了高效和有效的优化的基础上，图削减全CRF量化边权重。为了确定边缘权重，我们将图像划分为超像素，并假设任何两个像素之间的边缘的权重仅取决于这些像素所属的超像素。我们的量化边缘CRF是高斯边缘CRF的近似，并且随着超像素尺寸的减小而变得更接近它。作为一个近似，我们的模型提供了一个直观的高斯边缘全CRF的正则化属性。为了有效的推理，我们首先考虑两个标签的情况下，并开发一个近似的方法的基础上转换到一个较小的域的原始问题。然后，我们通过展示如何实现扩展移动来处理多标签CRF。在二进制和多标签的情况下，我们的解决方案具有显着较低的能量相比，平均场推理。我们也证明了我们的方法在语义分割任务上的有效性。
2018-09-13 cs.CV
Self-Assignment Flows for Unsupervised Data Labeling on Graphs
Heidelberg University（海德堡大学）
本文扩展了最近推出的分配流方法监督图像标记无监督的情况下，没有标签。所得到的自分配流将成对数据亲和矩阵作为输入数据，并最大化与由分配流的变量参数化的低秩矩阵的相关性，这需要通过形成潜在标签（特征原型）将数据分配给它们自己。一个用户参数，即赋值的几何正则化的邻域大小，驱动整个过程。利用正定矩阵流形上自分配矩阵的不同规范化之间的光滑测地线插值，定义了一类单参数自分配流。因此，我们的方法可以从不同的角度来表征，例如，作为执行空间正则化，秩约束的离散最优传输，或作为计算空间正则化的归一化谱切。关于组合优化，我们的方法成功地确定完全积极的因式分解的自分配在大规模的情况下，空间正则化。各种实验，包括无监督学习的补丁字典使用局部不变的距离函数，说明了该方法的属性。
2020-03-24 cs.CV cs.LG
Supervised Hashing Using Graph Cuts and Boosted Decision Trees
The University of Adelaide（阿德莱德大学）
将图像特征嵌入到二进制海明空间中可以提高大规模逐例查询图像检索系统的速度和准确性。监督哈希旨在以保留原始数据的基于标签的相似性的方式将原始特征映射到紧凑的二进制代码。大多数现有方法应用单一形式的散列函数，以及通常与该特定形式深度耦合的优化过程。这种紧密耦合限制了这些方法的灵活性，并可能导致难以解决的复杂优化问题。在这项工作中，我们提供了一个灵活而简单的框架，能够适应不同类型的损失函数和哈希函数。建议的框架允许一些现有的散列方法被放置在上下文中，并简化了新的特定问题的散列方法的开发。我们的框架将其分解为两个步骤：二进制代码（哈希位）学习和哈希函数学习。第一步通常可以用公式表示为二进制二次问题，第二步可以通过训练标准的二进制分类器来完成。为了解决大规模的二进制代码推理，我们展示了如何确保二进制二次问题是次模块化的，这样就可以使用一个有效的图切割方法。为了在大规模高维数据上实现效率和功效，我们建议使用提升决策树作为散列函数，该散列函数是非线性的，高度描述性的，并且非常快速地进行训练和评估。实验表明，我们提出的方法显着优于大多数国家的最先进的方法，特别是在高维数据。
2015-02-08 cs.CV cs.LG
Integrating Atlas and Graph Cut Methods for LV Segmentation from Cardiac Cine MRI
Rochester Institute of Technology（罗切斯特理工学院）
磁共振成像（MRI）已发展为用于心脏形态、功能评估和心脏介入指导的临床标准护理成像模式。所有这些应用都依赖于从成像数据中准确提取心肌组织和血池。在这里，我们提出了一个框架，左心室（LV）分割心脏电影MRI。首先，我们使用迭代图切割分割LV血池，随后使用此信息分割心肌。我们制定的分割程序作为一个能量最小化问题，在一个图形的形状之前，通过标签传播从平均图谱使用仿射注册。所提出的框架已通过STACOM LV分割挑战在30个患者心脏电影MRI数据集上进行了验证，并产生了快速、稳健和准确的分割结果。
2016-11-03 cs.CV
