Resultant Based Incremental Recovery of Camera Pose from Pairwise Matches
Weizmann Institute of Science（魏茨曼科学研究所）
来自运动流水线的增量（在线）结构寻求恢复与给定$n-1$图像的图像$I_n$相关联的相机矩阵，$I_1,...,I_{n-1}$，其相机矩阵已经被恢复。在本文中，我们介绍了一种新的解决方案，六点在线算法恢复与$I_n$的外部参数。我们的算法只使用六个相应的二维点对，每个从$I_n$和从\textit{any}的前$n-1$图像，允许恢复的$n$的第六个相机的全部六个自由度，不像常见的方法，不需要跟踪特征点在三个或更多的图像。我们的新的解决方案是基于构建一个狄克逊结果，产生的解决方案的方法，既有效又准确的现有解决方案相比。我们进一步使用伯恩斯坦定理证明了一个紧界上的复杂的解决方案的数量。我们的实验证明了我们的方法的实用性。
2019-01-27 cs.CV
Label-efficient Segmentation via Affinity Propagation
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；The Hong Kong Polytechnical University（香港理工大学）
本文提出基于亲和力传播的局部与全局成对亲和力建模，生成软伪标签，高效插入现有分割网络，在框、点/涂鸦及CLIP引导分割任务中表现优越。
2023-10-17 cs.CV
A Tiered Move-making Algorithm for General Non-submodular Pairwise Energies
计算机视觉中的大量问题可以建模为马尔可夫随机场（MRF）或条件随机场（CRF）框架中的能量最小化问题。基于图割的$α$ -展开是一种标准的移动决策方法，用于最小化具有子模成对项的能量函数。然而，某些问题需要更复杂的成对项，其中$α$ -展开方法通常不适用。在本文中，我们提出了一个迭代{ \em分层移动决策算法}，它能够处理一般的成对项。每次移动到下一个配置是基于当前的标签和最佳分层移动，其中每个分层移动需要一个应用程序的动态规划为基础的分层标记方法中介绍的Felzenszwalb等。\cite{tiered_cvpr_felzenszwalbV10} .该算法收敛到一个局部最小值的任何一般成对的潜力，我们给出了理论分析的算法的属性，表征的情况下，我们可以期望良好的性能。我们首先使用Pascal VOC-11分割数据集在对象类分割问题上评估我们的方法，在该数据集中我们学习一般成对项。此外，我们评估了许多其他基准标记问题，如立体，图像分割，图像拼接和图像去噪的算法。我们的方法始终获得更好的准确性和能量值比阿尔法扩展，循环的信念传播（LBP），二次伪布尔优化（QPBO），并与TRWS竞争。
2014-03-25 cs.CV
Learning Shape Priors by Pairwise Comparison for Robust Semantic Segmentation
Xiamen University（厦门大学）；Tencent Jarvis Lab（腾讯优图实验室）；Jilin University（吉林大学）
语义分割在医学图像分析中具有重要意义。受传统图像分析技术在捕获形状先验和主体间相似性方面的强大能力的启发，最近提出了许多深度学习（DL）模型来利用这些先验信息并实现鲁棒性能。然而，这两种类型的重要的先验信息通常是单独研究在现有的模型。在本文中，我们提出了一种新的DL模型在一个单一的框架内建模这两种类型的先验。具体来说，我们引入一个额外的编码器到经典的编码器-解码器结构中，以形成一个连体结构的编码器，其中一个以目标图像作为输入（图像编码器），另一个连接模板图像及其前景区域作为输入（模板编码器）。模板编码器对模板图像中每个前景类的形状先验和外观特征进行编码。提出了一种基于余弦相似度的注意力模块，融合来自两个编码器的信息，利用模板编码器编码的两种类型的先验信息，并为每个前景类建模主题间的相似度。在两个公共数据集上的实验表明，我们提出的方法可以产生更好的性能。
2022-04-23 cs.CV
A Multi-Layer Approach to Superpixel-based Higher-order Conditional Random Field for Semantic Image Segmentation
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Rome Airforce Research Lab（罗马空军研究实验室）
基于超像素的高阶条件随机场（SP-HO-CRF）因其在计算机视觉中为逐像素标记执行短和长空间邻接的有效性而闻名。然而，它们的高阶势通常太复杂而无法学习，并且在执行推理时经常产生高计算成本。我们提出了一种新的近似方法SP-HO-CRF，解决了这些问题。我们的方法是一个多层的CRF框架，继承了简单的成对CRF制定成相同的成对电位在第一层的高阶和成对线索。本质上，该方法通过重新使用成对CRF的预先训练的参数和/或权重，在没有训练的情况下基于成对CRF提供准确性增强。所提出的多层方法在描绘诸如“树”和“灌木丛”之类的对象类别的边界细节（边界）方面表现得特别好。在MSRC-21和PASCAL VOC 2012数据集上进行的多组实验验证了所提方法的有效性和效率。
2018-04-05 cs.CV
A Cross-Season Correspondence Dataset for Robust Semantic Segmentation
Chalmers University of Technology（查尔姆斯理工大学）；Zenuity（泽努蒂公司）；ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
在本文中，我们提出了一种方法，利用在不同的图像条件下拍摄的图像之间的2D-2D点匹配训练一个卷积神经网络的语义分割。在匹配中强制标签一致性使得最终的分割算法对季节变化具有鲁棒性。我们描述了如何生成这些2D-2D的匹配，几乎没有人的互动，几何匹配点从3D模型建立从图像。创建两个跨季节对应数据集，提供跨季节变化以及从白天到晚上的2D-2D匹配。这些数据集公开提供，以方便进一步研究。我们发现，在训练过程中添加对应关系作为额外的监督，提高了卷积神经网络的分割性能，使其对季节变化和天气条件更具鲁棒性。
2019-08-16 cs.CV
Context Propagation from Proposals for Semantic Video Object Segmentation
Nokia Technologies, Finland（诺基亚技术公司）
该研究提出一种语义视频对象分割新方法，从视频对象候选区域提取语义上下文并传播，结合条件随机场推断超像素标签，提升了视觉歧义消解的鲁棒性。
2024-07-08 cs.CV
Frequency-based Matcher for Long-tailed Semantic Segmentation
School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；University of Technology Sydney（悉尼科技大学）
本文针对长尾语义分割任务，构建了三个代表性数据集和双指标评估基准，并提出基于频率的Transformer匹配器，通过一对多匹配自动确定各类别查询数量，以缓解过度抑制问题。
2024-06-06 cs.CV
Segmentation of Weakly Visible Environmental Microorganism Images Using Pair-wise Deep Learning Features
Northeastern University（东北大学）；University of Lübeck（吕贝克大学）；Kindai University（近畿大学）；Jacobs University Bremen（不来梅雅各布大学）
环境微生物的利用通过监测和分解污染物，为环境污染提供了一种高效、低成本、无害的补救措施。这依赖于EM如何被正确地分割和识别。为了提高对透明、噪声和低对比度的弱可见电磁图像的分割能力，提出了一种成对深度学习特征网络（PDLF-Net）。PDLF的使用使网络能够通过将每个图像的成对深度学习特征连接到基础模型SegNet的不同块来更多地关注前景（EM）。利用Shi和Tomas描述符，我们提取每个图像在补丁上的深层特征，这些补丁使用VGG-16模型以每个描述符为中心。然后，为了学习描述符之间的中间特征，基于德洛内三角剖分定理执行特征的配对以形成成对的深度学习特征。在本实验中，PDLF-Net在准确率、IoU、Dice、VOE、灵敏度、精确度和特异性方面分别达到了89.24%、63.20%、77.27%、35.15%、89.72%、91.44%和89.30%的出色分割结果。
2022-08-31 cs.CV
Higher-Order Minimum Cost Lifted Multicuts for Motion Segmentation
Data and Web Science Group（数据与网络科学组）；University of Mannheim（曼海姆大学）
大多数最先进的运动分割算法从图形模型中的成对势方面对局部实体（诸如点轨迹）的运动差异进行建模来汲取它们的潜力。在这种图上定义的最小成本多割问题的实例中的推理允许优化所得到的段的数量以及段分配。然而，成对的潜力限制了所采用的运动模型的平移差异的辨别能力。更复杂的模型，如欧几里德或仿射变换要求高阶势和一个易于处理的推理，在所产生的高阶图形模型。在本文中，我们（1）介绍了一个推广的最小成本提升多割问题的超图，（2）提出了一个简单的原始可行的启发式，允许一个合理有效的推理，在高阶提升多割问题的实例定义在点轨迹超图运动分割的实例。由此产生的运动分割在FBMS-59数据集上的最新技术水平上有所改善。
2017-07-27 cs.CV
Pairwise Relation Learning for Semi-supervised Gland Segmentation
South Australian Health and Medical Research Institute（南澳大利亚健康与医学研究所）；Research & Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）；Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）
在腺癌的计算机辅助诊断中，对组织学图像进行精确的自动腺体分割是一项重要而又具有挑战性的任务。尽管它们普遍存在，但深度学习模型总是需要大量密集注释的训练图像，由于与组织学图像注释相关的大量劳动力和相关专家成本，难以获得这些图像。在本文中，我们提出了成对关系为基础的半监督（PRS^2）模型的组织学图像上的腺体分割。该模型由分段网络（S-Net）和成对关系网络（PR-Net）组成。S-Net在标记数据上训练用于分割，PR-Net以无监督的方式在标记和未标记数据上训练，以通过利用特征空间中每对图像之间的语义一致性来增强其图像表示能力。由于两个网络共享编码器，PR-Net学习的图像表示能力可以转移到S-Net以提高其分割性能。我们还设计了对象级Dice损失函数来解决接触腺体引起的问题，并将其与S-Net的其他两个损失函数相结合。我们对GlaS数据集上的五种最新方法和CRAG数据集上的三种最新方法进行了评估。我们的结果不仅证明了所提出的PR网络和对象级Dice损失的有效性，而且还表明我们的PRS ^2模型在两个基准上都达到了最先进的腺体分割性能。
2020-08-06 cs.CV cs.LG eess.IV
Unbiased Shape Compactness for Segmentation
École de Technologie Supérieure（蒙特利尔高等技术学院）
我们建议约束分割泛函的无量纲，无偏和位置无关的形状紧凑性之前，我们有效地解决了交替方向的乘法器（ADMM）。涉及成对电位的平方和，我们的先前结果在一个具有挑战性的高阶优化问题，其中涉及密集（全连接）的图形。我们将问题分解为一系列更容易的子问题，每个子问题在每次迭代时都能有效地执行：（i）基于Woodbury恒等式的稀疏矩阵求逆，（ii）三次方程的封闭形式解，以及（iii）具有稀疏图的子模块成对子问题的图切割更新。我们将先验知识部署在能量最小化中，并结合基于CNN和标准正则化约束的监督分类器项。我们证明了我们的能量在几个医疗应用中的有用性。特别是，我们报告了我们的全自动算法超过40个科目的综合评价，显示了具有挑战性的任务，在MRI中的腹主动脉分割的竞争力的表现。
2017-05-17 cs.CV
A Projected Gradient Descent Method for CRF Inference allowing End-To-End Training of Arbitrary Pairwise Potentials
Chalmers University of Technology（查尔姆斯理工大学）；University of Oxford（牛津大学）；Centre for Mathematical Sciences, Lund University（隆德大学数学科学中心）
我们是否在Vision社区中流行的条件随机场模型中使用了正确的势函数？语义分割和其他像素级标签任务最近由于深度学习范式而取得了重大进展。然而，大多数最先进的结构化预测方法还包括具有手工制作的高斯势的随机场模型，以模拟空间先验，标签识别和基于特征的图像调节。在本文中，我们挑战这一观点，通过开发一个新的推理和学习框架，可以学习成对CRF潜力的限制，只依赖于图像像素值和大小的支持。标准的空间和高维双边内核被认为是。我们的框架基于这样的观察：CRF推理可以通过投影梯度下降实现，因此可以很容易地集成到深度神经网络中，以允许端到端的训练。经验表明，这种学习的潜力可以提高分割精度，某些标签类的相互作用确实更好地模拟了非高斯潜力。此外，我们比较我们的推理方法，常用的平均场算法。我们的框架在几个公共的语义分割基准上进行了评估，与以前最先进的CNN+CRF模型相比，性能有所提高。
2018-01-02 cs.CV
AsyInst: Asymmetric Affinity with DepthGrad and Color for Box-Supervised Instance Segmentation
Tongji University（同济大学）；The City University of New York（纽约城市大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Tsinghua University（清华大学）
弱监督实例分割是一个具有挑战性的任务。现有的方法通常使用边界框作为监督，并使用正则化损失项（例如用于实例分割的成对颜色亲和度损失）来优化网络。通过系统分析，我们发现常用的成对亲和度损失有两个局限性：（1）它适用于颜色亲和度，但导致其他模态（如深度梯度）的性能较差，（2）原始亲和度损失并不能阻止预期的琐碎预测，但实际上加速了这个过程，因为亲和度损失项是对称的。为了克服这两个限制，在本文中，我们提出了一种新的不对称的亲和力损失，它提供了对平凡的预测和概括以及从不同的方式与亲和力损失的惩罚。在提出的非对称亲和力损失的情况下，我们的方法在Cityscapes数据集上的性能优于最先进的方法，并且在掩模AP中的性能优于我们的基线方法3.5%。
2022-12-07 cs.CV
Multi-View Correlation Consistency for Semi-Supervised Semantic Segmentation
Australian National University（澳大利亚国立大学）
半监督语义分割需要对未标记数据进行丰富而鲁棒的监督。一致性学习强制同一像素在不同的增强视图中具有相似的特征，这是一个鲁棒的信号，但忽略了与其他像素的关系。相比之下，对比学习考虑了丰富的成对关系，但为像素对分配二进制正负监督信号可能是一个难题。在本文中，我们采取了两全其美，并提出了多视图相关一致性（MVCC）学习：它考虑了自相关矩阵中丰富的成对关系，并在视图之间进行匹配，以提供强大的监督。连同这种相关性的一致性损失，我们提出了一个视图一致的数据增强策略，保证像素之间的对应关系不同的意见。在两个数据集上的一系列半监督设置中，我们报告了与最先进的方法相比具有竞争力的准确性。值得注意的是，在Cityscapes上，我们使用1/8的标记数据实现了76.8%的mIoU，仅比完全监督的oracle少0.6%。
2022-08-17 cs.CV
Pixel-Level Bijective Matching for Video Object Segmentation
Yonsei University（延世大学）
半监督视频对象分割（VOS）的目标是在像素级跟踪出现在视频初始帧中的指定对象。为了充分利用物体的外观信息，像素级特征匹配被广泛应用于视觉操作系统中。传统的特征匹配以满射方式运行，即，仅考虑从查询帧到参考帧的最佳匹配。查询帧中的每个位置都引用参考帧中的最佳位置，而不管每个参考帧位置被引用的频率如何。这在大多数情况下工作良好，并且对于快速的外观变化是鲁棒的，但是当查询帧包含看起来类似于目标对象的背景干扰项时，可能导致要害差错。为了减轻这种担忧，我们引入了一个双射匹配机制，以找到最佳匹配的查询帧的参考帧，反之亦然。在找到查询帧像素的最佳匹配之前，首先考虑参考帧像素的最佳匹配，以防止每个参考帧像素被过度引用。由于该机制以严格的方式操作，即，当且仅当像素是彼此确定匹配的时，它可以有效地消除背景干扰。此外，我们提出了一个掩码嵌入模块，以改善现有的掩码传播方法。通过嵌入多个具有坐标信息的历史模板，可以有效地捕获目标对象的位置信息。
2021-11-12 cs.CV
Efficient Kernel based Matched Filter Approach for Segmentation of Retinal Blood Vessels
MMM University of Technology（MMM理工大学）；National Institute of Technology, Hamirpur（哈米尔布尔国家理工学院）
视网膜血管结构包含有关肥胖、糖尿病、高血压和青光眼等疾病的信息。这些信息对识别和治疗这些致命疾病非常有用。为了获得这些信息，需要分割这些视网膜血管。许多基于核函数的方法已经被用于视网膜血管的分割，但是它们的核函数不适合血管轮廓，导致分割效果不佳。为了克服这一点，一种新的和有效的基于核的匹配滤波器的方法已被提出。新的匹配滤波器用于生成匹配滤波器响应（MFR）图像。我们应用大津阈值法对获得的MFR图像提取血管。我们已经进行了大量的实验，以选择最佳的建议匹配滤波器内核的参数值。所提出的方法进行了检查和验证两个在线可用的DRIVE和STARE数据集。该方法对DRIVE和STARE数据集的特异性分别为98.50%、98.23%，准确性分别为95.77%、95.13%。实验结果表明，该方法具有较好的性能。提高性能的原因是由于适当的建议内核，更准确地匹配视网膜血管轮廓。
2020-12-07 cs.CV eess.IV
GenMed: A Pairwise Generative Reformulation of Medical Diagnostic Tasks
CVLab, École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院（EPFL）计算机视觉实验室）；Fudan University（复旦大学）；Beihang University（北航大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；Aalto University（艾尔沃斯大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出一种生成性方法，通过扩散模型建模联合分布P(X,Y)，在推理时优化输出，支持任意观测组合，实验显示在医学图像分割、少样本分割、退化输入分割、形状补全和零样本应用中表现优异。
2026-05-11 cs.CV
Proposal-free Lidar Panoptic Segmentation with Pillar-level Affinity
The Johns Hopkins University（约翰斯·霍普金斯大学）；Motional
我们提出了一个简单而有效的激光雷达全景分割的无建议架构。我们共同优化语义分割和类不可知的实例分类在一个单一的网络使用基于支柱的鸟瞰图表示。实例分类头学习柱之间的成对亲和力，以确定柱是否属于同一实例。我们进一步提出了一个局部聚类算法，通过合并语义分割和亲和度预测来传播实例id。我们在nuScenes数据集上的实验表明，我们的方法优于以前的无建议方法，并且与基于建议的方法相当，后者需要额外的目标检测注释。
2022-04-19 cs.CV
Deep Learning Markov Random Field for Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）
语义分割任务可以用马尔可夫随机场（MRF）很好地建模。本文提出了语义分割，将高阶关系和混合的标签上下文到MRF。与以前使用迭代算法优化MRF的工作不同，我们通过提出卷积神经网络（CNN）来解决MRF，即深度解析网络（DPN），它可以在单个前向传递中实现确定性的端到端计算。具体而言，DPN扩展了当代的CNN来对一元项进行建模，并设计了额外的层来近似成对项的平均场（MF）算法。它有几个吸引人的特性。首先，不同于最近的作品，需要多次迭代的MF在反向传播过程中，DPN是能够实现高性能的近似一次迭代的MF。其次，DPN代表了各种类型的成对项，使得许多现有的模型成为它的特例。此外，DPN中的成对项提供了一个统一的框架来编码高维数据（如图像和视频）中的丰富上下文信息。第三，DPN使MF更容易并行化和加速，从而实现有效的推理。DPN在标准语义图像/视频分割基准上进行了全面评估，其中单个DPN模型在PASCAL VOC 2012、Cityscapes数据集和CamVid数据集上产生了最先进的分割精度。
2017-08-08 cs.CV cs.LG
Affinity CNN: Learning Pixel-Centric Pairwise Relations for Figure/Ground Embedding
TTI Chicago（芝加哥丰田技术研究院）；Sony Corp.（索尼公司）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
光谱嵌入提供了一个框架来解决感知组织问题，包括图像分割和图形/背景组织。从描述像素之间的成对关系的亲和矩阵，它将像素聚类到区域中，并使用复值扩展，根据层对像素进行排序。我们训练一个卷积神经网络（CNN）来直接预测定义这个亲和矩阵的成对关系。然后，光谱嵌入将这些预测分解为场景的全局一致的分割和图形/背景组织。实验表明，显着的好处，这种直接耦合相比，以前的作品，使用明确的中间阶段，如边缘检测，从图像的路径上的亲和力。我们的研究结果表明，谱嵌入作为一个强大的替代条件随机场（CRF）为基础的全球化计划通常耦合到深神经网络。
2016-04-11 cs.CV cs.LG cs.NE
Pairwise Confusion for Fine-Grained Visual Classification
Massachusetts Institute of Technology（麻省理工学院）；Brigham Young University（杨百翰大学）；Harvard University（哈佛大学）
细粒度视觉分类（FGVC）数据集包含小样本量，以及显着的类内变化和类间相似性。虽然先前的工作已经使用定位和分割技术解决了类内变化，但类间相似性也可能影响特征学习并降低分类性能。在这项工作中，我们解决这个问题，使用一种新的优化程序的FGVC任务的端到端的神经网络训练。我们的程序，称为成对混淆（PC）减少过拟合故意{引入混乱}的激活。通过PC正则化，我们在六个最广泛使用的FGVC数据集上获得了最先进的性能，并展示了改进的定位能力。{PC}易于实现，在训练期间不需要过多的超参数调整，并且在测试期间不增加显著的开销。
2018-07-25 cs.CV
DOPE: Distributed Optimization for Pairwise Energies
Ecole de Technologie Superieure（高等技术学院）
我们制定了一个交替方向方法的乘数（ADMM），系统地分配计算的任何技术优化成对函数，包括非次模的潜力。这种离散函数在分割和其他视觉问题中非常有用。我们的方法分解成一个大的一组小的子问题，每个问题涉及的图像域的一个子区域，可以并行解决的问题。我们实现子问题之间的一致性，通过一个新的约束，可用于一个大类的成对函数。我们给出了一个迭代数值解，交替解决子问题和更新一致性变量，直到收敛。我们报告全面的实验，这表明我们的通用分布式解决方案的Boykov和Kolmogorov（BK算法）的流行的串行算法的情况下，也，在非子模函数的上下文中的好处。
2017-04-11 cs.CV
RPM-Net: Robust Pixel-Level Matching Networks for Self-Supervised Video Object Segmentation
KAIST（韩国科学技术院）
本文介绍了一种无需人工标记数据的自监督视频对象分割方法，具体而言，我们提出了鲁棒像素级匹配网络（RPM-Net），这是一种新的深度架构，仅使用来自未标记视频的颜色信息进行训练，匹配相邻帧之间的像素。从技术上讲，RPM-Net可以分为两个主要模块。嵌入模块首先将输入图像投影到高维嵌入空间。与以往的基于可变形卷积的方法不同，本文的匹配模块采用可变形卷积来关注时空相邻像素中的相似特征，实验结果表明，选择性特征采样提高了视频对象分割对相机抖动等挑战性问题的鲁棒性，快速运动、变形和遮挡。此外，我们在三个公共数据集（即，DAVIS-2017、SegTrack-v2和Youtube-Objects），并在自监督视频对象分割方面实现最先进的性能。此外，我们显着减少了自监督和全监督视频对象分割之间的性能差距（DAVIS-2017验证集上为41.0% vs. 52.5%）
2019-10-10 cs.CV
Weakly Supervised Instance Segmentation using Motion Information via Optical Flow
The University of Tokyo（东京大学）
弱监督的实例分割已经得到普及，因为它减少了模型训练所需的像素级掩模的高注释成本。最近的弱监督实例分割方法使用从静态图像获得的外观信息来检测和分割对象。然而，它提出了识别具有非歧视性外观的物体的挑战。在这项研究中，我们解决这个问题，通过使用从图像序列的运动信息。我们提出了一个双流编码器，利用从图像和光流中提取的外观和运动特征。此外，我们提出了一种新的成对损失，同时考虑外观和运动信息来监督分割。我们对YouTube-VIS 2019基准数据集进行了广泛的评估。我们的结果表明，该方法提高了平均精度的国家的最先进的方法由3.1。
2022-02-25 cs.CV
From Local Matches to Global Masks: Template-Guided Instance Detection and Segmentation in Open-World Scenes
IRVLUTD
本文提出L2G-Det框架，通过模板与查询图像的密集补丁匹配实现实例检测与分割，避免显式提议，提升开放世界场景下的鲁棒性。
2026-05-13 cs.CV cs.RO
A Multi-cut Formulation for Joint Segmentation and Tracking of Multiple Objects
University of Freiburg（弗莱堡大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
最近，最小成本多分割公式已被提出，并被证明是成功的运动轨迹分割和多目标跟踪的情况下。这两个任务都受益于将图形模型分解为基于吸引和排斥成对项的最佳数量的连接组件。这两个任务在不同的粒度级别上制定，因此，主要利用局部信息进行运动分割，主要利用高级信息进行多目标跟踪。在本文中，我们认为，点轨迹和它们的局部关系可以有助于多目标跟踪的高层次任务，也认为，高层次的线索，从目标检测和跟踪有助于解决运动分割。我们提出了一个联合图形模型的点轨迹和目标检测的多割运动分割{ \it和}多目标跟踪问题的解决方案在一次。FBMS 59运动分割基准以及2D MOT 2015基准的行人跟踪序列的结果证明了这种联合方法的前景。
2016-07-21 cs.CV
Occlusion-Aware Object Localization, Segmentation and Pose Estimation
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种学习方法的局部化和分割的图像中的对象的方式是强大的部分遮挡。我们的算法产生一个限界框周围的对象和标签的内部属于该对象的像素的全部范围。与现有的分割感知检测方法一样，我们学习对象的外观模型，并将不适合该模型的区域视为潜在的遮挡。然而，除了已建立的使用成对的潜力，以鼓励当地的一致性，我们使用高阶潜力，捕捉信息的图像段的水平。我们还提出了一个高效的损失函数，该函数同时针对定位和分割性能。我们的算法在具有挑战性的CMU厨房遮挡数据集上平均实现了13.52%的分割错误和0.81的每幅图像假阳性下的面积与召回曲线。这是一个42.44%的分割误差减少和16.13%的本地化性能的增加相比，最后，我们表明，我们的算法产生的可见性标签可以使完整的3D姿态估计从一个单一的图像鲁棒闭塞。
2015-07-27 cs.CV
Pseudo-Label Guided Multi-Contrast Generalization for Non-Contrast Organ-Aware Segmentation
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
非造影计算机断层扫描（NCCT）通常用于肺癌筛查、一般腹痛或疑似肾结石的评估、创伤评估和许多其他适应症。然而，缺乏对比度限制了区分器官之间的边界。在本文中，我们提出了一种新的无监督的方法，利用成对对比度增强CT（CECT）的背景下计算无地面真实标签的非对比度分割。与生成对抗方法不同，我们使用CECT计算成对的形态背景，以提供教师指导，而不是生成假的解剖背景。此外，我们进一步增强了“器官特异性”设置中的强度相关性，并增加了对器官感知边界的敏感性。我们使用五重交叉验证来验证我们的方法在多器官分割上与成对的非对比度和对比度增强CT扫描。对主动脉分割的独立非造影剂队列进行全面外部确认。与当前在完全监督设置中的最先进的腹部器官分割相比，我们提出的管道实现了3.98%（内部多器官注释）和8.00%（外部主动脉注释）的Dice显著更高的腹部器官分割。代码和预训练模型可在https://github.com/MASILab/ContrastMix上公开获取。
2022-05-12 cs.CV cs.LG eess.IV
Kernel Cuts: MRF meets Kernel & Spectral Clustering
University of Western Ontario（西安大略大学）；École de Technologie Supérieure, University of Quebec（魁北克大学高等技术学院）
我们提出了一种新的分割模型，它结合了常见的正则化能量，例如马尔可夫随机场（MRF）势，以及标准的成对聚类标准，如标准化切割（NC），平均关联（AA）等。这些聚类和正则化模型广泛用于机器学习和计算机视觉，但由于相应的优化存在显着差异，它们之前没有组合，例如谱松弛和组合最大流技术。一方面，我们表明，使用MRF分割能量的许多常见应用可以受益于高阶NC项，例如，强制执行任意高维图像特征的平衡聚类，这些特征结合了颜色、纹理、位置、深度、运动等。另一方面，标准聚类应用可以受益于包含常见的成对或高阶MRF约束，例如，边缘对齐、bin一致性、为了解决像NC+MRF这样的联合能量，我们提出了基于边界优化的高效核切割算法。在专注于图切割和移动决策技术的同时，我们新的一元（线性）内核和谱界公式用于常见的成对聚类标准，允许将它们与现有离散或连续求解器的任何正则化泛函相结合。
2016-09-21 cs.CV
Temporal-aware Hierarchical Mask Classification for Video Semantic Segmentation
ETH Zurich（苏黎世联邦理工学院）；University of Wurzburg（维尔茨堡大学）；KU Leuven（鲁汶大学）
针对视频语义分割中query匹配效率低的问题，提出THE-Mask方法，首次引入时序感知层级object queries，通过两轮匹配机制和层级损失提升训练效率，并设计时序聚合解码器捕捉跨帧信息，在VSPW基准上达到SOTA性能。
2023-09-14 cs.CV
Adaptive Affinity Loss and Erroneous Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation
Xidian University（西安电子科技大学）；Xi’an Jiaotong University（西安交通大学）；University of Leicester（莱斯特大学）
语义分割在过去的十年中得到了不断的研究，并且大多数已建立的技术都是基于监督模型的。近年来，图像级弱监督语义分割（WSSS），包括单阶段和多阶段的过程，吸引了大量的关注，由于数据标记效率。在本文中，我们提出将多阶段方法的亲和学习嵌入到单阶段模型中。具体来说，我们引入了自适应的亲和力损失，以彻底学习局部成对亲和力。因此，深度神经网络用于在训练阶段传递全面的语义信息，同时提高最终预测模块的性能。另一方面，考虑到伪标签中存在错误，我们提出了一种新的标签重分配损失来减轻过拟合。在PASCAL VOC 2012数据集上进行了大量的实验，以评估我们提出的方法的有效性，该方法优于其他标准的单阶段方法，并与几种多阶段方法实现了相当的性能。
2021-08-03 cs.CV
Curvature Prior for MRF-based Segmentation and Shape Inpainting
Czech Technical University（捷克技术大学）；Microsoft Research（微软研究院）；Center for Machine Perception（机器感知中心）
大多数图像标记问题，如分割和图像重建，从根本上是不适定的，并遭受模糊性和噪声。高阶图像先验对像素之间的高级结构依赖性进行编码，并且是克服这些问题的关键。然而，这些先验一般导致计算上难以处理的模型。本文讨论的问题，发现紧凑的高阶先验表示，允许有效的推理。我们提出了一个框架来解决这个问题，它使用最近提出的表示高阶函数，它们被编码为较低的线性函数的信封。对我们学习的模型的最大后验推理减少到最小化离散变量的成对函数，这可以使用标准方法近似完成。虽然这是一个主要的理论论文，我们也证明了我们的框架的实际有效性的问题上学习的形状之前的图像分割和重建。我们表明，我们的框架可以学习一个紧凑的表示，近似于鼓励低曲率形状的先验。我们评估近似精度，讨论训练模型的属性，并显示形状修复和图像分割的各种结果。
2011-09-07 cs.CV
A Decision-Aware Evaluation Protocol for Uncertainty in Medical Image Segmentation
School of Computer Science, University of Nottingham（诺丁汉大学计算机学院）
该研究提出决策感知评估协议，将不确定性估计与弃权策略分离，在医学图像分割任务中验证TTA等方法的性能，表明不确定性需作为配置评估而非独立分数图。
2026-10-16 cs.CV
Unsupervised Segmentation in Real-World Images via Spelke Object Inference
Stanford（斯坦福大学）；MIT（麻省理工学院）
自监督、类别无关的图像分割是计算机视觉中一个具有挑战性的开放性问题。在这里，我们展示了如何学习静态分组先验的运动自我监督的认知科学概念的Spelke对象：一组物理的东西，一起移动。我们介绍了兴奋抑制段提取网络（EISEN），它学习从基于运动的训练信号中提取静态场景的成对亲和图。EISEN然后使用一种新的图传播和竞争网络从亲和力产生片段。在训练过程中，经历相关运动的对象（如机器人手臂和它们移动的对象）通过自举过程解耦：EISEN解释了它已经学会分割的对象的运动。我们表明，EISEN在具有挑战性的合成和现实世界的机器人数据集上实现了最先进的自监督图像分割的实质性改进。
2022-07-25 cs.AI cs.CV
Mask-Free Video Instance Segmentation
ETH Zürich（苏黎世联邦理工学院）；HKUST（香港科技大学）
视频实例分割（VIS）的最新进展在很大程度上是由使用更深入和越来越多的数据饥饿的基于变换的模型驱动的。然而，视频掩码是繁琐和昂贵的注释，限制了现有VIS数据集的规模和多样性。在这项工作中，我们的目标是删除掩码注释的要求。我们提出MaskFreeVIS，实现极具竞争力的VIS性能，而只使用对象状态的限界框注释。我们通过引入时间KNN-补丁损失（TK-损失）来利用视频中丰富的时间掩模一致性约束，提供强大的掩模监督而无需任何标签。我们的TK-Loss通过一个高效的补丁匹配步骤，然后是K最近邻选择，在帧间找到一对多的匹配。然后在找到的匹配上强制执行一致性丢失。我们的无掩模目标易于实现，没有可训练的参数，计算效率高，但优于基线，例如，最先进的光流来加强时间掩模一致性。我们在YouTube-VIS 2019/2021、OVIS和BDD 100 K MOTS基准测试中验证了MaskFreeVIS。结果清楚地证明了我们的方法的有效性，大大缩小了完全监督和弱监督VIS性能之间的差距。我们的代码和训练模型可以在https://github.com/SysCV/MaskFreeVis上找到。
2023-03-28 cs.AI cs.CV
Discriminative training of conditional random fields with probably submodular constraints
KU Leuven（鲁汶大学）
图像分割、去噪、配准和三维重建等问题常采用图割算法来解决。然而，解决无约束图切割问题是NP-难的。对于易处理的优化，成对势函数必须满足子模不等式。在我们的学习范例中，成对势被创建为学习向量w与正特征向量的点积。为了约束这样的模型保持易处理，先前的方法已经强制权重向量对于标签不同的成对电位为正，并且在标签保持相同的情况下将成对电位设置为零。这样的约束足以保证所得到的成对势满足子模不等式。然而，我们发现这种方法不必要地限制了学习模型的能力。保证所有可能的输入的子模块性，无论多么不可能，将推理误差有效地减少到零，但增加了模型误差。相比之下，我们放宽了保证子模块化的解决方案，可能是近似子模块化的要求。我们表明，概念上简单的策略，执行子模块化的训练样本保证低样本的复杂性，测试图像也将产生子模块成对的潜力。结果是在二进制和多类设置，显示从所产生的增加模型容量的实质性改善。
2019-11-25 cs.CV cs.LG stat.ML
Orthogonal Ensemble Networks for Biomedical Image Segmentation
Research institute for signals, systems and computational intelligence, sinc(i), FICH-UNL / CONICET（信号、系统与计算智能研究所sinc(i)，国立滨海大学工程与水文系/国家科学技术研究委员会）；École de Technologie Supérieure（高等技术学院）
尽管基于深度学习的方法在语义分割等视觉任务中表现惊人，但众所周知，它们会产生错误的预测，这可能对关键的决策过程有害。包围学习不仅可以提高单个模型的性能，还可以通过平均独立预测来减少它们的误校准。在这种情况下，模型多样性已成为一个关键因素，它有助于各个模型融合到不同的功能解决方案中。在这项工作中，我们介绍了正交增强网络（OEN），一种新的框架，明确地通过正交约束执行模型多样性。所提出的方法是基于这样的假设，即诱导正交性的组成部分的合奏将增加整体模型的多样性。我们诉诸于一个新的成对正交约束，可用于正则化的顺序集成训练过程，从而提高预测性能和更好的校准模型输出。我们在两个具有挑战性的脑病变分割任务-脑肿瘤和白质高强度分割的MR图像中的基准所提出的框架。实验结果表明，我们的方法产生更强大的和良好的校准集成模型，可以处理具有挑战性的任务，在生物医学图像分割的背景下。
2021-05-22 cs.CV eess.IV
Representing text as abstract images enables image classifiers to also simultaneously classify text
Swinburne University of Technology（斯威本科技大学）
我们介绍了一种新的方法，将文本数据转换为抽象的图像表示，它允许基于图像的处理技术（例如图像分类网络）被应用到基于文本的比较问题。我们将该技术应用于美国专利中发明人姓名的实体消歧。该方法涉及将来自两个发明人姓名记录之间的每个成对比较的文本转换成2D RGB（堆叠）图像表示。然后，我们训练一个图像分类神经网络来区分这种成对比较图像，并使用训练好的网络将每对记录标记为匹配（同一发明人）或不匹配（不同发明人），从而获得高度准确的结果。我们的新文本到图像表示方法也可以更广泛地用于其他NLP比较问题，例如学术出版物的消歧，或者需要同时对文本和图像数据集进行分类的问题。
2020-02-06 cs.AI cs.CL cs.CV
RidgeSfM: Structure from Motion via Robust Pairwise Matching Under Depth Uncertainty
Facebook AI Research（脸书人工智能研究院）
我们考虑的问题，同时估计一个密集的深度图和相机的室内场景的一个大的图像集的姿势。虽然经典的SfM流水线依赖于两步方法，其中首先使用束调整来估计相机，以便使随后的多视图立体视觉阶段接地，但我们的姿势和密集重建都是改变的束调整器的直接输出。为此，我们参数化每个深度图与有限数量的基础“深度平面”的线性组合预测在单眼的方式由深网。使用一组高质量的稀疏关键点匹配，我们对深度平面和相机姿势的每帧线性组合进行优化，以形成几何上一致的关键点云。虽然我们的光束法平差只考虑稀疏关键点，但基平面的推断线性系数立即为我们提供密集的深度图。RidgeSfM能够共同对齐数百个帧，这是它相对于最近的内存密集型深度替代方案的主要优势，后者最多可以对齐10个帧。定量比较显示性能优于最先进的大规模SfM管道。
2020-11-20 cs.CV cs.LG eess.IV
