Unsupervised Object Discovery and Localization in the Wild: Part-based Matching with Bottom-up Region Proposals
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文讨论了无监督的发现和定位的主要对象从嘈杂的图像集合与多个对象类。这个问题的设置是完全无监督的，甚至没有图像级注释或任何单一主导类的假设。这比典型的共定位、共分割或弱监督定位任务更普遍。我们使用基于部件的区域匹配方法来解决发现和定位问题：我们使用现成的区域建议来形成对象和对象部件的一组候选边界框。这些区域使用概率Hough变换有效地在图像之间进行匹配，该概率Hough变换考虑外观和空间一致性来评估每个候选对应的置信度。通过比较候选区域的分数并选择比包含它们的其他区域突出的区域来发现和定位主导对象。在标准基准上进行的大量实验评估表明，该方法在共定位方面的性能明显优于当前最先进的方法，并在具有挑战性的混合类数据集上实现了鲁棒的对象发现。
2015-05-04 cs.CV
Teach me to segment with mixed supervision: Confident students become masters
ETS Montreal（蒙特利尔高等工程学院）
深度分割神经网络需要具有逐像素分割的大型训练数据集，这在实践中获得是昂贵的。混合监督可以减轻这种困难，其中一小部分数据包含完整的像素级注释，而其余部分则较少受到监督，例如，只有少数像素被标记。在这项工作中，我们提出了一个双分支架构，其中上层分支（教师）接收强大的注释，而底部的（学生）是由有限的监督和指导的上层分支。结合标记像素上的标准交叉熵，我们的新公式集成了两个重要的术语：（i）在较少监督的图像上定义的香农熵损失，这鼓励了底部分支的自信学生预测;以及（ii）Kullback-Leibler（KL）发散，其将来自由强监督分支生成的预测的知识转移到较少监督分支，并引导熵（学生置信度）项以避免平凡解。非常有趣的是，我们表明，熵和KL发散之间的协同作用产生了显着的性能改善。此外，我们讨论了香农熵最小化和标准的伪掩模生成之间的一个有趣的联系，并认为前者应该优先于后者利用未标记像素的信息。通过一系列的定量和定性实验，我们证明了所提出的配方在分割MRI图像中的左心室内膜的有效性。我们证明，我们的方法显着优于其他策略，以解决混合监督框架内的语义分割。更有趣的是，根据最近的观察分类，我们表明，分支训练减少监督大大优于老师。
2020-12-15 cs.CV
PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model
Google, Inc.（谷歌公司）
我们提出了一个无框自自底向上的【形】的方法的任务的姿态估计和实例分割的人在多人图像中使用一个有效的单镜头模型。建议的PersonLab模型处理语义级推理和对象的部分关联使用基于部分的建模。我们的模型采用了一个卷积网络，该网络可以学习检测单个关键点并预测它们的相对位移，从而使我们能够将关键点分组为人物姿势实例。此外，我们提出了一个部分诱导的几何嵌入描述符，使我们能够将语义人像素与其相应的人的实例，提供实例级的人分割。我们的系统基于全卷积架构，并允许高效的推理，运行时间基本上与场景中的人数无关。仅在COCO数据上进行训练，我们的系统使用单尺度推理实现了0.665的COCO测试-开发关键点平均精度，使用多尺度推理实现了0.687，显著优于所有以前的自底向上的【形】姿态估计系统。我们也是第一个自自底向上的【形】的方法来报告COCO实例分割任务中人员类别的竞争结果，实现了0.417的人员类别平均精度。
2018-03-22 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
Video Instance Segmentation by Instance Flow Assembly
Microsoft Research Asia（微软亚洲研究院）；Carnegie Mellon University（卡内基梅隆大学）
实例分割是一个具有挑战性的任务，旨在分类和分割特定类别的所有对象实例。虽然两阶段基于盒的方法在图像域中实现了最佳性能，但它们不能轻易地将其优势扩展到视频域。这是因为它们通常处理从检测到的边界框中裁剪的特征或图像，而没有对齐，无法捕获像素级的时间一致性。我们接受这样的观察，即自下而上的方法处理无框特征可以提供跨帧的准确空间相关性，这可以充分用于对象和像素级跟踪。首先，我们提出了自下而上的框架配备了一个时间上下文融合模块，以更好地编码帧间相关性。该算法在共享主干后，由相应的解码器同时提取和重构用于语义分割和目标定位的帧内线索。为了有效和鲁棒的跟踪实例之间，我们引入了一个实例级的对应相邻帧，这是由一个中心到中心的流，称为实例流，组装凌乱的密集的时间对应。实验表明，该方法在具有挑战性的Youtube-VIS数据集上优于最先进的在线方法（采用图像级输入）。
2021-10-20 cs.CV
BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation
The University of Adelaide（阿德莱德大学）；Southeast University（东南大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
实例分割是视觉的基本任务之一。最近，全卷积实例分割方法引起了人们的广泛关注，因为它们通常比Mask R-CNN等两阶段方法更简单，更有效。到目前为止，当模型具有相似的计算复杂度时，几乎所有这些方法在掩码精度方面都落后于两阶段Mask R-CNN方法，这留下了很大的改进空间。在这项工作中，我们实现了改进的掩码预测有效地结合实例级信息与语义信息与较低级别的细粒度。我们的主要贡献是一个搅拌机模块，从自上而下和自自底向上的【形】的实例分割方法的灵感。所提出的BlendMask可以用很少的通道有效地预测密集的每像素位置敏感的实例特征，并且只需要一个卷积层就可以为每个实例学习注意力图，从而快速推理。BlendMask可以很容易地与最先进的一阶段检测框架相结合，并且在相同的训练时间表下比Mask R-CNN快20%。BlendMask的轻量级版本在单个1080 Ti GPU卡上以25 FPS的速度实现了$ 34.2% $ mAP。由于其简单性和有效性，我们希望我们的BlendMask可以作为一个简单而强大的基线，用于广泛的实例预测任务。代码可在https://git.io/AdelaiDet上获得
2020-04-26 cs.CV
In pixels we trust: From Pixel Labeling to Object Localization and Scene Categorization
University of Alcalá（阿尔卡拉大学）
虽然在解决图像像素标记、目标检测和场景分类的问题方面已经取得了显著的进展，但是现有的方法通常分别解决它们。在本文中，我们建议从自下而上的角度来解决这些问题，我们只需要一个语义分割的场景作为输入。我们采用了基于ResNet深度网络的DeepLab架构，该架构利用多尺度输入来融合它们的响应，以执行场景的精确像素标记。这个语义分割掩码用于定位对象和识别场景，遵循两个简单而有效的策略。我们评估了我们解决方案的优势，对NYU Depth V2数据集进行了全面的实验评估。我们的方法实现了一个显着的利润率击败领先的结果的性能，定义了新的艺术状态，在这个基准的三个任务，包括场景理解：语义分割，目标检测和场景分类。
2018-07-19 cs.CV cs.RO
HCFormer: Unified Image Segmentation with Hierarchical Clustering
Denso IT Laboratory, Inc.（电装IT实验室公司）
层次聚类是一种高效的图像分割方法。然而，许多使用神经网络的现有方法直接从每像素特征生成分割掩模，使架构设计复杂化并降低可解释性。在这项工作中，我们提出了一个更简单，更可解释的架构，称为HCFormer。HCFormer通过自下而上的层次聚类完成图像分割，并允许我们将中间结果解释、可视化和评估为层次聚类结果。HCFormer可以用相同的架构解决语义、实例和全景分割，因为像素聚类是各种图像分割任务的常用方法。在实验中，与语义分割（在ADE 20 K上为55.5 mIoU）、实例分割（在COCO上为47.1 AP）和全景分割（在COCO上为55.7 PQ）的基线方法相比，HCFormer实现了相当或更高的分割精度。
2023-02-28 cs.CV
Incorporating Feature Pyramid Tokenization and Open Vocabulary Semantic Segmentation
Zhejiang University（浙江大学）
本文提出特征金字塔词元化（PAT），通过可学习码本聚类多分辨率特征并联合学习像素重构与语义分割，以统一的感知与语义词元压缩促进开放词汇语义分割，在提升基线性能的同时保持参数高效性。
2024-12-18 cs.CV
Differentiable Multi-Granularity Human Representation Learning for Instance-Aware Human Semantic Parsing
ETH Zurich（苏黎世联邦理工学院）；Beihang University（北京航空航天大学）；University of Technology Sydney（悉尼科技大学）
为了解决具有挑战性的任务，实例感知的人体部位解析，提出了一种新的自底向上的制度，学习类别级的人类语义分割，以及多人姿态估计在联合和端到端的方式。它是一个紧凑、高效且强大的框架，可以利用不同人类粒度的结构信息，并减轻人员划分的难度。具体而言，密集到稀疏的投影场，它允许显式地将密集的人类语义与稀疏的关键点相关联，在网络特征金字塔上学习并逐步改进以获得鲁棒性。然后，困难的像素分组问题被转换为一个更容易的，多人的联合组装任务。通过将联合关联公式化为最大权重二部匹配，开发了可微分的解决方案，以利用投影梯度下降和Dykstra的循环投影算法。这使得我们的方法是端到端可训练的，并允许反向传播分组误差来直接监督多粒度人类表示学习。这与当前自下而上的人类解析器或姿态估计器不同，后者需要复杂的后处理或启发式贪心算法。在三个实例感知的人类句法分析数据集上的实验表明，我们的模型比其他自底向上的替代方案具有更有效的推理。
2021-03-08 cs.CV
TransFGU: A Top-down Approach to Fine-Grained Unsupervised Semantic Segmentation
Hunan University（湖南大学）；Alibaba Group（阿里巴巴集团）
无监督语义分割的目标是在不需要人工标注的情况下，获得低层视觉特征的高层语义表示。大多数现有的方法都是自下而上的方法，试图根据像素的视觉线索或某些预定义的规则将像素分组为区域。因此，对于这些自下而上的方法来说，当遇到具有多个对象和一些对象共享相似视觉外观的复杂场景时，很难生成细粒度的语义分割。相比之下，我们提出了第一个自上而下的无监督语义分割框架，用于在极其复杂的场景中进行细粒度分割。具体而言，我们首先获得丰富的高层次结构化的语义概念信息，从大规模的视觉数据中的自监督学习的方式，并使用这些信息作为先验发现潜在的语义类别的目标数据集。其次，发现的高层语义类别映射到低级别的像素特征，通过计算类激活图（CAM）相对于某些发现的语义表示。最后，将获得的CAM作为伪标签来训练分割模块并产生最终的语义分割。在多个语义分割基准上的实验结果表明，该方法对不同语义粒度下的对象和场景数据集都具有较好的鲁棒性，并且优于现有的自底向上方法.我们的代码可在\url{https://github.com/damo-cv/TransFGU}上获得。
2022-07-22 cs.AI cs.CV
Objects as Extreme Points
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；The First Research Institute of The ministry of Public Security（公安部第一研究所）
目标检测可以看作是一个像素聚类任务，其边界由四个极值点（最左、上、右、下）确定。然而，大多数研究集中在物体的中心或角点，这实际上是极值点的条件结果。本文提出了一种基于极值点预测的目标检测器（EPP-Net），它直接回归每个像素与四个极值点之间的相对位移向量。我们还提出了一个新的度量来衡量两组极端点之间的相似性，即极端相交超过联盟（EIoU），并将此EIoU作为一个新的回归损失。此外，我们提出了一个新的分支来预测地面实况和预测结果之间的EIoU，并将其作为定位置信度来过滤掉不良的检测结果。在MS-COCO数据集上，我们的方法使用ResNet-50实现了44.0%的平均精度（AP），使用ResNeXt-101-DCN实现了50.3%的AP。提出的EPP-Net提供了一种新的方法来检测对象，并优于最先进的无锚检测器。
2021-05-22 cs.CV
Tag-Based Attention Guided Bottom-Up Approach for Video Instance Segmentation
University of Central Florida（中佛罗里达大学）
视频实例分割是一项基本的计算机视觉任务，用于分割和跟踪视频序列中的对象实例。大多数现有的方法通常通过采用多阶段自上而下的方法来完成该任务，该方法通常涉及单独的网络来检测和分割每个帧中的对象，然后使用学习的跟踪头将这些检测与连续帧相关联。然而，在这项工作中，我们引入了一种简单的端到端可训练的自自底向上的【形】的方法来实现像素级粒度的实例掩码预测，而不是典型的基于区域的方法。与当代基于帧的模型不同，我们的网络管道将输入视频剪辑作为单个3D卷处理，以包含时间信息。我们公式化的中心思想是将视频实例分割任务作为标签分配问题来解决，使得生成不同的标签值实质上将视频序列中的各个对象实例分开（这里每个标签可以是0和1之间的任意值）。为此，我们提出了一种新的时空标记丢失，允许充分分离不同的对象，以及必要的识别相同对象的不同实例。此外，我们提出了一个基于标签的注意力模块，提高了实例标签，同时学习视频中的实例传播。评估表明，我们的方法在YouTube-VIS和DAVIS-19数据集上提供了有竞争力的结果，并且与其他最先进的性能方法相比具有最短的运行时间。
2022-04-22 cs.CV eess.IV
Category-Specific Object Reconstruction from a Single Image
University of California, Berkeley（加州大学伯克利分校）
从单个图像重建物体-在野外-是一个我们今天可以取得进展并获得有意义结果的问题。这是本文的主要信息，它介绍了一个自动化的管道，像素作为输入和各种刚性类别的3D表面作为输出的图像中的现实场景。在我们的方法的核心是可变形的3D模型，可以从现有的目标检测数据集中可用的2D注释中学习，可以由嘈杂的自动对象分割驱动，我们补充了一个自下而上的模块，用于恢复高频形状细节。我们使用最近推出的PASCAL 3D+数据集对我们的方法进行了全面的定量分析和消融研究，并在PASCAL VOC上显示了非常令人鼓舞的自动重建。
2015-05-06 cs.CV
Backtracking Spatial Pyramid Pooling (SPP)-based Image Classifier for Weakly Supervised Top-down Salient Object Detection
Nanyang Technological University（南洋理工大学）
自上而下的显著性模型产生概率图，该概率图在由诸如目标检测的任务/目标指定的目标位置处达到峰值。它们通常在完全监督的环境中进行训练，涉及对象的像素级注释。我们提出了一个弱监督的自上而下的显着性框架，只使用二进制标签，指示图像中的对象的存在/不存在。首先，通过回溯策略计算每个图像区域对基于CNN的图像分类器的置信度的概率贡献，以产生自上而下的显著性。从一组由快速自下而上的显着性方法产生的图像的显着性图，我们选择最好的显着性图适合自上而下的任务。所选择的自下而上显著性图与自上而下显著性图组合。具有高组合显著性的特征用于训练线性SVM分类器以估计特征显著性。这与组合显着性相结合，并通过显着性图的多尺度超像素平均进一步细化。我们评估了所提出的弱监督自上而下显着性的性能，并实现了与完全监督方法相当的性能。在7个具有挑战性的数据集上进行了实验，并将定量结果与4个不同应用程序中的40种密切相关的方法进行了比较。
2018-08-14 cs.CV
Stacked U-Nets: A No-Frills Approach to Natural Image Segmentation
University of Maryland, College Park（马里兰大学帕克分校）
许多成像任务需要关于图像中所有像素的全局信息。传统的自下而上分类网络通过降低分辨率来全球化信息;特征被合并并下采样到单个输出中。但是对于语义分割和目标检测任务，网络必须提供更高分辨率的像素级输出。为了在保持分辨率的同时实现信息的全球化，许多研究人员建议包含复杂的辅助块，但这些都是以网络规模和计算成本的大幅增加为代价的。本文提出了堆叠的u网（SUNets），它迭代地结合不同分辨率尺度的特征，同时保持分辨率。SUNets在更深层次的网络架构中利用了U-nets的信息全球化能力，能够处理自然图像的复杂性。SUNet在使用少量参数的语义分割任务上表现得非常好。
2018-04-27 cs.CV cs.NE
Simultaneous Detection and Segmentation
Universidad de los Andes（安第斯大学）；University of California, Berkeley（加州大学伯克利分校）
我们的目标是检测图像中某个类别的所有实例，并为每个实例标记属于它的像素。我们称此任务为同时检测和分割（SDS）。与经典的限界框检测不同，SDS需要分割而不仅仅是框。与经典的语义分割不同，我们需要单独的对象实例。我们基于最近的工作，使用卷积神经网络对类别独立区域建议（R-CNN [16]）进行分类，引入了一种为SDS量身定制的新架构。然后，我们使用类别特定的，自上而下的图形-背景预测来完善我们自下而上的建议。我们在SDS上显示出比我们的基线提高了7个点（相对16%），在语义分割上比最先进的技术提高了5个点（相对10%），在目标检测上表现出最先进的性能。最后，我们提供了诊断工具，解开性能，并为未来的工作提供方向。
2014-07-07 cs.CV
Single-shot Path Integrated Panoptic Segmentation
Yonsei University（延世大学）；Adobe Research（Adobe研究院）
全景分割是一种将实例分割和语义分割相结合的新方法，近年来受到了广泛的关注。然而，大多数以前的方法是由多个通路，每个通路专门用于指定的分割任务。在本文中，我们提出了解决全景分割在单镜头通过整合的执行流程。通过该集成路径，生成了一个统一的特征图，称为全景特征，它包含了事物和材料的信息。Panoptic-Feature通过辅助问题变得更加复杂，这些辅助问题引导属于同一实例的像素聚类并区分不同类别的对象。卷积滤波器的集合（其中每个滤波器表示一个事物或一个填充物）被立即应用于全景特征，从而实现单次全景分割。结合自上而下和自下而上两种方法的优点，我们的方法SPINet在主要的全景分割基准：COCO和Cityscapes上具有很高的效率和准确性。
2020-12-04 cs.CV
UPSNet: A Unified Panoptic Segmentation Network
Uber ATG（优步先进技术集团）；University of Toronto（多伦多大学）；The Chinese University of Hong Kong（香港中文大学）
在本文中，我们提出了一个统一的全景分割网络（UPSNet），以解决新提出的全景分割任务。在单个骨干残差网络的基础上，我们首先设计了一个基于可变形卷积的语义分割头和一个Mask R-CNN风格的实例分割头，同时解决了这两个子任务。更重要的是，我们引入了一个无参数的全景头，它通过像素分类解决了全景分割。它首先利用了前两个头的logit，然后创新地扩展了表示，以便能够预测额外的未知类，这有助于更好地解决语义和实例分割之间的冲突。此外，它还处理由不同数量的实例引起的挑战，并允许以端到端的方式反向传播到底层模块。在Cityscapes，COCO和我们的内部数据集上进行的大量实验结果表明，我们的UPSNet实现了最先进的性能，推理速度更快。代码已在https://github.com/uber-research/UPSNet上提供
2019-04-03 cs.CV
Deep Hierarchical Parsing for Semantic Segmentation
University of Maryland（马里兰大学）；MERL（三菱电机研究实验室）
本文提出了一种基于学习的场景解析方法，该方法受到深度递归上下文传播网络（RCPN）的启发。RCPN是一个深度前馈神经网络，它利用来自整个图像的上下文信息，通过自下而上，然后通过随机二进制解析树自上而下的上下文传播。这改进了图像中每个超像素的特征表示，以便更好地分类到语义类别中。我们分析了RCPN，并提出了两个新的贡献，以进一步改善模型。我们首先分析了RCPN参数的学习，发现RCPN的计算图中存在旁路错误路径，这可能会阻碍上下文传播。我们建议通过在原始RCPN损失函数中包括随机解析树的内部节点的分类损失来解决这个问题。其次，我们在解析树节点上使用MRF来对输出中存在的层次依赖进行建模。这两个修改都提供了比原始RCPN更高的性能，新系统在斯坦福背景，SIFT-Flow和戴姆勒城市数据集上实现了最先进的性能。
2015-03-30 cs.CV
BAF-Detector: An Efficient CNN-Based Detector for Photovoltaic Cell Defect Detection
Beihang University（北京航空航天大学）；Hebei University of Technology（河北工业大学）
光伏电池电致发光（EL）图像的多尺度缺陷检测是一项具有挑战性的任务，由于特征消失，随着网络的加深。为了解决这个问题，一个基于注意力的自顶向下和自底向上的架构被开发来完成多尺度特征融合。这种结构被称为双向注意特征金字塔网络（BAFPN），可以使金字塔的所有层共享相似的语义特征。在BAFPN中，余弦相似度被用来衡量融合特征中每个像素的重要性。此外，提出了一种新的对象检测器，称为BAF检测器，它将BAFPN嵌入到Faster RCNN+FPN中的区域建议网络（RPN）中。BAFPN提高了网络对尺度的鲁棒性，从而在多尺度缺陷检测任务中取得了良好的性能。最后，在一个包含3629幅图像（其中2129幅为缺陷图像）的大规模EL数据集上进行实验，结果表明，该方法在光伏电池EL图像的多尺度缺陷分类和检测方面取得了98.70%（F-measure）、88.07%（mAP）和73.29%（IoU）的效果。
2021-03-28 cs.CV
STC: A Simple to Complex Framework for Weakly-supervised Semantic Segmentation
Beijing Jiaotong University（北京交通大学）；Sun Yatsen University（中山大学）；Adobe Research（Adobe研究院）；Nankai University（南开大学）；National University of Singapore（新加坡国立大学）
最近，由于深度卷积神经网络（DCNN）的发展，语义对象分割已经取得了显著的改进。训练这样的DCNN通常依赖于大量具有像素级分割掩码的图像，并且注释这些图像在财务和人力方面都是非常昂贵的。在本文中，我们提出了一个简单到复杂（STC）的框架，其中只使用图像级注释来学习DCNN进行语义分割。具体来说，我们首先训练简单图像的显着图（即，具有单一类别的主要对象和干净背景的那些）。这些显著图可以通过现有的自下而上显著目标检测技术自动获得，其中不需要监督信息。然后，基于初始DCNN以及图像级注释，从简单图像的预测分割掩码中监督学习一个更好的网络，称为增强DCNN。最后，利用增强型DCNN和图像级注释推断出的复杂图像（具有杂乱背景的两类或多类对象）的更多像素级分割掩码作为监督信息，学习Powerful-DCNN进行语义分割。我们的方法利用来自Flickr.com的$40$ K个简单图像和来自PASCAL VOC的10 K个复杂图像来逐步提升分割网络。在PASCAL VOC 2012分割基准上的大量实验结果很好地证明了所提出的STC框架与其他最先进的框架相比的优越性。
2016-12-07 cs.CV
Hyperspectral Remote Sensing Images Salient Object Detection: The First Benchmark Dataset and Baseline
Beijing Institute of Technology（北京理工大学）
本文提出首个高光谱遥感图像显著目标检测数据集HRSSD及基线模型DSSN，通过跨级显著性评估块和高分辨率融合模块有效提升检测性能并验证了泛化能力。
2025-04-03 cs.CV
CASENet: Deep Category-Aware Semantic Edge Detection
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
边界和边缘线索在改善各种各样的视觉任务中是非常有益的，例如语义分割、对象识别、立体和对象提议生成。最近，边缘检测的问题已经被重新审视，并且深度学习已经取得了重大进展。经典的边缘检测本身就是一个具有挑战性的二元问题，而类别感知的语义边缘检测本质上是一个更具挑战性的多标签问题。我们建模的问题，使每个边缘像素可以与一个以上的类，因为它们出现在轮廓或路口属于两个或两个以上的语义类。为此，我们提出了一种基于ResNet的新型端到端深度语义边缘学习架构和一种新的跳过层架构，其中顶部卷积层的类别边缘激活共享并融合了同一组底层特征。然后，我们提出了一个多标签损失函数来监督融合激活。我们表明，我们提出的架构有利于这个问题，具有更好的性能，我们优于目前最先进的语义边缘检测方法的标准数据集，如SBD和城市景观的大幅度。
2017-05-27 cs.CV
Many Perception Tasks are Highly Redundant Functions of their Input Data
研究表明，许多感知任务（如视觉识别、语义分割等）对其输入数据具有高度冗余性，在不同子空间投影下均能出色完成，源于子空间间存在大量任务相关冗余信息。
2025-04-19 cs.CV cs.LG
DeeperLab: Single-Shot Image Parser
MIT（麻省理工学院）；Google Inc.（谷歌公司）；UC Berkeley（加州大学伯克利分校）
我们提出了一个单镜头，自底向上的方法，整个图像解析。整体图像解析也称为全景分割，它概括了“stuff”类的语义分割和“thing”类的实例分割的任务，为图像中的每个像素分配语义和实例标签。最近的方法，整个图像解析通常采用单独的独立模块的组成语义和实例分割任务，并需要多个通道的推理。相反，拟议的DeeperLab图像解析器使用一种明显更简单的全卷积方法执行整个图像解析，该方法以单次方式联合解决语义和实例分割任务，从而形成一个更适合快速处理的流线型系统。对于定量评估，我们使用基于实例的Panoptic质量（PQ）度量和建议的基于区域的解析覆盖（PC）度量，它可以更好地捕捉图像解析质量的“东西”类和较大的对象实例。我们报告了在具有挑战性的Mapillary Vistas数据集上的实验结果，其中我们的单个模型在GPU上实现了31.95%（val）/ 31.6% PQ（测试）和55.26% PC（val），每秒3帧（fps）或接近实时的速度（GPU上为22.6 fps），但精度降低。
2019-03-12 cs.CV
Perceive, Excavate and Purify: A Novel Object Mining Framework for Instance Segmentation
Meituan（美团）
本文提出一种对象挖掘框架，通过语义感知、对象挖掘和实例纯化三个步骤解决实例分割中难以区分对象发现与实例关系建模问题，在COCO数据集上取得优于现有方法的效果。
2023-04-18 cs.CV
VISUALCENT: Visual Human Analysis using Dynamic Centroid Representation
Department of Computer Science, Toronto Metropolitan University（计算机科学系，多伦多 Metropolitan 大学）；Department of Robotics, Hanyang University（机器人学系，翰阳大学）
提出统一框架VISUALCENT解决多人视觉分析局限，通过动态质心MaskCentroid和关键点热力图实现姿态与分割，在COCO等数据集上精度与实时性超越现有方法。
2025-04-26 cs.AI cs.CV
Feature-Proxy Transformer for Few-Shot Segmentation
Zhejiang University（浙江大学）；Baidu Research（百度研究院）
Few-Shot分割（FSS）的目的是在给定一些注释支持样本的情况下对新类执行语义分割。通过对最新进展的重新思考，我们发现当前的FSS框架已经远远偏离了监督分割框架：考虑到深层特征，FSS方法通常使用复杂的解码器来执行复杂的像素匹配，而监督分割方法使用简单的线性分类头。由于解码器及其匹配流水线的复杂性，遵循这样的FSS框架并不容易。本文复兴了“特征提取器$+$线性分类头”的直接框架，提出了一种新的特征提取-代理Transformer（FPTrans）方法，其中“代理”是线性分类头中表示语义类的向量。FPTrans学习区分性特征和代表性代理有两个关键点：1）为了更好地利用有限的支持样本，特征提取器使用一种新的提示策略，使查询与支持特征从底层到顶层进行交互。2)FPTrans使用多个本地背景代理（而不是单个），因为背景不是均匀的，可能包含一些新的前景区域。这两个关键点可以通过Transformer中的提示机制轻松集成到视觉Transformer主干中。给定学习的特征和代理，FPTrans直接比较它们的余弦相似度进行分割。虽然框架是简单的，我们表明，FPTrans实现竞争力的FSS精度与最先进的解码器为基础的方法。
2022-10-13 cs.CV
Accelerating the creation of instance segmentation training sets through bounding box annotation
ICTEAM UCLouvain（鲁汶大学信息与通信技术、电子与应用数学研究所）
在特定的应用环境中部署CNN时，收集图像注释仍然是一个很大的负担。当注释包含在覆盖对象实例的二进制掩码中时，情况尤其如此。我们的工作提出了三个步骤来描绘实例，基于半自动的方法：（1）一个对象的极端点（最左、最右、顶部、底部像素）被手动定义，从而提供对象边界框，（2）使用通用自动分割工具如Deep Extreme Cut将有界对象转换为匹配极值点的分割掩模;以及（3）人工校正预测掩模。然后，研究了各种策略，以平衡边界框定义和掩码校正之间的人工注释资源，包括当实例掩码的校正基于其与其他实例边界框的重叠而被优先考虑时，或者在部分注释数据集上训练的实例分割模型的结果。我们的实验研究认为，teamsport运动员分割任务，并衡量Panoptic-Deeplab实例分割模型的准确性如何取决于人类注释资源分配策略。它揭示了极端点的唯一定义导致模型精度，如果通过完全手动描绘实例来定义掩码，则需要多达10倍的资源。当以更高的准确度为目标时，对于相同的经训练的实例分割模型准确度，与实例的系统逐帧校正相比，在训练集实例中优先考虑掩模校正也被示出为节省高达80%的校正注释资源。
2022-05-23 cs.CV
Personal Fixations-Based Object Segmentation with Object Localization and Boundary Preservation
Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Shanghai University（上海大学）；School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Stony Brook University（石溪大学）
注视作为人机交互的一种自然方式，为交互式图像分割提供了一种很有前途的解决方案。在本文中，我们专注于基于个人固定的对象分割（PFOS），以解决以前的研究中的问题，如缺乏适当的数据集和基于固定的相互作用的模糊性。特别是，我们首先通过仔细收集现有固定预测数据集的像素级二进制注释数据来构建新的PFOS数据集，这样的数据集有望大大促进沿线的研究。然后，考虑到个人注视的特点，我们提出了一种新的网络基于对象定位和边界保持（OLBP）分割的注视对象。具体地说，OLBP网络利用对象定位模块（OLM）来分析个人注视，并根据解释定位注视对象。然后，边界保持模块（BPM）的目的是引入额外的边界信息，以保护完整的凝视对象。此外，OLBP是以自下而上和自上而下的混合方式组织的，具有多种类型的深度监督。在构建的PFOS数据集上进行的大量实验表明，所提出的OLBP网络优于17种最先进的方法，并证明了所提出的OLM和BPM组件的有效性。构建的全氟辛烷磺酸数据集和拟议的OLBP网络可在https://github.com/MathLee/OLBPNet4PFOS上查阅。
2021-01-22 cs.CV
Multi-patch Feature Pyramid Network for Weakly Supervised Object Detection in Optical Remote Sensing Images
Shanghai Jiao Tong University（上海交通大学）；LJK, CNRS, Inria, Grenoble INP, Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Leicester（莱斯特大学）
目标检测是遥感领域的一项具有挑战性的任务，因为目标在图像中只占据很少的像素，并且模型需要同时学习目标的位置和检测。尽管已建立的方法对于常规大小的对象表现良好，但在分析小对象或陷入局部最小值（例如虚假对象部分）时，它们的性能较弱。两个可能的问题阻碍了他们。首先，由于背景复杂，现有的方法难以稳定地检测小目标。第二，大多数标准方法使用手工制作的特征，并且不能很好地检测缺少部分的对象。我们在这里解决上述问题，并提出了一个新的架构与多补丁功能金字塔网络（MPFP-Net）。与现有的模型在训练时只追求最具鉴别力的块不同，MPFPNet将块划分为类相关的子集，并基于主损失函数为子集确定一系列光滑的损失函数，以改进模型对小目标部分的收集。为了提高特征表示的补丁选择，我们引入了一种有效的方法来规范的残差值，并使融合过渡层严格保范。该网络包含自下而上和自上而下的连接，以融合不同尺度的特征，与几种最先进的目标检测模型相比，实现更高的准确性。此外，开发的架构比基线更有效。
2021-08-18 cs.CV
SE-PSNet: Silhouette-based Enhancement Feature for Panoptic Segmentation Network
National Taiwan University（国立台湾大学）；National University of Kaohsiung（国立高雄大学）
最近，出现了一个结合语义和实例分割的全景分割任务，其目标是将每个像素与相应的实例ID进行分类。在这项工作中，我们提出了一种解决方案来解决全景分割任务。总体结构结合了自底向上和自顶向下的方法。因此，不仅可以有更好的性能，而且可以保持执行速度。网络主要关注口罩的质量。在之前的工作中，我们可以看到物体的不均匀轮廓更容易出现，导致预测质量低。因此，我们提出了增强功能和相应的损失函数的轮廓的对象和背景，以改善掩模。同时，我们使用新提出的置信度来解决遮挡问题，使网络倾向于使用更高质量的掩码作为预测结果。为了验证我们的研究，我们使用COCO数据集和CityScapes数据集进行实验，并获得了具有快速推理时间的竞争性结果。
2021-07-11 cs.CV cs.LG
Compositor: Bottom-up Clustering and Compositing for Robust Part and Object Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Chinese Academy of Sciences（中国科学院）
本文提出 Compositor，通过自底向上聚类与部件合成联合实现鲁棒部件和目标分割，在 PartImageNet 和 Pascal-Part 上取得领先性能并显著提升遮挡鲁棒性。
2023-11-30 cs.CV
GASP, a generalized framework for agglomerative clustering of signed graphs and its application to Instance Segmentation
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；EMBL（欧洲分子生物学实验室）；University Göttingen（哥廷根大学）；MRC Laboratory of Molecular Biology（英国医学研究委员会分子生物学实验室）
我们提出了一个理论框架，概括了简单而快速的分层凝聚聚类算法的加权图与吸引力和排斥力的节点之间的相互作用。这个框架定义了GASP，一个广义算法的有符号图分割，并允许我们探索不同的链接标准和不能链接的约束条件的许多组合。我们证明了现有的聚类方法的等价性，这些组合中的一些，并介绍了新的算法，以前没有研究过的组合。我们研究这些组合的理论和经验性质，并证明其中一些定义的超度量的图。我们进行了一个系统的比较各种实例的GASP在大量的各种合成和现有的签署聚类问题，在精度，而且效率和鲁棒性噪声。最后，我们展示了我们框架中包含的一些算法，当与CNN模型的预测相结合时，会产生一个简单的自下而上的实例分割管道。通过一个简单的过程，从像素到最终分割，我们在CREMI 2016 EM分割基准上实现了最先进的准确性，而无需特定领域的超像素。
2022-06-03 cs.CV cs.LG
Keypoints as Dynamic Centroids for Unified Human Pose and Segmentation
Toronto Metropolitan University（多伦多 Metropolitan 大学）；Gachon University（加诚大学）；University of Michigan（密歇根大学）；Hanyang University（汉阳大学）
针对人体动态运动下姿态估计与实例分割的难点，提出基于动态质心的KDC方法，通过自底向上生成热图、引入KeyCentroids及动态质心聚类像素，在多个基准上实现了准确率与性能的提升。
2025-05-17 cs.AI cs.CV
EOLO: Embedded Object Segmentation only Look Once
Lakehead University（湖首大学）
在本文中，我们介绍了一种无锚点和单镜头实例分割方法，该方法概念简单，具有3个独立的分支，完全卷积，并且可以通过轻松地将其嵌入到移动和嵌入式设备中来使用。该方法通过实例中心分类和对每个像素的四维距离回归，将实例分割问题转化为预测语义分割和区分重叠对象问题。此外，我们提出了一个有效的损失函数处理采样的高质量的重心的例子和优化的4D距离回归，这可以显着提高mAP性能。EOLO在IoU 50下的mAP中达到了27.7 $\%$，在1080 Ti GPU上达到了30 FPS，在具有挑战性的COCO 2017数据集上进行了单模型和单尺度训练/测试。第一次，我们表现出不同的理解实例分割在最近的方法，在两个自上而下，自下而上，和直接预测的范例。然后，我们说明了我们的模型，并提出相关的实验和结果。我们希望所提出的EOLO框架可以作为一个基本的基线，单镜头实例分割任务，在实时工业场景。
2020-03-31 cs.CV cs.LG eess.IV
Segment Anything without Supervision
UC Berkeley（加州大学伯克利分校）
本文提出无监督SAM（UnSAM），通过自顶向下与自底向上聚类相结合的分治策略发现视觉层次结构并生成多粒度伪掩码，无需人工标注即可实现可提示分割，在多个数据集上超越无监督最先进方法，并能以1% SA-1B数据辅助提升有监督SAM的性能。
2024-06-28 cs.CV cs.LG
Boundary Guidance Hierarchical Network for Real-Time Tongue Segmentation
Department of Integrative Medicine on Pediatrics, Shanghai Children’s Medical Center, Shanghai Jiao Tong University（上海交通大学医学院附属上海儿童医学中心中西医结合儿科）
舌图像的自动分割是一项具有挑战性的任务，原因有两个：1）舌表面有许多病理细节，这影响了边界的提取; 2）从不同的人（患有不同疾病）捕获的舌的形状是相当不同的。为了应对这一挑战，本文提出了一种新的端到端边界制导分层网络（BGHNet）与一个新的混合损失。在新方法中，首先，上下文特征编码器模块（CFEM）是建立在自底向上的路径，以面对的感受野萎缩。其次，采用一种新的分层递归特征融合模块（HRFFM），通过融合局部上下文信息，逐步和分层地细化对象映射，以恢复图像细节。最后，提出的混合损失在四个层次-像素，补丁，地图和边界指导网络有效地分割舌头区域和准确的舌头边界。将BGHNet应用于一组舌图像。实验结果表明，该方法可以实现最新的舌分割性能。同时，轻量级网络仅包含15.45M参数，仅执行11.22GFLOPS。
2020-03-14 cs.CV cs.LG eess.IV
DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
Massachusetts Institute of Technology（麻省理工学院）；Toyota Research Institute（丰田研究所）；Carnegie Mellon University（卡内基梅隆大学）；Li Auto（理想汽车）；Tsinghua University（清华大学）
我们介绍了一个多摄像机三维目标检测的框架。与现有的直接从单目图像估计3D边界框或使用深度预测网络从2D信息生成3D目标检测的输入的工作相比，我们的方法直接在3D空间中操纵预测。我们的架构从多个相机图像中提取2D特征，然后使用稀疏的3D对象查询集来索引这些2D特征，使用相机变换矩阵将3D位置链接到多视图图像。最后，我们的模型对每个对象查询进行限界框预测，使用集到集损失来测量地面实况和预测之间的差异。这种自上而下的方法优于其自下而上的对应方法，其中对象限界框预测遵循每像素深度估计，因为它不受深度预测模型引入的复合误差的影响。此外，我们的方法不需要后处理，如非最大值抑制，大大提高了推理速度。我们在nuScenes自动驾驶基准测试中实现了最先进的性能。
2021-10-13 cs.AI cs.CV cs.LG
Quantum Image Segmentation Based on Grayscale Morphology
School of Computer and Software, Nanjing University of Information Science and Technology（南京信息工程大学计算机与软件学院）；School of Automation, Nanjing University of Information Science and Technology（南京信息工程大学自动化学院）
针对传统灰度形态学图像分割算法数据量增大时实时性不足的问题，提出基于量子机制的分割算法，设计多种量子电路单元构建完整NEQR图像分割电路，实现指数级加速并通过IBM Q实验验证NISQ时代可行性。
2023-10-02 cs.CV cs.ET quant-ph
DoubleU-Net: A Deep Convolutional Neural Network for Medical Image Segmentation
SimulaMet；UiT The Arctic University of Norway（挪威北极大学）；Oslo Metropolitan University（奥斯陆城市大学）
语义图像分割是将图像的每个像素标记为其相应的类的过程。基于编码器-解码器的方法，如U-Net及其变体，是解决医学图像分割任务的流行策略。为了提高U-Net在各种分割任务上的性能，我们提出了一种名为DoubleU-Net的新架构，它是两个U-Net架构相互堆叠的组合。第一个U-Net使用预训练的VGG-19作为编码器，它已经从ImageNet学习了特征，可以轻松地转移到另一个任务。为了有效地捕获更多的语义信息，我们在底部添加了另一个U-Net。我们还采用Atrous空间金字塔池（ASPP）来捕获网络中的上下文信息。我们使用四个医学分割数据集对DoubleU-Net进行了评估，涵盖了各种成像方式，如结肠镜检查、皮肤镜检查和显微镜检查。在MICCAI 2015分割挑战、CVC ClinicDB、2018 Data Science Bowl挑战和病变边界分割数据集上的实验表明，DoubleU-Net优于U-Net和基线模型。此外，DoubleU-Net生成更准确的分割模板，特别是在CVC-ClinicDB和MICCAI 2015分割挑战数据集的情况下，这些数据集具有挑战性的图像，例如较小和平坦的息肉。这些结果显示了对现有U-Net模型的改进。在各种医学图像分割数据集上产生的令人鼓舞的结果表明，DoubleU-Net可以用作医学图像分割和跨数据集评估测试的强大基线，以衡量深度学习（DL）模型…
2020-06-27 cs.CV eess.IV
PISA: Pixelwise Image Saliency by Aggregating Complementary Appearance Contrast Measures with Edge-Preserving Coherence
Sun Yat-sen University（中山大学）；Advanced Digital Sciences Center（先进数字科学中心）；Anhui University（安徽大学）
在最近的视觉和图形应用（如图像分割和对象识别）的驱动下，计算像素精确的显著性值以均匀地突出前景对象变得越来越重要。在本文中，我们提出了一个统一的框架，称为PISA，它代表像素图像显着性聚合各种自下而上的线索和先验。它产生空间相干但细节保留，像素精确和细粒度的显着性，并克服了以前的方法，使用均匀的超像素为基础的和颜色的治疗的局限性。PISA在全局上下文中聚合多个显着性线索，例如互补颜色和结构对比度测量及其在图像域中的空间先验。显著性置信度进一步与邻域一致性约束联合建模为能量最小化公式，其中每个像素将用多个假设的显著性水平进行评估。而不是使用全局离散优化方法，我们采用的成本-体积过滤技术来解决我们的配方，分配显着水平顺利，同时保留边缘感知的结构细节。此外，一个更快的版本的PISA的开发使用梯度驱动的图像子采样策略，大大提高了运行效率，同时保持相当的检测精度。在一些公共数据集上进行的广泛实验表明，PISA令人信服地优于其他最先进的方法。此外，通过这项工作，我们还创建了一个新的数据集，其中包含$800$商品图像，用于评估显着性检测。PISA的数据集和源代码可以在http://vision.sysu.edu.cn/project/PISA/下载
2015-05-13 cs.CV
Semi and Weakly Supervised Semantic Segmentation Using Generative Adversarial Network
University of Central Florida（中佛罗里达大学）；University of Catania（卡塔尼亚大学）
语义分割一直是计算机视觉中一个具有挑战性的任务。它的目的是为每个图像像素分配一个标签，需要大量的像素级注释数据，这通常是不可用的。为了解决这一问题，在本文中，我们一方面利用大量可用的未标记或弱标记数据，另一方面利用通过生成对抗网络创建的非真实图像。特别是，我们提出了一个基于生成对抗网络（GANs）的半监督框架，它由一个生成器网络组成，为多类分类器提供额外的训练样本，在GAN框架中充当训练器，从K个可能的类中为样本分配标签y或将其标记为假样本（额外类）。其基本思想是，添加大量虚假视觉数据迫使真实样本在特征空间中接近，从而实现自底向上的聚类过程，这反过来又改善了多类像素分类。为了确保GANs生成的图像质量更高，从而改进像素分类，我们通过添加弱注释数据来扩展上述框架，即，我们向生成器提供类级别信息。我们在几个具有挑战性的基准视觉数据集上测试了我们的方法，即PASCAL，SiftFlow，Stanford和CamVid，与最先进的语义分割方法相比，也实现了具有竞争力的性能
2017-03-28 cs.CV
Road Detection by One-Class Color Classification: Dataset and Experiments
NICTA（国家信息与通信技术研究院）；Computer Vision Center（计算机视觉中心）；Univ. Autónoma de Barcelona (UAB)（巴塞罗那自治大学）；University of Amsterdam（阿姆斯特丹大学）
检测移动车辆前方的可通行道路区域是现代自动驾驶系统的关键过程。一种常见的道路检测方法包括利用颜色特征将像素分类为道路或背景。这些算法通过利用不同颜色表示的判别/不变特性来减少照明变化和天气条件的影响。此外，标记数据集的缺乏已经促使基于图像的底部部分属于路面的假设对单个图像执行的算法的开发。在本文中，我们首先介绍了一个数据集的道路图像在不同的时间和不同的情况下，使用车载摄像头。然后，我们设计了一个简单的在线算法，并进行了详尽的评估不同的分类器和使用不同的颜色表示来表征像素的效果。
2014-12-18 cs.CV
Compositional Representation Learning for Brain Tumour Segmentation
Canon Medical Research Europe Ltd.（佳能医疗欧洲研究有限公司）；School of Engineering, University of Edinburgh（爱丁堡大学工程学院）；The Alan Turing Institute（艾伦·图灵研究所）
针对低标注数据下脑肿瘤分割性能下降的问题，提出混合监督框架vMFNet，结合无监督与弱监督学习组合表示，仅需少量完全标注数据即可实现良好分割性能，并涌现出解剖结构学习。
2023-10-10 cs.CV
Residual Pyramid FCN for Robust Follicle Segmentation
Ohio University（俄亥俄大学）；University of Kentucky（肯塔基大学）
在本文中，我们提出了一个金字塔网络结构，以改善基于模糊神经网络的分割解决方案，并将其应用于标记组织学图像中的甲状腺滤泡。我们的设计是基于这样一个概念，即一个分层的更新方案，如果正确实施，可以帮助FCNs捕获的主要对象，以及在图像中的结构细节。为此，我们设计了一个残差模块安装在连续的网络层，通过它像素标签将传播从粗层向最细的层在一个自下而上的方式。我们沿着修改后的U-Net的解码路径添加了五个残差单元，以使我们的分割网络Res-Seg-Net。实验表明，在我们的模型中的多分辨率设置是有效的，在生产分割与提高精度和鲁棒性。
2019-01-11 cs.CV
Segmentation with mixed supervision: Confidence maximization helps knowledge distillation
ÉTS Montréal（蒙特利尔高等技术学院）；Centre de recherche du Centre hospitalier de l’Université de Montréal (CRCHUM)（蒙特利尔大学医院研究中心（CRCHUM））
尽管在广泛的医学图像分割任务中取得了有希望的结果，但深度神经网络需要具有像素级注释的大型训练数据集。获取这些精选数据集是一个繁琐的过程，限制了场景的适用性。混合监管是缓解这一障碍的一个有吸引力的选择。在这项工作中，我们提出了一个双分支架构，其中上层分支（教师）接收强大的注释，而底部的（学生）是由有限的监督和指导的上层分支。结合标记像素上的标准交叉熵损失，我们的新公式集成了两个重要项：（i）在较少监督的图像上定义的香农熵损失，这鼓励底部分支中的自信学生预测;以及（ii）KL发散项，它将知识（即，预测）的强监督分支到少监督分支，并指导熵（学生信心）项，以避免平凡的解决方案。我们表明，熵和KL发散之间的协同作用产生了显着的性能改善。我们还讨论了香农熵最小化和标准伪掩模生成之间的一个有趣的联系，并认为前者应该优先于后者利用未标记像素的信息。我们通过一系列的定量和定性实验，使用两个公开的数据集评估所提出的配方的有效性。结果表明，我们的方法显着优于其他策略的语义分割的混合监督框架内，以及最近的半监督方法。我们的代码是公开的：https://github.com/by-liu/ConfKD。
2022-11-24 cs.CV cs.LG eess.IV
High Performance Human Face Recognition using Gabor based Pseudo Hidden Markov Model
Indian Statistical Institute（印度统计研究所）；Jadavpur University（贾达普大学）
本文介绍了一种新的方法，结合了多分辨率的Gabor小波变换（GWT）的特点，通过伪隐马尔可夫模型（PHMM）表示的面部结构的局部相互作用。与传统的用于特征提取的Z字形扫描方法不同，已经提出了从左上角到右然后从上到下、从右到左等直到图像的右到下的连续扫描方法，即螺旋扫描技术，以用于更好的特征选择。与传统的HHMM不同，PHMM不执行可见观测序列假设的状态条件独立性。这是通过PHMM引入的局部结构的概念来实现的，PHMM用于提取面部带并自动选择面部图像的最具信息量的特征。因此，传统的拦截器固有的长距离依赖性问题已经大大减少。再次，使用信息量最大的像素而不是整个图像，使得所提出的方法对于人脸识别来说合理地更快。该方法已成功地测试了正面的人脸图像从ORL，FRAV2D和FERET人脸数据库中的图像不同的姿态，照明，表情和规模。FERET数据集包含200名受试者的2200张正面人脸图像，而FRAV 2D数据集由100名受试者的1100张图像组成，并考虑了完整的ORL数据库。本申请中报告的结果远远好于最近和大多数参考系统。
2013-12-05 cs.CV
M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical Image Segmentation
IIAU-Lab, Dalian University of Technology（大连理工大学IIAU-Lab）；Zhongshan Hospital of Dalian University（大连大学附属中山医院）；Yale University（耶鲁大学）；Nanyang Technological University（南洋理工大学）
本文提出M$^{2}$SNet网络，通过多尺度减法单元融合不同层级特征，提升医学图像分割的准确性与边缘清晰度，实验表明其在多种医学图像任务中表现优异。
2026-04-11 cs.CV
Deep Weakly-Supervised Learning Methods for Classification and Localization in Histology Images: A Survey
École de technologie supérieure（高等技术学院）；McGill University（麦吉尔大学）
本文综述了深度弱监督目标定位(WSOL)方法在组织学图像分类与定位中的应用，提出自底向上和自顶向下的分类法，并在两个数据集上评估代表性方法，揭示了CAMs激活不足、阈值敏感性和模型选择等四大关键挑战。
2023-03-03 cs.CV cs.LG eess.IV
Superpixel Semantics Representation and Pre-training for Vision-Language Task
Tongji University（同济大学）；Brunel University（布鲁内尔大学）；University of Toyama（富山大学）
本文提出以超像素为视觉基元，结合多尺度差分图卷积网络与自底向上融合规则，实现粗粒度语义交互建模，提升视觉-语言下游任务性能。
2024-07-21 cs.AI cs.CL cs.CV
