Joint Facade Registration and Segmentation for Urban Localization
Inria Grand Est（法国国家信息与自动化研究所大东部分部）；Université de Lorraine（洛林大学）
本文提出了一种有效的方法来解决联合门面注册和语义分割。立面检测和识别的进展使得能够良好地初始化参考立面到新获取的目标图像的配准。我们在这里建议依靠语义分割来提高初始配准的准确性。同时，我们的目标是提高质量的语义分割通过注册。这两个问题在期望最大化框架中得到了解决。我们特别介绍了一种基于语义分割和几何结构的立面参考模型，该模型采用$L_p$高斯混合模型。我们展示了我们的方法的优势，在鲁棒性杂波和光照变化的城市图像从各种数据库。
2019-02-21 cs.CV
Joint Optical Flow and Temporally Consistent Semantic Segmentation
TU Darmstadt（达姆施塔特工业大学）
随着自主系统的发展，视觉场景理解的重要性和需求不断增加。因此，已经有大量的研究致力于语义分割和密集运动估计。在本文中，我们提出了一种方法，联合估计光流和时间一致的语义分割，这两个问题域紧密相连，并相互利用。语义分割向其相关联的像素提供关于合理物理运动的信息，并且准确的像素级时间对应性增强了时间域中的语义分割的准确性。我们展示了我们的方法的好处KITTI基准，在那里我们观察流和分割的性能增益。我们实现了最先进的光流结果，并在具有挑战性但至关重要的动态对象上大幅优于所有已发表的算法。
2016-07-26 cs.CV
Joint Learning of Saliency Detection and Weakly Supervised Semantic Segmentation
Dalian University of Technology（大连理工大学）
现有的弱监督语义分割（WSSS）方法通常利用预先训练的显著性检测（SD）模型的结果，而没有明确地对两个任务之间的连接建模，这不是最有效的配置。在这里，我们提出了一个统一的多任务学习框架，使用单个网络，\ie显着性和分段网络（SSNet）联合解决WSSS和SD。SSNet由分割网络（SN）和显着性聚合模块（SAM）组成。对于输入图像，SN生成分割结果，SAM预测每个类别的显著性，并将所有类别的分割掩码聚合到显著性图中。所提出的网络是用图像级类别标签和与类别无关的像素级显著性标签进行端到端训练的。在PASCAL VOC 2012分割数据集和四个显著性基准数据集上的实验表明，我们的方法的性能优于最先进的弱监督分割方法和全监督显著性检测方法。
2019-09-09 cs.CV
Joint COCO and Mapillary Workshop at ICCV 2019: COCO Instance Segmentation Challenge Track
Megvii Technology（旷视科技）
在这份报告中，我们提出了我们的目标检测/实例分割系统，MegDetV 2，它的工作原理是两遍的方式，首先检测实例，然后获得分割。我们的基线检测器主要构建在一个新设计的RPN上，称为RPN++。在COCO-2019检测/实例分割测试开发数据集上，我们的系统实现了61.0/53.1 mAP，分别超过了我们2018年的获奖结果5.0/4.2。我们在COCO Challenge 2019和2020中取得了最好的成绩。
2020-10-06 cs.CV
Sensor Fusion for Joint 3D Object Detection and Semantic Segmentation
Uber Advanced Technologies Group（优步先进技术集团）
在本文中，我们对LaserNet进行了扩展，LaserNet是一种高效且最先进的基于LiDAR的3D物体检测器。我们提出了一种用于融合图像数据与激光雷达数据的方法，并表明这种传感器融合方法提高了模型的检测性能，特别是在长距离上。图像数据的添加是直接的，并且不需要图像标签。此外，我们扩展了该模型的能力，除了3D目标检测执行3D语义分割。在一个大型的基准数据集上，我们证明了我们的方法在目标检测和语义分割上都达到了最先进的性能，同时保持了较低的运行时间。
2019-04-25 cs.CV cs.LG cs.RO
A Multi-cut Formulation for Joint Segmentation and Tracking of Multiple Objects
University of Freiburg（弗莱堡大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
最近，最小成本多分割公式已被提出，并被证明是成功的运动轨迹分割和多目标跟踪的情况下。这两个任务都受益于将图形模型分解为基于吸引和排斥成对项的最佳数量的连接组件。这两个任务在不同的粒度级别上制定，因此，主要利用局部信息进行运动分割，主要利用高级信息进行多目标跟踪。在本文中，我们认为，点轨迹和它们的局部关系可以有助于多目标跟踪的高层次任务，也认为，高层次的线索，从目标检测和跟踪有助于解决运动分割。我们提出了一个联合图形模型的点轨迹和目标检测的多割运动分割{ \it和}多目标跟踪问题的解决方案在一次。FBMS 59运动分割基准以及2D MOT 2015基准的行人跟踪序列的结果证明了这种联合方法的前景。
2016-07-21 cs.CV
JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds
Huazhong University of Science and Technology（华中科技大学）
在本文中，我们提出了一种新的联合实例和语义分割的方法，这是所谓的JSNet，以解决实例和语义分割的三维点云同时进行。首先，我们建立了一个有效的骨干网络，从原始点云提取强大的功能。其次，为了获得更具鉴别力的特征，提出了一种点云特征融合模块，用于融合骨干网的不同层次特征。此外，还开发了一个联合实例语义分割模块，将语义特征转换到实例嵌入空间中，然后将转换后的特征与实例特征进行融合，以利于实例分割。同时，该模块还将实例特征聚合到语义特征空间中，以促进语义分割。最后，通过对实例嵌入应用简单的均值漂移聚类来生成实例预测。因此，我们评估建议的JSNet上的大规模三维室内点云数据集S3DIS和部分数据集ShapeNet，并将其与现有的方法进行比较。实验结果表明，该方法在3D实例分割方面优于现有方法，在3D语义预测方面有明显的改善，同时该方法也有利于零件分割。这个工作的源代码可以在https://github.com/dlinzhao/JSNet上找到。
2019-12-20 cs.CV
JSENet: Joint Semantic Segmentation and Edge Detection Network for 3D Point Clouds
Hong Kong University of Science and Technology（香港科技大学）；City University of Hong Kong（香港城市大学）
语义分割和语义边缘检测可以看作是计算机视觉中关系密切的两个对偶问题。尽管基于学习的3D语义分割方法发展迅速，但很少有人关注3D语义边缘检测器的学习，更少有人关注这两个任务的联合学习方法。在本文中，我们首次解决了3D语义边缘检测任务，并提出了一种新的双流全卷积网络，它可以联合执行这两项任务。特别是，我们设计了一个联合细化模块，明确电线区域信息和边缘信息，以提高这两个任务的性能。此外，我们提出了一种新的损失函数，鼓励网络产生具有更好边界的语义分割结果。S3DIS和ScanNet数据集上的广泛评估表明，我们的方法达到了同等或更好的性能比最先进的方法为语义分割和优于基线方法的语义边缘检测。代码发布：https://github.com/hzykent/JSENet
2020-07-14 cs.CV
FreDSNet: Joint Monocular Depth and Semantic Segmentation with Fast Fourier Convolutions
FreDSNet利用快速傅里叶卷积从单张全景图像联合实现单目深度估计与语义分割，性能媲美最先进方法。
2024-02-05 cs.AI cs.CV cs.RO
SegFlow: Joint Learning for Video Object Segmentation and Optical Flow
Tsinghua University（清华大学）；University of California, Merced（加州大学默塞德分校）
本文提出了一种端到端的可训练网络SegFlow，用于同时预测视频中的逐像素对象分割和光流。提出的SegFlow有两个分支，其中对象分割和光流的有用信息在一个统一的框架中双向传播。分割分支是基于一个完全卷积网络，这已被证明是有效的图像分割任务，和光流分支利用FlowNet模型。统一框架迭代地离线训练以学习通用概念，并针对特定对象进行在线微调。在视频对象分割和光流数据集上进行的大量实验表明，引入光流提高了分割的性能，反之亦然，对最先进的算法。
2017-09-20 cs.CV
Triply Supervised Decoder Networks for Joint Detection and Segmentation
Tianjin University（天津大学）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）
联合目标检测和语义分割可以应用于许多领域，例如自动驾驶汽车和无人水面船只。通过简单地共享两个任务的深度卷积特征，实现了这一目标的初步和重要进展。然而，这种简单的方案无法充分利用检测和分割是互利的这一事实。为了克服这个缺点，我们提出了一个框架，称为TripleNet的三重监督，包括面向检测的监督，类感知的分割监督，和类不可知的分割监督施加在解码器网络的每一层。类无关的分割监督为语义分割和目标检测提供对象性先验知识。除了三种类型的监督，两个轻量级模块（即，内连接模块和注意力跳过层融合）也被结合到解码器的每一层中。在所提出的框架中，检测和分割可以充分地相互促进。此外，在测试阶段不执行每个解码器层上的类不可知和类感知分段。因此，在测试阶段不会引入额外的计算成本。在VOC2007和VOC2012数据集上的实验结果表明，所提出的TripleNet能够在不增加额外计算成本的情况下提高检测和分割精度。
2018-09-25 cs.CV
Joint Forecasting of Panoptic Segmentations with Difference Attention
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Waymo
预测表示对于安全和有效的自治是重要的。为此，全景分割在最近的工作中已经被研究为令人信服的代表。然而，最近关于全景分割预测的最新技术水平存在两个问题：第一，单独的对象实例被彼此独立地对待;第二，单独的对象实例预测以启发式方式合并。为了解决这两个问题，我们研究了一种新的全景分割预测模型，该模型使用基于“差异注意”的Transformer模型联合预测场景中的所有对象实例。它通过考虑深度估计进一步完善了预测。我们在Cityscapes和AIODrive数据集上评估了所提出的模型。我们发现差异注意力特别适合于预测，因为位置等数量的差异使模型能够明确地推理速度和加速度。正因为如此，我们达到了最先进的全景分割预测指标。
2022-04-14 cs.CV
VIN: Voxel-based Implicit Network for Joint 3D Object Detection and Segmentation for Lidars
University of Michigan（密歇根大学）
提出了一种用于三维目标检测和点云分割的统一神经网络结构。我们利用检测和分割标签的丰富监督，而不是只使用其中之一。此外，基于3D场景和物体理解中广泛使用的隐函数，提出了一种基于单级目标检测器的扩展方法。扩展分支将来自目标检测模块的最终特征图作为输入，并产生隐式函数，该隐式函数为其对应的体素中心生成每个点的语义分布。我们在nuScenes-lidarseg（一个大型户外数据集）上展示了我们的结构的性能。我们的解决方案在3D目标检测和点云分割方面都取得了与最先进的方法相比具有竞争力的结果，与目标检测解决方案相比，几乎没有额外的计算负载。通过实验验证了该方法的有效弱监督语义分割能力。
2021-11-13 cs.CV
Bi-Directional Attention for Joint Instance and Semantic Segmentation in Point Clouds
Shandong University（山东大学）
点云中的实例分割是理解3D场景的最细粒度的方法之一。由于它与语义分割的密切关系，许多作品同时处理这两个任务，并利用多任务学习的好处。然而，他们中的大多数人只考虑简单的策略，如元素的功能融合，这可能不会导致相互促进。在这项工作中，我们建立了一个双向注意力模块的骨干神经网络的三维点云感知，它使用的相似性矩阵测量的功能为一个任务，以帮助聚合非本地信息的其他任务，避免潜在的功能排除和任务冲突。通过对S3DIS数据集和PartNet数据集的综合实验和消融研究，验证了该方法的优越性。此外，本文还分析了双向注意模块帮助实例分割和语义分割联合的机制。
2020-03-11 cs.CV
J-CaPA : Joint Channel and Pyramid Attention Improves Medical Image Segmentation
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出J-CaPA模型，通过联合通道注意力与金字塔注意力机制并结合CutMix数据增强，在Synapse数据集上显著提升多器官分割精度，超越现有最先进方法。
2024-11-25 cs.CV
Joint reconstruction-segmentation on graphs
Hausdorff Centre for Mathematics, Rheinische Friedrich-Wilhelms-Universität Bonn（波恩莱茵弗里德里希·威廉大学豪斯多夫数学中心）；Delft Institute of Applied Mathematics, Technische Universiteit Delft（代尔夫特理工大学代尔夫特应用数学研究所）；Maxwell Institute for Mathematical Sciences & School of Mathematical and Computer Sciences, Heriot-Watt University（赫瑞-瓦特大学麦克斯韦数学科学研究所与数学和计算机科学学院）；Department of Applied Mathematics and Theoretical Physics, University of Cambridge（剑桥大学应用数学与理论物理系）
本文提出一种基于图分割的联合重建-分割方法，用于处理噪声或模糊图像，通过相互引导提升性能，实验表明其准确性优于顺序方法。
2023-01-20 cs.CV
Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；Everest Innovation Technology（珠科创新技术）
在本文中，我们提出了一个联合多任务学习框架的语义分割和边界检测。框架中的关键组件是迭代金字塔上下文模块（PCM），它耦合两个任务并存储共享的潜在语义以在两个任务之间进行交互。对于语义边界检测，我们提出了新的空间梯度融合抑制非语义边缘。由于语义边界检测是语义分割的双重任务，本文引入了一个带有边界一致性约束的损失函数，以提高语义分割的边界像素精度。我们广泛的实验表明，优越的性能超过国家的最先进的作品，不仅在语义分割，但也在语义边界检测。特别是，Cityscapes测试集上的平均IoU得分为81：8%，无需使用粗数据或任何外部数据进行语义分割。对于语义边界检测，我们在AP和MF（ODS）方面比以前的最先进的作品提高了9.9%和6：8%。
2020-04-16 cs.CV
Real-Time Semantic Segmentation via Auto Depth, Downsampling Joint Decision and Feature Aggregation
Zhejiang University（浙江大学）；Tencent AI Lab（腾讯人工智能实验室）；Sensetime Research（商汤科技研究院）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
为了满足实时的【形】语义分割领域对计算资源的严格要求，大多数方法都集中在手工设计轻量级分割网络。近年来，神经网络结构搜索（NAS）已被用于自动搜索网络的最优构建块，但网络深度、下采样策略和特征聚合方式仍然是通过反复试验预先设置的。在本文中，我们提出了一个联合搜索框架，称为AutoRTNet，这些策略的自动化设计。具体来说，我们提出了超细胞来共同决定网络深度和下采样策略，以及一个聚合细胞来实现自动多尺度特征聚合。实验结果表明，AutoRTNet在Cityscapes测试集上实现了73.9%的mIoU，在NVIDIA TitanXP GPU卡上实现了110.0 FPS，输入图像为768x1536。
2020-03-31 cs.CV
JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields
The University of Tokyo（东京大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Deakin University（迪肯大学）；Hong Kong University of Science and Technology（香港科技大学）
深度学习技术已成为2D图像上大多数视觉相关任务的必备模型。然而，在3D空间中的几项任务中，它们的力量还没有完全实现，例如，三维场景理解。在这项工作中，我们共同解决的问题，语义和实例分割的三维点云。具体来说，我们开发了一个多任务逐点网络，同时执行两个任务：预测3D点的语义类，并将点嵌入到高维向量中，以便相同对象实例的点由类似的嵌入表示。然后，我们提出了一个多值条件随机场模型，将语义和实例标签和制定的语义和实例分割的问题，共同优化标签的字段模型。在不同的室内场景数据集（包括S3 DIS和SceneNN）上，对所提出的方法进行了全面评估，并与现有方法进行了比较。实验结果表明，所提出的联合语义-实例分割计划的鲁棒性超过其单一组件。我们的方法在语义分割上也取得了最先进的性能。
2019-04-05 cs.CV
PanDepth: Joint Panoptic Segmentation and Depth Completion
Tampere University（坦佩雷大学）
本文提出一种多任务模型PanDepth，联合处理全景分割与深度补全，利用RGB图像和稀疏深度图，在保持低计算成本和高精度的同时，完成多种分割任务，并在Virtual KITTI 2上验证。
2024-03-06 cs.CV
Joint Depth Prediction and Semantic Segmentation with Multi-View SAM
University of North Carolina（北卡罗来纳大学）；University of California（加利福尼亚大学）
本文提出一种多视角立体深度预测方法，利用SAM语义特征增强深度预测，并将其作为Transformer分割解码器的提示，在ScanNet上实现深度预测与语义分割的相互促进，性能优于单任务及单目多任务方法。
2023-10-31 cs.CV
Joint Color-Spatial-Directional clustering and Region Merging (JCSD-RM) for unsupervised RGB-D image segmentation
Laboratoire Hubert Curien, Université Jean Monnet（让·莫奈大学于贝尔·居里实验室）
深度成像传感器的最新进展提供了对与颜色同步的深度（称为RGB-D图像）的容易访问。本文提出了一种无监督的室内RGB-D图像分割和分析方法。我们考虑一个统计图像生成模型的基础上的颜色和几何的场景。我们的方法包括一个联合颜色空间方向聚类方法，然后统计平面区域合并方法。我们在纽约大学深度数据库上评估了我们的方法，并将其与现有的无监督RGB-D分割方法进行了比较。结果表明，该方法与现有方法相比，计算时间更短。此外，它打开了有趣的视角，以无监督的方式融合颜色和几何形状。
2015-09-06 cs.CV
Interactive Full Image Segmentation by Considering All Regions Jointly
Google Research（谷歌研究院）
我们解决了交互式全图像注释，其目标是准确地分割图像中的所有对象和填充区域。我们提出了一个交互式的，基于涂鸦的注释框架，它对整个图像产生分割的所有区域。这使得能够跨区域共享涂鸦校正，并允许注释器专注于机器在整个图像中产生的最大错误。为了实现这一点，我们将Mask-RCNN适配到一个快速交互式分割框架中，并在完整图像画布中引入一个在像素级测量的实例感知损失，这使得对附近区域的预测能够正确地竞争空间。最后，我们比较COCO panoptic数据集上的交互式单对象分割。我们证明了我们的交互式完整图像分割方法可以获得5%的IoU增益，在每个区域四次极端点击和四次纠正涂鸦的预算下达到90%的IoU。
2019-04-10 cs.CV
JOPP-3D: Joint Open Vocabulary Semantic Segmentation on Point Clouds and Panoramas
本文提出JOPP-3D框架，通过联合利用点云和全景图像数据实现语言驱动的场景理解，提升开放词汇下点云和全景图像的语义分割性能。
2026-10-21 cs.CV
Joint Calibration for Semantic Segmentation
University of Edinburgh（爱丁堡大学）
语义分割是指为图像中的每个像素分配类别标签的任务。我们提出了一个基于区域的语义分割框架，它可以处理完全监督和弱监督，并解决了三个常见的问题：（1）对象出现在多个尺度，因此我们应该使用多个尺度的区域。然而，这些区域是重叠的，这在像素级上产生了冲突的类预测。(2)类频率在现实数据集中是高度不平衡的。(3)每个像素只能分配给一个类，这就造成了类之间的竞争。我们解决所有这三个问题的联合校准方法，优化了多类损失定义在最终的像素级输出标签，而不是简单的区域分类。我们的方法在完全和弱监督设置中的流行SIFT Flow [18]数据集上的表现优于最先进的方法（分别为+6%和+10%）。
2015-08-12 cs.CV
Psi-Net: Shape and boundary aware joint multi-task deep network for medical image segmentation
Indian Institute of Technology Madras (IITM)（印度理工学院马德拉斯分校）；Healthcare Technology Innovation Centre (HTIC), IITM（印度理工学院马德拉斯分校医疗技术创新中心）；Indian Institute of Information Technology Design & Manufacturing Kancheepuram (IIITDM)（坎奇普拉姆印度信息技术设计与制造学院）；Zasti
图像分割是许多医学应用中的主要任务。最近，许多由U-Net衍生的深度网络已被广泛用于各种医学图像分割任务。然而，在大多数情况下，类似于U网的网络会产生粗糙和不光滑的分割，并具有许多不连续性。为了提高和改进U-Net类网络的性能，我们建议使用并行解码器，这些解码器在执行掩码预测的同时还执行轮廓预测和距离图估计。轮廓和距离图有助于确保分割预测的平滑性。为了便于三个任务的联合训练，我们提出了一种新的架构，称为Psi-Net，具有单个编码器和三个并行解码器（因此具有$Ψ$的形状），一个解码器学习分割掩码预测，另外两个解码器学习轮廓检测和距离图估计的辅助任务。这些辅助任务的学习有助于捕获形状和边界信息。我们还提出了一个新的联合损失函数的建议架构。损失函数由负对数似然和均方误差损失的加权组合组成。我们使用了两个公开可用的数据集：1）用于视杯和视盘分割任务的Origa数据集和2）用于息肉分割任务的Endovis分割数据集来评估我们的模型。我们已经使用我们的网络进行了大量的实验，以证明我们的模型在分割，边界和形状度量方面提供了更好的结果。
2019-08-14 cs.CV
Continual Segmentation under Joint Nonstationarity
Bharti School of Telecommunications Technology \& Management, Indian Institute of Technology, Delhi, India；Yardi School of Artificial Intelligence, Indian Institute of Technology, Delhi, India；Department of Computer Science；Engineering, Indian Institute of Technology (Indian School of Mines), Dhanbad, India
本文研究了在联合非平稳性条件下连续语义分割的问题，提出了一种基于梯度适应稳定机制和半监督学习的方法，以应对数据分布漂移带来的不稳定性和过拟合问题，并在多种场景下验证了方法的有效性。
2026-05-19 cs.CV
Multitask Network for Joint Object Detection, Semantic Segmentation and Human Pose Estimation in Vehicle Occupancy Monitoring
Mannheim University of Applied Sciences（曼海姆应用科学大学）
为了确保安全的自动驾驶，必须提供有关车辆内部和周围条件的精确信息。因此，对车内乘员和物体的监控至关重要。在现有技术中，单个或多个深度神经网络用于对象识别、语义分割或人体姿态估计。相比之下，我们提出了我们的多任务检测，分割和姿态估计网络（MDSP）-第一个多任务网络解决所有这三个任务联合在占用监测领域。由于共享架构，可以节省内存和计算成本，同时实现更高的准确性。此外，我们的架构允许在简单的端到端培训期间灵活组合上述三项任务。我们对公共数据集SVIRO和TiCaM进行了全面的评估，以证明其优越的性能。
2022-05-03 cs.CV
Image Segmentation with Adaptive Spatial Priors from Joint Registration
Beijing Normal University（北京师范大学）；Case Western Reserve University（凯斯西储大学）；Central South University（中南大学）；Xiangya Hospital（湘雅医院）
图像分割是一项重要但具有挑战性的任务，具有许多应用。例如，在医学成像中，强度不均匀性和噪声是常见的。在大腿肌肉图像中，不同的肌肉紧密地挤在一起，并且它们之间通常没有清晰的边界。基于强度的分割模型不能将一块肌肉与另一块肌肉分开。为了解决这些问题，在这项工作中，我们提出了一个自适应的空间先验联合注册的分割模型。该模型将分割和配准结合在一个统一的框架中，以利用它们的积极相互影响。该方法基于改进的高斯混合模型（GMM），综合了灰度不均匀性和空间平滑性。配准起到提供形状先验的作用。我们采用了一种改进的平方差和（SSD）的保真度项和Tikhonov正则项的注册，并利用高斯金字塔和参数化方法的鲁棒性。分割和配准之间的连接由交叉熵度量保证，交叉熵度量旨在使分割图（来自分割）和变形图谱（来自配准）尽可能相似。这个联合框架内实现的约束优化框架，这导致了一个有效的算法。我们评估我们提出的模型合成和大腿肌肉MR图像。数值结果表明，改进相比，分割和注册单独执行和其他联合模型。
2022-03-29 cs.CV cs.NA math.NA
Joint ANN-SNN Co-training for Object Localization and Image Segmentation
Ohio University（俄亥俄大学）；University of Kentucky（肯塔基大学）
随着深度人工神经网络（ANN）的进步和注释数据可用性的增加，机器学习领域发生了巨大的变化。脉冲神经网络（SNN）由于其稀疏性，最近已经成为ANN的低功耗替代方案。在这项工作中，我们提出了一种新的混合ANN-SNN协同训练框架，以提高转换SNN的性能。我们的方法是一个微调方案，通过交替进行，向前向后的培训过程。我们将我们的框架应用于目标检测和图像分割任务。实验结果表明，我们的方法在实现设计目标的有效性。
2023-03-10 cs.CV
DI-MaskDINO: A Joint Object Detection and Instance Segmentation Model
College of Computer Science, Chongqing University（重庆大学计算机学院）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
本文针对MaskDINO中检测与分割性能不平衡的问题，提出DI-MaskDINO模型，通过DI模块和BATO模块缓解不平衡，在COCO和BDD100K上显著提升了联合检测与分割性能。
2024-10-22 cs.CV
Convex Histogram-Based Joint Image Segmentation with Regularized Optimal Transport Cost
Université de Bordeaux（波尔多大学）；Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们研究了一个多功能的凸框架多图像分割，依靠正则化的最佳质量传输理论。在这种设置中，几个运输成本函数被认为是和用于匹配的统计分布的功能。在实践中，从分割的图像区域估计全局多维直方图，并将其与先验给定的固定直方图或在非监督情况下直接推断的参考模型进行比较。不同的凸问题研究有效地解决使用原始-对偶算法。所提出的方法是通用的，使多阶段分割以及多个图像的共同分割。
2016-10-05 cs.CV math.OC
Instance Segmentation by Jointly Optimizing Spatial Embeddings and Clustering Bandwidth
KU Leuven（鲁汶大学）
当前最先进的实例分割方法不适合于像自动驾驶这样的实时应用，自动驾驶需要高精度的快速执行时间。虽然目前占主导地位的基于提议的方法具有高精度，但它们速度慢，并且以固定和低分辨率生成掩模。相比之下，无建议方法可以以高分辨率生成掩码，并且通常更快，但无法达到与基于建议的方法相同的精度。在这项工作中，我们提出了一个新的聚类损失函数的建议自由实例分割。损失函数将属于同一实例的像素的空间嵌入拉到一起，并共同学习特定于实例的聚类带宽，从而最大化所得到的实例掩码的交集。当与快速架构相结合时，该网络可以实时执行实例分割，同时保持高精度。我们在具有挑战性的Cityscapes基准上评估了我们的方法，并在2 MP图像上以超过10 fps的速度获得了最佳结果（比Mask R-CNN提高了5%）。代码将在https://github.com/davyneven/SpatialEmbeddings上提供。
2019-08-02 cs.CV
J-RAS: Mutual Adaptation for Medical Image Segmentation via Contrastive Retrieval-Augmented Joint Optimization
Laurier University（劳里尔大学）
提出J-RAS框架，通过交替对比学习和监督学习联合优化分割与检索模型，实现检索与分割的互适应，提升医学图像分割的边界描绘、鲁棒性和跨数据集泛化能力。
2026-08-17 cs.CV
Convolutional Feature Masking for Joint Object and Stuff Segmentation
Microsoft Research（微软研究院）
由于卷积神经网络（CNN）学习的强大功能，语义分割的主题已经取得了相当大的进展。当前主要的语义分割方法通过从掩蔽的图像区域提取CNN特征来利用形状信息。这种策略在图像上引入了人工边界，并可能影响提取特征的质量。此外，原始图像域上的操作需要在单个图像上计算数千个网络，这是耗时的。在本文中，我们建议通过掩蔽卷积特征来利用形状信息。提案部分（例如，超像素）被视为卷积特征图上的掩模。片段的CNN特征直接从这些图中掩蔽出来，并用于训练分类器进行识别。我们还提出了一种联合方法来处理对象和“东西”（例如，草，天空，水）在同一框架内。最先进的结果在PASCAL VOC和新PASCAL-CONTEXT的基准测试中得到了证明，具有令人信服的计算速度。
2015-04-02 cs.CV
PC-U Net: Learning to Jointly Reconstruct and Segment the Cardiac Walls in 3D from CT Data
Rutgers University（罗格斯大学）；Nvidia Corporation（英伟达公司）；New York University（纽约大学）
心脏的左心室（LV）心肌（MYO）壁的3D体积形状为心脏疾病的诊断和侵入性手术导航提供了重要信息。许多心脏图像分割方法依赖于感兴趣区域的检测作为形状分割和建模的先决条件。利用分割结果，可以重建分割的心脏体积的3D表面网格和对应的点云以用于进一步分析。虽然现有技术的方法（例如，U-Net）在心脏图像分割方面的准确性方面取得了不错的表现，但这些分割结果仍然会受到成像伪影和噪声的影响，这将导致形状建模结果不准确。在本文中，我们提出了一个PC-U网络，共同重建直接从体积的2D CT切片的LV MYO壁的点云，并从预测的3D点云生成其分割掩模。大量的实验结果表明，通过将一个形状之前从点云，分割掩模是更准确的比国家的最先进的U-网络的结果在骰子的系数和Hausdorff distance.我们提出的联合学习框架的PC-U网络是有益的自动心脏图像分析任务，因为它可以同时获得的3D形状和分割的LV MYO壁。
2020-08-18 cs.CV
Driving Scene Perception Network: Real-time Joint Detection, Depth Estimation and Semantic Segmentation
Harman International（哈曼国际）；University of Virginia（弗吉尼亚大学）
随着近年来对实现高水平自动驾驶的需求不断增加，视觉感知是实现完全自动驾驶的关键特征之一，在本文中，我们介绍了一种使用共享卷积架构同时进行目标检测，深度估计和像素级语义分割的有效方法。提出的网络模型，我们命名为驾驶场景感知网络（DSPNet），使用多级特征映射和多任务学习，以提高目标检测，深度估计和图像分割任务的准确性和效率从一个单一的输入图像。因此，最终的网络模型使用不到850 MiB的GPU内存，并在NVIDIA GeForce GTX 1080上实现14.0 fps的1024x512输入图像，并且精度和效率都比单个任务的组合有所提高。
2018-03-10 cs.CV
Joint Segmentation and Deconvolution of Ultrasound Images Using a Hierarchical Bayesian Model based on Generalized Gaussian Priors
University of Toulouse（图卢兹大学）；IRIT/INP-ENSEEIHT（图卢兹国立综合理工学院国立高等电子技术、电子学、计算机、水力学院/图卢兹信息学研究所）；IRIT, CNRS UMR 5505（法国国家科学研究中心联合研究单位5505 图卢兹信息学研究所）
提出了一种医学超声图像的联合分割与去卷积贝叶斯方法。与分段均匀图像相反，US图像表现出与组织结构相关的重特征散斑图案。广义高斯分布（GGD）已被证明是最相关的分布之一，用于表征斑点在美国的图像。因此，我们提出了一个GGD-Potts模型定义的标签地图耦合US图像分割和反卷积。未知模型参数的贝叶斯估计，包括US图像，标签图和所有超参数，很难以封闭形式表示。因此，我们研究了一个吉布斯采样器来生成根据感兴趣的后验分布的样本。这些生成的样本最终用于计算未知参数的贝叶斯估计。所提出的贝叶斯模型的性能与现有的方法相比，通过几个实验进行现实的合成数据和在体内US图像。
2016-05-02 cs.CV
Joint Object Contour Points and Semantics for Instance Segmentation
Northeastern University（东北大学）；Beijing Information Science and Technology University（北京信息科技大学）；Science and Technology on Space Physics Laboratory（空间物理重点实验室）；The University of Auckland（奥克兰大学）
目标轮廓的属性对于实例分割任务具有重要意义。然而，目前流行的大部分深度神经网络对物体边缘信息关注不多。受制作实例分割数据集时人类注释过程的启发，本文提出了Mask Point R-CNN，旨在促进神经网络对对象边界的关注。具体来说，我们创新性地将原始的人体关键点检测任务扩展到任何物体的轮廓点检测。基于这种类比，我们为Mask R-CNN提出了一个轮廓点检测辅助任务，它可以通过有效地使用特征融合策略和多任务联合训练来增强不同任务之间的梯度流。因此，模型将对对象的边缘更敏感，并且可以捕获更多的几何特征。定量地，实验结果表明，我们的方法在Cityscapes数据集上比vanilla Mask R-CNN高3.8%，在COCO数据集上高0.8%。
2021-07-04 cs.CV
COCONut-PanCap: Joint Panoptic Segmentation and Grounded Captions for Fine-Grained Understanding and Generation
ByteDance（字节跳动）
本文提出COCONut-PanCap数据集，在COCO与COCONut全景掩码基础上引入细粒度区域级定位描述，通过人工密集标注提升视觉语言模型的理解与文本到图像生成性能，为联合全景分割与定位描述任务建立新基准。
2025-02-04 cs.CV
Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations
Eindhoven University of Technology（埃因霍温理工大学）
针对部件级预测未关联父对象导致学习目标与PPS任务不一致的问题，本文提出TAPPS，利用共享查询联合建模对象与部件表示，显著提升性能并达到新SOTA。
2024-06-14 cs.CV
Predicting Functions, Not Features: KANs with Function-Space Joint-Embedding Predictive Learning for Medical Image Segmentation
针对现有KAN分割模型边函数缺乏聚合前学习目标的局限，提出FS-JEPA框架，将预测学习迁移至KAN聚合前函数空间，在五个医学图像分割基准上实现最优平均戴斯系数，较最强KAN方法提升2.25个百分点。
2026-08-13 cs.CV
Every Frame Counts: Joint Learning of Video Segmentation and Optical Flow
Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
视频语义分割的一个主要挑战是缺乏标记数据。在大多数基准数据集中，视频剪辑中只有一帧被注释，这使得大多数监督方法无法利用其余帧的信息。为了充分利用视频中的时空信息，许多先前的工作使用预先计算的光流，编码的时间一致性，以改善视频分割。然而，视频分割和光流估计仍然被认为是两个独立的任务。在本文中，我们提出了一个新的框架，联合视频语义分割和光流估计。语义分割带来语义信息来处理遮挡以用于更鲁棒的光流估计，而非遮挡的光流提供精确的像素级时间对应以保证分割的时间一致性。此外，我们的框架能够通过联合训练来利用视频中的标记帧和未标记帧，而在推理中不需要额外的计算。大量实验表明，该模型使视频语义分割和光流估计相互受益，在相同的设置下，两种任务的性能均优于现有方法。
2019-11-28 cs.CV cs.LG eess.IV
Globally Optimal Joint Image Segmentation and Shape Matching Based on Wasserstein Modes
提出了一种变分目标分割和形状匹配的联合泛函。该配方是基于最佳运输w.r.t.几何距离和局部特征相似度。通过引入描述形状模板的变换和变形的自由度来实现对象典型统计变化的几何不变性和建模。形状模型在数学上等同于基于轮廓的方法，但是可以在轮廓和区域表示之间没有转换的情况下执行推断，从而允许与其他凸分割方法组合并简化优化。虽然整体功能是非凸的，非凸性仅限于一个低维变量。我们提出了一个局部最优的交替优化计划和一个全局最优的分支定界计划，基于自适应凸松弛。结合这两种方法，可以消除微妙的初始化问题固有的许多轮廓为基础的方法，同时保持计算实用。通过数值实验，说明和比较了该泛函的性质，它适应各种输入数据结构的能力和不同的优化方案。
2014-12-29 cs.CV
Clothing Co-Parsing by Joint Image Segmentation and Labeling
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）；SYSU-CMU Shunde International Joint Research Institute（中山大学-卡内基梅隆大学顺德国际联合研究院）
本文旨在开发一个集成的服装协同解析系统，以联合解析一组服装图像（未分割，但与标签）到语义配置。我们提出了一个数据驱动的框架，包括两个阶段的推理。第一阶段，称为"图像共分割"，迭代以提取图像上的一致区域，并通过采用示例SVM（E-SVM）技术[23]联合细化所有图像上的区域。在第二阶段（即"区域共标记"）中，我们通过将分割的区域作为顶点来构建多图像图形模型，并结合服装配置的几个上下文（例如，项目位置和相互作用）。联合标签分配可以使用高效的Graph Cuts算法来解决。除了在Fashionista数据集[30]上评估我们的框架外，我们还构建了一个名为CCP的数据集，该数据集由2098张高分辨率街头时尚照片组成，以展示我们系统的性能。我们在Fashionista和CCP数据集上分别实现了90.29%/88.23%的分割准确率和65.52%/63.89%的识别率，与最先进的方法相比，这是优越的。
2015-02-03 cs.CV
Joint Semantic Segmentation and Depth Estimation with Deep Convolutional Networks
George Mason University（乔治梅森大学）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
多尺度深度CNN已成功用于将每个像素映射到标签的问题，例如深度估计和语义分割。它还表明，这种架构是可重用的，可以用于多个任务。这些网络通常通过改变输出层和训练目标来为每个任务独立训练。在这项工作中，我们提出了一个新的模型，同时深度估计和语义分割从一个单一的RGB图像。我们的方法证明了为每个任务训练模型的一部分，然后使用单个损失函数同时对两个任务的完整组合模型进行微调的可行性。此外，我们将深度CNN与完全连接的CRF耦合，其捕获语义和深度线索之间的上下文关系和交互，从而提高最终结果的准确性。所提出的模型在NYUDepth V2数据集上进行训练和评估，在语义分割方面优于最先进的方法，并在深度估计任务上取得了可比的结果。
2016-09-19 cs.CV
AOP-Net: All-in-One Perception Network for Joint LiDAR-based 3D Object Detection and Panoptic Segmentation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于LiDAR的三维目标检测和全景分割是自主车辆和机器人感知系统中的两个关键任务。在本文中，我们提出了一体化感知网络（AOP-Net），这是一个基于激光雷达的多任务框架，结合了3D目标检测和全景分割。在这种方法中，开发了一个双任务3D骨干，从输入的LiDAR点云中提取全景和检测级特征。此外，还设计了一个将多层感知器（MLP）和卷积层交织在一起的新2D主干，以进一步提高检测任务性能。最后，提出了一种新的模块，通过恢复在3D骨干中的下采样操作期间丢弃的有用特征来引导检测头。该模块利用估计的实例分割掩模从每个候选对象恢复详细信息。AOP-Net在nuScenes基准测试中针对3D目标检测和全景分割任务实现了已发布作品的最先进性能。此外，实验表明，我们的方法很容易适应，并显着提高性能的任何基于BEV的三维目标检测方法。
2023-02-02 cs.CV
Spatio-Temporal Multi-Task Learning Transformer for Joint Moving Object Detection and Segmentation
Valeo R&D（法雷奥研发中心）
移动物体对于自动驾驶任务具有特殊的重要性。检测移动对象可以通过分割对象像素而被定位为移动对象分割，或者通过生成移动目标的限界框而被定位为移动目标检测。在本文中，我们提出了一个多任务学习架构，基于Transformers，通过一个网络来共同执行这两个任务。由于运动特征对任务的重要性，整个设置基于时空聚合。我们评估的性能与MTL设置，无论是早期共享的编码器，和后期共享的编码器-解码器Transformers器的单独任务架构。对于后者，我们提出了一种新的联合任务查询解码器Transformer，使我们能够有任务专用头的共享模型。为了评估我们的方法，我们使用KITTI MOD [29]数据集。结果显示，在单个任务网络上，移动目标检测的mAP提高了1.5%，移动对象分割的IoU提高了2%。
2021-06-21 cs.CV cs.LG
Occlusion-Aware Panoptic Segmentation with Joint Position Embedding and Occlusion-Level Attention
针对复杂场景全景分割因遮挡面临挑战且现代方法忽视遮挡建模的问题，提出PEMOLA模块，通过联合位置嵌入和遮挡级别注意力改进遮挡建模，实验表明该方法能在低计算开销下提升全景分割质量。
2026-07-22 cs.CV
CI-Net: Contextual Information for Joint Semantic Segmentation and Depth Estimation
South China University of Technology（华南理工大学）；Shantou University（汕头大学）；University of Leeds（利兹大学）；China University of Geosciences（中国地质大学）
单目深度估计和语义分割是场景理解的两个基本目标。由于任务交互的优点，许多工作研究联合任务学习算法。然而，大多数现有的方法未能充分利用语义标签，忽略了提供的上下文结构，只使用它们来监督分割分割的预测，这限制了这两个任务的性能。在本文中，我们提出了一个网络注入上下文信息（CI-Net）来解决这个问题。具体来说，我们在编码器中引入自注意力块来生成注意力图。在语义标签创建的理想注意力地图的监督下，网络嵌入了上下文信息，以便更好地理解场景并利用相关特征进行准确预测。此外，通过构造特征共享模块，实现了任务特征的深度融合，并设计了一致性损失机制，实现了特征间的相互指导。我们在NYU-Depth-v2和SUN-RGBD数据集上评估了拟议的CI-Net。实验结果表明，提出的CI-Net能有效地提高语义分割和深度估计的准确率。
2021-09-01 cs.CV
Joint Multi-Person Pose Estimation and Semantic Part Segmentation
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
人体姿态估计和语义部分分割是计算机视觉中两个相辅相成的任务。在本文中，我们建议解决这两个任务联合自然多人图像，其中估计的姿态提供对象级形状之前，正则化部分段，而部分级段约束的姿态位置的变化。具体来说，我们首先训练两个完全卷积神经网络（FCN），即Pose FCN和Part FCN，以提供姿势联合潜力和语义部分潜力的初始估计。然后，细化姿态关节位置，这两种类型的潜力融合与一个完全连接的条件随机场（FCRF），其中一个新的段关节平滑项是用来鼓励零件和关节之间的语义和空间的一致性。为了细化零件段，通过零件FCN集成细化的姿态和原始零件潜力，其中来自姿态的骨架特征用作零件段的附加正则化线索。最后，为了降低FCRF的复杂性，我们引入了人类检测框并推断每个框内的图形，使推理速度提高了40倍。由于没有包含部分片段和姿势标签的数据集，我们使用人体姿势关节扩展了PASCAL VOC部分数据集，并进行了大量的实验，将我们的方法与几种最新的策略进行比较。我们表明，在这个数据集上，我们的算法在这两项任务中都大大优于竞争方法。
2017-08-10 cs.CV
Joint Class-Affinity Loss Correction for Robust Medical Image Segmentation with Noisy Labels
Department of Electrical Engineering, City Univeristy of Hong Kong, Hong Kong
以有限的注释成本收集的噪声标签阻止医学图像分割算法学习精确的语义相关性。以前的分割技术的学习与噪声标签只是执行一个像素的方式来保持语义，如像素的标签校正，但忽略了成对的方式。事实上，我们观察到逐对方式捕获像素之间的亲和关系可以大大降低标签噪声率。出于这一观察，我们提出了一个新的观点，通过合并像素明智的和成对的方式，其中监督来自嘈杂的类和亲和标签，分别噪声缓解。统一像素方式和成对方式，我们提出了一个强大的联合类亲和分割（JCAS）框架，以打击标签噪声问题在医学图像分割。考虑到成对方式的亲和力包含上下文依赖性，设计了一个差分亲和力推理（DAR）模块，通过推理类内和类间的亲和力关系来校正像素级分割预测。为了进一步提高抗噪声能力，设计了类亲和损失校正（CALC）策略，通过类和亲和标签中建模的噪声标签分布来校正监督信号。同时，CALC策略通过理论推导的一致性正则化，将逐像素和逐对方式相互作用。在合成和现实世界的噪声标签下进行的大量实验证实了所提出的JCAS框架的有效性，其性能上限的差距最小。源代码可从\url{https://github.com/CityU-AIM-Group/JCAS}获得。
2022-06-16 cs.CV
Hierarchical Approach for Joint Semantic, Plant Instance, and Leaf Instance Segmentation in the Agricultural Domain
University of Bonn（波恩大学）；University of Oxford（牛津大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；La Sapienza University of Rome（罗马第一大学）
针对农业植株表型分析需求，提出一种带任务特定跳跃连接和新型后处理的分层卷积神经网络，可同时完成语义、植株实例与叶片实例联合分割，性能更优、参数量更少且达相机帧率。
2023-06-14 cs.CV
Real-time Joint Object Detection and Semantic Segmentation Network for Automated Driving
Valeo Vision Systems（法雷奥视觉系统公司）；Valeo Bobigny（法雷奥博比尼公司）；Valeo（法雷奥公司（注：此处Valeo作为公司整体，Valeo Vision Systems和Valeo Bobigny是其下属机构，按要求提取到公司级别））
卷积神经网络（CNN）被成功地用于各种视觉感知任务，包括限界框目标检测、语义分割、光流、深度估计和视觉SLAM。通常，这些任务是独立探索和建模的。在本文中，我们提出了一个联合多任务网络设计学习目标检测和语义分割同时进行。主要的动机是通过共享编码器来实现低功耗嵌入式SOC上的实时的【形】性能。我们构建了一个高效的架构，使用一个小的ResNet10一样的编码器，这是共享的两个解码器。目标检测使用YOLO v2类解码器，语义分割使用FCN 8类解码器。我们在两个公共数据集（KITTI，Cityscapes）和我们的私人鱼眼相机数据集中评估了所提出的网络，并证明了联合网络提供了与单独网络相同的准确性。我们进一步优化了网络，以实现1280x384分辨率图像的30 fps。
2019-01-12 cs.CV cs.LG stat.ML
