A One Stop 3D Target Reconstruction and multilevel Segmentation Method
Nanjing Agricultural University(南京农业大学);Zhongshan Biological Breeding Laboratory(中山生物育种实验室)
提出开源一站式框架OSTRA,通过2D分割、标签实例跟踪及MVS或RGBD重建,实现点云、网格和体素模型的3D语义、实例与部件分割。
2023-08-14 cs.CV
Conditional Adversarial Network for Semantic Segmentation of Brain Tumor
Hasso Plattner Institute for Digital Engineering(哈索·普拉特纳数字工程研究院)
医学图像自动分析在疾病诊断和治疗中具有重要的应用价值。由于脑肿瘤在磁共振图像中的不同表现和形状的差异,使得脑肿瘤的分割具有特殊的重要性和难度。此外,与计算机视觉问题相比,数据集是异构的,并且通常在大小上是有限的。最近提出的对抗性训练在生成图像建模中表现出了很好的效果。在本文中,我们提出了一种新的端到端的可训练架构的脑肿瘤语义分割通过条件对抗训练。我们利用条件生成对抗网络(cGAN)并训练语义分割卷积神经网络(CNN)以及对抗网络,该对抗网络区分来自地面实况或来自BraTS 2017分割任务的分割网络的分割图[15,4,2,3]。我们还提出了一种端到端的可训练CNN,用于基于深度学习技术的生存日预测,用于BraTS 2017预测任务[15,4,2,3]。实验结果表明,所提出的方法对这两个任务的优越能力。该模型对整个肿瘤的DICE评分、灵敏度和特异性分别为0.68、0.99和0.98,实现了在线判断系统。
2017-08-17 cs.CV
End-to-end semantic face segmentation with conditional random fields as convolutional, recurrent and adversarial networks
Radboud University, Donders Institute for Brain, Cognition and Behaviour(拉德堡德大学,唐德斯脑、认知与行为研究所);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心);Universitat de Barcelona(巴塞罗那大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学)
近年来,在语义分割方面取得了显著的进展。在这里,我们通过利用这些进步的各自优势来解决这个问题。也就是说,我们将四连通图上的条件随机场表示为端到端可训练的卷积和递归网络,并通过对抗过程对其进行估计。重要的是,我们的模型不仅学习一元势,还学习成对势,同时聚合多尺度上下文并控制高阶不一致性。我们在两个标准的语义人脸分割基准数据集上评估了我们的模型,在这两个数据集上都取得了最先进的结果。
2017-03-09 cs.CV
C$^3$PS: Context-aware Conditional Cross Pseudo Supervision for Semi-supervised Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学)
针对半监督医学图像分割,提出上下文感知条件交叉伪监督方法C$^3$PS,通过带类别条件的交叉伪监督结合上下文感知提升伪标签质量,训练后期可聚焦难分割器官,在两项任务上性能优于现有最优方法。
2023-06-14 cs.CV
Image Segmentation by Iterative Inference from Conditional Score Estimation
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Imagia Cybernetics(Imagia Cybernetics 公司)
受虚拟皮层中前馈和迭代计算相结合的启发,并利用去噪自动编码器估计联合分布得分的能力,我们提出了一种新的迭代推理方法,用于捕获和利用以某些输入变量为条件的输出变量的复杂联合分布。这种方法被应用到图像逐像素分割,与估计的条件得分用于执行梯度上升到估计的条件分布的模式。这扩展了先前通过对自动编码器进行去噪来进行分数估计的工作到条件分布的情况下,使用损坏的前馈预测器代替高斯损坏。这种方法相对于对结构化输出(如条件随机场(CRF))执行迭代推理的更经典的方法的优点在于,不再需要定义连接输出变量的显式能量函数。为了保持计算易于处理,这种能量函数参数化通常受到相当的约束,仅涉及每个团中每个输出变量的几个邻居。我们的实验发现,所提出的迭代推理从有条件的去噪自动编码器的条件得分估计比可比模型的基础上CRF或那些不使用任何显式建模的条件联合分布的输出更好。
2017-08-18 cs.CV
Inferring the Class Conditional Response Map for Weakly Supervised Semantic Segmentation
Australian National University(澳大利亚国立大学)
图像级弱监督语义分割(WSSS)依赖于类激活图(CAM)的伪标签生成。由于CAM仅突出对象的最有区别的区域,因此生成的伪标签通常不能令人满意地直接用作监督。为了解决这个问题,大多数现有的方法遵循多训练流水线来细化CAM以获得更好的伪标签,其包括:1)重新训练分类模型以生成CAM; 2)后处理CAM以获得伪标签;以及3)用所获得的伪标签训练语义分割模型。然而,这种多训练管道需要复杂的调整和额外的时间。为了解决这个问题,我们提出了一个类条件推理策略和激活感知掩码细化损失函数,以生成更好的伪标签,而无需重新训练分类器。提出了类条件推理时间方法,以单独和迭代地揭示分类网络的隐藏对象激活,以生成更完整的响应图。此外,我们的激活感知掩模细化损失函数引入了一种新的方法,在分割训练期间利用显著性图,并在不抑制背景对象的情况下细化前景对象掩模。我们的方法实现了优越的WSSS结果,而不需要重新训练的分类器。
2021-10-27 cs.CV
From Reconstruction to Interpretation: Zero-Setup Multi-Phase Segmentation of X-ray Tomography Data
研究针对X射线断层扫描数据快速解释受限问题,提出零设置多相分割框架,结合材料无关掩码准备策略与预训练语义分割网络,能快速生成诊断级分割,支持近实时束线反馈与可扩展成像工作流程。
2026-07-20 cs.AI cs.CV
Instance and Panoptic Segmentation Using Conditional Convolutions
The University of Adelaide(阿德莱德大学);Meituan Inc.(美团公司);Zhejiang University(浙江大学)
我们提出了一个简单而有效的框架,例如和全景分割,称为CondInst(条件卷积例如和全景分割)。在文献中,性能最好的实例分割方法通常遵循Mask R-CNN的范例,并依赖于ROI操作(通常是ROIAlign)来处理每个实例。相比之下,我们建议使用动态条件卷积来处理实例。我们设计动态实例感知掩码头,而不是使用实例式ROI作为固定权重的实例掩码头的输入,以待预测的实例为条件。CondInst有三个优势:1.)实例和全景分割统一到一个完全卷积的网络中,无需ROI裁剪和特征对齐。2.)的情况。ROI裁剪的消除也显著提高了输出实例掩码分辨率。3.)第三章由于动态生成的条件卷积的能力大大提高,掩模头可以非常紧凑(例如,3 conv.层,每个层仅具有8个通道),导致每个实例的推理时间显著更快,并且使总体推理时间几乎恒定,与实例的数量无关。我们展示了一种更简单的方法,可以实现提高精度和推理速度的实例和全景分割任务。在COCO数据集上,我们的表现优于一些最先进的方法。我们希望CondInst可以成为一个强大的基线,例如全景分割。代码可在:https://git.io/AdelaiDet
2022-01-20 cs.CV eess.IV
Bipartite Conditional Random Fields for Panoptic Segmentation
Five AI;University of Moratuwa(莫拉图瓦大学)
我们解决了全景分割问题的条件随机场(CRF)模型。全景分割涉及为给定图像的每个像素分配语义标签和实例标签。在每个像素处,语义标签和实例标签应该兼容。此外,良好的全景分割应该具有许多其他期望的属性,例如标记的空间和颜色一致性(类似外观的相邻像素应该具有相同的语义标签和实例标签)。为了解决这个问题,我们提出了一个CRF模型,命名为二分CRF或BCRF,有两种类型的随机变量的语义和实例标签。在该公式中,在两种类型的随机变量内和跨两种类型的随机变量定义各种能量,以促进一致的全景分割。我们提出了一个基于平均场的高效推理算法求解CRF和经验表明其收敛性能。该算法是完全可微的,因此,BCRF推理可以作为深度网络中的可训练模块。在实验评价中,我们定量和定性地表明,BCRF产生优越的全景分割的结果在实践中。
2020-08-22 cs.CV eess.IV
Panoptic 3D Scene Reconstruction From a Single RGB Image
Technical University of Munich(慕尼黑工业大学)
从单个图像中理解3D场景是各种任务的基础,例如机器人、运动规划或增强现实。现有的从单个RGB图像进行3D感知的工作倾向于仅关注几何重建,或者关注具有语义分割或实例分割的几何重建。受2D全景分割的启发,我们提出将几何重建、3D语义分割和3D实例分割的任务统一到全景3D场景重建的任务中-从单个RGB图像,预测图像的相机截头体中场景的完整几何重建,以及语义和实例分割。因此,我们提出了一种新的方法,从一个单一的RGB图像的整体三维场景理解,学习提升和传播2D功能从输入图像的三维体积场景表示。我们证明,这种整体视图的联合场景重建,语义,和实例分割是有益的独立处理的任务,从而优于其他方法。
2022-05-16 cs.CV
Uncertainty quantification in medical image segmentation with normalizing flows
University of Copenhagen(哥本哈根大学);Cerebriu A/S
由于诸如部分体积和解剖定义的变化等因素,医学图像分割本质上是一项模糊的任务。虽然在大多数情况下,分割的不确定性是围绕感兴趣的结构的边界,也可以有相当大的评分者之间的差异。条件变分自编码器(cVAE)类提供了一种原则性的方法来推断以输入图像为条件的合理分割的分布。从这样的分布的样本估计的分割不确定性可以比使用像素级概率分数更有信息性。在这项工作中,我们提出了一种新的条件生成模型,是基于条件规范化流(cFlow)。基本思想是通过在编码器之后引入cFlow变换步骤来增加cVAE的表达能力。这产生了潜在的后验分布的改进的近似,允许模型捕获更丰富的分割变化。通过这一点,我们表明,从我们的条件生成模型获得的样本的质量和多样性得到了增强。我们的模型,我们称之为cFlow Net的性能进行了评估,在两个医学成像数据集上,与最近的基于cVAE的模型相比,在定性和定量测量方面都有了实质性的改善。
2020-08-04 cs.CV cs.LG stat.ML
Adaptive Morphological Reconstruction for Seeded Image Segmentation
Shaanxi University of Science and Technology(陕西科技大学);Northwestern Polytechnical University(西北工业大学);The University of Sydney(悉尼大学);Shaanxi Normal University(陕西师范大学);Brunel University London(伦敦布鲁内尔大学);Tongji University(同济大学)
形态学重建(MR)通常用于种子图像分割算法,如分水岭变换和功率分水岭,因为它能够过滤种子(区域最小值)以减少过度分割。然而,MR可能会错误地过滤生成准确分割所需的有意义的种子,并且由于采用了单尺度结构元素,因此它对尺度也很敏感。本文提出了一种新的自适应形态重建(AMR)操作,具有三个优点。首先,AMR可以自适应过滤无用的种子,同时保留有意义的。其次,AMR对结构元素的尺度不敏感,因为采用了多尺度结构元素。最后,AMR具有两个吸引人的性质:单调递增性和收敛性,这有助于种子分割算法实现分层分割。实验结果表明,AMR算法对改进种子图像分割算法和基于种子的光谱分割算法是有效的。与几种最先进的算法相比,所提出的算法提供了更好的分割结果,需要更少的计算时间。源代码可在https://github.com/SUST-reynole/AMR上获得。
2019-04-08 cs.CV
DeepRecon: Joint 2D Cardiac Segmentation and 3D Volume Reconstruction via A Structure-Specific Generative Method
Rutgers University(罗格斯大学);SenseBrain Research(SenseBrain研究院);University of Arkansas for Medical Sciences(阿肯色大学医学院);Lund University(隆德大学);New York University(纽约大学)
联合二维心脏分割和三维体积重建是建立统计心脏解剖模型和从运动模式中理解功能机制的基础。然而,由于电影MR的低通过平面分辨率和高受试者间方差,准确分割心脏图像和重建3D体积是具有挑战性的。在这项研究中,我们提出了一个端到端的基于潜在空间的框架,DeepRecon,它可以生成多个临床基本结果,包括准确的图像分割,合成的高分辨率3D图像和3D重建体积。我们的方法识别包含心脏结构准确语义信息的电影图像的最佳潜在表示。特别是,我们的模型联合生成具有准确语义信息的合成图像和使用最佳潜在表示的心脏结构分割。我们进一步探索了不同潜在空间操作策略在三维形状重建和四维运动模式自适应的下游应用,同时生成的高分辨率图像对评估心脏的形状和运动具有很高的可解释性,实验结果证明了我们的方法在二维分割、三维重建和下游四维运动模式自适应性能等多个方面的有效性。
2022-06-14 cs.CV cs.LG eess.IV
Post Processing of image segmentation using Conditional Random Fields
Dept. of Computer Science & Engineering(计算机科学与工程系);Space Applications Center(空间应用中心);JMIETI(JMIETI学院);ISRO(印度空间研究组织)
本文研究了如何通过条件随机场提升图像分割结果的清晰度,分析了不同CRF类型在低质量卫星图像和高质量航拍照片上的表现,评估了不同方法的优缺点。
2025-10-10 cs.CV
Joint reconstruction-segmentation on graphs
Hausdorff Centre for Mathematics, Rheinische Friedrich-Wilhelms-Universität Bonn(波恩莱茵弗里德里希·威廉大学豪斯多夫数学中心);Delft Institute of Applied Mathematics, Technische Universiteit Delft(代尔夫特理工大学代尔夫特应用数学研究所);Maxwell Institute for Mathematical Sciences & School of Mathematical and Computer Sciences, Heriot-Watt University(赫瑞-瓦特大学麦克斯韦数学科学研究所与数学和计算机科学学院);Department of Applied Mathematics and Theoretical Physics, University of Cambridge(剑桥大学应用数学与理论物理系)
本文提出一种基于图分割的联合重建-分割方法,用于处理噪声或模糊图像,通过相互引导提升性能,实验表明其准确性优于顺序方法。
2023-01-20 cs.CV
Revisiting Image Reconstruction for Semi-supervised Semantic Segmentation
Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学)
自动编码是一种经典的特征表示学习策略,其目的是通过瓶颈潜在表示重构输入图像。它已被证明是有效的半监督学习的辅助任务,但近年来已成为更复杂的方法已经提出了不太受欢迎。在本文中,我们重新审视使用图像重建作为辅助任务的想法,并将其与现代半监督语义分割框架。令人惊讶的是,我们发现,这样一个旧的想法在半监督学习可以产生竞争的结果与国家的最先进的语义分割算法。通过可视化图像重建模块的中间层激活,我们表明特征映射通道可以与语义概念很好地相关,这解释了为什么与重建任务的联合训练有助于分割任务。受我们观察的启发,我们进一步提出了对图像重建任务的修改,旨在进一步将对象线索与背景模式分离。从各种数据集上的实验评估,我们表明,使用重建作为辅助损失可以导致各种数据集和方法的一致改进。所提出的方法可以进一步导致以对象为中心的分割任务的显着改善。
2023-03-17 cs.CV
Improving Open-Set Semantic Segmentation in 3D Point Clouds by Conditional Channel Capacity Maximization: Preliminary Results
University of Toronto(多伦多大学)
针对3D点云闭集语义分割模型难以处理未知类别的问题,提出基于条件通道容量最大化(3CM)的即插即用O3S框架,通过最大化类别条件下特征与预测的互信息提升未知类别分割检测能力,实验验证有效并指明未来方向。
2025-05-09 cs.CV eess.SP
JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields
The University of Tokyo(东京大学);Singapore University of Technology and Design(新加坡科技设计大学);Deakin University(迪肯大学);Hong Kong University of Science and Technology(香港科技大学)
深度学习技术已成为2D图像上大多数视觉相关任务的必备模型。然而,在3D空间中的几项任务中,它们的力量还没有完全实现,例如,三维场景理解。在这项工作中,我们共同解决的问题,语义和实例分割的三维点云。具体来说,我们开发了一个多任务逐点网络,同时执行两个任务:预测3D点的语义类,并将点嵌入到高维向量中,以便相同对象实例的点由类似的嵌入表示。然后,我们提出了一个多值条件随机场模型,将语义和实例标签和制定的语义和实例分割的问题,共同优化标签的字段模型。在不同的室内场景数据集(包括S3 DIS和SceneNN)上,对所提出的方法进行了全面评估,并与现有方法进行了比较。实验结果表明,所提出的联合语义-实例分割计划的鲁棒性超过其单一组件。我们的方法在语义分割上也取得了最先进的性能。
2019-04-05 cs.CV
Segmentation-guided MRI reconstruction for meaningfully diverse reconstructions
University of Tübingen(蒂宾根大学);University of Lucerne(卢塞恩大学)
针对加速 MRI 重建的病态性导致下游分割任务存在不确定性且易忽略罕见病理的问题,提出在扩散模型推理中添加分割引导,生成对应分割上下界的多样性重建,并通过两者差异量化重建不确定性。
2024-07-25 cs.CV eess.IV
An End-to-End Robust Point Cloud Semantic Segmentation Network with Single-Step Conditional Diffusion Models
NJUST(南京理工大学);THU(清华大学);SDU(山东大学);SJTU(上海交通大学)
针对3D场景理解中条件DDPMs拟合分数困难且耗时长的问题,提出基于条件噪声框架的端到端语义分割网络CDSegNet,通过将噪声网络建模为可学习生成器增强泛化与鲁棒性,实现单步推理并达到SOTA性能。
2025-04-01 cs.CV
Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation
University of California, Irvine(加州大学尔湾分校)
CNN架构具有出色的识别性能,但依赖于空间池,这使得它们难以适应需要密集,像素精确标记的任务。本文的主要贡献有两点:(1)我们证明了虽然卷积特征映射的表观空间分辨率较低,但高维特征表示包含重要的亚像素定位信息。(2)我们描述了一种基于拉普拉斯金字塔的多分辨率重建架构,该架构使用来自较高分辨率特征图的跳过连接和乘法门控来连续细化从较低分辨率图重建的段边界。这种方法在PASCAL VOC和Cityscapes分割基准上产生了最先进的语义分割结果,而无需采用更复杂的随机场推理或实例检测驱动的架构。
2016-07-30 cs.CV
Conditional Latent Diffusion Models for Zero-Shot Instance Segmentation
German Aerospace Center (DLR)(德国航空航天中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Technical University of Munich(慕尼黑技术大学)
本文提出OC-DiT条件潜在扩散模型,通过对象模板和图像特征引导生成实例掩码,实现零样本实例分割,在多个真实基准上达到最先进性能。
2025-08-06 cs.CV
Position Prediction Self-Supervised Learning for Multimodal Satellite Imagery Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
针对卫星图像语义分割中标注数据受限且现有自监督方法侧重重建忽视定位的问题,提出适配多模态数据的LOCA位置预测自监督学习方法,通过扩展通道分组与同组注意力掩码促进跨模态交互,在Sen1Floods11数据集上显著优于基于重建的方法。
2025-07-16 cs.AI cs.CV
Conditional Diffusion Models for Weakly Supervised Medical Image Segmentation
University of Notre Dame(圣母大学);National Tsing Hua University(台湾清华大学);The Chinese University of Hong Kong(香港中文大学)
本文提出利用条件扩散模型中蕴含的类别感知语义信息,通过近似输出对输入条件的导数来生成预测掩码,在仅使用图像级标注的弱监督医学图像分割任务中超越了现有CAM和扩散模型方法,且时间效率更高。
2023-09-15 cs.CV
Pano3D: Unified 3D Reconstruction and Panoptic Segmentation
Google DeepMind(谷歌DeepMind);LIGM, École des Ponts, IP Paris, Univ Gustave Eiffel, CNRS(LIGM, 巴黎高科桥梁学院, 巴黎理工学院, 古斯塔夫·埃菲尔大学, 法国国家科学研究中心)
提出统一框架,在3D前馈重建网络中集成全景分割,通过联合训练几何与语义损失实现互惠提升,在多个数据集上达到最优性能。
2026-07-01 cs.CV
E-CRF: Embedded Conditional Random Field for Boundary-caused Class Weights Confusion in Semantic Segmentation
Peking University(北京大学);MEGVII Technology(旷视科技)
现代语义分割方法致力于从结构设计、注意机制等方面调整图像特征表示以提高分割性能,但几乎所有方法都忽略了分割模型中类别权重的特殊性。在本文中,我们注意到,类别的权重往往共享许多相邻的边界像素缺乏歧视,从而限制了性能。我们将此问题称为边界引起的类权重混淆(BCWC)。本文针对这一问题,提出了嵌入式条件随机场(E-CRF)方法,将条件随机场融合到CNN网络中,使其成为一个有机的整体,实现了更有效的端到端优化。原因有二。该方法利用CRF引导高层特征中像素之间的信息传递,借助属于同一对象的内部像素,对边界像素的特征表示进行净化。更重要的是,它可以在反向传播过程中从规模和方向上优化类权重。此外,本文将超像素技术引入到E-CRF中,作为一种辅助手段,利用局部对象先验知识,提高消息传递的可靠性。最后,我们提出的方法在ADE 20 K,Cityscapes和Pascal Context数据集上产生了令人印象深刻的结果。
2023-02-13 cs.CV
Semantic Segmentation from Image Labels by Reconstruction from Structured Decomposition
本文提出将弱监督图像分割重新定义为基于掩码的图像分解重建问题,隐式嵌入正则化,在初步实验中表现出良好效果和对背景歧义的鲁棒性。
2024-09-02 cs.CV
Anti-aliasing Semantic Reconstruction for Few-Shot Semantic Segmentation
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
在Few-Shot语义分割方面取得了令人鼓舞的进展,这是通过利用在具有足够训练数据的基础类上学习的特征来表示具有Few-Shot示例的新类。然而,这种特征共享机制不可避免地会导致新类之间的语义混淆,当它们具有相似的语义概念组合时。在本文中,我们重新制定的Few-Shot分割作为一个语义重建问题,并转换为一系列的基础类功能的基础向量,跨越一个类级的语义空间,新的类重建。通过引入对比损失,我们最大限度地提高了基向量的正交性,同时最大限度地减少了类之间的语义混淆。在重建的表示空间内,我们进一步抑制其他类的干扰,通过投影查询功能的支持向量精确的语义激活。我们提出的方法,称为抗锯齿语义重建(ASR),提供了一个系统的,但可解释的解决方案,少样本学习的问题。在PASCAL VOC和MS COCO数据集上进行的大量实验表明,与以前的工作相比,ASR取得了很好的效果。
2021-06-01 cs.CV
Accuracy of MAP segmentation with hidden Potts and Markov mesh prior models via Path Constrained Viterbi Training, Iterated Conditional Modes and Graph Cut based algorithms
UTN- Universidad Tecnológica Nacional(阿根廷国家科技大学);Famaf- Facultad de Matemática Astronomía y Física, Universidad Nacional de Córdoba(科尔多瓦国立大学数学天文物理学院);Facultad de Ingeniería, FCEFyN, Universidad Nacional de Córdoba(科尔多瓦国立大学工程学院与自然科学与精确科学学院);Universidad Nacional del Sur(南方国立大学)
在本文中,我们研究了两种不同的马尔可夫场环境的像素图像分割的统计分类精度,考虑标签的图像作为隐藏状态和解决的MAP方程的解决方案,这样的标签的估计。假设所有模型中的发射分布相同,不同之处在于标记随机场上的马尔可夫先验假设。先验标记知识将用a)二阶各向异性马尔可夫网格和b)经典各向同性Potts模型建模。在这样的模型下,我们将考虑三种不同的分割过程,用于隐马尔可夫网格的2D路径约束Viterbi训练,用于一阶各向同性Potts模型的基于图切割的分割,以及用于二阶各向同性Potts模型的ICM(迭代条件模式)。我们提供了所有三种方法的统一视图,并调查分类的拟合优度,研究参数估计,计算增益和自动化程度对统计测量总体准确度,相对改善和Kappa系数的影响,允许对来自牙科诊断X射线摄影领域的合成和真实实验数据进行稳健和准确的统计分析。所有算法,使用学习的参数,生成良好的分割时,图像具有清晰的多模态直方图很少的相互作用。次优学习在非独特模式的情况下被证明是脆弱的,这限制了可用模型的复杂性,因此也限制了可实现的出错率。所有编写的Matlab代码都在工具箱中提供,可从我们的网站下载,遵循可复制的研究范式。
2013-07-11 cs.CV cs.LG stat.ML
CRISP: A Framework for Cryo-EM Image Segmentation and Processing with Conditional Random Field
Department of Applied Mathematics(应用数学系);National Sun Yat-sen University(中山大学)
本文提出模块化CRISP框架,自动生成冷冻电镜分割真值标签,并结合CRF细化预测,在有限训练数据下实现高精度,且下游三维重建优于现有挑选器。
2025-02-12 cs.AI cs.CV eess.IV
SRSNetwork: Siamese Reconstruction-Segmentation Networks based on Dynamic-Parameter Convolution
School of Automation and Intelligent Sensing & Institute of Image Processing and Pattern Recognition & Institute of Medical Robotics, Shanghai Jiao Tong University(自动化与智能感知学院及图像处理与模式识别研究所及医学机器人研究所,上海交通大学);School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China(生物医学工程学院,生命科学与医学系,中国科学技术大学);Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州市先进研究院);School of Computer Science and Technology, Zhejiang Normal University(计算机科学与技术学院,浙江师范大学);Harbin Institute of Technology(哈尔滨工业大学)
针对动态卷积在医学和红外小目标分割中因数据有限导致拟合能力不足的问题,提出动态参数卷积(DPConv),构建孪生重建-分割网络(SRS),利用重建任务深层特征生成自适应卷积核以增强分割性能,在七个数据集上表现优异且具备零样本泛化能力。
2025-09-15 cs.CV
Superpixel-enhanced Pairwise Conditional Random Field for Semantic Segmentation
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Air Force Research Laboratory(空军研究实验室)
基于超像素的高阶条件随机场(CRF)在逐像素标记问题(如语义分割)中有效地执行长程一致性。然而,与成对模型相比,它们的主要缺点是学习高阶势和额外的超参数和/或权重的时间要长得多。本文提出了一个超像素增强的成对CRF框架,包括传统的成对以及我们提出的超像素增强的成对(SP-成对)的潜力。SP-成对电位通过调节分段滤波图像来结合基于超像素的高阶线索,并且与常规成对电位共享相同的参数集。因此,所提出的超像素增强的成对CRF在参数学习中具有较低的时间复杂度,同时在推理精度方面优于高阶CRF。此外,新方案通过重用其参数和/或权重来利用预训练的成对模型,即使没有训练,也可以在CRF-RNN的基础上显著提高精度。在MSRC-21和PASCAL VOC 2012数据集上的实验验证了该方法的有效性。
2018-05-29 cs.CV
Fully Convolutional Neural Networks for Raw Eye Tracking Data Segmentation, Generation, and Reconstruction
Eberhard Karls University Tübingen(图宾根埃伯哈德·卡尔斯大学)
在本文中,我们使用完全卷积神经网络的眼动追踪数据的语义分割。我们还使用这些网络进行重建,并结合变分自动编码器来生成眼动数据。我们的方法的第一个改进是不需要输入窗口,因为使用了全卷积网络,因此可以直接处理任何输入大小。第二个改进是所使用和生成的数据是未经预处理的原始眼动追踪数据(位置X、Y和时间)。这是通过预先初始化第一层中的滤波器并沿着z轴构建输入张量来实现的。我们在三个公开的数据集上评估了我们的方法,并将结果与最先进的方法进行了比较。
2021-01-17 cs.CV cs.HC cs.LG
Single Pixel Reconstruction for One-stage Instance Segmentation
Hangzhou Dianzi University(杭州电子科技大学);Zhejiang International Studies University(浙江外国语学院);University of Sydney(悉尼大学)
目标实例分割是计算机视觉中最基本也是最具挑战性的任务之一,它要求对图像进行像素级的理解。大多数现有的方法解决这个问题,通过添加一个掩模预测分支的区域建议网络(RPN)的两阶段的对象检测器。虽然产生了良好的分割结果,这些两阶段的方法的效率是远远不能令人满意的,限制了它们在实践中的适用性。在本文中,我们提出了一个一阶段的框架,SPRNet,它执行有效的实例分割通过引入一个单像素重建(SPR)分支,现成的一阶段检测器。增加的SPR分支直接从卷积特征图中的每个像素重建像素级掩模。使用相同的ResNet-50主干,SPRNet以更高的推理速度实现了与Mask R-CNN相当的掩码AP,并在每个尺度上与RetinaNet相比获得了对框AP的全面改进。
2019-05-17 cs.CV
Joint Neural SDF Reconstruction and Semantic Segmentation for CAD Models
New Jersey Institute of Technology(新泽西理工学院)
本研究提出一种CAD模型神经SDF联合重建与语义分割流程,增设轻量分割头,支持任意零件数网格的单次重建与分割,在ABC数据集上表现优异,为无固定分类体系的语义结构化CAD网格获取提供实用方案。
2025-10-04 cs.CV cs.GR
PanopticRecon: Leverage Open-vocabulary Instance Segmentation for Zero-shot Panoptic Reconstruction
Zhejiang University(浙江大学);Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司)
本文提出PanopticRecon,利用开放词汇实例分割和三维实例图分割实现零样本全景重建,在ScanNet V2和KITTI-360上取得领先效果。
2024-07-01 cs.CV cs.RO
Higher Order Conditional Random Fields in Deep Neural Networks
University of Oxford(牛津大学)
我们使用深度学习来解决语义分割的问题。大多数分割系统包括条件随机场(CRF),以产生与图像的视觉特征一致的结构化输出。最近的深度学习方法将CRF纳入了卷积神经网络(CNN),有些甚至与网络的其余部分端到端地训练CRF。然而,这些方法没有采用高阶势,这已经被证明可以显着提高分割性能。在本文中,我们证明了基于目标检测和超像素的两种类型的高阶势可以包含在嵌入深度网络的CRF中。我们设计这些高阶的潜力,让推理与微分平均场算法。因此,我们更丰富的CRF模型的所有参数都可以通过我们的逐像素CNN分类器进行端到端学习。我们实现了最先进的分割性能的PASCAL VOC基准与这些可训练的高阶电位。
2016-07-29 cs.CV
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Istanbul Technical University(伊斯坦布尔理工大学);King’s College London(伦敦国王学院)
医学图像中的解剖结构分割已经成功地用深度学习方法解决了一系列应用。然而,这种成功在很大程度上取决于被分割的图像的质量。在医学图像分析领域中,一个通常被忽视的问题是大量的临床图像由于器官运动、患者移动和/或图像采集相关问题而具有严重的图像伪影。在本文中,我们讨论了图像运动伪影对心脏MR分割的影响,并比较了各种方法,共同纠正伪影和分割的心腔。该方法基于我们最近开发的联合伪影检测和重建方法,该方法使用联合损失函数从k空间重建高质量的MR图像,并且通过强制执行数据一致性项,基本上将伪影校正任务转换为欠采样图像重建任务。在本文中,我们建议在端到端框架中使用与此相结合的分割网络。我们的训练优化了三个不同的任务:1)图像伪影检测,2)伪影校正和3)图像分割。我们训练重建网络,使用综合损坏的心脏MR k空间数据和未校正的重建图像自动校正运动相关伪影。使用来自英国生物库数据集的500个2D+时间电影MR采集的测试集,我们在存在合成运动伪影的情况下实现了明显良好的图像质量和高分割精度。与各种图像校正架构相比,我们展示了更好的性能。
2020-07-03 cs.CV cs.LG eess.IV
Conditional Random Field and Deep Feature Learning for Hyperspectral Image Segmentation
Institute of Integrated and Intelligent Systems, Griffith University(格里菲斯大学集成与智能系统研究所);School of Engineering and Information Technology, University of New South Wales at Canberra(新南威尔士大学堪培拉校区工程与信息技术学院);Laboratoire Grenoblois de l’Image, de la Parole, du Signal et de l’Automatique (GIPSA-Lab), Grenoble Institute of Technology(格勒诺布尔理工学院图像、语音、信号与自动化实验室);Faculty of Electrical and Computer Engineering, University of Iceland(冰岛大学电气与计算机工程学院)
图像分割是高光谱遥感图像处理的关键任务之一。最近,卷积神经网络(CNN)已经建立了自己作为一个强大的模型,在分割和分类,表现出优异的性能。使用图形模型,如条件随机场(CRF)有助于进一步捕捉上下文信息,从而提高分割性能。在本文中,我们提出了一种方法来分割高光谱图像的光谱和空间信息通过组合框架组成的CNN和CRF。我们使用多个谱立方体使用CNN来学习深度特征,然后用基于CNN的一元和成对势函数来制定深度CRF,以有效地提取由三维数据立方体组成的补丁之间的语义相关性。有效的分段训练,以避免计算昂贵的迭代CRF推理。此外,我们引入了一个深度去卷积网络,它改进了分割掩码。我们还引入了一个新的数据集,并在其上与几个广泛采用的基准数据集一起实验了我们提出的方法,以评估我们方法的有效性。通过比较我们的结果与那些从几个国家的最先进的模型,我们展示了我们的方法的潜力。
2017-12-27 cs.CV
Rewis3d: Reconstruction Improves Weakly-Supervised Semantic Segmentation
Saarland University(萨尔兰大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所);ETH Zurich(苏黎世联邦理工学院)
Rewis3d通过利用3D重建作为辅助监督信号,提升弱监督语义分割的性能,优于现有方法2-7%。
2026-03-06 cs.CV
From Instance Segmentation to 3D Growth Trajectory Reconstruction in Planktonic Foraminifera
本研究提出一种结合实例分割与房室排序算法的端到端流水线,从高分辨率CT扫描中自动重建浮游有孔虫的三维房室生长轨迹,显著减少人工工作量并保持生物学准确性,为大规模生态研究奠定基础。
2025-11-04 cs.CV
Split4D: Decomposed 4D Scene Reconstruction Without Video Segmentation
Zhejiang University China;Shanghai AI Lab China;State Key Lab of CAD\&CG, Zhejiang University China;Zhejiang University;Shanghai AI Lab;State Key Lab of CAD\&CG, Zhejiang University
Split4D通过Freetime FeatureGS和流式特征学习策略,实现无需视频分割的4D场景重建,提升重建质量。
2025-12-28 cs.CV
A Multi-Layer Approach to Superpixel-based Higher-order Conditional Random Field for Semantic Image Segmentation
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Rome Airforce Research Lab(罗马空军研究实验室)
基于超像素的高阶条件随机场(SP-HO-CRF)因其在计算机视觉中为逐像素标记执行短和长空间邻接的有效性而闻名。然而,它们的高阶势通常太复杂而无法学习,并且在执行推理时经常产生高计算成本。我们提出了一种新的近似方法SP-HO-CRF,解决了这些问题。我们的方法是一个多层的CRF框架,继承了简单的成对CRF制定成相同的成对电位在第一层的高阶和成对线索。本质上,该方法通过重新使用成对CRF的预先训练的参数和/或权重,在没有训练的情况下基于成对CRF提供准确性增强。所提出的多层方法在描绘诸如“树”和“灌木丛”之类的对象类别的边界细节(边界)方面表现得特别好。在MSRC-21和PASCAL VOC 2012数据集上进行的多组实验验证了所提方法的有效性和效率。
2018-04-05 cs.CV
Multi-task Learning To Improve Semantic Segmentation Of CBCT Scans Using Image Reconstruction
Salzburg University of Applied Sciences(萨尔茨堡应用科学大学);MedPhoton GmbH(MedPhoton有限公司);University of Salzburg(萨尔茨堡大学)
提出结合容积重建与去噪的多任务学习框架,利用 LiTS 合成 CBCT 数据验证,基于图像块的方法可在多数情况下提升分割性能。
2024-12-02 cs.CV eess.IV
Brain Segmentation from k-space with End-to-end Recurrent Attention Network
Siemens Healthineers(西门子医疗);Rutgers University(罗格斯大学)
医学图像分割的任务通常涉及图像重建步骤,以在任何分析之前将采集的原始数据转换为图像。然而,由于重建过程中的噪声,伪影和信息丢失几乎是不可避免的,这损害了分割的最终性能。我们提出了一种新的学习框架,直接从k空间数据进行磁共振脑图像分割。端到端的框架包括一个独特的任务驱动的注意力模块,该模块反复利用中间分割估计,以促进从原始数据中的图像域特征提取,从而紧密地桥接重建和分割任务。此外,为了解决手动标记的挑战,我们引入了一种新的工作流程,通过利用成像模态模拟器和数字幻影生成标记的训练数据进行分割。大量的实验结果表明,该方法优于几个国家的最先进的方法。
2019-07-21 cs.CV
Kullback-Leibler Divergence-Based Fuzzy $C$-Means Clustering Incorporating Morphological Reconstruction and Wavelet Frames for Image Segmentation
虽然图像的空间信息通常增强了模糊C均值(FCM)算法的鲁棒性,但它大大增加了图像分割的计算量。为了实现分割性能和聚类速度之间的良好权衡,我们提出了一个Kullback-Leibler(KL)的分歧为基础的FCM算法,将紧小波框架变换和形态重建操作。为了提高FCM的鲁棒性,首先通过使用形态学重构对观察图像进行滤波。采用紧小波框架系统对观测图像和滤波图像进行分解,形成特征集。将这些特征集作为聚类的数据,提出了一种改进的FCM算法,该算法在目标函数中引入了划分矩阵中的KL发散项。KL散度项的引入使得图像中每个像素的隶属度与相邻像素的隶属度更加接近,从而使得隶属度划分更加合理,简化了FCM的参数设置。在得到的分割矩阵和原型的基础上,通过最小化修正目标函数的逆过程来重构分割后的特征集。为了修改重建过程中产生的异常特征,将每个重建特征重新分配给最接近的原型。结果表明,基于KL散度的FCM的分割精度得到了进一步提高。分割后的图像通过小波紧框架重构操作进行重构。最后,支持实验处理合成,医学和彩色图像的报告。实验结果表明,该算法效果良好,具有更好的分割性能比其他比较算法。此外,该算法需要更少的时间比大多数FCM相关的算法。
2020-07-01 cs.CV
Image Segmentation, Compression and Reconstruction from Edge Distribution Estimation with Random Field and Random Cluster Theories
该研究利用随机场和随机簇理论估计图像最小有界区域及强度分布,提出仅需略多于半数像素即可最坏情况下重建图像的压缩方法,并结合定制深度信念网络实现无监督对象分割、检测与定位。
2023-04-26 cs.CV eess.IV
PointDiffuse: A Dual-Conditional Diffusion Model for Enhanced Point Cloud Semantic Segmentation
Anhui University(安徽大学);Hunan University(湖南大学);Xidian University(西安电子科技大学);University of Western Australia(西澳大学);Central Queensland University(中央昆士兰大学);Australian National University(澳大利亚国立大学)
本文提出PointDiffuse双条件扩散模型,通过噪声标签嵌入、点频率变换器和去噪PointNet加速去噪并降低计算复杂度,在多个点云分割基准上取得领先性能。
2025-03-11 cs.CV
Incorporating Depth into both CNN and CRF for Indoor Semantic Segmentation
South China University of Technology(华南理工大学)
为了提高分割性能,提出了一种新的神经网络结构(DFCN-DCRF),它将RGB-D全卷积神经网络(DFCN)与深度敏感的全连接条件随机场(DCRF)相结合。首先,设计了一种DFCN架构,该架构将深度信息融合到早期层中,并将扩张卷积应用于后续的上下文推理。然后,提出了一个深度敏感的全连接条件随机场(DCRF),并结合以前的DFCN完善的初步结果。对比实验表明,所提出的DFCN-DCRF具有最好的性能相比,大多数国家的最先进的方法。
2018-07-27 cs.CV
Context-Guided Spatial Feature Reconstruction for Efficient Semantic Segmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出CGRSeg框架,通过矩形自校准模块和动态原型引导头实现高效语义分割,在ADE20K上以4.0 GFLOPs达到43.6% mIoU,优于现有方法。
2024-07-18 cs.CV
Semantic Segmentation and Scene Reconstruction of RGB-D Image Frames: An End-to-End Modular Pipeline for Robotic Applications
Analog Garage, Analog Devices, Inc.(Analog Garage,Analog Devices 公司)
提出一种端到端模块化RGB-D处理流水线,集成SAM2语义分割、人体跟踪与点云融合,提升分割精度与效率,并以USD格式存储支持机器人应用。
2025-04-22 cs.CV cs.RO
Deep Neural Networks for Surface Segmentation Meet Conditional Random Fields
The University of Iowa(爱荷华大学);The University of Science and Technology of China(中国科学技术大学)
自动表面分割在许多医学图像分析应用中是重要且具有挑战性的。最近的基于深度学习的方法已经被开发用于各种对象分割任务。它们中的大多数是基于分类的方法(例如,U-net),其预测每个体素成为目标对象或背景的概率。这些方法的一个问题是分割后的物体缺乏拓扑保证,通常需要后处理来推断物体的边界曲面。本文提出了一种基于三维卷积神经网络(CNN)和条件随机场(CRF)的新模型来解决端到端训练的表面分割问题。据我们所知,这是第一个研究应用3-D神经网络与CRF模型直接表面分割。在NCI-ISBI 2013 MR前列腺数据集和Medical Segmentation Decathlon Spleen数据集上进行的实验证明了有希望的分割结果。
2019-09-23 cs.CV cs.LG
CondNet: Conditional Classifier for Scene Segmentation
Huazhong University of Science and Technology(华中科技大学)
全卷积网络(FCN)在密集的视觉识别任务中取得了巨大的成功,例如场景分割。FCN的最后一层通常是一个全局分类器(1x 1卷积),用于将每个像素识别为语义标签。我们的经验表明,这种全局分类器,忽略类内的区别,可能会导致次优的结果。在这项工作中,我们提出了一个条件分类器,以取代传统的全局分类器,其中的分类器的内核是动态生成的输入条件。新分类器的主要优点包括:(i)它关注类内区分,导致更强的密集识别能力;(ii)条件分类器简单灵活,可以集成到几乎任意的FCN架构中,以提高预测能力。大量的实验表明,所提出的分类器上的FCN架构优于传统的分类器。配备条件分类器(称为CondNet)的框架在两个数据集上实现了新的最先进的性能。代码和模型可在https://git.io/CondNet上获得。
2021-09-21 cs.AI cs.CV cs.LG
Segmentation-Guided Knee Radiograph Generation using Conditional Diffusion Models
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
本文提出两种将分割信息作为条件引入扩散模型的方法(条件采样与条件训练),用于从轮廓和骨骼分割生成膝关节X光片,实验表明条件训练方法生成效果优于条件采样和传统U-Net。
2024-04-04 cs.CV eess.IV