A Gift from the Integration of Discriminative and Diffusion-based Generative Learning: Boundary Refinement Remote Sensing Semantic Segmentation
School of Geosciences and Info-Physics, Central South University(地质科学与信息物理学院,中南大学);College of Computer Science, Inner Mongolia University(计算机学院,内蒙古大学)
本文提出IDGBR框架,整合判别与生成学习,通过粗分割图与原始图像的联合学习,利用迭代去噪扩散过程实现遥感图像边界精细化分割。
2026-01-27 cs.CV
Learning a Discriminative Feature Network for Semantic Segmentation
Key Laboratory of Ministry of Education for Image Processing and Intelligent ControlSchool of Automation, Huazhong University of Science and Technology(华中科技大学自动化学院图像处理与智能控制教育部重点实验室);Key Laboratory of Machine Perception, Peking University(北京大学机器感知重点实验室);Megvii Inc. (Face++)(旷视科技(Face++))
现有的大多数语义分割方法仍然受到两个方面的挑战:类内不一致和类间模糊。为了解决这两个问题,我们提出了一个判别特征网络(DFN),它包含两个子网络:平滑网络和边界网络。具体来说,为了处理类内不一致问题,我们专门设计了一个带有通道注意块和全局平均池的平滑网络来选择更具鉴别力的特征。此外,我们提出了一个边界网络,使边界的双边特征可区分的深层语义边界监督。基于我们提出的DFN,我们在PASCAL VOC 2012上实现了86.2%的平均IOU,在Cityscapes数据集上实现了80.3%的平均IOU。
2018-04-25 cs.CV
Semantic Image Segmentation with Task-Specific Edge Detection Using CNNs and a Discriminatively Trained Domain Transform
Google Inc.(谷歌公司)
深度卷积神经网络(CNN)是最先进的语义图像分割系统的支柱。最近的工作表明,用全连接条件随机场(CRF)补充CNN可以显着提高其对象定位精度,但密集的CRF推理在计算上是昂贵的。我们建议用域变换(DT)代替完全连接的CRF,域变换是一种现代的边缘保持滤波方法,其平滑量由基准边图控制。域变换过滤比密集CRF推理快几倍,我们表明,它产生可比的语义分割结果,准确地捕捉对象边界。重要的是,我们的公式允许从中间CNN特征学习基准边图,而不是像标准DT滤波那样使用图像梯度幅度。这在优化目标语义分割质量的端到端可训练系统中产生任务特定的边缘。
2016-06-02 cs.CV
Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images
University of Washington(华盛顿大学);University of Vermont(佛蒙特大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在本文中,我们介绍了一个概念上简单的网络,用于生成判别性组织级分割掩模,用于乳腺癌诊断。我们的方法有效地分割乳腺活检图像中不同类型的组织,同时预测用于识别图像中重要区域的判别图。我们的网络Y-Net通过添加一个用于区分映射生成的并行分支和支持卷积块模块化来扩展和推广U-Net,这允许用户在不改变网络拓扑的情况下调整网络效率。Y-Net提供了最先进的分割精度,同时学习的参数比最接近的竞争对手少6.6倍。与最先进的诊断分类方法相比,Y-Net的判别分割模板增加了描述能力,使诊断分类准确率提高了7%。源代码可在https://sacmehta.github.io/YNet上获得。
2018-06-04 cs.CV
ELKPPNet: An Edge-aware Neural Network with Large Kernel Pyramid Pooling for Learning Discriminative Features in Semantic Segmentation
Wuhan University(武汉大学)
语义分割一直是各个领域的研究热点。随着深度卷积神经网络的成功,语义分割在城市场景解析和室内语义分割方面都取得了很大的成就和改进。然而,大多数最先进的模型仍然面临着区别性特征学习的挑战,这限制了模型检测多尺度对象的能力,并保证一个对象内部的语义一致性或区分具有相似外观的不同相邻对象。提出了一种实用高效的边缘感知神经网络用于语义分割。这个端到端的可训练引擎由一个新的编码器-解码器网络、一个大的内核空间金字塔池化(LKPP)块和一个边缘感知损失函数组成。编码器-解码器网络被设计为平衡结构,以缩小多级特征聚合中的语义和分辨率差距,而LKPP块被构造为具有密集扩展的感受野,用于多尺度特征提取和融合。此外,提出了新的强大的边缘感知损失函数,直接从语义分割预测中细化边界,以获得更鲁棒和更具鉴别力的特征。使用Cityscapes,CamVid和NYUDv 2基准数据集证明了该模型的有效性。在Cityscapes数据集上验证了ELKPPNet中两种结构和边缘感知损失函数的性能,而在CamVid和NYUDv 2数据集上评估了完整的ELKPPNet。在相同条件下与现有方法的比较分析证实了该算法的优越性。
2019-06-27 cs.CV
Learning Discriminative Feature with CRF for Unsupervised Video Object Segmentation
Hong Kong University of Science and Technology(香港科技大学);Everest Innovation Technology(珠峰创新科技)
在本文中,我们引入了一种新型网络,称为区分特征网络(DFNet),来解决无监督视频对象分割任务。为了捕捉视频帧之间的内在相关性,我们从输入图像中学习区分特征(D-特征),从全局角度揭示特征分布。然后使用D-特征在条件随机场(CRF)公式下与测试图像的所有特征建立对应关系,该公式用于执行像素之间的一致性。实验证明,DFNet的性能远远优于最先进的方法,平均IoU得分为83.4%,在DAVIS-2016排行榜上排名第一,同时使用更少的参数,并在推理阶段实现更高效的性能。我们在FBMS数据集和视频显着性数据集ViSal上进一步评估DFNet,达到了一个新的最先进水平。为了进一步证明我们框架的通用性,DFNet也被应用于图像对象共分割任务。我们在一个具有挑战性的数据集PASCAL-VOC上进行实验,并观察DFNet的优越性。通过实验验证了DFNet能够捕获和挖掘图像的底层关系,发现共同的前景对象。
2020-08-04 cs.CV
Real-time Instance Segmentation with Discriminative Orientation Maps
Zhejiang University(浙江大学)
虽然实例分割在近几年取得了长足的进步,但设计具有实时的【形】性能的高精度算法仍然是一个挑战。在本文中,我们提出了一个实时的【形】实例分割框架OrienMask。在一级目标检测器YOLOv3上,添加掩模头以预测一些有区别的方向图,这些方向图被明确定义为前景和背景像素的空间偏移向量。由于方向图的辨别能力,可以恢复掩模,而无需额外的前景分割。与相同锚点大小匹配的所有实例共享一个公共方向图。这种特殊的共享策略减少了用于掩码预测的摊销内存利用率,但不会损失掩码粒度。给定NMS之后的幸存框预测,实例掩码可以以低复杂度从对应的方向图并发地构造。由于掩模表示的简洁设计及其与基于锚的对象检测器的有效集成,我们的方法在实时的【形】条件下是合格的,同时保持竞争力的准确性。在COCO基准测试上的实验表明,OrienMask在单台RTX 2080 Ti上以42.7 fps的速度实现了34.8掩模AP。该代码可在https://github.com/duwt/OrienMask上获得。
2021-08-02 cs.CV
GMMSeg: Gaussian Mixture based Generative Semantic Segmentation Models
Zhejiang University(浙江大学);University of Technology Sydney(悉尼科技大学);Baidu Research(百度研究院)
流行的语义分割解决方案本质上是p(类)的密集判别分类器|像素特征)。虽然很简单,但这种事实上的范例忽略了底层的数据分布p(像素特征|类),并努力识别分发外的数据。除此之外,我们提出了GMMSeg,这是一个新的分割模型家族,它依赖于联合分布p(像素特征,类)的密集生成分类器。对于每个类,GMMSeg通过期望最大化(EM)构建高斯混合模型(GMM),以捕获类条件密度。同时,深度密集表示以区别性方式进行端到端训练,即,最大化p(类|像素特征)。这赋予GMMSeg生成和判别模型的优势。通过各种分割架构和主干,GMMSeg在三个闭集数据集上的性能优于判别式同行。更令人印象深刻的是,在没有任何修改的情况下,GMMSeg甚至在开放世界数据集上表现良好。我们相信这项工作为相关领域带来了根本性的见解。
2022-10-05 cs.CV
HiDiff: Hybrid Diffusion Framework for Medical Image Segmentation
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University(脑启发智能科学与技术研究院,复旦大学);Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University(上海智能信息处理重点实验室,复旦大学计算机学院)
本文提出 HiDiff 混合扩散框架,通过判别式分割器与新型 BBDM 扩散细化器交替协作,利用数据分布先验细化掩码,在多模态医学分割任务上取得领先性能。
2024-07-03 cs.CV
SARD: Segmentation-Aware Anomaly Synthesis via Region-Constrained Diffusion with Discriminative Mask Guidance
Global Institute of Future Technology(未来技术全球研究所);Shanghai Jiao Tong University(上海交通大学);Department of Intelligent Manufacturing(智能制造系);Contemporary Amperex Technology Co.,Ltd(当代电子技术有限公司)
SARD通过区域约束扩散与判别掩码引导方法,提升工业异常检测系统的鲁棒性,实现更精确的像素级异常合成。
2025-11-28 cs.CV
Discriminative Online Learning for Fast Video Object Segmentation
Linköping University(林雪平大学);ETH Zürich(苏黎世联邦理工学院);Inception Institute of Artificial Intelligence(人工智能研究院)
我们解决视频对象分割的高度挑战性的问题。仅给定初始掩码,任务是在后续帧中分割目标。为了有效地处理外观变化和相似的背景对象,需要对目标进行鲁棒的表示。以前的方法要么依赖于在第一帧上微调分割网络,要么采用生成外观模型。虽然部分成功,但这些方法经常遭受不切实际的低帧速率或不令人满意的鲁棒性。我们提出了一种新的方法,基于一个专门的目标外观模型,专门学习在线区分目标和背景图像区域。重要的是,我们设计了专门的损失和定制的优化技术,以实现高效的在线培训。我们的轻量级目标模型集成到精心设计的分割网络中,离线训练以增强目标模型生成的预测。在三个数据集上进行了广泛的实验。我们的方法在YouTube-VOS上获得了超过70分的总分,同时以每秒25帧的速度运行。
2019-04-18 cs.CV
End-to-End Fine-Grained Action Segmentation and Recognition Using Conditional Random Field Models and Discriminative Sparse Coding
Johns Hopkins University(约翰霍普金斯大学);University of Virginia(弗吉尼亚大学);Comcast AI Research(康卡斯特人工智能研究)
细粒度的动作分割和识别是一项重要而又具有挑战性的任务。给定一个长的,未修剪的运动数据序列,任务是在每个时间帧的动作分类和分段的时间序列到正确的动作序列。在本文中,我们提出了一种新的框架,结合了时间条件随机场(CRF)模型与一个强大的帧级表示基于歧视性稀疏编码。我们引入了一个端到端的算法,共同学习的CRF模型,其中包括动作分类和动作转换成本的权重,以及一个过度完整的字典中级动作原语。这导致CRF模型由稀疏编码特征驱动,该稀疏编码特征使用在不同动作之间共享并适应于结构化输出学习任务的判别字典获得。我们使用来自JIGSAWS数据集的运动学数据在三个手术任务上评估我们的方法,以及使用来自50个沙拉数据集的加速度计数据在食物准备任务上评估我们的方法。我们的研究结果表明,该方法的性能等同于或优于国家的最先进的方法。
2018-01-29 cs.CV
DRAgent: Discriminative Reasoning Agent for Referring Expression Segmentation
School of Computer Science and Technology, Hangzhou Dianzi University(杭州电子科技大学计算机科学与技术学院);Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院)
本文针对指代表达分割中MLLM单次坐标预测导致的定位偏差问题,提出DRAgent判别推理框架,通过两阶段目标选择与LoRA微调提升性能,在多个基准数据集上表现具竞争力。
2026-08-25 cs.CV
Selective Noise Suppression and Discriminative Mutual Interaction for Robust Audio-Visual Segmentation
Dalian University of Technology(大连理工大学);Yale University(耶鲁大学);University of Alberta(阿尔伯塔大学)
本文提出SDAVS方法,通过选择性噪声抑制处理器和判别音频视觉互融合策略,提升动态场景中音频视觉分割的鲁棒性与准确性。
2026-03-24 cs.CV
An Efficient Decomposition Framework for Discriminative Segmentation with Supermodular Losses
CentraleSupélec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);KU Leuven(鲁汶大学)
几个超模损失已被证明,以提高图像分割的感知质量的歧视性框架,如结构化输出支持向量机(SVM)。这些损失函数不一定具有与分段推理算法所使用的结构相同的结构,并且通常,我们可能不得不求助于通用子模最小化算法来进行损失增强推理。虽然这些都有多项式时间保证,但它们不适用于图像比例数据。许多超模损失来与强大的优化保证,但不容易纳入损失增广图切割过程。这促使我们的战略,采用交替方向的乘法器(ADMM)分解损失增广推理。在这样做的过程中,我们为结构化SVM创建了一个新的API,该API将模型的最大后验概率(MAP)推断与训练期间的损失增强分开。通过这种方式,我们获得了计算效率,使损失函数的新选择首次实用,同时使训练过程中采用的推理算法更接近测试时间过程。我们在Microsoft Research Grabcut数据库和大脑结构分割任务上显示了准确性和计算性能的改善,经验验证了在训练过程中使用几个超模损失函数,以及所提出的ADMM方法在Fujishige-Wolfe最小范数点算法上的改进计算性能。
2017-02-13 cs.CV
Generating Discriminative Object Proposals via Submodular Ranking
University of Maryland at College Park(马里兰大学帕克分校);Raytheon BBN Technologies(雷神BBN技术公司)
提出了一种基于多尺度贪婪的对象建议生成方法。基于图像中对象的多尺度性质,我们的方法是建立在一个分层分割的顶部。我们首先确定每个规模内的代表性和多样性的样本集群,通过使用多样性排名算法。通过最大化子模块目标函数从多尺度段池中选择子集来获得对象建议,该子模块目标函数由加权覆盖项、单尺度多样性项和多尺度奖励项组成。加权覆盖项迫使所选择的一组对象建议具有代表性和紧凑性;单尺度多样性项鼓励从不同的样本聚类中选择片段,使得它们将覆盖尽可能多的对象模式;多尺度奖励项鼓励所选择的建议具有区分性,并且从分层图像分割生成的多个层中选择。在Berkeley分割数据集和PASCAL VOC 2012分割数据集上的实验结果证明了该模型的准确性和有效性。此外,我们还在同时分割和检测方面验证了我们的对象提案,并超越了最先进的性能。
2016-02-11 cs.CV
TSGCNet: Discriminative Geometric Feature Learning with Two-Stream GraphConvolutional Network for 3D Dental Model Segmentation
Chongqing University of Posts and Telecommunications(重庆邮电大学);Xi’an Jiaotong University(西安交通大学);The University of Hong Kong(香港大学);ShanghaiTech University(上海科技大学);Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能有限公司);Korea University(高丽大学)
从数字化三维牙模型中精确分割牙齿的能力是计算机辅助正畸手术计划中的一项重要任务。迄今为止,基于深度学习的方法已被广泛用于处理此任务。最先进的方法直接连接3D输入的原始属性,即网格单元的坐标和法向量,以训练单流网络,用于全自动牙齿分割。然而,这具有忽略由这些原始属性提供的不同几何意义的缺点。这个问题可能会使网络在学习有区别的几何特征时感到困惑,并导致对牙齿模型的许多孤立的错误预测。针对这个问题,我们提出了一个双流图卷积网络(TSGCNet)学习多视图几何信息从不同的几何属性。我们的TSGCNet采用了两个图形学习流,以输入感知的方式设计,分别从坐标和法向量中提取更具鉴别力的高级几何表示。从设计的两个不同的流中学习的这些特征表示被进一步融合,以整合多视图互补信息,用于逐单元密集预测任务。我们评估了我们提出的TSGCNet上的3D口内扫描仪获得的牙齿模型的真实患者数据集,实验结果表明,我们的方法显着优于国家的最先进的3D形状分割的方法。
2020-12-26 cs.CV
Segmentation Mask Guided End-to-End Person Search
人物搜索是从多个监控摄像头拍摄的多幅图像中搜索出目标人物,面临着行人检测和人物重新识别的挑战。除了由于各种照明条件、遮挡和变化的姿势而导致的大的类内变化之外,检测到的行人边界框中的背景杂波进一步恶化了每个人的提取特征,使得它们的区分性降低。为了解决这些问题,我们开发了一种新的方法,该方法使用分割掩码来指导网络,以便可以学习对背景杂波不敏感的区分特征。我们证明了行人检测,人重新识别和行人分割的联合优化,使行人产生更多的区别特征,从而导致更好的人搜索性能。在基准数据集CUHK-SYSU上的大量实验表明,我们提出的模型分别以86.3%的mAP和86.5的top-1准确率达到了最先进的性能。
2019-08-27 cs.CV
Distance Guided Channel Weighting for Semantic Segmentation
Nanyang Technological University(南洋理工大学);Beihang University(北京航空航天大学)
最近的工作在通过利用深度神经网络捕获具有高通道数的特征来提高多个计算机视觉任务的性能方面取得了巨大成功。然而,许多通道提取的特征是没有区别的,包含大量的冗余信息。在本文中,我们解决上述问题,通过引入距离导引信道加权(DGCW)模块。DGCW模块是以逐像素上下文提取的方式构建的,其通过在建模其与其他像素的关系时对每个像素的特征向量的不同通道进行加权来增强特征的区分度。该方法可以充分利用特征图中的高区分度信息,而忽略特征图中的低区分度信息,并能捕捉到特征图中的长距离依赖关系。此外,通过将DGCW模块与基线分割网络相结合,我们提出了距离引导信道加权网络(DGCWNet)。我们进行了大量的实验,以证明DGCWNet的有效性。特别是,它在Cityscapes上实现了81.6%的mIoU,只有精细的注释数据用于训练,并且在另外两个语义分割数据集上也获得了令人满意的性能,即Pascal Context和ADE 20 K。代码将很快在https://github.com/LanyunZhu/DGCWNet上提供。
2022-05-13 cs.CV
Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding
Xiamen University(厦门大学);Chinese PLA General Hospital(中国人民解放军总医院);Deepwise AI Laboratory(深智云AI实验室)
尽管深度卷积神经网络在医学图像计算和分析方面取得了令人印象深刻的进展,但其监督学习的范式需要大量的注释进行训练,以避免过度拟合并获得有希望的结果。在临床实践中,大量的语义标注在某些需要专业生物医学专家知识的情况下是难以获得的,并且它也是一种常见的情况,只有少数注释类可用。在这项工作中,我们提出了一种新的方法,用于Few-Shot医学图像分割,它使分割模型能够快速推广到一个看不见的类与少量的训练图像。我们使用间歇训练的深度卷积网络构建我们的Few-Shot图像分割器。受医学图像空间一致性和规律性的启发,我们开发了一个高效的全局相关模块来捕获支持图像和查询图像之间的相关性,并将其纳入称为全局相关网络的深度网络中。此外,我们增强了深度嵌入的可辨别性,以鼓励同类特征域的聚类,同时保持不同器官的特征域远离。消融实验证明了所提出的全局相关模块和判别嵌入损失的有效性。在CT和MRI模式上对解剖腹部图像进行了广泛的实验,以证明我们所提出的模型的最先进的性能。
2020-12-10 cs.CV
Pixel-Level Domain Adaptation: A New Perspective for Enhancing Weakly Supervised Semantic Segmentation
Beihang University(北京航空航天大学);State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室);School of Computer Science and Engineering(计算机科学与工程学院);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
针对图像级WSSS中CAM仅激活判别性部位导致伪掩码不完整的问题,提出像素级域适应PLDA,通过多头对抗域分类器与置信伪监督学习像素域不变特征。
2024-08-04 cs.CV
Discriminative Parameter Estimation for Random Walks Segmentation: Technical Report
École Centrale Paris(巴黎中央理工学院);Université Paris-Est(巴黎东部大学);École des Ponts ParisTech(巴黎路桥学院);INRIA Saclay(法国国家信息与自动化研究所萨克莱分院);Institute of Myology(肌病学研究所);CEA(法国原子能和替代能源委员会);UPMC University Paris 06(巴黎第六大学)
随机游走(RW)算法是一种最有效、最容易使用的概率分割方法。通过将对比度项与先验项相结合,它以完全自动化的方式提供医学图像的准确分割。然而,使用RW算法的主要缺点之一是其参数必须手动调整。我们提出了一种新的判别学习框架,使用训练数据集估计参数。我们面临的主要挑战是训练样本没有得到充分的监督。特别地,它们提供了图像的硬分割,而不是概率分割。我们克服了这一挑战,治疗的最佳概率分割,是兼容给定的硬分割作为一个潜在的变量。这使我们能够采用潜在的支持向量机制定参数估计。我们表明,我们的方法显着优于基线方法在一个具有挑战性的数据集,包括真正的临床3D MRI体积的骨骼肌。
2013-06-05 cs.CV cs.LG
Discriminative Embedding Autoencoder with a Regressor Feedback for Zero-Shot Learning
零样本学习(Zero-shot learning,ZRL)的目的是利用类别的语义表示来识别新的对象类别,其核心思想是探索新类别与熟悉类别之间的语义关系。一些典型的模型是学习图像特征空间和语义空间之间的适当嵌入,而重要的是学习区分性特征,并包含由粗到细的图像特征和语义信息。在本文中,我们提出了一个判别式嵌入自编码器与回归反馈模型的可编程逻辑。编码器学习从图像特征空间到判别嵌入空间的映射,该映射通过裕度调节所学习的特征之间的类间距离和类内距离,使得所学习的特征对于对象识别是判别性的。回归量反馈学习将重构的样本映射回判别嵌入和语义嵌入,帮助解码器提高样本的质量,并为未见过的类提供泛化。在SUN、CUB、AWA 1、AWA 2四个基准数据集上对该模型进行了验证,实验结果表明,该模型的性能优于现有模型,特别是在广义零样本学习(GSTOL)方面,取得了显著的改进.
2019-07-18 cs.CV
Deconvolutional Feature Stacking for Weakly-Supervised Semantic Segmentation
Lunit Inc.(Lunit公司)
提出了一种基于约束解卷积神经网络的弱监督语义分割框架。框架中的每个反卷积层由解池化和反卷积操作组成。“Unpooling”基于由相应卷积层的池化操作定义的unpooling开关对输入特征图进行上采样。“Deconvolution”通过使用与相应卷积层的卷积操作绑定的卷积权重来卷积输入的未合并特征。解池化-去卷积组合有助于在特征提取阶段中消除较少区别的特征,因为去卷积层的输出特征是从最具区别的解池化特征而不是原始特征重建的。这导致像素级推断阶段中的假阳性减少。从整个反卷积层恢复的所有特征图可以根据不同的抽象级别构成丰富的鉴别特征集。这些功能被堆叠以有选择地用于生成特定于类别的激活图。在弱监督(图像级标签)下,所提出的框架在医学图像(胸部X射线)中的病变分割上显示出有希望的结果,并在相同的实验条件下在PASCAL VOC分割数据集上实现了最先进的性能。
2016-03-12 cs.CV
Discriminative Parameter Estimation for Random Walks Segmentation
École Centrale Paris(巴黎中央理工学院);Université Paris-Est(巴黎东大学);École des Ponts ParisTech(巴黎高科桥路学院);INRIA Saclay(法国国家信息与自动化研究所萨克雷中心);Institute of Myology(肌病学研究所);CEA(法国原子能和替代能源委员会);UPMC University Paris 06(巴黎第六大学(UPMC))
随机游走(RW)算法是一种最有效、最容易使用的概率分割方法。通过将对比度项与先验项相结合,它以完全自动化的方式提供医学图像的准确分割。然而,使用RW算法的主要缺点之一是其参数必须手动调整。我们提出了一种新的判别学习框架,使用训练数据集估计参数。我们面临的主要挑战是训练样本没有得到充分的监督。具体而言,它们提供了图像的硬分割,而不是概率分割。我们克服了这一挑战,治疗的最佳概率分割,是兼容给定的硬分割作为一个潜在的变量。这使我们能够采用潜在的支持向量机制定参数估计。我们表明,我们的方法显着优于基线方法在一个具有挑战性的数据集,包括真正的临床3D MRI体积的骨骼肌。
2013-08-30 cs.CV cs.LG
Discriminative Learning of Latent Features for Zero-Shot Recognition
CRIPAC & NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室与智能感知与计算研究中心);University of Chinese Academy of Sciences(中国科学院大学);University of Dundee(邓迪大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
零样本学习(Zero-shot learning,ZRL)通过学习图像和语义表示之间的嵌入空间来识别不可见的图像类别。多年来,在现有的工作中,它一直是中心任务,学习适当的映射矩阵对齐的视觉和语义空间,而学习的重要性,歧视性表示为CNOL被忽视。在这项工作中,我们回顾了现有的方法,并证明了学习的必要性,歧视性表示的视觉和语义的实例的CNOL。我们提出了一个端到端的网络,它能够1)通过缩放网络自动发现有区别的区域; 2)在为用户定义的属性和潜在属性引入的增强空间中学习有区别的语义表示。我们提出的方法进行了广泛的测试,在两个具有挑战性的数据集,实验结果表明,所提出的方法显着优于国家的最先进的方法。
2018-03-18 cs.CV
ROAD: Reciprocal-Objective Alignment of Discriminative Semantics for 3D Shape Generation
Huazhong University of Science and Technology(华中科技大学);Megvii(旷视科技);Zhejiang University(浙江大学)
ROAD框架通过迁移判别式3D基础模型的先验,采用互目标对齐策略,仅用1.5%训练数据就实现了高保真3D生成,大幅降低了计算开销。
2026-07-31 cs.CV
FDDH: Fast Discriminative Discrete Hashing for Large-Scale Cross-Modal Retrieval
Huaqiao University(华侨大学);Sun Yat-sen University(中山大学);Hong Kong Baptist University(香港浸会大学)
跨模态散列因其有效性和效率而受到广泛关注,以促进跨不同模态的高效检索。然而,大多数现有的方法在学习哈希码时没有充分利用语义信息的区分能力,同时经常涉及耗时的训练过程来处理大规模数据集。为了解决这些问题,我们制定了学习的相似性保持哈希码的正交旋转的语义数据,以尽量减少量化损失的映射这些数据到汉明空间,并提出了一个有效的快速判别离散哈希(FDDH)的大规模跨模态检索的方法。具体地说,FDDH引入正交基将训练样本的目标哈希码回归到其对应的语义标签,并利用“拖拽”技术提供可证明的大语义边界。因此,语义信息的区分能力可以被明确地捕获并最大化。进一步提出了一种正交变换方案,将非线性嵌入数据映射到语义子空间中,能够很好地保证数据特征与其语义表示的语义一致性。因此,一个有效的封闭形式的解决方案推导出的歧视性哈希码学习,这是非常计算效率。此外,一个有效的和稳定的在线学习策略,提出了优化特定模态的投影函数,具有适应不同的训练规模和流数据。所提出的FDDH方法理论上近似于双Lipschitz连续性,运行速度足够快,并且还显着提高了检索性能。源代码发布于:https://github.com/starxliu/FDDH。
2021-05-15 cs.CV
Discriminative Semantic Feature Pyramid Network with Guided Anchoring for Logo Detection
近年来,由于在多媒体领域的广泛应用,如知识产权保护、产品品牌管理、标识持续时间监测等,标识检测受到越来越多的关注。与一般的目标检测不同,标识检测是一项具有挑战性的任务,特别是对于真实世界场景中的小标识对象和大纵横比标识对象。在本文中,我们提出了一种新的方法,命名为区分语义特征金字塔网络与引导的锚定(DSFP-GA),它可以通过聚合的语义信息和生成不同的长宽比锚框来解决这些挑战。更具体地说,我们的方法主要包括区分语义特征金字塔(DSFP)和引导分类(GA)。针对低层特征图在检测小标识对象时缺乏语义信息的问题,提出了DSFP方法,该方法能够丰富低层特征图中更具区分性的语义特征,对小标识对象的检测性能更好。此外,预设锚框对于检测大纵横比徽标对象效率较低。因此,我们将GA集成到我们的方法中,以生成大纵横比的锚框来缓解这个问题。在四个基准上的实验结果证明了DSFP-GA的有效性。此外,我们进一步进行视觉分析和消融研究,以说明我们的方法在检测小,大方面的标志对象的优势。代码和模型可以在https://github.com/Zhangbaisong/DSFP-GA上找到。
2023-01-06 cs.CV
Statistical inference of the inter-sample Dice distribution for discriminative CNN brain lesion segmentation models
University of Ottawa(渥太华大学)
判别卷积神经网络(CNN),其中体素的条件Multinoulli分布假设,在许多脑病变分割任务中表现良好。对于要在临床实践中使用的经训练的区分性CNN,将患者的放射学特征输入到模型中,在这种情况下,产生分割的条件分布。捕捉预测的不确定性对于决定是放弃一个模型,还是在竞争模型中进行选择非常有用。然而,在实践中,我们永远不知道真实分割,因此永远不知道真实的模型方差。在这项工作中,区分性CNN的分割采样用于通过分析新患者的样本间Dice分布来评估训练模型的鲁棒性,仅基于他们的磁共振(MR)图像。此外,通过证明样本间Dice观测值在一定条件下是独立和同分布的,具有有限的均值和方差,提出了一种严格的基于置信度的决策规则,以决定是否拒绝或接受特定患者的CNN模型。应用于ISLES 2015(SISS)数据集,该模型将7个预测确定为不稳健,对其余大脑计算的平均Dice系数提高了12%。
2021-02-19 cs.CV eess.IV stat.AP
Discriminative Latent Semantic Graph for Video Captioning
Newcastle University(纽卡斯尔大学);University of New South Wales(新南威尔士大学);Durham University(杜伦大学);Hefei CAS Dihuge Automation Co., LTD(合肥中科迪虎自动化有限公司)
视频描述旨在自动生成能够描述给定视频的视觉内容的自然语言句子。现有的生成模型,如编码器-解码器框架,不能显式地从复杂的时空数据中探索对象级交互和帧级信息,以生成语义丰富的字幕。我们的主要贡献是确定未来的视频摘要任务的联合框架中的三个关键问题。1)增强的对象建议:我们提出了一种新的条件图,可以融合时空信息到潜在的对象建议。2)视觉知识:潜在的建议聚合,提出了动态提取视觉词与更高的语义水平。3)句子验证:提出了一种新的判别式语言验证器来验证生成的字幕,以便有效地保留关键语义概念。我们在两个公共数据集(MVSD和MSR-VTT)上的实验表明,在所有指标上,特别是BLEU-4和CIDEr上,与最先进的方法相比,都有显著的改进。我们的代码可在https://github.com/baiyang4/D-LSG-Video-Caption上获得。
2021-08-10 cs.CV
Semantic Instance Segmentation with a Discriminative Loss Function
KU Leuven(鲁汶大学)
语义实例分割仍然是一个具有挑战性的任务。在这项工作中,我们提出了一个判别损失函数,在像素级操作,鼓励卷积网络产生一个图像的表示,可以很容易地聚类到一个简单的后处理步骤的实例来解决这个问题。损失函数鼓励网络将每个像素映射到特征空间中的一个点,这样属于同一实例的像素就靠得很近,而不同实例则被很宽的边界隔开。我们的方法相结合的现成的网络与原则性的损失函数的启发,一个度量学习目标是概念上简单,从最近的努力不同的实例分割。与以前的作品相比,我们的方法不依赖于对象的建议或经常性的机制。我们工作的一个关键贡献是证明这种没有花里胡哨的简单设置是有效的,并且可以与更复杂的方法相提并论。此外,我们表明,它不受流行的检测和分割方法的一些限制。我们在Cityscapes和CVPPP叶分割基准上实现了具有竞争力的性能。
2017-08-08 cs.CV cs.RO
ZoRI: Towards Discriminative Zero-Shot Remote Sensing Instance Segmentation
Nanyang Technological University(南洋理工大学);Shanghai University of Finance and Economics(上海财经大学)
提出零样本遥感实例分割任务及ZoRI框架,通过判别性增强分类器、知识保持自适应策略和先验注入预测,实现遥感图像中未见空中目标的准确分割,达到最先进性能。
2024-12-17 cs.CV
CFNet: Learning Correlation Functions for One-Stage Panoptic Segmentation
Zhejiang University(浙江大学);Tencent Youtu Lab(腾讯优图实验室);Shanghai Jiao Tong University(上海交通大学)
近年来,一阶段全景分割方法受到越来越多的关注,该方法旨在有效地在全卷积流水线内联合分割实例和填充物。然而,大多数现有的工作直接馈送的骨干功能,以各种分割头忽略了需求的语义和实例分割是不同的:前者需要语义级的歧视性的功能,而后者要求的功能是可区分的实例。为了缓解这一问题,我们建议首先预测用于增强骨干特征的不同位置之间的语义级和实例级相关性,然后将改进的判别特征分别馈送到相应的分段头中。具体来说,我们将给定位置与所有位置之间的相关性组织为连续序列,并将其作为一个整体进行预测。考虑到这样的序列可能非常复杂,我们采用离散傅里叶变换(DFT),一种可以近似由幅度和相位参数化的任意序列的工具。对于不同的任务,我们以完全卷积的方式从骨干特征中生成这些参数,并通过相应的任务进行隐式优化。结果,这些准确和一致的相关性有助于产生符合复杂的全景分割任务的要求的合理的区别特征。为了验证我们的方法的有效性,我们在几个具有挑战性的全景分割数据集上进行了实验,并在MS COCO上使用$45.1$ \% PQ和ADE 20 k上使用$32.6$ \% PQ实现了最先进的性能。
2022-01-13 cs.CV
Recursive Training for Zero-Shot Semantic Segmentation
Australian National University(澳大利亚国立大学);Data61 – CSIRO(澳大利亚联邦科学与工业研究组织数据61中心)
通用语义分割依赖于骨干CNN网络来提取区分特征,这些特征有助于将每个图像像素分类为“看到的”对象类(即,在训练期间可用的对象类)或背景类。Zero-shot语义分割是一项具有挑战性的任务,需要一个计算机视觉模型来识别属于一个对象类,它从来没有见过的图像像素。装备一个通用的语义分割模型,以分离图像像素的“看不见的”类的背景仍然是一个开放的挑战。最近的一些模型已经通过微调Zero-Shot设置的语义分割模型的最终像素分类层来解决这个问题,但是由于缺乏监督,难以学习区分特征。我们提出了一个递归的训练计划,监督的语义分割模型的再训练使用伪特征表示的zero-shot设置。为此,我们提出了一个零拍最大平均离散(Zero-Shot Maximum Mean Discreplanation,简称ZMMD)损失,它将像素分类层的高置信度输出作为伪特征表示进行加权,并将其反馈给生成器。通过在生成器端闭合循环,我们在重新训练期间提供监督,从而帮助模型为“看不见的”类学习更具鉴别力的特征表示。我们表明,使用我们的递归训练和EST-MMD损失,我们提出的模型在Pascal-VOC 2012数据集和Pascal-Context数据集上实现了最先进的性能。
2021-02-26 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH(浦项工科大学);DGIST(大邱庆北科学技术院);University of Michigan(密歇根大学)
我们提出了一种新的算法,弱监督语义分割的基础上,图像级的类标签。在弱监督设置中,通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制,没有额外的人为干预,检索视频相关的目标类别标签从网络存储库,并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中,我们利用图像分类与歧视性定位技术,以拒绝在检索到的视频中的假警报,并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督,但从视频中获得的分割注释足够强大,可以学习语义分割的模型。所提出的算法大大优于现有的方法,基于相同的监督水平,甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
GS: Generative Segmentation via Label Diffusion
本文提出GS框架,将语言驱动的图像分割重新定义为以图像和文本为条件的标签扩散生成任务,并在PNG基准上取得新的最先进性能。
2025-08-27 cs.CV
Ref-Diff: Zero-shot Referring Image Segmentation with Generative Models
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
提出Ref-Diff,利用生成模型(如Stable Diffusion)的细粒度多模态信息实现零样本指代图像分割,无需提议生成器即可媲美现有弱监督方法,与判别模型结合后性能显著提升。
2023-09-01 cs.CV
Discriminative Perception via Anchored Description for Reasoning Segmentation
Northwestern Polytechnical University(西北工业大学)
本文提出DPAD方法,通过生成描述性标题来增强推理分割的判别能力,提升推理链的聚焦性和效率。
2026-03-04 cs.AI cs.CV
Beyond Discriminative Regions: Saliency Maps as Alternatives to CAMs for Weakly Supervised Semantic Segmentation
Department of Computer Science(计算机科学系);Virginia Tech(弗吉尼亚理工大学)
该研究针对弱监督语义分割中CAM仅关注判别区域的局限,全面对比显著性图与CAM的异同,提出新评估指标及随机裁剪聚合技术,验证显著性图可作为CAM的有力替代方案。
2023-08-21 cs.AI cs.CV
Class-level Multiple Distributions Representation are Necessary for Semantic Segmentation
Nanjing Normal University(南京师范大学)
现有的方法集中在使用类级别的功能,以提高语义分割的性能。如何刻画类内像素和类间像素之间的关系是提取具有鉴别力的类级代表特征的关键。在本文中,我们第一次介绍了描述类内变化的多重分布。然后,提出了多分布表示学习(\textbf{MDRL}),以增加像素表示的语义分割。同时,我们设计了一个类多分布一致性策略来构造嵌入像素的区分性多分布表示。此外,我们提出了一个多分布语义聚合模块,聚合相应类别的多个分布,以增强像素的语义信息。我们的方法可以无缝集成到流行的细分框架FCN/PSPNet/CCNet中,并在ADE 20 K上实现5.61\%/1.75\%/0.75\%的mIoU改进。在Cityscapes、ADE 20 K数据集上进行的大量实验证明,该方法可以显著提高性能。
2023-03-14 cs.CV
Discriminative Spatial-Semantic VOS Solution: 1st Place Solution for 6th LSVOS
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);University of California at Merced(加州大学默塞德分校)
针对VOS在复杂场景和长时运动中的挑战,提出利用判别性目标特征作为查询的时空VOS模型,结合空间语义模块识别目标部位并突出显著特征,在第6届LSVOS挑战赛中以80.90%的J&F分数获第一名。
2024-08-29 cs.CV
SLAMs: Semantic Learning based Activation Map for Weakly Supervised Semantic Segmentation
Shenzhen University(深圳大学)
目前主流的弱监督语义分割(WSSS)方法主要依赖于图像级的分类学习,其表示能力有限。在本文中,我们提出了一种新的语义学习为基础的框架,命名为SLAMs(基于语义学习激活图),WSSS。
2022-11-10 cs.CV
Deep Interpretable Classification and Weakly-Supervised Segmentation of Histology Images via Max-Min Uncertainty
École de technologie supérieure(高等技术学院);Goodman Cancer Research Centre(古德曼癌症研究中心);McGill University(麦吉尔大学)
弱监督学习(WSL)最近引起了人们的极大兴趣,因为它缓解了像素级注释的缺乏。给定全局图像标签,WSL方法产生像素级预测(分割),这使得能够解释类预测。尽管它们最近取得了成功,主要是自然图像,但当前景和背景区域具有相似的视觉线索时,这种方法可能面临重要的挑战,在分割中产生高假阳性率,就像在具有挑战性的组织学图像中一样。WSL训练通常由标准分类损失驱动,这隐含地最大化模型置信度,并定位与分类决策相关的判别区域。因此,他们缺乏明确的非歧视性区域建模和降低假阳性率的机制。我们提出了新的正则化项,使模型能够同时寻求非歧视性和歧视性区域,同时阻止不平衡的分割。我们引入了高不确定性作为标准,以本地化不影响分类器决策的非歧视性区域,并用原始Kullback-Leibler(KL)发散损失来描述它,以评估后验预测与均匀分布的偏差。当模型输入潜在的非歧视区域时,我们的KL项鼓励模型的高不确定性。我们的损失包括:(i)寻找前景的交叉熵,其中关于类别预测的模型置信度高;(ii)寻找背景的KL正则化器,其中模型不确定性高;以及(iii)阻止不平衡分割的对数障碍项。对公开的GlaS结肠癌数据和基于Camelyon 16贴片的乳腺癌基准的综合实验和消融研究显示,与最先进的WSL方法相比,有了实质性的改善,并证实了我们新的调节剂的效果。
2021-10-09 cs.CV cs.LG
Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview
East China University of Science and Technology(华东理工大学);Tongji University(同济大学);Swinburne University of Technology(斯威本科技大学)
视觉语义分割的目的是将视觉样本分割成具有特定语义属性的不同块,并确定每个块的类别,它在环境感知中起着至关重要的作用。传统的基于学习的视觉语义分割方法严重依赖于具有密集注释的大规模训练数据,并且始终无法为不可见的类别估计准确的语义标签。这一障碍激发了在少量/零样本学习的帮助下研究视觉语义分割的热潮。少/zero-shot视觉语义分割的出现和迅速发展,使得从少量标记或零标记的样本中学习不可见的类别成为可能,从而推动了该方法向实际应用的扩展。因此,本文重点研究了近年来发表的几种基于少量/zero-shot的二维到三维空间的视觉语义分割方法,探讨了不同分割环境下技术解决方案的共性和差异。具体而言,少数/zero-shot视觉语义分割的问题,包括定义,典型的数据集,和技术补救措施,简要回顾和讨论。此外,还涉及三个典型的实例来揭示少/零样本学习与视觉语义分割的相互作用,包括图像语义分割、视频对象分割和3D分割。最后,讨论了少/zero-shot视觉语义分割的未来挑战。
2022-11-13 cs.CV
DiffusionInst: Diffusion Model for Instance Segmentation
Ant Group Inc.(蚂蚁集团);Nanjing University(南京大学)
扩散框架已经实现了与以前的最先进的图像生成模型相当的性能。研究人员对它在区分任务中的变体感到好奇,因为它具有强大的噪声到图像去噪管道。本文提出了DiffusionInst,一个新的框架,代表实例的实例感知过滤器和制定实例分割作为一个噪声到过滤器去噪过程。该模型经过训练,可以在没有来自RPN的任何归纳偏差的情况下反转噪声地面实况。在推理过程中,它以随机生成的滤波器作为输入,输出一步或多步去噪的掩码。在COCO和LVIS上的大量实验结果表明,与现有的具有各种主干的实例分割模型(如ResNet和Swin Transformers)相比,DiffusionInst实现了具有竞争力的性能。我们希望我们的工作可以作为一个强有力的基线,这可以激励设计更有效的扩散框架,以挑战歧视性任务。我们的代码可以在https://github.com/chenhaoxing/DiffusionInst上找到。
2022-12-28 cs.CV
BiCoR-Seg: Bidirectional Co-Refinement Framework for High-Resolution Remote Sensing Image Segmentation
China University of Geosciences, Wuhan(中国地质大学(武汉))
BiCoR-Seg通过双向共细化框架提升高分辨率遥感图像分割的判别性和可解释性。
2025-12-23 cs.CV
DEAL: Difficulty-aware Active Learning for Semantic Segmentation
Zhejiang University(浙江大学)
主动学习的目标是通过寻找信息量最大的样本来解决标记数据的缺乏问题。然而,现有方法在应用于语义分割时,忽略了不同语义区域的分割难度,导致对细小、细长等硬语义区域的分割效果不佳。为了解决这个问题,我们提出了一个语义难度-awarE主动学习(DEAL)网络由两个分支组成:共同分割分支和语义难度分支。对于后一个分支,与分割结果和GT之间的分割误差的监督,逐像素的概率注意模块被引入到学习不同的语义区域的语义难度分数。最后,设计了两个获取函数来选择语义困难的最有价值的样本。在语义分割基准测试上的竞争结果表明,DEAL实现了最先进的主动学习性能,特别是提高了硬语义区域的性能。
2020-10-17 cs.CV
Highway Driving Dataset for Semantic Video Segmentation
场景理解是语义分割中的一项关键技术。虽然存在几个可用于语义分割的数据集,但它们主要集中在大型深度神经网络的语义图像分割上。因此,这些网络对于实时的应用是无用的,特别是在自动驾驶系统中。为了解决这个问题,我们在语义分割任务上做了两个贡献。第一个贡献是我们引入了语义视频数据集,高速公路驾驶数据集,这是一个语义视频分割任务的密集注释基准。高速公路驾驶数据集由20个具有30 Hz帧速率的视频序列组成,并且每个帧都被密集注释。其次,我们提出了一个基线算法,利用时间相关性。结合我们分析时间相关性的尝试,我们希望高速公路驾驶数据集能够鼓励对语义视频分割的研究。
2020-11-02 cs.CV
Gait Recognition via Collaborating Discriminative and Generative Diffusion Models
School of EIC, Huazhong University of Science & Technology(电子信息学院,华中科技大学)
本文提出CoD$^2$框架,通过多层级条件控制融合判别式语义与扩散生成能力,在四个步态数据集上取得最优性能并可与现有方法无缝集成。
2025-11-09 cs.CV
Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification
University of Amsterdam(阿姆斯特丹大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Inception Institute of Artificial Intelligence(起源人工智能研究院)
零样本学习致力于对在训练期间没有数据可用的看不见的类别进行分类。在广义变体中,测试样本还可以属于可见或不可见类别。最先进的技术依赖于生成对抗网络,该网络通过利用特定于类的语义嵌入来合成看不见的类特征。在训练过程中,它们生成语义一致的特征,但在特征合成和分类过程中丢弃此约束。我们建议在(广义)零样本学习的所有阶段(训练、特征合成和分类)执行语义一致性。我们首先引入一个反馈循环,从语义嵌入解码器,迭代地细化生成的功能在训练和功能合成阶段。然后,将合成的特征与来自解码器的其对应的潜在嵌入一起转换为判别特征,并在分类期间利用以减少类别之间的歧义。对(广义)zero-shot对象和动作分类的实验揭示了语义一致性和迭代反馈的好处,在六个零样本学习基准上优于现有方法。源代码在https://github.com/akshitac8/tfvaegan。
2020-07-18 cs.CV
Ensembling Instance and Semantic Segmentation for Panoptic Segmentation
Siemens Mobility(西门子交通)
本文提出分别进行实例分割与语义分割再融合的COCO全景分割方案,通过Mask R-CNN专家模型、HTC和多骨干语义模型集成,在test-dev上达到PQ 47.1。
2023-04-20 cs.CV
Pixel Level Data Augmentation for Semantic Image Segmentation using Generative Adversarial Networks
Beihang University(北京航空航天大学);Keep Inc(Keep公司)
语义分割是计算机视觉的基本课题之一,它的目的是为图像中的每个像素分配语义标签。不平衡的语义标签分布可能对分割精度产生负面影响。在本文中,我们研究使用数据增强方法来平衡语义标签分布,以提高分割性能。我们建议使用生成对抗网络(GANs)来生成逼真的图像,以提高语义分割网络的性能。实验结果表明,该方法不仅可以提高对低精度类的分割性能,而且平均分割精度提高了1.3%~ 2.1%。实验结果表明,这种增强方法可以提高分割精度,并且可以很容易地应用到其他分割模型中。
2019-11-26 cs.CV
Point Discriminative Learning for Data-efficient 3D Point Cloud Analysis
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Nanyang Technological University(南洋理工大学);Centre for Frontier AI Research, A*STAR(新加坡科技研究局前沿人工智能研究中心);University of Cambridge(剑桥大学)
三维点云分析因其广泛的应用而引起了人们的广泛关注。然而,收集大量标记的3D点云数据既耗时又耗力。这需要数据高效的学习方法。在这项工作中,我们提出了PointDisc,这是一种点判别学习方法,可以利用自我监督进行数据高效的3D点云分类和分割。PointDisc对骨干网络产生的中间和全局级特征施加了一种新的点区分损失。该点辨别损失强制学习特征与属于相应局部形状区域的点一致,并且与随机采样的噪声点不一致。我们对3D对象分类,3D语义和部分分割进行了广泛的实验,显示了PointDisc在数据高效学习方面的优势。详细的分析表明,PointDisc学习无监督的特征,可以很好地捕捉局部和全局几何。
2023-01-20 cs.CV