Prototypical VoteNet for Few-Shot 3D Point Cloud Object Detection
The University of Hong Kong（香港大学）
大多数现有的三维点云目标检测方法严重依赖于大量的标记训练数据。然而，贴标签的过程是昂贵和耗时的。研究了Few-Shot三维点云目标检测问题，该问题只需要少量的新类标注样本，而基类样本丰富。为此，我们提出了原型VoteNet识别和本地化新的实例，它包含两个新的模块：原型投票模块（PVM）和原型头模块（PHM）。具体而言，由于对象的三维基本几何结构可以在不同类别之间共享，PVM利用从基类中学习的类无关几何原型来细化新类别的局部特征，PHM利用类原型来增强每个对象的全局特征，从而便于后续的对象定位和分类，PHM采用情节训练策略进行训练.为了在这种新的环境中评估模型，我们提供了两个新的基准数据集，FS-ScanNet和FS-SSCGBD。我们进行了大量的实验来证明原型VoteNet的有效性，与两个基准数据集的基线相比，我们提出的方法显示出显着和一致的改进。
2022-12-21 cs.CV
This Looks Like Those: Illuminating Prototypical Concepts Using Multiple Visualizations
Dartmouth College（达特茅斯学院）；Caltech（加州理工学院）；University of Maine（缅因大学）；Duke University（杜克大学）
本文提出ProtoConcepts方法，通过修改原型网络架构，用多个图像块可视化同一原型概念，解决单图像比较难以识别底层概念的问题，在保持分类准确率的同时提升可解释性。
2023-10-28 cs.CV
Prototypical Classifier for Robust Class-Imbalanced Learning
Nanjing University（南京大学）；Southeast University（东南大学）
深度神经网络已被证明是许多监督学习任务的非常强大的方法。然而，它们也很容易过拟合训练集偏差，即，标签噪声和类别不平衡。虽然噪声标签学习和类不平衡学习都受到了极大的关注，但现有的工作主要集中在这两个训练集偏差之一。为了填补这一空白，我们提出了\textit{Prototypical Classifier}，它不需要拟合额外的参数给定的嵌入网络。与偏向头部类的传统分类器不同，Prototypical Classifier为所有类生成平衡和可比的预测，即使训练集是类不平衡的。通过利用这一吸引人的属性，我们可以通过对原型分类器预测的置信度分数进行阈值化来轻松检测噪声标签，其中阈值通过迭代动态调整。然后应用样本重加权策略来减轻噪声标签的影响。我们在CIFAR-10-LT，CIFAR-100-LT和Webvision数据集上测试了我们的方法，观察到原型分类器与最先进的技术相比得到了实质性的改进。
2021-10-22 cs.CV
ProtoSeg: Interpretable Semantic Segmentation with Prototypical Parts
Faculty of Mathematics and Computer Science, Jagiellonian University（数学与计算机科学学院，雅盖隆大学）；Ardigen；IDEAS NCBR
提出可解释语义分割模型ProtoSeg，利用训练集相似图像块构建预测，通过原型部件机制和多样性损失函数实现与基线相当的准确率，并展现出发现语义概念的能力。
2025-06-27 cs.CV
Rethinking Prototypical Contrastive Learning through Alignment, Uniformity and Correlation
Carnegie Mellon University（卡内基梅隆大学）；Tohoku University（东北大学）；RIKEN（理化学研究所）
对比自监督学习（CSL）与原型正则化已被引入到学习有意义的表示，下游的任务，需要强语义信息。然而，为了优化CSL，损失会积极地执行原型正则化，例如，ProtoNCE丢失可能会导致嵌入空间中的示例的“凝结”。也就是说，样本的原型内多样性崩溃为平凡的解决方案，因为它们的原型与其他样本分离得很好。受以前工作的启发，我们建议通过对齐，均匀性和相关性（PAUC）学习原型表示来减轻这种现象。具体而言，普通ProtoNCE损失被修改为：（1）将正原型的嵌入拉到一起的对齐损失;（2）均匀分布原型级别特征的均匀性损失;（3）增加原型级别特征之间的多样性和可区分性的相关性损失。我们在各种基准上进行了广泛的实验，结果证明了我们的方法在提高原型对比表示质量方面的有效性。特别是，在使用线性探针的分类下游任务中，在相同的批量大小和时期设置下，我们提出的方法在ImageNet-100数据集上的性能优于最先进的实例和原型对比学习方法2.96%，在ImageNet-1 K数据集上的性能优于2.46%。
2022-10-18 cs.AI cs.CV cs.LG
Prototypical Priors: From Improving Classification to Zero-Shot Learning
University of Oxford（牛津大学）
最近的工作零样本学习利用边信息，如视觉属性或自然语言语义定义输出视觉类之间的关系，然后使用这些关系在测试时对新的看不见的类进行推断。在这个想法的一个新的扩展，我们提出了使用视觉原型概念作为边信息。对于大多数现实世界的视觉对象类别，可能很难建立一个独特的原型。然而，在诸如交通标志、品牌徽标、旗帜、甚至自然语言字符的情况下，这些原型模板是可用的，并且可以被利用来改进识别性能。目前的工作提出了一种将这种原型信息纳入深度学习框架的方法。使用原型作为先验信息，deepnet流水线学习输入图像投影到原型嵌入空间中，以最小化最终分类损失。基于我们的实验与两个不同的数据集的交通标志和品牌标志，原型嵌入到传统的卷积神经网络提高识别性能。Belga徽标数据集的识别准确性尤其值得注意，并建立了一个新的最先进的技术水平。在零样本学习场景中，可以直接部署相同的系统，通过在测试时简单地添加这些新类的原型信息来推断看不见的类。因此，与早期的方法不同，对可见和不可见类的测试是使用相同的流水线处理的，并且可以根据任务要求针对可见和不可见类性能的权衡来调整系统。与零样本学习领域的最新作品之一进行比较，在上述两个数据集上产生了最佳结果。
2018-04-25 cs.CV
Multi-Scale Prototypical Transformer for Whole Slide Image Classification
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
本文提出多尺度原型Transformer（MSPT），通过原型Transformer和多尺度特征融合模块解决WSI分类中实例不平衡及多尺度信息融合难题，在两个公开数据集上取得优于现有算法的性能。
2023-07-05 cs.CV
Cross- and Intra-image Prototypical Learning for Multi-label Disease Diagnosis and Interpretation
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；Cornell University（康奈尔大学）；St Vincent’s Hospital Melbourne（墨尔本圣文森特医院）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）；University of Surrey（萨里大学）
本文提出CIPL框架，通过跨图像语义解耦多疾病并利用双层对齐正则化增强图像内信息，实现了准确的多标签疾病诊断与解释，在多个基准上达到SOTA并提升了弱监督定位性能。
2025-04-04 cs.CV
Pixel-Grounded Prototypical Part Networks
University of Notre Dame（圣母大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
针对 PROTOPNET 类原型部件网络实际定位整图而非部件的问题，本文提出 PIXPNET，通过感受野约束、像素空间映射和架构修正实现真实部件定位，并在保持准确率的同时提升可解释性。
2023-09-25 cs.CV
IPNET:Influential Prototypical Networks for Few Shot Learning
本研究针对传统原型网络对少样本学习中支持样本均等加权的问题，提出IPNET模型，基于最大均值差异计算样本对分布的影响力并加权生成原型，改进了少样本分类性能。
2024-07-13 cs.CV
Transferrable Prototypical Networks for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；Sun Yat-sen University（中山大学）；City University of Hong Kong（香港城市大学）
在本文中，我们介绍了一种新的思想，无监督领域自适应通过原型网络的改造，学习嵌入空间和执行分类，通过改造的距离，每个类的原型。具体来说，我们提出了可转移的原型网络（TPN）的适应，使源和目标域中的每个类的原型在嵌入空间中是接近的，并且原型分别在源和目标数据上预测的分数分布是相似的。从技术上讲，TPN首先将每个目标示例与源域中最近的原型匹配，并为示例分配一个“伪”标签。然后可以分别在仅源数据、仅目标数据和源-目标数据上计算每个类的原型。TPN的优化是端到端训练的，通过联合最小化三种类型数据上的原型之间的距离和每对原型输出的分数分布的KL发散。在MNIST、USPS和SVHN数据集之间的传输上进行了广泛的实验，与最先进的方法相比，报告了优越的结果。更值得注意的是，我们在VisDA 2017数据集上获得了80.4%的单模型准确率。
2019-04-25 cs.CV
Gaussian Prototypical Networks for Few-Shot Learning on Omniglot
Stanford University（斯坦福大学）
我们提出了一种新的架构$k$的Omniglot数据集上的镜头分类。在原型网络的基础上，我们将其架构扩展到我们所谓的高斯原型网络。原型网络学习图像和嵌入向量之间的映射，并使用它们的聚类进行分类。在我们的模型中，编码器输出的一部分被解释为关于嵌入点的置信区域估计，并表示为高斯协方差矩阵。然后，我们的网络在嵌入空间上构建了一个方向和类别相关的距离度量，使用单个数据点的不确定性作为权重。我们表明，高斯原型网络是一个首选的架构香草原型网络具有相同数量的参数。我们在Omniglot数据集上报告了5向和20向方案中1次和5次分类的最新性能（对于5次5向，我们与之前的最新技术水平相当）。我们探索人工下采样训练集中的一部分图像，这进一步提高了我们的性能。因此，我们假设高斯原型网络可能在不太均匀，噪声较大的数据集中表现得更好，这在现实世界的应用中很常见。
2017-08-09 cs.CV cs.LG cs.NE
Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation
Yonsei University（延世大学）；Korea Aerospace University（韩国航空大学）
我们解决的问题，Few-Shot语义分割（FSS），其目的是分割新的类对象的目标图像与一些注释的样本。虽然最近的进展已经通过结合基于原型的度量学习，现有的方法仍然表现出有限的性能下极端的类内对象的变化和语义相似的类间对象，由于其穷人的功能表示。为了解决这个问题，我们提出了一个双原型对比学习的方法，适合于FSS的任务，有效地捕捉代表性的语义特征。其主要思想是通过在原型特征空间中增加类间距离同时减少类内距离来鼓励原型更具区分力。为此，我们首先提出了一个类特定的对比损失与动态原型字典，存储类感知的原型在训练过程中，从而使相同的类原型相似，不同的类原型是不相似的。此外，我们引入了一个类不可知的对比损失，以提高泛化能力，看不见的类，压缩每个情节内的语义类的特征分布。我们证明了所提出的双原型对比学习方法在PASCAL-5i和COCO-20 i数据集上的性能优于最先进的FSS方法。该代码可从以下网址获得：https://github.com/kwonjunn01/DPCL1。
2021-11-09 cs.CV
Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation
ETH Zürich（苏黎世联邦理工学院）；HKUST（香港科技大学）；Kuaishou Technology（快手科技）
多目标跟踪和分割需要检测、跟踪和分割属于一组给定类别的对象。大多数方法仅利用时间维度来解决关联问题，而依赖于对分割掩码本身的单帧预测。我们提出了原型交叉注意网络（PCAN），能够利用丰富的时空信息进行在线多目标跟踪和分割。PCAN首先将一个时空记忆提炼成一组原型，然后利用交叉注意从过去的帧中检索丰富的信息。为了分割每个对象，PCAN采用原型外观模块来学习一组对比的前景和背景原型，然后随时间传播。大量的实验表明，PCAN在Youtube-VIS和BDD 100 K数据集上的性能优于当前的视频实例跟踪和分割竞赛获胜者，并且对一阶段和两阶段分割框架都显示出有效性。代码和视频资源可在http://vis.xyz/pub/pcan上获得。
2021-11-30 cs.CV
Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation
UC Berkeley（加州大学伯克利分校）；Nanjing University（南京大学）；Tsinghua University（清华大学）
无监督领域自适应（UDA）将预测模型从完全标记的源域转移到未标记的目标域。然而，在某些应用中，即使在源域中收集标签也是昂贵的，使得大多数以前的工作不切实际。为了解决这个问题，最近的工作进行了实例跨域自监督学习，然后是一个额外的微调阶段。然而，逐实例的自监督学习仅学习和对齐低级区分特征。在本文中，我们提出了一个端到端的原型跨域自监督学习（PCS）框架的Few-Shot无监督领域自适应（FUDA）。PCS不仅执行跨域低级特征对齐，而且还对跨域共享嵌入空间中的语义结构进行编码和对齐。我们的框架捕捉范畴明智的语义结构的数据域中的原型对比学习，并通过跨域原型自我监督进行功能对齐。与最先进的方法相比，PCS在Office、Vis-Home、VisDA-2017和DomainNet上分别将FUDA上不同领域对的平均分类准确率提高了10.5%、3.5%、9.0%和13.2%。我们的项目页面位于http://xyue.io/pcs-fuda/index.html
2021-03-31 cs.CV
Prototypical Transformer as Unified Motion Learners
Rochester Institute of Technology（罗切斯特理工学院）；University of Missouri – Kansas City（密苏里大学堪萨斯城分校）；Purdue University（普渡大学）；META AI；Kent State University（肯特州立大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；University of Rochester（罗切斯特大学）
本文提出原型 Transformer（ProtoFormer）框架，通过交叉注意力原型化和潜在同步两项设计将原型学习与 Transformer 结合，以解决运动不确定性并提升运动场景理解透明度，在光流、场景深度等任务上取得竞争力表现且具备良好泛化性。
2024-06-03 cs.CV
ProtoMIL: Multiple Instance Learning with Prototypical Parts for Whole-Slide Image Classification
Jagiellonian University（雅盖隆大学）；Ardigen SA（阿迪根公司）
多实例学习（MIL）由于其弱监督的性质，在许多现实生活中的机器学习应用中越来越受欢迎。然而，解释MIL的相应努力滞后，并且通常仅限于呈现对特定预测至关重要的袋子的实例。在本文中，我们通过引入ProtoMIL来填补这一空白，这是一种新型的可自我解释的MIL方法，其灵感来自于在视觉原型上操作的基于案例的推理过程。由于将原型特征纳入对象描述，ProtoMIL前所未有地加入了模型的准确性和细粒度的可解释性，我们在五个公认的MIL数据集上进行了实验。
2022-09-06 cs.AI cs.CV cs.LG
ProtoConNet: Prototypical Augmentation and Alignment for Open-Set Few-Shot Image Classification
本文提出ProtoConNet方法，通过融合背景上下文信息增强特征空间多样性，包含CDS、CSR和PA三个模块，有效提升了开放集少样本图像分类的表示学习与未知样本识别性能。
2025-07-16 cs.CV
LucidPPN: Unambiguous Prototypical Parts Network for User-centric Interpretable Computer Vision
Jagiellonian University（雅盖隆大学）；Ardigen SA（Ardigen股份公司）；Institute of Applied Psychology（应用心理学研究所）；NCBR IDEAS
LucidPPN通过分离颜色与非颜色特征的原型部件网络，减少原型歧义，提升用户对模型决策的理解，且性能与基线相当。
2024-05-23 cs.AI cs.CV cs.LG
Hierarchical Representation based Query-Specific Prototypical Network for Few-Shot Image Classification
Nanjing University（南京大学）
Few-Shot图像分类的目的是用少量的带标签的训练数据识别不可见的类别。最近的基于度量的框架倾向于通过固定的原型来表示支持类（例如，支持类别的均值），并根据查询实例与支持原型之间的相似性进行分类。然而，歧视性的主导区域可能会定位图像的不确定区域，并具有不同的尺度，这将导致失准度量。此外，一个支持类别的固定原型不能适用于所有的查询实例，以准确地反映他们与该类别的距离，这降低了度量的效率。因此，支持样本中的查询特定的主导区域应该被提取用于高质量的度量。为了解决这些问题，我们提出了一个基于层次表示的查询特定的原型网络（QPN），以解决的限制，生成一个区域级的原型为每个查询样本，同时实现位置和维度的语义对齐。在五个基准数据集（包括三个细粒度数据集）上进行的大量实验表明，我们提出的方法优于当前最先进的方法。
2021-03-21 cs.CV
Coarse Retinal Lesion Annotations Refinement via Prototypical Learning
Shanghai Jiao Tong University（上海交通大学）；VoxelCloud, Inc.（体素科技有限公司）
用于视网膜病变分割的基于深度学习的方法通常需要大量精确的逐像素注释数据。然而，用于勾画病变区域的粗略注释（诸如圆形或椭圆形）可以比像素级注释高效六倍。因此，本文提出了一种注释细化网络，将粗略的注释转换为像素级的分割掩码。我们的主要创新之处是原型学习范式的应用，以提高跨不同数据集或病变类型的泛化能力。我们还引入了一个原型称重模块来处理病变过小的挑战性病例。该方法在公开可用的IDRiD数据集上进行训练，然后推广到公共DDR和我们真实世界的私有数据集。实验表明，我们的方法大大提高了初始粗糙掩模和优于非原型基线的大幅度。此外，我们证明了有用的原型加权模块在跨数据集和跨类设置。
2022-08-30 cs.CV
Unsupervised Feature Learning by Autoencoder and Prototypical Contrastive Learning for Hyperspectral Classification
Zhejiang University（浙江大学）；HangZhou Dianzi University（杭州电子科技大学）
用于特征提取的无监督学习方法正变得越来越流行。我们结合流行的对比学习方法（原型对比学习）和经典的表示学习方法（自动编码器），设计了一个无监督的高光谱分类特征学习网络。实验证明，我们提出的两种自编码器网络本身具有良好的特征学习能力，而我们设计的对比学习网络能够更好地结合两者的特征，学习更有代表性的特征。实验结果表明，该方法在高光谱分类实验中优于其他比较方法，包括一些监督方法。此外，我们的方法保持了快速的特征提取速度比基线方法。此外，我们的方法降低了对巨大计算资源的要求，将特征提取和对比学习分离，允许更多的研究人员对无监督对比学习进行研究和实验。
2020-09-02 cs.CV
Prototypical Contrast Adaptation for Domain Adaptive Semantic Segmentation
Tencent Youtu Lab（腾讯优图实验室）；The Chinese University of Hong Kong（香港中文大学）
无监督领域自适应（UDA）的目的是将在标记的源域上训练的模型适应到未标记的目标域。在本文中，我们提出了原型对比度自适应（ProCA），一个简单而有效的对比学习方法无监督域自适应语义分割。以往的领域自适应方法只考虑了类内表示分布在不同领域之间的对齐，而没有充分挖掘类间的结构关系，导致目标领域上对齐的表示可能不再像源领域上那样容易区分.相反，ProCA将类间信息纳入类的原型，并采用以类为中心的分布对齐进行自适应。通过将相同的类原型视为阳性，将其他类原型视为阴性，以实现以类为中心的分布对齐，ProCA在经典领域自适应任务{ \em，即，\text{and} SYNTHIA $\to$ Cityscapes}.代码可从\href{https://github.com/jiangzhengkai/ProCA}{ProCA}获得
2022-07-14 cs.CV
ProtoQuant: Quantization of Prototypical Parts For General and Fine-Grained Image Classification
Jagiellonian University, Faculty of Mathematics and Computer Science（杰洛尼莫夫大学数学与计算机科学系）；Jagiellonian University, Doctoral School of Exact and Natural Sciences（杰洛尼莫夫大学精确与自然科学研究博士学院）
ProtoQuant通过潜在向量量化实现原型稳定性和可解释性，适用于通用和细粒度图像分类任务。
2026-02-06 cs.AI cs.CV
ProtoPFormer: Concentrating on Prototypical Parts in Vision Transformers for Interpretable Image Recognition
Hangzhou City University（杭州市大学）；Zhejiang University（浙江大学）；ZJU-Bangsun Joint Research Center（浙大- bangsun 联合研究中心）
ProtoPFormer通过引入全局和局部原型，提升视觉变换器在可解释图像识别中的性能和可解释性。
2025-11-26 cs.AI cs.CV
CPCL: Cross-Modal Prototypical Contrastive Learning for Weakly Supervised Text-based Person Retrieval
本文提出CPCL方法，通过引入CLIP模型、原型多模态记忆模块和离群伪标签挖掘模块，利用跨模态原型对比学习解决弱监督文本行人检索中的类内差异问题，并在多个基准上验证了其有效性和泛化性。
2025-08-18 cs.CV
Cross-Image Region Mining with Region Prototypical Network for Weakly Supervised Segmentation
Nanyang Technological University（南洋理工大学）；Ant Group（蚂蚁集团）；Delta Research Center（台达研究中心）
用图像级标签训练的弱监督图像分割通常在生成伪地面实况期间遭受对象区域的不准确覆盖。这是因为对象激活图是用分类目标训练的，缺乏泛化能力。为了提高目标激活图的通用性，我们提出了一个区域原型网络RPNet来探索训练集的跨图像对象多样性。通过区域特征比较来识别图像中的相似对象部分。对象置信度在区域之间传播以发现新的对象区域，同时背景区域被抑制。实验结果表明，该方法生成的伪目标模板更加完整、准确，在PASCAL VOC 2012和MS COCO上的性能达到了最先进水平。此外，我们调查的鲁棒性所提出的方法减少训练集。
2022-06-29 cs.CV
Prototypical Pseudo Label Denoising and Target Structure Learning for Domain Adaptive Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
自训练是领域自适应分割中的一种有竞争力的方法，它利用目标领域上的伪标签来训练网络。然而，由于源域和目标域之间的差异，伪标签不可避免地会带有噪音，并且目标特征会分散。在本文中，我们依靠代表性的原型，类的特征质心，来解决无监督领域自适应的两个问题。特别是，我们更进一步，利用原型，提供更丰富的信息比单纯的原型的特征距离。具体来说，我们使用它来估计伪标签的可能性，以便于在训练过程中进行在线校正。同时，我们对齐的原型分配基于相对特征距离为同一目标的两个不同的视图，产生一个更紧凑的目标特征空间。此外，我们发现将已经学习的知识提取到自我监督的预训练模型中可以进一步提高性能。我们的方法显示出巨大的性能优势，国家的最先进的方法。我们将公开代码。
2021-01-28 cs.CV
Prototypical Contrast and Reverse Prediction: Unsupervised Skeleton Based Action Recognition
在本文中，我们专注于无监督的表示学习为基础的动作识别。现有的方法通常通过顺序预测来学习动作表示，但它们无法完全学习语义信息。为了解决这个限制，我们提出了一个名为原型对比和反向预测（PCRP）的新框架，它不仅创建反向顺序预测来学习低级信息（例如，每帧的身体姿势）和高级模式（例如，运动顺序），而且还设计动作原型来隐式地编码序列之间共享的语义相似性。在一般情况下，我们把动作原型作为潜在变量，并制定PCRP作为一个期望最大化的任务。具体来说，PCRP迭代地运行（1）E步骤，通过聚类来自编码器的动作编码来确定原型的分布，以及（2）M步骤，通过最小化所提出的ProtoMAE损失来优化编码器，这有助于同时将动作编码拉得更接近其分配的原型并执行反向预测任务。在N-UCLA、NTU 60和NTU 120数据集上的大量实验表明，PCRP的性能优于最先进的无监督方法，甚至优于某些有监督方法。代码可在https://github.com/Mikexu007/PCRP上获得。
2020-11-14 cs.CV
Prototypical Clustering Networks for Dermatological Disease Diagnosis
Georgia Tech（佐治亚理工学院）；Curai（Curai公司）；MIT（麻省理工学院）
我们考虑的问题，图像分类的目的是帮助医生在皮肤病学诊断。皮肤病诊断对标准现成技术提出了两个主要挑战：首先，数据分布通常是极长尾的。第二，类内可变性通常很大。为了解决第一个问题，我们将问题表述为低拍摄学习，一旦部署，基本分类器必须快速泛化以诊断新的条件，给出很少的标记示例。为了有效地对不同的类进行建模，我们提出了原型聚类网络（PCN），这是对原型网络的扩展，可以为每个类学习原型的混合。通过聚类为每个类初始化原型，并通过在线更新方案进行细化。分类是通过测量类内原型的加权组合的相似性来执行的，其中权重是推断的集群责任。我们展示了我们的方法在皮肤病的现实数据集上有效诊断的优势。
2018-11-07 cs.AI cs.CV cs.LG
Prototypical Contrastive Learning of Unsupervised Representations
Salesforce Research（赛富时研究院）
本文提出了原型对比学习（PCL），一种无监督的表示学习方法，解决了实例式对比学习的基本局限性。PCL不仅学习用于实例区分任务的低级特征，更重要的是，它将数据的语义结构隐式编码到学习的嵌入空间中。具体来说，我们引入原型作为潜在变量，以帮助在期望最大化框架中找到网络参数的最大似然估计。我们迭代地执行E-step，通过聚类找到原型的分布，M-step通过对比学习优化网络。我们提出了ProtoNCE损失，一个广义版本的InfoNCE损失的对比学习，鼓励表示更接近他们分配的原型。PCL在多个基准测试中的表现优于最先进的实例式对比学习方法，并在低资源迁移学习方面有实质性改进。代码和预训练模型可在https://github.com/salesforce/PCL上获得。
2021-03-30 cs.CV cs.LG
CLIP-guided Prototype Modulating for Few-shot Action Recognition
The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；Huazhong University of Science and Technology（华中科技大学）
针对少样本动作识别中数据稀缺导致原型估计不准的问题，提出CLIP-FSAR框架，通过视频-文本对比和时序Transformer原型调制迁移CLIP语义先验，并在五个基准上显著超越现有方法。
2023-03-06 cs.CV
Self-supervised Video Representation Learning with Cross-Stream Prototypical Contrasting
University of Amsterdam（阿姆斯特丹大学）
依赖于数据增强和对比损失函数的实例级对比学习技术在视觉表示学习领域取得了巨大的成功。然而，它们不适合利用视频的丰富动态结构，因为操作是在许多增强实例上完成的。在本文中，我们提出了“视频跨流原型对比”，一种新的方法，预测一致的原型分配从RGB和光流的意见，对样本集的操作。具体来说，我们交替优化过程;当优化一个流时，所有视图都映射到一组流原型向量。除了匹配预测的视图之外，每个赋值都将使用所有视图进行预测，从而使表示更接近其指定的原型。因此，学习具有根深蒂固的运动信息的更有效的视频嵌入，而不需要在推理期间明确地进行光流计算。我们在最近邻视频检索和动作识别方面获得了最先进的结果，使用S3 D主干（90.5% Top-1 acc）在UCF 101上的表现优于之前的最佳结果+3.2%，使用R（2+1）D主干在UCF 101上的表现优于之前的最佳结果+7.2%，在HMDB 51上的表现优于之前的最佳结果+15.1%。
2021-10-20 cs.CV
Prototypical Learning Guided Context-Aware Segmentation Network for Few-Shot Anomaly Detection
Huazhong University of Science and Technology（华中科技大学）
PCSNet通过原型学习和上下文感知分割网络，提升少样本异常检测性能，在8-shot场景下实现94.9%和80.2%的AUROC。
2025-12-17 cs.CV
Enhanced Prototypical Part Network (EPPNet) For Explainable Image Classification Via Prototypes
The University of Warwick（华威大学）
本文提出增强型原型部件网络（EPPNet），通过新颖聚类损失发现可解释原型，并引入忠实度分数评估可解释性，在CUB-200-2011数据集上分类准确率和可解释性均优于现有xAI方法。
2024-08-08 cs.CV
Self-Regularized Prototypical Network for Few-Shot Semantic Segmentation
Nanyang Technological University（南洋理工大学）
图像语义分割中的深度CNN通常需要大量密集注释的图像进行训练，并且难以推广到不可见的对象类别。因此，已经开发了Few-Shot分割以仅用几个注释的示例来执行分割。在这项工作中，我们解决了Few-Shot分割使用自正则化原型网络（SRPNet）的基础上，原型提取更好地利用支持信息。SRPNet从支持图像中提取特定于类的原型表示，并通过距离度量-保真度为查询图像生成分割掩码。SRPNet提出了一种直接有效的支持集上的原型正则化方法，在该方法中，生成的原型在支持集本身上进行评估和正则化。生成的原型恢复支持掩码的程度对性能施加了上限。无论从支持集到查询集的知识推广得多么完整，查询集的性能都不应该超过上限。通过特定的原型正则化，SRPNet充分利用了支持中的知识，并提供了高质量的原型，这些原型代表了每个语义类，同时对不同的类具有区分性。通过结合一组正则化原型的迭代查询推理（IQI）模块，进一步提高了查询性能。我们提出的SRPNet在1镜头和5镜头分割基准上实现了新的最先进的性能。
2022-10-30 cs.CV
Compositional Prototypical Networks for Few-Shot Classification
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
针对少样本分类中特征复用性不足的问题，提出组合原型网络CPN，学习属性对应的可迁移组件原型以构建新类别组合原型，结合权重生成器自适应融合视觉原型，在多数据集上取得SOTA性能，5-way 1-shot场景提升显著。
2023-06-11 cs.CV
ProtoP-OD: Explainable Object Detection with Prototypical Parts
Faculty of Computer Science, Ruhr University Bochum, Bochum, Germany（计算机科学系，鲁尔大学波恩分校，波恩，德国）；sentin GmbH, Bochum, Germany（sentin公司，波恩，德国）
ProtoP-OD通过引入原型部件提升目标检测的可解释性，仅轻微影响性能，提供更清晰的模型理解。
2024-02-29 cs.CV cs.LG
Few-Shot Medical Image Segmentation via a Region-enhanced Prototypical Transformer
Nanjing University of Science and Technology（南京理工大学）；Newcastle University（纽卡斯尔大学）
提出区域增强原型Transformer（RPT），通过细分策略生成区域原型并结合自选择机制的BaT模块消除干扰，迭代优化原型以提升少样本医学图像分割精度。
2023-09-09 cs.CV
ProtoAttend: Attention-Based Prototypical Learning
Google Cloud AI（谷歌云人工智能）；Sunnyvale, CA（加利福尼亚州山景城）
我们提出了一种新颖的内在可解释的机器学习方法，该方法基于我们称之为原型的几个相关示例进行决策。我们的方法ProtoAttend可以集成到广泛的神经网络架构中，包括预训练模型。它利用了一种注意力机制，将编码的表示与样本联系起来，以确定原型。结果模型在三个高影响问题中优于现有技术，而不牺牲原始模型的准确性：（1）它能够输出与决策最相关的样本的高质量可解释性（2）它通过量化原型标签之间的失配来实现现有技术的置信度估计;以及（3）它在分布失配检测方面获得了现有技术。所有这些都可以用最少的额外测试时间和实际可行的训练时间计算成本来实现。
2019-09-26 cs.CV cs.LG
Calibration-based Dual Prototypical Contrastive Learning Approach for Domain Generalization Semantic Segmentation
Shenzhen University（深圳大学）
针对PCL中原型跨域不一致及类间原型相似导致的特征对齐难题，本文提出CDPCL，通过UPCL不确定性校准与HPCL硬加权校准双模块学习域不变特征，在域泛化语义分割上取得领先性能。
2023-09-25 cs.CV
Unsupervised Causal Prototypical Networks for De-biased Interpretable Dermoscopy Diagnosis
Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems（浙江可及感知与智能系统重点实验室）；College of Computer Science and Technology（计算机科学与技术学院）；Hangzhou Dianzi University（杭州电子科技大学）；Xi'an Jiaotong University（西安交通大学）
CausalProto通过无监督因果原型网络去偏可解释皮肤病镜诊断，提升诊断性能并提供高纯度视觉解释。
2026-02-27 cs.CV eess.IV
Revisiting FunnyBirds evaluation framework for prototypical parts networks
Jagiellonian University（雅盖隆大学）；Ardigen SA（阿尔迪根股份公司）；IDEAS NCBR
本研究指出FunnyBirds基准对ProtoPNet采用边界框可视化影响指标得分，通过对比边界框与相似度图，证明相似度图更符合模型本质，建议在可解释性评估中采用相似度图。
2024-08-21 cs.AI cs.CV cs.LG
Adaptive Prototypical Networks
Indian Institute of Information Technology（印度信息技术学院）
用于少样本学习的原型网络尝试在编码器中学习嵌入函数，该嵌入函数在嵌入空间中嵌入具有彼此接近的相似特征的图像。然而，在这个过程中，一个任务的支持集样本是相互独立地嵌入的，因此，类间的接近度没有被考虑在内。因此，在任务中存在外观相似的类的情况下，嵌入将倾向于在嵌入空间中彼此接近，甚至可能在某些区域中重叠，这对于分类是不期望的。在本文中，我们提出了一种方法，直观地推动嵌入的每个类远离其他的元测试阶段，从而将它们紧密分组的基础上不同的类标签，而不仅仅是空间特征的相似性。这是通过使用新任务的支持集样本和标签训练编码器网络进行分类来实现的。在基准数据集上进行的大量实验表明，与原型网络和其他标准的少样本学习模型相比，元测试精度有所提高。
2022-11-22 cs.CV cs.LG
Why Prototypes Collapse: Diagnosing and Preventing Partial Collapse in Prototypical Self-Supervised Learning
University of Oslo（奥斯陆大学）；UiT The Arctic University of Norway（挪威北极大学）；University of Campinas（坎皮纳斯大学）
本文提出了一种解耦训练策略，通过独立优化编码器和原型，防止原型自监督学习中的部分崩溃问题，从而提升表示多样性和下游任务性能。
2026-02-12 cs.CV cs.LG
Enhanced Prototypical Learning for Unsupervised Domain Adaptation in LiDAR Semantic Segmentation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
尽管其重要性，无监督领域自适应（UDA）的激光雷达语义分割是一个任务，并没有得到太多的关注，从研究界。直到最近，一种基于完成的3D方法已经被提出来解决这个问题，并正式建立自适应场景。然而，所提出的流水线是复杂的，基于体素的，需要多阶段的推理，这抑制了它的实时推理。我们提出了一种基于距离图像的，有效的和高效的方法来解决UDA激光雷达分割。该方法利用从源域到伪标记目标域像素的类原型，是自然图像语义分割的UDA中表现出良好性能的一个研究方向。尚未考虑将此类方法应用于LiDAR扫描，因为严重的域偏移和缺乏在LiDAR分割设置中不可用的预训练特征提取器。然而，我们表明，适当的策略，包括基于重建的预训练，增强的原型，以及基于原型距离的选择性伪标记，足以使原型方法的使用。我们评估我们的方法对最近提出的激光雷达分割UDA场景的性能。我们的方法在当代方法中取得了显着的性能。
2022-05-23 cs.CV
Influential Prototypical Networks for Few Shot Learning: A Dermatological Case Study
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
原型网络是一种简单而有效的Few Shot学习策略。它是一种基于度量的元学习技术，通过计算每个类的原型表示的欧几里得距离来执行分类。传统的PN属性等于所有样本的重要性，并通过简单地平均属于每个类的支持样本嵌入来生成原型。在这项工作中，我们提出了一个新版本的PN属性权重支持样本对应于他们的支持样本分布的影响。样本的影响权重是基于包含和不包含样本的样本分布的平均嵌入之间的最大平均差异（MMD）计算的。我们提出的有影响力的PN（IPNet）的综合评价是通过比较其性能与其他基线PN在三个不同的基准皮肤病学数据集。IPNet优于所有基线模型，在所有三个数据集和各种N路，K-shot分类任务上都有令人信服的结果。跨域适应实验的结果进一步确立了IPNet的鲁棒性和通用性。
2021-12-24 cs.CV cs.LG eess.IV
SLPD: Slide-level Prototypical Distillation for WSIs
Shanghai Jiao Tong University（上海交通大学）
针对现有病理自监督学习仅聚焦图像块级表征、与切片级下游任务存在差距的问题，提出切片级原型蒸馏方法SLPD，通过切片内外语义结构建模提升WSI表征能力，在多个切片级基准上取得最优结果。
2023-07-20 cs.CV
Cephalometric Landmark Detection across Ages with Prototypical Network
Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Lingang Laboratory（临港实验室）；Shanghai Linkedcare Information Technology Co., Ltd.（上海联众医疗信息技术有限公司）；Shanghai Ninth People’s Hospital, Shanghai Jiao Tong University（上海交通大学医学院附属第九人民医院）；Shanghai United Imaging Intelligence Co. Ltd.（上海联影智能医疗科技有限公司）；Shanghai Clinical Research and Trial Center（上海临床研究与试验中心）
针对现有头影测量标志点检测多聚焦成人、忽略青少年群体标志点外观差异的问题，提出基于原型网络的CeLDA方法，通过原型对齐优化、整体原型估计及原型关系挖掘，实现跨年龄组的统一检测，性能更优，且首次构建了对应数据集与解决方案。
2024-06-18 cs.CV
PMODE: Prototypical Mask based Object Dimension Estimation
Elm Company（埃尔姆公司）
神经网络能在野外估计物体的尺寸吗？在本文中，我们提出了一种方法和深度学习架构，使用单目相机来估计视频中感兴趣的四边形对象的尺寸。所提出的技术不使用摄像机校准或手工制作的几何特征，然而，在训练过程中，在分割神经网络的系数的帮助下学习特征。采用具有ResNet 50主干的基于实时实例分割的深度神经网络，给出对象的原型掩模，从而提供感兴趣区域以回归其维度。实例分割网络被训练为仅查看最近的感兴趣对象。使用仅查看限界框检测器头和原型分割掩模的掩模系数的MLP头来执行回归。我们用三个不同的随机相机训练系统，测试数据集的MAPE达到22%，用于维度估计
2022-12-26 cs.CV
Prototypical Kernel Learning and Open-set Foreground Perception for Generalized Few-shot Semantic Segmentation
Alibaba Group（阿里巴巴集团）
针对GFSS中表示分裂与嵌入偏见问题，提出联合原型核学习和开集前景感知的分割框架，并扩展至CIFSS，在PASCAL-5i与COCO-20i上超越现有最先进方法。
2023-08-19 cs.AI cs.CV
ProtoShotXAI: Using Prototypical Few-Shot Architecture for Explainable AI
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）
无法解释的黑箱模型会产生异常情况导致有害反应的情景，从而产生不可接受的风险。这些风险促使可解释人工智能（XAI）领域通过评估黑盒神经网络中的局部可解释性来提高信任。不幸的是，地面真相是不可用的模型的决定，所以评估是有限的定性评估。此外，可解释性可能导致关于模型的不准确结论或错误的信任感。我们建议通过探索黑盒模型的潜在特征空间，从用户信任的角度来改进XAI。我们提出了一种方法，ProtoShotXAI，它使用一个原型Few-Shot网络来探索不同类别的非线性特征之间的对比流形。用户通过扰动查询样本的输入特征并记录来自任何类的样本子集的响应来探索流形。我们的方法是第一个本地可解释的XAI模型，可以扩展到Few-Shot网络并在其上演示。我们将ProtoShotXAI与MNIST，Omniglot和ImageNet上最先进的XAI方法进行比较，以定量和定性地证明ProtoShotXAI为模型探索提供了更大的灵活性。最后，ProtoShotXAI还展示了对抗性样本的新颖可解释性和可检测性。
2022-09-26 cs.CV cs.LG
PiPS: Post-Hoc Prototypical Explanations for Interpretable Semantic Segmentation
Jagiellonian University（雅盖隆大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；IDEAS Research Institute（IDEAS 研究所）
PiPS提出首个完全事后原型解释方法，无需修改或微调即可为任意预训练语义分割模型生成直观、空间局部化的解释，并保留100%原始预测性能。
2026-09-16 cs.CV
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
少样本学习中的大多数方法依赖于（预）训练期间与目标任务域相关的昂贵的注释数据。最近，无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时，在具有现实域转移的设置中，常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展，我们提出了一种迁移学习方法，该方法构建了一个度量嵌入，将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中，我们的方法甚至具有与监督方法相当的性能，但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
