One-vs-Rest Network-based Deep Probability Model for Open Set Recognition
Yonsei University(延世大学)
在训练过程中看不到的未知示例经常出现在现实世界的计算机视觉任务中,智能自学习系统应该能够区分已知和未知示例。开集识别,解决了这个问题,已经研究了大约十年。然而,传统的基于深度神经网络(DNN)的开集识别方法缺乏识别后分数分析的基础。在本文中,我们提出了一种DNN结构,其中多个one-vs-rest sigmoid网络跟随卷积神经网络特征提取器。一个一对休息的网络,它是由整流的线性单位激活函数的隐藏层和一个单一的sigmoid目标类输出节点,可以最大限度地提高能力,从不匹配的例子学习信息。此外,该网络产生了一个复杂的非线性特征到输出的映射,在特征空间中是可解释的。通过引入基于极值理论的校准技术,非线性和可解释的映射提供了一个基础良好的类成员概率模型。我们的实验表明,one-vs-rest网络可以为未知的示例提供比常用的SoftMax层更多的信息隐藏表示。此外,所提出的概率模型在开集分类场景中优于最先进的方法。
2020-05-28 cs.CV cs.LG
Informed Decision-Making through Advancements in Open Set Recognition and Unknown Sample Detection
Florida Institute of Technology(佛罗里达理工学院)
针对开放集识别中未知类别难以有效处理的问题,本文提出一种基于特征空间新表示的算法,并在三个数据集上验证其准确率和 F1-score 优于基线。
2024-05-09 cs.CV cs.LG
Self-supervised Detransformation Autoencoder for Representation Learning in Open Set Recognition
Florida Institute of Technology(佛罗里达理工学院)
开集识别(OSR)的目标是学习一个分类器,该分类器可以拒绝未知样本,同时准确地分类已知类别。在本文中,我们提出了一个自我监督的方法,反变换自动编码器(DTAE),OSR问题。所提出的方法参与学习对输入数据的变换不变的表示。在多个标准图像数据集上的实验表明,预训练过程显着提高了模型在OSR任务中的性能。同时,我们提出的自监督方法在检测未知类和分类已知类方面取得了显着的收益。此外,我们的分析表明,DTAE可以产生表示,包含更多的目标类信息和更少的转换信息比RotNet。
2022-07-06 cs.CV cs.LG
Unknown Identity Rejection Loss: Utilizing Unlabeled Data for Face Recognition
iQIYI Inc(爱奇艺公司);Beijing Institute of Technology(北京理工大学)
随着大规模标记数据集的可用性,人脸识别已经取得了相当大的进展。然而,如何进一步提高易于访问的未标记数据集的性能仍然是一个挑战。在本文中,我们提出了新的未知身份拒绝(UIR)损失利用未标记的数据。我们将无约束环境中的恒等式分为已知恒等式和未知恒等式。前者对应于出现在标记训练数据集中的身份,而后者是它的互补集。除了训练模型对已知身份进行准确分类外,我们还通过我们提出的UIR损失迫使模型拒绝未标记数据集提供的未知身份。为了“拒绝”未知身份的面孔,已知身份的中心被迫与未知身份的中心保持足够的余量,这些未知身份的中心被假设为由其样本的特征近似。通过这种方式,可以增强面部表示的区分度。实验结果表明,我们的方法可以提供明显的性能改善,利用未标记的数据。
2019-10-24 cs.CV
Learning Unknowns from Unknowns: Diversified Negative Prototypes Generator for Few-Shot Open-Set Recognition
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);School of Computer Science, Peking University(北京大学计算机学院)
针对少样本开集识别中负原型表示能力受限的问题,提出DNPG模型,利用基类未知空间信息在元学习中生成多样化负原型,并引入交换对齐模块防止原型坍塌,在三个标准数据集上达到最先进性能。
2024-08-23 cs.CV
Open-set Recognition based on the Combination of Deep Learning and Ensemble Method for Detecting Unknown Traffic Scenarios
Technische Hochschule Ingolstadt(因戈尔施塔特应用技术大学);Research Center CARISSMA(CARISSMA研究中心);Royal Melbourne Institute of Technology(皇家墨尔本理工大学)
对驾驶场景的理解和分类对于自动驾驶功能的测试和开发非常重要。机器学习模型对于场景分类是有用的,但是它们中的大多数假设在测试期间接收的数据来自训练中使用的类之一。这种假设并不总是正确的,因为车辆运行的开放环境。这是由一个新的机器学习范例称为开集识别。开集识别是将测试样本分配给训练中使用的类之一或未知类的问题。本文提出了一种结合卷积神经网络(CNN)和随机森林(RF)的交通场景开集识别方法。CNN用于特征生成,RF算法以及极值理论用于检测已知和未知类。所提出的解决方案的特点是探索RF树的投票模式,而不仅仅是多数表决。通过继承RF的集成性质,结合极值理论的所有树的投票模式被证明是非常适合检测未知类。所提出的方法已经在highD和OpenTraffic数据集上进行了测试,与现有的解决方案相比,在各个方面都表现出了卓越的性能。
2021-05-17 cs.CV
Conditional Variational Capsule Network for Open Set Recognition
University of Padova(帕多瓦大学);National University of Defense Technology(国防科技大学)
在开集识别中,分类器必须检测在训练时未知的未知类。为了识别新的类别,分类器必须将已知类别的输入样本投影到特征空间的非常紧凑和分离的区域中,以区分未知类别的样本。最近提出的胶囊网络在许多领域都表现出优于替代品的性能,特别是在图像识别方面,但它们尚未完全应用于开集识别。在胶囊网络中,标量神经元被胶囊向量或矩阵取代,其条目代表对象的不同属性。在我们的建议中,在训练期间,鼓励相同已知类别的胶囊特征匹配预定义的高斯,每个类别一个。为此,我们使用变分自编码器框架,与一组高斯先验作为后验分布的近似。通过这种方式,我们能够控制高斯中心周围同类特征的紧密性,从而控制分类器检测未知类样本的能力。我们对我们的模型进行了几次实验和消融,在开集识别和未知检测任务中的不同数据集上获得了最先进的结果。
2021-08-17 cs.AI cs.CV cs.LG
Open Set Recognition with Conditional Probabilistic Generative Models
Nanyang Technological University(南洋理工大学)
深度神经网络在广泛的视觉理解任务中取得了突破。阻碍其现实应用的一个典型挑战是,在测试阶段可能会将未知样本输入系统,但传统的深度神经网络会错误地将这些未知样本识别为已知类别之一。开集识别(Open Set Recognition,OSR)是解决这一问题的一种有效方法,它要求开集分类器具有拒绝未知样本的灵活性,同时在已知类别中保持较高的分类精度。概率生成模型,如变分自编码器(VAE)和对抗性自编码器(AAE),是检测未知数的流行方法,但它们不能为已知分类提供判别表示。在本文中,我们提出了一个新的框架,称为条件概率生成模型(CPGM),开集识别。我们工作的核心见解是将判别信息添加到概率生成模型中,使得所提出的模型不仅可以检测未知样本,还可以通过强制不同的潜在特征近似条件高斯分布来分类已知类别。我们讨论了许多模型变体,并提供了全面的实验来研究它们的特性。在多个基准数据集上的实验结果表明,该方法的性能明显优于基线,达到了新的最先进的性能。
2021-02-09 cs.CV cs.LG stat.ML
Model Evaluation for Domain Identification of Unknown Classes in Open-World Recognition: A Proposal
School of Digital Science(数字科学学院);Universiti Brunei Darussalam(文莱达鲁萨兰大学);Kalimantan Institute of Technology(加里曼丹理工学院)
本文提出一种评估协议,衡量模型区分未知ID与OOD样本的能力,并通过迁移学习、AutoML及NCM-FINCH在五个领域验证预训练表示对领域识别的作用。
2023-12-09 cs.AI cs.CV cs.LG
Towards Open Set Deep Networks
University of Colorado at Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
深度网络已经为各种视觉识别问题带来了显著的收益,导致了高影响力的学术和商业应用。最近在深度网络中的研究强调,很容易生成人类永远不会分类为特定对象类别的图像,但网络对这些图像的分类具有很高的置信度,因为给定的类别-深度网络很容易被人类认为没有意义的图像愚弄。深度网络的闭集性质迫使它们从导致此类工件的已知类别中选择一个。现实世界中的识别是开集的,即识别系统应该在测试时拒绝未知/看不见的类。我们提出了一种方法,通过引入一个新的模型层OpenMax来适应开集识别的深度网络,该模型层估计输入来自未知类的概率。估计未知概率的一个关键因素是使元识别概念适应网络倒数第二层的激活模式。OpenMax允许拒绝呈现给系统的“欺骗”和不相关的开集图像; OpenMax大大减少了深度网络造成的明显错误的数量。我们证明了OpenMax概念提供了有界的开放空间风险,从而正式提供了一个开集识别解决方案。我们使用来自ImageNet 2012验证数据的Caffe Model-zoo的预训练网络以及数千个傻瓜和开集图像来评估所得到的开集深度网络。所提出的OpenMax模型显著优于基本深度网络以及具有SoftMax概率阈值的深度网络的开集识别准确性。
2015-11-19 cs.CV cs.LG
NICE: Improving Panoptic Narrative Detection and Segmentation with Cascading Collaborative Learning
University of Southampton(南安普顿大学)
提出统一框架NICE,通过基于掩码重心的级联模块CGA和BDL联合学习全景叙述检测与分割,解决预测冲突并实现任务互补,大幅超越现有方法。
2023-10-23 cs.CV
Visual Question Generation for Class Acquisition of Unknown Objects
The University of Tokyo(东京大学);RIKEN(理化学研究所)
传统的图像识别方法只考虑属于已经学习过的类的对象。然而,由于用世界上的每个对象类来训练识别模型是不可行的,因此获得关于未知对象(即,类尚未被学习的对象)是必要的。图像识别系统学习新类的一种方法可能是向人类询问未知的物体。在本文中,我们提出了一种方法,用于生成关于图像中未知对象的问题,作为获取尚未学习的类的信息的手段。我们的方法包括一个模块提出的对象,一个模块识别未知的对象,和一个模块生成的问题,未知的对象。通过人工评估的实验结果表明,我们的方法可以成功地获得图像数据集中的未知对象的信息。我们的代码和数据集可以在https://github.com/mil-tokyo/vqg-unknown上找到。
2018-08-06 cs.CV
PartCom: Part Composition Learning for 3D Open-Set Recognition
University of Chinese Academy of Sciences(中国科学院大学)
3D识别是自动驾驶、机器人等许多新兴领域3D深度学习的基础,现有3D方法主要关注对固定的一组已知类的识别,而在测试时忽略了可能的未知类。这些未知类别可能会在安全关键应用(即自动驾驶)中导致严重事故。在这项工作中,我们首次尝试解决3D开集识别(OSR),使分类器可以识别已知的类,以及知道未知的类。我们分析了3D域中的开集风险,并指出了过度自信和代表性不足的问题,使现有的方法在3D OSR任务上表现不佳。针对上述问题,提出了一种基于零件原型的OSR方法PartCom。我们使用零件原型来表示3D形状作为零件组合,因为零件组合可以表示形状的整体结构,并且可以帮助区分不同的已知类和未知类。然后,我们制定了两个约束的部分原型,以确保其有效性。为了进一步降低开集风险,我们设计了一个PUFS模块,通过混合不同类别的部分复合特征来合成未知特征作为未知样本的代表。我们在三种基于CAD形状数据集和扫描形状数据集的3D OSR任务上进行了实验。大量的实验表明,我们的方法是强大的分类已知类和未知的,可以达到更好的结果比SOTA基线上的所有3D OSR任务。该项目将被释放。
2022-11-20 cs.CV
Unknown-box Approximation to Improve Optical Character Recognition Performance
University of Alberta(阿尔伯塔大学);Intuit Inc.(财捷公司)
光学字符识别(OCR)是一种在众多领域中广泛使用的模式识别应用。有几种功能丰富的通用OCR解决方案可供消费者使用,它们可以提供中等到优秀的准确度。然而,准确性可能会降低困难和不常见的文档域。文档图像的预处理可用于最小化域移位的影响。在本文中,提出了一种新的方法来创建一个定制的预处理器为给定的OCR引擎。与以前的OCR不可知预处理技术不同,所提出的方法近似于特定OCR引擎的梯度来训练预处理器模块。两个数据集和两个OCR引擎的实验表明,所提出的预处理器是能够提高OCR的准确性从基线到46%,通过应用像素级的操作的文档图像。建议方法的实施和增强的公共数据集可供下载。
2021-05-17 cs.CV
Benchmarking Post-Hoc Unknown-Category Detection in Food Recognition
University of Bern(伯尔尼大学)
本研究针对食物识别模型易将未知类别样本误判为分布内类别的问题,对多种事后OOD检测方法开展细粒度食物识别实证分析,发现ViM整体最优,验证了ID准确率与OOD检测性能正相关,且Transformer架构优于卷积模型。
2025-03-24 cs.CV
Evolving from Unknown to Known: Retentive Angular Representation Learning for Incremental Open Set Recognition
针对增量开放集识别中决策边界判别力下降的问题,提出保持角表示学习(RARL),通过虚拟-内在交互训练和分层修正策略,在CIFAR100和TinyImageNet上取得最先进性能。
2025-09-09 cs.CV
Towards Open-set Gesture Recognition via Feature Activation Enhancement and Orthogonal Prototype Learning
Shanghai Jiao Tong University(上海交通大学);OYMotion Technologies(OYMotion科技)
针对 sEMG 手势识别中的未知类拒识问题,提出 FAEM 与 OPL,利用特征激活差异和正交投影不一致提升开集识别性能。
2023-12-05 cs.CV
P-ODN: Prototype based Open Deep Network for Open Set Recognition
Peking University(北京大学);National Engineering Laboratory for Video Technology(国家视频技术工程实验室);Peng Cheng Laboratory(鹏城实验室)
大多数现有的识别算法都是针对闭集场景提出的,其中所有类别都是事先已知的。然而,在实践中,承认本质上是一个开集问题。有一些我们知道的类别被称为“已知”,还有更多我们不知道的被称为“未知”。预先枚举所有类别是不可能的,因此为这些未知数准备足够的训练样本是不可行的。应用闭集识别方法自然会导致不可见的类别错误。为了解决这个问题,我们提出了基于原型的开放深度网络(P-ODN)的开放集识别任务。具体来说,我们将原型学习引入开集识别。原型和原型半径被联合训练以引导CNN网络导出更多区分特征。然后,P-ODN通过应用基于特征和原型之间的距离度量的多类三元组阈值方法来检测未知数。手动将上一过程中检测到的未知值标记为新类别。新类别的预测器被添加到分类层,以“打开”深层神经网络,从而动态地合并新类别。新预测器的权重通过应用基于距离的算法来转移学习到的知识而被精细地初始化。因此,这种初始化方法加快了微调过程,并减少了训练新预测器所需的样本。大量的实验表明,P-ODN可以有效地检测未知数,并在人工干预下只需要很少的样本就可以识别一个新的类别。在现实世界的场景中,我们的方法在UCF 11,UCF 50,UCF 101和HMDB 51数据集上实现了最先进的性能。
2020-01-13 cs.CV
From Face Recognition to Models of Identity: A Bayesian Approach to Learning about Unknown Identities from Unsupervised Data
Imperial College London(帝国理工学院);Microsoft Research(微软研究院)
当前的人脸识别系统在各种各样的成像条件下鲁棒地识别身份。在这些系统中,识别是通过分类成从监督身份注释获得的已知身份来执行的。这种当前范例存在两个问题:(1)当前系统不能从可能大量可用的未标记数据中受益;以及(2)当前系统将成功识别等同于标记给定输入图像。另一方面,人类经常在完全无人监督的情况下进行个人身份识别,即使无法说出那个人的名字,也能识别出他们以前见过的人的身份。我们如何超越当前的分类范式,对身份进行更人性化的理解?我们提出了一个综合的贝叶斯模型,连贯的原因所观察到的图像,身份,部分知识的名称,和每个观察的情境背景。虽然我们的模型对已知身份实现了良好的识别性能,但它也可以从无监督数据中发现新的身份,并学习将身份与不同的上下文相关联,这取决于哪些身份倾向于一起观察。此外,建议的半监督组件不仅能够处理熟人,其名称是已知的,但也未标记的熟悉的面孔和完全陌生人在一个统一的框架。
2018-07-20 cs.CV
Unsupervised Recognition of Unknown Objects for Open-World Object Detection
Singapore Management University(新加坡管理大学);Wuhan University of Technology(武汉理工大学);Beihang University(北京航空航天大学)
本文提出无监督判别模型与无分类自训练方法,消除标签偏差,从伪标签中识别未知对象,显著提升开放世界目标检测性能。
2023-08-31 cs.CV
Open-Set Recognition with Gradient-Based Representations
Georgia Institute of Technology(佐治亚理工学院)
用于图像分类任务的神经网络假设在推理期间任何给定的图像属于训练类之一。这种闭集假设在现实世界的应用中受到挑战,其中模型可能会遇到未知类的输入。开集识别的目标是通过拒绝未知类,同时正确分类已知类来解决这个问题。在本文中,我们建议利用基于梯度的表示从一个已知的分类训练一个未知的检测器与已知类的实例。对应于正确表示给定样本所需的模型更新量,我们利用它来理解模型用其学习特征表征输入的能力。我们的方法可以与任何分类器一起使用,这些分类器以监督的方式对已知类进行训练,而不需要明确地对未知样本的分布进行建模。我们表明,我们的基于梯度的方法在开集分类中的性能优于最先进的方法高达11.6%。
2022-06-16 cs.CV
Collective Decision of One-vs-Rest Networks for Open Set Recognition
Yonsei University(延世大学)
在训练过程中看不到的未知示例经常出现在现实世界的机器学习任务中,智能自学习系统应该能够区分已知和未知示例。因此,开集识别(OSR),它解决了分类已知和识别未知的问题,最近已经突出。然而,使用softmax层的传统深度神经网络容易受到过度泛化的影响,对未知数产生高置信度。在本文中,我们提出了一个简单的OSR方法的基础上的直觉,OSR性能可以最大限度地通过设置严格和复杂的决策边界,拒绝未知,同时保持令人满意的分类性能的已知。为此,提出了一种新的网络结构,其中多个一对休息网络(OVRN)遵循卷积神经网络特征提取器。在这里,OVRN是一个简单的前馈神经网络,通过学习类特定的判别特征来增强拒绝不匹配的能力。此外,集体决策得分建模结合OVRN达成的多个决定,以减轻过度泛化。在各种数据集上进行了大量的实验,实验结果表明,该方法通过有效地减少过度泛化,性能明显优于现有方法.
2021-03-19 cs.CV
Spatial Location Constraint Prototype Loss for Open Set Recognition
Xidian University(西安电子科技大学)
开集识别是模式识别中的一个挑战。与闭集识别相比,开集识别不仅需要降低经验风险,还需要降低开空间风险,而这两种风险的降低分别对应于对已知类的分类和对未知类的识别。如何降低开放空间的风险是开放集识别的关键。本文通过分析开放空间的已知类和未知类特征的分布,探讨了开放空间风险的来源。在此基础上,提出了空间位置约束原型损失函数,以同时降低两种风险。在多个基准数据集上的大量实验和许多可视化结果表明,我们的方法优于大多数现有的方法。
2021-11-12 cs.CV
Open Set Domain Recognition via Attention-Based GCN and Semantic Matching Optimization
Northwestern Polytechnical University(西北工业大学)
开集域识别是近年来研究的热点问题。该任务的目标是在实际的未标记的目标域中对每个样本进行具体分类,该目标域由手动标记的源域中的所有已知类别和目标特定的未知类别组成。对于未知类别,注释的训练数据或辅助属性信息的缺乏使得该任务特别困难。此外,在标签空间和数据分布存在的领域差异进一步分散了知识转移从已知类到未知类。为了解决这些问题,这项工作提出了一个端到端的模型的基础上,注意力为基础的GCN和语义匹配优化,首先采用注意力机制,使中心节点学习更多的歧视性表示从它的邻居在知识图谱。此外,提出了一种由粗到细的语义匹配优化方法,逐步弥合领域差距。实验结果表明,该模型不仅在识别已知和未知类别的图像上具有优越性,而且能够适应目标领域的各种开放性。
2021-05-12 cs.CV
Classification-Reconstruction Learning for Open-Set Recognition
The University of Tokyo(东京大学);Data61-CSIRO(联邦科学与工业研究组织Data61)
开集分类是处理训练数据集中不包含的“未知”类的问题,而传统的分类器假设只有已知的类出现在测试环境中。现有的开集分类器依赖于在训练集中的已知类上以监督方式训练的深度网络;这导致学习的表示专门化为已知类,并且难以区分未知和已知。相反,我们训练网络用于联合分类和输入数据的重建。这增强了学习的表示,以便保留用于将未知数与已知数分离的信息,以及区分已知数的类别。我们新的开集识别分类-重构学习(CROSR)利用潜在表示进行重构,并在不损害已知类分类准确性的情况下实现鲁棒的未知检测。大量实验表明,该方法在多个标准数据集上优于现有的深度开集分类器,并且对不同的离群值具有鲁棒性。该代码可在https://nae-lab.org/~rei/research/crosr/上获得。
2019-10-06 cs.CV
Teacher-Explorer-Student Learning: A Novel Learning Method for Open Set Recognition
Yonsei University(延世大学)
如果出现了在训练过程中没有看到的未知样本,大多数识别系统通常会产生过度概括的结果,并确定该样本属于已知类别之一。为了解决这个问题,教师-探索者-学生(T/E/S)学习,它采用了开集识别(OSR)的概念,旨在拒绝未知样本,同时最大限度地减少已知样本的分类性能损失,在这项研究中提出。在这种新颖的学习方法中,通过探索未知数的各种可能性,大大减少了深度学习分类器的过度泛化。在这里,教师网络通过提取关于已知的预先训练的知识来提取关于未知的一些提示,并将此提取的知识传递给学生。在学习了提炼的知识之后,学生网络与探索者网络共享所学习的信息。然后,探索者网络通过生成类似未知的样本并将样本馈送到学生网络来共享其探索结果。通过重复这种交替学习过程,学生网络经历了各种合成未知数,减少了过度泛化。实验结果表明,本文提出的每个组件都对OSR性能的提高有显著的贡献。因此,所提出的T/E/S学习方法优于当前最先进的方法。
2021-03-23 cs.AI cs.CV
CUBE: Class-conditioned Unknown Boundary Evidence for Open-Set Insect Species Recognition
Guangdong University of Technology(广东工业大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong Polytechnic University(香港理工大学);Zunyi Medical University(遵义医科大学)
针对开放集昆虫识别中未知物种与已知类视觉相近导致的预测不可靠问题,提出类条件未知边界证据框架CUBE及结合生态元数据的CUBE-E,在Open-Insect C-America基准上取得优异性能。
2026-10-12 cs.CV
Learning Placeholders for Open-Set Recognition
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
传统的分类器部署在闭集设置下,训练和测试类都属于同一个集合。然而,现实世界的应用程序可能会面临未知类别的输入,模型会将它们识别为已知类别。在这种情况下,开集识别被提出来保持对已知类的分类性能并拒绝未知类。闭集模型对熟悉的已知类实例进行过度自信的预测,因此当扩展到开集环境时,跨类别的校准和阈值处理成为关键问题。为此,我们建议学习Open-SET识别的占位符(Proser),它通过为数据和分类器分配占位符来为未知类做准备。具体地说,学习数据占位符试图预测开集类数据,从而将闭集训练转换为开集训练。此外,为了学习目标和非目标类之间的不变信息,我们保留分类器占位符作为已知和未知之间的类特定边界。该方法通过流形混合有效地生成新类,并在训练过程中自适应地设置保留开集分类器的值。在不同数据集上的实验验证了该方法的有效性。
2021-03-28 cs.CV
Structured Semantic Transfer for Multi-Label Recognition with Partial Labels
Guangdong University of Technology(广东工业大学);Sun Yat-Sen University(中山大学)
多标签图像识别是一个基本而实际的任务,因为现实世界的图像固有地具有多个语义标签。然而,由于输入图像和输出标签空间的复杂性,很难收集大规模的多标签注释。为了降低注释成本,我们提出了一个结构化语义转移(SST)框架,该框架能够训练具有部分标签的多标签识别模型,即,每个图像只有一些标签是已知的,而其他标签是缺失的(也称为未知标签)。该框架包括两个互补的传输模块,探索图像内和跨图像的语义相关性,以转移已知标签的知识,为未知标签生成伪标签。具体地,图像内语义转移模块学习图像特定的标签共生矩阵,并基于该矩阵将已知标签映射到补充未知标签。同时,跨图像传输模块学习特定类别的特征相似性,并帮助补充具有高相似性的未知标签。最后,已知的和生成的标签被用来训练的多标签识别模型。在Microsoft COCO、Visual Genome和Pascal VOC数据集上进行的大量实验表明,所提出的SST框架获得了优于当前最先进算法的性能。代码可在https://github.com/HCPLab-SYSU/HCP-MLR-PL上获得。
2022-03-04 cs.CV
A novel network training approach for open set image recognition
Federation University(联邦大学);Murdoch University(莫道克大学)
卷积神经网络(CNN)通常被设计用于闭集排列,其中测试实例仅属于训练中使用的一些“已知已知”(KK)类。因此,他们根据KK类的分布预测测试样本的类标签。然而,当在开集识别(OSR)设置下使用时(其中输入可能属于“未知未知”或UU类),这样的网络将始终将测试实例分类为KK类之一,即使它来自UU类。作为一种解决方案,最近,已经使用了基于生成对抗网络(GAN)的数据增强。在这项工作中,我们提出了一种新的方法来挖掘“已知未知训练器”或KUT集,并设计了一个深度OSR网络(OSRNet)来利用这个数据集。我们的目标是通过KUT集教OSRNet UU的本质,KUT集实际上是一个挖掘的“硬已知未知否定”的集合。一旦经过训练,OSRNet可以检测UU,同时保持KK的高分类精度。我们在六个基准数据集上评估了OSRNet,并证明它优于当代OSR方法。
2021-09-27 cs.CV
Unsupervised Open Domain Recognition by Semantic Discrepancy Minimization
University of Chinese Academy of Sciences(中国科学院大学)
我们解决了无监督的开放域识别(UODR)问题,其中标记的源域S中的类别只是未标记的目标域T中的类别的子集。任务是正确分类T中的所有样本,包括已知和未知类别。当T中存在大量的未知类别时,由于领域的差异,UODR变得更加困难。此外,由图CNN(GCN)传播的分类规则可能会被未知类别分散注意力,并且缺乏泛化能力。为了度量S和T之间非对称标签空间的域差异,提出了语义引导匹配离散度(Semantic-Guided Matching Discretionary,SGMD),该方法首先利用S和T之间的实例匹配,然后通过匹配实例之间的加权特征距离来度量差异。我们进一步设计了一个有限的平衡约束,以实现更平衡的分类输出的已知和未知类别。我们开发了无监督开放域传输网络(UODTN),它通过减少SGMD,强制执行有限平衡约束和最小化S上的分类损失来学习骨干分类网络和GCN。UODTN更好地保留了语义结构,并加强了学习的域不变视觉特征和语义嵌入之间的一致性。实验结果表明,该方法在识别已知和未知类别的图像上都具有优越性。
2019-04-18 cs.CV
All Beings Are Equal in Open Set Recognition
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对开集识别中伪未知类单类设置引发的分布破坏与类别/实例不平衡问题,提出目标感知通用样本集TAU将未知类扩展为K个,结合双对比损失构建DCTAU框架,取得开集识别任务的新SOTA。
2024-01-31 cs.CV
Reconstructing Humpty Dumpty: Multi-feature Graph Autoencoder for Open Set Action Recognition
Kitware(Kitware公司)
大多数动作识别数据集和算法都假设一个封闭的世界,其中所有测试样本都是已知类的实例。在开集问题中,测试样本可以从已知类或未知类中抽取。现有的开集动作识别方法通常基于通过添加分类分数或特征距离的事后分析来扩展闭集方法,并且不捕获所有视频片段元素之间的关系。我们的方法使用重建误差来确定视频的新颖性,因为未知类更难重新组合在一起,因此具有比已知类的视频更高的重建误差。我们把我们对开集动作识别问题的解决方案称为“Humpty Dumpty”,因为它具有重构能力。Humpty Dumpty是一种新颖的基于图形的自动编码器,它考虑了片段之间的上下文和语义关系,以改进重建。更大的重构误差导致动作不能被重构的可能性增加,即,不能把Humpty Dumpty重新组合在一起,表明这个动作以前从未见过,是新奇的/未知的。在HMDB-51和UCF-101两个公开的动作识别数据集上进行了大量的实验,显示了开集动作识别的最新性能。
2022-12-12 cs.CV
Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels
Sun Yat-Sen University(中山大学);Guangdong University of Technology(广东工业大学)
训练具有部分标签的多标签图像识别模型是一个相当具有挑战性和实用性的任务,其中对于每幅图像,只有一些标签是已知的,而其他标签是未知的。为了解决这个问题,目前的算法主要依赖于预训练分类或相似性模型来为未知标签生成伪标签。然而,这些算法依赖于足够的多标签标注来训练模型,导致性能较差,特别是在已知标签比例较低的情况下。在这项工作中,我们建议在不同的图像中混合特定于类别的表示,以转移已知标签的信息来补充未知标签,这可以摆脱预训练模型,从而不依赖于足够的注释。为此,我们设计了一个统一的语义感知表示混合(SARB)框架,该框架利用实例级和原型级语义表示来补充未知标签,通过两个互补模块:1)实例级表示混合(ILRB)模块将图像中已知标签的表示混合到另一图像中未知标签的表示中,以补充这些未知标签。2)原型级表示混合(PLRB)模块为每个类别学习更稳定的表示原型,并将未知标签的表示与对应标签的原型混合以补充这些标签。在MS-COCO、Visual Genome、Pascal VOC 2007数据集上进行的大量实验表明,所提出的SARB框架在所有已知的标签比例设置上都获得了优于当前领先竞争对手的性能,即,mAP分别提高4.6%,4.%,当已知标签比例为10%时,在这三个数据集上的识别率为2.2%。代码可在https://github.com/HCPLab-SYSU/HCP-MLR-PL上获得。
2022-03-04 cs.CV
Few-shot Open-set Recognition Using Background as Unknowns
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Tencent(腾讯)
Few-Shot开集识别的目标是在已知类的有限训练数据的情况下对已知图像和新图像进行分类。这个任务的挑战是,模型不仅需要学习一个判别分类器,以用很少的训练数据对预定义的类进行分类,而且还需要拒绝来自从未在训练时出现的看不见的类的输入。在本文中,我们建议从两个新的方面来解决这个问题。首先,而不是学习的决策边界之间看到的类,如在标准的闭集分类,我们保留空间看不见的类,这样,位于这些地区的图像被识别为看不见的类。其次,为了有效地学习这样的决策边界,我们建议利用从看到的类的背景特征。由于这些背景区域对闭集分类的决策没有显着贡献,因此很自然地将它们用作分类器学习的伪不可见类。我们广泛的实验表明,我们提出的方法不仅优于多个基线,而且还在三个流行的基准测试中设置了新的最先进的结果,即tieredImageNet,miniImageNet和Caltech-USCD Birds-200-2011(CUB)。
2022-07-19 cs.CV
Dual-Perspective Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels
Sun Yat-Sen University(中山大学);Guangdong University of Technology(广东工业大学)
针对部分标签多标签图像识别中现有方法依赖标注、低已知标签占比下性能下降的问题,提出双视角语义感知表示融合方法,从实例和原型视角融合表示补全未知标签,在多个数据集上性能超越现有最优算法。
2024-01-27 cs.CV
Learning Adversarial Semantic Embeddings for Zero-Shot Recognition in Open Worlds
Beihang University(北京航空航天大学);Singapore Management University(新加坡管理大学);Wuhan University of Technology(武汉理工大学);Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所)
本文针对零样本开放集识别(ZS-OSR)任务,提出通过生成未知类别的对抗性语义嵌入来训练未知信息感知分类器,从而在保持未见类别分类精度的同时显著提升未知类别检测能力。
2023-07-07 cs.CV
Data-Driven Hierarchical Open Set Recognition
University of Denver(丹佛大学);University of Colorado Boulder(科罗拉多大学博尔德分校);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文提出一种数据驱动的层次化开放集识别方法,利用约束凝聚聚类自动构建类别层次,在AwA2数据集上取得AUC ROC 0.82和效用分数0.85,并引入新指标以评估分类一致性。
2024-11-04 cs.CV cs.LG
Classifying the Unknown: In-Context Learning for Open-Vocabulary Text and Symbol Recognition
University of Rouen Normandy(鲁昂诺曼底大学);INSA of Rouen Normandy(鲁昂诺曼底国立应用科学学院);LITIS EA4108
Rosetta利用多模态上下文学习和上下文感知分词器,通过少量示例实现开放词汇的文本与符号分类,无需重新训练,并能识别训练集之外的新字母表和语言。
2025-04-09 cs.CV
SphOR: A Representation Learning Perspective on Open-set Recognition for Identifying Unknown Classes in Deep Learning Models
The University of Melbourne(墨尔本大学)
SphOR通过监督表示学习和三个创新技术提升开放集识别性能,实现最先进的AUROC和OSCR结果。
2026-02-22 cs.CV
The Devil is in the Wrongly-classified Samples: Towards Unified Open-set Recognition
The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团);Xi’an Jiaotong University(西安交通大学)
开集识别(OSR)的目的是识别在训练过程中没有看到的测试样本。最近,统一开集识别(UOSR)已被提出,拒绝不仅未知的样本,但错误分类的样本,这往往是在现实世界中更实用。UOSR自提出以来很少引起关注,但我们发现有时它甚至比OSR更实用,因为已知但错误分类的样本的评估结果也像未知样本一样是错误的。在本文中,我们深入分析了UOSR任务在不同的培训和评估设置,揭示了这一有前途的研究方向。为了这个目的,我们首先评估UOSR性能的几种OSR方法,并显示一个显着的发现,UOSR性能始终超过OSR性能的同一方法的大幅度。我们发现,原因在于已知但错误分类的样本,因为它们的不确定性分布非常接近未知样本,而不是已知和正确分类的样本。其次,我们分析了OSR的两个训练设置(即,预培训和离群值暴露)影响UOSR。我们发现,虽然它们都有利于区分已知和正确分类的样本与未知样本,但预训练也有助于识别已知但错误分类的样本,而离群值暴露则不然。除了不同的训练设置,我们还为UOSR制定了一个新的评估设置,称为Few-Shot UOSR,在评估过程中每个未知类只有一个或五个样本,以帮助识别未知样本。我们建议FS-KNNS的Few-Shot UOSR实现国家的最先进的性能在所有设置。
2023-02-08 cs.CV
Adversarial Reciprocal Points Learning for Open Set Recognition
Peking University(北京大学);Huawei(华为)
开集识别(Open Set Recognition,OSR)是机器学习的关键技术,其目标是同时对已知数据进行分类,并将未知数据识别为“未知”,其关键问题是如何同时降低已知数据的经验分类风险和未知数据的开空间风险。为了应对这一挑战,我们从多类整合的角度阐述了开放空间的风险问题,并使用一个新的概念互惠点来建模未开发的类外空间。在此基础上,提出了一种新的学习框架,称为对抗互点学习(ARPL),以最大限度地减少已知分布和未知分布的重叠,而不损失已知的分类精度。具体地说,每个倒易点都是通过类外空间与对应的已知类别学习的,并且多个已知类别之间的对抗被用来降低经验分类风险。然后,提出了一个对抗性的边缘约束,以减少开放空间的风险,通过限制潜在的开放空间所构成的倒易点。为了进一步估计开放空间中的未知分布,基于倒易点和已知类之间的对抗机制,设计了一种实例化的对抗增强方法来生成多样化和混乱的训练样本。这可以有效地提高模型对未知类的可扩展性。在各种基准数据集上的大量实验结果表明,该方法明显优于其他现有方法,并达到了最先进的性能。
2021-08-19 cs.CV
Learning Open Set Network with Discriminative Reciprocal Points
Peking University(北京大学);Beihang University(北京航空航天大学);Hikvision Research Institute(海康威视研究院)
开集识别是一个新兴的研究领域,其目的是同时从预定义的类中分类样本,并将其余的识别为“未知”。在这个过程中,一个关键的挑战是减少从少量已知数据中学习到的众多未知样本的固有特征泛化的风险。本文提出了一个新的概念:互反点,它是每个已知范畴对应的类外空间的势表示。样本可以通过倒数点的差异性分为已知和未知两类。为了解决开集问题,我们提出了一个新的开放空间风险正则化项。基于倒易点构成的有界空间,通过多类别交互降低未知风险。互反点学习(Reciprocal Point Learning,RPL)是一种新的学习框架,它可以间接地将未知信息引入到只有已知类的学习器中,从而学习到更紧凑、更有区别的表示。此外,我们进一步构建了一个新的大规模具有挑战性的飞机数据集,用于开集识别:飞机300(Air-300)。在多个基准数据集上的大量实验表明,我们的框架明显优于其他现有的方法,并在标准开集基准上实现了最先进的性能。
2020-10-31 cs.CV cs.LG
A Survey on Open Set Recognition
Florida Institute of Technology(佛罗里达理工学院)
开放集识别(OSR)是关于处理模型在训练过程中没有学习到的未知情况。在本文中,我们提供了一个关于OSR的现有作品的调查,并区分各自的优点和缺点,以帮助新的研究人员感兴趣的主题。OSR模型的分类提供了一个广泛的总结最近的进展。分析了OSR与多类分类、新颖性检测等相关任务之间的关系。它的结论是,OSR可以适当地处理未知的情况下,在现实世界中捕捉所有可能的类的训练数据是不切实际的。最后,突出了OSR的应用,并为未来的研究课题提出了一些新的方向。
2021-08-18 cs.CV
Electromagnetic Scattering Kernel Guided Reciprocal Point Learning for SAR Open-Set Recognition
Fudan University(复旦大学);China Mobile Internet Company Limited(中国移动互联网有限公司)
针对SAR自动目标识别在开放环境下识别未知类别的难题,本文提出ASC-RPL,以互反点学习构建有界未知空间,并用属性散射中心卷积核增强散射特征提取,在MSTAR上优于主流方法。
2024-12-06 cs.AI cs.CV
Understanding Open-Set Recognition by Jacobian Norm and Inter-Class Separation
Yonsei University(延世大学);Woowa Brothers Corp.(Woowa Brothers公司)
本文从表示 Jacobian 范数与类内/类间学习动态出发解释开集识别机制,并提出增强类间分离与范数差异的 m-OvR 损失及配套策略。
2023-09-29 cs.CV
Multi-Attribute Open Set Recognition
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Freiburg(弗莱堡大学)
开放集识别(OSR)通过同时分类已知类和识别未知类,将图像分类扩展到开放世界环境。虽然传统的OSR方法可以检测分布外(OOD)样本,但是它们不能提供指示哪个(哪些)底层视觉属性(例如,形状、颜色或背景)导致特定样品未知。在这项工作中,我们介绍了一种新的问题设置,将传统的OSR的多属性设置,多个视觉属性同时识别。在这里,OOD样本不仅可以被识别,而且可以通过它们的未知属性进行分类。我们提出了简单的扩展常见的OSR基线来处理这种新的情况。我们表明,当训练数据集中存在虚假相关性时,这些基线容易受到捷径的影响。这导致了糟糕的OOD性能,根据我们的实验,这主要是由于预测的置信度分数的非预期的跨属性相关性。我们提供的经验证据表明,这种行为在合成和真实世界数据集的不同基线上是一致的。
2022-08-14 cs.CV
Class Anchor Clustering: a Loss for Distance-based Open Set Recognition
Queensland University of Technology(昆士兰科技大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
在开集识别中,深度神经网络遇到在训练期间未知的对象类。现有的开集分类器通过测量网络的logit空间中的距离来区分已知类和未知类,假设已知类比未知类聚类更接近训练数据。然而,这种方法是事后应用于用交叉熵损失训练的网络,这并不能保证这种聚类行为。为了克服这个限制,我们引入了类锚聚类(CAC)损失。CAC是一种基于距离的损失,它明确地训练已知的类在logit空间中锚定的类依赖中心周围形成紧密的集群。我们表明,CAC训练在所有六个标准基准数据集上实现了基于距离的开集分类器的最新性能,在具有挑战性的TinyImageNet上AUROC增加了15.2%,而不会牺牲分类精度。我们还表明,我们的锚定类中心比学习类中心实现了更高的开集性能,特别是在基于对象的数据集和大量的训练类。
2021-03-02 cs.CV
Open-Set Recognition with Gaussian Mixture Variational Autoencoders
Northwestern University(西北大学)
在推理中,开集分类是将样本分类到训练中的已知类或将其拒绝为未知类。现有的深度开集分类器训练显式闭集分类器,在某些情况下,分离地利用重建,我们发现稀释了潜在的表示的能力,以区分未知的类。相比之下,我们训练我们的模型来合作学习重建,并在潜在空间中执行基于类的聚类。有了这个,我们的高斯混合变分自编码器(GMVAE)实现了更准确和更强大的开集分类结果,平均F1提高了29.5%,通过大量的实验分析结果的帮助。
2020-06-03 cs.CV cs.LG cs.NE
PMAL: Open Set Recognition via Robust Prototype Mining
Hikvision Research Institution(海康威象研究院);Zhejiang University(浙江大学)
开集识别(OSR)是一个新兴的研究课题。除了识别预定义的类之外,系统还需要拒绝未知数。原型学习是一种潜在的方式来处理这个问题,因为它的能力,以提高类内的紧凑性的表示是非常需要在已知和未知之间的歧视。在这项工作中,我们提出了一个新的原型挖掘和学习(PMAL)框架。它在优化嵌入空间之前有一个原型挖掘机制,明确考虑了两个关键属性,即原型集的高质量和多样性。具体地说,该方法首先通过数据不确定性学习从训练样本中提取出一组高质量的候选样本,避免了意外噪声的干扰。针对同一类别中对象的多样性,提出了一种基于多样性的原型集过滤策略。因此,嵌入空间可以被更好地优化以在其中区分预定义的类以及区分已知和未知。大量的实验验证了这两个良好的特性(即,高质量和多样性)的原型挖掘,并显示了显着的性能相比,国家的最先进的拟议框架。
2022-03-16 cs.CV
Identifying the Unknown: Prompt-Free Open Vocabulary Anomaly Recognition for Robot-Object Interaction
University of Hamburg(汉堡大学)
提出AnomNOVIC框架,结合掩码自编码器与无提示开放词汇分类器,实现机器人对未知物体的实时识别,在多个数据集上显著超越现有基线。
2026-06-26 cs.CV
Open-set Recognition via Augmentation-based Similarity Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
传统的监督学习或分类的主要假设是测试样本与训练样本来自相同的分布,这被称为闭集学习或分类。在许多实际场景中,情况并非如此,因为在测试数据中存在未知数或不可见的类样本,这被称为开集场景,并且需要检测未知数。这个问题被称为开集识别问题,在安全关键应用中很重要。我们建议通过学习成对的相似性来检测未知数(或看不见的类样本)。所提出的方法分两步进行。它首先使用在训练中出现的可见类学习一个闭集分类器,然后学习如何将可见类与伪不可见类(自动生成的不可见类样本)进行比较。通过对可见或训练样本执行分布移位增强来执行伪不可见生成。我们称我们的方法OPG(开集识别基于伪看不见的数据生成)。实验结果表明,学习到的基于相似性的特征可以成功地区分开集识别的基准数据集中的可见和不可见。
2022-08-21 cs.AI cs.CV
Adversarial Motorial Prototype Framework for Open Set Recognition
National Lab of Radar Signal Processing, Xidian University(西安电子科技大学雷达信号处理国家重点实验室)
开集识别的目的是识别已知的类,并拒绝未知的类。具体而言,识别已知类和拒绝未知类分别对应于减少经验风险和开放空间风险。首先,提出了运动原型框架(MPF),根据原型分类思想对已知类进行分类。此外,在MPF的损失函数中加入运动边缘约束项,进一步提高了特征空间中已知类的聚类紧度,降低了这两种风险。其次,本文提出了基于MPF的对抗运动原型框架(AMPF)。该模型一方面可以生成对抗样本,并将这些样本加入到训练阶段;另一方面,通过边界约束半径的对抗运动,进一步提高模型对已知类和未知类的差分映射能力。最后,本文提出了一个升级版本的AMPF,AMPF++,它增加了更多的生成未知样本的训练阶段。本文通过大量的实验证明了所提出的模型的性能优于目前的其他工作。
2021-07-13 cs.AI cs.CV
Community-aware evaluation and threshold calibration for open-set plankton image recognition
School of Computer Science and Cyber Engineering, Guangzhou University(广州大学计算机科学与网络工程学院);School of Environment, South China Normal University(华南师范大学环境学院);School of Artificial Intelligence, Guangzhou University(广州大学人工智能学院);Institute of Computing Science and Technology, Guangzhou University(广州大学计算科学与技术学院)
本文研究了开放集浮游生物识别中样本级与社区级评估的不匹配问题,提出Open-Set Community Distortion(OSCD)指标,并通过实验验证社区感知阈值校准对减少OSCD的有效性,强调应将开放集识别视为生态测量问题。
2026-05-15 cs.CV