Filling the Unseen: Scene Extrapolation via 3D Gaussian Splatting
Case Western Reserve University（凯斯西储大学）
针对3D高斯泼溅在分布外视角重建出现空洞和伪影的问题，本文提出独立视角检测与分层外推框架，并引入QA-Mask模块选择性利用生成数据，显著提升外推质量且可泛化。
2026-09-15 cs.CV
Fostering Generalization in Single-view 3D Reconstruction by Learning a Hierarchy of Local and Global Shape Priors
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
单视图3D对象重建已经取得了很大的进展，但方法仍然难以推广到训练过程中看不到的新形状。常见的方法主要依赖于学习的全局形状先验，因此，忽略详细的局部观察。在这项工作中，我们解决这个问题，通过学习的层次结构的先验知识在不同层次的地方从地面真实输入深度图。我们认为，利用当地的先验知识，使我们的方法，以有效地利用输入的意见，从而提高在可见区域的新形状的推广。同时，局部和全局先验的结合使未观察到的部分产生有意义的幻觉，从而产生一致的3D形状。我们表明，分层的方法比全球性的方法更好地推广。它不仅在类的不同实例之间进行泛化，而且还跨类和对象的不可见排列进行泛化。
2021-04-01 cs.CV
3D Reconstruction of Novel Object Shapes from Single Images
Georgia Institute of Technology（佐治亚理工学院）
从单个图像准确预测任何姿态的任何任意物体的3D形状是计算机视觉研究的一个关键目标。这是具有挑战性的，因为它需要一个模型来学习一种表示，这种表示可以使用有限的训练集来推断任何对象的可见部分和被遮挡部分。覆盖所有可能的对象形状的训练集本质上是不可行的。这种基于学习的方法本质上容易受到过拟合的影响，并且成功地实现它们是架构设计和训练方法的功能。我们提出了一个广泛的调查，具体到建筑设计，培训，实验设计和评估，影响重建性能和测量的因素。我们表明，我们提出的SDFNet相对于现有方法GenRe和OccNet在可见和不可见形状上实现了最先进的性能。我们提供了第一个大规模的评估单图像形状重建看不见的对象。源代码，数据和训练模型可以在https://github.com/rehg-lab/3DShapeGen上找到。
2021-09-01 cs.CV
Context-Conditional Adaptation for Recognizing Unseen Classes in Unseen Domains
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
最近的进展，设计模型，可以推广到看不见的领域（即领域泛化）或看不见的类（即零样本学习）已经开始对建立模型，可以同时处理域转移和语义转移（即zero-shot领域泛化）的兴趣。为了使模型泛化到看不见的领域中的看不见的类，学习保留类级别（域不变）以及特定于域的信息的特征表示是至关重要的。从生成zero-shot方法的成功的动机，我们提出了一个功能生成框架集成的COontext COnnumberAdaptive（COCOA）批量规范化无缝集成类级语义和特定领域的信息。生成的可视化特征更好地捕捉底层数据分布，使我们能够在测试时泛化到看不见的类和域。我们在已建立的大型基准测试- DomainNet上彻底评估和分析了我们的方法，并在基线和最先进的方法上展示了有前途的性能。
2021-07-15 cs.CV
Imaginative Walks: Generative Random Walk Deviation Loss for Improved Unseen Learning Representation
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
我们提出了一种新的生成模型损失，称为GRaWD（生成随机游走偏差），以改善未探索的视觉空间的学习表示。看不见的类（或样式）的质量学习表示对于促进新颖图像生成和对看不见的视觉类的更好的生成性理解是至关重要的，即，零样本学习。通过基于它们的语义描述来生成不可见类的表示，例如，属性或文本，生成式语法试图区分看不见的类别和看不见的类别。所提出的GRaWD损失是通过构建一个动态图来定义的，该动态图包括所看到的类/样式中心和当前minibatch中生成的样本。我们的损失启动了一个随机行走概率从每个中心通过视觉世代产生的幻觉看不见的类。作为一个偏差信号，我们鼓励随机游走最终在t步之后降落在一个难以分类为任何可见类的特征表示中。我们证明，建议的损失可以提高看不见的类表示质量归纳基于文本的CUL基准CUB和NABIrds数据集和基于属性的CUL基准AWA 2，SUN和aPY数据集。此外，我们调查的能力，拟议的损失，以产生有意义的新的视觉艺术的WikiArt数据集。实验和人工评估的结果表明，所提出的GRaWD损失可以提高StyleGAN 1和StyleGAN 2生成质量，并创建更受欢迎的新艺术。我们的代码可在https://github.com/Vision-CAIR/GRaWD上公开获取。
2021-09-24 cs.AI cs.CV
Exploiting Semantic Attributes for Transductive Zero-Shot Learning
University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University（南京大学）
零样本学习（Zero-shot learning，简称ZRL）的目标是通过归纳视觉特征和从可见类中学习到的语义属性之间的关系来识别不可见类。最近的一个范例称为转导零样本学习，在训练过程中进一步利用未标记的未见过的数据，并取得了令人印象深刻的结果。这些方法总是通过生成对抗网络从属性中合成看不见的特征，以减轻对可见类的偏见。然而，它们忽略了未标记的不可见数据中的语义信息，因此无法生成高保真的属性一致的不可见特征。为了解决这个问题，我们提出了一种新的transductive的mandrel方法，产生的语义属性的看不见的数据，并将它们的生成过程。特别是，我们首先训练一个属性解码器，学习从视觉特征到语义属性的映射。然后，从属性解码器中，我们获得未标记数据的伪属性，并将它们集成到生成模型中，这有助于捕获看不见的类中的详细差异，从而合成更具鉴别力的特征。在五个标准基准测试上的实验表明，我们的方法在零样本学习中得到了最好的结果。
2023-03-17 cs.AI cs.CV
Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains
Linkoping University（林雪平大学）
解决特定任务注释数据的稀缺性的需要导致近年来针对特定设置（例如零触发学习（zero-shot learning，ZNL）和领域泛化（domain generalization，DG））的协同努力，以分别单独解决语义转移和领域转移的问题。然而，现实世界的应用程序通常没有约束的设置，并且需要处理看不见的域中的看不见的类--一种称为Zero-shot领域泛化的设置，它同时提出了域和语义转换的问题。在这项工作中，我们提出了一种新的方法，学习域不可知的结构化的潜在嵌入投影图像从不同的领域，以及类特定的语义基于文本的表示到一个共同的潜在空间。特别是，我们的方法共同努力实现以下目标：（i）对齐来自视觉和基于文本的语义概念的多模态线索;（ii）根据域不可知的类级语义概念划分公共潜在空间;以及（iii）学习域不变性w.r.t视觉语义联合分布，用于推广到看不见的域中的看不见的类。我们在具有挑战性的DomainNet和DomainNet-LS基准测试上的实验表明，我们的方法优于现有方法，在quickdraw和sketch等困难领域有显着的收益。
2021-07-12 cs.CV
Transductive Zero-Shot Learning using Cross-Modal CycleGAN
Laboratoire d’Informatique de Paris 6（巴黎第六计算机实验室）；Criteo AI Lab（科韬人工智能实验室）
在计算机视觉中，零样本学习（Zero-Shot Learning，缩写为ZRL）的目标是对看不见的类别进行分类，即不存在匹配的训练图像的类别。大多数的CNOL作品学习图像和所见类的类标签之间的跨模态映射。但是，可见类和不可见类的数据分布可能不同，从而导致域偏移问题。根据这一观察结果，转换类学习（transductive Cumulative L，T-Cumulative L）假设在训练过程中已知不可见的类及其相关图像，但不知道它们的对应关系。由于当前的T-BNL方法在看到的类的数量很高时不能有效地扩展，因此我们使用基于CycleGAN的T-BNL新模型来解决这个问题。我们的模型联合（i）将图像投影到具有监督目标的可见类标签上，（ii）将不可见类标签和视觉样本与对抗性和周期一致性目标对齐。我们展示了我们的跨模态CycleGAN模型（CM-GAN）在ImageNet T-GML任务上的效率，我们在其中获得了最先进的结果。我们进一步验证CM-GAN在语言基础任务上，以及我们提出的新任务：MS COCO上的zero-shot图像匹配。
2020-11-13 cs.AI cs.CV
Learning Prototype via Placeholder for Zero-shot Recognition
Beihang University（北京航空航天大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
零样本学习（Zero-shot learning，ZRL）的目标是通过利用可见类和不可见类之间共享的语义描述来识别不可见类。目前的方法表明，通过将语义嵌入作为类原型投影到视觉空间中来学习视觉语义对齐是有效的。然而，这样的投影函数只涉及所看到的类。当应用于看不见的类时，由于域转移，原型经常表现得不太理想。在本文中，我们建议通过占位符学习原型，称为LPL，以消除可见和不可见类之间的域转移。具体来说，我们结合了看到的类幻觉新的类扮演的占位符的视觉和语义空间中看不见的类。放置在可见类之间，占位符鼓励可见类的原型高度分散。而更多的空间是留给插入分离良好的看不见的。从经验上讲，分离良好的原型有助于抵消由域转移引起的视觉语义不一致。此外，我们利用一种新的面向语义的微调，以保证占位符的语义可靠性。在五个基准数据集上进行的大量实验表明，LPL的性能优于最先进的方法。代码可在https://github.com/zaiquanyang/LPL上获得。
2022-07-29 cs.CV
Sparse multi-view hand-object reconstruction for unseen environments
Queen Mary University of London（伦敦玛丽女王大学）；Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出稀疏多视角手-物体重建模型SVHO，将多视角RGB预测直接融合为统一重建结果，无需跨视角优化，并在真实未见物体数据上验证了额外视角对重建质量的提升作用。
2024-05-02 cs.CV
Learning to Better Segment Objects from Unseen Classes with Unlabeled Videos
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM，巴黎高科桥梁学院，古斯塔夫·埃菲尔大学，法国国家科学研究中心）
从看不见的类中定位和分割对象的能力将为新的应用打开大门，例如主动视觉中的自主对象学习。尽管如此，提高看不见的类的性能需要额外的训练数据，而手动注释看不见的类的对象可能是劳动力密集且昂贵的。在本文中，我们探讨了使用未标记的视频序列自动生成训练数据的对象看不见的类。原则上可以将现有的视频分割方法应用于未标记的视频并自动获得对象掩码，然后可以将其用作训练集，即使对于没有可用的手动标签的类。然而，我们的实验表明，这些方法并不足以达到这一目的。因此，我们引入了一种专门设计用于自动创建这样一个训练集的贝叶斯方法：我们的方法从一组对象建议开始，并依赖于（非现实的）综合分析，通过同时对所有帧进行有效的优化来选择正确的对象。通过大量的实验，我们表明，我们的方法可以生成一个高质量的训练集，显着提高分割看不见的类的对象的性能。因此，我们相信，我们的方法可以打开大门开放世界的实例分割使用丰富的互联网视频。
2021-08-20 cs.CV cs.LG
Universal Cross-Domain Retrieval: Generalizing Across Classes and Domains
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；Indian Institute of Science, Bangalore（印度科学理工学院班加罗尔分校）
在这项工作中，我们第一次解决了通用跨域检索的问题，其中测试数据可以属于训练过程中看不到的类或域。由于类别数量的动态增加以及对每个可能领域的训练的实际约束，这需要大量的数据，因此推广到看不见的类别和领域是很重要的。为了实现这一目标，我们提出了SnMpNet（语义邻域和混合预测网络），它包含了两个新的损失，以解释测试过程中遇到的看不见的类和域。具体来说，我们引入了一种新的语义邻域损失来弥合可见和不可见类之间的知识差距，并确保不可见类的潜在空间嵌入相对于其相邻类在语义上是有意义的。我们还在图像级和数据的语义级引入了基于混合的监督，用于使用混合预测损失进行训练，这有助于在查询属于未知域时进行有效检索。这些损失被合并到SE-ResNet 50主干上以获得SnMpNet。在两个大规模数据集Sketchy Extended和DomainNet上进行了大量实验，并与最先进的数据集进行了全面的比较，证明了该模型的有效性。
2021-08-18 cs.CV
Multi-modal Cycle-consistent Generalized Zero-Shot Learning
Australian Institute for Machine Learning（澳大利亚机器学习研究院）；University of Adelaide（阿德莱德大学）
在广义零样本学习（GSTML）中，类集合被分成可见类和不可见类，其中训练依赖于可见类和不可见类的语义特征以及仅可见类的视觉表示，而测试使用可见类和不可见类的视觉表示。当前的方法通过学习从视觉空间到语义空间的转换来解决GCML，探索语义空间和视觉空间中的类分布相对相似的假设。这种方法往往会将看不见的测试视觉表示转换为一个可见类的语义特征，而不是正确的看不见的类的语义特征，导致低精度的GALML分类。最近，生成对抗网络（GAN）已经被探索用于从语义特征合成看不见的类的视觉表示-然后使用合成的可见和不可见类的表示来训练GAN L分类器。这种方法已被证明可以提高GALML分类的准确性，但是，不能保证合成的视觉表示可以以多模态循环一致的方式生成其语义特征。这种约束可能导致合成的视觉表示不能很好地表示其语义特征。在本文中，我们提出了使用这种约束的基础上，一个新的正则化的GAN训练，迫使生成的视觉特征，以重建其原始的语义特征。一旦我们的模型使用这种多模态循环一致的语义兼容性进行训练，我们就可以为可见的类，更重要的是，为不可见的类合成更具代表性的视觉表示。我们提出的方法在几个公开可用的数据集上显示了该领域最好的GALML分类结果。
2018-08-02 cs.CV
Learning Generalizable Prompt for CLIP with Class Similarity Knowledge
Konkuk University（建国大学）
针对提示调优易过拟合基类、损害新类语义关系的问题，本文提出 SAR，借助 ChatGPT-4o 生成相关新类并对齐可学习与手工提示的类别相似性，从而提升 CLIP 对未见过类别的泛化能力。
2025-02-17 cs.AI cs.CV cs.LG
UnseenNet: Fast Training Detector for Any Unseen Concept
Insight Centre for the Data Analytics（洞察数据分析中心）；National University of Ireland Galway（爱尔兰国立高威大学）
使用较少的数据训练目标检测模型是当前计算机视觉中现有的N-shot学习模型的焦点。这种方法使用对象级标签，并花费数小时对看不见的类进行训练。在许多情况下，我们有大量的图像级标签可用于训练，但不能被Few Shot目标检测模型用于训练。需要一种机器学习框架，可以用于训练任何看不见的类，并且可以在实时情况下变得有用。在本文中，我们提出了一种“不可见类检测器”，可以在很短的时间内训练任何可能的不可见类，而无需具有竞争力的准确性的边界框。我们在“强”和“弱”基线检测器上构建我们的方法，我们分别在现有的目标检测和图像分类数据集上进行训练。不可见的概念在强基线检测器上仅使用图像级标签进行微调，并通过在基线之间转移分类器-检测器知识来进一步调整。我们使用语义和视觉相似性来识别源类（即绵羊），以进行微调和适应看不见的类（即山羊）。我们的模型（UnseenNet）在ImageNet分类数据集上训练，用于看不见的类，并在目标检测数据集（OpenImages）上进行测试。UnseenNet在不同的不可见类分割上将目标检测的平均精度（mAP）比现有基线（半监督和Few-Shot）提高了10%到30%。此外，我们的模型对于每个看不见的类的训练时间<10分钟。定性结果表明，UnseenNet不仅适用于Pascal VOC的少数类别，而且适用于任何数据集或Web的未见过类别。代码可在https://github…
2022-03-26 cs.CV
Mutual Information-guided Knowledge Transfer for Novel Class Discovery
我们解决了新的类发现问题，旨在发现新的类在未标记的数据的基础上标记的数据从看到的类。主要的挑战是将可见类中包含的知识转移到不可见类中。以往的方法大多通过共享表示空间或联合标签空间来传递知识。然而，他们往往忽略了可见和不可见类别之间的类别关系，因此学习的表示对于聚类不可见类别的效果较差。在本文中，我们提出了一个原则和一般的方法来转移语义知识之间的可见和不可见的类。我们的观点是利用互信息来衡量在有限的标签空间中可见类和不可见类之间的关系，最大化互信息促进语义知识的传递。为了验证我们的方法的有效性和通用性，我们进行了广泛的实验，无论是在新的类发现和一般的新的类发现设置。我们的研究结果表明，该方法优于以前的SOTA的显着保证金在几个基准。
2022-11-08 cs.CV
Leveraging Seen and Unseen Semantic Relationships for Generative Zero-Shot Learning
Arizona State University（亚利桑那州立大学）
零样本学习（Zero-shot learning，ZRL）通过利用语义信息将知识从可见类转移到不可见类来解决不可见类识别问题。生成模型综合了不可见的视觉特征，并将学习问题转化为经典的监督学习问题。这些生成模型使用可见的类进行训练，并期望将知识从可见的类隐式地转移到不可见的类。然而，它们的性能受到过拟合的阻碍，这导致了广义零样本学习（GSRL）的性能不合格。为了解决这一问题，我们提出了新的LsrGAN，一个生成模型，Leavening的可见和不可见的类别之间的语义关系，并明确执行知识转移，通过纳入一个新的语义正则化损失（SR损失）。SR损失引导LsrGAN生成反映可见类和不可见类之间的语义关系的视觉特征。在七个基准数据集上进行的实验，包括具有挑战性的基于维基百科文本的CUB和NABirds分裂，以及基于属性的AWA，CUB和SUN，证明了LsrGAN与以前的最先进方法相比的优越性。代码可以在https：// github上找到。com/ Maunil/ LsrGAN
2020-07-19 cs.CV cs.LG
Self-Augmentation: Generalizing Deep Networks to Unseen Classes for Few-Shot Learning
Korea University（高丽大学）
少样本学习的目标是用几个训练样本对看不见的类进行分类。虽然最近的工作表明，标准的小批量训练与精心设计的训练策略可以提高不可见类的泛化能力，但深度网络中的众所周知的问题，如记忆训练统计数据，对于少样本学习的探索较少。为了解决这个问题，我们提出了自我增强，巩固自我混合和自我升华。具体来说，我们利用一个区域辍学技术称为自混合，其中一个补丁的图像被替换成其他值在同一个图像。然后，我们采用一个骨干网络，具有辅助分支与自己的分类器，以加强知识共享。最后，我们提出了一个局部表示学习器，以进一步利用一些训练样本为看不见的类。实验结果表明，该方法在当前流行的Few-Shot基准测试中的性能优于现有方法，并提高了泛化能力。
2020-08-04 cs.CV cs.LG stat.ML
Predicting Visual Exemplars of Unseen Classes for Zero-Shot Learning
利用类语义描述和已知对象的示例，零样本学习使得可以训练用于其示例不可用的对象类的识别模型。在本文中，我们提出了一种新的零样本学习模型，利用聚类结构的语义嵌入空间。其关键思想是施加结构约束，语义表示必须预测其相应的视觉样本的位置。为此，这简化为从来自所看到的对象类别的标记数据的语义表示样本对训练多个基于内核的回归量。尽管简单，但我们的方法在标准基准数据集上的性能明显优于现有的零样本学习方法，包括包含20，000多个未知类别的ImageNet数据集。
2017-08-20 cs.CV
Text-driven Prompt Generation for Vision-Language Models in Federated Learning
Bosch Center for AI（博世人工智能中心）；Tulane University（杜兰大学）
针对联邦学习中提示学习泛化不足的问题，提出FedTPG，利用任务相关文本输入生成上下文感知的提示，在九个数据集上优于现有方法，提升已见与未见类别的泛化能力。
2023-10-09 cs.AI cs.CV
A New Few-shot Segmentation Network Based on Class Representation
University of Electronic Science and Technology of China（电子科技大学）
本文研究了Few-Shot分割方法，即在已有的丰富标注集的辅助下，仅利用少量的标注来预测未知类的前景掩模。现有的方法主要针对“\textit{how to transfer segmentation cues from support images (labeled images) to query images (unlabeled images)}“，试图学习高效、通用的转换模块，并能方便地扩展到未知类。然而，它被证明是一个具有挑战性的任务，学习的转换模块，是通用的各种类。本文从“\textit{how to represent unseen classes by existing classes}“的新视角解决了Few-Shot分割问题，并将Few-Shot分割表述为用已有的类精确表示未知类（即形成前景先验）的表示过程。基于此思想，提出了一种新的基于类表示的Few-Shot分割框架，该框架首先根据已有类的知识生成未见过类的类激活图，然后将该图作为前景概率图，从查询图像中提取前景。提出了一种新的基于两分支的Few-Shot分割网络。此外，提出了一种新的CAM生成模块，它提取的CAM看不见的类，而不是经典的训练类。在Pascal VOC 2012数据集上验证了该方法的有效性，一次和五次的FB-IoU值分别达到69.2%和70.1%，优于现有方法.
2019-09-19 cs.CV
Domain segmentation and adjustment for generalized zero-shot learning
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院）
在广义零样本学习中，用生成模型合成看不见的数据是解决可见类和看不见类之间训练数据不平衡的最流行的方法。然而，这种方法要求在训练阶段不可见的语义信息是可用的，并且训练生成模型并不简单。考虑到这些模型的生成器只能用可见的类进行训练，我们认为合成看不见的数据可能不是解决由训练数据的不平衡引起的域偏移的理想方法。在本文中，我们提出了实现广义zero-shot识别在不同的领域。因此，看不见的（看不见的）类可以避免看不见的（看不见的）类的影响。在实践中，我们提出了一个阈值和概率分布联合的方法来分割测试实例到可见，不可见和不确定的领域。此外，不确定域进一步调整，以减轻域移动。在5个基准数据集上的实验表明，与基于生成模型的方法相比，该方法具有较好的性能.
2020-02-01 cs.CV
Zero-Shot Detection
Boston University（波士顿大学）
随着我们朝着大规模目标检测的方向发展，对于足够规模的所有对象类，期望以对象周围的限界框注释的形式注释的训练数据是不现实的，因此需要能够进行不可见目标检测的方法。我们提出了一种新的zero-shot方法，该方法基于训练一个端到端模型，该模型将语义属性预测与视觉特征相融合，为可见和不可见的类提出对象边界框。虽然我们在训练过程中利用语义特征，但我们的方法对测试时看不见的类的语义信息是不可知的。我们的方法保留了YOLOv2在训练过程中看到的对象的效率和有效性，同时提高了它对新的和看不见的对象的性能。最先进的检测方法学习区分对象特征以拒绝背景建议的能力也限制了它们对不可见对象的性能。我们认为，要检测看不见的对象，我们必须将语义信息纳入视觉域，使学习的视觉功能反映这些信息，并导致提高未见过的对象的召回率。我们在PASCAL VOC和MS COCO数据集上测试了我们的方法，并观察到看不见的类的平均精度有显着提高。
2019-03-19 cs.CV
Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Tecent（腾讯）
广义零样本学习（GSRL）解决了学习分类涉及可见类和不可见类的实例的问题。关键问题是如何有效地将从可见类学习到的模型转移到不可见类。在GALML现有的作品通常假设，一些看不见的类的先验信息是可用的。然而，当新的看不见的类动态出现时，这样的假设是不现实的。为此，我们提出了一种新的异构图为基础的知识转移方法（HGKT）的GALML，不可知的类和实例，利用图神经网络。具体而言，结构化异构图被构造成具有所见类的高级代表节点，其通过Wasserstein重心被选择以同时捕获类间和类内关系。通过图神经网络学习聚集函数和嵌入函数，通过传递邻居类的知识来计算未知类的嵌入。在公共基准数据集上的大量实验表明，我们的方法达到了最先进的结果。
2019-11-20 cs.CV cs.LG stat.ML
Tell and Predict: Kernel Classifier Prediction for Unseen Visual Classes from Unstructured Text Descriptions
在本文中，我们提出了一个框架，用于预测核分类器在视觉领域的类别，没有训练图像的知识来自这些类别的文本描述。通过我们的优化框架，所提出的方法是能够嵌入类的知识，从文本域的核心分类器在视觉域。我们还提出了一个分布式的文本描述，这是有效的，在我们的设置之间的语义内核。所提出的框架不限于文本描述，也可以应用于其他形式的知识表示。我们的方法适用于具有挑战性的任务，零样本学习的细粒度的类别，从这些类别的文本描述。
2015-06-29 cs.CV
Entropy-Based Uncertainty Calibration for Generalized Zero-Shot Learning
The University of Queensland（昆士兰大学）；University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）
与传统的零射击学习（Zero-Shot Learning，简称GSTL）相比，识别未见过的类是主要或唯一的目标，广义零射击学习（Generalized Zero-Shot Learning，简称GSTL）的目标是识别可见和未见过的类。大多数GALML方法通常学习从看不见的类的语义信息中合成可视化表示。然而，这些类型的模型容易过度拟合可见类，导致可见类和不可见类的生成特征之间的分布重叠。重叠区域充满了不确定性，因为模型很难确定重叠区域内的测试用例是可见的还是不可见的。此外，这些生成方法在具有稀疏训练样本的场景中受到影响。这些模型很难学习高维视觉特征的分布，因此无法捕获最具鉴别力的类间特征。为了解决这些问题，在本文中，我们提出了一种新的框架，利用双变分自编码器与三重损失学习歧视性的潜在特征，并应用基于熵的校准，以尽量减少在重叠区域的不确定性之间的可见和不可见的类。具体而言，具有三重损失的二元生成模型合成了可以从视觉或语义空间映射的类间区分性潜在特征。为了校准所见类别的不确定性，我们计算了来自通用分类器的softmax概率分布上的熵。通过这种方法，识别可见类内的可见样本相对简单，并且可见样本被错误分类为重叠区域中的不可见类的风险较小。在六个基准数据集上的大量实验表明，该方法优于最先进的方法。
2021-01-09 cs.CV
Open-set Recognition via Augmentation-based Similarity Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
传统的监督学习或分类的主要假设是测试样本与训练样本来自相同的分布，这被称为闭集学习或分类。在许多实际场景中，情况并非如此，因为在测试数据中存在未知数或不可见的类样本，这被称为开集场景，并且需要检测未知数。这个问题被称为开集识别问题，在安全关键应用中很重要。我们建议通过学习成对的相似性来检测未知数（或看不见的类样本）。所提出的方法分两步进行。它首先使用在训练中出现的可见类学习一个闭集分类器，然后学习如何将可见类与伪不可见类（自动生成的不可见类样本）进行比较。通过对可见或训练样本执行分布移位增强来执行伪不可见生成。我们称我们的方法OPG（开集识别基于伪看不见的数据生成）。实验结果表明，学习到的基于相似性的特征可以成功地区分开集识别的基准数据集中的可见和不可见。
2022-08-21 cs.AI cs.CV
Multi-modal Ensemble Classification for Generalized Zero Shot Learning
Australian Institute of Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）
广义零样本学习（GSTOL）是由一个训练过程定义的，该训练过程包含一组来自可见类的视觉样本和一组来自可见类和不可见类的语义样本，而测试过程包括对来自可见类和不可见类的视觉样本进行分类。目前的方法是基于测试过程，只关注其中一种模式（视觉或语义），即使培训使用两种模式（主要是为了规范培训过程）。模态的这种利用不足，特别是在测试期间，可能会阻碍该方法的分类准确性。此外，我们注意到一个稀缺的注意力的学习方法的发展，明确优化的平衡性能的可见和不可见的类。这样的问题是GALML方法中所见类的分类精度非常高的原因之一。在本文中，我们通过提出一种基于多模式训练和测试过程的新GALML方法来缓解这些问题，其中优化显式地促进了可见和不可见类之间的平衡分类准确性。此外，我们探索贝叶斯推理的视觉和语义分类器，这是我们的工作中的另一个新颖的GREML框架。实验表明，我们的方法拥有最先进的（SOTA）的结果，在谐波平均（H均值）分类之间的可见和不可见的类和区域下的可见和不可见的曲线（AUSUC）在几个公共GALML基准。
2019-02-06 cs.CV
Bias-Awareness for Zero-Shot Learning the Seen and Unseen
University of Amsterdam（阿姆斯特丹大学）
广义零样本学习识别来自可见和不可见类的输入。然而，现有的方法往往偏向于训练期间看到的类。在本文中，我们努力减轻这种偏见。我们提出了一个偏置感知学习器，将输入映射到语义嵌入空间，以实现广义零样本学习。在训练过程中，该模型学习回归到具有温度缩放的嵌入空间中的实值类原型，而基于边缘的双向熵项则正则化可见和不可见的概率。依赖于实值语义嵌入空间提供了一种通用的方法，因为该模型可以对可见和不可见类的不同类型的语义信息进行操作。实验进行了四个基准的广义零样本学习，并证明了所提出的偏置感知分类器的好处，无论是作为一个独立的方法或与生成的功能相结合。
2020-08-25 cs.CV
Enabling Generalized Zero-shot Learning Towards Unseen Domains by Intrinsic Learning from Redundant LLM Semantics
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；University of Alberta（阿尔伯塔大学）
本文提出元域对齐语义精炼方法，通过类间相似性对齐和未见类元生成消除冗余大语言模型语义中的非内在信息，缓解跨域广义零样本学习中的信息不对称，并在两个数据集上验证有效性。
2025-03-10 cs.CV
Generalised Zero-Shot Learning with Domain Classification in a Joint Semantic and Visual Space
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；The University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
广义零样本学习（Generalised zero-shot learning，简称GSRL）是一种分类问题，学习阶段依赖于一组可见的视觉类，推理阶段旨在识别可见的视觉类和一组新的不可见的视觉类。重要的是，学习和推理阶段都可以利用可用于可见和不可见类的语义表示。大多数最先进的GALML方法依赖于潜在视觉和语义空间之间的映射，而不考虑特定样本是否属于可见或不可见类的集合。在本文中，我们提出了一种新的GREML方法，学习一个联合的潜在表示，结合了视觉和语义信息。这减轻了学习两个空间之间的映射的需要。我们的方法还引入了一个域分类，估计样本是否属于可见或不可见的类。然后，我们的分类器将一个类的分类器与这个域的分类器相结合，目标是减少自然的偏见，GREML的方法对看到的类。实验表明，我们的方法实现了最先进的结果，在调和平均值，下的可见和不可见的曲线和不可见的分类精度在公共GALML基准数据集。我们的代码将在接受本文后提供。
2019-08-14 cs.CV
Incrementally Zero-Shot Detection by an Extreme Value Analyzer
Academy for Engineering & Technology, Fudan University（复旦大学工程技术学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
人类不仅有能力识别新的看不见的类，而且还可以逐步将新的类纳入现有的知识保存。然而，零样本学习模型假设所有可见的类都应该事先知道，而增量学习模型不能识别未见过的类。本文介绍了一个新的和具有挑战性的任务增量零拍检测（IZSD），一个实用的策略，零样本学习和类增量学习在现实世界中的目标检测。提出了一种创新的端到端模型-- IZSD-EVer来解决这个需要增量检测新类和检测从未见过的类的任务。具体来说，我们提出了一种新的极值分析器，以检测对象从旧的，新的看到，和看不见的类，同时。此外，在技术上，我们提出了两个创新的损失，即，背景-前景均方误差损失减轻了图像的背景和前景的极端不平衡，而投影距离损失对准了旧的可见类的视觉空间和语义空间。实验证明了我们的模型在检测可见和不可见类中的对象方面的有效性，在Pascal VOC和MSCOCO数据集上优于替代模型。
2021-03-29 cs.CV
Unseen Classes at a Later Time? No Problem
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；INRIA（法国国家信息与自动化研究所）；Universite Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
从有限监督中学习的最新进展鼓励了人们努力设计能够在测试时识别新类的模型（广义零样本学习或GML）。GALML方法假设所有类的知识，有或没有标记的数据，事先。然而，实际场景要求模型具有自适应性，并且可以处理动态添加新的可见和不可见类（即连续广义零样本学习或CGML）。一种解决方案是顺序地重新训练和重用传统的GALML方法，然而，这样的方法遭受灾难性遗忘，导致次优的泛化性能。最近为解决CGCGL问题所做的一些努力受到了设置、实用性、数据分割和后续协议差异的限制，这阻碍了公平比较和明确的前进方向。出于这些观察，在这项工作中，我们首先巩固了不同的CGAPDL设置变量，并提出了一个新的在线CGAPDL设置，这是更实用和灵活的。其次，我们引入了一个统一的特征生成框架，该框架利用双向增量对齐来动态地适应新类的添加，无论是否有标记数据，这些新类都会随着时间的推移而在任何这些CGPNL设置中到达。我们在五个基准数据集上的综合实验和分析以及与基线的比较表明，我们的方法始终优于现有的方法，特别是在更实用的在线设置上。
2022-03-30 cs.CV
Transfer feature generating networks with semantic classes structure for zero-shot learning
Xi'an University of Technology（西安理工大学）
特征生成网络面临的最重要的问题是生成的特征与真实数据之间的分布拟合差异（不一致）。这种不一致性进一步影响了网络模型的性能，因为在零样本学习（Zero-shot learning，ZRL）中，来自可见类的训练样本与来自不可见类的测试样本是脱节的。在泛化零样本学习（GSTML）中，测试样本不仅来自可见类，而且来自不可见类，以更接近实际情况。因此，大多数特征生成网络很难通过对抗性学习语义类的分布来获得令人满意的性能。为了减轻这种不一致性对语义类和特征生成网络的负面影响，提出了基于语义类结构的迁移特征生成网络（TFGNSCS）来构建网络模型，以提高语义类和特征生成网络的性能。TFGNSCS不仅可以考虑可见类和不可见类之间的语义结构关系，而且可以通过将分类模型信息从网络中的可见类传递到不可见类来学习生成特征的差异。该方法可以综合传输损失、分类损失和Wasserstein距离损失来生成足够多的CNN特征，并在此基础上训练softmax分类器以用于训练GML和GML。实验结果表明，TFGNSCS在GNUML的CUB、FLO、SUN、AWA四个具有挑战性的数据集上的性能优于现有技术。
2019-07-20 cs.CV
Few-shot Open-set Recognition Using Background as Unknowns
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Tencent（腾讯）
Few-Shot开集识别的目标是在已知类的有限训练数据的情况下对已知图像和新图像进行分类。这个任务的挑战是，模型不仅需要学习一个判别分类器，以用很少的训练数据对预定义的类进行分类，而且还需要拒绝来自从未在训练时出现的看不见的类的输入。在本文中，我们建议从两个新的方面来解决这个问题。首先，而不是学习的决策边界之间看到的类，如在标准的闭集分类，我们保留空间看不见的类，这样，位于这些地区的图像被识别为看不见的类。其次，为了有效地学习这样的决策边界，我们建议利用从看到的类的背景特征。由于这些背景区域对闭集分类的决策没有显着贡献，因此很自然地将它们用作分类器学习的伪不可见类。我们广泛的实验表明，我们提出的方法不仅优于多个基线，而且还在三个流行的基准测试中设置了新的最先进的结果，即tieredImageNet，miniImageNet和Caltech-USCD Birds-200-2011（CUB）。
2022-07-19 cs.CV
Counterfactual Zero-Shot and Open-Set Visual Recognition
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Damo Academy Alibaba Group（阿里巴巴达摩院）
我们提出了一个新的反事实框架的零样本学习（Zero-Shot Learning，简称ZRL）和开集识别（Open-Set Recognition，简称OSR），其共同的挑战是推广到unseen类只训练上的seen类。我们的想法源于这样的观察，即为unseen类生成的样本通常不在真实分布中，这导致seen类（高）和unseen类（低）之间的严重识别率不平衡。我们表明，关键的原因是，这一代是不是反事实的忠实，因此，我们提出了一个忠实的，其产生是从样本特定的反事实问题：什么样的样本看起来像，如果我们设置其类属性为某个类，同时保持其样本属性不变？由于忠实性，我们可以应用一致性规则来执行看不见/看不见的二元分类，通过问：它的反事实看起来仍然像它自己吗？如果"是“，则样本来自某个类，否则为”否“。通过大量的实验，我们证明了我们的框架有效地减轻了可见/不可见的不平衡，从而显着提高了整体性能。请注意，这个框架与现有的方法是正交的，因此，它可以作为一个新的基线来评估如何推广EML/OSR模型。代码可在https://github.com/yue-zhongqi/gcm-cf上获得。
2021-03-01 cs.AI cs.CV
A Generative Approach to Zero-Shot and Few-Shot Action Recognition
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
我们提出了一个生成的框架zero-shot动作识别的一些可能的动作类不出现在训练数据。我们的方法是基于建模的每个动作类使用的概率分布，其参数是代表该动作类的属性向量的函数。特别是，我们假设在视觉空间中的任何动作类的分布参数可以表示为一组基向量的线性组合，其中组合权重由动作类的属性给出。这些基向量可以仅使用来自已知（即，先前看到的）动作类，然后可以用于预测未看到的动作类的概率分布的参数。我们考虑两种设置：（1）归纳设置，其中我们仅使用已看到的动作类的标记示例来预测未看到的动作类参数;以及（2）Transductive设置，进一步利用来自未看到的动作类的未标记数据。我们的框架也自然地扩展到Few-Shot动作识别，其中一些标记的例子，从看不见的类。我们在基准数据集（UCF 101，HMDB 51和Olympic）上的实验显示，与各种基线相比，在标准zero-shot（不相交的可见和不可见类）和广义零样本学习设置中，性能都有显着提高。
2018-01-27 cs.CV
Zero Shot Hashing
Indian Institute of Technology Gandhinagar（甘地纳格尔印度理工学院）
本文提供了一个框架，散列图像包含未知对象类的实例。在许多对象识别问题中，我们可能会访问大量的数据。即使如此庞大的数据也可能不包括我们在日常生活中看到的属于类的对象。零样本学习利用辅助信息（也称为签名）来预测与未知类相对应的标签。在这项工作中，我们试图生成散列代码的图像属于看不见的类，信息只能通过文本语料库。我们将其公式化为无监督哈希公式，因为确切的标签不适用于不可见类的实例。我们表明，所提出的解决方案是能够生成哈希码，可以预测标签对应于看不见的类具有相当好的精度。
2016-10-09 cs.CV
Region Semantically Aligned Network for Zero-Shot Learning
University of Electronic Science and Technology of China（电子科技大学）；Southern University of Science and Technology（南方科技大学）
零样本学习（Zero-shot learning，简称ZRL）的目标是基于已知类的知识识别未知类。以前的方法集中在学习从全局特征到语义空间的直接嵌入，希望从可见的类到不可见的类的知识转移。然而，一个看不见的类与一组可见的类共享局部视觉特征，并且利用全局视觉特征使得知识传递无效。为了解决这个问题，我们提出了一个区域语义对齐网络（RSAN），它映射本地功能的看不见的类到它们的语义属性。代替使用在图像编码器之后通过平均池化层获得的全局特征，我们直接利用图像编码器的输出，其保持图像的局部信息。具体来说，我们从输出的特定区域获得每个属性，并利用这些属性进行识别。因此，可见类的知识可以以基于区域的方式成功地转移到不可见类。此外，我们规范化的图像编码器，通过属性回归与语义知识，以提取强大的和属性相关的视觉特征。在几个标准的RSTL数据集上的实验揭示了所提出的RSAN方法的优点，优于最先进的方法。
2021-10-14 cs.CV cs.LG
CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition
University of Edinburgh（爱丁堡大学）；Meta AI
Zero-shot动作识别是指在没有视觉实例的情况下，仅通过语义嵌入将看不见的动作类与可见的动作类联系起来，来识别动作类的任务。这个问题可以看作是学习一个函数，它可以很好地推广到看不见的类的实例，而不会丢失类之间的区分。神经网络可以模拟视觉类之间的复杂边界，这解释了它们作为监督模型的成功。然而，在零次学习中，这些高度专业化的类边界可能无法很好地从可见的类转移到不可见的类。在本文中，我们提出了一种基于质心的表示，聚类视觉和语义表示，考虑所有的训练样本一次，并以这种方式推广到来自不可见类的实例。我们使用强化学习来优化聚类，这对我们的方法的工作至关重要。我们称之为CLASTER，并观察到它在所有标准数据集上，包括UCF 101，HMDB 51和Olympic Sports;无论是在标准zero-shot评估还是广义zero-shot学习中，都始终表现出最先进的水平。此外，我们表明，我们的模型在图像域中也表现出竞争力，在许多设置中优于最先进的。
2022-07-24 cs.CV
Proxy Synthesis: Learning with Synthetic Classes for Deep Metric Learning
NAVER/LINE Vision；NAVER Clova Speech
深度度量学习的主要目的之一是构建一个嵌入空间，该嵌入空间在可见（训练）类和不可见（测试）类上都具有良好的泛化嵌入。大多数现有的工作都试图实现这一目标，使用不同类型的度量目标和硬样本挖掘策略与给定的训练数据。然而，仅使用训练数据的学习可能过拟合到可见的类，导致对不可见的类缺乏泛化能力。为了解决这个问题，我们提出了一个简单的正则化器，称为代理合成，它利用合成类在深度度量学习中进行更强的泛化。所提出的方法生成合成嵌入和代理，作为合成类工作，它们在计算基于代理的损失时模仿看不见的类。代理合成推导出一个嵌入空间，考虑到类关系和光滑的决策边界的鲁棒性上看不见的类。我们的方法适用于任何基于代理的损失，包括softmax及其变体。在四个著名的图像检索任务的基准上进行的大量实验表明，代理合成显着提高了基于代理的损失的性能，并实现了最先进的性能。
2021-03-29 cs.CV cs.IR cs.LG
HOLa: Zero-Shot HOI Detection with Low-Rank Decomposed VLM Feature Adaptation
National University of Singapore（国立新加坡大学）；University of Mississippi（密苏里大学）；ASUS Intelligent Cloud Services (AICS)（ASUS智能云服务（AICS））
提出HOLa方法，通过低秩分解VLM特征并引入LLM动作正则化，在零样本HOI检测中同时提升未见类别泛化与动作区分，在HICO-DET上达到新SOTA。
2025-08-04 cs.CV
DFS: A Diverse Feature Synthesis Model for Generalized Zero-Shot Learning
University of Chinese Academy of Sciences（中国科学院大学）；Yitu Technology（依图科技）
基于生成的策略在广义零样本学习任务中表现出了巨大的潜力。然而，由于未知类缺乏特征多样性，无法训练出良好的分类器，因此存在严重的泛化问题。在本文中，我们提出了通过提高看不见的类的特征多样性来增强GJML模型的泛化能力。为此，我们提出了一种新的多样性特征合成（DFS）模型。不同于以往的工作，只利用语义知识的生成过程中，DFS利用视觉知识与语义的一个统一的方式，从而得出类特定的不同的特征样本，并导致鲁棒的分类识别可见和不可见的类在测试阶段。为了简化学习，DFS在对齐的空间中表示视觉和语义知识，使其能够以低复杂度的实现产生良好的特征样本。因此，DFS由两个连续的生成器组成：一个对齐的特征生成器，将语义和视觉表示转换为对齐的特征;一个合成的特征生成器，在对齐的空间中产生各种看不见的类的特征样本。我们进行了全面的实验来验证DFS的有效性。结果表明，它的有效性，以产生不同的功能，看不见的类，导致在多个基准测试的卓越性能。代码将在接受后发布。
2021-03-19 cs.CV
Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval
本文提出“适配与对齐”方法，通过轻量域适配器增强草图域表示，并利用CLIP将图像嵌入与文本嵌入对齐，以改进零样本草图图像检索的跨域泛化与知识迁移能力。
2023-08-09 cs.AI cs.CV
EZ-HOI: VLM Adaptation via Guided Prompt Learning for Zero-Shot HOI Detection
National University of Singapore（新加坡国立大学）；University of Mississippi（密西西比大学）；ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））
本文提出EZ-HOI框架，通过LLM和VLM引导的提示学习适应VLM进行零样本HOI检测，利用相关已见类别信息设计未见类别提示，在仅用10.35%-33.95%可训练参数下达到最先进性能。
2024-12-19 cs.CV
Spectral Prompt Tuning:Unveiling Unseen Classes for Zero-Shot Semantic Segmentation
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统全国重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
提出单阶段方法SPT-SEG，通过引入SPT频谱提示和SGD解码器增强CLIP对未见类别的像素级预测能力，在公开数据集上优于现有方法。
2024-06-03 cs.CL cs.CV
Single-view 3D Mesh Reconstruction for Seen and Unseen Categories
本文提出端到端两阶段网络GenMesh，通过分解图像到网格映射、跨2D/3D局部特征采样及多视图轮廓损失，提升单视图3D网格重建在未见类别上的泛化能力。
2023-06-03 cs.CV
WonderHuman: Hallucinating Unseen Parts in Dynamic 3D Human Reconstruction
Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）；Computer Graphics Group, The University of Hong Kong（香港大学计算机图形组）；School of Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学工程学院）；Guangdong Provincial/Zhuhai Key Laboratory of IRADS, Beijing Normal-Hong Kong Baptist University（广东/珠海IRADS重点实验室，北京师范大学-香港 Baptist大学）；Department of Computer Science & Engineering, Texas A&M University（德克萨斯A&M大学计算机科学与工程系）
WonderHuman通过双空间优化和分数蒸馏采样技术，从单目视频实现高保真动态人体重建，尤其擅长生成未见人体部分。
2025-10-05 cs.CV cs.GR
Learn from Anywhere: Rethinking Generalized Zero-Shot Learning with Limited Supervision
IIT Hyderabad（印度理工学院海得拉巴分校）
大多数零样本学习和少样本学习方法的一个共同问题是它们遭受对所看到的类的偏见，从而导致次优性能。现有的努力旨在在训练期间利用来自看不见的类（即，转导zero-shot）的未标记图像来实现泛化。然而，这限制了它们在实际场景中的使用，从目标看不见的类的数据是不可用的或不可行的收集。在这项工作中，我们提出了一个实用的设置归纳零和少样本学习，其中未标记的图像从其他的数据类，不属于可见或不可见的类别，可以用来提高泛化在任何镜头学习。我们利用基于专家产品的配方，并引入了一个新的AUD模块，使我们能够使用来自数据外类别的未标记样本，这些样本通常很容易获得，实际上不需要注释成本。此外，我们还证明了我们的模型的适用性，以解决一个更实际和具有挑战性的，广义Zero-shot在有限的监督设置下，即使基地看到类没有足够的注释样本。
2021-07-14 cs.AI cs.CV cs.LG
Toward Zero-Shot Unsupervised Image-to-Image Translation
Peking University（北京大学）；Tencent Inc.（腾讯公司）
最近的研究表明，在无监督的图像到图像的翻译显着的成功。然而，如果不能访问目标类中的足够图像，则学习从源类到目标类的映射总是遭受模式坍塌，这限制了现有方法的应用。在这项工作中，我们提出了一个zero-shot无监督的图像到图像的翻译框架，以解决这一限制，通过关联类别与他们的边信息，如属性。为了将翻译器推广到以前看不见的类，我们引入了两种策略来利用语义属性所跨越的空间。具体来说，我们建议保留语义关系的视觉空间和扩展属性空间，利用属性向量的看不见的类，从而鼓励译者探索模式的看不见的类。在不同数据集上的定量和定性结果证明了我们所提出的方法的有效性。此外，我们证明了我们的框架可以应用于许多任务，如zero-shot分类和时装设计。
2020-07-28 cs.CV
A Gating Model for Bias Calibration in Generalized Zero-shot Learning
Georgia Institute of Technology（佐治亚理工学院）
广义零样本学习（GSRL）旨在训练一个模型，该模型可以通过仅使用辅助信息来推广到不可见的类数据。GSTML中的主要挑战之一是在训练期间仅对可用的可见类数据进行过拟合而导致的对可见类的偏倚模型预测。为了克服这个问题，我们提出了一个两个流的自动编码器为基础的门控模型的GALML。我们的门控模型预测查询数据是否来自可见的类或不可见的类，并利用单独的可见和不可见的专家来预测彼此独立的类。该框架避免了将可见类的有偏预测分数与未见类的预测分数进行比较。特别是，我们测量视觉和属性表示在潜在空间和交叉重建空间的自动编码器之间的距离。这些距离被用作互补特征，以在不同的数据抽象级别上表征看不见的类。此外，双流自动编码器作为门控模型和看不见的专家的统一框架，这使得所提出的方法在计算上是高效的。我们验证了我们提出的方法在四个基准图像识别数据集。在与其他国家的最先进的方法相比，我们实现了最好的谐波平均精度在SUN和AWA2，第二最好的CUB和AWA1。此外，我们的基础模型需要的模型参数数量比依赖于生成模型的最新方法少至少20%。
2022-03-08 cs.CV cs.LG
Mining Unseen Classes via Regional Objectness: A Simple Baseline for Incremental Segmentation
Beijing Institute of Technology（北京理工大学）；University of Birmingham（伯明翰大学）；Beijing Jiaotong University（北京交通大学）
增量或持续学习已经被广泛研究用于图像分类任务以减轻灾难性遗忘，灾难性遗忘是在学习新概念时忘记先前学习的知识的现象。对于类增量语义分割，由于背景移位，这种现象经常变得更糟，即，在先前阶段学习的一些概念在当前训练阶段被分配给背景类，因此，显著地降低了这些旧概念的性能。为了解决这个问题，我们提出了一个简单而有效的方法，在本文中，命名为挖掘看不见的类通过区域对象分割（MicroSeg）。我们的MicroSeg是基于这样的假设，即具有强对象性的背景区域可能属于历史或未来阶段的那些概念。因此，为了避免在当前训练阶段忘记旧知识，我们的MicroSeg首先使用提案生成器将给定图像拆分为数百个分段提案。然后，在优化期间，对来自背景的具有强对象性的那些分段建议进行聚类并分配新定义的标签。这样可以更好地感知旧概念在特征空间中的分布特征，从而缓解背景移动造成的灾难性遗忘。在Pascal VOC和ADE 20K数据集上进行的大量实验显示了具有竞争力的结果，很好地验证了所提出的MicroSeg的有效性。
2023-01-07 cs.CV
From Zero-shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis
University of Sheffield（谢菲尔德大学）；University of East Anglia（东英吉利大学）；University of Electronic Science and Technology of China（电子科技大学）；Tsinghua University（清华大学）；Northumbria University（诺森比亚大学）
鲁棒的目标识别系统通常依赖于从大量真实图像中提取强大的特征提取机制。然而，在许多实际应用中，为不断增长的新类收集足够的图像是无法实现的。在本文中，我们提出了一个新的零样本学习（Zero-shot learning，简称ZRL）框架，它可以在不获取真实图像的情况下为看不见的类合成视觉特征。使用建议的看不见的视觉数据合成（UVDS）算法，语义属性被有效地利用作为一个中间线索，在训练阶段合成看不见的视觉特征。在此之后，将人脸识别转换为传统的监督问题，即合成的视觉特征可以直接馈送到典型的分类器，如SVM。在四个基准数据集上，我们展示了使用合成的看不见的数据的好处。大量的实验结果表明，我们提出的方法显着提高国家的最先进的结果。
2017-05-04 cs.CV
Few-Shot Object Detection in Unseen Domains
Robert Bosch Corporate Research（博世集团研究院）；University Of Stuttgart（斯图加特大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Fraunhofer IOSB（弗劳恩霍夫光电、系统技术与图像利用研究所）
近年来，Few-Shot目标检测（FSOD）通过传递在丰富的基类上获得的知识来学习具有有限数据的新对象类而蓬勃发展。FSOD方法通常假设很少提供的新类的例子和测试时的数据属于同一个域。然而，这种假设在各种工业和机器人应用中并不成立，在这些应用中，模型可以从源域学习新的类，同时从目标域推断类。在这项工作中，我们解决的任务，zero-shot领域自适应，也被称为领域泛化，FSOD。具体来说，我们假设在训练过程中，目标域中的新类的图像和标签都不可用。我们解决域间隙的方法是双重的。首先，我们利用元训练范式，在这里我们学习基础类上的领域转移，然后将领域知识转移到新类。其次，我们提出了各种数据增强技术的几个镜头的新类，以占所有可能的特定领域的信息。为了约束网络只对领域不可知的类特定表示进行编码，提出了一种对比损失，以最大化前景建议和类嵌入之间的互信息，并减少网络对目标域背景信息的偏见。我们在T-LESS，PASCAL-VOC和ExDark数据集上的实验表明，所提出的方法成功地缓解了领域差距，而无需利用目标领域的新类别的标签或图像。
2022-09-19 cs.CV
