Recovering the Missing Link: Predicting Class-Attribute Associations for Unsupervised Zero-Shot Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
收集所有视觉类别的训练图像不仅昂贵而且不切实际。零样本学习（Zero-shot learning，简称ZRL），特别是使用属性，为这个问题提供了一个实用的解决方案。然而，在测试时，大多数基于属性的方法需要对每个不可见类的属性关联进行完整描述。提供这些关联非常耗时，并且通常需要特定领域的知识。在这项工作中，我们的目标是进行基于属性的zero-shot分类在无监督的方式。我们提出了一种学习关系的方法，将类嵌入与其相应的属性相结合。只给出一个看不见的类的名称，学习的关系模型用于自动预测类-属性关联。此外，我们的模型有助于在数据集之间传输属性，而无需额外的努力。整合来自多个来源的知识会显著提高绩效。我们在两个公共数据集上进行评估：具有属性的动物和aPascal/aYahoo。我们的方法在预测类-属性关联和无监督的类关联方面都优于最先进的方法。
2016-10-15 cs.CV
Attributes2Classname: A discriminative model for attribute-based unsupervised zero-shot learning
HAVELSAN Inc.（HAVELSAN 公司）；Bilkent University（比尔肯特大学）；Hacettepe University（哈杰特佩大学）
我们提出了一种新的方法，无监督的零样本学习（ZML）的类的基础上，他们的名字。大多数现有的无监督的CPDL方法旨在学习用于直接比较图像特征和类名的模型。然而，这被证明是一个困难的任务，由于非视觉语义的主导地位，在底层向量空间嵌入的类名。为了解决这个问题，我们有区别地学习一个单词表示，使得类和属性名称组合之间的相似性与视觉相似性一致。与传统的基于属性存在的零样本学习方法相反，我们的方法绕过了费力的属性-类关系注释。此外，我们提出的方法使纯文本训练成为可能，因此，可以在不需要收集额外图像数据的情况下增强训练。实验结果表明，我们的方法在三个基准数据集上获得了最先进的结果。
2017-08-05 cs.CV
MAC: A Benchmark for Multiple Attributes Compositional Zero-Shot Learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
MAC数据集通过多属性组合学习提升零样本学习的挑战性，提出MVP-Integrator方法实现更准确的属性关联与语义理解。
2026-01-10 cs.CV
Fine-Grained Zero-Shot Learning with Attribute-Centric Representations
University of Southern Queensland（昆士兰大学）；The Hong Kong Polytechnic University（香港理工大学）；Zhejiang University（浙江大学）
本文提出了一种细粒度零样本学习框架，通过属性导向表示解决属性纠缠问题，采用混合专家机制提升分类性能。
2025-12-13 cs.CV
Attributed Synthetic Data Generation for Zero-shot Domain-specific Image Classification
Southeast University（东南大学）；Waseda University（早稻田大学）；ZOZO Research（ZOZO研究所）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出 AttrSyn 方法，利用大语言模型生成属性化提示以提升合成图像多样性，从而改善零样本特定领域图像分类性能。
2025-04-06 cs.CV
On Implicit Attribute Localization for Generalized Zero-Shot Learning
Computer Vision Center（计算机视觉中心）
零样本学习（Zero-shot learning，ZRL）的目标是通过基于属性的描述来利用与可见类的关系来区分图像和不可见类。由于属性通常与对象的特定部分相关，因此最近的许多工作都集中在发现有区别的区域上。然而，这些方法通常需要附加的复杂零件检测模块或注意力机制。在本文中，1）我们表明，共同的CNOL骨干（没有显式的注意，也没有部分检测）可以隐式本地化属性，但这个属性没有被利用。2)利用它，我们然后提出SELAR，一个简单的方法，进一步鼓励属性本地化，令人惊讶地实现非常有竞争力的广义GREML（GREML）的性能相比，更复杂的国家的最先进的方法。我们的研究结果为设计未来的GALML方法提供了有用的见解，SELAR提供了一个易于实施但强大的基线。
2021-03-08 cs.CV
Super-class guided Transformer for Zero-Shot Attribute Classification
Korea University（高丽大学）
针对零样本属性分类中可见与不可见属性关系利用不足及属性规模带来的可扩展性问题，提出 SugaFormer，通过超类查询、多上下文解码和 VLM 知识迁移实现最先进性能。
2025-01-16 cs.CV
Learning Conditional Attributes for Compositional Zero-Shot Learning
Northwestern Polytechnical University（西北工业大学）；University of Adelaide（阿德莱德大学）；Zhejiang University（浙江大学）
针对组合式零样本学习中属性随交互物体变化的挑战，提出含属性超学习器和基学习器的条件属性嵌入学习框架，在多基准上取得优于现有方法的性能。
2023-06-14 cs.CV
High-Discriminative Attribute Feature Learning for Generalized Zero-Shot Learning
Xidian University（西安电子科技大学）；Shenzhen Institute of Information Technology（深圳信息职业技术学院）
针对广义零样本学习中属性区域判别性不足、共享属性被忽视及数据集偏差问题，提出HDAFL，利用多核卷积、Transformer属性判别编码器和对比损失提升视觉特征可迁移性，并在三个常用数据集上验证有效。
2024-04-07 cs.CV
Attribute-Guided Network for Cross-Modal Zero-Shot Hashing
Tianjin University（天津大学）；Lancaster University（兰卡斯特大学）
Zero-Shot Hashing旨在学习一种哈希模型，该模型仅由可见类别的实例训练，但可以很好地生成未见过类别的实例。通常，它是通过利用语义嵌入空间来实现知识从可见域转移到不可见域。现有的研究主要集中在单模态检索，特别是基于图像的图像检索（IBIR）。然而，作为散列领域的一个热点研究课题，跨模态检索在实际应用中更为常见。为了解决跨模态Zero-Shot哈希（CMSHH）检索任务，我们提出了一种新的属性引导网络（AgNet），它不仅可以执行IBIR，但也基于文本的图像检索（TBIR）。特别是，AgNet将不同的模态数据对齐到语义丰富的属性空间中，这弥合了模态异质性和zero-shot设置造成的差距。我们还设计了一个有效的策略，利用属性来指导在同一个网络中的图像和文本的哈希码的生成。在三个基准数据集（AwA，SUN和ImageNet）上的大量实验结果证明了AgNet在跨模态和单模态zero-shot图像检索任务上的优越性。
2018-02-06 cs.CV
Boosting Generative Zero-Shot Learning by Synthesizing Diverse Features with Attribute Augmentation
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Department of Engineering Science, University of Oxford（牛津大学工程科学系）；School of Engineering, Newcastle University（纽卡斯尔大学工程学院）
深度生成模型的最新进展概述了零样本学习（Zero-Shot Learning，简称ZRL）领域的一个有前途的前景。大多数生成式的CPDL方法使用类别语义属性加上高斯噪声来生成视觉特征。在生成看不见的样本后，这一系列方法有效地将WML问题转化为监督分类方案。然而，现有的模型使用单一的语义属性，其中包含了完整的属性信息的类别。生成的数据也携带完整的属性信息，但在现实中，视觉样本通常具有有限的属性。因此，从属性生成的数据可能具有不完整的语义。基于这一事实，我们提出了一个新的框架，以提高综合不同的功能。该方法利用增强的语义属性对生成模型进行训练，从而模拟视觉特征的真实分布。我们在四个基准数据集上评估了所提出的模型，观察到与最先进的模型相比，性能有了显著的提高。
2021-12-23 cs.CV
Zero-shot Face Editing via ID-Attribute Decoupled Inversion
Graduate School and Faculty of Information Science and Electrical Engineering, Kyushu University（九州大学研究生院和信息科学与电气工程学系）
提出基于ID-属性解耦反演的零样本人脸编辑方法，通过分解人脸表示为ID和属性特征作为联合条件，实现独立控制与精确编辑，在保持ID和结构一致性的同时支持复杂多属性编辑。
2025-10-13 cs.CV
How to Transfer? Zero-Shot Object Recognition via Hierarchical Transfer of Semantic Attributes
Institute for Anthropomatics and Robotics（拟人学与机器人学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
基于属性的知识转移在视觉对象分析和学习以前看不见的类中已经被证明是非常成功的。然而，常见的方法学习和传输属性，而不考虑源集中类别之间的嵌入结构。这些信息提供了重要的线索属性内的变化。我们建议捕捉这些变化的分层模型，扩展了知识源与属性的额外抽象级别。我们还提供了一种新的传输方法，可以选择适当的属性与一个看不见的类共享。我们在三个公共数据集上评估了我们的方法：aPascal，具有属性的动物和CUB-200-2011鸟类。实验结果表明，我们的模型的有效性与国家的最先进的显着改善。
2016-04-01 cs.CV
Attribute Group Editing for Reliable Few-shot Image Generation
University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Huawei Cloud（华为云）
即使使用最先进的生成对抗网络（GANs），Few-Shot图像生成也是一项具有挑战性的任务。由于GAN训练过程不稳定和训练数据有限，生成的图像通常质量低且多样性低。在这项工作中，我们提出了一种新的基于编辑的方法，即，属性组编辑（AGE），用于生成Few-Shot图像。基本假设是任何图像都是属性的集合，并且特定属性的编辑方向在所有类别中共享。AGE检查在GANs中学习的内部表示，并识别语义上有意义的方向。具体来说，类嵌入，即，该方法利用特定类别的潜码均值向量表示类别相关属性，利用样本嵌入与类别嵌入的差异，通过稀疏字典学习对类别无关属性进行全局学习。给定一个在可见类别上训练良好的GAN，可以通过编辑类别无关属性同时保持类别相关属性不变来合成不可见类别的各种图像。在不重新训练GAN的情况下，AGE不仅能够用有限的数据为下游视觉应用生成更逼真和多样化的图像，而且能够用可解释的类别无关方向实现可控的图像编辑。
2022-03-16 cs.CV
Adaptive Prototype Model for Attribute-based Multi-label Few-shot Action Recognition
Wuhan University（武汉大学）
针对多属性联合识别导致准确率下降的问题，提出AAPM，通过TCM引入标签文本约束并利用AAM缓解训练偏差，同时构建Multi-Kinetics数据集，在多标签与单标签少样本动作识别上均达到SOTA。
2025-02-18 cs.CV
Simple and effective localized attribute representations for zero-shot learning
Computer Vision Center, Autonomous University of Barcelona（巴塞罗那自治大学计算机视觉中心）
零样本学习（Zero-shot learning，ZRL）的目标是通过语义描述利用与可见类的关系来区分图像和不可见类。最近的一些论文已经表明了本地化特征的重要性，以及对特征提取器进行微调以获得有区别的和可转移的特征。然而，这些方法需要复杂的注意或部分检测模块来执行视觉空间中的显式定位。相比之下，在本文中，我们提出了在语义/属性空间中的本地化表示，具有简单但有效的管道，其中本地化是隐式的。专注于属性表示，我们证明了我们的方法在CUB和SUN数据集上获得了最先进的性能，并且在AWA 2数据集上也取得了有竞争力的结果，优于在视觉空间中具有显式本地化的更复杂的方法。该方法易于实现，可作为零样本学习的一个新的基线。此外，我们的本地化表示高度可解释为属性特定的热图。
2021-03-09 cs.CV
Complementary Attributes: A New Clue to Zero-Shot Learning
Nanjing University of Science and Technology（南京理工大学）；University of Technology Sydney（悉尼科技大学）；Minjiang University（闽江学院）
零样本学习（Zero-shot learning，ZRL）的目标是通过共享属性，利用不相交的可见对象来识别不可见对象。属性决定了类的泛化性能，属性将语义信息从可见类传递到不可见类。为了充分利用属性所传递的知识，本文引入了互补属性的概念，作为对原有属性的补充，以增强属性的语义表示能力。理论分析表明，互补属性可以改善原模型的PAC风格的泛化界。由于所提出的CA侧重于增强语义表示，CA可以很容易地应用到任何现有的基于属性的XML方法，包括基于标签嵌入策略的XML（LEXML）和基于概率预测策略的XML（PPXML）。在PPPML中，有一个很强的假设，即所有属性都是相互独立的，这在实践中可能是不现实的。为了解决这个问题，提出了一种新的秩聚合框架，以规避这一假设。在五个BML基准数据集和大规模ImageNet数据集上的大量实验表明，所提出的互补属性和秩聚合可以显着和鲁棒地改进现有的BML方法，并实现最先进的性能。
2019-07-22 cs.CV
Beyond Attributes: Adversarial Erasing Embedding Network for Zero-shot Learning
Henan University of Technology（河南工业大学）；Xian Jiaotong-Liverpool University（西交利物浦大学）
本文提出了一种具有高阶属性指导的对抗性擦除嵌入网络（AEEN-HOA），以进一步解决具有挑战性的ZSL/GZSL任务。AEEN-HOA由两个分支组成，即，上层流能够擦除一些最初发现的区域，然后结合高阶属性监督来表征类属性之间的关系。同时，通过采用当前背景区域来训练相同属性来训练底层流。据我们所知，这是第一次将擦除操作引入到任务中。此外，我们首先提出了一个类属性激活图的可视化的CNOL输出，它显示了类属性特征和注意力地图之间的关系。在四个标准基准数据集上的实验证明了AEEN-HOA框架的优越性。
2018-11-20 cs.CV
Learning Attribute-aware Representations for Few-shot Scene Text Segmentation
Xi’an Jiaotong University（西安交通大学）
本文提出TSAL属性感知小样本框架，利用CLIP模型及AFA模块实现小样本场景文本分割，在公开基准上达最优性能且泛化性强。
2026-08-05 cs.CV
Towards Zero-shot Sign Language Recognition
Hacettepe University（哈塞特佩大学）；METU（中东技术大学）
本文解决了zero-shot手语识别（ZSSLR）的问题，其目标是利用在可见符号类上学习的模型来识别不可见符号类的实例。在这种情况下，容易获得的文本符号描述和从手语词典中收集的属性被用作知识转移的语义类表示。对于这个新的问题设置，我们引入了三个基准数据集及其附带的文本和属性描述，以详细分析问题。我们提出的方法建立身体和手的区域的时空模型。通过利用描述性的文本和属性嵌入以及这些视觉表示在一个零样本学习框架内，我们表明，基于文本和属性的类定义可以提供有效的知识识别以前看不见的标志类。我们还介绍了技术来分析正确和不正确的zero-shot预测的二进制属性的影响。我们预计，介绍的方法和相应的数据集将提供一个基础，进一步探索零样本学习在手语识别。
2022-01-15 cs.CV
A Large-scale Attribute Dataset for Zero-shot Learning
National Engineering Laboratory for Video Technology（视频技术国家工程实验室）；Key Laboratory of Machine Perception (MoE)（机器感知重点实验室（教育部））；Cooperative Medianet Innovation Center（协同 medianet 创新中心）；School of EECS, Peking University（北京大学电子工程与计算机科学学院）；School of Data Science, Fudan University（复旦大学数据科学学院）；Sinovation Ventures（创新工场）
零样本学习（Zero-Shot Learning，简称ZRL）在过去几年中吸引了大量的研究关注，它旨在学习以前从未见过的新概念。在经典的类知识表示算法中，引入属性作为中间语义表示，实现了可见类到不可见类的知识传递。以前的CNOL算法进行了测试，在几个基准数据集与属性注释。然而，这些数据集在图像分布和属性多样性方面存在缺陷。此外，我们认为，现有数据集的“同现偏差问题”，这是由偏见的同现对象，显着阻碍模型正确学习的概念。为了克服这些问题，我们提出了一个大规模属性数据集（LAD）。我们的数据集有5个超类，230个类的78，017张图像。LAD的图像数量大于四个最流行的属性数据集的总和。在实例级定义并标注了359个视觉、语义和主观属性。我们通过进行监督学习和零样本学习任务来分析我们的数据集。在这个新的数据集上测试了七种最先进的ARML算法。实验结果揭示了在我们的数据集上实现零样本学习的挑战。
2018-05-16 cs.CV
Semi Few-Shot Attribute Translation
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Heidelberg（海德堡大学）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Offenburg University（奥芬堡大学）
最近的研究表明，显着的成功，图像到图像的属性转移应用程序的翻译。然而，大多数现有的方法都是基于深度学习的，并且需要大量的标记数据来产生良好的结果，因此限制了它们的适用性。同样，元学习的最新进展已经导致了有限可用数据的成功实现，允许所谓的少样本学习。在本文中，我们通过提出一种基于GANs的新方法来解决监督方法的这一限制。这些都是以元训练的方式训练的，这允许它们使用来自新目标类的几个标记样本来执行图像到图像的翻译。这项工作经验性地证明了训练GAN进行头发颜色属性合成任务的Few Shot图像到图像翻译的潜力，为进一步研究生成式迁移学习打开了大门。
2019-10-16 cs.CV
DomainGallery: Few-shot Domain-driven Image Generation by Attribute-centric Finetuning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
针对少样本域驱动图像生成中难以描述或未见域的问题，提出属性中心微调的DomainGallery方法，通过属性擦除、解耦、正则化与增强，在Stable Diffusion上实现优越性能。
2024-11-07 cs.CV
Zero-Shot Crowd Behavior Recognition
Queen Mary University of London（伦敦玛丽女王大学）
理解视频中的人群行为对计算机视觉来说是一个挑战。通过引入越来越大的属性本体（属性）和注释越来越大的训练数据集，人们越来越多地尝试对拥挤的场景进行建模。然而，与静态图像相比，手动注释视频属性需要考虑时空演化，这本身就更加困难和昂贵。至关重要的是，监控视频中捕捉到的最有趣的人群行为（例如，巷战，快闪族）要么是罕见的，因此很少有模型训练的例子，或者以前看不见。现有的人群分析技术不容易扩展到识别新的（看不见的）人群行为。为了解决这个问题，我们研究并开发了在没有任何训练样本的情况下识别视觉人群行为属性的方法，即，零样本学习人群行为识别。为此，我们放宽了每个单独的人群视频实例仅与单个人群属性相关联的常见假设。相反，我们的模型通过探索多属性同现作为上下文知识来学习联合识别每个视频实例中的多个人群行为属性，以优化单个人群属性识别。零样本学习中的联合多标签属性预测本质上是不平凡的，因为对于不可见的属性不存在共现统计。为了解决这个问题，我们学习从在线文本语料库和具有已知属性的视频的多标签标注来预测跨属性共现。实验结果表明，该方法不仅提高了WWW人群视频数据集上的zero-shot人群行为识别能力，而且可以推广到Violence Flow视频数据集上的跨域新行为（暴力）检测。
2019-08-16 cs.CV
Dual Progressive Prototype Network for Generalized Zero-Shot Learning
Tencent Data Platform（腾讯数据平台）；University of Science and Technology of China（中国科学技术大学）
广义零样本学习（Generalized Zero-Shot Learning，GSHL）旨在利用辅助语义信息识别新类别，例如，类别属性。在本文中，我们处理域转移问题的关键问题，即，通过逐步提高视觉表征的跨域可转移性和类别可辨别性，可以消除可见和不可见类别之间的混淆。我们的方法，命名为双渐进原型网络（DPPN），构造两种类型的原型，记录原型的属性和类别的视觉模式，分别。DPPN利用属性原型交替搜索属性相关的局部区域并更新相应的属性原型，以逐步探索准确的属性-区域对应关系。这使得DPPN能够产生具有准确属性定位能力的视觉表示，这有利于语义视觉对齐和表示可移植性。此外，随着渐进属性本地化，DPPN进一步项目类别原型到多个空间，逐步排斥来自不同类别的视觉表示，这提高了类别的可区分性。属性和类别原型在一个统一的框架中协同学习，这使得DPPN的视觉表示可转移和独特。在四个基准测试上的实验证明，DPPN有效地缓解了GZSL中的域迁移问题。
2021-11-22 cs.CV
Combining Deep Universal Features, Semantic Attributes, and Hierarchical Classification for Zero-Shot Learning
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
我们解决了zero-shot（ZS）学习，建立在以前的工作，分层分类结合它与基于语义属性估计的方法。对于非新颖和新颖的图像类，我们比较了问题的多个公式，在每种情况下都从深层通用特征开始。我们调查的效果，使用不同的后验概率作为输入的分层分类器，比较性能的后验来自距离SVM分类器的边界与后验的语义属性估计的基础上。使用ImageNet ILSVRC 2012数据集的150个对象类组成的数据集，我们发现，最大化非新颖类的预期奖励的分层分类方法与最大化新颖类的预期奖励的方法不同。我们还表明，使用基于语义属性的输入后验提高了新类的预期回报。
2017-12-08 cs.CV
Zero-Shot Product Attribute Labeling with Vision-Language Models: A Three-Tier Evaluation Framework
Nordstrom（诺德斯特拉姆）
本文提出一种三级评估框架，评估视觉-语言模型在多属性服装任务中的零样本属性标注性能，发现高效模型在成本较低时能实现接近旗舰级性能，揭示了属性适用性检测是关键瓶颈。
2026-01-22 cs.CV
COMAE: COMprehensive Attribute Exploration for Zero-shot Hashing
CNIC, CAS UCAS Beijing China（中国科学院计算机网络信息中心、中国科学院大学北京校区）
针对现有零样本哈希忽略表征与属性局部关联、未充分利用连续值属性的问题，提出COMAE方法，通过逐点、成对、类级三种一致性约束探索属性关联，在主流数据集上性能优于现有最先进哈希技术，尤其在不可见类更多的场景中优势显著。
2025-05-19 cs.CV
Zero-Shot Learning with Sparse Attribute Propagation
Renmin University of China（中国人民大学）；University of Surrey（萨里大学）
零样本学习（Zero-shot learning，ZRL）的目标是在没有任何训练图像的情况下识别一组未见过的类。标准的CNOL方法需要一组用可见类标签注释的训练图像和可见/不可见类的语义描述符（属性向量是最广泛使用的）。类标签/属性注释的开销很大;因此它严重限制了XML的可伸缩性。在本文中，我们定义了一个新的CNOL设置，只有几个注释的图像从每个看到的类收集。这显然比传统的CNOL设置更具挑战性，但也更现实。为了克服由此产生的图像级属性稀疏性，我们提出了一种新的归纳性的MAML模型称为稀疏属性传播（SAP）通过传播属性注释到更多的未注释的图像使用稀疏编码。接下来是学习BML的特征和属性之间的双向投影。给出了一个有效的求解器，并进行了严格的理论算法分析。通过我们的SAP，我们证明了一个WML训练数据集现在可以通过图像搜索引擎返回的丰富的Web图像来增强，以进一步提高模型性能。此外，SAP解决社会图像标注（SIA）问题的普遍适用性。大量的实验表明，我们的模型实现了卓越的性能，无论是在APDL和SIA。
2019-03-18 cs.CV
OSTAF: A One-Shot Tuning Method for Improved Attribute-Focused T2I Personalization
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
本文提出OSTAF，一种仅用单张参考图像的一次性参数高效微调方法，通过超网络驱动的属性聚焦机制，实现个性化T2I中属性特征的精确学习，兼顾效率与质量。
2024-03-17 cs.CV
Stable Attribute Group Editing for Reliable Few-shot Image Generation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）；Huawei Cloud EI Innovation Lab（华为云EI创新实验室）
Few-Shot图像生成旨在仅基于少量样本生成不可见类别的数据。除了基本的内容生成之外，许多下游应用程序有望从这项任务中受益，例如低数据检测和Few-Shot分类。为了实现这一目标，所生成的图像应保证类别保留，以便分类超出视觉质量和多样性。在我们的初步工作中，我们提出了一个“基于编辑”的框架属性组编辑（AGE）可靠的Few-Shot图像生成，这大大提高了生成性能。然而，AGE在下游分类方面的表现并不像预期的那样令人满意。本文研究了类不一致问题，并提出了稳定的属性组编辑（SAGE）更稳定的类相关的图像生成。SAGE利用所有给定的Few-Shot图像，并基于类别相关属性字典估计类中心嵌入。同时，根据属性在类别相关属性字典上的投影权重，从相似的可见类别中选择类别无关属性。因此，SAGE将小说类的整体分布注入到StyleGAN的潜空间中，从而在很大程度上保持了生成图像的类别保持性和稳定性。更进一步，我们发现类别不一致是GAN生成的图像用于下游分类的常见问题。即使生成的图像看起来像照片一样逼真，并且不需要与类别相关的编辑，但它们通常对下游分类的帮助有限。我们系统地讨论了这个问题，从生成模型和分类模型的角度来看，并提出了提高下游分类性能的SAGE通过增强像素和频率分量。
2023-02-01 cs.CV
Semantic Feature Extraction for Generalized Zero-shot Learning
Seoul National University（首尔大学）
广义零触发学习（Generalized zero-shot learning，GSTOL）是一种训练深度学习模型的技术，用于使用属性识别未见过的类。本文提出了一种新的GSTML技术，大大提高了GSTML的分类性能。所提出的方法，此后被称为语义特征提取为基础的GREML（SE-GREML）的关键思想，是使用的语义特征只包含属性相关的信息在学习图像和属性之间的关系。这样做，我们可以消除干扰，如果有的话，所造成的属性无关的信息包含在图像特征。为了训练一个提取语义特征的网络，我们提出了两个新的损失函数：1）基于互信息的损失函数，用于捕获图像特征中所有与属性相关的信息; 2）基于相似性的损失函数，用于去除不需要的与属性无关的信息。从广泛的实验，使用各种数据集，我们表明，所提出的SE-GSTNL技术优于传统的GSTNL方法的大幅度提高。
2021-12-29 cs.CV
Distributed Zero-Shot Learning for Visual Recognition
University of Southern Queensland（南方昆士兰大学）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（中国电子科学与技术大学计算机科学与工程学院）
针对分布式数据的零样本视觉识别问题，提出DistZSL框架，通过跨节点属性正则化器和全局属性-视觉一致性组件解决数据异质性，实验证明其性能优于现有最优方法。
2025-11-11 cs.CV
Zero-Shot Activity Recognition with Verb Attribute Induction
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
在本文中，我们研究了大规模的zero-shot活动识别建模的视觉和语言属性的动作动词。例如，动词“敬礼”有几个属性，如作为一个轻的运动，一个社会行为，并在持续时间短。我们使用这些属性作为视觉和文本表示之间的内部映射，以推理以前看不见的动作。与许多先前的工作，假设访问黄金标准属性的zero-shot类，并主要集中在对象属性，我们的模型唯一学习推断动作属性的字典定义和分布式单词表示。实验结果证实，从语言推断的动作属性可以提供一个预测信号，以前看不见的活动的zero-shot预测。
2017-09-02 cs.CL cs.CV
Zero Shot Recognition with Unreliable Attributes
UT Austin（德克萨斯大学奥斯汀分校）
原则上，零样本学习可以通过简单地指定类别的属性来训练识别模型。例如，使用\emph{striped}和\emph{four-legged}等通用属性的分类器，即使不提供斑马训练图像，也可以通过枚举斑马类别拥有的属性来构建斑马类别的分类器。然而，在实践中，标准的zero-shot范例受到影响，因为新图像中的属性预测很难正确。我们提出了一种新的随机森林方法来训练zero-shot模型，明确占属性预测的不可靠性。通过利用每个属性的错误趋势的统计数据，我们的方法获得了更强大的判别模型的看不见的类。我们进一步设计扩展来处理Few-Shot场景和不可靠的属性描述。在三个数据集上，我们展示了零或少量训练样本的视觉类别学习的好处，这是罕见类别或动态定义类别的关键领域。
2016-03-29 cs.CV stat.ML
Joint Dictionaries for Zero-Shot Learning
HRL Laboratories, LLC（HRL实验室有限责任公司）；University of Pennsylvania（宾夕法尼亚大学）
零样本学习（zero-shot learning，缩写为ZNL）的一种经典方法是将输入域映射到一组语义上有意义的属性，这些属性可以在以后用于对看不见的数据类（例如视觉数据）进行分类。在本文中，我们建议学习一个具有语义意义的原子的视觉特征字典。这种字典是通过视觉域和属性域的联合字典学习来学习的，同时对两个字典实施相同的稀疏编码。我们的新的属性感知配方提供了一个算法解决方案的域转移/hubness问题的CNOL。在学习联合字典时，可以通过仅使用视觉数据找到属性感知联合稀疏表示来将来自未见过类的图像映射到属性空间中。我们证明，我们的方法提供了优越的或可比的性能，最先进的基准数据集。
2017-09-12 cs.CV
Vision Transformer-based Feature Extraction for Generalized Zero-Shot Learning
Seoul National University（首尔国立大学）
广义零触发学习（Generalized zero-shot learning，GSTOL）是一种训练深度学习模型的技术，用于使用图像属性识别未见过的类。在本文中，我们提出了一种新的GREML方法，利用视觉Transformer（ViT），以最大限度地提高包含在图像特征的属性相关信息。在ViT中，整个图像区域被处理而不降低图像分辨率，并且局部图像信息被保留在补丁特征中。为了充分利用ViT的这些优点，我们利用补丁功能以及CLS功能提取属性相关的图像特征。特别是，我们提出了一种新的注意力为基础的模块，称为属性注意力模块（AAM），聚集的属性相关信息的补丁功能。在AAM中，每个块特征与合成图像属性之间的相关性被用作每个块的重要性权重。从基准数据集上的广泛实验，我们证明了所提出的技术优于国家的最先进的GALML方法的大幅度。
2023-02-02 cs.CV
Learning Compositional Representation for Few-shot Visual Question Answering
UBTECH Sydney AI Centre（优必选悉尼人工智能中心）；School of Computer Science at The University of Sydney（悉尼大学计算机学院）；The University of Sydney（悉尼大学）
现有的视觉问答方法在具有大量训练数据的问题上表现良好，但在具有少量实例的新颖问题上精度有限。然而，人类可以快速适应这些新的类别，只需一瞥，因为他们学会了组织以前见过的概念，以形成新的类别，这是深度学习方法很难探索的。因此，在本文中，我们提出了从具有足够数据的答案中提取属性，这些属性随后被组合以约束Few-Shot答案的学习。我们生成的Few-Shot数据集的VQA与各种答案和他们的属性，没有任何人工的努力。有了这个数据集，我们构建了我们的属性网络，通过从图像的部分而不是整个图像中学习属性的特征来理清属性。在VQA v2.0验证数据集上的实验结果证明了该方法的有效性和答案与其对应属性之间的约束关系，以及该方法在训练样本较少的情况下处理答案的能力。
2021-02-21 cs.CV
Rethinking of Pedestrian Attribute Recognition: A Reliable Evaluation under Zero-Shot Pedestrian Identity Setting
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
行人属性识别的目的是为视频监控摄像机拍摄的一幅行人图像分配多个属性。虽然提出了许多方法，并取得了巨大的进展，我们认为，现在是时候退后一步，分析该地区的现状。我们从三个角度回顾和反思最近的进展。首先，由于行人属性识别没有明确和完整的定义，我们正式定义和区分行人属性识别与其他类似的任务。其次，基于所提出的定义，我们暴露了现有数据集的局限性，这些数据集违反了学术规范，与实际行业应用的本质要求不一致。因此，我们提出了两个数据集，PETA \textsubscript{$ZS$}和RAP \textsubscript{$ZS$}，构建以下行人身份的zero-shot设置。此外，我们还介绍了未来行人属性数据集建设的几个现实标准。最后，我们重新实现现有的最先进的方法，并引入一个强大的基线方法，以提供可靠的评估和公平的比较。实验进行了四个现有的数据集和两个建议的数据集来衡量行人属性识别的进展。
2021-11-29 cs.CV
Translational Concept Embedding for Generalized Compositional Zero-shot Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Florida State University（佛罗里达州立大学）
广义组合零样本学习是指以zero-shot方式学习属性-对象对的组合概念，其中模型在一组可见概念上训练，并在一组可见和不可见概念上测试。这个任务是非常具有挑战性的，因为不仅看到和看不见的概念之间的差距，而且属性和对象之间的上下文依赖性。本文介绍了一种新的方法，称为翻译概念嵌入，以解决这两个困难在一个统一的框架。它将属性应用于对象的效果建模为将平移属性特征添加到对象原型。我们显式地考虑到属性和对象之间的上下文依赖关系，通过生成有条件地依赖于对象原型的平移属性功能。此外，我们设计了一个比率方差约束损失，以提高模型对未知概念的泛化能力。它通过利用预先训练的词嵌入中的知识来规范概念之间的距离。我们评估了我们的模型在无偏和有偏概念分类任务下的性能，并表明我们的模型能够在预测看不见的概念和看到的概念方面实现良好的平衡。
2021-12-20 cs.CV
Attributes-Guided and Pure-Visual Attention Alignment for Few-Shot Recognition
Zhejiang University（浙江大学）；Westlake University（西湖大学）
Few-Shot识别的目的是识别每个类别中具有有限数量的标记示例的新类别。为了鼓励从补充的角度学习，最近的方法已经将辅助语义模态引入到有效的度量学习框架中，该框架旨在学习训练样本（支持集）和测试样本（查询集）之间的特征相似性。然而，这些方法只增加了可用语义的样本的表示，而忽略了查询集，这失去了改进的潜力，并可能导致模态组合和纯视觉表示之间的转变。在本文中，我们设计了一个属性引导的注意力模块（AGAM），以利用人类注释的属性，并学习更多的判别特征。该即插即用模块使视觉内容和相应的属性能够集中在支持集的重要通道和区域上。对于只有视觉信息而没有属性信息的查询集，也实现了特征选择。因此，来自两个集合的表示以细粒度的方式得到改进。此外，提出了一种注意力对齐机制，将知识从属性的指导下提取到无属性样本的纯视觉分支。大量的实验和分析表明，我们提出的模块可以显着改善简单的基于度量的方法，以实现最先进的性能在不同的数据集和设置。
2021-02-03 cs.CV
Attribute Prototype Network for Zero-Shot Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Tübingen（图宾根大学）
从零样本学习研究开始，视觉属性就被证明起着重要的作用。为了更好地将基于属性的知识从已知类转移到未知类，我们认为具有集成属性定位能力的图像表示将有利于零样本学习。为此，我们提出了一种新的zero-shot表示学习框架，该框架仅使用类级属性联合学习判别性全局和局部特征。当视觉语义嵌入层学习全局特征时，通过属性原型网络学习局部特征，该属性原型网络同时从中间特征中回归和解相关属性。我们证明了我们的局部增强图像表示在三个零样本学习基准上达到了新的最先进水平。作为一个额外的好处，我们的模型指向图像中属性的视觉证据，例如对于CUB数据集，确认我们的图像表示的改进的属性本地化能力。
2021-05-06 cs.CV cs.LG
Enhancing Spatio-Temporal Zero-shot Action Recognition with Language-driven Description Attributes
Department of Artificial Intelligence, Korea University（韩国大学人工智能系）
针对动作类别多义词导致零样本动作识别语义歧义的问题，提出利用大语言模型从网络描述中提取关键词作为属性，并设计时空交互模块聚焦动作单元以对齐视频内容，在多个基准数据集上取得高准确率。
2025-11-03 cs.CV
Boosting Zero-shot Learning via Contrastive Optimization of Attribute Representations
Tsinghua University（清华大学）；College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）；Microsoft Research Asia（微软亚洲研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对零样本学习中跨图像属性共性未被强调的问题，提出学习属性原型并进行困难样本对比优化的CoAR框架，在CUB、SUN、AwA2上显著提升性能。
2023-07-18 cs.CV
Field-Guide-Inspired Zero-Shot Learning
Cornell University（康奈尔大学）
现代识别系统需要大量的监督才能实现准确性。适应新的领域需要来自专家的大量数据，这是繁重的，并且可能变得过于昂贵。零样本学习需要一个新类别的注释属性集。在部署过程中，为一个新的类别标注完整的属性集被证明是一项繁琐而昂贵的任务。当识别领域是专家领域时尤其如此。我们引入了一种新的现场指南启发的方法来zero-shot注释，其中学习者模型交互式地要求定义类的最有用的属性。我们评估了我们的方法与属性注释，如CUB，SUN和AWA2分类基准，并表明我们的模型实现了一个完整的注释模型的性能，在一个显着较少的注释数量的成本。由于专家的时间非常宝贵，因此降低注释成本对于实际部署非常有价值。
2021-08-24 cs.CV
Toward Zero-Shot Unsupervised Image-to-Image Translation
Peking University（北京大学）；Tencent Inc.（腾讯公司）
最近的研究表明，在无监督的图像到图像的翻译显着的成功。然而，如果不能访问目标类中的足够图像，则学习从源类到目标类的映射总是遭受模式坍塌，这限制了现有方法的应用。在这项工作中，我们提出了一个zero-shot无监督的图像到图像的翻译框架，以解决这一限制，通过关联类别与他们的边信息，如属性。为了将翻译器推广到以前看不见的类，我们引入了两种策略来利用语义属性所跨越的空间。具体来说，我们建议保留语义关系的视觉空间和扩展属性空间，利用属性向量的看不见的类，从而鼓励译者探索模式的看不见的类。在不同数据集上的定量和定性结果证明了我们所提出的方法的有效性。此外，我们证明了我们的框架可以应用于许多任务，如zero-shot分类和时装设计。
2020-07-28 cs.CV
Learning Invariant Visual Representations for Compositional Zero-Shot Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）
作文零样本学习（CNOML）的目的是利用从训练集中的属性-对象作文中学习到的知识来识别新的作文。以往的工作主要是将一幅图像和一幅构图投影到一个公共的嵌入空间中来衡量它们的兼容性得分。然而，属性和对象共享上面学习的视觉表示，导致模型利用虚假的相关性和对可见对的偏见。相反，我们重新考虑作为一个分布外泛化的问题。如果一个对象被视为一个域，我们可以学习对象不变的特征，以可靠地识别附加到任何对象的属性。类似地，当识别具有属性的对象作为域时，也可以学习属性不变特征。具体来说，我们提出了一个不变特征学习框架，在表示和梯度级别对齐不同的域，以捕获与任务相关的内在特征。实验结果表明，该方法的性能明显优于现有的方法。
2022-07-18 cs.CV
Exploiting Semantic Attributes for Transductive Zero-Shot Learning
University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University（南京大学）
零样本学习（Zero-shot learning，简称ZRL）的目标是通过归纳视觉特征和从可见类中学习到的语义属性之间的关系来识别不可见类。最近的一个范例称为转导零样本学习，在训练过程中进一步利用未标记的未见过的数据，并取得了令人印象深刻的结果。这些方法总是通过生成对抗网络从属性中合成看不见的特征，以减轻对可见类的偏见。然而，它们忽略了未标记的不可见数据中的语义信息，因此无法生成高保真的属性一致的不可见特征。为了解决这个问题，我们提出了一种新的transductive的mandrel方法，产生的语义属性的看不见的数据，并将它们的生成过程。特别是，我们首先训练一个属性解码器，学习从视觉特征到语义属性的映射。然后，从属性解码器中，我们获得未标记数据的伪属性，并将它们集成到生成模型中，这有助于捕获看不见的类中的详细差异，从而合成更具鉴别力的特征。在五个标准基准测试上的实验表明，我们的方法在零样本学习中得到了最好的结果。
2023-03-17 cs.AI cs.CV
Compositional Zero-Shot Learning with Contextualized Cues and Adaptive Contrastive Training
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；UNSW（新南威尔士大学）
针对基于 CLIP 的组合式零样本学习难以理解和关联属性与物体的问题，本文提出 ULAO 框架，通过上下文化原语理解与自适应困难负样本对比训练，在 CW 和 OW 场景的三个基准上达到最先进性能。
2024-12-10 cs.CV
Zero-Shot Learning by Generating Pseudo Feature Representations
Tsinghua University（清华大学）；China Marine Development and Research Center（中国海洋发展研究中心）
零样本学习（Zero-shot learning，简称ZRL）是一个具有挑战性的任务，其目标是在没有任何训练实例的情况下识别新的类。在本文中，我们提出了一个简单的，但高性能的方法，通过生成伪特征表示（GPFR）。给定可见类的数据集和不可见类的边信息（例如属性），我们合成新概念的特征级伪表示，这使我们能够获得不可见类预测器的公式。首先设计一个联合属性特征提取器（Joint Attribute Feature Extractor，JAFE）来获取对属性的理解，然后构建一个经过置信度过滤的属性认知库，最后使用基于概率的采样策略生成伪特征表示，以方便后续的类预测器训练过程。我们证明了我们的方法在合成彩色MNIST数据集（C-MNIST）上的监督识别场景中的有效性和可扩展性。对于几个流行的BNL基准数据集，我们的方法在zero-shot识别任务上也显示了令人信服的结果，特别是在zero-shot检索任务上，我们的方法比最先进的mAP有了巨大的改进。
2017-03-19 cs.CV
MSDN: Mutually Semantic Distillation Network for Zero-Shot Learning
Huazhong University of Science and Technology (HUST)（华中科技大学）；Nanjing University of Science and Technology（南京理工大学）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Institute of North Electronic Equipment（北方电子设备研究所）
零样本学习（zero-shot learning，ZNL）的关键挑战是如何推断可见类的视觉特征和属性特征之间的潜在语义知识，从而实现对不可见类的知识转移。现有的工作要么简单地将图像的全局特征与其相关联的类别语义向量对齐，要么利用单向注意来学习有限的潜在语义表示，这不能有效地发现内在语义知识，例如，属性语义）之间的视觉和属性的功能。为了解决上述困境，我们提出了一个相互语义蒸馏网络（MSDN），它逐步提炼的视觉和属性特征之间的内在语义表示为语义学习。MSDN合并了学习基于属性的视觉特征的属性$\rightarrow$视觉注意力子网和学习基于视觉的属性特征的视觉$\rightarrow$属性注意力子网。通过进一步引入语义蒸馏损失，两个相互注意子网能够在整个训练过程中协作学习并相互教学。拟议的MSDN在强大的基线基础上取得了显着的改进，在三个流行的具有挑战性的基准上实现了新的最先进的性能，即，CUB、SUN和AWA 2。我们的代码可在以下网址获得：\url{https://github.com/shiming-chen/MSDN}。
2022-04-22 cs.CV
Make an Omelette with Breaking Eggs: Zero-Shot Learning for Novel Attribute Synthesis
National Chiao Tung University（国立交通大学）；IBM Research（IBM研究院）
现有的大多数零次分类问题（zero-shot classification problem）算法通常依赖于类别之间基于属性的语义关系来实现新类别的分类，而无需观察任何实例。然而，训练zero-shot分类模型仍然需要对训练数据集中的每个类（甚至实例）进行属性标记，这也是昂贵的。为此，在本文中，我们提出了一个新的问题场景：“我们是否可以为新的属性检测器/分类器导出零样本学习，并使用它们来自动标注数据集以提高标注效率？".基本上，只给出一小组被学习来识别一些手动注释的属性的检测器（即，看到的属性），我们的目标是以零样本学习的方式合成新属性的检测器。我们提出的方法，零样本学习的属性（Zero-Shot Learning for Attributes，简称ZLA），这是第一个同类的，以我们所知的，解决了这个新的研究问题，通过应用集合操作，首先分解看到的属性到他们的基本属性，然后重新组合这些基本属性到新的。进行了大量的实验，以验证我们的合成检测器准确捕捉新属性的语义的能力，并显示其优越的性能相比，其他基线方法的检测和定位。此外，我们展示了自动注释的应用程序，使用我们的合成检测器在加州理工大学UCSD鸟类-200-2011数据集。各种广义的zero-shot分类算法训练的数据集重新注释的MANULA显示与那些训练的手动地面实况注释相当的性能。源代码请参考我们的项目页面：https://yuhs…
2022-11-19 cs.CV cs.LG
Few-shot Learner Parameterization by Diffusion Time-steps
Nanyang Technological University（南洋理工大学）；Sea AI Lab（Sea AI实验室）；Singapore Management University（新加坡管理大学）；Hefei University of Technology（合肥工业大学）；Skywork AI
针对少样本学习中难以保留细微属性而去除虚假显著属性的问题，提出TiF learner，利用Diffusion Model的time-steps隔离细微属性并训练低秩适配器进行参数化，在细粒度任务上显著优于OpenCLIP。
2024-03-27 cs.CV
Zero-shot Building Attribute Extraction from Large-Scale Vision and Language Models
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of California, Berkeley（加州大学伯克利分校）
提出零样本建筑属性提取流程，利用大规模视觉语言模型生成图像级和分割级描述，减少人工标注依赖，提升性能与适应性。
2023-12-19 cs.CV
