Shaping Visual Representations with Attributes for Few-Shot Recognition
Nanjing University（南京大学）
Few-Shot识别的目标是在低数据条件下识别新类别。一些最近的Few-Shot识别方法引入了辅助语义模态，即，类别属性信息引入到表示学习中，增强了特征区分度，提高了识别性能。现有的这些方法大多只考虑支持集的属性信息而忽略查询集，导致潜在的性能损失。在这封信中，我们提出了一种新的属性形状学习（ASL）框架，它可以联合执行查询属性生成和判别视觉表示学习的Few-Shot识别。具体来说，视觉属性预测器（VAP）的构造预测查询的属性。通过利用属性信息，设计了一个属性视觉注意模块（AVAM），它可以自适应地利用属性和视觉表示来学习更多的区分特征。在属性模态的指导下，我们的方法可以学习增强的语义感知表示分类。实验表明，我们的方法可以取得竞争力的结果在CUB和SUN基准。我们的源代码可在以下网址获得：\url{https://github.com/chenhaoxing/ASL}。
2022-06-05 cs.CV
Can GAN-induced Attribute Manipulations Impact Face Recognition?
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Michigan State University（密歇根州立大学）
由于年龄、性别、种族等人口因素造成的影响，已经在自动面部识别系统中被广泛研究。然而，\textit{digitally modified}的人口统计和面部属性对人脸识别的影响是相对不足的探索。在这项工作中，我们研究了通过生成对抗网络（GANs）诱导的属性操作对人脸识别性能的影响。我们在CelebA数据集上进行实验，使用AttGAN和STGAN故意修改13个属性，并评估它们对两种基于深度学习的人脸验证方法ArcFace和VGGFace的影响。我们的研究结果表明，一些属性操作，包括眼镜和数字改变的性别线索可以显着损害人脸识别高达73%，需要进一步分析。
2022-09-07 cs.CV
Improving the Annotation of DeepFashion Images for Fine-grained Attribute Recognition
Cortexica Vision Systems（Cortexica视觉系统公司）
DeepFashion是一个广泛使用的服装数据集，包含50个类别和超过20万张图像，其中每张图像都使用细粒度属性进行注释。该数据集通常用于服装识别，虽然它提供了全面的注释，但属性分布不平衡且重复，特别是对于训练细粒度属性识别模型。在这项工作中，我们通过分别关注每个类别，为细粒度属性识别任务量身定制了DeepFashion。在选择具有足够数量的图像进行训练的类别之后，我们删除非常稀缺的属性并合并每个类别中的重复属性，然后根据新的属性列表清理数据集。我们使用一个双线性卷积神经网络与成对排序损失函数的多标签细粒度属性识别，并表明新的注释改善了这样一个任务的结果。每个选定类别的详细注释供公众使用。
2018-07-31 cs.CV
Learning Attribute Representation for Human Activity Recognition
TU Dortmund University（多特蒙德工业大学）；Department of Computer Science（计算机科学系）
属性表示在图像识别和单词识别中变得相关，在存在不平衡和不相交数据集的情况下提供支持。然而，对于使用来自身体传感器的序列数据的人类活动识别，缺乏人类标记的属性。本文介绍了一种搜索属性，代表有利的信号段识别人类活动。它提出了三种深度架构，包括时间卷积和以IMU为中心的设计，用于预测属性。随机和学习的属性表示，以及网络的经验评估是在两个数据集上进行的，优于最先进的。
2018-02-02 cs.CV
A Temporal Attentive Approach for Video-Based Pedestrian Attribute Recognition
Beihang University（北京航空航天大学）
在本文中，我们首先解决的问题，行人属性识别基于视频的方法。其挑战主要在于空间和时间建模以及如何将它们集成以实现有效和动态的行人表示。针对这一问题，提出了一种基于传统神经网络和时间注意策略的多任务模型。由于公开的数据集是罕见的，两个新的大规模的视频数据集与扩展的属性定义，基于视频的行人属性识别方法和所提出的新的网络结构的有效性得到了很好的证明。这两个数据集发布在http://irip.buaa.edu.cn/mars_duke_attributes/index.html上。
2019-10-28 cs.CV
TaCo: Textual Attribute Recognition via Contrastive Learning
Tencent YouTu Lab（腾讯优图实验室）
字体等文本属性是文档格式和页面风格的核心设计元素，属性自动识别具有广泛的实际应用价值。现有的方法在区分不同属性方面已经取得了令人满意的性能，但在区分只有细微差异的相似属性方面仍然存在缺陷。此外，它们的性能严重下降，在现实世界的情况下，出现意想不到的和明显的成像失真。在本文中，我们的目标是解决这些问题，提出TaCo，文本属性识别的对比框架，针对最常见的文档场景。具体来说，TaCo利用对比学习来消除模糊和开放式属性所产生的歧义陷阱。为了实现这一目标，我们从三个方面设计了学习范式：1）生成属性视图，2）提取微妙但关键的细节，3）利用有价值的视图对进行学习，以充分释放预训练潜力。大量的实验表明，TaCo超越了监督同行，并在多属性识别任务的最先进的显着进步。将提供TaCo的在线服务。
2022-08-22 cs.CV
UPAR: Unified Pedestrian Attribute Recognition and Person Retrieval
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Fraunhofer IOSB（弗劳恩霍夫IOSB研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）
识别软生物特征行人属性在视频监控和时尚检索中至关重要。最近的工作在单个数据集上显示出有希望的结果。然而，这些方法在不同属性分布、视点、不同光照和低分辨率下的泛化能力仍然很少被理解，这是由于当前数据集中的强偏差和不同属性。为了缩小这一差距，并支持系统的调查，我们提出UPAR，统一的人属性识别数据集。它基于四个著名的个人属性识别数据集：PA 100 K，PETA，RAPv 2和Market 1501。我们通过提供330万个额外的注释来统一这些数据集，以协调数据集中12个属性类别中的40个重要的二进制属性。因此，我们使研究可推广的行人属性识别以及基于属性的人检索的第一次。由于图像分布、行人姿态、尺度和遮挡的巨大差异，现有方法在准确性和效率方面都受到很大挑战。此外，我们开发了一个强大的基线PAR和基于属性的人检索的正则化方法的深入分析的基础上。我们的模型在PA 100 k、PETA、RAPv 2、Market 1501-Attributes和UPAR的跨域和专业化设置中实现了最先进的性能。我们相信UPAR和我们强大的基线将为人工智能社区做出贡献，并促进对大规模、可推广的属性识别系统的研究。
2022-09-06 cs.CV
A Solution to Co-occurrence Bias: Attributes Disentanglement via Mutual Information Minimization for Pedestrian Attribute Recognition
Beihang University（北京航空航天大学）
针对行人属性识别中的属性共现偏差问题，提出属性解耦特征学习方法，通过互信息最小化确保属性识别独立性，在真实数据集上取得最优性能。
2023-07-28 cs.CV
Sequence-based Person Attribute Recognition with Joint CTC-Attention Model
Tencent Youtu Lab（腾讯优图实验室）；Hefei University of Technology（合肥工业大学）
属性识别在计算机视觉中有着广泛的应用，如身份识别等。像许多物体识别问题一样，视点、照明和远距离识别的变化都使这项任务具有挑战性。在这项工作中，我们提出了一个联合CTC注意力模型（JCM），它映射到序列的属性标签学习属性之间的语义关系。此外，该网络采用神经网络对图像进行序列编码，并采用关联时间分类（CTC）损失对网络进行训练，以提高网络的编码性能。同时，采用注意力模型对序列进行解码，可以实现序列的对齐，更好地从属性中学习语义信息。在三个公共数据集上进行了广泛的实验，即，Market-1501属性数据集、Duke属性数据集和PETA数据集的实验结果表明了该方法的有效性。
2018-11-27 cs.CV
Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition
Baidu Research（百度研究院）
细粒度识别的一个关键挑战是如何发现和表示有区别的局部区域。最近的注意力模型只能从类别标签中学习有区别的区域定位器与强化学习。然而，不利用任何明确的部分信息，他们不能准确地找到多个独特的区域。在这项工作中，我们引入了一个属性引导的注意力定位方案，局部区域定位器的部分属性描述的指导下学习。通过设计一种新的奖励策略，我们能够学习定位区域的空间和语义独特的强化学习算法。该方案的属性标注要求比传统的基于零件的细粒度识别方法所要求的精确零件位置标注更容易实现。在CUB-200-2011数据集上的实验结果表明，该方法在细粒度识别和属性识别方面都具有较好的性能。
2016-05-23 cs.CV
Sunrise or Sunset: Selective Comparison Learning for Subtle Attribute Recognition
图像识别的难度从一般的类别识别逐渐增加到细粒度识别，再到一些细微属性的识别，如温度、地理位置等。本文试图从日出和日落的分类入手，希望能给人们一点提示，告诉人们如何区分细微的属性。日出与日落是一项困难的识别任务，即使对人类来说也是一项挑战。为了理解这个新问题，我们首先收集了一个由来自不同地方的100多个网络摄像头组成的新数据集。由于现有的算法方法的准确性差，我们提出了一个新的成对学习策略，学习功能的选择对图像。实验表明，我们的方法超过基线方法的大幅度，甚至与人类相比，取得了更好的结果。我们还将我们的方法应用于现有的细微属性识别问题，如温度估计，并取得了最先进的结果。
2017-07-20 cs.CV
Visual Attribute-augmented Three-dimensional Convolutional Neural Network for Enhanced Human Action Recognition
University of Science and Technology of China（中国科学技术大学）；HERE Technologies（HERE科技公司）
视频帧中的视觉属性，如特征对象和场景的存在，为视频中的动作识别提供了大量信息。以单个2D视频帧作为输入，由于2D CNN中的参数较少，因此可以使用比当前具有时空滤波器的3D CNN更复杂的卷积神经网络来有效地和高效地实现视觉属性提取。提出了一种基于视觉属性增强的三维CNN（A3D）框架，将视觉属性（包括检测、编码和分类）集成到多流三维CNN中，用于裁剪视频中的动作识别。视觉属性流水线包括目标检测网络、属性编码网络和分类网络。我们提出的A3D框架在HMDB51和UCF101数据集上都达到了最先进的性能。
2018-05-08 cs.CV
Robust RGB-D Face Recognition Using Attribute-Aware Loss
University of Science and Technology of China（中国科学技术大学）；Beijing Dilusense Technology Corporation（北京的卢深视科技有限公司）；Cardiff University（卡迪夫大学）
现有的基于卷积神经网络（CNN）的人脸识别算法通常使用损失函数来学习区别性特征映射，所述损失函数强制分离来自不同类别的特征和/或聚合同一类别内的特征。然而，它们可能遭受训练数据中的偏差，例如不均匀的采样密度，因为它们优化了所学习的特征的邻近关系，而没有考虑底层面部的邻近性。此外，由于它们仅使用面部图像进行训练，因此学习的特征映射可能无法正确指示其他属性（例如性别和种族）的关系，这对于某些面部识别应用来说可能很重要。在本文中，我们提出了一种新的基于CNN的人脸识别方法，将这些属性纳入训练过程。使用属性感知的损失函数，正则化的特征映射使用属性接近度，我们的方法学习更多的歧视性特征，与属性相关。我们训练我们的人脸识别模型上的大规模RGB-D数据集，在实际应用条件下捕获的身份超过10万。通过与其他方法进行比较，我们证明了深度通道和属性感知损失大大提高了人脸识别的准确性和鲁棒性。
2019-05-17 cs.CV
Pedestrian Attribute Recognition in Video Surveillance Scenarios Based on View-attribute Attention Localization
College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院）
针对监控场景行人属性识别中特定属性定位不准的问题，提出基于注意力的视角-属性定位方法VALA，结合视角权重与区域注意力实现精准定位，在三个主流数据集上性能优于现有最优方法。
2021-12-20 cs.CV
Attribute Recognition by Joint Recurrent Learning of Context and Correlation
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Ltd（视觉语义有限公司）
识别监控图像中行人的语义属性是计算机视觉的一项具有挑战性的任务，特别是当图像质量差、背景复杂、观察条件不受控、标记训练数据数量少时。在这项工作中，我们制定了一个联合循环学习（JRL）模型，探索属性的上下文和相关性，以提高属性识别给定的小尺寸的训练数据质量差的图像。JRL模型联合学习行人图像中的行人属性相关性，特别是它们在端到端编码器/解码器递归网络中的顺序排序依赖性（潜在高阶相关性）。我们展示了JRL模型在两个最大的行人属性基准PETA和RAP上的行人属性识别，多标签图像分类和多人图像注释的各种最先进的深度模型的性能优势和鲁棒性。
2017-09-25 cs.CV
Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition
Shanghai Jiaotong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
收集细粒度的标签通常需要专家级的领域知识，并且无法扩展。在本文中，我们提出了属性混合，数据增强策略在属性级扩展细粒度的样本。其原理在于细粒度子类别之间的属性特征是共享的，并且可以无缝地在图像之间传递。为了实现这一目标，我们提出了一种自动属性挖掘方法来发现属于同一个超类别的属性，属性混合是通过混合两个图像的语义有意义的属性特征。属性混合是一种简单而有效的数据增强策略，它可以在不增加推理预算的情况下显著提高识别性能。此外，由于属性可以在来自同一超类别的图像之间共享，因此我们使用来自通用域的图像进一步丰富具有属性级别标签的训练样本。广泛使用的细粒度基准测试的实验证明了我们提出的方法的有效性。
2020-07-09 cs.CV
Adaptive Prototype Model for Attribute-based Multi-label Few-shot Action Recognition
Wuhan University（武汉大学）
针对多属性联合识别导致准确率下降的问题，提出AAPM，通过TCM引入标签文本约束并利用AAM缓解训练偏差，同时构建Multi-Kinetics数据集，在多标签与单标签少样本动作识别上均达到SOTA。
2025-02-18 cs.CV
Unconstrained Periocular Recognition: Using Generative Deep Learning Frameworks for Attribute Normalization
University of Beira Interior（贝拉内大学）
工作在无约束环境中的眼睛生物识别系统通常面临的问题，小类内的紧凑性所造成的多个因素，共同降低所获得的数据的质量。在这项工作中，我们提出了一种基于深度学习生成框架的属性归一化策略，该策略减少了成对比较中使用的样本的变异性，而不会降低它们的可辨别性。所提出的方法可以被看作是一个预处理步骤，有助于数据正则化和提高识别精度，是完全不可知的识别策略。作为概念证明，我们考虑了“眼镜”和“凝视”因素，比较了五种不同识别方法的性能水平，使用/不使用所提出的归一化策略。此外，我们引入了一个新的数据集的无约束的眼周识别，由移动设备获取的图像，特别适合于感知的影响，“戴眼镜”的识别效果。我们的实验在两个不同的数据集上进行，并支持我们的属性归一化方案，以提高识别性能的有用性。
2020-02-10 cs.CV
Reinforced Pedestrian Attribute Recognition with Group Optimization Reward
Tianjin University（天津大学）；China Academy of Launch Vehicle Technology（中国运载火箭技术研究院）
行人属性识别（PAR）是智能视频监控中一项具有挑战性的任务。PAR中的两个关键挑战包括图像和属性之间的复杂对齐关系以及不平衡的数据分布。现有的方法通常制定PAR作为一个识别任务。与之不同的是，本文通过一个强化学习框架将其作为一个决策任务来处理。通过巧妙地设计状态、动作空间、奖励函数和状态转移，将PAR表示为一个马尔可夫决策过程（MDP）。为了缓解属性间的不平衡问题，我们应用了一个属性分类策略（AGS），将所有属性划分为子组，根据其区域和类别信息。然后，我们使用一个智能体来识别每组属性，该智能体使用Deep Q-学习算法进行训练。我们还提出了一个组优化奖励（GOR）函数来缓解属性内不平衡问题。在PETA、RAP和PA 100 K三个基准数据集上的实验结果验证了所提方法的有效性和竞争力，表明强化学习在PAR中的应用是一个有价值的研究方向。
2022-05-21 cs.CV
Improving Pedestrian Attribute Recognition With Weakly-Supervised Multi-Scale Attribute-Specific Localization
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
行人属性识别是视频监控领域的一个新兴研究课题。为了预测特定属性的存在，需要定位与该属性相关的区域。但是，在此任务中，区域注释不可用。如何划分这些属性相关区域仍然具有挑战性。现有的方法应用属性不可知的视觉注意或启发式的身体部位定位机制，以提高局部特征表示，而忽略了使用属性来定义局部特征区域。我们提出了一个灵活的属性定位模块（ALM），以自适应地发现最具歧视性的地区，并学习区域功能，为每个属性在多个级别。此外，还引入了一个特征金字塔架构，以增强在低级别的属性特定的本地化与高层语义指导。所提出的框架不需要额外的区域注释，并且可以通过多级深度监督进行端到端的训练。大量的实验表明，所提出的方法实现了国家的最先进的结果上的行人属性数据集，包括PETA，RAP和PA-100 K。
2019-10-10 cs.CV
Open Set Chinese Character Recognition using Multi-typed Attributes
University of Groningen（格罗宁根大学）
离线汉字识别仍然是一个具有挑战性的问题，特别是在历史文献中，不仅在类的数量非常大，相比当代图像检索方法，而且新的看不见的类，可以预期在开放学习条件下（即使是CNN）。零训练样本或少量训练样本的汉字识别是一个困难的问题，目前还没有研究。本文提出了一种基于汉字读音、字形和部首的多类型属性的汉字识别方法，并将其应用于历史文献中的汉字识别。这种中间属性代码比常见的“one-hot”类表示有很大的优势，因为它允许使用属性符号化地理解复杂和不可见的模式。首先，每个字符由四组属性类型表示，以覆盖广泛的字符可能性：拼音标签，布局结构，笔画数，三种不同的输入法，如仓颉，正码和五笔，以及四角编码方法。训练卷积神经网络（CNN）来学习这些属性。随后，字符可以很容易地识别这些属性使用的距离度量和一个完整的字典，是在属性空间编码。我们评估所提出的方法在两个开放的数据集：印刷体汉字识别的零样本学习，历史字符的少样本学习和一个封闭的集合：手写体汉字。实验结果表明，看到的类，但也是一个非常有前途的泛化能力，看不见的字符良好的一般分类。
2018-08-27 cs.CV
Instance Retrieval at Fine-grained Level Using Multi-Attribute Recognition
Cortexica Vision Systems Limited（Cortexica视觉系统有限公司）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；the University of Adelaide（阿德莱德大学）
在本文中，我们提出了一种方法，例如排名和检索细粒度级别的基础上提取的多属性识别模型，这是不依赖于地标信息或部分基于注释的全局特征。此外，我们通过采用双线性CNN使多属性识别模型更小（在参数数量方面），使这种架构适合于移动设备应用。在DeepFashion In-Shop Clothes Retrieval和CUB 200数据集的Dress类别上进行的实验表明，细粒度级别的实例检索结果对于这些数据集是有希望的，特别是在纹理和颜色方面。
2018-11-07 cs.CV
Prior Knowledge about Attributes: Learning a More Effective Potential Space for Zero-Shot Recognition
Zhejiang Gongshang University（浙江工商大学）；Oakland University（奥克兰大学）
零样本学习（Zero-shot learning，ZRL）通过学习已知属性和已知类来准确识别未知类，但以往的研究忽略了属性间的相关性，导致分类结果混乱。为了解决这个问题，我们建立了一个属性相关势空间生成（ACPSG）模型，该模型使用图卷积网络和属性相关来生成更具区分力的势空间。结合潜在的歧视空间和用户定义的属性空间，我们可以更好地分类看不见的类。我们的方法在几个基准数据集上的性能优于一些现有的最先进的方法，无论是传统的CNOL还是广义的CNOL。
2020-09-14 cs.CV
Localization Guided Learning for Pedestrian Attribute Recognition
City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
行人属性识别在监控视频的场景理解和人物分析中有着广泛的应用，因此受到了人们的广泛关注。现有方法尝试使用额外的姿势、零件或视角信息来补充属性分类的全局特征表示。然而，这些方法在定位对应于不同属性的区域时面临困难。为了解决这个问题，我们提出了一种新的本地化引导网络，它分配属性特定的权重的基础上的建议预提取的建议和属性位置之间的亲和力的本地功能。我们的模型的优点是，我们的本地功能自动学习每个属性，并强调与全球功能的相互作用。我们证明了我们的本地化引导网络的有效性两个行人属性基准（PA-100 K和RAP）。我们的结果在两个数据集的所有五个指标上都超过了以前的最先进水平。
2018-08-28 cs.CV
Incremental Few-Shot Learning for Pedestrian Attribute Recognition
Tsinghua University（清华大学）；University of Warwick（华威大学）；Xidian University（西安电子科技大学）
行人属性识别在视频监控应用中具有重要的作用，因此受到越来越多的关注。然而，大多数现有的方法都是为固定的属性集设计的。它们无法处理增量式少样本学习场景，即使经过良好训练的模型适应具有稀缺数据的新添加属性，这在现实世界中普遍存在。在这项工作中，我们提出了一个基于Meta学习的方法来解决这个问题。我们的框架的核心是一个Meta架构，能够解开多个属性信息，并迅速推广到新的属性。通过在增量式Few-Shot设置下对基准数据集PETA和RAP进行广泛的实验，我们证明了我们的方法能够以具有竞争力的性能和低资源需求执行任务。
2019-06-24 cs.CV
CLEAR: Cross-Transformers with Pre-trained Language Model is All you need for Person Attribute Recognition and Retrieval
School of Electrical Engineering, Korea University（高丽大学电气工程学院）；Graduate School of Data Science, Chonnam National University（全南国立大学数据科学研究生院）
本文提出统一网络CLEAR，通过鲁棒交叉Transformer解决行人属性识别，并利用预训练语言模型构建伪描述以弥合属性查询与图像间的模态差距，在五个基准上取得领先或竞争性结果。
2024-04-30 cs.CV
Generative Adversarial Models for People Attribute Recognition in Surveillance
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
在本文中，我们提出了一种用于检测人属性（例如性别，种族，服装......）的深层架构。在监视环境中。我们的建议明确地处理分辨率差和遮挡问题，经常发生在监控镜头通过增强图像的手段，深度卷积生成对抗网络（DCGAN）。实验表明，通过结合我们的生成重建和深度属性分类网络，我们可以有效地提取属性，即使在分辨率差，并在存在强遮挡高达80%的整个人的形象。
2017-07-07 cs.CV
Jointly De-biasing Face Recognition and Demographic Attribute Estimation
Michigan State University（密歇根州立大学）
我们解决了自动人脸识别和人口统计属性估计算法中的偏差问题，其中属于特定人口统计群体的某些队列的错误较低。我们提出了一种新的去偏置对抗网络（DebFace），它学习提取无偏人脸识别和人口统计估计的解纠缠特征表示。该网络由一个身份分类器和三个人口统计分类器（性别，年龄和种族）组成，它们分别经过训练以区分身份和人口统计属性。采用对抗学习的方法，最大限度地减少特征因子之间的相关性，以减少其他因素的偏差影响。我们还设计了一个新的计划，人口统计与身份特征相结合，以加强在不同的人口统计群体的人脸表示的鲁棒性。实验结果表明，我们的方法是能够减少偏见的人脸识别以及人口统计估计，同时实现国家的最先进的性能。
2020-07-31 cs.CV
Rethinking of Pedestrian Attribute Recognition: A Reliable Evaluation under Zero-Shot Pedestrian Identity Setting
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
行人属性识别的目的是为视频监控摄像机拍摄的一幅行人图像分配多个属性。虽然提出了许多方法，并取得了巨大的进展，我们认为，现在是时候退后一步，分析该地区的现状。我们从三个角度回顾和反思最近的进展。首先，由于行人属性识别没有明确和完整的定义，我们正式定义和区分行人属性识别与其他类似的任务。其次，基于所提出的定义，我们暴露了现有数据集的局限性，这些数据集违反了学术规范，与实际行业应用的本质要求不一致。因此，我们提出了两个数据集，PETA \textsubscript{$ZS$}和RAP \textsubscript{$ZS$}，构建以下行人身份的zero-shot设置。此外，我们还介绍了未来行人属性数据集建设的几个现实标准。最后，我们重新实现现有的最先进的方法，并引入一个强大的基线方法，以提供可靠的评估和公平的比较。实验进行了四个现有的数据集和两个建议的数据集来衡量行人属性识别的进展。
2021-11-29 cs.CV
A Data-Centric Approach to Pedestrian Attribute Recognition: Synthetic Augmentation via Prompt-driven Diffusion Models
Autonomous University of Madrid（马德里自主大学）；University of Bordeaux（波尔多大学）；Pázmány Péter Catholic University（帕兹曼·彼得天主教大学）
针对行人属性识别中训练数据部分属性样本不足的问题，提出以数据为中心的提示驱动扩散模型合成增强方法，通过弱属性识别、一致性图像生成与适配训练策略，提升低代表性属性识别效果与整体模型性能，且无需修改模型架构。
2025-09-02 cs.CV
Attribute-Centered Loss for Soft-Biometrics Guided Face Sketch-Photo Recognition
West Virginia University（西弗吉尼亚大学）
面部草图能够捕捉面部的空间拓扑，同时缺少一些面部属性，如种族、皮肤或头发颜色。现有的素描照片识别方法大多忽略了面部属性的重要性。在本文中，我们提出了一个新的损失函数，称为属性中心损失，训练深度耦合卷积神经网络（DCCNN）的面部属性引导草图照片匹配。具体来说，提出了一种以属性为中心的损失，它在共享的嵌入空间中学习几个不同的中心，用于具有不同属性组合的照片和草图。DCCNN同时被训练成围绕其关联中心映射照片和成对的已证实属性以及相应的法医草图，同时保留空间拓扑信息。重要的是，这些中心学会了彼此保持相对距离，这与它们相互矛盾的属性的数量有关。复合（E-PRIP）和半法医（IIIT-D半法医）数据库进行了广泛的实验。所提出的方法显着优于最先进的。
2018-04-09 cs.CV
Adv-Attribute: Inconspicuous and Transferable Adversarial Attack on Face Recognition
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）；Zhejiang University（浙江大学）
深度学习模型在处理对抗攻击时表现出了脆弱性。现有的攻击几乎都是针对像素和超像素等低层实例，很少利用语义线索。对于人脸识别攻击，现有方法通常在像素上产生l_p范数扰动，然而，导致低攻击可移植性和对去噪防御模型的高脆弱性。在这项工作中，而不是执行扰动的低级别的像素，我们建议通过扰动的高级别的语义，以提高攻击的可转移性。具体而言，设计了一个统一的灵活框架，对抗属性（Adv-Attribute），以生成对人脸识别的不显眼和可转移的攻击，该框架根据人脸识别特征与目标的差异指导，制造对抗噪声并将其添加到不同的属性中。此外，引入了重要性感知属性选择和多目标优化策略，进一步保证了隐蔽性和攻击强度的平衡。在FFHQ和CelebA-HQ数据集上进行的大量实验表明，所提出的Adv-Attribute方法实现了最先进的攻击成功率，同时保持了对最近攻击方法的更好的视觉效果。
2022-11-18 cs.CV
Hierarchical Feature Embedding for Attribute Recognition
SenseTime Group Limited（商汤集团有限公司）；Tsinghua University（清华大学）
属性识别是一个关键的，但具有挑战性的任务，由于视点变化，光照变化和外观变化等，以前的工作大多只考虑属性级的特征嵌入，这可能会在复杂的异构条件下表现不佳。为了解决这个问题，我们提出了一个分层特征嵌入（HFE）框架，它通过结合属性和ID信息来学习细粒度的特征嵌入。在HFE中，我们同时保持类间和类内特征嵌入。不仅具有相同属性的样本，而且具有相同ID的样本被更紧密地聚集，这可以限制视觉上硬样本关于属性的特征嵌入，并且提高对变化条件的鲁棒性。我们建立这个层次结构，利用HFE损失组成的属性级和ID级的约束。我们还引入了绝对边界正则化和动态损失权重作为补充组件，以帮助建立特征嵌入。实验结果表明，该方法在两个行人属性数据集和一个人脸属性数据集上取得了较好的效果。
2020-05-23 cs.CV
PASS: Protected Attribute Suppression System for Mitigating Bias in Face Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学学院公园分校）
人脸识别网络在接受身份分类训练的同时，对敏感属性的信息进行编码。这种编码有两个主要问题：（a）它使面部表征容易受到隐私泄露的影响（b）它似乎有助于面部识别的偏见。然而，现有的偏差缓解方法通常需要端到端的训练，并且无法实现高的验证精度。因此，我们提出了一种基于约束的对抗性去偏置方法，称为“保护属性抑制系统（PASS）”。可以在从任何先前训练的高性能网络获得的描述符之上训练PASS，以对身份进行分类，同时减少敏感属性的编码。这消除了端到端培训的需要。作为PASS的一个组成部分，我们提出了一种新的训练策略，阻止网络编码受保护的属性信息。我们展示了PASS在减少来自SOTA人脸识别网络（如Arcface）的描述符中的性别和肤色信息方面的功效。因此，PASS描述符在减少IJB-C数据集上的性别和肤色偏见方面优于现有基线，同时保持高验证准确性。
2021-08-09 cs.CV
ASD: Towards Attribute Spatial Decomposition for Prior-Free Facial Attribute Recognition
University of Shanghai for Science and Technology（上海理工大学）；Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）
人脸属性的空间特征表示是人脸属性识别的一个重要挑战。最新的进展已经取得了可靠的性能，FAR受益于通过额外的先验信息的空间属性的描述。然而，额外的先验信息可能并不总是可用的，导致基于先验的方法的应用场景受到限制。同时，忽略了由于面部各部分固有的空间差异而导致的面部属性的空间模糊性。为了解决这些问题，我们提出了一种无先验的属性空间分解（ASD）方法，在没有任何额外的先验信息的情况下减轻了面部属性的空间模糊性。具体地说，分配嵌入模块（AEM）被提出来实现ASD的过程，该过程包括两个操作：属性到位置分配和位置到属性嵌入。属性到位置分配首先基于潜在因素分解特征图，分配每个空间位置上的属性分量的大小。然后，从所有位置分配属性组件来表示全局级属性嵌入。此外，相关矩阵最小化（CMM）被引入到扩大的属性嵌入的区分度。实验结果表明，与现有方法相比，该方法具有明显的优越性，同时也进一步验证了该方法在训练数据有限的情况下的可靠性能.
2022-10-25 cs.CV
Mask-Guided Multi-Task Network for Face Attribute Recognition
Shanghai University of Engineering Science（上海工程技术大学）
本文提出基于掩码的多任务网络MGMTN，通过自适应掩码学习和组-全局特征融合提升人脸属性识别的准确性和效率。
2026-01-04 cs.CV
Reliable Attribute-Based Object Recognition Using High Predictive Value Classifiers
University of Maryland, College Park（马里兰大学帕克分校）
我们考虑的问题，在3D中使用的合奏基于属性的分类器的对象识别。我们提出了两个新的概念，以提高分类在实际情况下，并显示其实现的方法实现识别点云数据。首先，观看条件可以对分类性能具有强烈的影响。我们研究了相机和物体之间的距离的影响，并提出了一种方法来融合多属性分类器，它将距离的决策。其次，缺乏代表性的训练样本往往使得难以学习最佳阳性和阴性检测率的最佳阈值。我们解决这个问题，通过设置在我们的属性分类器，而不是只有一个阈值，两个阈值来区分一个积极的，一个消极的和一个不确定性类，我们证明了这种方法的理论正确性。实证研究表明，所提出的概念的有效性和可行性。
2016-10-24 cs.CV
Improving Facial Attribute Recognition by Group and Graph Learning
The University of Sydney（悉尼大学）；Sensetime Group Limited（商汤集团有限公司）；Applied Research Center, Tencent PCG（腾讯PCG应用研究中心）
利用属性之间的关系是提高多个面部属性识别的关键挑战。在这项工作中，我们关注两种类型的相关性，即空间和非空间关系。对于空间相关性，我们将具有空间相似性的属性聚集成一个基于部件的组，然后引入组注意学习来生成组注意和基于部件的组特征。另一方面，为了发现非空间关系，我们建立了一个基于组的图相关学习模型，以探索预定义的基于部分的组的亲和力。我们利用这种亲和度信息来控制所有组之间的通信，然后细化学习到的组特征。总的来说，我们提出了一个统一的网络，称为多尺度组和图网络。它结合了这两个新提出的学习策略，并产生粗到细的基于图的组特征，以提高面部属性识别。综合实验表明，我们的方法优于国家的最先进的方法。
2021-05-28 cs.CV
Learning Concise and Descriptive Attributes for Visual Recognition
UC San Diego（加州大学圣地亚哥分校）；UC Santa Barbara（加州大学圣塔芭芭拉分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文针对LLM生成的大量属性中存在噪声、与随机词表现相近的问题，提出一种学习搜索方法，以极少量属性（如CUB上仅32个）实现接近大规模属性的分类性能，并提升可解释性与交互性。
2023-08-07 cs.CV
Deep Sketch-Photo Face Recognition Assisted by Facial Attributes
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个深度耦合的框架，以解决匹配素描图像对画廊的mugshots的问题。人脸草图具有关于人脸的空间拓扑和几何细节的基本信息，但缺少一些重要的面部属性，如种族、头发、眼睛和肤色。我们提出了一个耦合的深度神经网络架构，利用面部属性，以提高素描照片识别性能。所提出的属性辅助深度卷积神经网络（AADCNN）方法利用面部属性并利用来自面部属性识别和面部验证任务的损失函数，以便在公共嵌入子空间中学习丰富的鉴别特征。面部属性识别任务通过将从具有不同面部属性的个体提取的嵌入特征分开来增加人与人之间的差异，而验证任务通过将与一个人相关的所有特征拉在一起来减少人与人之间的差异。学习的区分特征可以很好地推广到在训练数据中看不到的新身份。与传统的草图-照片识别方法相比，该体系结构能够充分利用草图和补充的人脸属性信息来训练深度模型。在复合（E-PRIP）和半法医（IIIT-D半法医）数据集上进行了广泛的实验。实验结果表明，与现有的草图照片识别算法相比，该方法具有一定的优越性
2018-07-31 cs.CV
A Face Recognition Signature Combining Patch-based Features with Soft Facial Attributes
Computational Biomedicine Lab（计算生物医学实验室）
本文重点研究了一种结合隐式面部特征和显式面部软属性的新签名，以提高人脸识别性能。该签名有两个组成部分：现有的基于补丁的功能和软面部属性。使用从最先进的网络改编的深度卷积神经网络来学习软面部属性。然后，引入了一个签名匹配器，它合并了基于块的特征和面部属性的贡献。在这个匹配器中，从基于块的特征和面部属性计算的匹配分数相结合，以获得最终的匹配分数。匹配器也进行了扩展，以便为不同的面部属性分配不同的权重。建议的签名和匹配器已与UR 2D系统上的UHDB 31和IJB-A数据集进行了评估。实验结果表明，所提出的签名实现了更好的性能比只使用基于补丁的功能。与UR 2D系统相比，两个数据集上的Rank-1准确率分别提高了4%和0.37%。
2018-03-25 cs.CV
DETR-based Layered Clothing Segmentation and Fine-Grained Attribute Recognition
The Hong Kong Polytechnic University（香港理工大学）
本文提出基于DETR的多层注意力模块，聚合多尺度特征以提升分层服装分割与细粒度属性识别精度，并在Fashionpedia数据集上超越现有SOTA模型。
2023-04-17 cs.CV
Mitigating the Impact of Attribute Editing on Face Recognition
New York University（纽约大学）
本研究发现现代生成式AI的人脸属性编辑会损害人脸识别性能，提出局部与全局属性编辑新技术，在多数据集上验证其优于现有方法且显著提升身份保留效果。
2024-04-09 cs.CV
Attribute-Centric Vision-Language Alignment for Fine-Grained Gait Understanding
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；The Hong Kong University of Science and Technology（香港科技大学）；Zhejiang University（浙江大学）；School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院）；Southern University of Science and Technology（南方科技大学）；Watrix Technology Limited Co. Ltd.（华瑞芯科技有限公司）
针对现有步态属性识别基准注释有限、方法未直接匹配视觉与文本类表示的问题，提出大规模多模态基准RA-GAR和以属性为中心的视觉-语言对齐框架Gait-VL，在RA-GAR上实现最优属性识别性能，且可迁移至下游身份识别任务。
2026-10-14 cs.CV
How to Transfer? Zero-Shot Object Recognition via Hierarchical Transfer of Semantic Attributes
Institute for Anthropomatics and Robotics（拟人学与机器人学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
基于属性的知识转移在视觉对象分析和学习以前看不见的类中已经被证明是非常成功的。然而，常见的方法学习和传输属性，而不考虑源集中类别之间的嵌入结构。这些信息提供了重要的线索属性内的变化。我们建议捕捉这些变化的分层模型，扩展了知识源与属性的额外抽象级别。我们还提供了一种新的传输方法，可以选择适当的属性与一个看不见的类共享。我们在三个公共数据集上评估了我们的方法：aPascal，具有属性的动物和CUB-200-2011鸟类。实验结果表明，我们的模型的有效性与国家的最先进的显着改善。
2016-04-01 cs.CV
Recognizing Part Attributes with Insufficient Data
识别物体及其部件的属性对于许多计算机视觉应用是重要的。虽然在应用对象级识别方面已经取得了很大的进展，但由于用于零件属性识别的训练数据通常是稀缺的，特别是对于互联网规模的应用，识别零件的属性仍然不太适用。此外，大多数现有的零件属性识别方法依赖于零件注释，这是更昂贵的获得。为了解决零件属性识别中数据不足的问题，摆脱对零件标注的依赖，提出了一种新的概念共享网络（CSN）来进行零件属性识别。CSN的一个很大的优点是它能够识别具有不足或零训练数据的零件属性（零件位置和外观图案的组合），通过分别从通常将它们混合在单个标签中的训练数据学习零件位置和外观图案。在CUB-200-2011 [51]，CelebA [35]和新提出的人类属性数据集上的大量实验证明了CSN的有效性及其优于其他方法的优势，特别是对于训练样本较少的属性。进一步的实验表明，CSN也可以进行zero-shot零件属性识别。该代码将在https://github.com/Zhaoxiangyun/Concept-Sharing-Network上提供。
2019-08-13 cs.CV
Unsupervised Domain Attention Adaptation Network for Caricature Attribute Recognition
Nanjing University（南京大学）
漫画属性提供了独特的面部特征，以帮助心理学和神经科学的研究。然而，与具有大量注释图像的面部照片属性数据集不同，漫画属性的注释很少。为了方便漫画属性学习的研究，我们提出了一个漫画属性数据集，即WebCariA。此外，为了利用由人脸属性训练的模型，我们提出了一种新的无监督领域自适应框架，用于跨模态（即，照片到漫画）属性识别，具有集成的域间和域内一致性学习方案。具体地，域间一致性学习方案包括图像到图像翻译器，其通过生成中间图像样本来首先填充照片和漫画之间的域间隙，以及标签一致性学习模块，其对齐它们的语义信息。域内一致性学习方案将共同特征一致性学习模块与新颖的属性感知注意力一致性学习模块相结合，以实现更有效的对齐。我们做了广泛的消融研究，以显示所提出的方法的有效性。该方法也优于国家的最先进的方法的利润。所提出的方法的实现可在https://github.com/KeleiHe/DAAN上获得。
2020-07-18 cs.CV
Real Classification by Description: Extending CLIP's Limits of Part Attributes Recognition
GE HealthCare Technology and Innovation Center（GE医疗技术与创新中心）；GE Aerospace Research（GE航空航天研究中心）
本研究提出零样本“真实”的基于描述的分类任务，通过ImageNet21k针对性训练与多分辨率改进CLIP架构，增强了模型细粒度部件属性识别能力，在六个流行基准及PACO数据集上取得显著性能提升。
2024-12-18 cs.CV
Face Attributes as Cues for Deep Face Recognition Understanding
Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）
深度学习表示是人脸识别方法的最新描述符。这些表征编码了难以解释的潜在特征，损害了其预测的可信度和可解释性。大多数解释深层特征的尝试都是可视化技术，这些技术通常是开放的。而不是仅仅依赖于可视化，我们使用隐藏层的输出来预测人脸属性。所获得的性能是在网络的该层中隐式地学习属性的程度的指标。使用变量选择技术，我们还分析了这些语义概念如何分布在每个层中，为每个属性建立相关神经元的精确位置。根据我们的实验，即使只使用单个神经输出来预测每个属性，性别，眼镜和帽子的使用也可以以超过96%的准确率进行预测。这些性能比深度监督人脸属性网络所实现的性能低不到3个百分点。总之，我们的实验表明，在为人脸识别优化的DCNN内部，存在着对人脸属性进行编码的潜在神经元，其准确性几乎与为这些属性优化的DCNN一样。
2021-05-14 cs.CV
Distraction-Aware Feature Learning for Human Attribute Recognition via Coarse-to-Fine Attention Mechanism
Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算高精尖创新中心）；Beihang University（北京航空航天大学）
近年来，人类属性识别（HAR）由于其科学挑战性和应用潜力而成为一个热门话题，其中定位属性是一个关键阶段，但没有很好地处理。在本文中，我们提出了一种新的HAR深度学习方法，即分心感知HAR（Da-HAR）。它通过由粗到细的注意力机制改进属性定位，增强了深度CNN特征学习。在粗处理阶段，建立一个自屏蔽块来粗略区分和减少干扰，而在细处理阶段，应用一个屏蔽注意分支来进一步消除不相关区域。由于这种机制，特征学习更加准确，特别是当存在严重遮挡和复杂背景时。在WIDER-Attribute和RAP数据库上进行了大量的实验，取得了较好的结果，证明了该方法的有效性。
2019-11-26 cs.CV
Sparse Dictionary-based Attributes for Action Recognition and Summarization
Center for Automation Research（自动化研究中心）；UMIACS（马里兰大学高级计算机研究所）；University of Maryland（马里兰大学）
提出了一种基于信息最大化的动作属性字典学习方法。我们将类分布和外观信息统一到一个目标函数中，用于学习动作属性的稀疏字典。目标函数最大化在每个字典原子的外观信息和类分布方面已经学习的内容和仍然要学习的内容之间的互信息。我们提出了一个高斯过程（GP）模型的稀疏表示优化字典的目标函数。稀疏编码属性允许GP中具有紧凑支持的内核实现非常有效的字典学习过程。因此，我们可以描述一个动作视频由一组紧凑和歧视性的动作属性。更重要的是，我们可以在稀疏特征空间中识别建模的动作类别，这可以推广到看不见的和未建模的动作类别。实验结果表明，我们的方法在动作识别和摘要的有效性。
2013-08-01 cs.CV
MOON: A Mixed Objective Optimization Network for the Recognition of Facial Attributes
University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
属性识别，特别是面部识别，为每个图像提取许多标签。虽然一些多任务视觉问题可以分解为单独的任务和阶段，例如，对于越来越多的问题，为每个任务训练独立的模型，所有任务的联合优化已被证明可以提高性能。我们表明，对于深度卷积神经网络（DCNN）面部属性提取，多任务优化更好。不幸的是，当训练数据不平衡时，难以将联合优化应用于DCNN，并且直接重新平衡多标签数据在结构上是不可行的，因为添加/移除数据以平衡一个标签将改变其他标签的采样。针对多标签不平衡问题，提出了一种新的混合目标优化网络（MOON），其损失函数将多个任务目标与传播损失的域自适应重新加权相结合。实验表明，MOON不仅推进了面部属性识别的最新技术，而且使用相同的数据，它的性能也优于独立训练的DCNN。当使用面部属性的LFW人脸识别任务，我们表明，我们的平衡（域适应）网络优于不平衡的训练网络。
2016-10-21 cs.CV
TexTAR : Textual Attribute Recognition in Multi-domain and Multi-lingual Document Images
Centre for Visual Information Technology（视觉信息中心）；International Institute of Information Technology（国际信息科技研究院）
针对多语言噪声环境下的文本属性识别难题，提出多任务上下文感知Transformer模型TexTAR，结合2D RoPE机制与MMTAD数据集，实现了优于现有方法的SOTA性能。
2025-09-16 cs.CV
Spatial and Semantic Consistency Regularizations for Pedestrian Attribute Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来行人属性识别的研究在利用复杂网络和注意力机制方面取得了显著进展，但大多数研究都忽略了图像间的关系和一个重要的先验：监控场景下属性的空间一致性和语义一致性。同一个属性在不同的行人图像中的空间位置应该是一致的，\eg、"帽子”属性和"靴子”属性总是分别位于图片的顶部和底部。此外，无论是棒球帽、贝雷帽还是头盔，"hat”属性的固有语义特征都应该是一致的。为了在模型学习过程中充分利用图像间关系并聚合人类先验知识，我们构建了一个空间和语义一致性（SSC）框架，该框架由两个互补的正则化组成，以实现每个属性的空间和语义一致性。具体来说，我们首先提出了一个空间一致性正则化，专注于可靠和稳定的属性相关区域。基于精确的属性位置，我们进一步提出了一个语义一致性正则化提取内在和歧视性的语义特征。我们对流行的基准测试进行了广泛的实验，包括PA100K，RAP和PETA。实验结果表明，该方法在不增加参数的情况下，与现有方法相比，具有较好的性能。
2021-09-13 cs.CV
