TFS Recognition: Investigating MPH]{Thai Finger Spelling Recognition: Investigating MediaPipe Hands Potentials
Khon Kaen University(孔敬大学)
泰语手指拼写(TFS)符号识别可以使听力困难的人与主要听力人群建立联系。由于字母表的数量相对较大,TFS采用了多种签名方案。两个更常见的签名方案-静态和动态单手签名,广泛用于其他手语-已经在以前的几个作品中得到了解决。为了完成TFS签名识别,需要充分解决其余两个非常不同的签名方案-静态和动态手头点签名。随着许多现成的手部骨骼预测模型的出现,以及训练模型从头开始识别手语是昂贵的,我们探索了一种基于最近推出的MediaPipe Hands(MPH)的方法。MPH是一种高精度的手部关键点检测模型。我们研究了三种TFS方案:静态单手(S1),简化的动态单手(S2)和静态手头点(P1)计划的MPH。我们的研究结果表明,MPH可以令人满意地解决单手计划的准确率为84.57%的S1和S2。然而,我们的发现揭示了MPH在解决手头上的计划,其准确率为23.66%,赋予从从头开始训练的传统分类69.19%。这个缺点已被调查,并归因于自我闭塞和偏手性。
2022-01-10 cs.CV cs.HC
Pedestrian Attribute Recognition: A Survey
Anhui University(安徽大学);Peng Cheng Laboratory(鹏城实验室);University of Sydney(悉尼大学)
本文是行人属性识别(PAR)领域的综述,梳理了传统与深度学习相关方法,介绍了基准、学习范式、主流方案与应用,并指出未来研究方向,同时维护相关前沿工作的GitHub列表。
2023-08-26 cs.AI cs.CV cs.LG
Deep Template Matching for Pedestrian Attribute Recognition with the Auxiliary Supervision of Attribute-wise Keypoints
SensingTech Ltd.(森赛科技有限公司);Tsinghua University(清华大学)
行人属性识别在视频监控中的重要作用引起了广泛的关注。在大多数情况下,特定属性的存在与局部区域密切相关。最近的作品设计了复杂的模块,例如,注意力机制和身体部位定位属性对应区域的建议。这些工作进一步证明了属性特定区域的精确定位将有助于提高性能。然而,这些基于部分信息的方法仍然是不准确的,以及增加模型的复杂性,这使得它很难部署在现实的应用程序。在本文中,我们提出了一种基于深度模板匹配的方法,以更少的计算来捕获身体部位的特征。此外,我们还提出了一种辅助监督方法,使用人体姿势关键点来引导学习到有区别的局部线索。大量的实验表明,该方法在PETA、PA-100 K、RAP和RAPv 2 zs等大规模行人属性数据集上具有较低的计算复杂性和较好的性能.
2020-11-13 cs.AI cs.CV cs.LG
Exp-Graph: How Connections Learn Facial Attributes in Graph-based Expression Recognition
Vision Intelligence and Machine Learning (VIML) Group(视觉智能与机器学习组);School of Computing and Electrical Engineering(计算与电气工程学院);Indian Institute of Technology Mandi(印度理工学院曼迪分校)
本文提出 Exp-Graph 框架,以面部关键点为顶点、结合视觉 Transformer 与图卷积网络建模面部属性结构关系,在三个基准数据集上取得较强表情识别性能。
2025-07-19 cs.AI cs.CV cs.LG
Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
人脸微表情识别是近年来研究的热点。微表情具有持续时间短、强度低的特点,现有的微表情数量有限,很难训练出高性能的分类器。因此,识别微表情是一项具有挑战性的任务。提出了一种基于属性信息嵌入和跨模态对比学习的微表情识别方法。在人脸动作编码系统中,采用三维CNN提取微表情序列的RGB特征和FLOW特征并进行融合,采用BERT网络提取文本信息。通过跨模态对比损失,将属性信息嵌入到视觉网络中,从而提高了在样本有限情况下微表情识别的表征能力。在CASME II和MMEW数据库上进行了大量的实验,准确率分别为77.82%和71.04%。对比实验表明,该方法在微表情识别中具有较好的识别效果。
2022-05-29 cs.AI cs.CV cs.LG
Towards In-Vehicle Multi-Task Facial Attribute Recognition: Investigating Synthetic Data and Vision Foundation Models
Research and Advanced Engineering(研究与高级工程部门);Ford(福特公司)
针对车载人脸属性识别缺乏大规模真实数据集的问题,探究合成数据结合ViT、ResNet等视觉基础模型的多任务训练效果,发现ResNet表现更优,为相关实际应用提供参考。
2024-03-10 cs.AI cs.CV cs.LG
Scene Recognition with Objectness, Attribute and Category Learning
North University of China(中北大学);Southwest Petroleum University(西南石油大学);Shanxi Research Center of Software Engineering Technology(山西省软件工程技术研究中心)
场景分类是一个具有挑战性的研究课题。与单个对象的图像相比,场景图像在语义上可能更加复杂和抽象。它们的区别主要在于识别粒度的高低。然而,图像识别作为场景识别的良好性能的关键支柱,因为从对象图像中获得的知识可以用于场景的准确识别。现有的场景识别方法只考虑了场景的类别标签。然而,我们发现,包含详细的本地描述的上下文信息也有利于使场景识别模型更具鉴别力。在本文中,我们的目标是提高场景识别使用属性和类别标签信息编码的对象。基于属性和类别标签的互补性,我们提出了一个多任务属性-场景识别(MASR)网络,学习类别嵌入,同时预测场景属性。属性获取和对象标注是繁琐且耗时的任务。我们通过提出一种部分监督的注释策略来解决这个问题,在该策略中,人类干预显着减少。该策略为现实世界的场景提供了更具成本效益的解决方案,并且需要相当少的注释工作。此外,我们考虑到对象检测分数指示的重要性水平,重新加权属性预测。使用所提出的方法,我们有效地注释四个大规模的数据集的属性标签,并系统地研究如何场景和属性识别受益于彼此。实验结果表明,与现有方法相比,MASR学习到了更具区分性的表示,并取得了有竞争力的识别性能
2022-07-20 cs.AI cs.CV
Attribute Recognition from Adaptive Parts
Simon Fraser University(西蒙弗雷泽大学);Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Tongji University(同济大学)
以前的基于零件的属性识别方法在单独的步骤中执行零件检测和属性识别。这些部件未针对属性识别进行优化,因此可能是次优的。我们提出了一种端到端的深度学习方法来克服这一限制。它从关键点生成对象部分,并相应地执行属性识别,允许自适应空间变换的部分。关键点估计和属性识别都是在多任务环境中共同学习的。在两个数据集上进行的大量实验验证了所提出的端到端方法的有效性。
2016-07-18 cs.CV
Attribute Aware Pooling for Pedestrian Attribute Recognition
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Sydney(悉尼大学)
本文通过设计一种新的属性感知池化算法,将深度卷积神经网络(CNN)的优势扩展到行人属性识别问题。现有的普通CNN不能直接应用于处理多属性数据,因为较大的标签空间以及属性的纠缠和相关性。我们通过充分利用不同属性之间的相关性来解决这些阻碍CNN多属性分类发展的挑战。采用多分支结构对不同区域的属性进行融合。除了基于每个分支本身的预测之外,每个分支的上下文信息也用于决策。属性感知池的开发,以集成这两种信息。因此,模糊的或与其他属性纠缠在一起的属性可以通过利用上下文信息来准确地识别。基准数据集上的实验表明,所提出的池化方法适当地探索和利用行人属性识别的属性之间的相关性。
2019-07-27 cs.CV cs.LG eess.IV
ViTA-PAR: Visual and Textual Attribute Alignment with Attribute Prompting for Pedestrian Attribute Recognition
Department of Computer Science and Engineering, Korea University, Seoul 02841, Korea(计算机科学与工程系,韩国大学,首尔02841,韩国)
针对行人属性识别中属性位置多变的问题,提出ViTA-PAR,通过视觉属性提示和可学习文本提示对齐视觉与文本特征,在四个基准上取得竞争性能。
2025-06-02 cs.AI cs.CV
Zero-Shot Activity Recognition with Verb Attribute Induction
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
在本文中,我们研究了大规模的zero-shot活动识别建模的视觉和语言属性的动作动词。例如,动词“敬礼”有几个属性,如作为一个轻的运动,一个社会行为,并在持续时间短。我们使用这些属性作为视觉和文本表示之间的内部映射,以推理以前看不见的动作。与许多先前的工作,假设访问黄金标准属性的zero-shot类,并主要集中在对象属性,我们的模型唯一学习推断动作属性的字典定义和分布式单词表示。实验结果证实,从语言推断的动作属性可以提供一个预测信号,以前看不见的活动的zero-shot预测。
2017-09-02 cs.CL cs.CV
The Deeper, the Better: Analysis of Person Attributes Recognition
Naval Research Laboratory(海军研究实验室);Naval Center for Applied Research in Artificial Intelligence(海军人工智能应用研究中心);NRC Postdoctoral Fellow(NRC博士后研究员)
在人的属性识别中,我们根据他们的外表来描述一个人。通常,这包括广泛的特征,包括年龄,性别,服装和鞋类。虽然这可以用于各种各样的场景,但它通常适用于视频监控,其中属性识别受到低分辨率以及其他问题(如可变姿态,遮挡和阴影)的影响。最近的方法已经使用深度卷积神经网络(CNN)来提高人属性识别的准确性。然而,这些网络中的许多网络相对较浅,目前还不清楚它们在多大程度上使用上下文线索来提高分类准确性。在本文中,我们提出了更深层次的方法来识别人的属性。解释分类背后的原因非常重要,因为它可以提供分类器如何做出决策的见解。解释表明,更深的网络通常会考虑更多的上下文信息,这有助于提高分类的准确性和可推广性。我们提出了使用PA-100 K和PETA数据集的全身属性和使用CelebA数据集的面部属性的实验分析和结果。
2019-01-11 cs.AI cs.CV cs.IR
A Richly Annotated Dataset for Pedestrian Attribute Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Temple University(天普大学)
在本文中,我们的目标是提高数据集基础的行人属性识别在真实的监控场景。对性别、服装类型等人体属性的识别具有很好的实际应用前景。然而,开发合适的基准数据集的属性识别仍然滞后。现有的人类属性数据集是从各种来源收集的,或者是行人重新识别数据集的集成。这种异构的属性集合对开发高质量的细粒度属性识别算法提出了很大的挑战。此外,人类属性识别通常受到环境或上下文因素的严重影响,例如视点,遮挡和身体部位,而现有的属性数据集几乎不关心它们。为了解决这些问题,我们从长期收集的真实多摄像头监控场景中构建了一个丰富注释的行人(RAP)数据集,其中数据样本不仅使用细粒度的人类属性进行注释,还使用环境和上下文因素进行注释。RAP共有41,585个行人样本,每个样本都标注了72个属性以及视点,遮挡,身体部位信息。据我们所知,RAP数据集是最大的行人属性数据集,这有望大大促进大规模属性识别系统的研究。此外,我们实证分析了不同的环境和上下文因素对行人属性识别的影响。实验结果表明,视点、遮挡和身体部位信息在实际应用中可以很好地辅助属性识别。
2016-04-27 cs.CV
Integrating Local Material Recognition with Large-Scale Perceptual Attribute Discovery
Drexel University(德雷塞尔大学)
材料属性已经被证明提供了用于识别材料的有区别的中间表示,特别是对于从局部材料外观(即,而不管对象和场景上下文)。然而,在过去,材料属性已经在类别识别之前被单独识别。相反,神经科学对物质感知的研究和计算机视觉对物体和地点识别的研究表明,属性是在类别识别过程中产生的副产品。材料属性和类别识别是否也是如此?在本文中,我们介绍了一种新的材料类别识别网络架构,表明感知属性,事实上,可以自动发现内的本地材料识别框架。新型材料属性类别卷积神经网络(MAC-CNN)使用编码人类材料感知的辅助损失函数从端到端训练类别识别网络的中间池化层产生感知材料属性。为了训练这个模型,我们引入了一个新的大型数据库的本地材料外观组织下的一个规范的材料类别分类和仔细的图像补丁提取,避免不必要的对象和场景的上下文。我们发现的属性对应以及语义有意义的视觉材料特征,通过布尔代数,并使识别以前看不见的材料类别,只有几个例子。这些结果对在其他识别任务中如何学习感知有意义的属性具有重要意义。
2017-04-12 cs.CV
Adversarial Semantic and Label Perturbation Attack for Pedestrian Attribute Recognition
School of Artificial Intelligence, Anhui University(安徽大学人工智能学院);School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);National University of Defense Technology(国防科学技术大学);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
本文提出了首个针对行人属性识别的对抗攻击与防御框架ASL-PAR,通过全局和局部块级别的对抗语义与标签扰动生成对抗噪声,并设计语义偏移防御策略,在多个数字和物理域数据集上验证了有效性。
2025-05-29 cs.AI cs.CV cs.LG
Vehicle Attribute Recognition by Appearance: Computer Vision Methods for Vehicle Type, Make and Model Classification
Tampere University(坦佩雷大学)
本文研究了基于外观的车辆属性识别。在文献中,基于图像的目标识别已经在许多用例中得到了广泛的研究,例如面部识别,但在车辆属性识别领域却很少。我们调查了一些算法,确定车辆属性,从粗粒度的水平(车辆类型)到细粒度的水平(车辆制造和模型)。此外,我们讨论了这些任务的两种替代方法,包括直接分类和更灵活的度量学习方法。此外,我们设计了一个模拟现实世界的情况下,车辆属性识别,并提出了两种方法的实验比较。
2020-06-29 cs.CV
Pedestrian Attribute Recognition via Hierarchical Cross-Modality HyperGraph Learning
School of Computer Science and Technology, Anhui University(计算机科学与技术学院,安徽大学)
本文针对行人属性识别中属性知识与上下文信息利用不足的问题,提出构建多模态知识图谱,并引入知识图谱引导的跨模态超图学习框架,在多个PAR基准数据集上验证了其有效性。
2025-09-26 cs.AI cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame(圣母大学)
我们引入了一种深度卷积神经网络(CNN)架构,通过共享学习范式同时对面部属性进行分类和识别面部图像,以提高面部属性预测和面部识别性能的准确性。在该方法中,我们使用人脸属性作为辅助信息源,以辅助从人脸图像中提取的CNN特征,以提高人脸识别性能。具体来说,我们使用一个共享的CNN架构,通过一个共享的学习参数,同时联合预测人脸属性和识别人脸图像,然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征,以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明,该模型提高了人脸识别和人脸属性预测的性能,特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估,结果表明,所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Shaping Visual Representations with Attributes for Few-Shot Recognition
Nanjing University(南京大学)
Few-Shot识别的目标是在低数据条件下识别新类别。一些最近的Few-Shot识别方法引入了辅助语义模态,即,类别属性信息引入到表示学习中,增强了特征区分度,提高了识别性能。现有的这些方法大多只考虑支持集的属性信息而忽略查询集,导致潜在的性能损失。在这封信中,我们提出了一种新的属性形状学习(ASL)框架,它可以联合执行查询属性生成和判别视觉表示学习的Few-Shot识别。具体来说,视觉属性预测器(VAP)的构造预测查询的属性。通过利用属性信息,设计了一个属性视觉注意模块(AVAM),它可以自适应地利用属性和视觉表示来学习更多的区分特征。在属性模态的指导下,我们的方法可以学习增强的语义感知表示分类。实验表明,我们的方法可以取得竞争力的结果在CUB和SUN基准。我们的源代码可在以下网址获得:\url{https://github.com/chenhaoxing/ASL}。
2022-06-05 cs.CV
Can GAN-induced Attribute Manipulations Impact Face Recognition?
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);Michigan State University(密歇根州立大学)
由于年龄、性别、种族等人口因素造成的影响,已经在自动面部识别系统中被广泛研究。然而,\textit{digitally modified}的人口统计和面部属性对人脸识别的影响是相对不足的探索。在这项工作中,我们研究了通过生成对抗网络(GANs)诱导的属性操作对人脸识别性能的影响。我们在CelebA数据集上进行实验,使用AttGAN和STGAN故意修改13个属性,并评估它们对两种基于深度学习的人脸验证方法ArcFace和VGGFace的影响。我们的研究结果表明,一些属性操作,包括眼镜和数字改变的性别线索可以显着损害人脸识别高达73%,需要进一步分析。
2022-09-07 cs.CV
Improving the Annotation of DeepFashion Images for Fine-grained Attribute Recognition
Cortexica Vision Systems(Cortexica视觉系统公司)
DeepFashion是一个广泛使用的服装数据集,包含50个类别和超过20万张图像,其中每张图像都使用细粒度属性进行注释。该数据集通常用于服装识别,虽然它提供了全面的注释,但属性分布不平衡且重复,特别是对于训练细粒度属性识别模型。在这项工作中,我们通过分别关注每个类别,为细粒度属性识别任务量身定制了DeepFashion。在选择具有足够数量的图像进行训练的类别之后,我们删除非常稀缺的属性并合并每个类别中的重复属性,然后根据新的属性列表清理数据集。我们使用一个双线性卷积神经网络与成对排序损失函数的多标签细粒度属性识别,并表明新的注释改善了这样一个任务的结果。每个选定类别的详细注释供公众使用。
2018-07-31 cs.CV
Learning Attribute Representation for Human Activity Recognition
TU Dortmund University(多特蒙德工业大学);Department of Computer Science(计算机科学系)
属性表示在图像识别和单词识别中变得相关,在存在不平衡和不相交数据集的情况下提供支持。然而,对于使用来自身体传感器的序列数据的人类活动识别,缺乏人类标记的属性。本文介绍了一种搜索属性,代表有利的信号段识别人类活动。它提出了三种深度架构,包括时间卷积和以IMU为中心的设计,用于预测属性。随机和学习的属性表示,以及网络的经验评估是在两个数据集上进行的,优于最先进的。
2018-02-02 cs.CV
Combo-Gait: Unified Transformer Framework for Multi-Modal Gait Recognition and Attribute Analysis
Johns Hopkins University(约翰霍普金斯大学);University of Maryland(马里兰大学)
本文提出结合2D时间轮廓与3D SMPL特征的多模态框架,实现步态识别与年龄、BMI、性别等属性估计,通过统一Transformer融合多模态特征,提升鲁棒性和准确性。
2026-04-22 cs.AI cs.CV cs.LG
RGB-Event based Pedestrian Attribute Recognition: A Benchmark Dataset and An Asymmetric RWKV Fusion Framework
School of Computer Science and Technology, Anhui University(计算机科学与技术学院,安徽大学);School of Artificial Intelligence, Anhui University(人工智能学院,安徽大学)
本文提出RGB-事件多模态行人属性识别任务,构建含100K配对样本的EventPAR数据集,并设计基于RWKV的非对称融合框架,在多个数据集上取得最先进性能。
2025-08-06 cs.AI cs.CV
A Temporal Attentive Approach for Video-Based Pedestrian Attribute Recognition
Beihang University(北京航空航天大学)
在本文中,我们首先解决的问题,行人属性识别基于视频的方法。其挑战主要在于空间和时间建模以及如何将它们集成以实现有效和动态的行人表示。针对这一问题,提出了一种基于传统神经网络和时间注意策略的多任务模型。由于公开的数据集是罕见的,两个新的大规模的视频数据集与扩展的属性定义,基于视频的行人属性识别方法和所提出的新的网络结构的有效性得到了很好的证明。这两个数据集发布在http://irip.buaa.edu.cn/mars_duke_attributes/index.html上。
2019-10-28 cs.CV
TaCo: Textual Attribute Recognition via Contrastive Learning
Tencent YouTu Lab(腾讯优图实验室)
字体等文本属性是文档格式和页面风格的核心设计元素,属性自动识别具有广泛的实际应用价值。现有的方法在区分不同属性方面已经取得了令人满意的性能,但在区分只有细微差异的相似属性方面仍然存在缺陷。此外,它们的性能严重下降,在现实世界的情况下,出现意想不到的和明显的成像失真。在本文中,我们的目标是解决这些问题,提出TaCo,文本属性识别的对比框架,针对最常见的文档场景。具体来说,TaCo利用对比学习来消除模糊和开放式属性所产生的歧义陷阱。为了实现这一目标,我们从三个方面设计了学习范式:1)生成属性视图,2)提取微妙但关键的细节,3)利用有价值的视图对进行学习,以充分释放预训练潜力。大量的实验表明,TaCo超越了监督同行,并在多属性识别任务的最先进的显着进步。将提供TaCo的在线服务。
2022-08-22 cs.CV
UPAR: Unified Pedestrian Attribute Recognition and Person Retrieval
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫IOSB研究所);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心)
识别软生物特征行人属性在视频监控和时尚检索中至关重要。最近的工作在单个数据集上显示出有希望的结果。然而,这些方法在不同属性分布、视点、不同光照和低分辨率下的泛化能力仍然很少被理解,这是由于当前数据集中的强偏差和不同属性。为了缩小这一差距,并支持系统的调查,我们提出UPAR,统一的人属性识别数据集。它基于四个著名的个人属性识别数据集:PA 100 K,PETA,RAPv 2和Market 1501。我们通过提供330万个额外的注释来统一这些数据集,以协调数据集中12个属性类别中的40个重要的二进制属性。因此,我们使研究可推广的行人属性识别以及基于属性的人检索的第一次。由于图像分布、行人姿态、尺度和遮挡的巨大差异,现有方法在准确性和效率方面都受到很大挑战。此外,我们开发了一个强大的基线PAR和基于属性的人检索的正则化方法的深入分析的基础上。我们的模型在PA 100 k、PETA、RAPv 2、Market 1501-Attributes和UPAR的跨域和专业化设置中实现了最先进的性能。我们相信UPAR和我们强大的基线将为人工智能社区做出贡献,并促进对大规模、可推广的属性识别系统的研究。
2022-09-06 cs.CV
Attributes as Semantic Units between Natural Language and Visual Recognition
ICSI(国际计算机科学研究所)
在计算机视觉和自然语言处理领域取得了令人印象深刻的进展。然而,为这些非常不同的模式找到最佳互动点仍然是一个挑战。在本章中,我们将讨论属性如何使我们能够在两种模态之间交换信息,并以这种方式导致语义层面上的交互。具体来说,我们讨论了属性如何允许使用从语言资源中挖掘的知识来识别新的视觉类别,我们如何生成关于图像和视频的句子描述,我们如何在视觉内容中建立自然语言,最后,我们如何回答关于图像的自然语言问题。
2016-04-12 cs.CL cs.CV
Fairly Private: Investigating The Fairness of Visual Privacy Preservation Algorithms
Vienna University of Technology(维也纳技术大学);University of Alicante(阿利坎特大学)
随着摄像头监控和面部识别带来的隐私风险越来越大,对隐私保护算法的研究也越来越多。其中,视觉隐私保护算法试图通过模糊隐私敏感区域来将身体隐私赋予视觉对象。虽然不同表型的面部识别系统的不同性能是许多研究的主题,但其对应的隐私保护通常不会从公平的角度进行分析。本文通过人脸识别模型在模糊图像上的表现,研究了常用的视觉隐私保护算法的公平性。PubFig数据集上的实验清楚地表明,所提供的隐私保护在不同群体之间是不平等的。
2023-01-12 cs.CR cs.CV cs.LG
A Solution to Co-occurrence Bias: Attributes Disentanglement via Mutual Information Minimization for Pedestrian Attribute Recognition
Beihang University(北京航空航天大学)
针对行人属性识别中的属性共现偏差问题,提出属性解耦特征学习方法,通过互信息最小化确保属性识别独立性,在真实数据集上取得最优性能。
2023-07-28 cs.CV
Sequence-based Person Attribute Recognition with Joint CTC-Attention Model
Tencent Youtu Lab(腾讯优图实验室);Hefei University of Technology(合肥工业大学)
属性识别在计算机视觉中有着广泛的应用,如身份识别等。像许多物体识别问题一样,视点、照明和远距离识别的变化都使这项任务具有挑战性。在这项工作中,我们提出了一个联合CTC注意力模型(JCM),它映射到序列的属性标签学习属性之间的语义关系。此外,该网络采用神经网络对图像进行序列编码,并采用关联时间分类(CTC)损失对网络进行训练,以提高网络的编码性能。同时,采用注意力模型对序列进行解码,可以实现序列的对齐,更好地从属性中学习语义信息。在三个公共数据集上进行了广泛的实验,即,Market-1501属性数据集、Duke属性数据集和PETA数据集的实验结果表明了该方法的有效性。
2018-11-27 cs.CV
CAR -- Cityscapes Attributes Recognition A Multi-category Attributes Dataset for Autonomous Vehicles
Pennsylvania State University(宾夕法尼亚州立大学);Scale AI
自动驾驶汽车是交通的未来。随着这一领域目前的进步,世界越来越接近安全道路,几乎零事故概率和消除人为错误。然而,仍然有大量的研究和开发需要达到鲁棒性的水平。一个重要的方面是充分理解一个场景,包括所有细节。因为场景中对象的某些特征(属性)(例如驾驶员的行为)对于正确的决策是必不可少的。然而,目前的算法遭受低质量的数据集,这样丰富的属性。因此,本文提出了一种新的属性识别数据集--城市景观属性识别(CAR)。新的数据集扩展了著名的数据集Cityscapes,在每个图像中添加了一个额外但重要的对象属性注释层。目前,我们已经注释了超过32 k个不同类别的实例(车辆,行人等)。该数据集具有结构化和定制的分类法,其中每个类别都有自己的一组可能属性。量身定制的分类法侧重于对开发更好的自动驾驶算法最有利的属性,这些算法依赖于准确的计算机视觉和场景理解。我们还为数据集创建了一个API,以简化CAR的使用。该API可以通过https://github.com/kareem-metwaly/CAR-API访问。
2021-11-16 cs.CV cs.LG cs.RO
Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition
Baidu Research(百度研究院)
细粒度识别的一个关键挑战是如何发现和表示有区别的局部区域。最近的注意力模型只能从类别标签中学习有区别的区域定位器与强化学习。然而,不利用任何明确的部分信息,他们不能准确地找到多个独特的区域。在这项工作中,我们引入了一个属性引导的注意力定位方案,局部区域定位器的部分属性描述的指导下学习。通过设计一种新的奖励策略,我们能够学习定位区域的空间和语义独特的强化学习算法。该方案的属性标注要求比传统的基于零件的细粒度识别方法所要求的精确零件位置标注更容易实现。在CUB-200-2011数据集上的实验结果表明,该方法在细粒度识别和属性识别方面都具有较好的性能。
2016-05-23 cs.CV
Sunrise or Sunset: Selective Comparison Learning for Subtle Attribute Recognition
图像识别的难度从一般的类别识别逐渐增加到细粒度识别,再到一些细微属性的识别,如温度、地理位置等。本文试图从日出和日落的分类入手,希望能给人们一点提示,告诉人们如何区分细微的属性。日出与日落是一项困难的识别任务,即使对人类来说也是一项挑战。为了理解这个新问题,我们首先收集了一个由来自不同地方的100多个网络摄像头组成的新数据集。由于现有的算法方法的准确性差,我们提出了一个新的成对学习策略,学习功能的选择对图像。实验表明,我们的方法超过基线方法的大幅度,甚至与人类相比,取得了更好的结果。我们还将我们的方法应用于现有的细微属性识别问题,如温度估计,并取得了最先进的结果。
2017-07-20 cs.CV
Semantic Adversarial Attacks on Face Recognition through Significant Attributes
Huazhong University of Science and Technology(华中科技大学);Zagazig University(扎加齐格大学)
众所周知,人脸识别容易受到对抗性人脸图像的影响。现有的作品工艺通过不加区别地改变单个属性而不知道图像的内在属性来面对对抗性图像。为此,我们提出了一种新的语义对抗攻击,称为SAA-StarGAN,篡改每个图像的重要面部属性。我们通过应用余弦相似性或概率得分来预测最重要的属性。概率得分方法基于训练用于属性预测任务的面部验证模型,以获得每个属性的类别概率得分。预测过程将有助于更轻松有效地制作对抗性人脸图像,并提高对抗性可移植性。然后,我们改变最重要的面部属性,在白盒和黑盒设置中使用一个或多个面部属性进行模仿和躲避攻击。实验结果表明,该方法可以生成多样性和真实感的对抗人脸图像,同时不影响人类对人脸识别的感知。SAA-StarGAN对黑盒模型的攻击成功率达到80.5%,在模拟攻击下比现有方法高出35.5%。在黑盒设置方面,SAA-StarGAN在各种型号上都有很高的攻击成功率。实验证实,预测最重要的属性显着影响对抗攻击在白盒和黑盒设置的成功,并可以提高制作的对抗示例的可移植性。
2023-01-28 cs.AI cs.CV
Visual Attribute-augmented Three-dimensional Convolutional Neural Network for Enhanced Human Action Recognition
University of Science and Technology of China(中国科学技术大学);HERE Technologies(HERE科技公司)
视频帧中的视觉属性,如特征对象和场景的存在,为视频中的动作识别提供了大量信息。以单个2D视频帧作为输入,由于2D CNN中的参数较少,因此可以使用比当前具有时空滤波器的3D CNN更复杂的卷积神经网络来有效地和高效地实现视觉属性提取。提出了一种基于视觉属性增强的三维CNN(A3D)框架,将视觉属性(包括检测、编码和分类)集成到多流三维CNN中,用于裁剪视频中的动作识别。视觉属性流水线包括目标检测网络、属性编码网络和分类网络。我们提出的A3D框架在HMDB51和UCF101数据集上都达到了最先进的性能。
2018-05-08 cs.CV
Enhancing Intrinsic Features for Debiasing via Investigating Class-Discerning Common Attributes in Bias-Contrastive Pair
Korea Advanced Institute of Science and Technology(韩国科学技术院);Kakao Corp.(Kakao公司)
本文提出通过分析偏置一致与偏置冲突样本组成的偏置对比对,识别并增强类别辨别的内在空间特征,并利用偏置负样本分数免标注构建配对,在多类数据集上实现SOTA去偏置效果。
2024-06-17 cs.CV
Investigating Bias and Fairness in Facial Expression Recognition
University of Cambridge(剑桥大学);Middle East Technical University(中东技术大学)
从人脸图像中识别情感和情感的表达是情感计算和计算机视觉领域中的一个研究问题,具有大量可用的包含人脸图像和相应的表情标签的数据集。然而,几乎没有一个数据集是在考虑人口公平分配的情况下获得的。因此,在这项工作中,我们通过比较三种不同的方法,即基线,属性感知和解缠方法,在两个著名的数据集,RAF-DB和CelebA上,对面部表情识别中的偏见和公平性进行了系统的调查。我们的研究结果表明:(i)数据增强提高了基线模型的准确性,但仅凭这一点无法减轻偏倚效应;(ii)在准确性和公平性方面,通过数据增强强化的属性感知方法和解开方法都优于基线方法;(iii)解开方法是减轻人口统计学偏倚的最佳方法;在属性分布不均匀或子组数据数量不均衡的情况下,偏差缓解策略更适用。
2020-08-21 cs.CV
Investigating Outdoor Recognition Performance of Infrared Beacons for Infrastructure-based Localization
RWTH Aachen University(亚琛工业大学)
本文演示了一个系统,包括红外信标和摄像机配备了光学带通滤波器。我们的系统可以在100米的距离内可靠地检测和识别单个信标,无论照明条件如何。我们详细描述了相机和信标的设计以及图像处理流水线。在我们的实验中,我们调查和展示的系统,以识别我们的信标在白天和夜间条件下的能力。高精度定位是自动驾驶汽车的关键推动因素,但尽管最近有了很大的改进,但仍然没有解决。我们的低成本、基于基础设施的方法是解决本地化问题的潜在步骤。所有数据集都可以在这里获得https://embedded.rwth-aachen.de/doku.php? id=forschung:移动性:超定位:概念。
2022-05-30 cs.CV cs.RO
Attribute-Guided Coupled GAN for Cross-Resolution Face Recognition
West Virginia University(西弗吉尼亚大学)
在本文中,我们提出了一种新的属性引导的交叉分辨率(低分辨率到高分辨率)的人脸识别框架,利用耦合生成对抗网络(GAN)结构与对抗训练,以找到隐藏的低分辨率和高分辨率图像之间的关系在潜在的共同嵌入子空间。耦合GAN框架由两个子网组成,一个专用于低分辨率域,另一个专用于高分辨率域。每个子网络的目标是找到一个投影,最大化两个特征域之间的成对相关性在一个共同的嵌入子空间。除了将图像投影到一个公共的子空间,耦合网络还预测人脸属性,以提高跨分辨率人脸识别。具体来说,我们提出的耦合框架利用面部属性,通过在训练过程中隐式地匹配低分辨率和高分辨率图像的面部属性,进一步最大化成对相关性,这导致更具鉴别力的嵌入子空间,从而提高跨分辨率人脸识别的性能。使用LFWA,Celeb-A,SCFace和UCCS数据集证明了我们的方法与最先进的方法相比的有效性。
2019-08-05 cs.CV cs.LG eess.IV
Selective, Interpretable, and Motion Consistent Privacy Attribute Obfuscation for Action Recognition
TU Graz(格拉茨工业大学);York University(约克大学)
针对现有全局混淆和缺乏可解释性的问题,本文提出人工选择隐私模板与选择性属性混淆方案,实现可解释且时间一致的隐私保护,无需重训练,在三个数据集上优于现有方法。
2024-03-19 cs.CV cs.LG
Robust RGB-D Face Recognition Using Attribute-Aware Loss
University of Science and Technology of China(中国科学技术大学);Beijing Dilusense Technology Corporation(北京的卢深视科技有限公司);Cardiff University(卡迪夫大学)
现有的基于卷积神经网络(CNN)的人脸识别算法通常使用损失函数来学习区别性特征映射,所述损失函数强制分离来自不同类别的特征和/或聚合同一类别内的特征。然而,它们可能遭受训练数据中的偏差,例如不均匀的采样密度,因为它们优化了所学习的特征的邻近关系,而没有考虑底层面部的邻近性。此外,由于它们仅使用面部图像进行训练,因此学习的特征映射可能无法正确指示其他属性(例如性别和种族)的关系,这对于某些面部识别应用来说可能很重要。在本文中,我们提出了一种新的基于CNN的人脸识别方法,将这些属性纳入训练过程。使用属性感知的损失函数,正则化的特征映射使用属性接近度,我们的方法学习更多的歧视性特征,与属性相关。我们训练我们的人脸识别模型上的大规模RGB-D数据集,在实际应用条件下捕获的身份超过10万。通过与其他方法进行比较,我们证明了深度通道和属性感知损失大大提高了人脸识别的准确性和鲁棒性。
2019-05-17 cs.CV
Pedestrian Attribute Recognition in Video Surveillance Scenarios Based on View-attribute Attention Localization
College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院)
针对监控场景行人属性识别中特定属性定位不准的问题,提出基于注意力的视角-属性定位方法VALA,结合视角权重与区域注意力实现精准定位,在三个主流数据集上性能优于现有最优方法。
2021-12-20 cs.CV
Attribute Recognition by Joint Recurrent Learning of Context and Correlation
Queen Mary University of London(伦敦玛丽女王大学);Vision Semantics Ltd(视觉语义有限公司)
识别监控图像中行人的语义属性是计算机视觉的一项具有挑战性的任务,特别是当图像质量差、背景复杂、观察条件不受控、标记训练数据数量少时。在这项工作中,我们制定了一个联合循环学习(JRL)模型,探索属性的上下文和相关性,以提高属性识别给定的小尺寸的训练数据质量差的图像。JRL模型联合学习行人图像中的行人属性相关性,特别是它们在端到端编码器/解码器递归网络中的顺序排序依赖性(潜在高阶相关性)。我们展示了JRL模型在两个最大的行人属性基准PETA和RAP上的行人属性识别,多标签图像分类和多人图像注释的各种最先进的深度模型的性能优势和鲁棒性。
2017-09-25 cs.CV
SNN-PAR: Energy Efficient Pedestrian Attribute Recognition via Spiking Neural Networks
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院)
针对行人属性识别能耗高的问题,提出基于脉冲神经网络的SNN-PAR框架,通过脉冲分词器、Transformer主干及知识蒸馏实现节能且准确的识别。
2024-10-10 cs.AI cs.CV cs.NE
LabellessFace: Fair Metric Learning for Face Recognition without Attribute Labels
Shizuoka University(静冈大学);RIKEN AIP(理化学研究所人工智能项目);Tohoku University(东北大学)
针对人脸识别系统的人口统计偏差问题,提出无需人口属性标签的LabellessFace框架,通过类别偏袒程度度量和公平类别间隔惩罚动态调整学习,在保证认证准确率的同时提升公平性。
2024-09-14 cs.AI cs.CV cs.CY
Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition
Shanghai Jiaotong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
收集细粒度的标签通常需要专家级的领域知识,并且无法扩展。在本文中,我们提出了属性混合,数据增强策略在属性级扩展细粒度的样本。其原理在于细粒度子类别之间的属性特征是共享的,并且可以无缝地在图像之间传递。为了实现这一目标,我们提出了一种自动属性挖掘方法来发现属于同一个超类别的属性,属性混合是通过混合两个图像的语义有意义的属性特征。属性混合是一种简单而有效的数据增强策略,它可以在不增加推理预算的情况下显著提高识别性能。此外,由于属性可以在来自同一超类别的图像之间共享,因此我们使用来自通用域的图像进一步丰富具有属性级别标签的训练样本。广泛使用的细粒度基准测试的实验证明了我们提出的方法的有效性。
2020-07-09 cs.CV
Adaptive Prototype Model for Attribute-based Multi-label Few-shot Action Recognition
Wuhan University(武汉大学)
针对多属性联合识别导致准确率下降的问题,提出AAPM,通过TCM引入标签文本约束并利用AAM缓解训练偏差,同时构建Multi-Kinetics数据集,在多标签与单标签少样本动作识别上均达到SOTA。
2025-02-18 cs.CV
Unconstrained Periocular Recognition: Using Generative Deep Learning Frameworks for Attribute Normalization
University of Beira Interior(贝拉内大学)
工作在无约束环境中的眼睛生物识别系统通常面临的问题,小类内的紧凑性所造成的多个因素,共同降低所获得的数据的质量。在这项工作中,我们提出了一种基于深度学习生成框架的属性归一化策略,该策略减少了成对比较中使用的样本的变异性,而不会降低它们的可辨别性。所提出的方法可以被看作是一个预处理步骤,有助于数据正则化和提高识别精度,是完全不可知的识别策略。作为概念证明,我们考虑了“眼镜”和“凝视”因素,比较了五种不同识别方法的性能水平,使用/不使用所提出的归一化策略。此外,我们引入了一个新的数据集的无约束的眼周识别,由移动设备获取的图像,特别适合于感知的影响,“戴眼镜”的识别效果。我们的实验在两个不同的数据集上进行,并支持我们的属性归一化方案,以提高识别性能的有用性。
2020-02-10 cs.CV
Reinforced Pedestrian Attribute Recognition with Group Optimization Reward
Tianjin University(天津大学);China Academy of Launch Vehicle Technology(中国运载火箭技术研究院)
行人属性识别(PAR)是智能视频监控中一项具有挑战性的任务。PAR中的两个关键挑战包括图像和属性之间的复杂对齐关系以及不平衡的数据分布。现有的方法通常制定PAR作为一个识别任务。与之不同的是,本文通过一个强化学习框架将其作为一个决策任务来处理。通过巧妙地设计状态、动作空间、奖励函数和状态转移,将PAR表示为一个马尔可夫决策过程(MDP)。为了缓解属性间的不平衡问题,我们应用了一个属性分类策略(AGS),将所有属性划分为子组,根据其区域和类别信息。然后,我们使用一个智能体来识别每组属性,该智能体使用Deep Q-学习算法进行训练。我们还提出了一个组优化奖励(GOR)函数来缓解属性内不平衡问题。在PETA、RAP和PA 100 K三个基准数据集上的实验结果验证了所提方法的有效性和竞争力,表明强化学习在PAR中的应用是一个有价值的研究方向。
2022-05-21 cs.CV
Real-time pedestrian attribute recognition with YOLOv8 and ResNet18
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院)
提出YOLOv8n检测行人、ResNet18分类性别/年龄/61种属性的两阶段框架,融合PETA和PA-100K数据集,在RTX 5060上达到25-30 FPS,性别准确率99.89%,年龄MAE 4.23年,多属性准确率89.96%。
2026-06-23 cs.CV cs.LG
Improving Pedestrian Attribute Recognition With Weakly-Supervised Multi-Scale Attribute-Specific Localization
Tsinghua University(清华大学);Beihang University(北京航空航天大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
行人属性识别是视频监控领域的一个新兴研究课题。为了预测特定属性的存在,需要定位与该属性相关的区域。但是,在此任务中,区域注释不可用。如何划分这些属性相关区域仍然具有挑战性。现有的方法应用属性不可知的视觉注意或启发式的身体部位定位机制,以提高局部特征表示,而忽略了使用属性来定义局部特征区域。我们提出了一个灵活的属性定位模块(ALM),以自适应地发现最具歧视性的地区,并学习区域功能,为每个属性在多个级别。此外,还引入了一个特征金字塔架构,以增强在低级别的属性特定的本地化与高层语义指导。所提出的框架不需要额外的区域注释,并且可以通过多级深度监督进行端到端的训练。大量的实验表明,所提出的方法实现了国家的最先进的结果上的行人属性数据集,包括PETA,RAP和PA-100 K。
2019-10-10 cs.CV
Measuring Hidden Bias within Face Recognition via Racial Phenotypes
Durham University(杜伦大学);BuboAI
最近的工作报告了交叉种族群体在面部识别任务中的不同表现:面部验证和识别。然而,这些种族群体的定义对这种种族偏见分析的基本结果有重大影响。以前的研究根据人口统计信息(例如非洲人,亚洲人等)定义这些群体。或肤色(例如较浅或较深的皮肤)。使用这种敏感的或广泛的群体定义对偏倚调查和随后的反偏倚解决方案设计有不利影响。相比之下,本研究介绍了一种替代的种族偏见分析方法,通过面部表型属性的人脸识别。我们使用一组可观察到的特征,一个种族相关的面部表型,因此特定于人脸和种族档案的主题。我们提出了分类测试案例,以调查个人的影响,这些属性的偏见在人脸识别任务。我们比较我们的基于表型的分组方法与以前的分组策略,并表明基于表型的分组发现隐藏的偏见,而不依赖于任何潜在的保护属性或定义不清的分组策略。此外,我们贡献相应的表型属性类别标签的两个人脸识别任务:RFW的人脸验证和VGGFace2(测试集)的人脸识别。
2021-10-19 cs.AI cs.CV cs.LG
Open Set Chinese Character Recognition using Multi-typed Attributes
University of Groningen(格罗宁根大学)
离线汉字识别仍然是一个具有挑战性的问题,特别是在历史文献中,不仅在类的数量非常大,相比当代图像检索方法,而且新的看不见的类,可以预期在开放学习条件下(即使是CNN)。零训练样本或少量训练样本的汉字识别是一个困难的问题,目前还没有研究。本文提出了一种基于汉字读音、字形和部首的多类型属性的汉字识别方法,并将其应用于历史文献中的汉字识别。这种中间属性代码比常见的“one-hot”类表示有很大的优势,因为它允许使用属性符号化地理解复杂和不可见的模式。首先,每个字符由四组属性类型表示,以覆盖广泛的字符可能性:拼音标签,布局结构,笔画数,三种不同的输入法,如仓颉,正码和五笔,以及四角编码方法。训练卷积神经网络(CNN)来学习这些属性。随后,字符可以很容易地识别这些属性使用的距离度量和一个完整的字典,是在属性空间编码。我们评估所提出的方法在两个开放的数据集:印刷体汉字识别的零样本学习,历史字符的少样本学习和一个封闭的集合:手写体汉字。实验结果表明,看到的类,但也是一个非常有前途的泛化能力,看不见的字符良好的一般分类。
2018-08-27 cs.CV