Variational Capsules for Image Analysis and Synthesis
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
胶囊是一组神经元，其活动向量模拟同一实体的不同属性。本文将胶囊扩展到生成版本，称为变分胶囊（VC）。每个VC为特定的实体产生一个潜在变量，从而可以将图像分析和图像合成集成到一个统一的框架中。变分胶囊将图像建模为概率模型中的实体组合。具有特定先验分布的不同胶囊的发散表示不同实体的存在，其可以应用于图像分析任务，例如分类。此外，变分胶囊编码多个实体在语义上解开的方式。胶囊的不同实例化与同一实体的各种属性相关，因此可以轻松生成具有细粒度语义属性的不同样本。大量实验表明，使用变分胶囊设计的深度网络不仅可以在图像分析任务（包括图像分类和属性预测）上实现有前途的性能，而且还可以提高图像合成的多样性和可控性。
2018-07-11 cs.CV
A Survey of Deep Facial Attribute Analysis
Dalian University of Technology（大连理工大学）；CASIA Center for Research on Intelligent Perception and Computing（中国科学院自动化研究所智能感知与计算研究中心）；University of Chinese Academy of Sciences（中国科学院大学）
在过去几年中，当深度学习技术在该领域取得显著突破时，面部属性分析受到了相当大的关注。基于深度学习的面部属性分析由两个基本子问题组成：面部属性估计（FAE），其识别给定图像中是否存在面部属性;以及面部属性操作（FAM），其合成或移除所需的面部属性。在本文中，我们提供了一个全面的调查深面部属性分析的角度估计和操纵。首先，我们总结了深度面部属性分析的一般流程，包括两个阶段：数据预处理和模型构建。此外，我们还介绍了FAE和FAM两个阶段管道的基本理论。其次，介绍了人脸属性分析中常用的数据集和性能指标。第三，我们创建了一个最先进的方法的分类，并详细回顾了深FAE和FAM算法。此外，几个额外的面部属性相关的问题，以及相关的现实世界中的应用。最后，我们讨论了可能的挑战和有前途的未来研究方向。
2019-10-27 cs.CV
CAT: Controllable Attribute Translation for Fair Facial Attribute Classification
USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明谢电气工程与计算机工程系）；USC Information Sciences Institute（南加州大学信息科学研究所）；Visual Intelligence and Multimedia Analytics Laboratory（视觉智能与多媒体分析实验室）
随着视觉识别的社会影响受到审查，出现了几个保护属性平衡数据集，以解决不平衡数据集中的数据集偏差。然而，在人脸属性分类中，数据集的偏见源于保护属性水平和人脸属性水平，这使得它具有挑战性，以构建一个多属性水平平衡的真实数据集。为了弥补这一差距，我们提出了一个有效的管道来生成具有所需面部属性的高质量和足够的面部图像，并补充原始数据集，使其在两个级别上都是平衡的数据集，理论上满足几个公平标准。我们的方法的有效性验证性别分类和面部属性分类产生可比的任务性能作为原始数据集，并进一步提高公平性，在一个全面的公平性评价与广泛的指标。此外，我们的方法在解决数据集偏差和去偏置模型的任务偏差方面都优于恢复和平衡数据集构建。
2022-09-14 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
A Face Recognition Signature Combining Patch-based Features with Soft Facial Attributes
Computational Biomedicine Lab（计算生物医学实验室）
本文重点研究了一种结合隐式面部特征和显式面部软属性的新签名，以提高人脸识别性能。该签名有两个组成部分：现有的基于补丁的功能和软面部属性。使用从最先进的网络改编的深度卷积神经网络来学习软面部属性。然后，引入了一个签名匹配器，它合并了基于块的特征和面部属性的贡献。在这个匹配器中，从基于块的特征和面部属性计算的匹配分数相结合，以获得最终的匹配分数。匹配器也进行了扩展，以便为不同的面部属性分配不同的权重。建议的签名和匹配器已与UR 2D系统上的UHDB 31和IJB-A数据集进行了评估。实验结果表明，所提出的签名实现了更好的性能比只使用基于补丁的功能。与UR 2D系统相比，两个数据集上的Rank-1准确率分别提高了4%和0.37%。
2018-03-25 cs.CV
ASD: Towards Attribute Spatial Decomposition for Prior-Free Facial Attribute Recognition
University of Shanghai for Science and Technology（上海理工大学）；Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）
人脸属性的空间特征表示是人脸属性识别的一个重要挑战。最新的进展已经取得了可靠的性能，FAR受益于通过额外的先验信息的空间属性的描述。然而，额外的先验信息可能并不总是可用的，导致基于先验的方法的应用场景受到限制。同时，忽略了由于面部各部分固有的空间差异而导致的面部属性的空间模糊性。为了解决这些问题，我们提出了一种无先验的属性空间分解（ASD）方法，在没有任何额外的先验信息的情况下减轻了面部属性的空间模糊性。具体地说，分配嵌入模块（AEM）被提出来实现ASD的过程，该过程包括两个操作：属性到位置分配和位置到属性嵌入。属性到位置分配首先基于潜在因素分解特征图，分配每个空间位置上的属性分量的大小。然后，从所有位置分配属性组件来表示全局级属性嵌入。此外，相关矩阵最小化（CMM）被引入到扩大的属性嵌入的区分度。实验结果表明，与现有方法相比，该方法具有明显的优越性，同时也进一步验证了该方法在训练数据有限的情况下的可靠性能.
2022-10-25 cs.CV
Attributes in Multiple Facial Images
West Virginia University（西弗吉尼亚大学）
面部属性识别通常是从单个图像计算的。在实践中，每个主体可以具有多个面部图像。以眼睛大小为例，它不应该改变，但它可能在多个图像中具有不同的估计，这将对人脸识别产生负面影响。因此，如何计算这些属性对应于每个主题，而不是每一个单一的图像是一个深刻的工作。为了解决这个问题，我们部署了深度训练来进行面部属性预测，并探索了从每张图像计算的属性之间的不一致问题。然后，我们开发了两种方法来解决不一致的问题。实验结果表明，该方法可以处理多个静态图像或视频帧上的人脸属性估计，并可以纠正错误的注释标签。实验是在两个大型的公共数据库上进行的，带有人脸属性的注释。
2018-05-23 cs.CV
Deep Multi-task Multi-label CNN for Effective Facial Attribute Classification
Xiamen University（厦门大学）；University College London（伦敦大学学院）
人脸属性分类在计算机视觉和模式识别领域受到越来越多的关注。然而，现有技术的FAC方法独立地执行面部检测/对准和FAC。这些任务之间的内在依赖性没有得到充分利用。此外，大多数方法使用相同的CNN网络架构来预测所有面部属性，这忽略了面部属性的不同学习复杂性。为了解决上述问题，我们提出了一种新的深度多任务多标签CNN，称为DMM-CNN，用于有效的FAC。具体来说，DMM-CNN联合优化了两个密切相关的任务（即，面部标志点检测和FAC），以通过利用多任务学习来提高FAC的性能。针对人脸属性学习复杂性的多样性，本文将人脸属性分为客观属性和主观属性两类。分别设计了两种不同的网络结构来提取两组属性的特征，并提出了一种新的动态加权方案，在训练过程中自动分配损失的权重到每个面部属性。此外，自适应阈值策略的发展，以有效地缓解多标签学习的类不平衡的问题。在具有挑战性的CelebA和LFWA数据集上的实验结果表明，与几种最先进的FAC方法相比，所提出的DMM-CNN方法具有优越性。
2020-02-10 cs.CV
A Deep Face Identification Network Enhanced by Facial Attributes Prediction
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个新的深度框架，预测面部属性，并利用它作为一个软模态，以提高人脸识别性能。我们的模型是一个端到端的框架，它由一个卷积神经网络（CNN）组成，其输出被分成两个独立的分支;第一个分支预测面部属性，而第二个分支识别面部图像。与现有的多任务方法只使用共享的CNN特征空间来联合训练这两个任务相反，我们将预测属性与来自人脸模态的特征相融合，以提高人脸识别性能。实验结果表明，我们的模型带来的好处，人脸识别以及面部属性的预测性能，特别是在身份的面部属性，如性别预测的情况下。我们在两个由身份和面部属性注释的标准数据集上测试了我们的模型。实验结果表明，该模型优于目前大多数现有的人脸识别和属性预测方法。
2018-04-20 cs.CV
A Jointly Learned Deep Architecture for Facial Attribute Analysis and Face Detection in the Wild
Fudan University（复旦大学）
真实世界场景中的人脸属性分析是非常具有挑战性的，主要是因为复杂的人脸变化。现有的人脸属性分析工作大多是基于裁剪和对齐的人脸图像。然而，这导致属性预测的能力严重依赖于人脸检测器的预处理。为了解决这个问题，我们提出了一种新的联合学习的深度架构，用于面部属性分析和面部检测。我们的框架可以处理野外的自然图像，我们在CelebA和LFWA数据集上的实验清楚地表明，获得了最先进的性能。
2017-07-27 cs.CV
Deep Representation of Facial Geometric and Photometric Attributes for Automatic 3D Facial Expression Recognition
Ecole Centrale de Lyon（里昂中央理工学院）
在本文中，我们提出了一种新的方法来自动三维人脸表情识别（FER）的基础上，面部三维几何和二维光度属性的深度表示。三维人脸首先由其几何属性和光度属性表示，包括几何映射、法线映射、归一化曲率映射和纹理映射。然后将这些映射馈送到预先训练的深度卷积神经网络中以生成深度表示。然后，通过在不同地图的深度表示上训练线性SVM并融合这些SVM得分来简单地实现面部表情预测。可视化结果表明，深度表示提供了一个完整的和高度歧视性的三维人脸编码方案。在BU-3DFE数据库上的综合实验表明，所提出的深度表示可以优于广泛使用的手工制作的描述符（即，LBP、SIFT、HOG、Gabor）和在相同实验方案下的最先进方法。
2015-11-10 cs.CV
FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；IWR, University of Heidelberg（海德堡大学科学计算跨学科中心）；Manchester Metropolitan University（曼彻斯特城市大学）；IMLA, Offenburg University（奥芬堡大学机器学习与分析研究所）
人脸图像处理是一个生成任务，其中输出的脸被移向一个预期的目标方向方面的面部属性和风格。近年来的作品在风格转换、属性翻译等多种编辑技巧上都取得了很大的成功。然而，目前的方法要么专注于纯粹的风格转移，或翻译的预定义的属性集与有限的交互性。为了解决这个问题，我们提出了FacialGAN，这是一个新颖的框架，可以同时进行丰富的风格传输和交互式面部属性操作。在保持源图像的身份的同时，将目标图像的各种风格转移到源图像。然后，我们将分割掩模的几何信息，以提供一个细粒度的面部属性的操作。最后，提出了一种多目标学习策略，以优化每个特定任务的损失。在CelebA-HQ数据集上进行的实验，以CelebAMask-HQ作为语义掩码标签，显示了我们的模型在风格转换，属性操作，多样性和人脸验证方面产生视觉上引人注目的结果的能力。为了重现性，我们提供了一个交互式开源工具来执行面部操作，以及模型的Pytorch实现。
2021-10-18 cs.CV
Logical Consistency and Greater Descriptive Power for Facial Hair Attribute Learning
University of Notre Dame（圣母大学）
本文提出FH37K面部毛发属性数据集及逻辑一致性损失LCPLoss和标签补偿策略，以解决属性分类中的逻辑矛盾问题，并揭示面部毛发对人脸识别分数分布的重要影响。
2023-04-16 cs.CV
Multi-task Learning of Cascaded CNN for Facial Attribute Classification
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）
最近，面部属性分类（FAC）在计算机视觉界引起了极大的关注。随着具有挑战性的FAC数据集的可用性，已经取得了很大的进展。然而，传统的FAC方法通常首先对输入图像进行预处理（即，执行面部检测和对准），然后预测面部属性。这些方法忽略了这些任务之间的固有依赖性（即，面部检测、面部标志定位和FAC）。此外，使用卷积神经网络的一些方法基于固定的损失权重进行训练，而不考虑面部属性之间的差异。为了解决上述问题，我们提出了一种新的多任务学习的级联卷积神经网络方法，称为MCFA，用于同时预测多个面部属性。具体地，所提出的方法利用三个级联的子网络（即，S_Net、M_Net和L_Net）以由粗到细的方式联合训练多个任务，实现端到端的优化。此外，该方法自动分配损失的重量，每个面部属性的基础上一个新的动态加权方案，从而使该方法集中在预测更困难的面部属性。实验结果表明，该方法优于几个国家的最先进的FAC方法上具有挑战性的CelebA和LFWA数据集。
2018-05-03 cs.CV
Facial Attributes: Accuracy and Adversarial Robustness
University of Colorado Colorado Springs（科罗拉多斯普林斯分校科罗拉多大学）
人脸属性是一种新兴的软生物特征识别技术，必须从图像中自动可靠地提取，才能在独立的系统中使用。虽然最近的方法使用在标记的面部属性数据上训练的深度神经网络（DNN）来提取面部属性，但是尚未评估深度属性表示的鲁棒性。在本文中，我们研究了几种方法的代表性稳定性，这些方法最近在CelebA基准测试中通过生成对抗性示例来提高最新技术水平，这些示例是通过向产生改变的分类的输入添加小的非随机扰动而形成的。我们表明，我们的快速翻转属性（FFA）技术比传统算法生成更多的对抗性示例，并且DNN的对抗性鲁棒性在面部属性之间变化很大。我们还测试了面部属性的相关性，发现只有对于相关属性，形成的对抗性扰动才能改变其他属性的分类。最后，我们引入了自然对抗样本的概念，即，错误分类的图像，其中预测可以通过小扰动来校正。我们证明了自然对抗样本通常会出现，并且表明即使有额外的训练时期，这些图像中的许多图像仍然是错误分类的，即使它们的正确分类可能只需要对网络参数进行很小的调整。
2018-04-20 cs.CV
Improving Facial Attribute Prediction using Semantic Segmentation
University of Central Florida（中佛罗里达大学）
属性是语义上有意义的特征，其适用性广泛跨越类别边界。它们在描述和识别没有给出明确训练样本的概念时特别重要，\textit{e.g., zero-shot learning}。此外，由于属性是人类可描述的，因此它们可以用于有效的人机交互。在本文中，我们提出采用语义分割，以改善面部属性预测。其核心思想在于许多面部属性描述了局部属性。换句话说，属性出现在面部图像中的概率在空间域中远非均匀。我们建立我们的面部属性预测模型与深度语义分割网络。这利用由语义分割学习的定位线索来引导属性预测的注意力到不同属性自然出现的区域。由于这种方法，除了识别之外，我们还能够定位属性，尽管在训练期间只能访问图像级标签（弱监督）。我们在CelebA和LFWA数据集上评估了我们提出的方法，并取得了优于现有技术的结果。此外，我们表明，在反向问题，语义人脸解析改善时，面部属性。这再次表明，需要对这两项相互关联的任务进行联合建模。
2017-04-27 cs.CV
Multi-label Learning Based Deep Transfer Neural Network for Facial Attribute Classification
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）；The University of Adelaide（阿德莱德大学）
深度神经网络（DNN）最近在包括面部属性分类在内的各种计算机视觉任务中取得了出色的性能。使用DNN对面部属性进行分类的巨大成功通常依赖于大量的标记数据。然而，在现实世界的应用程序中，标记的数据只提供了一些常用的属性（如年龄，性别）;而，未标记的数据可用于其他属性（如吸引力，发际线）。为了解决上述问题，我们提出了一种新的基于多标签学习的面部属性分类的深度迁移神经网络方法，称为FMTNet，它由三个子网络组成：面部检测网络（FNet），多标签学习网络（MNet）和迁移学习网络（TNet）。首先，基于更快的基于区域的卷积神经网络（Faster R-CNN），FNet被微调用于人脸检测。然后，FNet对MNet进行微调，以使用标记数据预测多个属性，其中开发了一种有效的减肥方案，以显式地利用基于属性分组的面部属性之间的相关性。最后，在MNet的基础上，利用无监督的领域自适应训练TNet进行无标记人脸属性分类。这三个子网络紧密耦合，以执行有效的面部属性分类。所提出的FMTNet方法的一个显着特点是，三个子网络（FNet，MNet和TNet）构建在一个类似的网络结构。在具有挑战性的人脸数据集上的大量实验结果表明，与几种最先进的方法相比，我们提出的方法是有效的。
2018-05-03 cs.CV
AFFACT - Alignment-Free Facial Attribute Classification Technique
Vision and Security Technology (VAST) Lab（视觉与安全技术实验室）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
面部属性是允许限制搜索空间的软生物特征，例如，通过拒绝具有不匹配面部特征的身份，例如鼻子大小或眉毛形状。在本文中，我们研究了最新版本的深度卷积神经网络ResNets如何执行面部属性分类任务。我们测试了两个损失函数：sigmoid交叉熵损失和欧几里得损失，并发现这两个之间的分类性能几乎没有差异。使用三个ResNet的集合，我们在CelebA数据集的对齐图像上获得了8.00%的新的最先进的面部属性分类误差。更重要的是，我们引入了无对齐的面部属性分类技术（AFFACT），这是一种数据增强技术，允许网络对面部属性进行分类，而不需要超出检测到的面部边界框的对齐。据我们所知，我们是第一个在仅使用检测到的边界框时报告类似准确性的人-而不是需要基于自动检测到的面部标志进行对齐-并且可以通过旋转和缩放测试图像来提高分类准确性。我们表明，这种方法在未对齐图像上的性能优于CelebA基线，相对提高了36.8%。
2017-08-04 cs.CV
Encoding Visual Attributes in Capsules for Explainable Medical Diagnoses
University of Central Florida（中佛罗里达大学）；University of Pennsylvania（宾夕法尼亚大学）
基于卷积神经网络的系统由于其高度不可解释的“黑匣子”性质，在许多高风险应用领域（包括医疗保健、军事、安全、运输、金融和法律）中基本上未能被采用。为了解决这一缺陷，我们教授了一种新的多任务胶囊网络，通过体现人类专家使用的相同高级语言来提高预测的可解释性。我们的可解释胶囊网络X-Caps在其胶囊的向量中编码高级视觉对象属性，然后仅基于这些人类可解释的特征形成预测。为了对属性进行编码，X-Caps利用一个新的路由sigmoid函数来独立地将信息从子胶囊路由到父胶囊。此外，为了向放射科医生提供模型置信度的估计，我们训练我们的网络关于专家标签的分布，对观察者间的协议进行建模，并在训练期间惩罚过度/不足的置信度，由人类专家的协议监督。X-Caps同时从1000多个肺癌筛查患者CT扫描的多中心数据集中学习属性和恶性程度评分。我们证明了一个简单的2D胶囊网络可以在捕获视觉上可解释的高级属性和恶性肿瘤预测方面胜过最先进的深度密集双路径3D CNN，同时提供接近不可解释的3D CNN的恶性肿瘤预测分数。据我们所知，这是第一个研究胶囊网络的研究，用于基于放射科医生级别的可解释属性及其在医学图像诊断中的应用进行预测。代码可在https://github.com/lalonderodney/X-Caps上公开获取。
2020-06-20 cs.CV cs.LG eess.IV
Tasks Structure Regularization in Multi-Task Learning for Improving Facial Attribute Prediction
West Virginia University（西弗吉尼亚大学）
卷积神经网络（CNN）在人脸属性预测中的巨大成功依赖于大量的标记图像。面部图像数据集通常由一些常用的属性（例如，性别），而其他属性的标签（例如，大鼻子）是有限的，这使得他们的预测具有挑战性。为了解决这个问题，我们使用了一个新的多任务学习（MTL）范式，其中的面部属性预测器使用其他相关属性的知识，以获得更好的泛化性能。在这里，我们在两个问题设置中利用MLT范式。首先，假设任务的结构（例如，面部属性的分组模式）被称为先验知识，并且任务的参数（即，预测器）由有限数量的底层基本任务的线性组合来表示。这里，还考虑了对该线性组合的系数的稀疏约束，使得每个任务以更结构化和更简单的方式表示。其次，假设任务的结构是未知的，然后通过使用拉普拉斯正则化框架联合学习任务的结构和参数。我们的MTL方法进行了比较，与竞争的人脸属性预测的方法，以显示其有效性。
2021-08-18 cs.CV
Deep Sketch-Photo Face Recognition Assisted by Facial Attributes
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个深度耦合的框架，以解决匹配素描图像对画廊的mugshots的问题。人脸草图具有关于人脸的空间拓扑和几何细节的基本信息，但缺少一些重要的面部属性，如种族、头发、眼睛和肤色。我们提出了一个耦合的深度神经网络架构，利用面部属性，以提高素描照片识别性能。所提出的属性辅助深度卷积神经网络（AADCNN）方法利用面部属性并利用来自面部属性识别和面部验证任务的损失函数，以便在公共嵌入子空间中学习丰富的鉴别特征。面部属性识别任务通过将从具有不同面部属性的个体提取的嵌入特征分开来增加人与人之间的差异，而验证任务通过将与一个人相关的所有特征拉在一起来减少人与人之间的差异。学习的区分特征可以很好地推广到在训练数据中看不到的新身份。与传统的草图-照片识别方法相比，该体系结构能够充分利用草图和补充的人脸属性信息来训练深度模型。在复合（E-PRIP）和半法医（IIIT-D半法医）数据集上进行了广泛的实验。实验结果表明，与现有的草图照片识别算法相比，该方法具有一定的优越性
2018-07-31 cs.CV
Self-supervised learning of a facial attribute embedding from video
University of Oxford（牛津大学）
我们提出了一个自我监督的框架，通过简单地观看人脸说话，大笑和移动的视频来学习面部属性。为了执行这项任务，我们引入了一个网络，面部属性网（FAb-Net），它被训练成将来自同一视频面部跟踪的多个帧嵌入到一个公共的低维空间中。通过这种方法，我们做出了三个贡献：首先，我们表明网络可以通过预测每个帧的置信度/注意力掩码来利用来自多个源帧的信息;其次，我们证明使用课程学习制度可以提高学习的嵌入;最后，我们证明了网络学习一个有意义的人脸嵌入，编码有关头部姿势，面部标志和面部表情的信息，即面部属性，而没有用任何标记的数据进行监督。在这些任务上，我们与最先进的自监督方法相当或优于自监督方法，并接近监督方法的性能。
2018-08-21 cs.CV
Semi-Latent GAN: Learning to generate and modify facial images from attributes
Fudan University（复旦大学）；Disney Research（迪士尼研究院）
使用高级属性控制生成和操纵人脸图像是重要而有趣的问题。在以前的工作中提出的模型可以解决这两个问题（生成或操作）之一，但不能同时解决。本文提出了一种新的模型，学习如何生成和修改的面部图像从高层次的语义属性。我们的核心思想是制定一个半潜在的面部属性空间（SL-FAS），系统地学习用户定义的属性和潜在的属性之间的关系，以及这些属性和RGB图像之间的关系。作为这个新定义的空间的一部分，我们提出了一个新的模型-- SL-GAN，它是生成对抗网络的一种特殊形式。最后，我们提出了一个迭代的SL-GAN训练算法。在最近的CelebA和CASIA-WebFace数据集上的实验验证了我们提出的框架的有效性。我们还将提供数据、预训练模型和代码。
2017-04-07 cs.CV
Facial Synthesis from Visual Attributes via Sketch using Multi-Scale Generators
Johns Hopkins University（约翰霍普金斯大学）
从视觉属性自动合成人脸是计算机视觉中的一个重要问题，在执法和娱乐方面有着广泛的应用。随着深度生成卷积神经网络（CNN）的出现，已经尝试从属性和文本描述合成面部图像。在本文中，我们采取了一种不同的方法，我们将原始问题表述为阶段学习问题。我们首先合成与视觉属性相对应的人脸草图，然后基于合成的草图生成人脸图像。所提出的框架基于两种不同的生成对抗网络（GANs）的组合-（1）草图生成器网络，其从输入属性合成逼真的草图，以及（2）面部生成器网络，其在面部属性的帮助下从合成的草图图像合成面部图像。大量的实验和最近的方法进行比较，以验证所提出的基于属性的两阶段人脸合成方法的有效性。
2019-12-17 cs.CV
Deep Identity-aware Transfer of Facial Attributes
Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文提出了一种用于面部属性的身份感知传输（DIAT）的深度卷积网络模型。给定源输入图像和参考属性，DIAT旨在生成具有参考属性并且与输入图像保持相同或相似身份的面部图像。一般来说，我们的模型由一个面具网络和属性转换网络协同工作，以产生一个照片般真实的面部图像与参考属性。考虑到参考属性可能只与图像的某些部分相关，引入掩码网络以避免对属性无关区域的错误编辑。然后采用估计的掩模将输入图像和变换后的图像进行组合，以产生转移结果。对于变换网络和掩码网络的联合训练，我们结合了对抗属性损失，身份感知自适应感知损失和基于VGG-FACE的身份损失。此外，提出了一种去噪网络用于感知正则化以抑制传输结果中的伪影，同时引入属性比率正则化来约束属性相关区域的大小。我们的DIAT可以为几个代表性的面部属性转移任务提供统一的解决方案，例如，表情转移、附件移除、年龄进展和性别转移，并且可以扩展用于其他面部增强任务，例如面部幻觉。实验结果验证了该方法的有效性。即使对于身份相关属性（例如，性别），我们的DIAT可以通过改变属性获得视觉上令人印象深刻的结果，同时保留大多数身份识别功能。
2018-12-06 cs.CV
PA-GAN: Progressive Attention Generative Adversarial Network for Facial Attribute Editing
ICT, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
面部属性编辑旨在操纵人脸上的属性，例如，留胡子或者改变头发颜色现有的方法在正确的属性生成和保存其他信息（如身份和背景）之间存在严重的妥协，因为它们在不精确的区域编辑属性。为了解决这个难题，我们提出了一个渐进的注意力GAN（PA-GAN）的面部属性编辑。在我们的方法中，编辑是逐步进行从高到低的功能级别，而在一个适当的属性区域内的注意力掩模在每个级别的约束。这种方式从一开始就防止了对不相关区域的不期望的修改，然后网络可以更专注于在每个级别的适当边界内正确地生成属性。因此，我们的方法实现了正确的属性编辑与不相关的细节更好地保存相比，国家的最先进的。代码发布于https://github.com/LynnHo/PA-GAN-Tensorflow。
2020-07-12 cs.CV
Segment-based Methods for Facial Attribute Detection from Partial Faces
University of Maryland, College Park（马里兰大学帕克分校）
最先进的人脸属性检测方法几乎总是假设存在完整的、未被遮挡的人脸。因此，它们的性能降低部分可见和遮挡的脸。在本文中，我们介绍了SPLITFACE，一种基于深度卷积神经网络的方法，该方法被明确设计用于在部分遮挡的人脸中进行属性检测。该方法以多个面部片段和完整的面部作为输入，采用数据驱动的方法来确定哪些属性在哪些面部片段中被定位。网络的独特架构允许每个属性由多个部分预测，这允许实施委员会机器技术，将本地和全局决策相结合，以提高性能。通过访问基于片段的预测，SPLITFACE可以很好地预测那些定位在面部可见部分的属性，而不必依赖于整个面部的存在。我们使用CelebA和LFWA面部属性数据集进行标准评估。我们还修改了这两个数据集，遮挡的脸，使我们可以评估属性检测算法的性能上的部分脸。我们的评估表明，SPLITFACE显着优于其他最近的方法，特别是部分脸。
2018-01-10 cs.CV
FACEGAN: Facial Attribute Controllable rEenactment GAN
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
人脸再现是一种流行的人脸动画方法，其中人的身份是从源图像和面部运动的驱动图像。最近的工作已经通过将基于面部标志的运动表示与生成对抗网络相结合来展示高质量的结果。如果源图像和驱动图像描绘的是同一个人，或者面部结构非常相似，则这些模型的性能最好。然而，如果身份不同，则驱动面部结构泄漏到输出，从而使再现结果失真。我们提出了一种新的面部属性可控再现GAN（FACEGAN），它通过动作单元（AU）表示从驾驶面部传输面部运动。与面部标志不同，AU独立于面部结构，防止身份泄露。此外，AU提供了一种人类可解释的方式来控制重演。FACEGAN分别处理背景和人脸区域，以优化输出质量。广泛的定量和定性比较表明，在一个单一的源重现任务的最先进的一个明显的改善。补充材料中提供的重演录像最好地说明了这些结果。源代码将在论文发表后提供。
2020-11-09 cs.CV
Residual Codean Autoencoder for Facial Attribute Analysis
IIIT-Delhi（德里印度理工学院）
面部属性可以提供丰富的辅助信息，这些信息可以用于不同的应用，例如目标营销、人机交互和执法。这项研究的重点是面部属性预测使用一种新的深度学习公式，称为R-Codean自动编码器。本文首先提出了一种基于余弦相似度的损失函数的自编码器，然后将其引入到基于欧氏距离的自编码器中，形成R码。因此，所提出的损失函数旨在在特征学习期间将图像向量的幅度和方向结合起来。此外，受深度模型中快捷连接的实用性的启发，以促进学习最佳参数，而不会引起消失梯度的问题，所提出的公式被扩展到在架构中包含快捷连接。所提出的R-Codean自动编码器被用于面部属性预测框架，该框架结合了基于块的加权机制，用于为每个属性的相关块分配更高的权重。在公开的CelebA和LFWA数据集上的实验结果证明了所提出的方法在解决这个具有挑战性的问题方面的有效性。
2018-03-20 cs.CV
Unpaired Multi-domain Attribute Translation of 3D Facial Shapes with a Square and Symmetric Geometric Map
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Soochow University（苏州大学）
针对3D人脸属性迁移的现有局限，提出结合方形对称几何图、非配对多域学习框架和分层判别器的3D人脸属性迁移方法，在高保真形状生成上优于现有技术，可支撑表情迁移等下游应用。
2023-08-25 cs.CV
Reference Guided Image Inpainting using Facial Attributes
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
图像修补是一种完成缺失像素的技术，如遮挡区域恢复、干扰物体去除和面部修复。在这些修复任务中，面部修复算法根据用户的方向进行面部修复。现有的方法需要用户的精细且良好控制的输入，因此对于普通用户来说难以提供足够准确的指导以使算法生成期望的结果。为了克服这一限制，我们提出了一种替代的用户引导修复架构，使用单个参考图像作为指导来操纵面部属性。我们的端到端模型由用于准确参考图像属性传输的属性提取器和用于将属性真实准确地映射到生成的图像的修复模型组成。我们自定义MS-SSIM损失和可学习的双向注意力地图，其中重要性结构即使使用不规则形状的掩码也保持不变。基于我们使用公开数据集CelebA-HQ的评估，我们证明了所提出的方法与一些专门用于修复任务的最先进方法相比具有优异的性能。
2023-01-19 cs.CV
Are Facial Attributes Adversarially Robust?
University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
面部属性是新兴的软生物特征识别技术，它有可能拒绝不匹配，例如基于不匹配的性别。为了在独立系统中使用，必须自动且可靠地从图像中提取面部属性。在本文中，我们提出了一种简单而有效的自动面部属性提取解决方案，通过为每个面部属性分别训练深度卷积神经网络（DCNN），而不使用任何预训练或数据集增强，并且我们在CelebA基准测试中获得了新的最先进的面部属性分类结果。为了测试网络的稳定性，我们通过一种新的快速翻转属性（FFA）技术生成了对抗图像-通过向原始输入添加不可感知的非随机扰动而形成，这些扰动会导致分类错误。我们表明，FFA比其他相关算法生成更多的对抗性示例，并且某些属性的DCNN通常对对抗性输入具有鲁棒性，而其他属性的DCNN则没有。这一结果令人惊讶，因为迄今为止测试的DCNN都没有表现出对对抗图像的鲁棒性，而在训练过程中没有明确的增强来解释对抗示例。最后，我们引入了自然对抗样本的概念，即，被错误分类的图像，但是可以通过施加小的扰动而容易地转变为正确分类的图像。我们证明了自然对抗样本通常会出现，即使在训练集中也是如此，并且表明即使有额外的训练时期，这些图像中的许多图像仍然是错误分类的。这种现象是令人惊讶的，因为校正误分类，特别是当由训练数据引导时，应该只需要对DCNN参数进行小的调整。
2016-09-16 cs.CV
Smart Mirror: Intelligent Makeup Recommendation and Synthesis
University of Dayton（代顿大学）；National University of Singapore（新加坡国立大学）
女性面部图像美化通常需要专业的编辑软件，这对于普通用户来说是相对困难的。在这个演示中，我们介绍了一个实用的自动和个性化的面部化妆推荐和合成系统。首先，学习描述面部特征、面部属性和化妆属性之间的关系的模型作为用于建议最合适的化妆属性的化妆推荐模型。然后将推荐的化妆属性无缝地合成到输入的面部图像上。
2017-09-22 cs.CV
PSTF-AttControl: Per-Subject-Tuning-Free Personalized Image Generation with Controllable Face Attributes
organization= Data Science \& Artificial Intelligence Research Institute , addressline= China Unicom , city= Beijing , postcode= 100013 , country= P.R.China
针对现有无需逐主体调优的个性化图像生成方法缺乏人脸属性精准控制的问题，提出PSTF-AttControl方法，通过三元解耦交叉注意力模块实现身份与属性信息分离，在无需单身份微调的情况下达成个性化效果与属性精准控制的平衡。
2025-10-29 cs.CV
Recovering Faces from Portraits with Auxiliary Facial Attributes
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
从艺术肖像中恢复逼真的面部是一项具有挑战性的任务，因为在艺术作品中，关键的面部细节往往会被扭曲或完全丢失。为了处理这种损失，我们提出了一个属性引导的人脸恢复从肖像（AFRP），利用人脸恢复网络（FRN）和判别网络（DN）。FRN包括一个自动编码器与残留块嵌入跳过连接，并在自动编码器的瓶颈处将面部属性向量纳入到输入肖像的特征图中。DN具有多个卷积层和全连接层，其作用是强制FRN生成真实的面部图像，其对应的面部属性由输入属性向量决定。%利用空间Transformer网络，FRN自动补偿人像的未对准。%，并生成对齐的面部图像。为了保持身份，我们将恢复的和地面真实的面孔强加给他们，以共享相似的视觉特征。具体地，DN确定恢复的图像是否看起来像真实的面部，并检查从恢复的图像中提取的面部属性是否与给定的属性一致。%我们的方法可以从未对齐的肖像中恢复高质量的真实感人脸，同时保留人脸图像的身份，并且可以重建具有所需属性的真实感人脸图像。我们的方法可以从看不见的风格化肖像，艺术绘画和手绘草图中恢复具有所需属性的真实感身份保留人脸。在大规模的合成和草图数据集上，我们证明了我们的人脸恢复方法达到了最先进的结果。
2019-04-07 cs.CV
MOON: A Mixed Objective Optimization Network for the Recognition of Facial Attributes
University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
属性识别，特别是面部识别，为每个图像提取许多标签。虽然一些多任务视觉问题可以分解为单独的任务和阶段，例如，对于越来越多的问题，为每个任务训练独立的模型，所有任务的联合优化已被证明可以提高性能。我们表明，对于深度卷积神经网络（DCNN）面部属性提取，多任务优化更好。不幸的是，当训练数据不平衡时，难以将联合优化应用于DCNN，并且直接重新平衡多标签数据在结构上是不可行的，因为添加/移除数据以平衡一个标签将改变其他标签的采样。针对多标签不平衡问题，提出了一种新的混合目标优化网络（MOON），其损失函数将多个任务目标与传播损失的域自适应重新加权相结合。实验表明，MOON不仅推进了面部属性识别的最新技术，而且使用相同的数据，它的性能也优于独立训练的DCNN。当使用面部属性的LFW人脸识别任务，我们表明，我们的平衡（域适应）网络优于不平衡的训练网络。
2016-10-21 cs.CV
FairFaceGAN: Fairness-aware Facial Image-to-Image Translation
Yonsei University（延世大学）
在本文中，我们介绍了FairFaceGAN，一种公平感知的面部图像到图像翻译模型，减轻了受保护属性中不需要的翻译问题（例如，性别、年龄、种族）。与现有的模型不同，FairFaceGAN使用两个独立的潜在因素来学习公平表示-一个与要翻译的目标属性相关，另一个与它们无关。该策略使FairFaceGAN能够分离关于受保护属性的信息和关于目标属性的信息。它还可以在编辑目标属性时防止受保护属性中不需要的转换。为了评估公平程度，我们在CelebA数据集上进行了两种类型的实验。首先，我们分别比较了现有图像平移方法和FairFaceGAN在增强数据时的公平性感知分类性能。此外，我们提出了一个新的公平性度量，即弗雷谢保护属性距离（FPAD），它衡量如何以及保护属性被保留。实验结果表明，FairFaceGAN在公平性方面比现有的图像翻译模型表现出一致的改进。此外，我们还评估了图像翻译性能，与现有方法相比，FairFaceGAN显示出具有竞争力的结果。
2020-12-02 cs.CV
Improving Facial Attribute Recognition by Group and Graph Learning
The University of Sydney（悉尼大学）；Sensetime Group Limited（商汤集团有限公司）；Applied Research Center, Tencent PCG（腾讯PCG应用研究中心）
利用属性之间的关系是提高多个面部属性识别的关键挑战。在这项工作中，我们关注两种类型的相关性，即空间和非空间关系。对于空间相关性，我们将具有空间相似性的属性聚集成一个基于部件的组，然后引入组注意学习来生成组注意和基于部件的组特征。另一方面，为了发现非空间关系，我们建立了一个基于组的图相关学习模型，以探索预定义的基于部分的组的亲和力。我们利用这种亲和度信息来控制所有组之间的通信，然后细化学习到的组特征。总的来说，我们提出了一个统一的网络，称为多尺度组和图网络。它结合了这两个新提出的学习策略，并产生粗到细的基于图的组特征，以提高面部属性识别。综合实验表明，我们的方法优于国家的最先进的方法。
2021-05-28 cs.CV
MaskMTL: Attribute prediction in masked facial images with deep multitask learning
Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）；Indian Institute of Technology Delhi（印度理工学院德里分校）
在无标志的面部图像中预测属性本身是一项具有挑战性的任务，当面部由于使用掩模而被遮挡时，该任务变得更加复杂。利用身份验证或安全登录到个人电子设备的智能访问控制门可以利用面部作为生物特征。特别是，新型冠状病毒疫情日益证明了卫生和非接触式身份验证的重要性。在这种情况下，面具的使用变得更加不可避免，并且执行属性预测有助于将目标弱势群体与社区传播隔离开来，或者确保他们在协作环境中保持社交距离。我们通过有效地覆盖不同形状，大小和纹理的面具来创建一个面具人脸数据集，以有效地模拟佩戴面具产生的变化。本文提出了一种深度多任务学习（MTL）方法，用于从单个蒙面面部图像中联合估计各种异构属性。在基准人脸属性UTKFace数据集上的实验结果表明，该方法在性能上优于其他竞争技术。源代码可在https://github.com/ritikajha/Attribute-prediction-in-masked-facial-images-with-deep-multitask-learning上获得
2022-01-11 cs.CV
CelebV-HQ: A Large-Scale Video Facial Attributes Dataset
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
大规模数据集在最近人脸生成/编辑的成功中发挥了不可或缺的作用，并显着促进了新兴研究领域的进步。然而，学术界仍然缺乏一个视频数据集，具有不同的面部属性注释，这是至关重要的人脸相关视频的研究。在这项工作中，我们提出了一个大规模，高质量，多样化的视频数据集，具有丰富的面部属性注释，命名为高质量名人视频数据集（CelebV-HQ）。CelebV-HQ包含35,666个视频片段，分辨率至少为512 x512，涉及15,653个身份。所有剪辑都手动标记了83个面部属性，包括外观，动作和情感。我们在年龄，种族，亮度稳定性，运动平滑度，头部姿势多样性和数据质量方面进行了全面的分析，以证明CelebV-HQ的多样性和时间一致性。此外，它的通用性和潜力验证了两个代表性的任务，即，无条件视频生成和视频面部属性编辑。此外，我们展望了CelebV-HQ的未来潜力，以及它将给相关研究方向带来的新机遇和挑战。数据、代码和模型都是公开的。项目页面：https://celebv-hq.github.io。
2022-07-25 cs.CV
Bias Analysis for Synthetic Face Detection: A Case Study of the Impact of Facial Attributes
University of Beira Interior（贝拉内尔内大学）；NOVA LINCS；University of Salerno（萨勒诺大学）
本研究提出一种基于均匀属性标签合成数据的评估框架，针对5个先进合成人脸检测器在25个受控人脸属性上的偏差展开案例研究，证实了偏差存在并揭示了其来源。
2025-07-29 cs.CV
A comprehensive survey on semantic facial attribute editing using generative adversarial networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
由于深度卷积神经网络和生成模型的进步，生成随机照片级真实图像在过去几年中经历了巨大的增长。在不同的领域中，人脸照片受到了极大的关注，并提出了大量的人脸生成和处理模型。语义面部属性编辑是改变面部图像的一个或多个属性的值而图像的其他属性不受影响的过程。所请求的修改被提供为属性向量或以驾驶面部图像的形式，并且整个过程由相应的模型执行。本文综述了语义人脸属性编辑的研究现状和进展。我们涵盖了这些模型的所有相关方面，包括相关的定义和概念，架构，损失函数，数据集，评估指标和应用程序。基于它们的体系结构，最先进的模型进行了分类和研究，编码器解码器，图像到图像，和照片引导模型。目前国家的最先进的方法的挑战和限制进行了讨论。
2022-05-21 cs.CV
Facial expression and attributes recognition based on multi-task learning of lightweight neural networks
HSE University（俄罗斯高等经济大学）
本文研究了轻量级卷积神经网络的多任务学习，用于人脸识别和人脸属性（年龄，性别，种族）的分类，训练在裁剪的脸没有边缘。强调了微调这些网络以预测面部表情的必要性。提出了基于MobileNet、EfficientNet和RexNet架构的几种模型。实验证明，它们在UTKFace数据集上的年龄，性别和种族识别以及AffectNet数据集上的情感分类方面都取得了接近最先进的结果。此外，它表明，使用训练的模型作为视频帧中的面部区域的特征提取器导致4.5%的准确性比先前已知的最先进的单一模型的AFEW和VGAF数据集从EQUTIW的挑战。模型和源代码可在https://github.com/HSE-asavchenko/face-emotion-recognition上公开获取。
2021-10-04 cs.CV
Predicting Personal Traits from Facial Images using Convolutional Neural Networks Augmented with Facial Landmark Information
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Microsoft Research（微软研究院）；Cambridge University（剑桥大学）
我们考虑的任务是根据一个人的面部图像来预测他的各种特征。我们既评估了客观特征，如性别、种族和头发颜色;也评估了主观特征，如一个人表达的情感，或者他是否幽默或有吸引力。为了进行大规模的实验，我们贡献了一个新的面部属性数据集（FAD），其中包含超过10，000张面部图像的上述特征的大约200，000个属性标签。由于最近对深度卷积神经网络（CNN）的研究激增，我们首先使用CNN架构来估计面部属性，并证明它们确实提供了令人印象深刻的基线性能。为了进一步提高性能，我们提出了一种新的方法，该方法将输入图像的面部地标信息作为额外的通道，帮助CNN学习更好的属性特定特征，以便各种训练图像中的地标保持对应关系。我们实证分析了我们的方法的性能，显示出跨特征的基线一致的改善。
2016-05-29 cs.CV
Pose-variant 3D Facial Attribute Generation
NEC Laboratories America（美国NEC实验室）；University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们解决了具有挑战性的问题，在不受约束的姿态使用一个单一的图像生成面部属性。与之前主要考虑在2D近正面图像上生成的工作相比，我们提出了一个基于GAN的框架，直接在UV纹理和位置图给出的密集3D表示上生成属性，从而产生逼真的，几何一致的和身份保持的输出。从一个自闭塞的UV纹理图，通过应用现成的3D重建方法，我们提出了两个新的组件。首先，纹理完成生成对抗网络（TC-GAN）完成部分UV纹理图。第二，3D属性生成GAN（3DA-GAN）合成目标属性，同时获得与3D面部几何形状一致的外观并保持身份。CelebA，LFW和IJB-A上的大量实验表明，我们的方法比以前的方法，更高程度的定性照片真实感和保留人脸身份信息，实现了更好的属性生成精度。
2019-07-24 cs.CV
AttDiff-GAN: A Hybrid Diffusion-GAN Framework for Facial Attribute Editing
GuangDong Province Key Lab of Information Security Technology and School of Computer Science and Engineering（广东信息安全技术重点实验室和计算机科学与工程学院）；School of Cyber Science and Technology, Shenzhen Campus（深圳校区网络科学与技术学院）；Guangdong Laboratory of Machine Perception and Intelligent Computing, Faculty of Engineering（广东机器感知与智能计算实验室，工程学院）
本文提出AttDiff-GAN框架，结合GAN属性操控与扩散图像生成，通过特征级对抗学习和PriorMapper、RefineExtractor提升风格-属性对齐，实现更精确的面部属性编辑。
2026-04-23 cs.CV
Pipeline Generative Adversarial Networks for Facial Images Generation with Multiple Attributes
Ocean University of China（中国海洋大学）
生成对抗网络被证明是有效的各种图像生成任务。然而，如果我们想要精确地生成图像，这仍然是一个挑战。如何生成具有单一属性的图像是众多研究者关注的焦点。但多属性下的图像生成仍然是一项艰巨的工作。在本文中，我们尝试使用流水线过程在多个约束下生成各种人脸图像。我们提出的Pip-GAN（管道生成对抗网络）采用管道网络结构，可以使用中性人脸图像逐步生成复杂的人脸图像。我们将我们的方法应用于两个人脸图像数据库，并证明了它能够在多种条件下生成令人信服的新图像。
2017-11-29 cs.CV
FaceSkin: A Privacy Preserving Facial skin patch Dataset for multi Attributes classification
China Merchants Bank（招商银行）
本文提出FaceSkin数据集，利用面部皮肤纹理进行年龄、种族和性别等多属性分类，并引入2D/3D攻击合成斑块以支持面部防伪和年龄估计等下游任务。
2023-08-09 cs.CV
CAFE-GAN: Arbitrary Face Attribute Editing with Complementary Attention Feature
Korea University（高丽大学）；Army Research Laboratory（陆军研究实验室）
人脸属性编辑的目标是根据给定的目标属性（如头发颜色、胡子、性别等）对人脸图像进行修改。它属于图像到图像的域转移问题，其中一组属性被视为一个独特的域。在多域传输问题中，已经有一些工作集中在使用生成对抗网络（GAN）的面部属性编辑上。这些方法已经取得了一些成功，但它们也会导致面部区域的意外变化-这意味着生成器会改变与指定属性无关的区域。为了解决这一问题，我们提出了一种新的GAN模型，该模型旨在通过补充注意力特征（CAFE）的概念来编辑与目标属性相关的人脸部分。CAFE通过考虑目标属性以及互补属性来识别待变换的面部区域，我们将互补属性定义为输入面部图像中不存在的那些属性。此外，我们引入了一个互补的特征匹配，以帮助训练的生成器，利用属性的空间信息。通过与现有方法的分析比较，证明了该方法的有效性。
2020-11-24 cs.CV
CooGAN: A Memory-Efficient Framework for High-Resolution Facial Attribute Editing
Shanghai Jiao Tong University（上海交通大学）；Huawei HiSilicon（华为海思）；Huawei（华为）
与在低分辨率下消耗存储器的面部编辑方法的巨大成功相反，为了操纵高分辨率（HR）面部图像，即，通常大于7682个像素，而存储器非常有限，这仍然是一个挑战。这是由于1）难以处理的巨大内存需求; 2）低效的多尺度特征融合。为了解决这些问题，我们提出了一种新颖的像素翻译框架，称为合作GAN（CooGAN）的人力资源面部图像编辑。该框架的特征在于用于细粒度局部面部补丁生成的局部路径（即，块级HR，低存储器）和用于全局低分辨率（LR）面部结构监测的全局路径（即，映像级LR，低内存），这大大降低了内存需求。两条路径在局部到全局一致性目标下以合作方式工作（即，用于平滑缝合）。此外，我们提出了一个更轻的选择性传输单元，更有效的多尺度特征融合，产生更高保真的面部属性操作。CelebAHQ上的大量实验很好地证明了所提出的框架的内存效率以及高图像生成质量。
2020-11-03 cs.CV
FaceGemma: Enhancing Image Captioning with Facial Attributes for Portrait Images
Uttara University（Uttara大学）；Manarat International University（Manarat国际大学）
本研究提出FaceGemma模型，通过结合面部标注属性、人工标注描述与提示工程微调PaliGemma，构建匹配属性的人像描述数据集，显著提升了人像图像描述的质量与准确性。
2024-07-13 cs.CV
AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination
Indian Statistical Institute（印度统计研究所）；Østfold University College（东福尔德大学学院）
人脸超分辨率方法的性能依赖于其有效恢复人脸结构和显著特征的能力。尽管基于卷积神经网络和生成对抗网络的方法在面部超分辨率任务上提供了令人印象深刻的性能，但使用与低分辨率图像相关联的属性来提高性能的能力并不令人满意。在本文中，我们提出了一个属性引导注意生成对抗网络，它采用新的属性引导注意（AGA）模块，以识别和集中在图像中的各种面部特征的生成过程。堆叠多个AGA模块能够恢复高级和低级面部结构。我们设计了一个基于高分辨率图像及其相应的面部属性注释之间关系的学习算法来学习判别特征。然后，我们探索使用基于U-Net的架构来改进现有的预测并合成进一步的面部细节。跨多个指标的广泛实验表明，我们的AGA-GAN和AGA-GAN+U-Net框架的性能优于其他几种最先进的人脸幻觉方法。我们还证明了我们的方法的可行性时，每个属性描述符是未知的，从而建立其在现实世界中的应用程序。
2021-11-20 cs.CV
A Reference-Based 3D Semantic-Aware Framework for Accurate Local Facial Attribute Editing
Carnegie Mellon University（卡内基梅隆大学）
提出一种融合潜变量与参考图像优势的3D语义感知面部属性编辑框架，通过3D GAN反演和从粗到细的修复策略实现精确、3D一致且保持图像完整性的局部属性修改。
2024-07-29 cs.CV
Maximized Posteriori Attributes Selection from Facial Salient Landmarks for Face Recognition
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Dr. B. C. Roy Engineering College（B. C. 罗伊工程学院）；Jadavpur University（贾达普大学）；University of Sassari（萨萨里大学）
本文提出了一种鲁棒的和动态的人脸识别技术的基础上提取和匹配的设计概率图的SIFT特征相关的独立的人脸区域。人脸匹配策略是基于匹配的个人显着的面部图，其特征在于SIFT功能连接到面部标志，如眼睛和嘴。为了减少人脸匹配的错误，应用Dempster-Shafer决策理论融合从每对显著人脸特征中获得的个体匹配分数。该算法与ORL和IITK人脸数据库进行了评估。实验结果表明，所提出的人脸识别技术的有效性和潜力的情况下，部分遮挡的脸。
2010-04-12 cs.CV
