Automatic cephalometric landmarks detection on frontal faces: an approach based on supervised learning techniques
University of Brasilia(巴西利亚大学);University of Campinas(坎皮纳斯大学);University of São Paulo(圣保罗大学);University of Granada(格拉纳达大学);Department of Federal Police(联邦警察局)
人脸标志点在人脸识别、颅面识别、年龄和性别估计等领域有着广泛的应用。在法医领域,重点是分析一组特定的面部标志,定义为头影测量标志。以前的工作表明,这些解剖参考的描述性充分的间接应用(照片人体测量描述)增加了这些点的标记精度,有助于这些分析的可靠性更高。然而,其中大多数是手工进行的,所有这些都是专家审查员固有的主观性。从这个意义上说,这项工作的目的是开发和验证的自动技术,以检测从数字图像的正面面孔在法医领域的头影测量标志。所提出的方法在监督学习过程中使用计算机视觉和图像处理技术的组合。所提出的方法获得了类似的精度,一组人类手动头影测量参考标记和结果是更准确的对其他国家的最先进的面部标志检测框架。它实现了0.014的归一化平均距离(像素)误差,类似于平均专家间离散度(0.009),明显优于其他自动方法(0.026和0.101)。
2019-04-24 cs.CV
Face Alignment with Cascaded Semi-Parametric Deep Greedy Neural Forests
Sorbonne Universités(索邦大学);UPMC Univ Paris 06(皮埃尔和玛丽·居里大学(巴黎第六大学));CNRS(法国国家科学研究中心)
人脸对齐是计算机视觉中的一个活跃的话题,包括在人脸上对齐形状模型。为此,大多数现代方法从最初的猜测开始,以级联的方式细化形状。这些形状更新可以应用于特征点空间(\textit{i.e.}显式更新)或低维参数空间。在本文中,我们提出了一个半参数级联,首先对齐参数形状,然后捕捉更细粒度的变形的显式形状。为了在每个级联阶段学习形状更新,我们引入了深度贪婪神经森林(GNF)模型,这是深度神经森林(NF)的改进版本。GNF似乎是人脸对齐的理想回归因子,因为它结合了可区分性,高表达性和快速评估运行时间。所提出的框架是非常快的,并在多个具有挑战性的基准测试,包括小型,中型和大型姿势实验,实现了高精度。
2017-03-05 cs.CV
Feature Selection via Sparse Approximation for Face Recognition
Institute of Information Science and Engineering, Central South University(中南大学信息科学与工程学院)
受生物视觉系统的启发,具有巨大基数的过完备局部特征在人脸识别中的应用越来越广泛。因此,特征选择变得越来越重要,在人脸数据描述和识别中起着至关重要的作用。本文提出了一种基于正则化框架的可训练特征选择人脸识别算法。通过在最小平方误差(MSE)准则下引入稀疏惩罚项,将特征选择问题转化为组合稀疏逼近问题,并利用贪婪算法或凸松弛算法求解.此外,基于同一框架,我们提出了一个稀疏Ho-Kashyap(HK)过程,同时获得最佳稀疏解和相应的边际向量的MSE准则。该方法用于选择最具信息量的人脸图像的Gabor特征进行识别,在基准人脸数据库上的实验结果证明了该方法的有效性。
2011-02-14 cs.AI cs.CV
Learning Deep Face Representation
Megvii Inc.(旷视科技有限公司)
人脸表示是人脸识别系统的关键步骤。最佳的人脸表示应该是有区别的,鲁棒的,紧凑的,并且非常容易实现。虽然已经提出了许多手工制作和基于学习的表示,但仍然存在相当大的改进空间。在本文中,我们提出了一个非常容易实现的用于人脸表示的深度学习框架。我们的方法基于一种新的深度网络结构(称为金字塔CNN)。所提出的金字塔CNN采用贪婪滤波和下采样操作,这使得训练过程非常快速和计算效率高。此外,Pyramid CNN的结构可以自然地包含跨多尺度人脸表示的特征共享,从而增加了结果表示的区分能力。我们的基本网络是能够实现高识别精度($85.8\%$ LFW基准),只有8维表示。当扩展到特征共享金字塔CNN时,我们的系统在LFW基准测试中达到了最先进的性能($97.3\%$)。我们还介绍了一个新的基准的真实感人脸图像的社会网络和验证我们提出的表示具有良好的泛化能力。
2014-03-12 cs.CV cs.LG
Hierarchical Modeling of Multidimensional Data in Regularly Decomposed Spaces: Applications in Image Analysis
这最后一个文档显示了图像分析中分层建模技术的逐步引入。第一章介绍了模式识别在工业应用领域的初步工作。第二章着重于这些技术在卫星图像中的使用,以及开发一个卫星数据存档系统,以便在数字地理学中使用这些技术。第三章是基于平面图像分析的人脸识别和部分隐藏模式的识别。本公开以描述与当前视频编码标准相关的静止或运动图像的自描述编码的未来系统而结束。正如在以前的文件中,它将被发现在附件算法针对图像分析根据两个互补的方法:-基于边界的方法,人工视觉的工业应用; -基于区域的方法,卫星图像分析。
2016-05-04 cs.CV
Greedy-DiM: Greedy Algorithms for Unreasonably Effective Face Morphs
Clarkson University(克拉克森大学)
针对人脸识别系统的扩散变形攻击未利用其迭代特性的问题,提出一种基于身份启发式函数引导的贪心采样策略,在SYN-MAD 2022数据集上以100%的MMPMR超越十种算法,成功欺骗所有测试系统。
2024-07-02 cs.AI cs.CV
Visual Recognition of Isolated Swedish Sign Language Signs
KTH(瑞典皇家理工学院)
我们提出了一种孤立的瑞典手语符号识别方法。该方法将用于一个游戏,旨在帮助儿童在家中训练手语,作为与教师培训的补充。目标群体主要不是聋哑儿童,而是有语言障碍的儿童。使用手语作为对话的辅助手段,已被证明可以极大地促进这些儿童的言语发展。签名者是用RGB-D(Kinect)传感器捕捉的,它比普通的RGB相机有三个优点。首先,它可以很容易地去除复杂的背景。我们根据肤色和深度信息分割手和脸。其次,它有助于解决手在脸上遮挡。第三,标志发生在3D中;标志的某些方面由垂直于图像平面的手部运动定义。如果深度是可观察的,则可以估计该运动。手相对于躯干的3D运动与手的形状一起被用作提示,并且使用该输入训练的Hacker被用于分类。为了获得更高的鲁棒性对签名者之间的差异,Fisher线性判别分析是用来找到最具描述性的每个标志的功能组合,无论签名者。实验表明,该系统可以区分标志,从一个具有挑战性的94字词汇的准确率高达94%,在签名人依赖的情况下,高达47%,在签名人独立的情况下。
2012-11-16 cs.CV
Pose-Selective Max Pooling for Measuring Similarity
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们处理的两个挑战,在实际的基于视频的人脸识别测量的主体身份的相似性-在不受控制的环境中的头部姿势的变化和处理视频的计算费用。由于逐帧特征均值无法表征帧之间的姿态多样性,因此我们定义并保留视频中的整体姿态多样性和接近度。然后,身份将是视频之间变化的唯一来源,因为即使在单个视频中,姿势也会发生变化。我们不是简单地使用所有帧,而是选择那些姿态点最接近包含该姿态点的K均值聚类的质心的人脸。然后,我们将视频表示为一组帧级深度人脸特征,而特征数量已从数百减少到K。由于视频表示可以很好地表示身份,现在我们将两个视频之间的主题相似性度量为两个特征包中所有可能对之间的最大相关性。在用于人脸验证的YouTube Face数据集的官方5,000个视频对上,我们的算法实现了与VGG-face相当的性能,该性能平均超过了所有帧的深度特征。其他视觉任务也可以受益于采用几何线索来提高深度特征的连续性的一般想法。
2016-11-14 cs.AI cs.CV cs.LG
Masked Face Recognition with Generative-to-Discriminative Representations
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security at University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Cloud Music Inc.(网易云音乐);Department of Communication Engineering, Shanghai University(上海大学通信工程系)
提出统一深度网络,通过生成式编码器与判别式重构器学习遮挡鲁棒表征,结合关系知识蒸馏,有效提升掩蔽人脸识别性能。
2024-05-27 cs.AI cs.CV cs.LG
Confidence-Weighted Local Expression Predictions for Occlusion Handling in Expression Recognition and Action Unit detection
Sorbonne Universités, UPMC Univ Paris 06, CNRS, ISIR UMR 7222(索邦大学,巴黎第六大学,法国国家科学研究中心,ISIR UMR 7222)
从静止图像中进行全自动面部表情识别(FER)是一项具有挑战性的任务,因为它涉及处理大的人际形态差异,并且偶尔会发生部分遮挡。此外,标记表达式是一个耗时的过程,易于主观性,因此训练数据可能无法完全覆盖可变性。在这项工作中,我们建议训练随机森林上空间定义的局部子空间的脸。输出的本地预测形成了一个分类表达式驱动的高级表示,我们称之为本地表达式预测(LEP)。LEP可以组合来描述分类面部表情以及动作单元(AU)。此外,LEP可以通过自动编码器网络提供的置信度得分来加权。这种网络被训练成以分层方式局部捕获非遮挡训练数据的流形。大量的实验表明,所提出的LEP表示产生高的描述能力的分类表达式和AU发生预测,并导致有趣的观点对遮挡鲁棒性和置信度感知FER系统的设计。
2016-07-21 cs.CV
I-ViSE: Interactive Video Surveillance as an Edge Service using Unsupervised Feature Queries
Binghamton University, SUNY(纽约州立大学宾汉姆顿分校);The U.S. Air Force Research Laboratory(美国空军研究实验室)
态势感知(SAW)对于许多关键任务应用至关重要。然而,SAW在试图从数千个视频帧中立即识别感兴趣的对象或放大可疑活动时非常具有挑战性。这项工作的目的是开发一个可查询的系统,即时选择感兴趣的内容。虽然人脸识别技术已经成熟,但在公共安全监控等许多场景中,感兴趣对象的特征可能比人脸特征复杂得多。此外,人类操作员可能并不总是能够提供描述性的、简单的和准确的查询。事实上,更多的情况是对某些可疑物体或事故只有粗略的、笼统的描述。提出了一种基于无监督特征查询的交互式视频监控边缘服务(I-ViSE)。I-ViSE方案采用不泄露任何私人信息的无监督方法,利用人体的一般特征和衣服的颜色。根据边缘雾计算范式构建了一个I-ViSE原型,实验结果验证了I-ViSE方案在不到2秒的时间内满足场景识别的设计目标。
2020-03-09 cs.CV cs.DC cs.MM
Robust Boosting Forests with Richer Deep Feature Hierarchy
University of Pennsylvania(宾夕法尼亚大学)
我们提出了一种增强森林的鲁棒变体,用于各种对抗性防御方法,并将其应用于增强深度神经网络的鲁棒性。我们保留了深度网络的架构、权重和中间层特征,然后安装梯度提升森林,从深度网络的每一层中选择特征,并预测目标。为了训练每个决策树,我们提出了一种新的保守和贪婪的权衡,考虑较少的误预测,而不是纯增益函数,因此是次优和保守的。我们积极地增加树的深度,以弥补在更多特征中分裂的准确性,在增加树的深度时更加贪婪。我们提出了一个新的任务,三维人脸模型,其鲁棒性还没有仔细研究,尽管有很大的安全性和隐私问题的人脸分析。我们尝试了一种简单的攻击方法在纯卷积神经网络(CNN)的人脸形状估计,使其退化到只输出平均人脸形状与不可见的扰动。我们在人脸地标数据集上的保守贪婪提升森林(CGBF)在对抗攻击下比原始的纯深度学习方法有很大的改进。
2022-10-29 cs.CV cs.LG stat.AP
Face-Cap: Image Captioning using Facial Expression Analysis
Macquarie University(麦考瑞大学);The Australian National University(澳大利亚国立大学)
图像描述是生成图像的自然语言描述的过程。然而,大多数当前的图像描述模型没有考虑图像的情感方面,情感方面与其中表示的活动和人际关系非常相关。为了开发一个模型,可以产生类似人类的字幕,将这些,我们使用的面部表情特征提取的图像,包括人脸,以提高模型的描述能力的目的。在这项工作中,我们提出了我们的Face-Cap模型的两个变体,以不同的方式嵌入面部表情特征,以生成图像字幕。使用所有标准评估指标,我们的Face-Cap模型在应用于从标准Flickr 30 K数据集提取的图像标题数据集时,性能优于最先进的基线模型,该数据集由约11 K包含人脸的图像组成。对字幕的分析发现,也许令人惊讶的是,字幕质量的提高似乎不是来自于添加与图像情感方面相关的形容词,而是来自于字幕中描述的动作的更多变化。
2019-01-25 cs.CV
EfficientFace: An Efficient Deep Network with Feature Enhancement for Accurate Face Detection
Nanjing Normal University(南京师范大学);East China Normal University(华东师范大学);Jiangsu University(江苏大学);Southeast University(东南大学)
近年来,深度卷积神经网络(CNN)显著地推进了人脸检测。特别是,轻量级的基于CNN的架构已经取得了巨大的成功,由于其低复杂度的结构,促进实时检测任务。然而,目前轻量级的基于CNN的人脸检测器交易效率的准确性有不足的能力,在处理不足的特征表示,面对不平衡的长宽比和遮挡。因此,它们表现出远远落后于深重型探测器的性能恶化。为了在不牺牲准确性的情况下实现高效的人脸检测,我们在这项研究中设计了一个高效的深度人脸检测器EfficientFace,它包含三个功能增强模块。首先,我们设计了一种新的跨尺度特征融合策略,以促进自下而上的信息传播,从而进一步加强了低层和高层特征的融合。此外,这有利于估计人脸的位置,提高人脸特征的描述能力。其次,我们引入了一个接收场增强模块,考虑各种宽高比的面孔。第三,我们增加了一个注意力机制模块,以提高被遮挡人脸的表征能力。我们已经在四个公共基准上评估了EfficientFace,实验结果证明了我们方法的吸引力。特别是,我们的模型在WIDER Face数据集的验证集上分别达到了95.1%(Easy),94.0%(Medium)和90.1%(Hard),这与重量级模型相比具有竞争力,其计算成本仅为最先进的MogFace检测器的1/15。
2023-02-23 cs.CV
MAUGen: A Unified Diffusion Approach for Multi-Identity Facial Expression and AU Label Generation
MAUGen通过统一的扩散方法生成多身份面部表情和AU标签,提升面部动作单元识别系统的泛化能力。
2026-01-31 cs.AI cs.CV