BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs
Google Research(谷歌研究院)
我们提出了BlazeFace,这是一个轻量级且性能良好的人脸检测器,专为移动GPU推理量身定制。它在旗舰设备上以200-1000+ FPS的速度运行。这种超实时性能使其能够应用于任何增强现实管道,这些管道需要准确的面部感兴趣区域作为特定任务模型的输入,例如2D/3D面部关键点或几何估计,面部特征或表情分类以及面部区域分割。我们的贡献包括一个轻量级的特征提取网络的灵感,但不同于MobileNetV 1/V2,一个GPU友好的锚计划修改Single Shot MultiBox Detector(SSD),和改进的领带分辨率策略替代非最大抑制。
2019-07-14 cs.CV
FaceLiVTv2: An Improved Hybrid Architecture for Efficient Mobile Face Recognition
Department of Electro-Optics, National Formosa University(国立虎尾科技大学光电工程系);Department of Electrical Engineering, National Taipei University(国立台北大学电机工程系);College of Artificial Intelligence and Green Energy, National Yang Ming Chiao Tung University(国立阳明交通大学人工智能与绿色能源学院)
本文提出FaceLiVTv2,通过轻量级全局-局部特征交互模块提升移动人脸识别的准确率与效率平衡,实验显示其在多个数据集上均优于现有方法,显著降低推理延迟。
2026-04-10 cs.CV
Steadiface: Real-Time Face-Centric Stabilization on Mobile Phones
Google Inc.(谷歌公司)
我们提出了Steadiface,一种新实时的【形】以面部为中心的视频稳定方法,同时消除手抖,并保持主体的头部稳定。我们使用CNN来估计面部标志,并使用它们来优化稳定的头部中心。然后,我们制定了一个优化问题,以找到一个虚拟相机的姿态,将面部定位到稳定的头部中心,同时保持跨帧的平滑旋转和平移过渡。我们在现场测试视频上测试了所提出的方法,并表明它稳定了头部运动和背景。它是强大的大头部姿势,遮挡,面部外观变化,和不同种类的相机运动。通过与替代方法进行比较,我们表明我们的方法在自拍视频稳定方面取得了进步。整个过程在现代移动电话上非常有效地运行(8.1毫秒/帧)。
2019-05-03 cs.CV
Facial Masks and Soft-Biometrics: Leveraging Face Recognition CNNs for Age and Gender Prediction on Mobile Ocular Images
Halmstad University(哈尔姆斯塔德大学);University of Balearic Islands(巴利阿里群岛大学)
我们解决了使用智能手机拍摄的自拍眼部图像来估计年龄和性别的问题。由于强制使用口罩,部分面部遮挡已成为一个问题。此外,流动设备的使用激增,疫情进一步加快了向数字服务的迁移。然而,相关任务(例如身份或表情识别)中的现有技术解决方案采用大型卷积神经网络,由于硬件限制和可下载应用程序的大小限制,其在移动设备中的使用是不可行的。为了解决这个问题,我们调整了在ImageNet挑战赛中提出的两个现有的轻量级CNN,以及为移动人脸识别提出的两个额外的架构。由于使用自拍图像进行软生物特征预测的数据集有限,我们通过使用在ImageNet上预训练的网络来抵消过度拟合。此外,一些网络还被进一步预训练用于人脸识别,对于人脸识别,非常大的训练数据库是可用的。由于这两个任务采用相似的输入数据,我们假设,这种策略可以是有益的软生物特征估计。对所采用的架构进行了不同预训练的效果的全面研究,结果表明,在大多数情况下,在对网络进行微调以进行人脸识别后,可以获得更好的准确性。
2021-05-04 cs.CV
Migrating Face Swap to Mobile Devices: A lightweight Framework and A Supervised Training Solution
iQIYI Inc(爱奇艺公司);Nanjing University(南京大学)
现有的人脸交换方法严重依赖于大规模网络的足够容量来生成视觉上合理的结果,这限制了其在资源受限平台上的应用。在这项工作中,我们提出了MobileFSGAN,一种新的轻量级GAN的人脸交换,可以运行在移动设备上,参数少得多,同时实现有竞争力的性能。设计了一个轻量级的编解码器结构,专门用于图像合成任务,它只有10.2MB,可以在移动设备上以实时速度运行。为了解决训练这样一个小网络的不稳定性,我们利用面部属性编辑技术构建了FSTriplets数据集。FSTriplets提供源-目标-结果训练三元组,产生像素级标签,从而首次使训练过程受到监督。我们还设计了多尺度梯度损失,以实现高效的反向传播,从而实现更快更好的收敛。实验结果表明,我们的模型达到了与最先进的方法相当的性能,同时显着减少了网络参数的数量。代码和数据集已经发布。
2022-04-13 cs.CV
FaceLiVT: Face Recognition using Linear Vision Transformer with Structural Reparameterization For Mobile Device
Department of Electro-Optics Engineering, National Formosa University, Taiwan(国立FORMOSA大学光电工程系);Department of Electrical Engineering, National Taipei University, Taiwan(国立台北大学电机工程系);Department of Electrical Engineering, University of Muhammadiyah Malang, Indonesia(穆罕默迪亚大学Malang分校电子工程系);College of Artificial Intelligence and Green Energy, National Yang Ming Chiao Tung University, Taiwan(阳明交通大学人工智能与再生能源学院)
FaceLiVT通过结合结构重参数化的线性视觉变换器和多头线性注意力机制,实现了在移动设备上高效且准确的人脸识别
2025-06-12 cs.CV
RSTAM: An Effective Black-Box Impersonation Attack on Face Recognition using a Mobile and Compact Printer
Nanjing University(南京大学)
得益于深度神经网络的发展,人脸识别近年来取得了长足的进步,但最近发现,深度神经网络容易受到对抗性样本的影响。这意味着基于深度神经网络的人脸识别模型或系统也容易受到对抗性样本的影响。然而,现有的攻击人脸识别模型或系统的方法可以有效地完成白盒攻击,而不是黑盒模仿攻击,物理攻击,或方便的攻击,特别是对商业人脸识别系统。在本文中,我们提出了一种新的方法来攻击人脸识别模型或系统,称为RSTAM,它可以使用移动和紧凑的打印机打印的对抗性面具进行有效的黑盒模仿攻击。首先,RSTAM通过我们提出的随机相似性转换策略增强了对抗面具的可转移性。此外,我们提出了一种随机元优化策略,用于集成多个预训练的人脸模型,以生成更通用的对抗面具。最后,我们在CelebA-HQ,LFW,Makeup Transfer(MT)和CASIA-FaceV 5数据集上进行了实验。攻击的性能也在最先进的商业人脸识别系统上进行了评估:Face++,百度,阿里云,腾讯和微软。大量的实验表明,RSTAM可以有效地执行黑盒模仿攻击的人脸识别模型或系统。
2022-06-25 cs.CV
MobileFaceNets: Efficient CNNs for Accurate Real-Time Face Verification on Mobile Devices
Beijing Jiaotong University(北京交通大学)
我们提出了一类非常高效的CNN模型MobileFaceNets,它使用不到100万个参数,专门为移动和嵌入式设备上的高精度实时的【形】人脸验证量身定制。我们首先对常见的移动网络进行人脸验证的弱点进行了简单分析。我们专门设计的MobileFaceNets已经很好地克服了这一弱点。在相同的实验条件下,我们的MobileFaceNets实现了显著优越的准确性,以及超过MobileNetV 2的2倍的实际加速。在经过改进的MS-Celeb-1 M上的ArcFace损失训练后,我们的4.0MB大小的单个MobileFaceNet在LFW上达到99.55%的准确率,在MegaFace上达到92.59%的TAR@FAR1e-6,这甚至可以与数百MB大小的最先进的大型CNN模型相媲美。最快的MobileFaceNets在手机上的实际推理时间为18毫秒。对于人脸验证,MobileFaceNets比以前最先进的移动CNN实现了显着提高的效率。
2018-06-15 cs.CV cs.LG
Enhancing Mobile Privacy and Security: A Face Skin Patch-Based Anti-Spoofing Approach
China Merchants Bank(招商银行)
本文针对人脸防欺骗中隐私泄露和加解密耗时问题,提出基于纯面部皮肤块图像的防欺骗算法,无需加解密,并在多个公开数据集上验证了其在准确性和速度上的优势。
2023-08-09 cs.CV
Accelerating Proposal Generation Network for \\Fast Face Detection on Mobile Devices
University of Southern California(南加州大学);Samsung Research America(三星美国研究院)
人脸检测是近几十年来被广泛研究的问题。近年来,深度神经网络已经取得了显著的进步,然而,由于其有限的计算能力和内存,直接将这些技术应用于移动设备仍然具有挑战性。在这项工作中,我们提出了一个实时人脸检测的建议生成加速框架。更具体地说,我们采用了流行的级联卷积神经网络(CNN)作为基础,然后在基本框架上应用我们的加速方法来加快模型推理时间。我们的动机是观察到,这个框架的计算瓶颈来自建议生成阶段,其中密集图像金字塔的每个级别都必须通过网络。在这项工作中,我们通过利用全局和局部面部特征(即,全局面部和面部部分)。在公共基准测试WIDER-face和FDDB上的实验结果表明,与现有技术相比,该方法具有令人满意的性能和更快的速度。%的可比精度与最先进的速度更快。
2019-04-27 cs.CV
Joint Estimation of Age and Gender from Unconstrained Face Images using Lightweight Multi-task CNN for Mobile Applications
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
基于无约束图像的自动年龄和性别分类已经成为移动设备上的基本技术。在有限的计算能力下,如何开发一个健壮的系统成为一个具有挑战性的任务。在本文中,我们提出了一种高效的卷积神经网络(CNN),称为轻量级多任务CNN,用于同时进行年龄和性别分类。轻量级多任务CNN使用深度可分离卷积来减少模型大小并节省推理时间。在公开的Adience数据集上,年龄和性别分类的准确性优于基线多任务CNN方法。
2018-06-06 cs.CV
Specular- and Diffuse-reflection-based Face Spoofing Detection for Mobile Devices
NEC Biometrics Research Laboratories(NEC生物识别研究实验室);NEC Corporation(NEC公司)
鉴于对生物特征认证系统的需求不断增长,防止面部欺骗攻击是面部识别系统安全部署的关键问题。在这里,我们提出了一个高效的人脸呈现攻击检测(PAD)算法,需要最少的硬件和只有一个小的数据库,使其适合于资源受限的设备,如手机。利用一个单目可见光摄像头,该算法采取了两个面部照片,一个闪光灯,另一个没有闪光灯。所提出的$SpecDiff$描述符通过利用两种类型的反射来构造:(i)来自虹膜区域的镜面反射,其具有取决于活性的特定强度分布,以及(ii)来自表示对象面部的3D结构的整个面部区域的漫反射。使用$SpecDiff$描述符训练的分类器在内部数据库和公开可用的NUAA、Replay-Attack和SiW数据库上的性能优于其他基于闪存的PAD算法。此外,所提出的算法实现了统计上显著更好的准确性,一个端到端,深度神经网络分类器,而大约六倍的执行速度。该代码可在https://github.com/Akinori-F-Ebihara/SpecDiff-spoofing-detector上公开获取。
2020-12-16 cs.CV
Aurora Guard: Reliable Face Anti-Spoofing via Mobile Lighting System
Tencent YouTu Lab(腾讯优图实验室);Xiamen University(厦门大学)
移动端的人脸认证已经广泛应用于各种场景。尽管先进的人脸认证/验证系统对眨眼和微妙的面部表情等变化的可靠性越来越高,但针对纸质照片或数字视频的高分辨率渲染重放的反欺骗仍然是一个悬而未决的问题。在本文中,我们提出了一个简单而有效的人脸反欺骗系统,称为极光后卫(AG)。该系统首先通过光线反射分析提取正常线索,然后采用端到端可训练的多任务卷积神经网络(CNN)精确恢复主体的内在深度和材质图以辅助活性分类,并在回归分支中采用轻型CAPTCHA检查机制以进一步提高系统的可靠性。在公开的Replay-Attack和CASIA数据集上的实验证明了该方法的优点。我们还在一个包含12,000个真实和多样化欺骗样本的大规模数据集上进行了广泛的实验,这进一步验证了我们的方法在野外的泛化能力。
2021-02-01 cs.CV
3D Face Reconstruction with Region Based Best Fit Blending Using Mobile Phone for Virtual Reality Based Social Media
University of Tartu(塔尔图大学);Hasan Kalyoncu University(哈桑·卡尔永库大学)
虚拟现实(VR)的使用呈指数级增长,因此许多研究人员已经开始致力于开发新的基于VR的社交媒体。为此目的,重要的是具有看起来像他们的用户的化身,以便由可访问的设备(诸如移动电话)容易地生成。在本文中,我们提出了一种新的方法来重建一个3D人脸模型与手机摄像头图像或视频数据捕获。该方法更侧重于模型的形状比纹理,以使人脸可识别。我们检测到68个面部特征点,并使用它们将人脸分成四个区域。对于每个区域,找到最佳拟合模型,并进一步变形组合以找到每个区域的最佳拟合模型。然后将这些组合并进一步变形,以恢复原始的面部比例。我们还提出了一种纹理生成方法,其中上述特征点用于生成纹理的结果模型
2017-12-12 cs.CV
Facial Landmark Detection Evaluation on MOBIO Database
West Virginia University(西弗吉尼亚大学)
本文首次在MOBIO移动人脸数据库上评估人脸关键点检测,标注约20,600张图像的22个关键点,验证该数据库具有较高挑战性。
2023-07-06 cs.CV
Privacy Preserving Face Retrieval in the Cloud for Mobile Users
Beijing Electronic Science and Technology Institute(北京电子科技学院);Chinese Academy of Sciences(中国科学院)
最近,云存储和处理已被广泛采用。一个家庭或一个团队中的移动用户可以自动将他们的照片备份到相同的共享云存储空间。由第三方训练和提供的强大的面部检测器可以用于从云存储服务器检索包含特定人群的照片集合。然而,移动用户的隐私可能会泄露给云服务器提供商。同时,人脸检测器的版权也应该受到保护。因此,在本文中,我们提出了一个协议的隐私保护人脸检索在云中的移动用户,同时保护用户的照片和人脸检测器。云服务器只提供存储和计算资源,不能学习用户照片和人脸检测器的任何内容。我们在几个家庭和类中测试我们的协议。实验结果表明,我们的协议可以成功地从云服务器检索正确的照片,并保护用户的照片和人脸检测器。
2017-08-09 cs.CR cs.CV
Adaptation of MobileNetV2 for Face Detection on Ultra-Low Power Platform
CSEM(瑞士电子与微技术中心);EPFL(洛桑联邦理工学院)
设计在边缘硬件上运行的深度神经网络(DNN)仍然是一个挑战。标准设计已被社区采用,以促进神经网络模型的部署。然而,没有太多的重点放在适应网络拓扑结构,以适应硬件的限制。在本文中,我们采用了移动硬件平台MobileNetV2最广泛使用的架构之一,并研究了改变其拓扑结构和应用后训练量化的影响。我们讨论的适应和部署的模型上的嵌入式硬件平台的人脸检测的影响。
2022-08-23 cs.CV cs.LG
SqueezeFacePoseNet: Lightweight Face Verification Across Different Poses for Mobile Platforms
School of Information Technology, Halmstad University(哈尔姆斯塔德大学信息技术学院);Facephi Biometria(Facephi生物识别公司)
本文提出适配仅4.4MB的SqueezeNet模型实现跨姿态轻量级人脸验证,在MS-Celeb-1M和VGGFace2上训练后,在正面与侧面比较中EER为1.23%,正面图像对中EER<0.3%,FAR=0.1%时FRR<1%,并测试了2.5MB的更轻量版本。
2025-02-03 cs.CV
Real-time Facial Surface Geometry from Monocular Video on Mobile GPUs
Google Research(谷歌研究院)
我们提出了一个端到端的神经网络为基础的模型推断一个近似的三维网格表示的人脸从单个摄像机输入的AR应用程序。468个顶点的相对密集的网格模型非常适合基于面部的AR效果。该模型在移动GPU上展示了超实时推理速度(100-1000+ FPS,取决于设备和模型变体)和高预测质量,可与同一图像的手动注释差异相媲美。
2019-07-15 cs.CV
SeesawFaceNets: sparse and robust face verification model for mobile platform
DiDiChuxing(滴滴出行)
深度卷积神经网络(DCNN)是计算机视觉相关任务中使用最广泛的解决方案,其中最重要的应用场景之一是人脸验证。由于其高精度的性能,深度人脸验证模型的推理阶段发生在云平台上通过互联网在大多数实际场景中起着关键作用。然而,存在两个关键问题:首先,个人隐私可能没有得到很好的保护,因为他们必须将个人照片和其他私人信息上传到在线云后端。其次,无论是训练还是推断阶段都是耗时的,并且延迟可能会影响客户体验,特别是当互联网链路速度不太稳定或在移动接收不太好的偏远地区时,而且在建筑物和其他建筑物可能阻挡移动信号的城市中。因此,设计具有低内存需求和计算成本的轻量级网络是移动平台上人脸验证最实用的解决方案之一。在本文中,一种新的移动网络名为SeesawFaceNets,一个简单而有效的模型,提出了高效地部署移动设备的人脸识别。密集的实验结果表明,我们提出的模型SeesawFaceNets优于基线MobileFaceNets,只有{ \bf 66\%}(146 M VS 221 M MAds)计算成本,更小的批量大小和更少的训练步骤,和SeesawFaceNets实现了与其他SOTA模型相当的性能,例如仅具有{ \bf 54.2\%}的mobiface(1.3 M VS 2.4 M)参数和{ \bf 31.6\%}(146 M VS 462 M MAdds)计算成本,它最终也在所有5个上市的公共验证数据集上…
2019-12-01 cs.CV cs.LG
Face Mask Assistant: Detection of Face Mask Service Stage Based on Mobile Phone
East China Normal University(华东师范大学);University of Guelph(圭尔夫大学)
2019冠状病毒病(COVID-19)自2019年12月大规模爆发以来,已蔓延至全球各地,给全世界造成了巨大损失。无论是确诊病例还是死亡病例,都达到了一个比较恐怖的数字。引起COVID-19的冠状病毒2型综合征(SARS-CoV-2)可通过呼吸道飞沫传播。从源头上遏制其传播,戴口罩是一种便捷有效的措施。在大多数情况下,人们使用口罩的频率很高,但时间很短。针对目前口罩检测中不知道口罩属于哪个服务阶段的问题,提出了一种基于手机的口罩检测系统。我们首先从人脸微照片的灰度共生矩阵中提取四个特征。其次,利用KNN算法实现了一个三结果检测系统。验证实验结果表明,我们的系统可以达到82.87%(标准偏差=8.5%)的测试数据集的准确率。在未来的工作中,我们计划将检测对象扩展到更多的掩码类型。这项工作表明,所提出的移动显微镜系统可以作为正在使用的口罩的助手,这可能在抗击COVID-19方面发挥积极作用。
2020-10-09 cs.CV cs.LG
Partial Face Detection for Continuous Authentication
University of Maryland, College Park(马里兰大学帕克分校);Rutgers, The State University of New Jersey(罗格斯大学新泽西州立大学);Google Inc.(谷歌公司)
本文提出了一种基于局部的移动设备上用户面部实时的检测技术。此方法专门设计用于检测使用智能手机前置摄像头捕获的部分裁剪和遮挡的面部,以进行连续身份验证。其核心思想是检测帧中的人脸片段,并对结果进行聚类,以获得最有可能包含人脸的区域。在50个用户的移动数据集上进行的广泛实验表明,我们的方法在准确性和处理速度方面优于许多最先进的人脸检测方法。
2016-03-30 cs.CV
A Novel Nudity Detection Algorithm for Web and Mobile Application Development
Chittagong University of Engineering and Technology(吉大港工程技术大学)
在我们目前的Web和移动应用开发运行时,裸体图像内容检测是非常重要的。本文提出了一种适用于Web和移动应用开发的运行时裸体检测方法。我们使用两个参数来检测图像的裸体内容。一个是皮肤像素数,另一个是人脸区域。使用基于RGB、HSV颜色空间的肤色模型检测图像中的皮肤像素。Google vision api用于检测人脸区域。通过皮肤区域和面部区域的百分比来识别图像是否裸体。该算法的成功之处在于检测皮肤区域和人脸区域。皮肤检测算法可以以较低的假阳性率准确地检测到95%的皮肤,而google vision api的web和移动应用程序可以在不到1秒的时间内准确地检测到99%的人脸。从实验分析中可以看出,该算法可以准确地检测出95%以上的裸露图像。
2020-06-28 cs.CV cs.MM
Design of a Mobile Face Recognition System for Visually Impaired Persons
The University of the South Pacific(南太平洋大学);Software Foundation(软件基金会)
据估计,全球有2.85亿人视力受损。这些人大多数生活在发展中国家,属于老年人口。视力受损者面临的最困难的任务之一是识别人。虽然自然地,话音识别是一种常见的识别方法,但它是一个直观而困难的过程。移动设备计算能力的提高促使人们开发能够帮助视力受损者的应用程序。随着移动设备的出现,这些人可以通过基于计算机视觉技术的智能软件获得额外的识别方法。在本文中,我们提出了一个设计和实现的人脸检测和识别系统的视障人士通过使用移动计算。该移动系统由基于服务器的支持系统提供协助。该系统在一个定制的视频数据库上进行了测试。实验结果表明,在适当的条件下,人脸检测和人脸识别的准确率较高。该系统的挑战在于更好的识别技术,以应对照明和天气方面的困难情况。
2015-06-03 cs.CV cs.CY cs.HC
Towards Protecting Face Embeddings in Mobile Face Verification Scenarios
Idiap Research Institute(Idiap研究所)
本文提出PolyProtect方法,通过用户特定多项式映射保护移动人脸验证中的嵌入,在完全知情攻击者威胁下实现准确性与不可逆性的平衡,并确保模板不可关联。
2022-01-27 cs.CR cs.CV
Attention-based Partial Face Recognition
Technical University of Munich(慕尼黑工业大学)
在不受约束的环境中捕获的人脸照片,例如大量人群,仍然构成了当前人脸识别方法的挑战,因为人脸经常被前景中的物体或人遮挡。然而,很少有研究已经解决了识别部分面孔的任务。在本文中,我们提出了一种新的方法来部分人脸识别能够识别人脸与不同的遮挡区域。我们通过将ResNet的中间特征图的注意力池与单独的聚合模块相结合来实现这一点。我们进一步调整常见的损失,以部分脸,以确保注意力地图是多样化的,并处理被遮挡的部分。我们的全面分析表明,我们在多个基准协议下的表现优于所有基线,包括自然和合成遮挡的部分人脸。这表明我们的方法成功地集中在被遮挡的面部的相关部分。
2021-06-14 cs.CV
Probing Fairness of Mobile Ocular Biometrics Methods Across Gender on VISOB 2.0 Dataset
Wichita State University(威奇托州立大学)
最近的研究质疑基于人脸的识别和属性分类方法(如性别和种族)对深肤色人群和女性的公平性。可见光谱中的眼部生物识别是面部生物识别的替代解决方案,这要归功于其准确性,安全性,对面部表情的鲁棒性以及在移动设备中的易用性。随着最近的COVID-19危机,在口罩存在的情况下,眼部生物识别技术比面部生物识别技术具有进一步的优势。然而,眼睛生物特征识别的公平性至今尚未得到研究。第一项研究旨在探讨基于视觉的身份验证和性别分类方法在男性和女性之间的公平性。为此,VISOB $2.0$数据集及其性别注释用于基于ResNet-50,MobileNet-V2和lightCNN-29模型的眼部生物识别方法的公平性分析。实验结果表明,在较低的假匹配率(FMR)和整体曲线下面积(AUC)的真实匹配率(GMR)方面,男性和女性的基于视觉的移动用户认证的性能相当。例如,对于lightCNN-29,平均获得女性0.96的AUC和男性0.95的AUC。然而,在基于眼区域的基于深度学习的性别分类模型中,男性的表现明显优于女性。
2020-11-17 cs.CV
Face Deblurring using Dual Camera Fusion on Mobile Phones
Google(谷歌)
快速移动的物体的运动模糊是摄影中的一个长期问题,并且由于有限的光收集效率,特别是在低光条件下,在移动电话上非常常见。虽然近年来我们在图像去模糊方面取得了很大的进展,但大多数方法都需要大量的计算能力,并且在处理具有严重局部运动的高分辨率照片时存在局限性。为此,我们开发了一种新的基于双摄像头融合技术的手机人脸去模糊系统。该系统检测对象运动以动态地启用参考相机,超广角相机通常在最近的高端手机上提供,并捕捉一个辅助照片与更快的快门设置。虽然主镜头是低噪但模糊的,但参考镜头是尖锐但嘈杂的。我们学习ML模型来对齐和融合这两张照片,并输出一张没有运动模糊的清晰照片。我们的算法在Google Pixel 6上高效运行,每次拍摄需要463 ms的开销。我们的实验证明了我们的系统对替代单图像,多帧,面部特定的,视频去模糊算法以及商业产品的优势和鲁棒性。据我们所知,我们的工作是第一个面部运动去模糊的移动解决方案,在不同的运动和照明条件下,在数千张图像上可靠而稳健地工作。
2022-07-23 cs.CV cs.GR
Teacher's Perception in the Classroom
University of Tübingen(图宾根大学);Technical University of Munich(慕尼黑工业大学);Leibniz-Institut für Wissensmedien(莱布尼茨知识媒体研究所)
教师在课堂上让所有学生参与主动学习过程的能力是提高学生成绩的重要先决条件。教师的注意过程提供了重要的见解,教师的能力,把他们的注意力集中在相关的信息,在课堂互动的复杂性,并分配他们的注意力在学生之间,以认识到相关的学习需要。在这种背景下,移动眼动追踪是教学效果研究中的一种创新方法,可以捕捉教师在教学时的注意力过程。然而,手动分析移动眼动追踪数据非常耗时,而且仍然受到限制。在本文中,我们介绍了一种新的方法,以提高移动眼动跟踪的影响,将其与计算机视觉。在移动眼动追踪视频从教育研究中使用标准化的小团体的情况下,我们采用了最先进的人脸检测器,创建人脸tracklet,并引入了一种新的方法来聚类到身份的数量。随后,通过关联眼动追踪注视和面部轨迹来计算每个学生在教学单元期间的教师注意力焦点。据我们所知,这是第一个将计算机视觉和移动眼动追踪结合起来的工作,以模拟教师在指导时的注意力。
2018-05-22 cs.CV
Adaptive Feature Fusion Network for Gaze Tracking in Mobile Tablets
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室)
最近,已经提出了许多多流注视估计方法。他们从眼睛和面部外观估计凝视,并达到合理的准确性。然而,大多数方法只是简单地连接从眼睛和面部外观提取的特征。特征融合过程被忽略了。在本文中,我们提出了一种新的自适应特征融合网络(AFF-Net),它在移动平板电脑上执行视线跟踪任务。我们堆叠两只眼睛的特征图,并利用挤压和激励层自适应融合两只眼睛的功能,根据他们的外观相似性。同时,我们还提出了自适应组归一化方法,在面部特征的指导下重新校准眼睛特征。在GazeCapture和MPIIFaceGaze数据集上进行的大量实验表明,所提出的方法具有一贯的优越性能。
2021-03-20 cs.CV
Large-scale Datasets: Faces with Partial Occlusions and Pose Variations in the Wild
Wayne State University(韦恩州立大学)
人脸检测方法依赖于人脸数据集进行训练。然而,现有的人脸数据集往往是在小规模的人脸学习在约束和无约束的环境。在本文中,我们首先介绍了我们的大规模图像数据集,大规模标记人脸(LSLF)和嘈杂的大规模标记非人脸(LSLNF)。我们的LSLF数据集由大量无约束的多视图和部分遮挡的人脸组成。人脸在颜色和灰度、图像质量、图像分辨率、图像照明、图像背景、图像错觉、人脸、卡通脸、面部表情、轻微和严重的部分面部遮挡、化妆、性别、年龄和种族方面有许多变化。这些面部中的许多面部被诸如纹身、帽子、眼镜、太阳镜、手、头发、胡子、围巾、麦克风或其他物体或人的配件部分地遮挡。LSLF数据集是目前文献中最大的标记人脸图像数据集,与其他现有的标记人脸图像数据集相比,标记图像的数量和个体的数量。其次,我们介绍了我们的CrowedFaces和CrowedNonFaces图像数据集。crowedFaces和crowedNonFaces数据集包括拥挤场景中的人脸和非人脸图像。这些数据集的主要目的是为研究人员提供大量的训练样本,具有许多变化的大规模人脸学习和人脸识别任务。
2017-06-27 cs.CV
Segment-based Methods for Facial Attribute Detection from Partial Faces
University of Maryland, College Park(马里兰大学帕克分校)
最先进的人脸属性检测方法几乎总是假设存在完整的、未被遮挡的人脸。因此,它们的性能降低部分可见和遮挡的脸。在本文中,我们介绍了SPLITFACE,一种基于深度卷积神经网络的方法,该方法被明确设计用于在部分遮挡的人脸中进行属性检测。该方法以多个面部片段和完整的面部作为输入,采用数据驱动的方法来确定哪些属性在哪些面部片段中被定位。网络的独特架构允许每个属性由多个部分预测,这允许实施委员会机器技术,将本地和全局决策相结合,以提高性能。通过访问基于片段的预测,SPLITFACE可以很好地预测那些定位在面部可见部分的属性,而不必依赖于整个面部的存在。我们使用CelebA和LFWA面部属性数据集进行标准评估。我们还修改了这两个数据集,遮挡的脸,使我们可以评估属性检测算法的性能上的部分脸。我们的评估表明,SPLITFACE显着优于其他最近的方法,特别是部分脸。
2018-01-10 cs.CV
GuideMe: A Mobile Application based on Global Positioning System and Object Recognition Towards a Smart Tourist Guide
National School of Computer Sciences(国家计算机科学学院);University of Manouba(马努巴大学);Taibah University(塔伊巴大学);Tunis University(突尼斯大学)
寻找有关旅游景点的信息是人们在访问不同国家时面临的一个具有挑战性的问题。当人们来自不同的国家、说不同的语言、来自社会的各个阶层时,这个问题就更加突出。在这种情况下,游客和朝圣者在访问圣地时面临着寻找适当的doaas的重要问题。在本文中,我们提出了一个移动应用程序,帮助用户找到一个简单直观的方式为一个给定的圣地适当的doaas。开发了三种不同的选项来实现这一目标:1)手动搜索,2)GPS定位以识别圣地及其相应的doaa,以及3)基于深度学习(DL)的方法,通过分析游客拍摄的图像来确定圣地。实验结果显示此行动应用程式在提供适当的到达目的地自动搜寻服务上有良好的表现。
2021-05-27 cs.CV
SqueezerFaceNet: Reducing a Small Face Recognition CNN Even More Via Filter Pruning
Halmstad University(哈尔姆斯塔德大学);University of Balearic Islands(巴利阿里群岛大学)
针对移动设备上人脸识别模型体积过大的问题,提出基于泰勒分数的滤波器剪枝方法,将基于SqueezeNet的小型网络进一步压缩40%,构建出参数不足1M的轻量模型SqueezerFaceNet,且性能无明显下降。
2023-07-20 cs.CV
Fully Quantized Always-on Face Detector Considering Mobile Image Sensors
SK hynix(SK海力士);Hongik University(弘益大学);Seoul National University(首尔大学)
针对智能 CMOS 图像传感器常开场景需在 ISP 前处理 RAW 数据的问题,提出采用传感器感知合成 RAW 输入与三值权重的极低比特轻量级人脸检测器,兼顾检测性能与效率。
2023-11-02 cs.AI cs.CV
Partial matching face recognition method for rehabilitation nursing robots beds
Shanghai University of Engineering Science(上海工程技术大学)
为了在康复护理机器人病床上建立人脸识别系统,实现对病床上病人的实时监控。提出了一种基于部分匹配Hu矩的人脸识别方法,应用于康复护理机器人病床。首先利用Haar分类器在动态视频帧中自动检测人脸。然后利用大津阈值法提取人脸图像中的面部特征(眉毛、眼睛、嘴巴)及其Hu矩。最后利用Hu矩特征集实现了人脸的自动识别。实验结果表明,该方法能够有效地识别动态视频中的人脸,准确率达到91%,平均识别时间为4.3s,具有较高的实用价值。
2015-08-02 cs.CV
Pooling Facial Segments to Face: The Shallow and Deep Ends
University of Maryland, College Park(马里兰大学帕克分校)
通用的人脸检测算法在移动领域中的表现不是很好,由于显着存在的遮挡和部分可见的脸。一个很有前途的技术来处理部分人脸的挑战是设计基于面部片段的人脸检测器。在本文中,两个这样的人脸检测器,即SegFace和DeepSegFace,提出了检测的存在,给定的任意组合的某些人脸段的脸。这两种方法都使用来自面部片段的建议作为输入,这些建议是使用弱增强分类器发现的。SegFace是一种使用传统特征的浅层快速算法,专为必须满足实时约束的情况而量身定制。另一方面,DeepSegFace是一种基于深度卷积神经网络(DCNN)架构的更强大的算法。与其他基于DCNN的人脸检测器相比,DeepSegFace具有某些优势,因为它需要相对少量的数据来通过利用新的数据增强方案进行训练,并且通过设计对遮挡非常鲁棒。大量的实验表明,所提出的方法,特别是DeepSegFace,优于其他国家的最先进的人脸检测器的精度召回和ROC曲线在两个移动人脸数据集。
2017-01-29 cs.CV
Deep Learning-Based Quasi-Conformal Surface Registration for Partial 3D Faces Applied to Facial Recognition
The Chinese University of Hong Kong(香港中文大学)
针对局部3D人脸配准难题,提出结合拟共形几何与深度神经网络的配准框架,通过特征点检测、Beltrami系数预测与求解实现稠密对应,有效支撑人脸识别中的精确形状比较。
2024-05-16 cs.CV
PrivateGaze: Preserving User Privacy in Black-box Mobile Gaze Tracking Services
Delft University of Technology(代尔夫特理工大学);The Pennsylvania State University(宾夕法尼亚州立大学)
针对黑盒移动视线服务需上传全脸图像的隐私风险,本文提出 PrivateGaze,通过训练隐私保护器生成可用于视线估计且隐藏身份、性别等信息的混淆人脸图像,并在四个数据集上验证其隐私保护与性能保持效果。
2024-08-01 cs.CV
M3FAS: An Accurate and Robust MultiModal Mobile Face Anti-Spoofing System
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学);University of Campinas(坎皮纳斯大学)
针对现有人脸反欺骗方法依赖特定传感器且模态缺失时性能下降的问题,提出多模态移动端系统M3FAS,结合视听模态、设计双分支网络与多头训练策略,实现了高准确度、鲁棒且灵活的呈现攻击检测。
2024-03-21 cs.CV cs.MM
Deep Network Pruning: A Comparative Study on CNNs in Face Recognition
School of Information Science, Computer and Electrical Engineering, Halmstad University(信息科学、计算机与电气工程学院,哈姆斯塔德大学);Computer Graphics and Vision and AI Group, University of Balearic Islands(计算机图形学与视觉与人工智能小组,巴利阿里大学)
针对移动端人脸识别的深度网络部署难题,研究基于泰勒分数的迭代剪枝方法,在三种不同规模CNN上验证发现可大幅剪枝滤波器且性能损失极小,还发现高输出通道滤波器易被先移除,说明常用CNN存在维度冗余。
2025-06-16 cs.CV
Partial Attack Supervision and Regional Weighted Inference for Masked Face Presentation Attack Detection
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所);TU Darmstadt(达姆施塔特工业大学)
戴口罩已被证明是预防SARS-CoV-2冠状病毒传播的最有效方法之一。然而,戴口罩提出了不同的人脸识别任务的挑战,并提出了蒙面人脸呈现检测(PAD)的性能的关注。面具脸PAD面临的主要问题是错误分类的真实面具脸和错误分类的部分攻击(被真实面具覆盖)。这项工作通过提出一种方法来解决这些问题,该方法考虑部分攻击标签来监督PAD模型训练,以及区域加权推理,通过改变对不同面部区域的关注来进一步提高PAD性能。我们提出的方法不直接与特定的网络架构相关联,因此可以直接纳入任何常见或定制设计的网络。在我们的工作中,两个神经网络(DeepPixBis和MixFaceNet)被选为骨干。在协作真实掩码攻击(CRMA)数据库上进行了实验。我们提出的方法优于建立PAD方法在CRMA数据库中,减少了上述缺点时,面对蒙面的脸。此外,我们提出了一个详细的逐步消融研究,指出个人和共同的好处,提出的概念对整体PAD的性能。
2021-11-08 cs.CV
Face Detection with Feature Pyramids and Landmarks
Sertis Vision Lab(Sertis视觉实验室)
准确的人脸检测和人脸标志点定位是人脸识别系统的关键。我们提出了一系列三个单阶段RCNN,具有不同大小的骨干(MobileNetV 2 -25,MobileNetV 2 -100和ResNet 101)和一个专门在WIDER FACE数据集上训练的六层特征金字塔。我们比较了人脸检测和地标的准确性,使用八个上下文模块架构,四个由以前的研究和四个修改后的版本。我们没有发现任何证据表明,所提出的架构显着优于和假设,随机初始化的额外的层至少是同等重要的。为了证明这一点,我们提出了一个模型,该模型在WIDER FACE上实现了接近最先进的性能,并且还提供了具有简单上下文模块的高精度地标。我们还介绍了使用MobileNetV 2主干的结果,该主干在WIDER FACE硬验证集上实现了超过90%的平均精度,同时能够实时运行。通过与其他作者的比较,我们表明,我们的模型超过了类似大小的RCNN的最新技术水平,并与更重的网络的性能相匹配。
2019-12-18 cs.CV cs.LG eess.IV
Fast Eye Detector Using Siamese Network for NIR Partial Face Images
NEC Corporation(日本电气股份有限公司);University of Tsukuba(筑波大学)
针对近红外(NIR)人脸局部图像,提出了一种基于Siamese网络的快速人眼检测方法。NIR部分面部图像不包括对象的整个面部,因为它们是使用虹膜识别系统在帧速率和分辨率的约束下捕获的。虹膜识别系统,如移动虹膜(IOTM)系统,需要快速和准确的眼睛检测作为预处理。我们的目标是设计一种具有高速度、高左右眼分辨性能和高眼中心位置精度的眼睛检测。我们的方法采用了一个连体网络和粗到细的位置估计与快速轻量级CNN骨干。该网络输出图像的特征和指示眼睛的粗略位置的相似性图。对具有高相似性的特征的一部分的回归细化眼睛的粗略位置以获得具有高精度的精细位置。我们证明了所提出的方法的有效性,通过比较它与传统的方法,包括SOTA,在位置精度,歧视的性能,和处理速度。我们的方法在速度上取得了优异的性能。
2023-01-04 cs.CV
Face Spoofing Detection using Deep Learning
本研究针对人脸识别系统的数字图像欺骗威胁,评估了MobileNetV2、ResNET50和ViT三种视觉模型在15万张图像数据集上的欺骗检测性能,发现MobileNetV2在准确率、收敛速度及泛化能力上表现最佳,是安全敏感场景中实际部署的优选方案。
2025-10-31 cs.AI cs.CV
EResFD: Rediscovery of the Effectiveness of Standard Convolution for Lightweight Face Detection
NAVER Cloud, ImageVision(NAVER云,图像视觉);KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
本文提出轻量级人脸检测器 EResFD,采用大幅缩减通道的标准卷积 ResNet 骨干并结合新的特征聚合方法,在 WIDER FACE Hard 上以更低 CPU 推理耗时达到 80.4% mAP。
2023-11-02 cs.CV
RLDF: A Region-Level Deepfake Dataset and Benchmark for Partial-Face Manipulation Detection
Birla Institute of Technology and Science, Pilani(贝拉理工学院皮拉尼分校)
该研究提出首个区域级深度伪造数据集RLDF,定义3种评估协议并基准测试12种检测器,发现现有模型在局部人脸篡改检测中泛化性差,AUC降10.5%、准确率降10%,还提出掩码引导交叉注意力基线模型。
2026-10-16 cs.CV
A Novel Face-Anti Spoofing Neural Network Model For Face Recognition And Detection
BITS Pilani, KK Birla Goa Campus(博拉理工学院(BITS Pilani)KK·比拉果阿校区)
人脸识别(FR)系统被用于各种应用,包括道路交叉口,银行和移动银行。FR系统的广泛使用引起了人们对面部生物识别技术对抗欺骗攻击的安全性的担忧,欺骗攻击使用合法用户面部的照片或视频来获得对资源或活动的非法访问。尽管开发了几种FAS或活性检测方法(其在获取时确定面部是活的还是欺骗的),但由于难以识别歧视和操作上合理定价的欺骗特征,问题仍然没有解决。此外,某些面部部分经常重复或与图像混乱相关,导致整体性能较差。本研究提出一种人脸反欺骗神经网络模型,其性能优于现有模型,效率为0.89%。
2022-05-14 cs.CV
Enhancing Mobile Face Anti-Spoofing: A Robust Framework for Diverse Attack Types under Screen Flash
Beijing Institute Technology(北京理工大学);AthenaEyesCO.,LTD.(雅典娜眼科技有限公司)
针对屏幕闪光下多种攻击类型,提出ATR-FAS框架,采用多专家网络与双门模块生成深度图,实现鲁棒的人脸防伪,显著优于现有方法。
2023-08-29 cs.AI cs.CV
Robust 3D face recognition in presence of pose and partial occlusions or missing parts
RCC Institute of Information Technology(RCC信息技术学院);Jadavpur University(贾达普大学)
在本文中,我们提出了一个强大的三维人脸识别系统,可以处理姿态以及在现实世界中的遮挡。该系统首先输入一幅三维深度图像,同时使用ICP(迭代最近点)算法对其进行配准。在这项工作中使用的ICP,通过最小化探针模型和图库模型之间的距离,将面部表面注册到一个共同的模型。然而,ICP的性能在很大程度上依赖于初始条件。因此,有必要提供初始配准,该初始配准将被迭代地改进并且最终收敛到可能的最佳对准。一旦面部被配准,则通过对3D图像的深度图值进行阈值化来自动提取遮挡。在检测到遮挡区域后,通过主成分分析(PCA)进行恢复。在去除遮挡之后,恢复的图像然后被馈送到识别系统用于分类目的。从重建的非遮挡人脸图像中提取人脸法线形式的特征。在博斯普鲁斯海峡3D人脸数据库中的遮挡人脸图像上进行的实验结果表明,该算法的识别准确率达到了91.30%。
2014-08-16 cs.CV
Preferences Prediction using a Gallery of Mobile Device based on Scene Recognition and Object Detection
HSE University(高等经济大学);St. Petersburg Department of Steklov Institute of Mathematics(斯捷克洛夫数学研究所圣彼得堡分所);Samsung-PDMI Joint AI Center(三星-PDMI联合人工智能中心)
本文通过在移动终端上处理一组照片和视频来研究用户建模任务。提出了一种基于场景识别、目标检测和人脸分析的用户偏好预测引擎。首先,将图库中的所有人脸进行聚类,并在离线模式下在嵌入式系统上处理来自大型聚类的所有私人照片和视频。其他照片可以被发送到远程服务器以由非常深的模型进行分析。通过场景识别和目标检测模型获得每张照片的视觉特征。这些特征被聚合到神经注意力块中的单个用户描述符中。所提出的管道实现的Android移动平台。使用Photo Event Collection、Web Image Dataset for Event Recognition和Amazon Fashion数据集的子集进行的实验结果表明,可以非常有效地处理图像,而不会显着降低准确性。Android移动应用程序的源代码可在https://github.com/HSE-asavchenko/mobile-visual-preferences上公开获取。
2021-04-18 cs.CV cs.LG
A Comparative Transfer-Learning Study of CNN Backbones for Partial Face Recognition on the SoF Dataset
University of Sharjah(沙迦大学);Technical University Dortmund(多特蒙德工业大学)
本文在SoF数据集上比较了三种CNN骨干(ResNet-50、VGG-16、FaceNet)用于部分人脸识别的迁移学习性能,其中FaceNet配置(PFN)以97.4%的准确率显著领先,并创下该数据集上的最高准确率和召回率。
2026-09-29 cs.AI cs.CV
Automated Visual Attention Detection using Mobile Eye Tracking in Behavioral Classroom Studies
提出一种基于移动眼动与迁移学习人脸识别的自动化流水线,以最少人工标注识别教师视觉关注的学生,在U形和小型教室中准确率分别约0.7和0.9,可辅助教学改进。
2025-09-25 cs.AI cs.CV cs.HC
Multi-face emotion detection for effective Human-Robot Interaction
CESI LINEACT
针对人机交互中情绪感知的需求,研究提出集成于移动人形机器人的多人脸情绪检测界面,经评估多类深度神经网络模型并权衡准确率与内存占用,实现了多人情绪实时展示功能。
2025-01-13 cs.AI cs.CV cs.HC