Open-Eye: An Open Platform to Study Human Performance on Identifying AI-Synthesized Faces
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
人工智能合成的人脸在视觉上很难与真实人脸区分开来。它们被用作虚假社交媒体账户的个人资料图片，这导致了很高的负面社会影响。虽然在开发自动检测人工智能合成人脸的方法方面取得了进展，但还没有开放的平台来研究人工智能合成人脸检测的人类性能。在这项工作中，我们开发了一个名为Open-eye的在线平台，以研究人工智能合成人脸检测的人类性能。本文介绍了Open-eye的设计和工作流程。
2022-05-13 cs.CV
Is human face processing a feature- or pattern-based task? Evidence using a unified computational method driven by eye movements
Centro Universitario FEI（FEI 大学中心）；Laboratorio Nacional de Computacao Cientifica（国家科学计算实验室）；Imperial College London（伦敦帝国理工学院）
利用眼动对人脸进行处理的研究已经证明，我们成功地识别了人脸图像，将我们的视觉注意力集中在几个内部面部区域，主要是眼睛，鼻子和嘴巴。要了解我们如何完成这一过程中的编码高维面孔如此有效，本文提出并实现了一种多元提取方法，结合人脸图像方差与人类空间注意力图建模为特征和模式为基础的信息源。它是基于一个统一的多维表示著名的脸空间的概念。空间注意力图是一些参与者的眼动追踪注视的汇总统计数据，以及在单独的性别和面部表情识别任务期间对正面和框架良好的面部图像的试验。我们的实验结果进行公开可用的人脸数据库表明，我们可能会模仿人类提取系统作为一个基于模式的计算方法，而不是一个基于特征的正确解释人类系统在识别视觉人脸信息的熟练程度。
2017-09-04 cs.CV
Towards mitigating uncann(eye)ness in face swaps via gaze-centric loss terms
University of Florida（佛罗里达大学）；University of Washington（华盛顿大学）；University of Bamberg（班贝格大学）
针对人脸交换中的恐怖谷效应，提出基于预训练注视估计网络的损失项，改善眼睛表示，减少视角误差，并降低眼睛在深度伪造检测中的决定性作用。
2024-02-05 cs.CV
Real-time 3D Face-Eye Performance Capture of a Person Wearing VR Headset
Nanyang Technological University（南洋理工大学）；University of Science and Technology of China（中国科学技术大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
基于虚拟现实（VR）头戴式显示器（HMD）设备的会议或远程呈现是非常有趣和有前途的应用，因为HMD可以为用户提供沉浸式感觉。然而，为了便于HMD用户的面对面通信，需要佩戴HMD的人的实时的3D面部性能捕获，这是一项非常具有挑战性的任务，由于HMD引起的大遮挡。现有的有限的解决方案是非常复杂的，无论是在设置或方法，以及缺乏3D眼睛注视运动的性能捕获。在本文中，我们提出了一种基于卷积神经网络（CNN）的解决方案，用于HMD用户的实时的3D脸眼性能捕获，而无需对设备进行复杂的修改。为了解决缺乏训练数据的问题，我们通过数据合成以及收集来自多个主体的VR-IR眼睛数据集来生成大量对HMD人脸标签数据集。然后，我们训练一个人脸区域的稠密拟合网络和一个眼睛注视网络来回归三维眼睛模型参数。大量的实验结果表明，我们的系统可以有效地和有效地产生在实时的一个生动的个性化的3D化身与正确的身份，姿势，表情和眼睛运动对应的HMD用户。
2019-01-21 cs.CV
Eye Motion Matters for 3D Face Reconstruction
National Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（北京大学深圳研究生院通用人工智能全国重点实验室）
针对单图像3D人脸重建忽视眼部动态的问题，提出眼部关键点调整模块与局部动态损失，可灵活再现多种眼部状态，并在两个数据集上验证了优越性能。
2024-01-18 cs.CV
Mask-off: Synthesizing Face Images in the Presence of Head-mounted Displays
University of Kentucky（肯塔基大学）；North Carolina Central University（北卡罗来纳中央大学）
盔装显示器（HMD）是增强现实系统的重要组成部分。然而，由于上面部区域被设备严重遮挡，在诸如电信和多玩家视频游戏的应用中，用户体验可能受到影响。在本文中，我们首先提出了一种新的实验装置，由两个近红外（NIR）相机指向眼睛区域和一个可见光RGB相机捕捉可见人脸区域。本文的主要目的是基于这些摄像机拍摄到的图像，合成真实感的人脸图像。为此，我们提出了一个新的合成框架，其中包含四个模块：三维头部重建，人脸对齐和跟踪，人脸合成，眼睛合成。在人脸合成中，我们提出了一种新的算法，该算法可以鲁棒地对齐和跟踪个性化的3D头部模型，给出了一个严重被HMD遮挡的人脸。在眼睛合成中，为了生成准确的眼睛运动和动态皱纹变化的眼睛区域周围，我们提出了另一种新的算法来着色的近红外眼睛图像，并进一步消除由着色引起的“红眼”效应。实验结果表明，无论是硬件设置还是系统框架，都能很好地合成视频序列中的真实人脸图像。
2016-10-27 cs.CV
A novel approach to nose-tip and eye corners detection using H-K Curvature Analysis in case of 3D images
MCKV Institute of Engineering（MCKV工程学院）；Jadavpur University（贾达普大学）
在本文中，我们提出了一种新的方法，结合了HK曲率为基础的方法在不同的姿态（X轴，Y轴和Z轴）的三维（3D）人脸检测。通过分析整个面部表面的曲率来检测突出的面部特征，例如眼睛和鼻子。所有实验均在FRAV3D数据库上进行。在将该算法应用于3D人脸表面之后，我们获得了相当好的结果，即在752个3D人脸图像上，我们的方法检测到543个人脸图像的眼角，从而给出了72.20%的眼角检测和743个人脸图像的鼻尖检测，从而给出了98.80%的良好鼻尖定位
2013-09-18 cs.CV
CP-EB: Talking Face Generation with Controllable Pose and Eye Blinking Embedding
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
提出CP-EB方法，基于GAN从音频和参考视频提取眨眼特征并对比训练，嵌入身份与姿态特征，生成同步嘴唇、自然头部姿态和眨眼的逼真说话人脸。
2023-11-15 cs.CV
End-to-end Video Gaze Estimation via Capturing Head-face-eye Spatial-temporal Interaction Context
National Key Laboratory of Science and Technology on Multi-Spectral Information Processing, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院多谱信息处理技术国家级重点实验室）
本文提出MCGaze方法，通过端到端捕获头部-面部-眼睛时空交互上下文，联合定位线索并融合全局与局部特征，实现高效视频注视估计，在Gaze360数据集上验证优越性。
2023-12-29 cs.CV
Extraction of Facial Feature Points Using Cumulative Histogram
Jahangirnagar University（贾汉吉尔纳加尔大学）；University Claude Bernard Lyon1（里昂第一大学（克洛德·贝尔纳））
提出了一种新的基于累积直方图的自适应算法，通过改变阈值，自动提取正视图中的眉角、眼角、鼻孔、鼻尖和嘴角等面部特征点。该方法首先采用Viola-Jones人脸检测器检测出人脸的位置，并在图像中裁剪出人脸区域。从人脸结构的概念出发，在人脸图像中裁剪出诸如右眉、左眉、右眼、左眼、鼻子和嘴区域的六个相关区域。然后计算每个裁剪后的相关区域的直方图，并通过改变不同的阈值来使用其累积直方图值，以自适应的方式创建新的滤波图像。每个相关滤波图像的感兴趣区域的连通分量表示我们各自的特征区域。对眉、眼、嘴滤波图像采用简单的线性搜索算法，对鼻子滤波图像采用轮廓线算法，自动提取出所需的角点。该方法在不同光照、表情和光照条件下对大型BioID正面人脸数据库进行了测试，实验结果平均成功率达到95.27%。
2012-03-15 cs.CV
Analysis of Human Perception in Distinguishing Real and AI-Generated Faces: An Eye-Tracking Based Study
University of Notre Dame（圣母大学）；Dolby Laboratories（杜比实验室）
本研究通过眼动追踪实验调查人类如何区分真实与AI生成的人脸，发现参与者对StyleGAN-3生成图像的平均识别准确率为76.80%，且在怀疑图像为伪造时审视更仔细，为人类对AI生成媒体的感知提供了有价值的见解。
2024-09-23 cs.CV
NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation
Hikvision Research Institute（海康威视研究院）
注视估计是许多视觉任务的基本基础。然而，获取具有3D注释的注视数据集的高成本阻碍了注视估计模型的优化和应用。在这项工作中，我们提出了一种新的头-眼重定向参数模型的基础上神经辐射场，它允许密集的视线数据生成视图一致性和准确的视线方向。此外，我们的头眼重定向参数化模型可以将人脸和眼睛解耦，分别进行神经渲染，从而达到分别控制人脸、身份、光照和眼睛注视方向等属性的目的。因此，不同的3D感知的凝视数据集可以通过操纵属于不同的人脸属性在一个无监督的方式的潜在代码获得。在多个基准测试上的实验证明了该方法在视线估计任务的领域泛化和领域自适应方面的有效性。
2022-12-30 cs.CV
Inner Eye Canthus Localization for Human Body Temperature Screening
Media Integration and Communication Center University of Florence（佛罗伦萨大学媒体集成与通信中心）
在本文中，我们提出了一种自动定位的方法，在热人脸图像的内眼角。我们首先粗略地检测对应于眼睛中心、鼻尖和耳朵的5个面部关键点。然后，我们使用3D变形人脸模型（3DMM）计算稀疏的2D-3D点对应关系。这种对应关系用于将整个3D面部投影到图像上，并随后定位内眼角。检测该位置允许使用热成像相机获得最精确的人体温度测量。我们评估了热人脸数据集上的方法提供手动注释的地标。然而，这样的手动注释通常被设想为识别诸如眼睛、鼻子和嘴的面部部分，并且不是专门针对定位眼角区域而定制的。作为额外的贡献，我们丰富了原始数据集，通过使用注释的地标变形和投影到图像上的3DMM。然后，通过手动选择对应于眼角的小区域，我们用额外的注释丰富了数据集。通过使用手动地标，我们确保了3DMM投影的正确性，这可以用作未来评估的地面实况。此外，我们提供的数据集与3D头部姿势和每点的可见性掩模检测自遮挡。数据将公开发布。
2020-08-27 cs.CV
FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Beihang University（北京航空航天大学）；East China Normal University（华东师范大学）；Xiamen University（厦门大学）；Samsung Research America（三星美国研究院）
在本文中，我们提出了一种说话的脸生成方法，以音频信号作为输入和短的目标视频剪辑作为参考，并合成一个逼真的视频的目标脸与自然的嘴唇运动，头部姿势，和眨眼是同步的输入音频信号。我们注意到，合成的面部属性不仅包括诸如与语音具有高相关性的嘴唇运动之类的显式属性，而且包括诸如与输入音频仅具有弱相关性的头部姿势和眨眼之类的隐式属性。为了对不同人脸属性与输入音频之间的复杂关系进行建模，我们提出了一种FACe隐式属性学习生成对抗网络（FACIAL-GAN），它集成了语音感知，上下文感知和身份感知信息，以合成具有嘴唇，头部姿势和眨眼的逼真运动的3D人脸动画。然后，我们的Rendering-to-Video网络将渲染的人脸图像和眨眼的注意力图作为输入，以生成照片级逼真的输出视频帧。实验结果和用户研究表明，我们的方法可以生成逼真的说话人脸视频，不仅同步嘴唇运动，而且自然的头部运动和眨眼，具有更好的质量比国家的最先进的方法的结果。
2021-08-18 cs.CV
Through BrokenEyes: How Eye Disorders Impact Face Detection?
Indian Institute of Technology Delhi（印度理工学院德里）
本研究通过BrokenEyes系统模拟五种常见眼疾，分析其对深度学习模型中特征表示的影响，并量化视觉退化对学习表示的干扰。
2026-02-26 cs.CV
EyeBAG: Accurate Control of Eye Blink and Gaze Based on Data Augmentation Leveraging Style Mixing
KAIST（韩国科学技术院）；Innerverz（Innerverz公司）
针对生成模型在眼部控制上表现不佳的问题，提出包含眨眼与注视重定向模块的EyeBAG框架，并利用风格混合的数据增强方法生成高质量眼部控制图像，有效提升下游任务性能。
2023-06-30 cs.CV
Learning Unsupervised Gaze Representation via Eye Mask Driven Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）
本文提出一种无监督注视预训练框架，通过交替眼部掩码训练、注入瓶颈和对比损失，从全脸图像中学习低维注视表示，在多个基准上优于现有无监督方法。
2024-06-29 cs.CV
RLDF: A Region-Level Deepfake Dataset and Benchmark for Partial-Face Manipulation Detection
Birla Institute of Technology and Science, Pilani（贝拉理工学院皮拉尼分校）
该研究提出首个区域级深度伪造数据集RLDF，定义3种评估协议并基准测试12种检测器，发现现有模型在局部人脸篡改检测中泛化性差，AUC降10.5%、准确率降10%，还提出掩码引导交叉注意力基线模型。
2026-10-16 cs.CV
A XGBoost Algorithm-based Fatigue Recognition Model Using Face Detection
Zhijing College of Zhejiang University of Technology（浙江工业大学之江学院）
由于疲劳通常反映在人脸的眼睛和嘴巴上，本文尝试使用两个指标：眼睛长宽比（Eye Aspect Ratio）和嘴巴长宽比（Mouth Aspect Ratio）来构建基于XGBoost人脸识别模型的疲劳识别模型。该模型的准确率为87.37%，灵敏度为89.14%，证明了该模型的有效性和实用性。
2023-03-13 cs.CV
Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors
本文提出眼动行为辅助的多模态情绪识别数据集EMER及EMERT架构，通过模态对抗特征解耦和多任务Transformer弥合面部表情识别与情绪识别之间的差距，显著提升情绪识别鲁棒性。
2024-11-19 cs.CV
Robust Eye Centers Localization with Zero--Crossing Encoded Image Projections
University ”Politehnica” of Bucharest（布加勒斯特理工大学）
本文提出了一种新的框架，通过联合使用归一化图像投影编码和多层感知器（MLP）分类器的眼睛中心定位。编码是新颖的，它包括在识别零交叉和提取相关的参数，从所产生的模式。压缩的标准化投影产生特征描述符，该特征描述符是适当训练的MLP的输入，用于在各种类别的图像区域之间进行区分。所提出的框架形成了一个快速和可靠的系统眼中心定位，特别是在无约束环境中的人脸表情分析的背景下。我们成功地测试了所提出的方法在各种各样的数据库，包括BioID，科恩-Kanade，扩展耶鲁B和标记的面孔在野生（LFW）数据库。
2015-03-26 cs.CV
Eye Pupil Location Using Webcam
Jagiellonian University（雅盖隆大学）
三种不同的算法用于眼睛瞳孔定位的描述和测试。算法效率比较是基于从BioID数据库中获取的人脸图像。此外，所有眼睛定位方法都在支持基于眼睛运动的计算机控制的专用应用程序中实现。在这种情况下，人脸图像由网络摄像头获取并实时处理。
2012-02-29 cs.CV cs.HC
Real-time Multi-person Eyeblink Detection in the Wild for Untrimmed Video
Huazhong University of Science and Technology（华中科技大学）
本文针对未裁剪视频野外多人眨眼检测研究不足的问题，构建了含686段视频、8748个眨眼事件的MPEblink数据集，提出单阶段时空端到端实时检测方法，同时完成人脸检测、跟踪与实例级眨眼检测，性能与速度均优于现有方法。
2023-08-21 cs.CV
Face Detection from still and Video Images using Unsupervised Cellular Automata with K means clustering algorithm
S.R.K.I.T；Acharya Nagarjuna University（阿查里亚龙树大学）
模式识别问题依赖于图像模式中固有的特征。人脸检测与识别是计算机视觉领域中具有挑战性的研究方向之一。在本文中，我们提出了一种方法来识别皮肤像素从静止和视频图像使用肤色。从该皮肤像素区域识别面部区域。然后定位面部特征，如眼睛、鼻子和嘴。使用基于径向基函数的神经网络从彩色图像中识别人脸。采用无监督元胞自动机K均值聚类算法定位不同的人脸元素。用眼睛来纠正方向。计算像眼间距离、鼻子长度、嘴位置、离散余弦变换（DCT）系数等的参数，并将其用于基于径向基函数（RBF）的神经网络。该方法对于具有头部、表情等方向的人脸序列具有可靠的效果。
2013-12-15 cs.CV
Teacher's Perception in the Classroom
University of Tübingen（图宾根大学）；Technical University of Munich（慕尼黑工业大学）；Leibniz-Institut für Wissensmedien（莱布尼茨知识媒体研究所）
教师在课堂上让所有学生参与主动学习过程的能力是提高学生成绩的重要先决条件。教师的注意过程提供了重要的见解，教师的能力，把他们的注意力集中在相关的信息，在课堂互动的复杂性，并分配他们的注意力在学生之间，以认识到相关的学习需要。在这种背景下，移动眼动追踪是教学效果研究中的一种创新方法，可以捕捉教师在教学时的注意力过程。然而，手动分析移动眼动追踪数据非常耗时，而且仍然受到限制。在本文中，我们介绍了一种新的方法，以提高移动眼动跟踪的影响，将其与计算机视觉。在移动眼动追踪视频从教育研究中使用标准化的小团体的情况下，我们采用了最先进的人脸检测器，创建人脸tracklet，并引入了一种新的方法来聚类到身份的数量。随后，通过关联眼动追踪注视和面部轨迹来计算每个学生在教学单元期间的教师注意力焦点。据我们所知，这是第一个将计算机视觉和移动眼动追踪结合起来的工作，以模拟教师在指导时的注意力。
2018-05-22 cs.CV
A Video Database of Human Faces under Near Infra-Red Illumination for Human Computer Interaction Aplications
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
人机交互（HCI）是计算机和人类之间的连贯通信的一个不断发展的研究领域。一些重要的应用HCI在文献中报道的人脸检测，人脸姿态估计，人脸跟踪和眼睛凝视估计。这些应用程序的算法开发是一个活跃的研究领域。然而，标准数据库的可用性，以验证这些算法是不够的。本文讨论了创建这样一个数据库下创建近红外（NIR）照明。近红外照明已经在夜间模式应用中得到普及，因为长时间暴露于红光（IR）照明可能导致许多健康问题。该数据库包含60名受试者在不同的头部方向和不同的面部表情，面部遮挡和照明变化的近红外视频。这个新的数据库可以是一个非常有价值的资源，用于开发和评估近红外照明中的人脸检测，眼睛检测，头部跟踪，眼睛注视跟踪等算法。
2015-05-15 cs.CV
Fast and Accurate Algorithm for Eye Localization for Gaze Tracking in Low Resolution Images
低分辨率可见光图像中虹膜中心的定位是计算机视觉领域的一个具有挑战性的问题，由于噪声，阴影，遮挡，姿态变化，眨眼等。本文提出了一种有效的方法来确定虹膜中心在可见光谱的低分辨率图像。即使是低成本的消费级网络摄像头也可以用于视线跟踪，而无需任何额外的硬件。提出了一种两阶段虹膜中心定位算法。所提出的方法使用眼睛的几何特征。在第一阶段，一个快速卷积为基础的方法用于获得粗略的虹膜中心（IC）的位置。在第二阶段中，使用边界跟踪和椭圆拟合进一步细化IC位置。该算法已在公共数据库如BioID，Gi4E中进行了评估，发现其性能优于最先进的方法。
2016-05-17 cs.CV
Real-Time Face and Landmark Localization for Eyeblink Detection
Erasmus MC（伊拉斯谟大学医学中心）；Delft University of Technology（代尔夫特理工大学）
巴甫洛夫眨眼条件反射是一个强大的实验，用于神经科学领域，以衡量我们在日常生活中如何学习的多个方面。为了在实验中跟踪眼睑的运动，研究人员传统上使用电位计或肌电图。最近，计算机视觉和图像处理的使用减轻了对这些技术的需求，但是当前采用的方法需要人为干预并且不够快以实现实时的【形】处理。在这项工作中，人脸和地标检测算法被仔细地结合起来，以提供全自动的眼睑跟踪，并进一步加速，朝着在线闭环实验迈出了关键的第一步。到目前为止，这样的实验还没有实现，预计将为神经和精神疾病的运作提供重要的见解。基于广泛的文献检索，各种不同的人脸检测和地标检测算法进行了分析和评价。两种算法被确定为最适合于眼睑检测：用于人脸检测的方向性直方图（HOG）算法和用于地标检测的回归树集合（ERT）算法。这两种算法在GPU和CPU上进行了加速，分别获得了1,753 $\times$和11 $\times$的加速比。为了证明我们的眼睑检测算法的有用性，形成了一个研究假设，并采用了一个成熟的神经科学实验：眨眼检测。我们的实验评估揭示了每帧0.533 ms的整体应用程序运行时间，这比顺序实现快1，101 $\times$，并且完全在人类眨眼调节的实时的【形】要求内，即快于每秒500帧。
2020-07-15 cs.CV eess.IV
Robust Attentive Deep Neural Network for Exposing GAN-generated Faces
University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Keya Medical（科亚医疗）
基于GAN的生成和合成真实人脸的技术已经引起了严重的社会关注和安全问题。现有的用于检测GAN生成的人脸的方法可以在有限的公共数据集上表现良好。然而，来自现有公共数据集的图像在视图变化和数据分布方面并不能很好地代表真实世界的场景（其中真实面孔的数量大大超过合成面孔）。现有的检测方法在实际问题中普遍性不好，检测结果缺乏可解释性。当面对不平衡的数据分布时，现有的GAN人脸检测模型的性能显着下降。为了解决这些缺点，我们提出了一个强大的，专注的，端到端的网络，可以通过分析他们的眼睛不一致来发现GAN生成的人脸。具体来说，我们的模型通过自动定位和比较两只眼睛之间的虹膜伪影来学习识别不一致的眼睛组件。我们的深度网络通过联合考虑AUC损失和传统的交叉熵损失来解决不平衡学习问题。FFHQ数据集的平衡和不平衡的情况下的综合评价证明了所提出的方法的优越性。
2022-02-12 cs.CV
Neural Network Approach for Eye Detection
Vignan Institute of Technology and Sciences（维格纳科技学院）；VITS（维格纳科技学院）
诸如汽车导航系统的驾驶支持系统正变得普遍，并且它们在若干方面支持驾驶员。基于眨眼计数和眼动指令控制的非侵入式疲劳和困倦检测方法有助于驾驶员防止因困倦驾驶而引起的碰撞。在光照、背景、人脸对齐、表情等多种条件下的眼睛检测和跟踪使得问题变得复杂。本文提出了一种基于神经网络的眼睛检测算法。该算法首先对含有眼睛特征的图像和含有非眼睛特征的图像训练神经网络剔除非眼睛区域，然后利用Gabor滤波器和支持向量机进行降维和有效分类。该算法首先利用L*a* b变换颜色空间进行人脸分割，然后利用HSV和神经网络方法进行眼睛检测。对近100幅不同条件下的不同人的图像进行了测试，成功率达到98%;对50幅非眼睛图像和50幅不同角度的眼睛图像进行了Gabor滤波训练，得到了满意的结果。本文是印度政府科学技术部在海得拉巴Vignan Hills的Vignan技术与科学研究所资助的“驾驶员疲劳和困倦实时监测和预测非侵入式系统开发”项目的研究工作的一部分。
2012-05-23 cs.CV
SPECFACE - A Dataset of Human Faces Wearing Spectacles
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
本文提出了一个数据库的人脸戴眼镜的人。该数据库包括面部图像，这些面部图像在照明、头部姿势、肤色、面部表情和尺寸以及眼镜的性质方面具有显著变化。该数据库包含60名受试者的数据。该数据库有望成为开发和评估人脸检测、眼睛检测、头部跟踪、眼睛注视跟踪等算法的宝贵资源，戴眼镜的人因此，这可能是对计算机视觉社区的宝贵贡献。
2016-08-11 cs.CV
Adaptive Feature Fusion Network for Gaze Tracking in Mobile Tablets
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
最近，已经提出了许多多流注视估计方法。他们从眼睛和面部外观估计凝视，并达到合理的准确性。然而，大多数方法只是简单地连接从眼睛和面部外观提取的特征。特征融合过程被忽略了。在本文中，我们提出了一种新的自适应特征融合网络（AFF-Net），它在移动平板电脑上执行视线跟踪任务。我们堆叠两只眼睛的特征图，并利用挤压和激励层自适应融合两只眼睛的功能，根据他们的外观相似性。同时，我们还提出了自适应组归一化方法，在面部特征的指导下重新校准眼睛特征。在GazeCapture和MPIIFaceGaze数据集上进行的大量实验表明，所提出的方法具有一贯的优越性能。
2021-03-20 cs.CV
An Improved Algorithm for Eye Corner Detection
Indian Institute of Technology（印度理工学院）
本文提出了一种改进的鼻侧和颞侧眼角检测算法。该算法是Santos和Proenka方法的改进。在第一步中，我们使用基于Haar类特征的分类器来检测面部和眼睛。然后，我们从检测到的眼睛区域分割出巩膜。从分割的巩膜，我们分割出一个近似的眼睑轮廓。使用Harris和Stephens角点检测器获得眼睛角点候选。最后，我们引入了一个后修剪的眼角候选人定位眼角。该算法已经在Yale，JAFFE数据库以及我们创建的数据库上进行了测试。
2016-11-08 cs.CV
A Coarse-to-Fine Adaptive Network for Appearance-Based Gaze Estimation
Beihang University（北京航空航天大学）；SenseTime Co., Ltd.（商汤科技有限公司）；Peng Cheng Laboratory（鹏城实验室）
人类的凝视对于各种吸引人的应用是必不可少的。针对更准确的视线估计，最近的一系列工作提出了同时利用人脸和眼睛图像。然而，在这些研究中，人脸图像和眼睛图像只是作为独立或平行的特征源，它们之间的内在关联性被忽略了。本文主要做了以下几个方面的工作：1）提出了一种由粗到精的策略，该策略从人脸图像中估计出一个基本的注视方向，并利用从眼睛图像中预测出的相应残差对该基本注视方向进行细化。2)在该策略的指导下，我们设计了一个框架，引入了一个二元模型来桥接注视残差和基本注视方向，并引入了一个注意力组件来自适应地获取合适的细粒度特征。3)综合上述创新，我们构建了一个由粗到细的自适应网络CA-Net，并在MPIIGaze和EyeDiap上实现了最先进的性能。
2020-01-01 cs.CV
FACET: Fast and Accurate Event-Based Eye Tracking Using Ellipse Modeling for Extended Reality
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）；DVSense (Beijing) Technology Co., Ltd.（北京感观科技有限公司）；Delft University of Technology（代尔夫特理工大学）；Leiden Institute of Advanced Computer Science (LIACS), Leiden University（莱顿大学莱顿高级计算机科学研究所）
提出端到端神经网络FACET，直接从事件数据输出瞳孔椭圆参数，结合三角损失与快速因果事件表示，在精度、速度和参数量上全面超越现有技术。
2024-09-23 cs.AI cs.CV
An Identification System Using Eye Detection Based On Wavelets And Neural Networks
Fayoum University（法尤姆大学）；Sohag University（索哈杰大学）；Taif University（塔伊夫大学）
人眼模式的随机性和独特性是寻找更快，更容易和高度可靠的自动人体识别形式的重大突破。它被广泛用于安全解决方案。这包括对物理设施、安全系统和信息数据库的访问控制，嫌疑人跟踪、监视和入侵检测，以及世界各地的各种情报机构。我们利用人眼独特性的优势来识别人，并证实其作为生物特征识别的有效性。.眼睛检测首先从数字人脸图像中提取眼睛，然后对眼睛的独特图案进行编码，以便将它们与预先注册的眼睛图案进行比较。眼睛检测系统由基于小波变换的自动分割系统组成，然后将小波分析用作具有共轭梯度学习的反向传播神经网络的预处理器。神经网络的输入是人脸图像在特定尺度下的小波极大值邻域系数。神经网络的输出是输入到眼睛或非眼睛区域的分类。在训练阶段的不同条件下，观察到90%的准确率用于识别测试图像。
2014-01-20 cs.CV
Attention Mesh: High-fidelity Face Mesh Prediction in Real-time
Google Research（谷歌研究院）
我们提出了注意力网格，一个轻量级的架构，用于三维人脸网格预测，使用注意力语义有意义的区域。我们的神经网络专为实时的【形】设备上推理而设计，在Pixel 2手机上运行速度超过50 FPS。我们的解决方案支持AR化妆、眼动追踪和AR木偶戏等依赖于眼睛和嘴唇区域高度准确地标的应用。我们的主要贡献是一个统一的网络架构，它在面部标志上实现了与多级级联方法相同的准确性，同时速度提高了30%。
2020-06-19 cs.CV
Eye-See-You: Reverse Pass-Through VR and Head Avatars
New Jersey Institute of Technology（新泽西理工学院）；University of Central Florida（佛罗里达中央大学）
针对VR头显遮挡用户面部阻碍交流的问题，提出RevAvatar框架，利用生成模型和多模态AI从部分面部区域重建2D图像和3D头部虚拟化身，并构建包含20万样本的VR-Face数据集，显著提升了虚拟环境中的社交互动体验。
2025-05-28 cs.CV
The Selectivity and Competition of the Mind's Eye in Visual Perception
Drexel University（德雷塞尔大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
研究表明，大脑中的神经元对某些刺激具有选择性。例如，神经科学家知道，当人们看到人脸而不是非人脸物体时，梭状回面部区域（FFA）会选择性地激活。然而，初级视觉系统将信息引导到大脑正确的更高层次的机制目前尚不清楚。在我们的工作中，我们通过创建一种新颖的计算模型来模拟几种高级神经感知机制，该模型以分层竞争的形式结合了横向和自上而下的反馈。我们不仅表明，这些元素可以帮助解释信息流和大脑内的高级别区域的选择性，我们还证明，这些神经机制提供了一个新的分类框架，对手传统的监督学习在计算机视觉的基础。此外，我们提出了定量和定性的结果表明，我们的生成框架是一致的神经主题，并使简单，但强大的类别级分类。
2021-03-23 cs.CV
Towards a new system for drowsiness detection based on eye blinking and head posture estimation
University of Sfax（斯法克斯大学）；National School of Engineers (ENIS)（国家工程师学院（ENIS））
驾驶员疲劳问题被认为是导致道路交通事故增加的重要原因之一。本文提出了一种新的方法，实时驾驶员困倦，以防止交通事故。该系统使用智能摄像头拍摄驾驶员的面部图像，并监督眨眼（打开和关闭）状态和头部姿势，以检测不同的困倦状态。人脸和眼睛检测采用Viola和Jones技术。
2018-05-31 cs.CV eess.IV
Real-time estimation of overt attention from dynamic features of the face using deep-learning
Biomedical Engineering（生物医学工程）；City College of New York（纽约城市学院）
提出基于前置摄像头面部动态特征的深度学习模型，无需参考群体即可实时预测个体显性眼动注意力，在3个实验中验证了有效性，且客户端运行保护隐私。
2024-09-25 cs.CV
Real-Time Face & Eye Tracking and Blink Detection using Event Cameras
Xperi Corporation（Xperi公司）；National University of Ireland Galway（爱尔兰国立高威大学）；Prophesee（Prophesee公司）
事件摄像机包含新兴的神经形态视觉传感器，可以捕捉每个像素的局部光强度变化，生成一系列异步事件。这种获取视觉信息的方式与传统的基于帧的相机不同，并提供了几个显著的优点：低能耗、高时间分辨率、高动态范围和低延迟。驾驶员监控系统（DMS）是驾驶舱内安全系统，旨在感知和理解驾驶员的身体和认知状态。活动摄像机因其固有的优势而特别适合DMS。提出了一种新的方法，同时检测和跟踪人脸和眼睛的驾驶员监控。提出了一种独特的全卷积递归神经网络架构。为了训练该网络，使用精确的限界框注释模拟合成的基于事件的数据集，称为Neuromorphic HELEN。此外，提出了一种检测和分析驾驶员眨眼的方法，利用事件相机的高时间分辨率。眨眼的行为提供了对驾驶员疲劳或困倦程度的更深入的了解。我们表明，眨眼有一个独特的时间签名，可以更好地捕捉事件相机。
2020-10-16 cs.CV cs.LG
EFE: End-to-end Frame-to-Gaze Estimation
ETH Zürich（苏黎世联邦理工学院）；Lunit Inc.（Lunit公司）；Delft University of Technology（代尔夫特理工大学）
提出端到端帧到注视估计网络，无需裁剪直接回归3D注视原点和方向，在三个公开数据集上达到与最先进方法相当的性能，并泛化至极端视角变化。
2023-05-09 cs.CV
VideoForensicsHQ: Detecting High-quality Manipulated Face Videos
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
有人担心，合成高质量人脸视频的新方法可能会被滥用，以恶意操纵视频。因此，研究界开发了检测修改镜头的方法，并为此任务收集了基准数据集。在本文中，我们将研究如何伪造检测器的性能取决于人眼可以看到的文物的存在。我们引入了一个新的基准数据集的人脸视频伪造检测，前所未有的质量。它使我们能够证明，现有的检测技术很难检测出可靠地欺骗人眼的假货。因此，我们引入了一个新的家庭的检测器，检查空间和时间特征的组合，并优于现有的方法，无论是在检测精度和泛化。
2021-06-02 cs.CV
Guiding Visual Attention in Deep Convolutional Neural Networks Based on Human Eye Movements
University of Salzburg（萨尔茨堡大学）
深度卷积神经网络（DCNN）最初受到生物视觉原理的启发，已经发展成为当前物体识别的最佳计算模型，因此在与神经成像和神经时间序列数据的比较中，表明与腹侧视觉通路具有很强的结构和功能平行性。随着深度学习的最新进展似乎降低了这种相似性，计算神经科学面临着对生物可解释性进行逆向工程以获得有用模型的挑战。虽然以前的研究表明，生物启发的架构能够放大模型的人性化，但在这项研究中，我们研究了一种纯粹的数据驱动方法。我们使用眼动追踪数据来直接修改训练样本，从而在自然图像中的对象识别过程中引导模型的视觉注意力朝向或远离人类注视的焦点。我们比较和验证不同的操作类型（即，标准、类人和非类人注意力），通过GradCAM显着性图对人类参与者的眼动追踪数据。我们的研究结果表明，所提出的引导焦点操纵工程作为预期的负方向和非人类的模型专注于显着不同的图像部分相比，人类。所观察到的效果是高度类别特异性的，增强了动物性和人脸的存在，只有在前馈处理完成后，开发，并表示对人脸检测的强烈影响。然而，使用这种方法，没有显着增加的人类likeness.Possible的DCNN中的显性视觉注意的应用和进一步的人脸检测理论的影响进行了讨论。
2022-09-06 cs.CV
Eye Sclera for Fair Face Image Quality Assessment
Norwegian University of Science and Technology（挪威科技大学）
针对人脸识别系统中公平人脸图像质量评估的需求，提出以不受肤色等人口统计因素影响的巩膜为评估区域，验证其可替代现有指标实现公平的质量评估。
2025-01-13 cs.AI cs.CV
Modelling the Interplay of Eye-Tracking Temporal Dynamics and Personality for Emotion Detection in Face-to-Face Settings
brAIn Lab, IT University of Copenhagen（brAIn实验室，丹麦技术大学）；GN Advanced Science（GN先进科学）；IT University of Copenhagen（丹麦技术大学）
针对动态场景情绪识别难题，提出融合眼动时序动态、大五人格与刺激线索的人格感知多模态框架，在CREMA-D数据集上验证了不同信息对感知/感受情绪的差异化提升作用，推动个性化情感计算发展。
2025-09-19 cs.AI cs.CV cs.HC
Smile on the Face, Sadness in the Eyes: Bridging the Emotion Gap with a Multimodal Dataset of Eye and Facial Behaviors
School of Computer Science, China University of Geosciences (Wuhan)（中国地质大学（武汉）计算机科学学院）；School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院）；School of Computer Science, Wuhan University（武汉大学计算机科学学院）；School of Computing, Engineering and Mathematical Sciences, La Trobe University（拉筹伯大学计算科学、工程与数学科学学院）
本文通过构建包含眼行为和面部行为的多模态数据集EMER，提出EMERT模型以提升情感识别的鲁棒性。
2025-12-18 cs.AI cs.CV
On the Effect of Selfie Beautification Filters on Face Detection and Recognition
Halmstad University（哈尔姆斯塔德大学）
美化和增强现实过滤器在使用智能手机或个人设备捕获的自拍图像的应用中非常流行。然而，它们会扭曲或修改生物特征，严重影响识别个人身份甚至检测面部的能力。因此，我们解决了这种过滤器的自动人脸检测和识别的准确性的影响。所研究的社交媒体图像过滤器要么修改图像对比度或照明，要么用例如人造眼镜或动物鼻子遮挡面部的部分。我们观察到，其中一些过滤器的效果对人脸检测和身份识别都是有害的，特别是如果它们混淆眼睛或（在较小程度上）鼻子的话。为了抵消这种影响，我们开发了一种方法来重建的U-NET分割网络的修改版本的应用操作。这被观察到有助于更好的面部检测和识别精度。从识别的角度来看，我们采用距离测量和经过训练的机器学习算法，这些算法应用于使用经过训练的ResNet-34网络识别人脸提取的特征。我们还评估了将过滤后的图像纳入机器学习方法的训练集是否有利于身份识别。我们的研究结果表明，当过滤器不遮挡重要标志时，特别是眼睛（识别准确率> 99%，EER<2%），识别效果良好。所提出的方法的组合效果还允许减轻由遮挡面部的部分的过滤器产生的效果，在评估大部分扰动的情况下实现>92%的识别准确度，并且EER <8%。虽然有改进的空间，但当既不应用U-NET重建也不应用滤波图像训练时，严重遮挡眼睛的滤波器的准确率<72%（识别）和>12%（EER）
2022-10-07 cs.CV
Fast-BEV: Towards Real-time On-vehicle Bird's-Eye View Perception
SenseTime（商汤科技）；Beijing University of Posts and Telecommunications（北京邮电大学）；The University of Hong Kong（香港大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近，纯基于摄像头的鸟瞰（BEV）感知去除了昂贵的激光雷达传感器，使其成为经济自主驾驶的可行解决方案。然而，大多数现有的BEV解决方案要么遭受适度的性能，要么需要相当多的资源来执行车载推理。本文提出了一种简单而有效的框架，称为快速BEV，它能够在车载芯片上执行实时的【形】BEV感知。为了实现这一目标，我们首先根据经验发现，BEV表示可以足够强大，而无需昂贵的视图变换或深度表示。从M2 BEV基线开始，我们进一步引入（1）用于图像和BEV空间的强数据增强策略，以避免过度拟合（2）多帧特征融合机制，以利用时间信息（3）优化的部署友好视图转换，以加速推理。通过实验，我们证明了Fast-BEV模型族在边缘检测上取得了相当高的精度和效率。特别是，我们的M1模型（R18@256x704）可以在Tesla T4平台上运行超过50 FPS，在nuScenes验证集上具有47.0%的NDS。我们最大的模型（R101@900x1600）在nuScenes验证集上建立了一个新的最先进的53.5% NDS。代码发布于：https://github.com/Sense-GVT/Fast-BEV。
2023-01-19 cs.CV
360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales
National Taiwan University（国立台湾大学）
注视估计涉及预测人在图像或视频内正在看的位置。从技术上讲，凝视信息可以从两个不同的放大水平推断出来：面部取向和眼睛取向。由于在极端左/右凝视或遮挡等条件下缺乏清晰的眼罩，因此该推断对于野外凝视估计并不总是可行的。在这项工作中，我们设计了一个模型，模仿人类的能力，估计目光聚集从集中的外观，每个在不同的放大水平的脸面积。该模型避免了需要提取清晰的眼罩，并在同一时间解决了另一个重要的问题，在野外的注视估计的面部尺度变化。我们进一步扩展了模型，以处理具有挑战性的任务，360度凝视估计编码的极性表示以及一个强大的平均方案的向后凝视。在ETH-XGaze数据集上的实验结果表明，该模型能够有效地吸收来自多个尺度的信息。对于具有许多尺度变化的人脸的其他基准数据集（Gaze 360和RT-GENE），所提出的模型在使用图像或视频时实现了最先进的凝视估计性能。我们的代码和预训练模型可以在https://github.com/ashesh-0/MultiZoomGaze上访问。
2021-10-26 cs.CV
Towards Evaluating Driver Fatigue with Robust Deep Learning Models
Conestoga College（康尼斯托加学院）；Drexel University（德雷塞尔大学）
在本文中，我们探索了不同的基于深度学习的方法来检测驾驶员疲劳。在美国，困倦驾驶每年会导致大约72，000起撞车事故和44，000起受伤事故，检测到驾驶员的困倦并提醒驾驶员可以挽救许多生命。已经有许多方法来检测疲劳，眼睛闭合检测是其中之一。我们提出了一个框架来检测眼睛闭合在捕获的相机帧作为网关检测困倦。我们探索两个不同的数据集来检测眼睛闭合。我们使用新的眨眼数据集开发了一个眼睛模型，使用Closed Eyes in the Wild（CEW）开发了一个人脸模型。我们还探索了不同的技术，通过添加噪声使模型更加鲁棒。我们在眼睛模型上实现了95.84%的准确率，在面部模型上实现了80.01%的准确率。我们还看到，通过对抗训练和数据增强，我们可以将人脸模型的准确率提高6%。我们希望我们的工作将是有用的领域的驾驶员疲劳检测，以避免潜在的车辆事故相关的困倦驾驶。
2021-02-08 cs.CV cs.LG
Detection of Driver Drowsiness by Calculating the Speed of Eye Blinking
Mannheim University of Applied Science（曼海姆应用科学大学）
许多交通事故是由于司机的困倦引起的。虽然存在检测闭上的眼睛的方法，但是检测驾驶员变得困倦的逐渐过程是一项重要的任务。我们认为，一个简单的实时检测系统的困倦仅仅是基于眨眼率从眼睛的长宽比。对于眼睛检测，我们使用HOG和线性SVM。如果眨眼的速度下降到经验确定的阈值以下，系统就会触发警报，从而防止驾驶员陷入微睡眠。在本文中，我们广泛评估所提出的系统的最低要求。我们发现，这个系统工作良好，如果面对相机，但它变得不太可靠，一旦头部倾斜显着。我们的评估结果为我们的困倦检测系统的进一步发展提供了基础。
2021-10-21 cs.CV
Geometric Feature Based Face-Sketch Recognition
National Institute of Science and Technology（国立科学技术学院）；Jadavpur University（贾达普大学）
提出了一种基于人脸特征提取的人脸素描图像或素描识别方法。为了识别人脸素描，我们集中在一组几何人脸特征，如眼睛，鼻子，眉毛，嘴唇等，以及它们的长度和宽度比，因为很难匹配照片和素描，因为它们属于两种不同的模态。在该系统中，首先从训练图像中提取面部特征/成分，然后计算长度、宽度和面积等的比率，并将其存储为各个图像的特征向量。之后，计算平均特征向量，并从每个特征向量中减去平均特征向量，以用于特征向量的居中。在下一个阶段中，也以类似的方式计算传入探头面草图的特征向量。本文采用K-NN分类器对探针人脸素描进行识别。实验证明，该方法对正面姿态、正常光照、中性表情、无遮挡的人脸具有较好的鲁棒性。实验已经进行了80名男性和女性的人脸图像从不同的人脸数据库。它在执法和数字娱乐方面都有很好的应用。
2013-12-05 cs.CV
