Open-Eye: An Open Platform to Study Human Performance on Identifying AI-Synthesized Faces
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
人工智能合成的人脸在视觉上很难与真实人脸区分开来。它们被用作虚假社交媒体账户的个人资料图片，这导致了很高的负面社会影响。虽然在开发自动检测人工智能合成人脸的方法方面取得了进展，但还没有开放的平台来研究人工智能合成人脸检测的人类性能。在这项工作中，我们开发了一个名为Open-eye的在线平台，以研究人工智能合成人脸检测的人类性能。本文介绍了Open-eye的设计和工作流程。
2022-05-13 cs.CV
Is human face processing a feature- or pattern-based task? Evidence using a unified computational method driven by eye movements
Centro Universitario FEI（FEI 大学中心）；Laboratorio Nacional de Computacao Cientifica（国家科学计算实验室）；Imperial College London（伦敦帝国理工学院）
利用眼动对人脸进行处理的研究已经证明，我们成功地识别了人脸图像，将我们的视觉注意力集中在几个内部面部区域，主要是眼睛，鼻子和嘴巴。要了解我们如何完成这一过程中的编码高维面孔如此有效，本文提出并实现了一种多元提取方法，结合人脸图像方差与人类空间注意力图建模为特征和模式为基础的信息源。它是基于一个统一的多维表示著名的脸空间的概念。空间注意力图是一些参与者的眼动追踪注视的汇总统计数据，以及在单独的性别和面部表情识别任务期间对正面和框架良好的面部图像的试验。我们的实验结果进行公开可用的人脸数据库表明，我们可能会模仿人类提取系统作为一个基于模式的计算方法，而不是一个基于特征的正确解释人类系统在识别视觉人脸信息的熟练程度。
2017-09-04 cs.CV
Towards mitigating uncann(eye)ness in face swaps via gaze-centric loss terms
University of Florida（佛罗里达大学）；University of Washington（华盛顿大学）；University of Bamberg（班贝格大学）
针对人脸交换中的恐怖谷效应，提出基于预训练注视估计网络的损失项，改善眼睛表示，减少视角误差，并降低眼睛在深度伪造检测中的决定性作用。
2024-02-05 cs.CV
Rotational Motion-Induced Error Compensation for Phase-Shifting Profilometry-Based Eye Reconstruction
Department of Mechanical Engineering, Yonsei University（延世大学机械工程系）；Meta Reality Labs（Meta现实实验室）
针对相移轮廓术在眼部重建中因眼旋转产生的误差问题，提出基于特定用户三维眼模型估计眼旋转，补偿相机像素失配和相移误差，并引入区域优化策略，实验证明可提高重建精度，为高精度眼动追踪奠定基础。
2026-07-17 cs.CV
Real-time 3D Face-Eye Performance Capture of a Person Wearing VR Headset
Nanyang Technological University（南洋理工大学）；University of Science and Technology of China（中国科学技术大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
基于虚拟现实（VR）头戴式显示器（HMD）设备的会议或远程呈现是非常有趣和有前途的应用，因为HMD可以为用户提供沉浸式感觉。然而，为了便于HMD用户的面对面通信，需要佩戴HMD的人的实时的3D面部性能捕获，这是一项非常具有挑战性的任务，由于HMD引起的大遮挡。现有的有限的解决方案是非常复杂的，无论是在设置或方法，以及缺乏3D眼睛注视运动的性能捕获。在本文中，我们提出了一种基于卷积神经网络（CNN）的解决方案，用于HMD用户的实时的3D脸眼性能捕获，而无需对设备进行复杂的修改。为了解决缺乏训练数据的问题，我们通过数据合成以及收集来自多个主体的VR-IR眼睛数据集来生成大量对HMD人脸标签数据集。然后，我们训练一个人脸区域的稠密拟合网络和一个眼睛注视网络来回归三维眼睛模型参数。大量的实验结果表明，我们的系统可以有效地和有效地产生在实时的一个生动的个性化的3D化身与正确的身份，姿势，表情和眼睛运动对应的HMD用户。
2019-01-21 cs.CV
Mask-off: Synthesizing Face Images in the Presence of Head-mounted Displays
University of Kentucky（肯塔基大学）；North Carolina Central University（北卡罗来纳中央大学）
盔装显示器（HMD）是增强现实系统的重要组成部分。然而，由于上面部区域被设备严重遮挡，在诸如电信和多玩家视频游戏的应用中，用户体验可能受到影响。在本文中，我们首先提出了一种新的实验装置，由两个近红外（NIR）相机指向眼睛区域和一个可见光RGB相机捕捉可见人脸区域。本文的主要目的是基于这些摄像机拍摄到的图像，合成真实感的人脸图像。为此，我们提出了一个新的合成框架，其中包含四个模块：三维头部重建，人脸对齐和跟踪，人脸合成，眼睛合成。在人脸合成中，我们提出了一种新的算法，该算法可以鲁棒地对齐和跟踪个性化的3D头部模型，给出了一个严重被HMD遮挡的人脸。在眼睛合成中，为了生成准确的眼睛运动和动态皱纹变化的眼睛区域周围，我们提出了另一种新的算法来着色的近红外眼睛图像，并进一步消除由着色引起的“红眼”效应。实验结果表明，无论是硬件设置还是系统框架，都能很好地合成视频序列中的真实人脸图像。
2016-10-27 cs.CV
A novel approach to nose-tip and eye corners detection using H-K Curvature Analysis in case of 3D images
MCKV Institute of Engineering（MCKV工程学院）；Jadavpur University（贾达普大学）
在本文中，我们提出了一种新的方法，结合了HK曲率为基础的方法在不同的姿态（X轴，Y轴和Z轴）的三维（3D）人脸检测。通过分析整个面部表面的曲率来检测突出的面部特征，例如眼睛和鼻子。所有实验均在FRAV3D数据库上进行。在将该算法应用于3D人脸表面之后，我们获得了相当好的结果，即在752个3D人脸图像上，我们的方法检测到543个人脸图像的眼角，从而给出了72.20%的眼角检测和743个人脸图像的鼻尖检测，从而给出了98.80%的良好鼻尖定位
2013-09-18 cs.CV
CP-EB: Talking Face Generation with Controllable Pose and Eye Blinking Embedding
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
提出CP-EB方法，基于GAN从音频和参考视频提取眨眼特征并对比训练，嵌入身份与姿态特征，生成同步嘴唇、自然头部姿态和眨眼的逼真说话人脸。
2023-11-15 cs.CV
A Framework for Fast Face and Eye Detection
人脸检测是许多计算机视觉应用中必不可少的一步，如监视、跟踪、医学分析、面部表情分析等。其中，基于Haar类特征的方法是一种鲁棒的方法。尽管具有鲁棒性，但Haar类特征的工作具有一些限制。然而，通过对算法进行一些简单的修改，可以使其性能更快，更鲁棒。目前的工作是指在原算法的操作速度的增加，通过下采样的帧和它的分析与不同的比例因子。它还讨论了使用仿射变换的输入图像的倾斜的脸的检测。
2015-05-13 cs.CV
End-to-end Video Gaze Estimation via Capturing Head-face-eye Spatial-temporal Interaction Context
National Key Laboratory of Science and Technology on Multi-Spectral Information Processing, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院多谱信息处理技术国家级重点实验室）
本文提出MCGaze方法，通过端到端捕获头部-面部-眼睛时空交互上下文，联合定位线索并融合全局与局部特征，实现高效视频注视估计，在Gaze360数据集上验证优越性。
2023-12-29 cs.CV
Analysis of Human Perception in Distinguishing Real and AI-Generated Faces: An Eye-Tracking Based Study
University of Notre Dame（圣母大学）；Dolby Laboratories（杜比实验室）
本研究通过眼动追踪实验调查人类如何区分真实与AI生成的人脸，发现参与者对StyleGAN-3生成图像的平均识别准确率为76.80%，且在怀疑图像为伪造时审视更仔细，为人类对AI生成媒体的感知提供了有价值的见解。
2024-09-23 cs.CV
NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation
Hikvision Research Institute（海康威视研究院）
注视估计是许多视觉任务的基本基础。然而，获取具有3D注释的注视数据集的高成本阻碍了注视估计模型的优化和应用。在这项工作中，我们提出了一种新的头-眼重定向参数模型的基础上神经辐射场，它允许密集的视线数据生成视图一致性和准确的视线方向。此外，我们的头眼重定向参数化模型可以将人脸和眼睛解耦，分别进行神经渲染，从而达到分别控制人脸、身份、光照和眼睛注视方向等属性的目的。因此，不同的3D感知的凝视数据集可以通过操纵属于不同的人脸属性在一个无监督的方式的潜在代码获得。在多个基准测试上的实验证明了该方法在视线估计任务的领域泛化和领域自适应方面的有效性。
2022-12-30 cs.CV
Inner Eye Canthus Localization for Human Body Temperature Screening
Media Integration and Communication Center University of Florence（佛罗伦萨大学媒体集成与通信中心）
在本文中，我们提出了一种自动定位的方法，在热人脸图像的内眼角。我们首先粗略地检测对应于眼睛中心、鼻尖和耳朵的5个面部关键点。然后，我们使用3D变形人脸模型（3DMM）计算稀疏的2D-3D点对应关系。这种对应关系用于将整个3D面部投影到图像上，并随后定位内眼角。检测该位置允许使用热成像相机获得最精确的人体温度测量。我们评估了热人脸数据集上的方法提供手动注释的地标。然而，这样的手动注释通常被设想为识别诸如眼睛、鼻子和嘴的面部部分，并且不是专门针对定位眼角区域而定制的。作为额外的贡献，我们丰富了原始数据集，通过使用注释的地标变形和投影到图像上的3DMM。然后，通过手动选择对应于眼角的小区域，我们用额外的注释丰富了数据集。通过使用手动地标，我们确保了3DMM投影的正确性，这可以用作未来评估的地面实况。此外，我们提供的数据集与3D头部姿势和每点的可见性掩模检测自遮挡。数据将公开发布。
2020-08-27 cs.CV
FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Beihang University（北京航空航天大学）；East China Normal University（华东师范大学）；Xiamen University（厦门大学）；Samsung Research America（三星美国研究院）
在本文中，我们提出了一种说话的脸生成方法，以音频信号作为输入和短的目标视频剪辑作为参考，并合成一个逼真的视频的目标脸与自然的嘴唇运动，头部姿势，和眨眼是同步的输入音频信号。我们注意到，合成的面部属性不仅包括诸如与语音具有高相关性的嘴唇运动之类的显式属性，而且包括诸如与输入音频仅具有弱相关性的头部姿势和眨眼之类的隐式属性。为了对不同人脸属性与输入音频之间的复杂关系进行建模，我们提出了一种FACe隐式属性学习生成对抗网络（FACIAL-GAN），它集成了语音感知，上下文感知和身份感知信息，以合成具有嘴唇，头部姿势和眨眼的逼真运动的3D人脸动画。然后，我们的Rendering-to-Video网络将渲染的人脸图像和眨眼的注意力图作为输入，以生成照片级逼真的输出视频帧。实验结果和用户研究表明，我们的方法可以生成逼真的说话人脸视频，不仅同步嘴唇运动，而且自然的头部运动和眨眼，具有更好的质量比国家的最先进的方法的结果。
2021-08-18 cs.CV
Through BrokenEyes: How Eye Disorders Impact Face Detection?
Indian Institute of Technology Delhi（印度理工学院德里）
本研究通过BrokenEyes系统模拟五种常见眼疾，分析其对深度学习模型中特征表示的影响，并量化视觉退化对学习表示的干扰。
2026-02-26 cs.CV
EyeBAG: Accurate Control of Eye Blink and Gaze Based on Data Augmentation Leveraging Style Mixing
KAIST（韩国科学技术院）；Innerverz（Innerverz公司）
针对生成模型在眼部控制上表现不佳的问题，提出包含眨眼与注视重定向模块的EyeBAG框架，并利用风格混合的数据增强方法生成高质量眼部控制图像，有效提升下游任务性能。
2023-06-30 cs.CV
GazePrior: Zero-Shot AR/VR Eye Tracking via Learned 3D Gaze Reconstruction
Meta Reality Labs（Meta现实实验室）；EPFL（苏黎世联邦理工学院）
本文提出GazePrior，一种数据驱动的3D注视先验模型，用于在无需额外数据收集的情况下实现高质量的AR/VR注视跟踪，通过合成数据提高模型的准确性和鲁棒性。
2026-05-21 cs.CV
Learning Unsupervised Gaze Representation via Eye Mask Driven Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）
本文提出一种无监督注视预训练框架，通过交替眼部掩码训练、注入瓶颈和对比损失，从全脸图像中学习低维注视表示，在多个基准上优于现有无监督方法。
2024-06-29 cs.CV
RLDF: A Region-Level Deepfake Dataset and Benchmark for Partial-Face Manipulation Detection
Birla Institute of Technology and Science, Pilani（贝拉理工学院皮拉尼分校）
该研究提出首个区域级深度伪造数据集RLDF，定义3种评估协议并基准测试12种检测器，发现现有模型在局部人脸篡改检测中泛化性差，AUC降10.5%、准确率降10%，还提出掩码引导交叉注意力基线模型。
2026-10-16 cs.CV
RoadBEV: Road Surface Reconstruction in Bird's Eye View
Tsinghua University（清华大学）；UC Berkeley（加州大学伯克利分校）
本文提出RoadBEV-mono和RoadBEV-stereo两个BEV路面高程重建模型，分别利用单目和立体图像，在真实数据集上取得1.83厘米和0.50厘米的高程误差，为自动驾驶提供可靠的道路预览信息。
2024-08-07 cs.CV
Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors
本文提出眼动行为辅助的多模态情绪识别数据集EMER及EMERT架构，通过模态对抗特征解耦和多任务Transformer弥合面部表情识别与情绪识别之间的差距，显著提升情绪识别鲁棒性。
2024-11-19 cs.CV
Encoding Emotion Through Self-Supervised Eye Movement Reconstruction
本文提出一种自监督眼动重建模型，用于从自然主义低分辨率视频中预测情绪表达的多模态标记，通过微调两个下游任务验证了其有效性。
2026-01-21 cs.AI cs.CV
Eye Pupil Location Using Webcam
Jagiellonian University（雅盖隆大学）
三种不同的算法用于眼睛瞳孔定位的描述和测试。算法效率比较是基于从BioID数据库中获取的人脸图像。此外，所有眼睛定位方法都在支持基于眼睛运动的计算机控制的专用应用程序中实现。在这种情况下，人脸图像由网络摄像头获取并实时处理。
2012-02-29 cs.CV cs.HC
Teacher's Perception in the Classroom
University of Tübingen（图宾根大学）；Technical University of Munich（慕尼黑工业大学）；Leibniz-Institut für Wissensmedien（莱布尼茨知识媒体研究所）
教师在课堂上让所有学生参与主动学习过程的能力是提高学生成绩的重要先决条件。教师的注意过程提供了重要的见解，教师的能力，把他们的注意力集中在相关的信息，在课堂互动的复杂性，并分配他们的注意力在学生之间，以认识到相关的学习需要。在这种背景下，移动眼动追踪是教学效果研究中的一种创新方法，可以捕捉教师在教学时的注意力过程。然而，手动分析移动眼动追踪数据非常耗时，而且仍然受到限制。在本文中，我们介绍了一种新的方法，以提高移动眼动跟踪的影响，将其与计算机视觉。在移动眼动追踪视频从教育研究中使用标准化的小团体的情况下，我们采用了最先进的人脸检测器，创建人脸tracklet，并引入了一种新的方法来聚类到身份的数量。随后，通过关联眼动追踪注视和面部轨迹来计算每个学生在教学单元期间的教师注意力焦点。据我们所知，这是第一个将计算机视觉和移动眼动追踪结合起来的工作，以模拟教师在指导时的注意力。
2018-05-22 cs.CV
A Video Database of Human Faces under Near Infra-Red Illumination for Human Computer Interaction Aplications
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
人机交互（HCI）是计算机和人类之间的连贯通信的一个不断发展的研究领域。一些重要的应用HCI在文献中报道的人脸检测，人脸姿态估计，人脸跟踪和眼睛凝视估计。这些应用程序的算法开发是一个活跃的研究领域。然而，标准数据库的可用性，以验证这些算法是不够的。本文讨论了创建这样一个数据库下创建近红外（NIR）照明。近红外照明已经在夜间模式应用中得到普及，因为长时间暴露于红光（IR）照明可能导致许多健康问题。该数据库包含60名受试者在不同的头部方向和不同的面部表情，面部遮挡和照明变化的近红外视频。这个新的数据库可以是一个非常有价值的资源，用于开发和评估近红外照明中的人脸检测，眼睛检测，头部跟踪，眼睛注视跟踪等算法。
2015-05-15 cs.CV
Real-Time Face and Landmark Localization for Eyeblink Detection
Erasmus MC（伊拉斯谟大学医学中心）；Delft University of Technology（代尔夫特理工大学）
巴甫洛夫眨眼条件反射是一个强大的实验，用于神经科学领域，以衡量我们在日常生活中如何学习的多个方面。为了在实验中跟踪眼睑的运动，研究人员传统上使用电位计或肌电图。最近，计算机视觉和图像处理的使用减轻了对这些技术的需求，但是当前采用的方法需要人为干预并且不够快以实现实时的【形】处理。在这项工作中，人脸和地标检测算法被仔细地结合起来，以提供全自动的眼睑跟踪，并进一步加速，朝着在线闭环实验迈出了关键的第一步。到目前为止，这样的实验还没有实现，预计将为神经和精神疾病的运作提供重要的见解。基于广泛的文献检索，各种不同的人脸检测和地标检测算法进行了分析和评价。两种算法被确定为最适合于眼睑检测：用于人脸检测的方向性直方图（HOG）算法和用于地标检测的回归树集合（ERT）算法。这两种算法在GPU和CPU上进行了加速，分别获得了1,753 $\times$和11 $\times$的加速比。为了证明我们的眼睑检测算法的有用性，形成了一个研究假设，并采用了一个成熟的神经科学实验：眨眼检测。我们的实验评估揭示了每帧0.533 ms的整体应用程序运行时间，这比顺序实现快1，101 $\times$，并且完全在人类眨眼调节的实时的【形】要求内，即快于每秒500帧。
2020-07-15 cs.CV eess.IV
SPECFACE - A Dataset of Human Faces Wearing Spectacles
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
本文提出了一个数据库的人脸戴眼镜的人。该数据库包括面部图像，这些面部图像在照明、头部姿势、肤色、面部表情和尺寸以及眼镜的性质方面具有显著变化。该数据库包含60名受试者的数据。该数据库有望成为开发和评估人脸检测、眼睛检测、头部跟踪、眼睛注视跟踪等算法的宝贵资源，戴眼镜的人因此，这可能是对计算机视觉社区的宝贵贡献。
2016-08-11 cs.CV
Adaptive Feature Fusion Network for Gaze Tracking in Mobile Tablets
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
最近，已经提出了许多多流注视估计方法。他们从眼睛和面部外观估计凝视，并达到合理的准确性。然而，大多数方法只是简单地连接从眼睛和面部外观提取的特征。特征融合过程被忽略了。在本文中，我们提出了一种新的自适应特征融合网络（AFF-Net），它在移动平板电脑上执行视线跟踪任务。我们堆叠两只眼睛的特征图，并利用挤压和激励层自适应融合两只眼睛的功能，根据他们的外观相似性。同时，我们还提出了自适应组归一化方法，在面部特征的指导下重新校准眼睛特征。在GazeCapture和MPIIFaceGaze数据集上进行的大量实验表明，所提出的方法具有一贯的优越性能。
2021-03-20 cs.CV
Fully Convolutional Neural Networks for Raw Eye Tracking Data Segmentation, Generation, and Reconstruction
Eberhard Karls University Tübingen（图宾根埃伯哈德·卡尔斯大学）
在本文中，我们使用完全卷积神经网络的眼动追踪数据的语义分割。我们还使用这些网络进行重建，并结合变分自动编码器来生成眼动数据。我们的方法的第一个改进是不需要输入窗口，因为使用了全卷积网络，因此可以直接处理任何输入大小。第二个改进是所使用和生成的数据是未经预处理的原始眼动追踪数据（位置X、Y和时间）。这是通过预先初始化第一层中的滤波器并沿着z轴构建输入张量来实现的。我们在三个公开的数据集上评估了我们的方法，并将结果与最先进的方法进行了比较。
2021-01-17 cs.CV cs.HC cs.LG
FastRSR: Efficient and Accurate Road Surface Reconstruction from Bird's Eye View
Institute of Automation, CAS（中国科学院自动化研究所）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对现有鸟瞰视角路面重建方法存在的信息丢失、表示稀疏及立体匹配速度与精度平衡问题，提出FastRSR-mono和FastRSR-stereo模型，通过深度感知投影、空间注意力增强等模块，在RSRD数据集上实现精度提升与速度加快。
2025-04-13 cs.CV
A Coarse-to-Fine Adaptive Network for Appearance-Based Gaze Estimation
Beihang University（北京航空航天大学）；SenseTime Co., Ltd.（商汤科技有限公司）；Peng Cheng Laboratory（鹏城实验室）
人类的凝视对于各种吸引人的应用是必不可少的。针对更准确的视线估计，最近的一系列工作提出了同时利用人脸和眼睛图像。然而，在这些研究中，人脸图像和眼睛图像只是作为独立或平行的特征源，它们之间的内在关联性被忽略了。本文主要做了以下几个方面的工作：1）提出了一种由粗到精的策略，该策略从人脸图像中估计出一个基本的注视方向，并利用从眼睛图像中预测出的相应残差对该基本注视方向进行细化。2)在该策略的指导下，我们设计了一个框架，引入了一个二元模型来桥接注视残差和基本注视方向，并引入了一个注意力组件来自适应地获取合适的细粒度特征。3)综合上述创新，我们构建了一个由粗到细的自适应网络CA-Net，并在MPIIGaze和EyeDiap上实现了最先进的性能。
2020-01-01 cs.CV
Attention Mesh: High-fidelity Face Mesh Prediction in Real-time
Google Research（谷歌研究院）
我们提出了注意力网格，一个轻量级的架构，用于三维人脸网格预测，使用注意力语义有意义的区域。我们的神经网络专为实时的【形】设备上推理而设计，在Pixel 2手机上运行速度超过50 FPS。我们的解决方案支持AR化妆、眼动追踪和AR木偶戏等依赖于眼睛和嘴唇区域高度准确地标的应用。我们的主要贡献是一个统一的网络架构，它在面部标志上实现了与多级级联方法相同的准确性，同时速度提高了30%。
2020-06-19 cs.CV
Eye-See-You: Reverse Pass-Through VR and Head Avatars
New Jersey Institute of Technology（新泽西理工学院）；University of Central Florida（佛罗里达中央大学）
针对VR头显遮挡用户面部阻碍交流的问题，提出RevAvatar框架，利用生成模型和多模态AI从部分面部区域重建2D图像和3D头部虚拟化身，并构建包含20万样本的VR-Face数据集，显著提升了虚拟环境中的社交互动体验。
2025-05-28 cs.CV
Towards a new system for drowsiness detection based on eye blinking and head posture estimation
University of Sfax（斯法克斯大学）；National School of Engineers (ENIS)（国家工程师学院（ENIS））
驾驶员疲劳问题被认为是导致道路交通事故增加的重要原因之一。本文提出了一种新的方法，实时驾驶员困倦，以防止交通事故。该系统使用智能摄像头拍摄驾驶员的面部图像，并监督眨眼（打开和关闭）状态和头部姿势，以检测不同的困倦状态。人脸和眼睛检测采用Viola和Jones技术。
2018-05-31 cs.CV eess.IV
The Selectivity and Competition of the Mind's Eye in Visual Perception
Drexel University（德雷塞尔大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
研究表明，大脑中的神经元对某些刺激具有选择性。例如，神经科学家知道，当人们看到人脸而不是非人脸物体时，梭状回面部区域（FFA）会选择性地激活。然而，初级视觉系统将信息引导到大脑正确的更高层次的机制目前尚不清楚。在我们的工作中，我们通过创建一种新颖的计算模型来模拟几种高级神经感知机制，该模型以分层竞争的形式结合了横向和自上而下的反馈。我们不仅表明，这些元素可以帮助解释信息流和大脑内的高级别区域的选择性，我们还证明，这些神经机制提供了一个新的分类框架，对手传统的监督学习在计算机视觉的基础。此外，我们提出了定量和定性的结果表明，我们的生成框架是一致的神经主题，并使简单，但强大的类别级分类。
2021-03-23 cs.CV
Real-time estimation of overt attention from dynamic features of the face using deep-learning
Biomedical Engineering（生物医学工程）；City College of New York（纽约城市学院）
提出基于前置摄像头面部动态特征的深度学习模型，无需参考群体即可实时预测个体显性眼动注意力，在3个实验中验证了有效性，且客户端运行保护隐私。
2024-09-25 cs.CV
Real-Time Face & Eye Tracking and Blink Detection using Event Cameras
Xperi Corporation（Xperi公司）；National University of Ireland Galway（爱尔兰国立高威大学）；Prophesee（Prophesee公司）
事件摄像机包含新兴的神经形态视觉传感器，可以捕捉每个像素的局部光强度变化，生成一系列异步事件。这种获取视觉信息的方式与传统的基于帧的相机不同，并提供了几个显著的优点：低能耗、高时间分辨率、高动态范围和低延迟。驾驶员监控系统（DMS）是驾驶舱内安全系统，旨在感知和理解驾驶员的身体和认知状态。活动摄像机因其固有的优势而特别适合DMS。提出了一种新的方法，同时检测和跟踪人脸和眼睛的驾驶员监控。提出了一种独特的全卷积递归神经网络架构。为了训练该网络，使用精确的限界框注释模拟合成的基于事件的数据集，称为Neuromorphic HELEN。此外，提出了一种检测和分析驾驶员眨眼的方法，利用事件相机的高时间分辨率。眨眼的行为提供了对驾驶员疲劳或困倦程度的更深入的了解。我们表明，眨眼有一个独特的时间签名，可以更好地捕捉事件相机。
2020-10-16 cs.CV cs.LG
EFE: End-to-end Frame-to-Gaze Estimation
ETH Zürich（苏黎世联邦理工学院）；Lunit Inc.（Lunit公司）；Delft University of Technology（代尔夫特理工大学）
提出端到端帧到注视估计网络，无需裁剪直接回归3D注视原点和方向，在三个公开数据集上达到与最先进方法相当的性能，并泛化至极端视角变化。
2023-05-09 cs.CV
Guiding Visual Attention in Deep Convolutional Neural Networks Based on Human Eye Movements
University of Salzburg（萨尔茨堡大学）
深度卷积神经网络（DCNN）最初受到生物视觉原理的启发，已经发展成为当前物体识别的最佳计算模型，因此在与神经成像和神经时间序列数据的比较中，表明与腹侧视觉通路具有很强的结构和功能平行性。随着深度学习的最新进展似乎降低了这种相似性，计算神经科学面临着对生物可解释性进行逆向工程以获得有用模型的挑战。虽然以前的研究表明，生物启发的架构能够放大模型的人性化，但在这项研究中，我们研究了一种纯粹的数据驱动方法。我们使用眼动追踪数据来直接修改训练样本，从而在自然图像中的对象识别过程中引导模型的视觉注意力朝向或远离人类注视的焦点。我们比较和验证不同的操作类型（即，标准、类人和非类人注意力），通过GradCAM显着性图对人类参与者的眼动追踪数据。我们的研究结果表明，所提出的引导焦点操纵工程作为预期的负方向和非人类的模型专注于显着不同的图像部分相比，人类。所观察到的效果是高度类别特异性的，增强了动物性和人脸的存在，只有在前馈处理完成后，开发，并表示对人脸检测的强烈影响。然而，使用这种方法，没有显着增加的人类likeness.Possible的DCNN中的显性视觉注意的应用和进一步的人脸检测理论的影响进行了讨论。
2022-09-06 cs.CV
The Story in Your Eyes: An Individual-difference-aware Model for Cross-person Gaze Estimation
Hangzhou Dianzi University（杭州电子科技大学）；NEC Laboratories America（美国NEC实验室）
我们提出了一种新的方法，改进跨人凝视预测任务的眼睛/人脸图像，只有明确建模的人的具体差异。具体来说，我们首先假设我们可以用现有的方法获得一些初始的凝视预测结果，我们将其称为InitNet，然后介绍三个模块，有效性模块（VM），自校准（SC）和个人特定变换（PT）模块。通过预测当前眼睛/面部图像的可靠性，我们的VM能够识别无效样本，例如眨眼图像，并减少它们在建模过程中的影响。然后，我们的SC和PT模块学习仅补偿有效样本上的差异。前者通过弥合初始预测和逐列分布之间的差距来对平移偏移进行建模。后者通过整合来自同一个人的现有初始预测的信息来学习更一般的个人特定转换。我们在三个公开的数据集上验证了我们的想法，EVE，XGaze和MPIIGaze，并证明我们提出的方法在所有数据集上都显著优于SOTA方法，例如，相对性能分别提高了21.7%，36.0%和32.9%。我们在EVE数据集上赢得了GAZE 2021竞赛。我们的代码可以在这里找到https://github.com/bjj9/EVE_SCPT。
2021-06-27 cs.CV
Pose Invariant 3D Face Reconstruction
Jiangnan University（江南大学）
三维人脸重建是计算机视觉领域的一个重要课题。虽然三维人脸重建技术近年来得到了迅速的发展，但大姿态下的人脸重建仍然是一个挑战。这是因为，在一个大的姿态下，关于一张脸的许多信息都是不可知的。为了解决这个问题，本文提出了一种新的三维人脸重建算法（PIFR）的基础上三维变形模型（3DMM）。在输入单个人脸图像后，通过归一化图像生成正面图像。然后对两幅图像的三维参数进行加权求和。该方法解决了传统方法在大姿态下对单幅图像进行人脸重建的问题，适用于任意姿态和表情，大大提高了重建的精度。在具有挑战性的AFW、LFPW和AFLW数据库上的实验表明，该算法即使在极端姿态下也能显著提高三维人脸重建的准确性。
2018-11-13 cs.CV
Eye Sclera for Fair Face Image Quality Assessment
Norwegian University of Science and Technology（挪威科技大学）
针对人脸识别系统中公平人脸图像质量评估的需求，提出以不受肤色等人口统计因素影响的巩膜为评估区域，验证其可替代现有指标实现公平的质量评估。
2025-01-13 cs.AI cs.CV
Modelling the Interplay of Eye-Tracking Temporal Dynamics and Personality for Emotion Detection in Face-to-Face Settings
brAIn Lab, IT University of Copenhagen（brAIn实验室，丹麦技术大学）；GN Advanced Science（GN先进科学）；IT University of Copenhagen（丹麦技术大学）
针对动态场景情绪识别难题，提出融合眼动时序动态、大五人格与刺激线索的人格感知多模态框架，在CREMA-D数据集上验证了不同信息对感知/感受情绪的差异化提升作用，推动个性化情感计算发展。
2025-09-19 cs.AI cs.CV cs.HC
Smile on the Face, Sadness in the Eyes: Bridging the Emotion Gap with a Multimodal Dataset of Eye and Facial Behaviors
School of Computer Science, China University of Geosciences (Wuhan)（中国地质大学（武汉）计算机科学学院）；School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院）；School of Computer Science, Wuhan University（武汉大学计算机科学学院）；School of Computing, Engineering and Mathematical Sciences, La Trobe University（拉筹伯大学计算科学、工程与数学科学学院）
本文通过构建包含眼行为和面部行为的多模态数据集EMER，提出EMERT模型以提升情感识别的鲁棒性。
2025-12-18 cs.AI cs.CV
Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition
Sichuan University（四川大学）；Michigan State University（密歇根州立大学）
本文提出了一种编码器-解码器网络，以解开形状特征在三维人脸重建从单一的2D图像，这样的任务，重建准确的3D人脸形状和学习判别人脸识别的形状特征，可以同时完成。与现有的3D人脸重建方法不同，我们提出的方法直接从单个2D图像回归密集的3D人脸形状，并处理身份和残差（即，基于具有潜在表示的复合3D面部形状模型，明确地和单独地在3D面部形状中识别（非身份）分量。我们设计了一个训练过程中提出的网络与联合损失测量人脸识别误差和三维人脸形状重建误差。为了构造训练数据，我们开发了一种方法，用于将3D变形模型（3DMM）拟合到受试者的多个2D图像。在MICC、BU 3DFE、LFW和YTF数据库上进行了综合实验。结果表明，我们的方法扩展了3DMM的能力，用于捕获有区别的形状特征和面部细节，从而优于现有的方法，无论是在三维人脸重建精度和人脸识别精度。
2018-03-30 cs.CV
Towards Evaluating Driver Fatigue with Robust Deep Learning Models
Conestoga College（康尼斯托加学院）；Drexel University（德雷塞尔大学）
在本文中，我们探索了不同的基于深度学习的方法来检测驾驶员疲劳。在美国，困倦驾驶每年会导致大约72，000起撞车事故和44，000起受伤事故，检测到驾驶员的困倦并提醒驾驶员可以挽救许多生命。已经有许多方法来检测疲劳，眼睛闭合检测是其中之一。我们提出了一个框架来检测眼睛闭合在捕获的相机帧作为网关检测困倦。我们探索两个不同的数据集来检测眼睛闭合。我们使用新的眨眼数据集开发了一个眼睛模型，使用Closed Eyes in the Wild（CEW）开发了一个人脸模型。我们还探索了不同的技术，通过添加噪声使模型更加鲁棒。我们在眼睛模型上实现了95.84%的准确率，在面部模型上实现了80.01%的准确率。我们还看到，通过对抗训练和数据增强，我们可以将人脸模型的准确率提高6%。我们希望我们的工作将是有用的领域的驾驶员疲劳检测，以避免潜在的车辆事故相关的困倦驾驶。
2021-02-08 cs.CV cs.LG
A Review of 3D Face Reconstruction From a Single Image
University of Electronic Science and Technology of China（电子科技大学）
三维人脸重建是计算机视觉和图形学领域的一个具有挑战性的问题，也是一个重要的研究课题。近年来，许多研究者开始关注这一问题，并发表了大量的研究论文。单幅图像重建是三维人脸重建的一个分支，在现实生活中有着广泛的应用。本文是一个回顾了最近的文献三维人脸重建从一个单一的图像。
2021-11-06 cs.CV
Perspective Reconstruction of Human Faces by Joint Mesh and Landmark Regression
Insightface；Imperial College London（帝国理工学院）
尽管三维人脸重建已经取得了令人瞩目的进展，但是当人脸距离摄像机很近时，由于透视投影下的畸变，大多数基于正交投影的人脸重建方法都不能获得准确一致的重建结果。在本文中，我们提出了同时重建三维人脸网格在世界空间和预测二维人脸标志的图像平面上，以解决透视三维人脸重建的问题。基于预测的3D顶点和2D界标，可以通过PADER求解器来容易地估计6DoF（6自由度）面部姿态以表示透视投影。我们的方法在ECCV 2022 WCPA挑战赛的排行榜上获得第一名，我们的模型在不同的身份，表情和姿势下具有视觉鲁棒性。训练代码和模型的发布，以方便未来的研究。
2022-08-15 cs.CV
360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales
National Taiwan University（国立台湾大学）
注视估计涉及预测人在图像或视频内正在看的位置。从技术上讲，凝视信息可以从两个不同的放大水平推断出来：面部取向和眼睛取向。由于在极端左/右凝视或遮挡等条件下缺乏清晰的眼罩，因此该推断对于野外凝视估计并不总是可行的。在这项工作中，我们设计了一个模型，模仿人类的能力，估计目光聚集从集中的外观，每个在不同的放大水平的脸面积。该模型避免了需要提取清晰的眼罩，并在同一时间解决了另一个重要的问题，在野外的注视估计的面部尺度变化。我们进一步扩展了模型，以处理具有挑战性的任务，360度凝视估计编码的极性表示以及一个强大的平均方案的向后凝视。在ETH-XGaze数据集上的实验结果表明，该模型能够有效地吸收来自多个尺度的信息。对于具有许多尺度变化的人脸的其他基准数据集（Gaze 360和RT-GENE），所提出的模型在使用图像或视频时实现了最先进的凝视估计性能。我们的代码和预训练模型可以在https://github.com/ashesh-0/MultiZoomGaze上访问。
2021-10-26 cs.CV
Generative Face Parsing Map Guided 3D Face Reconstruction Under Occluded Scenes
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）；Qingdao Research Institute of Beihang University（北京航空航天大学青岛研究院）
本文提出一种由关键点引导的完整人脸解析图生成方法，通过估计遮挡区域的二维人脸结构来构建三维纹理，从而在遮挡场景下实现更高质量和更鲁棒的三维人脸重建。
2024-12-25 cs.CV
Towards an Embodied Semantic Fovea: Semantic 3D scene reconstruction from ego-centric eye-tracker videos
Imperial College London（帝国理工学院）
描述物理环境对于完全理解人类在不受约束的日常任务中的行为至关重要。这在以自我为中心的任务中尤其重要，在这些任务中，获得三维信息既有限制性又有挑战性，而目前的2D视频分析方法证明是不够的。在这里，我们展示了一个概念验证系统，它提供了实时的3D映射和语义标记的本地环境从以自我为中心的RGB-D视频流与3D凝视点估计头戴式眼动追踪眼镜。我们增加现有的工作，语义同时定位与地图构建（语义SLAM）与收集的凝视向量。然后，我们的系统可以从多个角度以合理的精度在3D中找到和跟踪用户视野内外的对象。我们通过从NYUv 2数据集的图像中生成语义图来验证我们的概念，同时从数据集图像的记录凝视数据中估计凝视位置和凝视类。
2018-07-27 cs.CV cs.HC cs.RO
Face Reconstruction from Face Embeddings using Adapter to a Face Foundation Model
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne (UNIL)（洛桑大学）
本文提出利用适配器将黑盒人脸识别模型的嵌入转换到人脸基础模型嵌入空间，从而重建人脸图像，实验证明该方法在攻击人脸识别模型时优于以往重建攻击方法。
2024-11-06 cs.CV
Low-cost Geometry-based Eye Gaze Detection using Facial Landmarks Generated through Deep Learning
University of Sherbrooke（谢布鲁克大学）
本文提出一种基于几何的眼部注视检测方法，利用深度学习生成的3D面部特征点构建8维流形预测注视方向，在消费级硬件上实现角度误差小于1.9度的实时高精度估计。
2023-12-31 cs.CV
A Self-Supervised Bootstrap Method for Single-Image 3D Face Reconstruction
Amazon Web Services（亚马逊云科技）
用于从单个图像进行面部的3D重建的最新方法需要2D-3D地面实况数据对以进行监督。这样的数据是昂贵的获取，在文献中可用的大多数数据集被限制到对输入的2D图像描绘的脸在一个近正面平行的姿势。因此，许多数据驱动的单图像三维人脸重建方法在侧面和近侧面人脸上表现不佳。我们提出了一种方法来提高单图像三维人脸重建网络的性能，利用网络来合成自己的训练数据进行微调，包括：（i）单图像三维重建的脸在近正面图像没有地面真实的三维形状;（ii）应用刚体变换重建的脸模型;（iii）渲染的脸模型从新的观点;以及（iv）使用绘制的图像和相应的3D重建作为用于监督微调的附加数据。由此产生的新的2D-3D对具有对于近锋平行重建观察到的相同的高质量，从而将网络推向作为输入面的视角的函数的更均匀的性能。应用所提出的技术微调的一个国家的最先进的单图像三维重建网络的脸证明了该方法的有用性，特别是显着的增益为剖面或近剖面视图。
2018-12-17 cs.CV
