Event-based Face Detection and Tracking in the Blink of an Eye
Sorbonne Université(索邦大学);INSERM(法国国家健康与医学研究院);CNRS(法国国家科学研究中心);Institut de la Vision(视觉研究所);University of Pittsburgh(匹兹堡大学);Carnegie Mellon(卡内基梅隆大学)
我们提出了第一个纯粹的基于事件的方法,用于人脸检测,使用基于事件的相机的高时间分辨率。我们将依赖于一个从未用于此类任务的新功能,该任务依赖于检测眨眼。眨眼是人脸的一种独特的自然动态特征,它可以被基于事件的传感器很好地捕获,这些传感器依赖于亮度的相对变化。虽然可以用传统的相机捕捉到眨眼,我们将表明,眨眼的动态结合的事实,两只眼睛同时行动,可以得到一个强大的方法,在低计算成本和高时间分辨率的人脸检测。我们表明,眨眼有一个独特的时间签名随着时间的推移,可以很容易地检测到相关的收购本地活动与通用的时间模型的眨眼,已从广泛的用户群体。此外,我们表明,一旦可靠地检测到的脸,它是可能的概率框架来跟踪的空间位置的脸为每个传入的事件,同时更新跟踪器的位置。结果显示了几个室内和室外实验。我们还将发布一个带注释的数据集,可用于该主题的未来工作。
2019-04-02 cs.CV
Detecting Driver Fatigue With Eye Blink Behavior
Gebze Technical University(盖布泽技术大学)
本文提出基于图像的驾驶员疲劳检测方法,除眨眼频率外引入驾驶员自适应眨眼行为特征集,可适应驾驶员身体特征与车内位置,实验表明眨眼行为能有效提供疲劳信息。
2024-07-02 cs.CV
Detection of Driver Drowsiness by Calculating the Speed of Eye Blinking
Mannheim University of Applied Science(曼海姆应用科学大学)
许多交通事故是由于司机的困倦引起的。虽然存在检测闭上的眼睛的方法,但是检测驾驶员变得困倦的逐渐过程是一项重要的任务。我们认为,一个简单的实时检测系统的困倦仅仅是基于眨眼率从眼睛的长宽比。对于眼睛检测,我们使用HOG和线性SVM。如果眨眼的速度下降到经验确定的阈值以下,系统就会触发警报,从而防止驾驶员陷入微睡眠。在本文中,我们广泛评估所提出的系统的最低要求。我们发现,这个系统工作良好,如果面对相机,但它变得不太可靠,一旦头部倾斜显着。我们的评估结果为我们的困倦检测系统的进一步发展提供了基础。
2021-10-21 cs.CV
A Comprehensive Review On Various State Of Art Techniques For Eye Blink Detection
NMAM Institute of Technology(NMAM技术学院)
计算机视觉被认为是最重要的研究领域之一,并专注于开发许多应用程序,这些应用程序已被证明对研究和社会效益都很有用。今天,我们已经目睹了许多道路事故的发生,仅仅是因为缺乏注意力,而驾驶。作为避免这种灾难发生在日常生活中的一部分,有许多技术专注于跟踪车辆驾驶员的注意力。其中一种技术使用眨眼检测的方法来找出驾驶员的注意力水平。随着许多高端的相机设备的出现,基于成本效益的考虑,利用眨眼检测来跟踪驾驶员的注意力水平已经变得更加有效和廉价,因此本文对各种眨眼检测算法的实现进行了详尽的综述,并将其应用扩展到了其他领域,如困倦检测、疲劳检测和表情检测等.
2019-11-27 cs.CV
Towards a new system for drowsiness detection based on eye blinking and head posture estimation
University of Sfax(斯法克斯大学);National School of Engineers (ENIS)(国家工程师学院(ENIS))
驾驶员疲劳问题被认为是导致道路交通事故增加的重要原因之一。本文提出了一种新的方法,实时驾驶员困倦,以防止交通事故。该系统使用智能摄像头拍摄驾驶员的面部图像,并监督眨眼(打开和关闭)状态和头部姿势,以检测不同的困倦状态。人脸和眼睛检测采用Viola和Jones技术。
2018-05-31 cs.CV eess.IV
Horse Eye Blink Detection and Classification for Equine Affective State Assessment
Visual Analysis and Perception Lab, Aalborg University(视觉分析与感知实验室,奥尔堡大学);Department of Animal Biosciences, Swedish University of Agricultural Sciences(动物生物科学系,瑞典农业科学大学)
本研究开发并评估了三种基于视频的马匹眨眼自动分类方法(帧级YOLOv12检测器、光流幅度阈值法和微调VideoMAE模型),在公开数据集上实现了眨眼分类宏F1分数0.898和二元眨眼检测0.926,展示了细粒度动作单元检测在马匹福利监测中的潜力和挑战。
2026-06-03 cs.CV
Spatiotemporal Pyramidal CNN with Depth-Wise Separable Convolution for Eye Blinking Detection in the Wild
School of Engineering Pedagogy, Hanoi University of Science and Technology(河内科学技术大学工程教育学院);Graduate School of Engineering and Science, Shibaura Institute of Technology(芝浦工业大学工程与科学研究生院)
针对野外眨眼检测中图像分辨率变化和模型推理时间高的问题,提出使用统一分辨率插值方法和深度可分离卷积的时空金字塔CNN,实现高效且轻量的检测。
2023-06-20 cs.CV
DeepFace-Attention: Multimodal Face Biometrics for Attention Estimation with Application to e-Learning
Universidad Autonoma de Madrid(马德里自治大学)
本研究提出DeepFace-Attention多模态注意力估计方法,融合多种人脸相关特征,在mEBAL2数据集上准确率超越现有SOTA,可应用于电子学习场景。
2024-08-14 cs.CV cs.HC
Using image-extracted features to determine heart rate and blink duration for driver sleepiness detection
University of Tehran(德黑兰大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);Henry Ford Health System(亨利福特医疗系统)
心率和眨眼持续时间是两个重要的生理信号,它们提供了有关心脏活动和意识的信息。监测这两个信号对于驾驶员困倦检测等各种应用至关重要。由于用于连续、长期监测的常规系统存在若干问题,因此可以使用远程眨眼和ECG监测系统作为替代方案。为了估计眨眼持续时间,使用两种策略。在第一种方法中,睁开和闭上眼睛的图片被送入人工神经网络(ANN),以决定眼睛是睁开还是闭上。在第二种方法中,它们使用线性判别分析(LDA)进行分类和标记。然后使用标记的图像来确定眨眼持续时间。对于心率变异性,使用两种策略来评估通过的血容量:独立分量分析(ICA)和基于色度的方法。眼睛识别产生78-92%的准确率分类开/闭的眼睛与人工神经网络和71-91%的准确率与LDA。ICA策略的心率评估平均损失约为16次/分钟(BPM),基于色度的技术平均损失约为13次/分钟。
2019-12-08 cs.CV
Real-Time Face & Eye Tracking and Blink Detection using Event Cameras
Xperi Corporation(Xperi公司);National University of Ireland Galway(爱尔兰国立高威大学);Prophesee(Prophesee公司)
事件摄像机包含新兴的神经形态视觉传感器,可以捕捉每个像素的局部光强度变化,生成一系列异步事件。这种获取视觉信息的方式与传统的基于帧的相机不同,并提供了几个显著的优点:低能耗、高时间分辨率、高动态范围和低延迟。驾驶员监控系统(DMS)是驾驶舱内安全系统,旨在感知和理解驾驶员的身体和认知状态。活动摄像机因其固有的优势而特别适合DMS。提出了一种新的方法,同时检测和跟踪人脸和眼睛的驾驶员监控。提出了一种独特的全卷积递归神经网络架构。为了训练该网络,使用精确的限界框注释模拟合成的基于事件的数据集,称为Neuromorphic HELEN。此外,提出了一种检测和分析驾驶员眨眼的方法,利用事件相机的高时间分辨率。眨眼的行为提供了对驾驶员疲劳或困倦程度的更深入的了解。我们表明,眨眼有一个独特的时间签名,可以更好地捕捉事件相机。
2020-10-16 cs.CV cs.LG
Driver Drowsiness Classification Based on Eye Blink and Head Movement Features Using the k-NN Algorithm
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);University of Tübingen(图宾根大学)
现代先进的驾驶辅助系统分析驾驶性能,以收集有关驾驶员状态的信息。这样的系统能够例如通过评估转向或车道保持行为来检测困倦的迹象,并且当困倦状态达到临界水平时警告驾驶员。然而,这些类型的系统无法获得关于驾驶员状态的直接线索。因此,这项工作的目的是延长驾驶员困倦检测车辆使用的信号的驾驶员监控摄像头。为此,在驾驶模拟器实验中提取了与驾驶员眨眼行为和头部运动相关的35个特征。基于该大数据集,我们开发并评估了一种基于k-最近邻算法的驾驶员状态分类的特征选择方法。最佳性能的功能集的结论性分析产生有价值的见解的影响,驾驶员的眨眼行为和头部运动的困倦。这些发现将有助于未来开发强大可靠的驾驶员困倦监测系统,以防止疲劳引发的事故。
2020-09-28 cs.CV
Blinking Beyond EAR: A Stable Eyelid Angle Metric for Driver Drowsiness Detection and Data Augmentation
Institue of Smart Engineering and Machine Elements at the Hamburg University of Technology(汉堡技术大学智能工程与机械元件研究所);Intelligent Transport Systems group at the Australian Center for Robotics, The University of Sydney(澳大利亚机器人中心智能交通系统组)
本文提出了一种稳定的眼睑角度度量ELA,用于提升驾驶员困倦检测的可靠性,并通过合成数据增强扩展训练数据多样性。
2025-11-24 cs.CV cs.LG eess.IV
MATT: Multimodal Attention Level Estimation for e-learning Platforms
Autonomous University of Madrid(马德里自治大学)
本文提出了一种基于多模态人脸分析的远程注意水平估计系统。我们的多模态方法使用从行为和生理过程获得的不同参数和信号,这些行为和生理过程与建模认知负荷有关,例如面部姿势(例如,眨眼率,面部动作单元)和用户动作(例如,头部姿势、到相机的距离)。多模态系统使用基于卷积神经网络(CNN)的以下模块:眨眼检测、头部姿势估计、面部标志检测和面部表情特征。首先,我们单独评估建议的模块,估计学生的注意力水平在线电子学习课程期间捕获的任务。为此,我们为每个模块训练了基于支持向量机(SVM)的二进制分类器(高或低关注度)。其次,我们发现在多大程度上多模态分数水平融合提高了注意力水平估计。mEBAL数据库中使用的实验框架中,一个公共的多模态数据库的注意力水平估计中获得的电子学习环境,包含来自38个用户的数据,同时进行几个电子学习任务的可变难度(创建学生认知负荷的变化)。
2023-01-22 cs.CV cs.HC cs.LG
FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Beihang University(北京航空航天大学);East China Normal University(华东师范大学);Xiamen University(厦门大学);Samsung Research America(三星美国研究院)
在本文中,我们提出了一种说话的脸生成方法,以音频信号作为输入和短的目标视频剪辑作为参考,并合成一个逼真的视频的目标脸与自然的嘴唇运动,头部姿势,和眨眼是同步的输入音频信号。我们注意到,合成的面部属性不仅包括诸如与语音具有高相关性的嘴唇运动之类的显式属性,而且包括诸如与输入音频仅具有弱相关性的头部姿势和眨眼之类的隐式属性。为了对不同人脸属性与输入音频之间的复杂关系进行建模,我们提出了一种FACe隐式属性学习生成对抗网络(FACIAL-GAN),它集成了语音感知,上下文感知和身份感知信息,以合成具有嘴唇,头部姿势和眨眼的逼真运动的3D人脸动画。然后,我们的Rendering-to-Video网络将渲染的人脸图像和眨眼的注意力图作为输入,以生成照片级逼真的输出视频帧。实验结果和用户研究表明,我们的方法可以生成逼真的说话人脸视频,不仅同步嘴唇运动,而且自然的头部运动和眨眼,具有更好的质量比国家的最先进的方法的结果。
2021-08-18 cs.CV
Eye-focused Detection of Bell's Palsy in Videos
College of Engineering Roorkee(鲁尔基工程学院);Indraprastha Institute of Information Technology Delhi (IIIT-Delhi)(德里英德拉普拉斯塔信息技术学院(IIIT-德里));University of Texas at Dallas(德克萨斯大学达拉斯分校);Raman Classes(拉曼课堂)
在本文中,我们介绍了如何贝尔氏麻痹,一种神经系统疾病,可以检测到只是从一个主题的眼睛在视频中。我们注意到,贝尔氏麻痹患者经常挣扎着眨眼。因此,我们可以观察到两只眼睛眨眼模式之间的明显对比。虽然以前的工作确实利用图像/视频来检测这种疾病,但没有一个明确关注眼睛。大多数都需要整张脸。拥有眼睛聚焦检测系统的一个明显优势是,受试者的匿名性不会受到威胁。此外,我们基于简单眨眼模式的人工智能决策使它们变得可解释和简单。具体来说,我们开发了一个新的功能称为眨眼相似性,它衡量两个眨眼模式之间的相似性。我们广泛的实验表明,所提出的功能是相当强大的,因为它有助于贝尔麻痹检测,即使很少的标签。我们提出的眼睛聚焦检测系统不仅便宜,而且比现有的几种方法更方便。
2022-01-27 cs.AI cs.CV cs.MM
Vision Based Game Development Using Human Computer Interaction
Bharath University(巴拉特大学);St.Joseph College of Engineering(圣约瑟夫工程学院)
一个人机界面(HCI)系统玩游戏是为了更自然地与机器进行通信而设计的。这里介绍的系统是一个基于视觉的系统,用于检测长时间的自愿眨眼和解释眨眼模式,用于人与机器之间的通信。该系统用人脸代替鼠标,作为与计算机交互的新方式。面部特征(鼻尖和眼睛)被实时检测和跟踪,以将其动作用作鼠标事件。实时视频馈送中的鼻尖的坐标和移动被转换为应用程序上的鼠标指针的坐标和移动。左眼或右眼眨眼会触发鼠标左击或右击事件。该系统使用廉价的USB摄像头,以每秒30帧的帧速率运行。
2010-02-10 cs.CV cs.HC cs.MM
In the Blink of an Eye: Event-based Emotion Recognition
Dalian University of Technology(大连理工大学);Princeton University(普林斯顿大学);College of William & Mary(威廉与玛丽学院)
针对传统相机光照鲁棒性差的问题,提出基于事件相机和轻量级脉冲网络SEEN的单眼情感识别方法,结合时间与空间线索,在SEE数据集上验证有效,为同类研究首创。
2023-10-06 cs.CV cs.GR
In the Blink of an Eye: Instant Game Map Editing using a Generative-AI Smart Brush
Wargaming(WG游戏公司);Johannes Kepler University Linz(约翰开普勒林茨大学)
针对3A游戏地图高分辨率纹理编辑难题,提出基于GAN和扩散模型的智能画笔,实现上下文感知的即时地图修改,兼顾自动化与艺术控制,且GAN变体输出更清晰。
2025-03-26 cs.CV
Efficient Eye Typing with 9-direction Gaze Estimation
China University of Mining and Technology(中国矿业大学);Australian National University(澳大利亚国立大学)
基于视觉的文本输入系统旨在帮助残疾人通过眼球运动实现文本交流。大多数先前的方法已经采用现有的眼睛跟踪器来预测注视方向并基于此设计输入方法。然而,这些方法可能导致眼动追踪质量变得容易受到各种因素和用于校准的冗长时间量的影响。本文提出了一种新的高效的基于凝视的文本输入方法,它具有低成本和鲁棒性的优点。用户可以通过看着屏幕上的屏上键盘并眨眼来输入单词。我们引入了一种将人类注视分为九个方向的方法,而不是直接估计注视角度来跟踪眼睛。该方法可以有效地提高通过注视和眨眼进行选择的准确性。我们建立了一个卷积神经网络(CNN)模型的9个方向的视线估计。在9向凝视的基础上,我们使用了在直板手机中广泛使用的九键T9输入法。酒吧手机在几十年前就在全球非常流行,并培养了强大的用户习惯和语言模型。为了训练一个强大的凝视估计器,我们创建了一个大规模的数据集,其中包含来自25个人的眼睛图像。根据实验结果,我们的CNN模型能够准确地估计不同设备在不同光照条件下不同人的注视。考虑到残疾人的需要,我们取消了复杂的校准过程。输入法可以在屏幕模式和便携式离屏模式下运行。此外,我们的实验中使用的数据集可供社区使用,以允许进一步的实验。
2017-07-03 cs.CV
Privacy Preserving Gaze Estimation using Synthetic Images via a Randomized Encoding Based Framework
University of Tübingen(图宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
眼动追踪是评估和评估人类注意力、行为和生物特征的应用的关键技术之一,特别是使用凝视、瞳孔和眨眼行为。然而,关于眼动追踪技术的社会接受度的挑战之一是敏感和个人信息的保存。为了解决这个问题,我们采用了一个隐私保护框架的基础上随机编码训练支持向量回归模型使用合成的眼睛图像私人估计人类的目光。在计算过程中,任何一方都不知道其他任何一方拥有的数据或结果。此外,训练模型的一方不能重建瞳孔、眨眼或视觉扫描路径。实验结果表明,我们的隐私保护框架是能够在实时工作,具有相同的精度相比,非私人版本,并可以扩展到其他眼动追踪相关的问题。
2021-07-13 cs.CR cs.CV cs.HC
EyeNet: A Multi-Task Network for Off-Axis Eye Gaze Estimation and User Understanding
Magic Leap, Inc.(Magic Leap公司)
通过眼睛图像对用户的眼睛注视估计和同步语义理解是虚拟和混合现实中的关键组成部分;实现节能渲染,多焦点显示和与3D内容的有效交互。在头戴式VR/MR设备中,眼睛离轴成像以避免阻挡用户的凝视,该视点使得绘制眼睛相关的推断非常具有挑战性。在这项工作中,我们提出了EyeNet,第一个单一的深度神经网络,解决了多个异构任务相关的眼睛注视估计和语义用户理解的离轴相机设置。这些任务包括眼睛分割、眨眼检测、情绪表情分类、红外LED闪烁检测、瞳孔和角膜中心估计。为了训练EyeNet端到端,我们采用手动标记监督和基于模型的监督。我们在MagicEyes上对所有任务进行基准测试,MagicEyes是一个大型的新数据集,包含587名受试者,具有不同的形态,性别,肤色,化妆和成像条件。
2019-08-24 cs.CV cs.LG eess.IV
Neural Network Approach for Eye Detection
Vignan Institute of Technology and Sciences(维格纳科技学院);VITS(维格纳科技学院)
诸如汽车导航系统的驾驶支持系统正变得普遍,并且它们在若干方面支持驾驶员。基于眨眼计数和眼动指令控制的非侵入式疲劳和困倦检测方法有助于驾驶员防止因困倦驾驶而引起的碰撞。在光照、背景、人脸对齐、表情等多种条件下的眼睛检测和跟踪使得问题变得复杂。本文提出了一种基于神经网络的眼睛检测算法。该算法首先对含有眼睛特征的图像和含有非眼睛特征的图像训练神经网络剔除非眼睛区域,然后利用Gabor滤波器和支持向量机进行降维和有效分类。该算法首先利用L*a* b变换颜色空间进行人脸分割,然后利用HSV和神经网络方法进行眼睛检测。对近100幅不同条件下的不同人的图像进行了测试,成功率达到98%;对50幅非眼睛图像和50幅不同角度的眼睛图像进行了Gabor滤波训练,得到了满意的结果。本文是印度政府科学技术部在海得拉巴Vignan Hills的Vignan技术与科学研究所资助的“驾驶员疲劳和困倦实时监测和预测非侵入式系统开发”项目的研究工作的一部分。
2012-05-23 cs.CV
The Story in Your Eyes: An Individual-difference-aware Model for Cross-person Gaze Estimation
Hangzhou Dianzi University(杭州电子科技大学);NEC Laboratories America(美国NEC实验室)
我们提出了一种新的方法,改进跨人凝视预测任务的眼睛/人脸图像,只有明确建模的人的具体差异。具体来说,我们首先假设我们可以用现有的方法获得一些初始的凝视预测结果,我们将其称为InitNet,然后介绍三个模块,有效性模块(VM),自校准(SC)和个人特定变换(PT)模块。通过预测当前眼睛/面部图像的可靠性,我们的VM能够识别无效样本,例如眨眼图像,并减少它们在建模过程中的影响。然后,我们的SC和PT模块学习仅补偿有效样本上的差异。前者通过弥合初始预测和逐列分布之间的差距来对平移偏移进行建模。后者通过整合来自同一个人的现有初始预测的信息来学习更一般的个人特定转换。我们在三个公开的数据集上验证了我们的想法,EVE,XGaze和MPIIGaze,并证明我们提出的方法在所有数据集上都显著优于SOTA方法,例如,相对性能分别提高了21.7%,36.0%和32.9%。我们在EVE数据集上赢得了GAZE 2021竞赛。我们的代码可以在这里找到https://github.com/bjj9/EVE_SCPT。
2021-06-27 cs.CV
A Real-Time Driver Drowsiness Detection System Using MediaPipe and Eye Aspect Ratio
Vishwakarma Institute of Technology(维什瓦卡玛理工学院)
针对驾驶员疲劳引发交通事故的问题,本文提出基于MediaPipe Face Mesh与EAR的实时困倦检测系统,依托普通摄像头和OpenCV实现低成本高准确率的监测与警报,可集成至ADAS。
2025-11-17 cs.CV
PupilSense: A Novel Application for Webcam-Based Pupil Diameter Estimation
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道工业大学)
本文提出PupilSense,一种利用标准网络摄像头估计瞳孔直径的新应用,并提供详细分析与开源数据集,使瞳孔测量在无专门设备的日常环境中更易获取,惠及行为研究与医疗保健。
2025-03-29 cs.AI cs.CV cs.CY
Deepfake Detection using Biological Features: A Survey
VJTI(维杰亚瓦尔马吉技术学院)
Deepfake是一种基于深度学习的技术,可以轻松更改或修改图像和视频。在调查和法庭上,通常使用视觉证据,但由于deepfake的技术进步,这些证据现在可能会受到怀疑。Deepfakes被用来勒索个人,策划恐怖袭击,传播虚假信息,诽谤个人,煽动政治动荡。这项研究描述了Deepfake的历史,它的发展和检测,以及基于生理测量的挑战,如眉毛识别,眨眼检测,眼球运动检测,耳朵和嘴巴检测以及心跳检测。本研究还提出了这一领域的范围,并比较了不同的生物特征及其分类器。Deepfake是使用生成对抗网络(GANs)模型创建的,并且由于可见的伪影而曾经很容易被人类检测到。然而,随着技术的进步,deepfake已经变得与自然图像高度不可区分,因此审查检测方法变得非常重要。
2023-01-14 cs.AI cs.CV cs.CY