Towards End-to-end Video-based Eye-Tracking
ETH Zurich(苏黎世联邦理工学院)
仅从图像估计眼睛注视是一项具有挑战性的任务,在很大程度上是由于不可观察的个人特定因素。实现高精度通常需要来自测试用户的标记数据,这在实际应用中可能无法实现。我们观察到,用户正在看的东西和用户眼睛的外观之间存在很强的关系。针对这种理解,我们提出了一种新的数据集和相应的方法,旨在明确地学习这些语义和时间关系。我们的视频数据集包括时间同步的屏幕记录,面向用户的相机视图和眼睛凝视数据,这允许在时间凝视跟踪以及无标签的凝视细化的新基准。重要的是,我们证明了视觉刺激以及眼睛图像的信息融合可以导致实现类似于通过监督个性化获得的文献报道的数字的性能。我们的最终方法在我们提出的EVE数据集上产生了显着的性能改进,在注视点估计方面提高了28%(导致2.49度的角度误差),为纯粹来自网络摄像头传感器的高精度基于屏幕的眼动追踪铺平了道路。数据集和参考源代码可在https://ait.ethz.ch/projects/2020/EVE上获得
2020-07-26 cs.CV
EEGEyeNet: a Simultaneous Electroencephalography and Eye-tracking Dataset and Benchmark for Eye Movement Prediction
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
我们提出了一个新的数据集和基准,目的是推进大脑活动和眼球运动的交叉研究。我们的数据集,EEGEyeNet,包括同步脑电图(EEG)和眼动跟踪(ET)记录从356个不同的主题,从三个不同的实验范式收集。使用这个数据集,我们还提出了一个基准来评估从EEG测量的凝视预测。基准测试包括三个难度逐渐增加的任务:左右、角度幅度和绝对位置。我们在这个基准上进行了大量的实验,以提供坚实的基线,无论是基于经典的机器学习模型还是大型神经网络。我们发布完整的代码和数据,并提供一个简单易用的界面来评估新方法。
2021-11-10 cs.CV cs.LG eess.SP
Adaptive Feature Fusion Network for Gaze Tracking in Mobile Tablets
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室)
最近,已经提出了许多多流注视估计方法。他们从眼睛和面部外观估计凝视,并达到合理的准确性。然而,大多数方法只是简单地连接从眼睛和面部外观提取的特征。特征融合过程被忽略了。在本文中,我们提出了一种新的自适应特征融合网络(AFF-Net),它在移动平板电脑上执行视线跟踪任务。我们堆叠两只眼睛的特征图,并利用挤压和激励层自适应融合两只眼睛的功能,根据他们的外观相似性。同时,我们还提出了自适应组归一化方法,在面部特征的指导下重新校准眼睛特征。在GazeCapture和MPIIFaceGaze数据集上进行的大量实验表明,所提出的方法具有一贯的优越性能。
2021-03-20 cs.CV
Cycle-GAN for eye-tracking
South Ural State University(南乌拉尔国立大学)
本文提出了一种非典型的循环生成对抗网络(Cycle-GAN)方法,用于眼动追踪任务。
2022-05-21 cs.AI cs.CV
Event-Based Eye Tracking. AIS 2024 Challenge Survey
本综述回顾 AIS 2024 基于事件的视线追踪挑战赛,总结其任务、参与情况,并分析提交的多种方法,以推动该领域研究。
2024-04-17 cs.AI cs.CV
High-frequency near-eye ground truth for event-based eye tracking
Politecnico di Milano(米兰理工大学);EssilorLuxottica Italia S.p.A.(依视路陆逊梯卡意大利股份公司)
针对事件相机眼动追踪数据集稀缺且缺乏眼级标注的问题,本文提出了一个改进版数据集和半自动标注流程,并提供200Hz瞳孔检测真值,以支持算法验证与深度学习训练。
2025-02-05 cs.CV
Calibration of Multiple Fish-Eye Cameras Using a Wand
Beihang University(北京航空航天大学)
鱼眼相机在计算机视觉中越来越受欢迎,但其用于3D测量的使用受到限制,部分原因是缺乏准确,高效和用户友好的校准程序。为此,我们提出了一种方法来校准的内在和外在的参数(包括径向失真参数)的两个/多个鱼眼相机同时使用一个魔杖下一般运动。由于所使用的通用相机模型,所提出的校准方法也适用于两个/多个常规相机和混合相机(例如,两个常规相机和一个鱼眼相机)。仿真和实际实验验证了该方法的有效性。此外,我们开发了摄像机标定工具箱,这是在线提供。
2014-07-04 cs.CV
Incorporating Eye-Tracking Signals Into Multimodal Deep Visual Models For Predicting User Aesthetic Experience In Residential Interiors
本研究提出双分支CNN-LSTM模型,融合眼动信号与视觉数据,提升对住宅室内空间审美体验的预测精度。
2026-01-23 cs.AI cs.CV
Bayesian Eye Tracking
Rensselaer Polytechnic Institute(伦斯勒理工学院)
基于模型的眼动追踪由于其能够推广到不同的主体,而不需要任何训练数据和眼睛注视注释,已经成为眼睛注视跟踪的主要方法。然而,基于模型的眼动追踪易受眼睛特征检测误差的影响,特别是对于野外的眼动追踪。为了解决这个问题,我们提出了一个贝叶斯框架,基于模型的眼动追踪。所提出的系统包括一个级联贝叶斯卷积神经网络(c-BCNN),以捕捉眼睛外观和它的地标之间的概率关系,和一个几何眼睛模型,估计眼睛凝视眼睛地标。给定测试眼睛图像,贝叶斯框架可以通过贝叶斯推理生成眼睛注视分布,而无需显式地标检测和模型训练,基于此,它不仅估计最可能的眼睛注视,而且还估计其不确定性。此外,使用贝叶斯推理而不是基于点的推理,我们的模型不仅可以更好地推广到不同的子帧,头部姿势和环境,而且对图像噪声和地标检测错误具有鲁棒性。最后,利用估计的注视不确定性,我们可以构建一个级联架构,使我们能够逐步提高注视估计的准确性。与最先进的基于模型和基于学习的方法相比,所提出的贝叶斯框架在几个基准数据集的泛化能力以及在具有挑战性的现实条件下的准确性和鲁棒性方面都有显着提高。
2021-06-25 cs.CV
Eye on the Target: Eye Tracking Meets Rodent Tracking
RWTH Aachen University(亚琛工业大学);Institute of Imaging and Computer Vision(成像与计算机视觉研究所);Institute for Laboratory Animal Science(实验动物科学研究所)
本文提出利用 Aria 眼动数据生成提示点并结合后处理优化与零样本分割模型的流程,显著提升大鼠视频分割准确率。
2025-03-13 cs.CV
Deep Learning-based Eye-Tracking Analysis for Diagnosis of Alzheimer's Disease Using 3D Comprehensive Visual Stimuli
Tianjin University(天津大学);Kunming University of Science and Technology(昆明理工大学);Tianjin Dementia Institute(天津痴呆研究所);Tianjin Huanhu Hospital(天津环湖医院)
阿尔茨海默病(AD)导致记忆力、思维和判断力的持续下降。传统的诊断方法多以临床经验为依据,受现实因素的限制。在本文中,我们专注于利用深度学习技术来诊断基于眼动跟踪行为的AD。视觉注意作为一种典型的眼动追踪行为,对检测AD患者的认知功能异常具有重要的临床价值。为了更好地分析AD患者和正常人之间视觉注意力的差异,我们首先在非侵入性眼动跟踪系统上进行3D全面视觉任务以收集视觉注意力热图。然后,我们提出了一个多层比较卷积神经网络(MC-CNN)来区分AD患者和正常人之间的视觉注意差异。在MC-CNN中,通过分层卷积获得热图的多层表示,以更好地编码眼动行为,并将其进一步集成到距离向量中,以利于全面的视觉任务。在收集的数据集上进行的大量实验结果表明,MC-CNN在使用眼动跟踪数据对AD患者和正常人进行分类时实现了一致的有效性。
2023-03-13 cs.AI cs.CV eess.IV
Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition
KAIST(韩国科学技术院);Adobe Research(Adobe研究院)
本文通过眼动数据可视化方法提升多模态LLM处理高频传感器数据的效率,验证了视觉提示在人类活动识别中的有效性与扩展性。
2026-02-27 cs.AI cs.CV cs.HC
A Survey on Eye-Gaze Tracking Techniques
Sri Jayachamarajendra College of Engineering(斯里贾亚查马拉詹德拉工程学院);University of North Texas(北德克萨斯大学)
眼动研究是人机交互研究的重要内容。视线跟踪是计算机视觉领域最具挑战性的问题之一.本文的目的是提出一个审查的最新研究,在这种持续增长的远程眼睛注视跟踪。这一概述包括基本定义和术语,在该领域的最新进展,最后在该领域的未来发展的需要。
2013-12-22 cs.CV
The Detection of Saccadic Eye Movements and Per-Eye Comparisons using Virtual Reality Eye Tracking Devices
Western University(西安大略大学)
本研究利用VR头显眼动仪在60或90Hz频率下构建原型软件,以检测扫视眼动并分析双眼差异,为神经科学及神经退行性疾病筛查提供新颖工具。
2025-03-11 cs.CV cs.HC
RIT-Eyes: Rendering of near-eye images for eye-tracking applications
Rochester Institute of Technology(罗切斯特理工学院)
用于基于视频的眼动追踪的深度神经网络已经证明了对噪声环境、杂散反射和低分辨率的适应性。然而,为了训练这些网络,需要大量的手动注释的图像。为了减轻人工标注的繁琐过程,计算机图形渲染被用来自动生成各种条件下的注释眼睛图像的大型语料库。在这项工作中,我们介绍了一个合成的眼睛图像生成平台,通过添加功能,如主动可变形虹膜,非球面角膜,视网膜逆反射,凝视协调眼睑变形和眨眼,改进了以前的工作。为了证明我们的平台的实用性,我们呈现的图像反映了两个公开可用的数据集NVGaze和OpenEDS中固有的代表性凝视分布。我们还报告了在渲染图像上训练并在原始数据集上测试的两种语义分割架构(SegNet和RITnet)的性能。
2020-06-05 cs.CV
Robust Video-Based Eye Tracking Using Recursive Estimation of Pupil Characteristics
Radboud University(拉德堡德大学)
基于视频的眼动追踪是一种非常有价值的技术。近年来,已经开发了许多开源眼动追踪算法,主要针对具有许多不同相机类型的一般应用而设计。然而,这些算法不利用在心理物理学研究中经常采用的眼动追踪相机的高帧速率。我们提出了一种瞳孔检测方法,利用这种高速性能,通过递归估计在连续的相机帧中的某些瞳孔特性,以获得可靠的预测。这些预测随后用于执行新的图像分割和分类例程,以提高瞳孔检测性能。基于手动标记的眼睛图像的结果,我们的方法被发现具有更高的检测率,准确性和速度相比,其他最近发表的开源瞳孔检测算法。该程序的源代码以及图形用户界面可以从https://github.com/tbrouns/eyestalker下载
2017-06-27 cs.CV
Reinforcement learning for the privacy preservation and manipulation of eye tracking data
本文提出了一种基于强化学习的眼动追踪数据处理方法。它基于两个对立的代理,其中一个试图正确分类数据,第二个代理在数据中寻找模式,这些模式被操纵以隐藏特定信息。我们表明,我们的方法是成功地适用于保护受试者的隐私。为此,我们迭代地评估我们的方法,以展示基于强化学习的方法的行为。此外,我们评估的时间,以及空间,信息的眼动追踪数据的特定分类目标的重要性。在我们评估的最后一部分,我们将该过程应用于进一步的公共数据集,而无需重新训练自动编码器或数据操纵器。结果表明,学习操纵是广义的,适用于看不见的数据以及。
2020-10-02 cs.AI cs.CV cs.LG
A Statistical Approach to Continuous Self-Calibrating Eye Gaze Tracking for Head-Mounted Virtual Reality Systems
UC San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
我们提出了一种新颖的,自动的眼睛注视跟踪方案的灵感来自平滑的追求眼睛运动,而玩手机游戏或观看虚拟现实内容。我们的算法连续地校准用于盔装显示器的眼动追踪系统。这消除了对明确校准步骤的需要,并自动补偿耳机相对于头部的微小移动。该算法找到角膜运动和屏幕空间运动之间的对应关系,并使用这些来生成高斯过程回归模型。这些模型的组合提供了从角膜位置到屏幕空间位置的连续映射。精确度几乎与使用明确的校准步骤实现的一样好。
2016-12-20 cs.CV
Don't Look at the Camera: Achieving Perceived Eye Contact
University of Washington(华盛顿大学);University of California, Riverside(加州大学河滨分校);Northeastern University(东北大学)
研究通过实验证明,相较于直接对镜头,低头看向镜头下方更有利于实现感知眼神接触,提出了优化 gaze 方向的方法。
2024-04-26 cs.CV cs.HC
Image based Eye Gaze Tracking and its Applications
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
眼动在感知世界中起着至关重要的作用。眼睛注视可以给出用户关注点的直接指示,这在改善人机交互中是有用的。以非侵入方式进行注视估计可以使人机交互更加自然。眼动追踪可用于多种应用,例如疲劳检测、生物特征认证、疾病诊断、活动识别、警觉水平估计、视情况注视显示、人机交互等。尽管眼动跟踪技术已经存在了几十年,但在消费者应用中还没有发现太多用途。主要原因是眼动追踪硬件成本高,缺乏消费级应用。在这项工作中,我们试图解决这两个问题。在这项工作的第一部分,基于图像的算法开发的视线跟踪,其中包括一个新的两阶段虹膜中心定位算法。我们已经开发了一种新的算法,它的作品在具有挑战性的条件下,如运动模糊,闪烁,和不同的照明水平。还开发了使用卷积神经网络的人独立的注视方向分类框架,其消除了对用户特定校准的要求。在这项工作的第二部分,我们已经开发了两个应用程序,可以受益于眼动追踪数据。提出了一种基于眼动参数的生物特征识别方法。活动识别的框架,使用从头戴式眼动仪的凝视数据也被开发出来。从凝视数据,自我运动,和视觉特征的信息被集成到分类的活动。
2019-07-09 cs.CV
An Affordable, Wearable Stereo-Eye-Tracking Platform
Human-Centered Technologies for Learning, Technical University of Munich(以人为本的学习技术,慕尼黑技术大学)
本文提出了一种经济实惠的可穿戴立体眼追踪平台,通过模块化设计支持多种眼追踪方法,提供开放的硬件设计和文档,便于研究和开发。
2026-04-29 cs.CV
Robust Iris Centre Localisation for Assistive Eye-Gaze Tracking
University of Malta(马耳他大学)
针对无约束条件下虹膜中心定位问题,提出基于U-Net变体的分割与回归方法,改进贝叶斯分类方案,实现与最先进水平相当或更优的性能,且保持实时性。
2024-11-07 cs.CV
A Novel Binocular Eye-Tracking SystemWith Stereo Stimuli for 3D Gaze Estimation
Tianjin University(天津大学)
眼动追踪技术已广泛应用于心理学研究和人机交互(HCI)等应用中。然而,目前大多数眼动追踪器集中在2D点的凝视(PoG)估计,并不能提供准确的凝视depth. Considering未来的应用,如人机交互与3D显示器,我们提出了一种新的双目眼动追踪设备与立体刺激,以提供高度准确的3D PoG估计。在我们的设备中,3D立体成像系统可以为用户提供友好和身临其境的3D视觉体验,而无需佩戴任何配件。该眼动捕捉系统可以无干扰地直接记录用户在3D刺激下的眼动。基于采集到的立体刺激下的眼动数据,建立了基于回归的三维眼动追踪模型。我们的模型估计用户的2D凝视与眼区地标定义的功能,并进一步估计3D PoG与多源特征集构建的全面的眼动特征和视差功能,从立体刺激。设计了两个不同景深的测试立体场景,验证了模型的有效性。实验结果表明,在工作空间体积50~cm $\times$ 30~cm $\times$ 75~cm/2.4~m $\times$ 4.0~m $\times$ 7.9~m范围内,二维凝视估计的平均误差为0.66 \degree,三维PoG估计的平均误差为1.85~cm/0.15~m。
2021-10-28 cs.CV
A Collaborative Computer Aided Diagnosis (C-CAD) System with Eye-Tracking, Sparse Attentional Model, and Deep Learning
University of Central Florida(中佛罗里达大学);National Institutes of Health(美国国立卫生研究院)
在放射学筛查中存在至少两类错误,其可导致次优诊断决策和干预:(i)人的易错性和(ii)视觉搜索的复杂性。计算机辅助诊断(CAD)工具的开发,以帮助放射科医生,以弥补这些错误中的一些。然而,尽管它们比传统的筛选策略有了显着的改进,但大多数CAD系统并没有超越它们作为第二意见工具的用途,因为它们会产生大量的误报,而人工翻译需要纠正这些误报。与放射学扫描的计算机化分析的努力平行,一些研究人员检查了放射科医生在筛选医学图像时的行为,以更好地了解他们如何以及为什么错过肿瘤,他们如何与图像中的信息相互作用,以及他们如何在图像中搜索未知的病理。眼动追踪工具一直在探索这些基本问题的答案。在本文中,我们的目标是开发一个范式转移的CAD系统,称为协同CAD(C-CAD),统一了上述两个研究线:CAD和眼动追踪。我们设计了一个眼动追踪界面,为放射科医生提供一个真正的放射学阅览室体验。然后,我们提出了一种新的算法,结合眼动追踪数据和CAD系统。具体来说,我们提出了一个新的基于图的聚类和稀疏化算法转换眼动追踪数据(凝视)到一个信号模型来解释凝视模式定量和定性。拟议的C-CAD通过眼动追踪技术与放射科医生合作,并帮助他们改善诊断决策。C-CAD通过处理放射科医生的凝视模式来学习他们的搜索效率。为此,C-CAD在新设计的多任务学习平台中使用深度学习算法,同时分割和诊断癌症。
2018-04-28 cs.AI cs.CV cs.LG
FlatTrack: Eye-tracking with ultra-thin lensless cameras
IIT Madras(印度马德拉斯理工学院);Rice University(莱斯大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本研究提出FlatTrack,一种基于掩模无透镜相机和轻量级深度神经网络算法的超扁平、轻量化眼动追踪系统,可嵌入眼镜框架内,在保持紧凑外形的同时实现与传统透镜追踪器相当的性能及>125 fps的实时注视追踪。
2025-01-26 cs.CV eess.IV
Using Deep Learning to Increase Eye-Tracking Robustness, Accuracy, and Precision in Virtual Reality
Rochester Institute of Technology(罗切斯特理工学院)
本文客观评估了多种当代机器学习眼部特征追踪方法对虚拟现实中注视估计质量的影响,重点考察准确度、精确度和丢帧率,揭示其对最终注视估计的实际作用。
2024-03-28 cs.CV
A Comprehensive Overview of Fish-Eye Camera Distortion Correction Methods
SUSTech(南方科技大学);Southern University of Science and Technology(南方科技大学)
该综述全面梳理鱼眼相机畸变校正的各类方法,涵盖多项式模型、全景/网格映射、直接法及深度学习方法,分析其优劣与进展,为相关应用的方法选择提供参考。
2024-05-13 cs.CV
Towards Unsupervised Eye-Region Segmentation for Eye Tracking
ByteDance Inc.(字节跳动公司)
针对眼动追踪中眼部分割需人工标注的问题,提出结合人眼先验与SAM模型的无监督渐进式分割方法,性能达监督学习的85%-90%。
2024-10-08 cs.CV
EyeTrAES: Fine-grained, Low-Latency Eye Tracking via Adaptive Event Slicing
Indian Institute of Technology Kharagpur(印度理工学院Kharagpur分校);Singapore Management University(新加坡管理大学)
提出EyeTrAES,利用神经形态事件相机与自适应切片算法实现低延迟高保真瞳孔追踪,并基于微观瞳孔动力学特征实现高效用户认证。
2025-07-10 cs.CV cs.HC
EPOSIT: An Absolute Pose Estimation Method for Pinhole and Fish-Eye Cameras
Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出了一种通用的六自由度摄像机位姿估计方法,该方法既适用于针孔摄像机,也适用于鱼眼摄像机。与现有方法不同的是,该方法利用三维点在世界坐标系中的相对位置而不是绝对坐标,具有唯一解。结合径向对称投影模型,将POSIT(Pose from Orthography and Scaling with Iteration)算法的适用范围推广到鱼眼相机。基于针孔摄像机和鱼眼摄像机的投影模型,推导了它们之间的像点关系。通过四个非共面物点及其对应的像点,可以得到适用于不同相机的通用位姿表达式。迭代计算准确的估计结果。在合成数据和真实数据上的实验结果表明,该方法的位姿估计结果比现有方法更稳定、更准确。源代码可在https://github.com/k032131/EPOSIT上获得。
2019-09-19 cs.CG cs.CV
Event-Based Eye Tracking. 2025 Event-based Vision Workshop
Leiden University(莱顿大学);Delft University of Technology(代尔夫特理工大学);DVSense(DVSense公司);Prophesee(Prophesee公司);NVIDIA(NVIDIA公司);Institute of Neuroinformatics, UZH/ETH Zurich(神经信息学研究所,苏黎世联邦理工学院/苏黎世大学);Fudan University(复旦大学);University of Würzburg(乌尔姆大学);University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡国立管理学院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Science, VNU-HCM, Ho Chi Minh City, Vietnam(越南胡志明市VNU-HCM大学);Vietnam National University, Ho Chi Minh City, Vietnam(越南胡志明市国家大学)
本综述回顾2025年CVPR基于事件的视觉研讨会中的眼动追踪挑战赛,总结排名靠前团队预测瞳孔中心的创新方法,并报告准确率、模型大小和操作数量,同时从硬件设计角度探讨该领域。
2025-04-25 cs.AI cs.CV cs.LG
Eyemotion: Classifying facial expressions in VR using eye-tracking cameras
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌)
虚拟现实环境中的社交交互的主要挑战之一是盔装显示器遮挡了面部的大部分,阻挡了面部表情,从而限制了用户之间的社交参与线索。因此,需要辅助手段来感知和传达这些表达。我们提出了一种算法,通过分析只有部分被遮挡的脸,而用户正在从事一个虚拟现实的经验,自动推断的表情。具体来说,我们表明,从VR头戴设备内的IR视线跟踪摄像头捕获的用户眼睛的图像足以推断面部表情的选择子集,而无需使用任何固定的外部摄像头。使用这些推理,我们可以实时生成动态化身,作为用户的表达代理。我们提出了一种新的数据汇集管道以及一种新的方法,通过个性化来提高CNN的准确性。我们的研究结果显示,平均准确率为74%($F1$为0.73)之间的5个“情绪”的表情和平均准确率为70%($F1$为0.68)之间的10个不同的面部动作单位,优于人类评分。
2017-07-28 cs.CV
RopeBEV: A Multi-Camera Roadside Perception Network in Bird's-Eye-View
Baidu Inc.(百度公司)
针对路侧多摄像头BEV感知面临的位姿多样、数量不定等挑战,提出首个密集型方法RopeBEV,通过BEV增强、CamMask等技术解决相关问题,在公开及私有数据集上取得优异表现。
2024-09-18 cs.CV
Driving among Flatmobiles: Bird-Eye-View occupancy grids from a monocular camera for holistic trajectory planning
Renault S.A.S(雷诺股份有限公司);Sorbonne universités, Université de technologie de Compiègne, CNRS, Heudiasyc(索邦大学,贡比涅技术大学,法国国家科学研究中心,Heudiasyc实验室);Monash University(莫纳什大学)
基于摄像头的端到端驾驶神经网络带来了将摄像头图像映射到驾驶控制命令的低成本系统的希望。这些网络之所以吸引人,是因为它们取代了费力的手工构建模块,但它们的黑匣子性质使它们在失败的情况下难以深入研究。最近的工作已经表明了使用显式中间表示的重要性,它具有增加网络决策的可解释性和准确性的好处。尽管如此,这些基于相机的网络在相机视图中推理,其中尺度不是均匀的,因此不直接适合于运动预测。在本文中,我们介绍了一种新的单目摄像机的整体端到端的轨迹规划网络与鸟瞰图(BEV)的中间表示,在二进制占领网格地图(OGM)的形式。为了简化从摄像机图像预测BEV中的OGM,我们引入了一种新的方案,其中首先将OGM预测为摄像机视图中的语义掩模,然后使用两个平面之间的单应性在BEV中变形。允许这种变换应用于3D对象(如车辆)的关键要素在于仅预测它们在相机视图中的足迹,因此尊重单应性所暗示的平坦世界假设。
2020-08-10 cs.AI cs.CV cs.RO
Cross-Dataset Experimental Study of Radar-Camera Fusion in Bird's-Eye View
Stellantis, Opel Automobile GmbH(斯泰兰蒂斯集团,欧宝汽车有限公司);Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau(莱茵兰-普法尔茨凯泽斯劳滕-兰道工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
提出一种灵活的雷达-相机鸟瞰图融合网络,在nuScenes与View-of-Delft上跨数据集评估,证明融合显著优于单传感器基线。
2023-09-27 cs.CV
NMF-Based Analysis of Mobile Eye-Tracking Data
University of Stuttgart(斯图加特大学)
提出利用非负矩阵分解(NMF)从移动眼动追踪数据中无监督识别刺激物兴趣区域,并结合可视化支持多记录探索分析,在美术馆数据上验证了其实用性。
2024-04-04 cs.CV
Optimization-Based Eye Tracking using Deflectometric Information
ETH Zürich(苏黎世联邦理工学院);Northwestern University(西北大学);University of Arizona(亚利桑那大学)
眼动追踪是一种重要工具,在虚拟、增强和混合现实(VR/AR/MR)技术中具有广泛的应用。现有技术的眼动追踪方法或者是基于反射的并且跟踪稀疏点光源的反射,或者是基于图像的并且利用所获取的眼睛图像的2D特征。在这项工作中,我们试图显着改善反射为基础的方法,利用像素密集的偏折表面测量结合优化为基础的逆绘制算法。利用我们的偏折设置的已知几何形状,我们开发了一个基于PyTorch 3D的可微分渲染管道,该管道在屏幕照明下模拟虚拟眼睛。最后,我们利用图像屏幕对应信息从捕获的测量,找到眼睛的旋转,平移和形状参数与我们的渲染器通过梯度下降。一般来说,我们的方法不需要特定的模式,并且可以处理主VR/AR/MR屏幕本身的普通视频帧。我们展示了真实世界的实验,评估平均相对注视误差低于0.45度,精度优于0.11度。此外,我们在模拟中显示了比代表性的基于反射的最先进方法提高了6倍。
2023-03-09 cs.CV
Multi-Camera Hand-Eye Calibration for Human-Robot Collaboration in Industrial Robotic Workcells
University of Padova(帕多瓦大学)
本文针对工业机器人工作单元中人机协作的多相机手眼标定问题,提出一种融合标定板到末端执行器变换和相机间相对变换约束的鲁棒标定方法,在 METRIC 数据集和真实工业数据上以少于 10 张图像即可超越现有最先进技术,并开源了算法实现。
2024-06-17 cs.CV cs.RO
Efficient Egocentric Visual Perception Combining Eye-tracking, a Software Retina and Deep Learning
University of Glasgow(格拉斯哥大学)
我们目前正在进行的工作,利用生物学方法来实现高效的自我中心的感知相结合的空间变化的成像架构的哺乳动物视网膜与深度学习方法。通过预处理通过眼动追踪眼镜收集的图像来控制软件视网膜模型的固定位置,我们证明了我们可以将DCNN的输入减少3倍,减少所需的训练次数,并在9个对象类的26,000多幅图像的数据库上训练和验证系统时获得超过98%的分类率。
2018-09-05 cs.CV
Pupil: An Open Source Platform for Pervasive Eye Tracking and Mobile Gaze-based Interaction
Pupil Labs UG(Pupil Labs公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
商用头戴式眼动仪为工业和研究领域的客户提供了有用的功能,但价格昂贵,并且依赖于封闭源硬件和软件。这将移动眼动追踪的应用领域和使用限制于专家用户,并抑制了用户驱动的开发、定制和扩展。在本文中,我们介绍了瞳孔-一个可访问的,负担得起的,可扩展的开源平台,用于移动眼动追踪和基于凝视的交互。Pupil包括1)具有高分辨率摄像头的轻型头戴式耳机,2)用于移动眼动追踪的开源软件框架,以及3)用于回放和可视化视频和凝视数据的图形用户界面(GUI)。Pupil具有高分辨率场景和眼睛摄像头,用于单眼和双眼凝视估计。该软件和GUI是独立于平台的,并包括用于实时瞳孔检测和跟踪、校准和精确凝视估计的最先进算法。性能评估的结果表明,Pupil可以提供0.6度视角的平均注视估计精度(0.08度精度),处理流水线的延迟仅为0.045秒。
2014-04-30 cs.CV cs.HC
$pi_t$- Enhancing the Precision of Eye Tracking using Iris Feature Motion Vectors
Rochester Institute of Technology(罗切斯特理工学院)
最近,一种新的高精度眼睛跟踪方法已经被证明是通过跟踪虹膜特征的运动而不是利用瞳孔边缘。虽然该方法提供了高精度,但它遭受时间漂移,无法跟踪眨眼,以及在存在运动模糊的情况下失去纹理匹配。在这项工作中,我们提出了一种新的方法$pi_t$,以解决这些问题,最佳结合虹膜纹理和瞳孔边缘的信息。使用这种方法,我们表现出至少48%和10%的精度(S2 S-RMS和STD)的改善,同时固定一系列的小目标,并遵循一个平稳移动的目标。此外,我们证明了在0.2度分离的目标之间的微扫视识别的能力。
2020-09-20 cs.CV
Towards Energy Efficient Mobile Eye Tracking for AR Glasses through Optical Sensor Technology
Eberhard Karls Universität Tübingen(图宾根大学);Robert Bosch GmbH(罗伯特·博世有限公司);University of Tübingen(图宾根大学)
在推出智能手机和智能手表之后,AR眼镜被认为是可穿戴设备领域的下一个突破口。虽然从智能手机到智能手表的过渡主要基于现有的显示技术,但AR眼镜的显示技术提出了一个技术挑战。许多显示技术,例如视网膜投影仪,都是基于用户瞳孔位置对显示器的连续自适应控制。此外,头戴式系统需要调整和扩展已建立的交互概念,以向用户提供沉浸式体验。眼动追踪是帮助AR眼镜通过优化的显示技术和基于凝视的交互概念实现突破的关键技术。现有的眼动跟踪技术,如VOG,不符合AR眼镜的要求,特别是在功耗、鲁棒性和可集成性方面。为了进一步克服这些局限性,推动AR眼镜的移动眼动跟踪,本文研究了基于激光的新型眼动跟踪传感器技术。本论文为AR眼镜的节能移动眼动跟踪做出了重大的科学进步。
2022-12-06 cs.CV cs.HC eess.IV
Eye-GUIDE (Eye-Gaze User Interface Design) Messaging for Physically-Impaired People
Technological Institute of the Philippines(菲律宾理工学院)
Eye-GUIDE是一种辅助沟通工具,专为瘫痪或身体受损的人设计,他们无法移动身体的一部分,特别是那些沟通仅限于眼球运动的人。原型由一台相机和一台电脑组成。摄像头捕获图像,然后将其发送到计算机,计算机将是解释数据的人。因此,Eye-GUIDE专注于基于相机的视线跟踪。设计者设计的原型可以执行简单的任务,并提供图形用户界面,以便瘫痪或身体受损的人可以轻松使用。
2013-02-07 cs.CV cs.HC
Swap It Like Its Hot: Segmentation-based spoof attacks on eye-tracking images
Virginia Tech(弗吉尼亚理工大学)
提出IrisSwap攻击,通过分割和数字交换受害者虹膜模式欺骗基于注视的活体检测,以高达58%的比率突破现有防御模型,揭示眼动追踪认证的漏洞。
2024-04-22 cs.CV
Fast and Accurate Algorithm for Eye Localization for Gaze Tracking in Low Resolution Images
低分辨率可见光图像中虹膜中心的定位是计算机视觉领域的一个具有挑战性的问题,由于噪声,阴影,遮挡,姿态变化,眨眼等。本文提出了一种有效的方法来确定虹膜中心在可见光谱的低分辨率图像。即使是低成本的消费级网络摄像头也可以用于视线跟踪,而无需任何额外的硬件。提出了一种两阶段虹膜中心定位算法。所提出的方法使用眼睛的几何特征。在第一阶段,一个快速卷积为基础的方法用于获得粗略的虹膜中心(IC)的位置。在第二阶段中,使用边界跟踪和椭圆拟合进一步细化IC位置。该算法已在公共数据库如BioID,Gi4E中进行了评估,发现其性能优于最先进的方法。
2016-05-17 cs.CV
Creation and Validation of a Chest X-Ray Dataset with Eye-tracking and Report Dictation for AI Development
IBM Research(IBM研究);Almaden Research Center(阿尔马登研究中心);Department of Radiology and Imaging Sciences, Emory University(埃默里大学放射与影像科学系);Emory University(埃默里大学)
我们开发了一个丰富的胸部X射线(CXR)图像数据集,以协助人工智能研究人员。这些数据是使用眼动追踪系统收集的,同时放射科医生审查并报告了1,083张CXR图像。数据集包含以下对齐数据:CXR图像、转录的放射学报告文本、放射科医师的口述音频和眼睛注视坐标数据。我们希望这个数据集可以为各个研究领域做出贡献,特别是对可解释和多模态深度学习/机器学习方法。此外,疾病分类和定位,自动放射学报告生成和人机交互的研究人员可以从这些数据中受益。我们报告了深度学习实验,这些实验利用眼睛凝视数据集产生的注意力地图来显示这些数据的潜在效用。
2020-10-08 cs.CV
Continuous Non-Invasive Eye Tracking In Intensive Care
Imperial College London(帝国理工学院);Chelsea & Westminster Hospital NHS Foundation Trust(切尔西和威斯敏斯特医院 NHS 基金会信托)
谵妄是一种急性意识模糊状态,在重症监护室(ICU)中很常见。发生谵妄的患者总体结局比未发生谵妄的患者更差,因此谵妄的诊断非常重要。目前的诊断方法有几个局限性,导致眼动跟踪的建议,其诊断通过注意。为了确定成人ICU中眼动追踪系统的要求,在切尔西和威斯敏斯特医院NHS基金会信托基金会进行了测量。临床标准指导侵入性和校准方法的经验要求,同时测量准确度和精密度。然后,利用面向患者的RGB相机和面向场景的RGBD相机开发了非侵入性系统。该系统的性能是在一个复制的实验室环境与健康志愿者进行测量,揭示了一个准确性和精度,优于所需的,同时是非侵入性和校准免费的系统,然后部署的一部分混淆,临床可行性研究,我们报告的汇总数据从5名患者以及系统的可接受性床边护理人员。该系统是第一个部署在ICU的眼动跟踪系统。
2021-07-23 cs.CV
Hybrid PS-V Technique: A Novel Sensor Fusion Approach for Fast Mobile Eye-Tracking with Sensor-Shift Aware Correction
Texas State University(德克萨斯州立大学);Google(谷歌)
本文介绍和评估了一种混合技术,有效地融合了光电传感器眼电图(PSOG)和视频眼电图(VOG)的眼动追踪原则。这种新方法的主要概念是使用几个快速和功率经济的光电传感器作为执行高速眼动追踪的核心机制,而在并行,使用视频传感器在低采样率(快照模式)进行航位推算误差校正时,传感器移动发生。为了评估所提出的方法,我们模拟的技术的功能组件,并提出我们的结果,在实验方案涉及各种组合的水平和垂直的眼睛和传感器的运动。我们的评估表明,所开发的技术可用于提供鲁棒性的传感器移位,否则可能会引起大于5度的误差。我们的分析表明,该技术可以在低功率曲线下实现高速眼动追踪,使其适合用于新兴的头戴式设备,例如AR/VR耳机。
2017-07-19 cs.CV cs.HC
Robust Real-Time Multi-View Eye Tracking
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
尽管在受控条件下提高视线跟踪准确性方面取得了显著进展,但在真实世界条件下(诸如大的头部姿势和运动、眼镜的使用、照明和眼睛类型变化)的跟踪鲁棒性仍然是眼动追踪中的主要挑战。在本文中,我们重新审视这一挑战,并介绍了一个实时的【形】多摄像头眼动追踪框架,以提高跟踪的鲁棒性。首先,与以前的工作不同,我们设计了一个多视图跟踪设置,允许同时获取多个眼睛外观。利用多视图外观使得能够在具有挑战性的条件下更可靠地检测注视特征,特别是当它们由于大的头部移动或眼镜效应而在传统的单视图外观中被阻挡时。然后,在各种外观上提取的特征用于估计多个注视输出。其次,我们建议通过自适应融合机制来结合估计的注视输出,以计算用户的整体关注点。该机制首先根据用户的瞬时头部姿态和预测的注视行为确定每个注视输出的估计可靠性,然后进行基于可靠性的加权融合。我们展示了我们的框架的有效性,广泛的模拟和用户实验收集的数据集具有20个主题。我们的研究结果表明,在国家的最先进的眼动仪相比,所提出的框架不仅提供了一个显着的提高准确性,但也有显着的鲁棒性。我们的原型系统以每秒30帧(fps)的速度运行,并在具有挑战性的实验场景下达到1度的精度,这使得它适用于要求高精度和鲁棒性的应用。
2018-01-03 cs.CV cs.HC
The eyes know it: FakeET -- An Eye-tracking Database to Understand Deepfake Perception
Indian Institute of Technology Ropar(印度理工学院罗巴尔分校);Monash University(莫纳什大学)
我们提出了\textbf{FakeET} -一个眼动追踪数据库,以了解人类的视觉感知的\emph{deepfake}视频。鉴于deepfakes的主要目的是欺骗人类观察者,FakeET旨在了解和评估观众检测合成视频伪影的难易程度。FakeET包含通过\emph{Tobii}桌面眼动仪从\textit{Google Deepfake}数据集中的811个视频中收集的40个用户的观看模式,每个视频至少有两次观看。此外,还可通过\emph{Emotiv}传感器采集EEG反应。编译的数据证实:(a)\emph{real}与\emph{fake}视频的不同眼动特征;(b)眼动轨迹显著性图用于空间伪造定位和检测的效用,以及(c)EEG响应中的错误相关负性(ERN)触发,以及\emph{raw} EEG信号区分\emph{real}和\emph{fake}视频的能力。
2020-06-18 cs.CV cs.LG eess.IV
FIERY: Future Instance Prediction in Bird's-Eye View from Surround Monocular Cameras
Wayve;University of Cambridge(剑桥大学)
驾驶需要与道路代理进行交互,并预测他们未来的行为,以便安全导航。我们提出了FIERY:一个概率未来预测模型,从单目相机鸟瞰。我们的模型预测未来的实例分割和运动的动态代理,可以转化为非参数的未来轨迹。我们的方法结合了传统自动驾驶堆栈的感知,传感器融合和预测组件,通过直接从环绕RGB单目相机输入估计鸟瞰图预测。FIERY学习以端到端的方式仅从相机驾驶数据中建模未来的固有随机性,而不依赖于高清地图,并预测多模式未来轨迹。我们表明,我们的模型在NuScenes和Lyft数据集上的表现优于以前的预测基线。代码和训练模型可在https://github.com/wayveai/fiery上获得。
2021-10-18 cs.CV cs.RO
EETnet: a CNN for Gaze Detection and Tracking for Smart-Eyewear
Department of Electronics, Information and Bioengineering (DEIB)(电子、信息与生物工程系)
本文提出EETnet,一种基于纯事件数据、可在微控制器上运行的CNN,用于智能眼镜眼动追踪,并提供分类与回归两种架构版本。
2025-11-06 cs.CV
Using Fixed and Mobile Eye Tracking to Understand How Visitors View Art in a Museum: A Study at the Bowes Museum, County Durham, UK
Durham University(杜伦大学);Bowes Museum(鲍斯博物馆)
Durham University与Bowes Museum合作,通过固定和移动眼动追踪技术,研究2024年夏季参观者在实体画廊中观看艺术的方式,旨在为更有效的藏品展示提出建议,以促进参观者更深入地参与。
2025-04-28 cs.CV
When Eye-Tracking Meets Machine Learning: A Systematic Review on Applications in Medical Image Analysis
Macquarie University(麦考瑞大学);Macquarie Medical School(麦考瑞医学院);Faculty of Medicine, Health and Human Sciences(医学与健康科学学院);School of Computing(计算机学院);Faculty of Science and Engineering(科学与工程学院);Centre for Health Informatics(健康信息学中心);Australian Institute of Health Innovation(澳大利亚健康创新研究院)
本系统综述聚焦眼动追踪技术在医学图像分析中对机器学习/深度学习算法的增强作用,梳理其应用场景与方法体系,阐述该技术在融合人类认知与AI、提升诊断效率等方面的价值。
2024-03-12 cs.CV eess.IV