Advanced Gaze Analytics Dashboard
本文提出一种眼动分析仪表板,利用现成眼动仪实时可视化环境-焦点注意、认知负荷和注视转换等高级指标,并在两个公开数据集上验证其多源数据支持能力。
2024-09-10 cs.HC
Real-Time Gaze Tracking with Event-Driven Eye Segmentation
视线跟踪正日益成为增强和虚拟现实中的一个重要组成部分。现代视线跟踪算法是重量级的;它们在移动处理器上最多以5 Hz运行,尽管近眼相机舒适地以实时速率($>$ 30 Hz)运行。本文提出了一种实时的【形】眼动追踪算法,平均以30 Hz的频率在移动处理器上运行,实现\ang{0.1} - \ang{0.5}凝视精度,同时只需要30 K参数,比最先进的眼动追踪算法小一到两个数量级。该算法的核心是Auto~ROI模式,该模式连续地预测近眼图像的感兴趣区域(ROI),并且仅明智地处理ROI以进行注视估计。为此,我们引入了一种新的,轻量级的ROI预测算法,通过模拟事件摄像机。我们将讨论如何在不需要特殊硬件的情况下,通过软件模拟事件来实现准确的ROI预测。我们论文的代码可以在https://github.com/horizon-research/edgaze上找到。
2022-01-19 cs.HC
What We See and What We Get from Visualization: Eye Tracking Beyond Gaze Distributions and Scanpaths
硬件和软件的技术进步使我们能够在日常情况下长时间记录凝视数据。在众多的研究机会中,这项技术使可视化研究人员能够利用可视化技术瞥见性能指标背后以及人们的感知和认知过程。大多数用于可视化研究的眼动追踪研究仅限于对注视分布和汇总统计数据的分析,因此仅涵盖可以从注视数据中导出的一小部分见解。我们认为,结合心理学和认知科学的理论和方法,将有利于眼动追踪可视化实验的设计和评价。这份立场文件概述了我们在可视化中使用眼动追踪的经验,并说明了可视化心理学跨学科研究领域可能带来的好处,以更好地理解人们如何解释可视化。
2020-09-30 cs.HC
Continuous Affect Prediction using Eye Gaze
近年来,人们对人类情感的机器识别产生了极大的兴趣,这是因为这些知识可以应用于一系列应用。许多不同的形式,如语音或面部表情,单独和眼睛凝视,已被调查的情感计算研究社区要么分类的情绪(如悲伤,快乐,愤怒)或预测连续值的情感维度(如效价,唤醒,优势)在每个时刻的时间。令人惊讶的是,经过广泛的文献综述,眼睛凝视作为一个连续的影响预测系统的单峰输入尚未被考虑。在这种情况下,本文评估使用眼睛凝视作为一个连续的影响预测系统的单峰输入。使用眼睛凝视的唤醒和效价的连续预测的性能与使用AVEC 2014语音特征集的语音系统的性能进行比较。在连续情感预测系统中使用眼睛注视作为单一模态时的实验评估产生了比使用AVEC 2014语音特征集获得的相关结果更好的效价预测的相关结果。此外,与AVEC 2014特征集中的特征数量相比,本文提出的眼睛注视特征集包含的特征减少了98%。
2018-03-05 cs.HC
Webcam Eye Tracking: Study Conduction and Acceptance of Remote Tests with Gaze Analysis
网络摄像头眼动追踪用于在用户研究的背景下收集凝视数据是方便的-它可以用于参与者不需要特殊硬件的远程测试。该方法具有很强的局限性,特别是关于测试人员在数据记录期间的无运动性质和所获得的凝视数据的质量。我们对52名参与者的研究表明,可用的眼动追踪数据可以通过远程设置的商用网络摄像头获得。然而,必须考虑高脱落率,这就是为什么我们建议150%的高超额招募。我们还表明,尽管有一定的局限性,研究参与者对这种方法的接受度很高。
2022-07-28 cs.HC
Understanding How Low Vision People Read Using Eye Tracking
虽然能够使用屏幕放大镜阅读,但低视力人群的阅读体验缓慢且不愉快。眼动追踪有可能通过识别细粒度的注视行为并提供更有针对性的增强来改善他们的体验。为了启发基于凝视的低视力技术,我们研究了合适的方法,通过商业眼动仪收集低视力用户的凝视数据,并根据他们的凝视行为深入探讨他们在阅读中面临的挑战。通过改进的校准界面,我们收集了20名低视力参与者和20名在计算机屏幕上执行阅读任务的视力控制者的凝视数据;低视力参与者还被要求使用不同的屏幕放大镜阅读。我们发现,通过可访问的校准界面和数据汇集方法,商业眼动仪可以从低视力和视力正常的人那里收集质量相当的注视数据。我们的研究确定了低视力人群在阅读过程中独特的凝视模式,在此基础上,我们提出了基于凝视的低视力技术的设计建议。
2023-03-28 cs.HC
Affective computing using speech and eye gaze: a review and bimodal system proposal for continuous affect prediction
语音是情感计算领域中广泛使用的一种形式。然而,最近,已经有越来越多的兴趣在使用多模态情感计算系统。这些多模态系统结合了语言和非语言的情感计算任务的功能。这样的多模态情感计算系统对于诸如电话会议、医疗保健和教育的音频-视频通信环境中的个体的情感评估是有利的。从文献回顾中,使用从视频中提取的眼睛凝视特征是一种在很大程度上尚未被开发用于连续影响预测的方式。这项工作提出了一个审查的文献中的情感分类和连续的影响预测子领域的情感计算的语音和眼睛凝视方式。此外,连续的影响预测实验,使用语音和眼睛凝视方式。提出了一个使用开放源码软件的基线系统,并根据公开提供的视听语料库评估其性能。在跨语料库和跨语言实验中进一步评估了系统性能。实验结果表明,眼睛凝视是一种有效的支持性的方式,用于语音时,在双峰连续的影响预测系统。在一个简单的特征融合框架中,将眼睛注视添加到语音中,产生了6.13%的效价和1.62%的唤醒预测改善。
2018-05-17 cs.HC
EyeSpy: Inferring Eye Gaze via Side-Channel Attacks Against Foveated Rendering
Virginia Tech(弗吉尼亚理工大学)
利用注视点渲染中注视区域与非注视区域的GPU负载差异,通过扫描不可见高成本对象并监测渲染性能指标,实现无需眼动追踪API的视线推断攻击,平均预测误差1.1-4.4度,并设计了基于监督/无监督检测器的防御机制。
2026-05-27 cs.HC
Challenging the Eye-Mind Link Hypothesis: Visualizing Gazes For Each Programming Problem
本研究使用眼动追踪技术,通过记录并分析31名学生解决Java编程练习时的注视数据,可视化并比较正确与错误答案组的注视模式差异,以挑战眼-脑关联假说。
2025-01-12 cs.HC
GazeSync: A Mobile Eye-Tracking Tool for Analyzing Visual Attention on Dynamically Manipulated Content
University of St Andrews(圣安德鲁斯大学);University of Essex(埃塞克斯大学);King’s College London(伦敦国王学院)
GazeSync通过同步设备眼动估计与实时图像变换矩阵,解决动态内容中视觉注意力的准确捕捉问题,验证了其在引导操控、阅读和视觉搜索任务中的有效性。
2026-03-30 cs.HC
EyeTAP: A Novel Technique using Voice Inputs to Address the Midas Touch Problem for Gaze-based Interactions
基于凝视的交互的主要挑战之一是区分正常眼睛功能与与计算机系统的故意交互(通常称为“点石成金”)的能力。在本文中,我们提出了,EyeTAP(眼动追踪点和选择目标声脉冲)的点和选择任务的免提交互方法。我们在两个独立的用户研究中评估了原型,每个研究包含两个有33名参与者的实验,发现即使在音频输入信号中存在环境噪声的情况下,EyeTAP也是鲁棒的,容忍度高达70 dB,导致更快的移动时间和更快的任务完成时间,并且具有比话音识别更低的认知工作量。此外,在带状实验中,EyeTAP具有比停留时间方法更低的出错率。这些特性使其适用于身体活动受限或因残疾而无法活动的用户。此外,EyeTAP在用户界面设计方面没有特定要求,因此可以很容易地集成到现有系统中,只需进行最小的修改。EyeTAP可以被视为解决Midas触摸的可接受的替代方案。
2020-03-22 cs.HC
Privatization of Synthetic Gaze: Attenuating State Signatures in Diffusion-Generated Eye Movements
Texas State University(德克萨斯州立大学)
本文提出了一种基于扩散模型的合成眼动方法,通过分析合成眼动特征与主观报告之间的相关性,证明生成方法能有效抑制与隐私相关的内部状态特征,同时保留真实数据的信号特征。
2026-07-24 cs.HC
DiffEyeSyn: Diffusion-based User-specific Eye Movement Synthesis
针对现有眼动建模忽略高频用户特定细微动作的问题,提出基于条件扩散的DiffEyeSyn方法,通过注入用户特定噪声、结合用户身份引导损失合成个性化眼动,效果优于基线,可支撑多类下游任务。
2025-05-20 cs.HC
Content Transfer Across Multiple Screens with Combined Eye-Gaze and Touch Interaction -- A Replication Study
在本文中,我们描述了两年前复制我们的一项研究的结果,该研究比较了在VR中跨多个屏幕传输内容的两种技术。先前研究的结果表明,在任务完成时间、模拟器疾病、任务负荷和可用性方面,组合的凝视和触摸输入可以优于双手触摸输入。除了模拟器疾病,这些发现可以通过复制来验证。关于模拟器疾病的差异和其他测量的绝对分数的变化可以通过具有较少VR体验的不同用户组来解释。
2022-10-24 cs.HC
Evaluating Eye Tracking Signal Quality with Real-time Gaze Interaction Simulation
提出一种基于离线数据的实时注视交互模拟方法,比较三种眼动分类算法,发现卡尔曼滤波算法在信号质量上更优,强调算法选择对系统可靠性的关键作用。
2024-11-06 cs.HC
An Eye-Tracking Dataset for Viewing Distance Categories in Real-World Scenarios
Chung-Ang University(中央大学);Electronics and Telecommunications Research Institute(电子电信研究院)
该研究引入GazeDepth眼动追踪数据集,包含19名参与者在真实场景任务中收集的多类数据,可区分近、中、远三种观看距离,支持真实场景下的注视距离推断与感知距离交互。
2026-09-01 cs.HC
Which Experimental Design is Better Suited for VQA Tasks? Eye Tracking Study on Cognitive Load, Performance, and Gaze Allocations
本文通过13人眼动实验比较五种VQA实验设计,发现刺激—问题顺序显著影响认知负荷与任务表现,问题模态显著影响任务表现。
2024-04-05 cs.HC
How Early Can You Tell? Early Eye Gaze Dynamics and Cybersickness Progression in Virtual Reality
Texas State University(德州州立大学)
本研究通过VR暴露前五分钟的眼动数据,发现早期注视离散度可预测后续不适进展,而非最终晕动症严重程度,为理解晕动症时间动态提供新视角。
2026-09-23 cs.HC
Predicting Webpage Aesthetics with Heatmap Entropy
如今,眼动仪广泛用于用户界面评估。然而,从美学的角度分析和解释眼动追踪数据仍然很困难。为了找到眼球运动和审美体验之间的定量联系,我们跟踪了30名观察者最初登陆40个网页(每个网页显示3秒)。这些网页还根据观察者的主观审美判断进行评级。引入Shannon熵对眼动数据进行分析。结果表明,热图熵(视觉注意熵,VAE)与观察者对网页的审美判断高度相关。它的改进版本,相对VAE(rVAE),有更显着的相关性与感知美学。(r=-0.65,F= 26.84,P $<$ 0.0001)。这个单一的度量标准可以区分好看和难看的页面,准确率约为85%。进一步的研究表明,VAE和rVAE的性能在1秒后变得稳定。曲线表明,如果跟踪时间延长到3秒以上,它们的性能会更好。
2018-03-05 cs.HC
Analyzing the Impact of Cognitive Load in Evaluating Gaze-based Typing
基于注视的虚拟键盘为通过眼球运动的文本输入提供了有效的界面。传统上,这些键盘的效率和可用性与传统的文本输入性能的措施,如每分钟的单词,每字符的空格键,退格键的使用等进行评估,但是,在传统的文本输入方法相比,基于凝视的打字涉及自然的眼球运动,是高度相关的人脑认知。采用眼睛凝视作为输入可能会导致过度的心理需求,在这项工作中,我们认为需要包括认知负荷作为眼型评估措施。我们评估三种变化的凝视为基础的虚拟键盘,实现变量设计的词的建议定位。传统的文本输入指标表明,不同的键盘设计的性能没有显着差异。然而,基于STFT(短时傅立叶变换)的EEG信号分析表明,在与这些设计交互时,参与者的心理工作负荷存在差异。此外,EEG分析提供了对不同打字阶段和间隔的用户认知变化的见解,这应该被考虑以提高眼睛打字可用性。
2017-06-10 cs.HC
Would Gaze-Contingent Rendering Improve Depth Perception in Virtual and Augmented Reality?
在虚拟现实中,近距离被高估,远距离被低估,但对这些扭曲的解释仍然难以捉摸。一个潜在的问题是,当眼睛旋转以观看虚拟场景时,虚拟相机保持静止。在虚拟现实中,当眼睛转动时,使用眼动跟踪来改变虚拟相机的视角是否可以改善深度感知?本文确定了14个不同的视角失真,理论上可能发生从保持虚拟相机固定,而眼睛旋转的上下文中的近眼显示。然而,眼睛运动对显示图像的影响取决于显示器的光学距离,而不是物理距离。由于大多数盔装显示器的光学距离超过1米,因此这些失真中的大多数将仅具有可忽略的影响。例外的是“视在眼内”,这将使附近的虚拟对象看起来与增强现实中相同距离的物理对象发生位移。
2019-05-24 cs.HC
A Spiral into the Mind: Gaze Spiral Visualization for Mobile Eye Tracking
在没有感兴趣区域(AOI)信息的情况下比较来自多个参与者的移动眼动追踪数据是具有挑战性的,因为个体计时和坐标系统。我们提出了一种技术,凝视螺旋,可视化个人记录的基础上的图像内容的刺激。狭缝扫描可视化的螺旋布局用于创建扫描路径的紧凑表示。可视化提供了多个记录的概述,即使是长时间跨度,并帮助识别和注释记录中的重复模式。凝视螺旋还可以用作可以基于所建立的扫描路径度量被投影到2D空间的字形,以便解释度量并标识类似观看行为的组。我们提出了基于两个以自我为中心的数据集的例子,以证明我们的方法的注释和比较任务的有效性。我们的例子表明,该技术有可能让用户比较,即使是长期的记录普遍的情况下,没有手动注释。
2022-04-28 cs.HC
CasualGaze: Towards Modeling and Recognizing Casual Gaze Behavior for Efficient Gaze-based Object Selection
CasualGaze是一种新颖的基于视线的目标选择技术,允许用户通过瞥视目标完成选择,通过双变量高斯分布模型结合时间补偿和投票算法实现稳健预测,显著提升了识别和选择速度。
2024-08-22 cs.HC
Continuous Affect Prediction Using Eye Gaze and Speech
情感计算的研究传统上集中在标记一个人的情绪作为一个离散的类,如快乐或悲伤。近年来,更多的注意力已经被给予跨维度的情感空间,例如唤醒和效价的连续影响预测。连续情感预测是预测不同情感维度的数值的任务。连续情感预测的应用在涉及实时视听通信的领域中是强大的,其中可以包括用于对受试者进行心理评估的远程或辅助技术。用于连续影响预测的模态可以包括语音、面部表情和生理反应。与单一模态分析相反,研究界结合了多种模态来提高连续影响预测的准确性。在这种情况下,本文研究了一个连续的影响预测系统,使用新的组合的语音和眼睛注视。提出了一种新的视线特征集。这种新颖的方法使用开源软件在视听通信环境中进行实时影响预测。这里使用的人机界面的一个独特优势是,它不需要受试者佩戴专门和昂贵的眼动追踪耳机或侵入式设备。结果表明,与单独使用语音相比,语音和眼睛注视的组合提高了3.5%的唤醒预测和19.5%的效价预测。
2018-03-05 cs.HC
Focus on the Experts: Co-designing an Augmented Reality Eye-Gaze Tracking System with Surgical Trainees to Improve Endoscopic Instruction
为解决外科培训监督成本高、扩展性差的问题,研究团队与18名外科受训者合作共同设计了一套AR眼动追踪系统,以提供实时交互的补充训练方法,改善内窥镜手术学习且不影响患者护理。
2025-06-27 cs.HC
VisiTrail: A Cognitive Visualization Tool for Time-Series Analysis of Eye Tracking Data from Attention Game
本文提出VisiTrail认知可视化工具,通过时间序列分析、注视测量、对象点击序列跟踪和表现指标,揭示注意力游戏中眼动数据与任务表现的关系。
2025-08-28 cs.HC
Matching Representations of Explainable Artificial Intelligence and Eye Gaze for Human-Machine Interaction
HRL Laboratories, LLC(HRL实验室有限责任公司)
基于任务的刺激的快速非语言交流是人机合作的一个挑战,特别是在驾驶等闭环交互中。为了实现这一点,我们必须理解人类和机器的信息表示,并确定桥接这些表示的基础。分层相关传播(LRP)等可解释的人工智能(XAI)技术为深度神经网络等高维机器学习技术提供了视觉热图解释。在人类认知方面,视觉注意是由与当前任务相关的感觉输入的自下而上和自上而下的处理驱动的。由于XAI和人类认知都应该关注与任务相关的刺激,因此它们对视觉注意力的表示可能会重叠,从而可能提供人类和机器之间的非语言交流手段。在这项工作中,我们研究了经过训练以预测驾驶行为的神经网络的LRP热图解释与人类驾驶员的眼睛注视热图之间的相关性。该分析用于确定使用这种技术来提高驾驶性能的可行性。我们发现,LRP热图显示出越来越多的相似性水平与眼睛注视根据任务特异性的神经网络。然后,我们提出这些发现如何通过视觉上将注意力引导到相关区域来帮助人类。据我们所知,我们的工作提供了第一个已知的分析LRP和眼睛注视的驾驶任务。
2021-01-30 cs.AI cs.HC
Eye-GUIDE (Eye-Gaze User Interface Design) Messaging for Physically-Impaired People
Technological Institute of the Philippines(菲律宾理工学院)
Eye-GUIDE是一种辅助沟通工具,专为瘫痪或身体受损的人设计,他们无法移动身体的一部分,特别是那些沟通仅限于眼球运动的人。原型由一台相机和一台电脑组成。摄像头捕获图像,然后将其发送到计算机,计算机将是解释数据的人。因此,Eye-GUIDE专注于基于相机的视线跟踪。设计者设计的原型可以执行简单的任务,并提供图形用户界面,以便瘫痪或身体受损的人可以轻松使用。
2013-02-07 cs.CV cs.HC
Evaluation of Appearance-Based Methods and Implications for Gaze-Based Applications
基于外观的视线估计方法,只需要一个现成的相机已经显着改善,但他们仍然没有广泛使用的人机交互(HCI)社区。这部分是因为与基于模型的方法以及占主导地位的专用眼动追踪设备相比,它们的表现仍不清楚。为了解决这一限制,我们评估的性能,最先进的外观为基础的凝视估计的交互场景与个人校准,室内和室外,不同的感应距离,以及用户与不戴眼镜。我们讨论了最重要的凝视为基础的应用程序,即明确的眼睛输入,专注的用户界面,基于凝视的用户建模,和被动的眼睛监测所获得的研究结果和它们的影响。为了使基于外观的凝视估计和交互在HCI中的使用民主化,我们最终提出了OpenGaze(www.opengaze.org),这是第一个基于外观的凝视估计和交互的软件工具包。
2019-01-30 cs.HC
3D Gaze Estimation from 2D Pupil Positions on Monocular Head-Mounted Eye Trackers
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
3D凝视信息对于以场景为中心的注意力分析是重要的,但是在真实世界环境中3D凝视的准确估计和分析仍然具有挑战性。我们提出了一种新的单目头戴式眼动仪的3D视线估计方法。与以前的工作相比,我们的方法不旨在推断3D眼球姿态,而是直接将2D瞳孔位置映射到场景相机坐标空间中的3D注视方向。我们首先详细讨论了3D凝视估计任务,并总结了不同的方法,包括我们自己的方法。然后,我们使用模拟和真实数据评估不同的3D凝视估计方法的性能。通过实验验证,我们证明了我们的方法在减少视差误差的有效性,我们确定的3D校准程序的设计的研究挑战。
2016-01-19 cs.CV cs.HC
Predicting Eye Gaze Location on Websites
University of Stuttgart(斯图加特大学);University of Southampton(南安普顿大学)
万维网以网站和网页为主要界面,便于重要信息的传播。因此,优化它们以实现更好的用户交互至关重要,这主要是通过分析用户的行为,特别是用户的眼睛注视位置来完成的。然而,收集这些数据仍然被认为是劳动和时间密集型的。在这项工作中,我们能够开发自动眼睛注视估计给定的网站截图作为输入。这是通过管理一个统一的数据集来完成的,该数据集包括网站截图、眼球凝视热图以及以图像和文本掩码形式呈现的网站布局信息。我们的预处理数据集使我们能够提出一个有效的基于深度学习的模型,该模型利用图像和文本的空间位置,通过注意力机制将其结合起来,以进行有效的眼睛注视预测。在我们的实验中,我们展示了使用统一数据集进行仔细微调的好处,以提高眼睛注视预测的准确性。我们进一步观察我们的模型专注于目标区域(图像和文本)以实现高精度的能力。最后,与其他替代方案的比较显示了我们的模型建立眼睛注视预测任务的基准的最先进的结果。
2023-01-06 cs.CV cs.HC
iTrace: Click-Based Gaze Visualization on the Apple Vision Pro
Technical University of Munich(慕尼黑技术大学)
iTrace通过点击式眼动提取技术,在苹果Vision Pro上实现动态热图生成,用于分析个体和集体注意力模式,提升眼动数据的可视化与应用潜力。
2025-11-14 cs.CV cs.HC
Slippage-robust Gaze Tracking for Near-eye Display
University of Science and Technology of China(中国科学技术大学);Carnegie Mellon University(卡内基梅隆大学)
近年来,头戴式近眼显示器已经成为虚拟现实和增强现实的关键硬件基础。因此,头戴式视线跟踪技术作为人机交互的重要组成部分已经受到关注。然而,头戴式设备(HMD)不可避免的滑动往往会导致较高的视线跟踪误差,并阻碍了HMD的实际使用。针对这一问题,提出了一种基于非球面眼球模型的滑动鲁棒视线跟踪近眼显示方法,精确计算眼球光轴和旋转中心。我们在具有滑动的数据集上测试了几种方法,实验结果表明,该方法显着优于以前的方法(几乎是次优方法的两倍)。
2022-11-01 cs.CV cs.HC
3D Gaze Vis: Sharing Eye Tracking Data Visualization for Collaborative Work in VR Environment
执行协作任务,例如,多用户游戏,在虚拟现实(VR)可以使我们探索更身临其境和有效的体验。然而,对于当前的VR系统,用户不能通过他们的注视点彼此正确地通信,这将干扰用户对意图的相互理解。在本研究中,我们的目的是找到最佳的眼动追踪数据可视化,最大限度地减少认知干扰,提高用户之间的视觉注意和意图的理解。我们设计了三种不同的眼动追踪数据可视化:凝视光标、凝视聚光灯和凝视轨迹,并在虚拟现实场景中进行了一个人体心脏的课程,发现来自医生的凝视光标可以帮助学生更有效地学习复杂的3D心脏模型。为了进一步探索,两名学生作为一对被要求在VR环境中完成一个小测验,与彼此共享的目光光标,并获得了更高的效率和分数。研究表明,共享眼动追踪数据可视化可以提高虚拟现实环境下协同工作的质量和效率。
2023-03-19 cs.CY cs.HC
A Novel Slip-Kalman Filter to Track the Progression of Reading Through Eye-Gaze Measurements
在本文中,我们提出了一种方法来跟踪眼睛注视的进展,而阅读一块文字在计算机屏幕上。所提出的方法将有助于准确地量化阅读,例如,识别被阅读/跳过的文本行,并基于商业上可获得的廉价眼睛跟踪设备估计每行所花费的时间。所提出的方法是基于一种新的滑卡尔曼滤波器,是定制设计的,以跟踪阅读的进展。所提出的方法的性能证明使用25页的眼动跟踪数据收集使用商业台式眼动跟踪设备。
2019-07-16 cs.HC eess.SP
Are you really looking at me? A Feature-Extraction Framework for Estimating Interpersonal Eye Gaze from Conventional Video
University of Rochester(罗切斯特大学)
尽管摄像机在我们的日常生活中的普遍性发生了革命,但非语言情感交流的最有意义的形式之一,人际眼睛注视,即相对于谈话伙伴的眼睛注视,并不能从普通视频中获得。我们介绍了人际校准眼睛凝视编码器(ICE),它自动提取人际凝视视频记录,而无需专门的硬件和参与者位置的先验知识。利用个体花费大部分对话时间彼此注视的直觉,ICE动态聚类算法能够提取人际注视。我们使用红外凝视跟踪器(F1=0.846,N=8)的客观度量在视频聊天中验证ICE,以及在面对面交流中使用专家评估的眼神接触(r= 0.37,N=170)。然后,我们使用ICE来分析行为在两个不同的,但重要的情感沟通领域:基于询问的欺骗检测,并在速配沟通技巧评估。我们发现,诚实的证人打破人际凝视接触,更经常比欺骗证人回答问题时向下看(p=0.004,d=0.79)。在预测速配视频中的专家沟通技巧评分时,我们证明了人际凝视本身比面部表情更具预测力。
2020-01-17 cs.CV cs.HC
Pupil: An Open Source Platform for Pervasive Eye Tracking and Mobile Gaze-based Interaction
Pupil Labs UG(Pupil Labs公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
商用头戴式眼动仪为工业和研究领域的客户提供了有用的功能,但价格昂贵,并且依赖于封闭源硬件和软件。这将移动眼动追踪的应用领域和使用限制于专家用户,并抑制了用户驱动的开发、定制和扩展。在本文中,我们介绍了瞳孔-一个可访问的,负担得起的,可扩展的开源平台,用于移动眼动追踪和基于凝视的交互。Pupil包括1)具有高分辨率摄像头的轻型头戴式耳机,2)用于移动眼动追踪的开源软件框架,以及3)用于回放和可视化视频和凝视数据的图形用户界面(GUI)。Pupil具有高分辨率场景和眼睛摄像头,用于单眼和双眼凝视估计。该软件和GUI是独立于平台的,并包括用于实时瞳孔检测和跟踪、校准和精确凝视估计的最先进算法。性能评估的结果表明,Pupil可以提供0.6度视角的平均注视估计精度(0.08度精度),处理流水线的延迟仅为0.045秒。
2014-04-30 cs.CV cs.HC
Tracking the Progression of Reading Through Eye-gaze Measurements
在本文中,我们考虑的问题,通过眼睛凝视测量跟踪阅读的进展。这样的算法是新颖的,并将最终有助于开发一种方法,分析眼睛凝视数据已在阅读活动期间收集,以揭示关键信息的个人的兴趣水平和质量的经验,而阅读一段文字或书籍。此外,这种方法将作为一种“视觉签名”-一种核实个人是否确实对关键的文本信息给予了足够注意的方法。此外,准确的“阅读进度跟踪器”在教育机构、电子阅读器和育儿解决方案中具有潜在的应用。跟踪阅读的进展仍然是一个具有挑战性的问题,因为眼睛注视运动是非常嘈杂的,并且眼睛注视很容易在有限的空间中分散注意力,比如电子书。在以前的工作中,我们提出了一种方法来分析眼睛注视注视点收集,而阅读一页的文本,以分类每个测量到一行的文本,这种方法没有考虑跟踪阅读的进展,沿着文本行。在本文中,我们扩展了以前的算法的能力,以准确地跟踪沿每条线阅读的进展。所提出的方法采用最小二乘批量估计,以便估计水平扫视的三个状态:位置、速度和加速度。首先,所提出的方法是客观地评估一个模拟的眼睛凝视数据集。然后,所提出的算法被证明对真实数据收集的Gazepoint眼动仪,而受试者正在阅读几页电子书。
2019-05-07 cs.HC eess.SP
Towards a human eye behavior model by applying Data Mining Techniques on Gaze Information from IEC
在本文中,我们首先介绍了什么是交互式演化计算(IEC),并迅速我们如何结合这种人工智能技术与眼动仪的视觉优化。接下来,为了正确地参数化我们的应用程序,我们提出的结果,从应用数据采掘技术的凝视信息来自约80人进行的实验。
2008-03-21 cs.HC cs.NE
Enhancing Eye Movement Biometrics for User Authentication via Continuous Gaze Offset Score Fusion
Texas State University San Marcos(德克萨斯州立大学桑马科斯分校)
本文研究连续注视偏移与现有生物特征融合对提升用户认证性能的影响,通过两个公开数据集验证线性和非线性融合方法的有效性。
2026-05-07 cs.CV cs.HC
Eye Gaze Controlled Interfaces for Head Mounted and Multi-Functional Displays in Military Aviation Environment
眼睛注视控制的界面允许我们直接操作一个图形用户界面,只需看着它。这项技术在军事航空中有很大的潜力,特别是在飞行员的手被占用的情况下操作不同的显示器与飞行器。本文报道了在典型飞行任务中对飞机内视线控制界面精度的分析研究。我们报告说,飞行员可以在平均不到2秒的时间内完成有代表性的指向和选择任务。此外,我们评估了在各种G条件下的视线跟踪玻璃的准确性,并分析了其故障模式。我们观察到眼动仪的准确度在+3G的视角下小于5度,尽管在负1G和正5G时准确度较低。我们观察到眼动仪在较高的外部照明下可能无法跟踪。我们还推断,眼动仪用于军事航空需要有更大的垂直视野比目前可用的系统。我们使用此分析来开发用于多功能显示器和盔装显示器系统的眼睛注视跟踪器。我们得到了显着减少指向和选择时间,使用我们提出的HMDS系统相比,传统的TDS。
2020-05-27 cs.HC eess.IV
Gaze-based Object Detection in the Wild
University of Tübingen(蒂宾根大学);Technical University of Munich(慕尼黑工业大学)
在人机协作中,一个具有挑战性的任务是教机器人新的未知物体,使其能够与它们交互。因此,凝视可以包含有价值的信息。我们调查,如果它是可能的检测对象(对象或没有对象)仅仅从凝视数据,并确定其限界框参数。为此,我们探索了不同大小的时间窗口,这是计算热图的基础,即,凝视数据的空间分布。此外,我们分析了这些热图的不同网格大小,并使用不同的机器学习技术在概念证明中演示了功能。我们的方法的特点是其速度和资源效率相比,传统的对象检测器。为了生成所需的数据,我们对五名可以自由移动的受试者进行了一项研究,从而转向任意物体。这样,我们为数据汇集选择了一个尽可能真实的场景。由于受试者在面对物体时移动,热图还包含注视数据轨迹,使检测和参数回归复杂化。我们将我们的数据集公开提供给研究社区下载。
2023-01-25 cs.HC cs.LG cs.RO
What Can Eye Gaze Teach Us About Real-World Cycling? Insights From the Oxford RobotCycle Project
University of Oxford(牛津大学);University of the West of England(西英格兰大学)
本研究利用可穿戴眼动追踪眼镜,通过分析不同环境(如自行车道、汽车道和共享公交车道)和事件(如超车和行人)下的眼动模式,揭示了骑行中感知危险的潜意识差异,并评估了眼动追踪在估计骑行压力和认知负荷方面的潜力。
2026-06-03 cs.HC cs.RO
Eye Gaze Controlled Robotic Arm for Persons with SSMI
Indian Institute of Science(印度科学学院);Indian Institute of Technology, Madras(马德拉斯印度理工学院);Indian Institute of Information Technology, Kalyani(卡利亚尼印度信息技术学院)
背景:严重言语和运动障碍(SSMI)的人经常使用一种称为眼睛指向的技术与外界交流。他们的父母,看护人或老师在他们面前拿着一块印刷板,通过手动分析他们的眼睛注视,他们的意图被解释。这种技术往往容易出错,耗时,并依赖于一个单一的照顾者。目的:我们的目标是通过使用市售平板电脑、计算机或笔记本电脑,以电子方式自动化眼动追踪过程,而不需要任何专用硬件进行眼动追踪。眼睛注视跟踪器用于开发基于视频透视的AR(增强现实)显示器,该显示器控制具有眼睛注视的机器人设备并且被部署用于织物打印任务。方法学:我们进行了一个以用户为中心的设计过程,并分别评估了基于网络摄像头的凝视跟踪器和基于视频透视的人机交互,涉及用户与SSMI。我们还报告了一个用户研究操纵机器人手臂与基于网络摄像头的眼睛注视跟踪器。结果如下:使用我们定制的眼睛注视控制界面,身体健全的用户可以在不到2秒的中位数内选择屏幕的九个区域之一,而SSMI用户可以在4秒的中位数内完成。使用眼睛注视控制的人机AR显示器,具有SSMI的用户可以在小于15秒的平均持续时间内进行代表性的拾取和放下任务,并且使用COTS眼睛跟踪器在60秒内到达随机指定的目标,并且使用基于网络摄像头的眼睛注视跟踪器在平均2分钟内到达随机指定的目标。
2020-05-25 cs.CV cs.HC eess.IV
Deep Learning-Based Visual Fatigue Detection Using Eye Gaze Patterns in VR
Dept. of Computer Science Clarkson University Potsdam, New York, USA(计算机科学系 克拉克逊大学);David D. Reh School of Business Clarkson University Potsdam, New York, USA(戴维·D·雷商学院 克拉克逊大学)
本文提出基于深度学习的VR中通过眼动模式检测视觉疲劳的方法,利用眼动轨迹数据实现高准确率的疲劳检测,为沉浸式VR中的自适应交互提供新思路。
2025-10-14 cs.HC cs.LG
Owl and Lizard: Patterns of Head Pose and Eye Pose in Driver Gaze Classification
Massachusetts Institute of Technology (MIT)(麻省理工学院);Chalmers University of Technology(查尔姆斯理工大学);SAFER
准确、稳健、廉价的车内视线跟踪可以通过促进更有效地研究如何改进(1)车辆界面和(2)未来高级驾驶员辅助系统的设计来帮助保持驾驶员的安全。在本文中,我们估计头部姿态和眼睛姿态从单目视频使用的方法在以前的工作中广泛发展,并提出两个新的有趣的问题。首先,使用头部和眼睛姿势与仅使用头部姿势相比,我们能更好地对驾驶员凝视进行分类吗?第二,是否存在个体特定的凝视策略,其与通过添加眼睛姿态信息而改善的凝视分类有密切相关?我们回答这些问题,通过评估40名司机的道路上的研究数据。论文的主要观点是通过“猫头鹰”和“蜥蜴”的类比来传达的,这描述了眼睛和头部在转移视线时移动的程度。当头部移动很多时(“猫头鹰”),通过在头部姿势之上估计眼睛姿势来获得不多的分类改进。另一方面,当头部保持静止并且只有眼睛移动时(“蜥蜴”),通过添加眼睛姿势,分类准确性显著增加。我们描述了准确性如何在人,凝视策略和凝视区域之间变化。
2016-11-20 cs.CV cs.HC cs.LG
Eye-gaze Estimation with HEOG and Neck EMG using Deep Neural Networks
Peking University(北京大学);Southern University of Science and Technology(南方科技大学)
听力受损的听众在多人谈话场景中通常很难接近目标谈话者,即使有助听器(HA)也是如此。这个问题可以用眼睛注视转向HA来解决,其要求收听者眼睛注视目标。在头部旋转的情况下,眼睛注视受到眼跳和头部旋转行为的影响。然而,现有的眼睛注视估计的方法并不可靠,因为听众的眼睛注视的策略不同,这两种行为的测量没有正确地结合起来。此外,现有的方法是基于手工特征,这可能会忽略一些重要的信息。本文进行了固定头和自由头的实验。我们使用水平眼电图(HEOG)和颈部肌电图(NEMG),分别测量扫视和头部旋转,以共同估计眼睛注视。除了传统的分类器和手工特征外,还引入了深度神经网络(DNN)来从完整的波形中自动提取特征。评估结果表明,当输入是HEOG与惯性测量单元时,我们提出的DNN分类器的最佳性能达到93.3%;当HEOG与NEMG一起使用时,准确率达到72.6%,高于HEOG(约71.0%)或NEMG(约35.7%)。这些结果表明,HEOG和NEMG估计眼睛注视的可行性。
2021-03-03 cs.CV cs.HC eess.SP
Gaze Prediction as a Function of Eye Movement Type and Individual Differences
Texas State University(德克萨斯州立大学)
本研究分析了注视预测中的个体差异,评估了LSTM、TST和OPKF三种模型在不同眼动类型上的表现,发现注视噪声和扫视高速度会降低预测性能,建议未来研究关注被试间差异并优化模型以减少该差异。
2025-01-28 cs.HC cs.LG
EyeMakeYou: Identity-, Task-, and Subjective-State-Conditioned Diffusion for High-Frequency Gaze Synthesis
Texas State University(德克萨斯州立大学)
针对眼动生物识别的数据稀缺问题,提出多条件扩散模型EyeMakeYou,可生成符合身份、任务和主观状态约束的高频注视序列,在GazeBase上的实验表现优于现有方法,能有效扩充注视数据集。
2026-09-07 cs.CV cs.HC
MLGaze: Machine Learning-Based Analysis of Gaze Error Patterns in Consumer Eye Tracking Systems
École Normale Supérieure de Lyon(里昂高等师范学院)
分析眼动仪的注视精度特性是一项关键任务,因为其注视数据经常受到各种消费者眼动仪应用中的非理想操作条件的影响。在这项研究中,商业眼动跟踪设备产生的注视错误模式在机器学习算法(如分类器和回归模型)的帮助下进行了研究。凝视数据是在多种条件下从一组参与者中收集的,这些条件通常会影响在桌面和手持平台上操作的眼动仪。这些条件(这里称为误差源)包括用户距离、头部姿势和眼睛跟踪器姿势变化,并且所收集的注视数据被用于训练分类器和回归模型。可以看出,虽然通过目视检查或数据统计几乎不可能区分不同误差源对注视数据特征的影响,但机器学习模型成功地识别了不同误差源的影响并预测了由于这些条件而导致的注视误差水平的变化。本研究的目的是调查机器学习方法对注视错误模式的检测和预测的有效性,这将使我们能够深入了解眼动仪在不受约束的操作条件下的数据质量和可靠性。本研究中采用的所有机器学习方法的编码资源都包含在一个名为MLGaze的开放存储库中,以允许研究人员使用来自他们自己的眼动仪的数据复制本文中提出的原理。
2020-05-07 cs.CV cs.HC cs.LG
Event Based, Near Eye Gaze Tracking Beyond 10,000Hz
University of California Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
现代视线跟踪系统中的摄像机受到基本带宽和功率的限制,实际上将数据采集速度限制在300 Hz。这阻碍了移动眼动跟踪器的使用,例如,低延迟预测渲染,或研究快速和微妙的眼睛运动,如使用头戴式设备在野外微跳视。在这里,我们提出了一种基于混合帧事件的近眼凝视跟踪系统,其更新速率超过10,000 Hz,在相同条件下评估时,其精度与高端桌面安装的商业跟踪器相匹配。我们的系统建立在新兴的事件相机,同时获得定期采样帧和自适应采样的事件。我们开发了一种在线的2D瞳孔拟合方法,每一个或几个事件更新一个参数模型。此外,我们提出了一个多项式回归估计的注视点的参数瞳孔模型在实时的。使用第一个基于事件的凝视数据集,可在https://github.com/aangelopoulos/event_based_gaze_tracking,我们证明,我们的系统实现了0.45度的精度-1.75度的视野从45度到98度。有了这项技术,我们希望能够为虚拟和增强现实实现新一代超低延迟的视情况而定的渲染和显示技术。
2022-08-08 cs.CV cs.HC
Integrating Eye-Gaze Data into CXR DL Approaches: A Preliminary study
INESC-ID(INESC-ID(葡萄牙国家系统与计算机工程研究所));Instituto Superior Técnico(里斯本高等技术学院);Universidade de Lisboa(里斯本大学);School of Information Systems(信息系统学院);Queensland University of Technology(昆士兰科技大学);Grupo Lusíadas(卢西亚达斯集团)
本文提出了一种新的多模式DL架构,结合医学图像和眼动跟踪数据的异常检测胸部X射线。我们的研究结果表明,直接将眼睛注视数据应用到DL架构中,在异常检测胸部X射线中没有显示出优越的预测性能。这些结果支持了文献中的其他工作,并表明人类生成的数据,如眼睛凝视,在应用于DL架构之前需要进行更彻底的调查。
2023-02-06 cs.AI cs.CV cs.HC
Heatmap-Based Method for Estimating Drivers' Cognitive Distraction
Valeo(法雷奥)
为了提高道路安全性,在视觉和手动干扰中,现代智能车辆还需要检测认知分心驾驶(即,驾驶员的注意力转移)。本研究探讨认知过程对驾驶员注视行为的影响。提出了一种新的基于图像的表示驾驶员的眼睛注视分散估计认知分心。数据是在开放的高速公路上收集的,有一个量身定制的协议,以创造认知分散。所创建的形状的视觉差异表明,与分心驾驶相比,驾驶员在中性驾驶中探索更宽的区域。因此,支持向量机(SVM)为基础的分类器进行训练,并达到85.2%的准确率为两个类的问题,即使是一个小的数据集。因此,所提出的方法具有辨别力,以识别认知分心使用凝视信息。最后,这项工作详细说明了这种基于图像的表示如何适用于其他分心驾驶检测的情况。
2020-10-31 cs.CV cs.HC q-bio.NC
GazeTrack: High-Precision Eye Tracking Based on Regularization and Spatial Computing
Dalian University of Technology(大连理工大学)
GazeTrack通过正则化和空间计算方法,实现高精度眼动追踪,构建了首个包含多族裔、多年龄和多视力条件的基准数据集,并提出新的形状误差正则化和坐标变换方法,提升眼动向量预测的准确性。
2025-11-27 cs.AI cs.CV cs.HC