EyeSeg: An Uncertainty-Aware Eye Segmentation Framework for AR/VR
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；East China Normal University（华东师范大学）
本文提出EyeSeg，一种面向AR/VR的不确定性感知眼部分割框架，通过贝叶斯不确定性学习显式建模不确定性，有效应对运动模糊、眼睑遮挡和跨域挑战，在分割与注视估计任务上超越现有方法。
2025-07-13 cs.CV
GIMP and Wavelets for Medical Image Processing: Enhancing Images of the Fundus of the Eye
Politecnico di Torino（都灵理工大学）
视网膜及其血管特性的视觉分析在视知觉疾病的诊断和监测中具有重要意义。在相关的医学诊断中，眼底图像的数字处理被用来获得视网膜血管的分割。然而，图像分割通常需要基于特殊或复杂算法的方法：在本文中，我们将展示一些替代方法，通过应用免费提供的工具来增强，而无需特定的分割，眼底的图像。我们将特别看到，结合使用GIMP，GNU图像处理程序，与Iris的小波滤波器，一个众所周知的处理天文图像的程序，结果是给出的图像可以替代从分割获得的图像。
2014-08-20 cs.CV
A Comprehensive Overview of Fish-Eye Camera Distortion Correction Methods
SUSTech（南方科技大学）；Southern University of Science and Technology（南方科技大学）
该综述全面梳理鱼眼相机畸变校正的各类方法，涵盖多项式模型、全景/网格映射、直接法及深度学习方法，分析其优劣与进展，为相关应用的方法选择提供参考。
2024-05-13 cs.CV
An Identification System Using Eye Detection Based On Wavelets And Neural Networks
Fayoum University（法尤姆大学）；Sohag University（索哈杰大学）；Taif University（塔伊夫大学）
人眼模式的随机性和独特性是寻找更快，更容易和高度可靠的自动人体识别形式的重大突破。它被广泛用于安全解决方案。这包括对物理设施、安全系统和信息数据库的访问控制，嫌疑人跟踪、监视和入侵检测，以及世界各地的各种情报机构。我们利用人眼独特性的优势来识别人，并证实其作为生物特征识别的有效性。.眼睛检测首先从数字人脸图像中提取眼睛，然后对眼睛的独特图案进行编码，以便将它们与预先注册的眼睛图案进行比较。眼睛检测系统由基于小波变换的自动分割系统组成，然后将小波分析用作具有共轭梯度学习的反向传播神经网络的预处理器。神经网络的输入是人脸图像在特定尺度下的小波极大值邻域系数。神经网络的输出是输入到眼睛或非眼睛区域的分类。在训练阶段的不同条件下，观察到90%的准确率用于识别测试图像。
2014-01-20 cs.CV
Eye-Tracking, Mouse Tracking, Stimulus Tracking,and Decision-Making Datasets in Digital Pathology
Computer Science and Engineering, The Ohio State University（计算机科学与工程系，俄亥俄州立大学）；Departments of Ophthalmology and Radiology, Harvard Medical School（眼科学与放射学系，哈佛医学院）；Department of Surgery, Brigham and Women’s Hospital（外科系，布里洛妇产科医院）；Department of Pathology, The Ohio State University Medical Center（病理学系，俄亥俄州立大学医学中心）
针对数字病理领域缺乏行为数据解释诊断问题的现状，研究团队发布PathoGaze1.0数据集，含多类病理诊断行为数据，可用于提升病理学家培训与辅助AI系统训练。
2025-10-28 cs.CV cs.HC
Event-Based Eye Tracking. AIS 2024 Challenge Survey
本综述回顾 AIS 2024 基于事件的视线追踪挑战赛，总结其任务、参与情况，并分析提交的多种方法，以推动该领域研究。
2024-04-17 cs.AI cs.CV
Human Eye Visual Hyperacuity: A New Paradigm for Sensing?
Public University of Navarre（纳瓦拉公立大学）；State University of New York, Downstate Medical Center（纽约州立大学下州医学中心）
人眼似乎使用少量传感器进行图像捕获。此外，关于锥体的物理尺寸-负责敏锐的中央视觉的光感受器-，我们可以认识到这些传感器具有相对小的尺寸和面积。尽管如此，由于视觉超敏，眼睛能够获得高分辨率图像，并且当与具有类似特性的传统数码相机相比时，呈现出令人印象深刻的灵敏度和动态范围。这篇文章是基于这样的假设，即人眼可能受益于衍射，以提高图像分辨率和采集过程。所开发的方法旨在使用MATLAB软件解释和模拟视觉超敏度：在初始阶段引入受控的衍射图案，使得能够使用减少数量的传感器来捕获图像，并使得后续处理能够提高最终图像分辨率。的结果进行了比较，一个等效系统的结果，但在没有衍射，实现有前途的结果。这项工作的主要结论是，衍射可能有助于捕获图像或信号时，少量的传感器可用，这是远远不是一个分辨率限制因素。
2017-03-01 cs.CV
Fundus2Globe: Generative AI-Driven 3D Digital Twins for Personalized Myopia Management
School of Optometry, The Hong Kong Polytechnic University（香港理工大学验光学院）；Swiss Federal Institute of Technology Lausanne (EPFL)（瑞士洛桑联邦理工学院）；Centre for Eye and Vision Research (CEVR)（眼与视觉研究中心）
针对近视管理中MRI依赖的成本与实用性问题，提出首个AI框架Fundus2Globe，从2D眼底照片和常规元数据合成患者特异性3D眼球，实现亚毫米级重建精度，量化病变与眼形关联，为个性化近视管理奠定基础。
2025-02-18 cs.CV eess.IV eess.SP
Privacy-Preserving Eye Videos using Rubber Sheet Model
Rochester Institute of Technology（罗切斯特理工学院）
基于视频的眼睛跟踪器基于眼睛图像/视频来估计注视。由于安全和隐私问题笼罩着技术进步，应对这些挑战至关重要。我们提出了一种新的方法来处理眼睛视频中的隐私问题，通过替换当前可识别的虹膜纹理与不同的虹膜模板的视频捕获管道的基础上的橡胶片模型。我们扩展到图像混合和中值表示，以证明可以操纵视频，而不会显着降低分割和瞳孔检测的准确性。
2020-04-03 cs.CV
MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking
University of Science and Technology of China（中国科学技术大学）
本文提出MambaPupil网络，通过双向GRU与线性时变状态空间模块建模眼动长时上下文关系，并结合Bina-rep表示与Event-Cutout增强，在ThreeET-plus基准上取得CVPR'2024 AIS事件驱动眼动追踪挑战赛第一名。
2024-04-30 cs.CV
Content-Consistent Generation of Realistic Eyes with Style
ETH Zürich（苏黎世联邦理工学院）；NVIDIA（英伟达）
准确标记的真实世界训练数据可能是稀缺的，因此最近的工作适应，修改或生成图像，以提高目标数据集。然而，在生成的图像中保留来自输入数据的相关细节是具有挑战性的，并且失败可能对最终任务的性能至关重要。在这项工作中，我们合成的人特定的眼睛图像，满足给定的语义分割掩模（内容），而下面的一个指定的人的风格，从只有几个参考图像。我们介绍了两种方法，（a）一种用于在ICCV 2019上赢得OpenEDS合成眼生成挑战赛，（b）一种原则性的方法来解决涉及在多个尺度上同时注入样式和内容信息的问题。我们的实现可以在https://github.com/mcbuehler/Seg2Eye上获得。
2019-11-08 cs.CV
Gazing Into Missteps: Leveraging Eye-Gaze for Unsupervised Mistake Detection in Egocentric Videos of Skilled Human Activities
University of Catania（卡塔尼亚大学）；The University of Tokyo（东京大学）
本文提出一种利用眼动信号在第一人称视频中实现无监督错误检测的方法，通过眼动补全任务显式建模眼动与视觉标记的相关性，利用预测与观察的眼动轨迹不一致性识别错误，在多个数据集上取得显著相对增益并排名第一。
2025-07-16 cs.CV
High-Fidelity Eye Animatable Neural Radiance Fields for Human Face
本文提出动态眼部感知NeRF（DeNeRF），通过拟合FLAME模型并设计眼部形变场将多视角3D点变换至规范空间，实现了高保真且眼球旋转准确的人脸渲染，并有效提升了注视估计性能。
2023-09-12 cs.CV
Dual-Path Enhancements in Event-Based Eye Tracking: Augmented Robustness and Adaptive Temporal Modeling
University of Science, VNU-HCM（越南胡志明市国家大学）；Vietnam National University（越南国家大学）
本文提出双路径增强方法以提升基于事件的眼动追踪的鲁棒性，包括鲁棒数据增强流水线与混合架构KnightPupil，在3ET+基准上实现1.61欧几里得距离误差，适用于AR/VR系统部署。
2025-04-14 cs.CV
Identity masking effectiveness and gesture recognition: Effects of eye enhancement in seeing through the mask
University of Arkansas（阿肯色大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
近年来开发的人脸身份掩蔽算法旨在保护视频记录中的人的隐私。这些算法旨在干扰识别，同时保留有关面部动作的信息。一个重要的挑战是保持眼睛区域的微妙动作，同时模糊眼睛的显着身份线索。我们评估了基于Canny滤波器的身份掩蔽算法的有效性，应用和不应用眼睛增强，干扰识别和保存面部动作。在实验1和2中，我们测试了人类参与者将低分辨率视频中的驾驶员面部身份与高分辨率面部图像相匹配的能力。结果表明，这两种掩蔽方法损害识别，眼睛增强并没有改变的有效性的坎尼过滤器面具。在实验3中，我们测试了动作保存，发现这两种方法都没有显着干扰驾驶员动作感知。我们的结论是，相对简单的、基于过滤器的掩蔽算法适合应用于低质量视频，可以用于隐私保护，而不会损害动作感知。
2023-01-20 cs.CV
Lifting Multi-View Detection and Tracking to the Bird's Eye View
Technical University of Munich（慕尼黑工业大学）
本文提出一种多视角聚合架构，结合外观与运动线索，将检测与跟踪提升至鸟瞰视角，在行人（Wildtrack、MultiviewX）和路边感知（Synthehicle）数据集上达到最先进性能。
2024-03-19 cs.CV
Towards Real-time Eyeblink Detection in The Wild:Dataset,Theory and Practices
Huazhong University of Science and Technology（华中科技大学）；Southern Medical University（南方医科大学）；Hunan University of Humanities, Science and Technology（湖南人文科技学院）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）；University at Buffalo, the State University of New York（纽约州立大学布法罗分校）
有效的实时的【形】眨眼检测具有广泛的应用，如欺骗检测、驾驶疲劳检测、人脸防欺骗等。虽然已有大量的研究工作，但大多集中在室内条件下的眨眼检测问题上。然而，对于实际应用来说，在野外环境下进行眨眼检测的要求更高，挑战也更大。然而，据我们所知，这一点以前没有得到很好的研究。在本文中，我们揭示了这一研究课题。野生数据集中的标记眨眼（即，HUST-LEBW）的673个眨眼视频样本（即，381例阳性，292例阴性）是我们首次建立的。这些样本是从不受约束的电影中捕获的，其中包括人体属性、人体姿势、光照条件、成像配置等的剧烈变化。然后，我们将眨眼检测任务制定为时空模式识别问题。在分别使用SeetaFace引擎和KCF跟踪器对人眼进行定位和跟踪后，提出了一种能够捕获多尺度时间信息的改进LSTM模型来执行眨眼验证。提出了一种同时揭示外观和运动特征的特征提取方法。在HUST-LEBW上的实验表明了该方法的优越性和有效性。这也验证了现有的眨眼检测方法在野外环境中不能取得令人满意的效果。
2019-12-18 cs.CV
Through BrokenEyes: How Eye Disorders Impact Face Detection?
Indian Institute of Technology Delhi（印度理工学院德里）
本研究通过BrokenEyes系统模拟五种常见眼疾，分析其对深度学习模型中特征表示的影响，并量化视觉退化对学习表示的干扰。
2026-02-26 cs.CV
Supporting Mitosis Detection AI Training with Inter-Observer Eye-Gaze Consistencies
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UCLA David Geffen School of Medicine（加州大学洛杉矶分校大卫·格芬医学院）；Kansas University Medical Center（堪萨斯大学医学中心）
本研究提出利用观察者间一致的眼动注视点生成低成本训练标签，用于有丝分裂检测AI训练，实验表明其性能接近真实标注并显著优于启发式基线。
2024-04-02 cs.CV
EyeLoveGAN: Exploiting domain-shifts to boost network learning with cycleGANs
Technical University of Denmark（丹麦技术大学）
本文介绍了我们对2020年难民挑战的贡献。该挑战包括基于视网膜图像数据集的三个任务：视盘和视杯的分割，青光眼的分类和中央凹的定位。我们建议采用卷积神经网络的所有三个任务。使用U-Net进行分割，通过预训练的InceptionV 3网络进行分类，并通过采用堆叠的沙漏进行热图预测来进行中央凹检测。挑战数据集包含来自三个不同数据源的图像。为了提高性能，cycleGAN被用来在数据源之间创建域转移。这些cycleGAN跨域移动图像，从而创建可用于训练的人工图像。
2022-03-10 cs.AI cs.CV
Fingertip in the Eye: A cascaded CNN pipeline for the real-time fingertip detection in egocentric videos
South China University of Technology（华南理工大学）
我们引入了一个新的管道手定位和指尖检测。对于从以自我为中心的视觉移动相机捕获的RGB图像，由于背景复杂性和手部形状多样性等因素，手部和指尖检测仍然是一个具有挑战性的问题。为了准确和鲁棒地解决这些问题，我们构建了一个名为Ego Fingertip的大规模数据集，并提出了一个双层级联的卷积神经网络管道，即基于注意力的手检测器以及多点指尖检测器。与以往的手和指尖检测方法相比，所提出的方法显著地解决了挑战，并实现了令人满意的准确预测和实时的【形】性能。
2015-11-07 cs.CV
Gaining Scale Invariance in UAV Bird's Eye View Object Detection by Adaptive Resizing
University of Tübingen（图宾根大学）
本文介绍了一种新的适用于无人机鸟瞰图像的目标检测预处理步骤，我们称之为自适应缩放。通过设计，它有助于缓解无人机数据集固有的物体尺度巨大差异带来的挑战。此外，它还将推理速度平均提高了两到三倍。我们在无人机、VisDrone和我们自己捕获的新数据集上进行了广泛的测试，并在速度相当快的同时实现了一致的改进。此外，我们展示了如何将这种方法应用到一般的无人机目标检测任务。此外，我们成功地测试了我们的方法在高度转移任务，我们训练的高度和测试在不同的一个间隔。此外，我们还介绍了一个小型，快速的检测器，用于部署到嵌入式GPU。代码将在我们的网站上公开。
2022-04-08 cs.CV
Statistical mechanics of digital halftoning
Hokkaido University（北海道大学）；Wakayama National College of Technology（和歌山国立技术学院）；The University of Tokyo（东京大学）
我们从统计力学的观点来考虑数字半调问题。数字半调是一种图像处理方法，即用黑白二值点表示每个灰度级。数字半色调化是通过使用阈值掩模来实现的，即对于每个像素，如果原始灰度像素大于或等于掩模值，则半色调化的二进制像素被确定为黑色，反之亦然，则被确定为白色。为了确定给定原始灰度图像每个像素的最佳掩模值，我们首先假设人眼可以通过线性滤波器将黑白二值半色调图像识别为相应的灰度图像。哈密顿量被构造为原始图像和识别图像之间的距离，该距离以阈值掩模的形式表示。我们证实了用哈密顿量描述的系统是一种具有淬火无序的反铁磁伊辛模型。通过搜索哈密顿量的基态，我们同时获得了最佳阈值掩模和由此产生的半色调二进制点。通过功率谱分析，我们发现从人眼调制特性的角度来看，二值点图像在生理上是合理的。我们还提出了一个理论框架来研究逆数字半调的统计性能，即半调的逆过程。从贝叶斯推断的观点出发，严格地证明了贝叶斯最优逆半调是在一个特定的条件下实现的，该条件与自旋玻璃研究领域中的所谓西森线非常相似。
2010-11-08 cond-mat.dis-nn cs.CV physics.comp-ph
Digital and Physical-World Attacks on Remote Pulse Detection
University of Notre Dame（圣母大学）
远程光电体积描记术（rPPG）是一种用于从反射光估计血容量变化而不需要接触传感器的技术。我们提出的第一个例子，演示攻击的数字和物理领域的rPPG从人脸视频。通过向输入视频中添加不可感知的周期性噪声，可以很容易地执行数字攻击。物理攻击是利用来自放置在非常接近面部的可见光谱LED的照明来执行的，同时仍然难以用人眼感知。我们还表明，我们的攻击扩展到医疗应用之外，因为该方法可以有效地在3D打印面罩上生成强周期性脉冲，这给基于脉冲的人脸呈现攻击检测（PAD）带来了困难。最后，本文提出了利用这项工作来提高rPPG方法和基于脉冲的面部PAD的鲁棒性的想法。
2021-10-21 cs.CV cs.LG
Natural images from the birthplace of the human eye
University of Pennsylvania（宾夕法尼亚大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）；Saint Joseph’s University（圣约瑟夫大学）；Northwestern University（西北大学）；Sinergise d.o.o（Sinergise有限责任公司）
在这里，我们介绍了一个数据库的校准自然图像公开提供通过一个易于使用的Web界面。使用尼康D 70数码单反相机，我们获得了约5000个六百万像素的博茨瓦纳奥卡万戈三角洲，热带稀树草原栖息地类似于人类眼睛被认为已经进化的图像。一些图像序列是在跟踪狒狒部队时不系统地捕获的，而另一些则是为了改变单个参数，如光圈，物体距离，一天中的时间或地平线上的位置。图像可在原始RGB格式和灰度。图像也可以以与人类视锥光感受器的生理学相关的单位提供，其中像素值表示对长（L）、中（M）和短（S）波长敏感的视锥每秒光异构化的预期数量。该数据库是在知识共享署名-非商业性非移植许可下分发的，以促进计算机视觉，感知的心理物理学和视觉神经科学的研究。
2011-02-04 cs.CV q-bio.NC
Robust Real-Time Multi-View Eye Tracking
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
尽管在受控条件下提高视线跟踪准确性方面取得了显著进展，但在真实世界条件下（诸如大的头部姿势和运动、眼镜的使用、照明和眼睛类型变化）的跟踪鲁棒性仍然是眼动追踪中的主要挑战。在本文中，我们重新审视这一挑战，并介绍了一个实时的【形】多摄像头眼动追踪框架，以提高跟踪的鲁棒性。首先，与以前的工作不同，我们设计了一个多视图跟踪设置，允许同时获取多个眼睛外观。利用多视图外观使得能够在具有挑战性的条件下更可靠地检测注视特征，特别是当它们由于大的头部移动或眼镜效应而在传统的单视图外观中被阻挡时。然后，在各种外观上提取的特征用于估计多个注视输出。其次，我们建议通过自适应融合机制来结合估计的注视输出，以计算用户的整体关注点。该机制首先根据用户的瞬时头部姿态和预测的注视行为确定每个注视输出的估计可靠性，然后进行基于可靠性的加权融合。我们展示了我们的框架的有效性，广泛的模拟和用户实验收集的数据集具有20个主题。我们的研究结果表明，在国家的最先进的眼动仪相比，所提出的框架不仅提供了一个显着的提高准确性，但也有显着的鲁棒性。我们的原型系统以每秒30帧（fps）的速度运行，并在具有挑战性的实验场景下达到1度的精度，这使得它适用于要求高精度和鲁棒性的应用。
2018-01-03 cs.CV cs.HC
Event-Based Eye Tracking. 2025 Event-based Vision Workshop
Leiden University（莱顿大学）；Delft University of Technology（代尔夫特理工大学）；DVSense（DVSense公司）；Prophesee（Prophesee公司）；NVIDIA（NVIDIA公司）；Institute of Neuroinformatics, UZH/ETH Zurich（神经信息学研究所，苏黎世联邦理工学院/苏黎世大学）；Fudan University（复旦大学）；University of Würzburg（乌尔姆大学）；University of Science and Technology of China（中国科学技术大学）；Singapore Management University（新加坡国立管理学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Science, VNU-HCM, Ho Chi Minh City, Vietnam（越南胡志明市VNU-HCM大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南胡志明市国家大学）
本综述回顾2025年CVPR基于事件的视觉研讨会中的眼动追踪挑战赛，总结排名靠前团队预测瞳孔中心的创新方法，并报告准确率、模型大小和操作数量，同时从硬件设计角度探讨该领域。
2025-04-25 cs.AI cs.CV cs.LG
EyeDiff: text-to-image diffusion model improves rare eye disease diagnosis
The Hong Kong Polytechnic University（香港理工大学）；Centre for Eye and Vision Research (CEVR)（眼视觉研究中心）
EyeDiff是一种基于潜在扩散模型的文本到图像生成模型，通过生成多模态眼科图像解决罕见眼病数据不足问题，显著提升诊断准确性。
2024-11-15 cs.AI cs.CV eess.IV
Digital Makeup from Internet Images
University of Science and Technology of China（中国科学技术大学）；Innopolis University（因诺波利斯大学）
我们提出了一种新的方法，通过探索他们的高层语义信息的图像之间的颜色转移。首先，我们建立了一个数据库，其中包括从互联网上下载的图像，这是自动分割使用抠图技术的集合。然后，我们从源图像和多个目标图像中提取图像前景。然后利用图像抠图算法，提取人脸、嘴唇、牙齿、眼睛、眉毛等语义信息，从源图像的提取的前景。然后，颜色在具有相同语义信息的对应部分之间传递。接下来，我们通过使用alpha混合将不同的部分无缝合成在一起来获得颜色转换的结果。在最后一步中，我们提出了一种有效的颜色一致性方法来优化显示共同场景的图像集合的颜色。与现有技术相比，我们的方法的主要优点是它不需要人脸匹配，因为可以使用多个目标图像。它不限于头部拍摄图像，因为我们也可以在野外改变颜色风格。此外，我们的算法不需要在源图像和目标图像之间选择相同的颜色风格，相同的姿势和图像大小。该算法不局限于一对一的图像颜色传递，可以利用多幅目标图像来传递源图像中不同部分的颜色。与其他方法相比，我们的算法在输入数据的颜色混合方面有很大的改善。
2016-12-29 cs.CV cs.GR
3D Gaze Estimation from 2D Pupil Positions on Monocular Head-Mounted Eye Trackers
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
3D凝视信息对于以场景为中心的注意力分析是重要的，但是在真实世界环境中3D凝视的准确估计和分析仍然具有挑战性。我们提出了一种新的单目头戴式眼动仪的3D视线估计方法。与以前的工作相比，我们的方法不旨在推断3D眼球姿态，而是直接将2D瞳孔位置映射到场景相机坐标空间中的3D注视方向。我们首先详细讨论了3D凝视估计任务，并总结了不同的方法，包括我们自己的方法。然后，我们使用模拟和真实数据评估不同的3D凝视估计方法的性能。通过实验验证，我们证明了我们的方法在减少视差误差的有效性，我们确定的3D校准程序的设计的研究挑战。
2016-01-19 cs.CV cs.HC
Deep Learning in Mild Cognitive Impairment Diagnosis using Eye Movements and Image Content in Visual Memory Tasks
Institute for Systems and Robotics（系统与机器人研究所）；Laboratory for Robotics and Engineering Systems（机器人与工程系统实验室）；Instituto Superior Técnico（技术高等学院）；Universidade de Lisboa（里斯本大学）；Department of Psychology（心理学系）；University of Chicago（芝加哥大学）；Institute for Mind and Biology（心灵与生物学研究所）；Sapienza Università di Roma（罗马萨皮恩扎大学）
本研究提出基于VTNet的深度学习模型，利用44名受试者在视觉记忆任务中的眼动扫描路径、热图与图像内容，区分健康对照与轻度认知障碍，最佳模型达到68%敏感性和76%特异性，性能与同类阿尔茨海默病研究相当。
2025-08-26 cs.CV cs.HC
Accurate and Robust Eye Contact Detection During Everyday Mobile Device Interactions
Institute for Visualisation and Interactive Systems, University of Stuttgart（斯图加特大学可视化与交互系统研究所）
人类注意力的量化是移动人机交互（HCI）中若干任务的关键，例如预测用户可中断性、估计用户界面内容的可中断性或测量用户参与度。以前的研究移动注意行为的工作需要特殊用途的眼动追踪设备或限制用户的移动性。我们提出了一种新的方法来感测和分析视觉注意力在移动设备上的日常互动。我们证明了我们的方法的能力，最近吸引了越来越多的研究兴趣，在移动HCI的目光接触检测的样本任务。我们的方法建立在一个国家的最先进的方法，无监督的目光接触检测，并将其扩展到解决特定的移动交互场景的挑战。通过对两个当前数据集的评估，我们证明了在移动设备，用户或环境条件下的目光接触检测的显着性能改进。此外，我们还讨论了我们的方法如何能够计算额外的注意力指标，这是第一次，使来自不同领域的研究人员能够在野外移动交互过程中研究和量化注意力分配。
2019-07-25 cs.CV cs.HC
Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN
The University of Hong Kong（香港大学）
本研究提出一种基于事件相机的软硬件协同设计眼动追踪系统，集成专为子流形稀疏卷积神经网络定制的FPGA加速器，在Event-based Eye-Tracking-AIS2024数据集上实现了0.7ms低延迟与2.29mJ低功耗的高精度追踪。
2024-04-22 cs.AR cs.CV
Eyepiece-free pupil-optimized holographic near-eye displays
College of Electronics and Information Engineering, Sichuan University, Chengdu 610065, China（电子信息工程学院，四川大学，成都610065，中国）；Thrust of Microelectronics of Function Hub, The Hong Kong University of Science and Technology (Guangzhou), Guangzhou 511400, China（功能枢纽微电子研究所，香港科技大学（广州），广州511400，中国）
针对全息近眼显示器受有限动态瞳孔孔径影响画质的问题，提出无目镜瞳孔优化方法，用定制球面相位生成多视点并联合优化幅相，消除目镜依赖并改善画质与深度线索，推动紧凑全息NED发展。
2025-07-30 cs.CV physics.optics
A System for Accurate Tracking and Video Recordings of Rodent Eye Movements using Convolutional Neural Networks for Biomedical Image Segmentation
Harvard University（哈佛大学）
针对啮齿动物眼部图像参数多变、毛发干扰和尺寸小的问题，本文提出可增量训练的卷积神经网络分割模型，并结合自动化红外视频记录系统，实现高精度瞳孔与角膜反射识别。
2025-06-09 cs.CV eess.IV
A Stochastic Nonlinear Dynamical System for Smoothing Noisy Eye Gaze Data
The University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德河谷分校）；MS2Discovery Interdisciplinary Research Institute, Wilfrid Laurier University（威尔弗里德劳里埃大学MS2Discovery跨学科研究所）
针对屏幕注视位置测定因多种噪声受影响的问题，本研究提出用扩展卡尔曼滤波器（EKF）平滑眼动注视数据并探究参数作用，结果显示其显著降低噪声、提升精度，且模型与真实数据契合度高、应用潜力大。
2025-04-17 cs.CV cs.NA math.NA
Classification of Alzheimers Disease with Deep Learning on Eye-tracking Data
University of British Columbia（不列颠哥伦比亚大学）
本文提出用并行 GRU 和 CNN 的深度学习模型 VTNet 直接在原始眼动数据上端到端分类阿尔茨海默病，通过解决长序列建模挑战，性能超越现有最先进方法。
2023-09-22 cs.CV cs.LG
MagicEyes: A Large Scale Eye Gaze Estimation Dataset for Mixed Reality
Magic Leap Inc, USA（Magic Leap公司，美国（注：此处“USA”为国家信息，按要求不加入，仅保留机构名“Magic Leap Inc”））
随着虚拟和混合现实（XR）设备的出现，眼动追踪在计算机视觉界受到了极大的关注。眼睛注视估计是XR中的一个关键组成部分-实现节能渲染，多焦点显示以及与内容的有效交互。在头戴式XR设备中，眼睛离轴成像，以避免阻挡视野。这导致推断眼睛相关量的挑战增加，同时提供了开发准确和稳健的基于学习的方法的机会。为此，我们提出了MagicEyes，这是第一个使用真正的MR设备收集的大规模眼睛数据集，具有全面的地面真实标记。MagicEyes包括具有人类标记的地面实况的$80,000$图像的$587$受试者和具有凝视目标标签的超$800,000$图像。我们评估了MagicEyes上的几种最先进的方法，并提出了一种新的多任务EyeNet模型，该模型旨在检测角膜，闪光和瞳孔以及在单次向前传递中的眼睛分割。
2020-03-18 cs.CV cs.HC cs.LG
OpenEDS: Open Eye Dataset
University College London（伦敦大学学院）；Facebook Reality Labs（Facebook现实实验室）；Google via Adecco（Google通过Adecco）
我们提出了一个大规模的数据集，OpenEDS：开放的眼睛数据集，使用虚拟现实（VR）的盔装显示器安装有两个同步的眼睛面对相机在帧速率为200 Hz的受控照明下捕获的眼睛图像。该数据集是根据从152个个体参与者收集的眼睛区域的视频捕获来编译的，并且被分成四个子集：（i）具有关键眼睛区域的像素级注释的12，759个图像：虹膜、瞳孔和巩膜（ii）252，690个未标记的眼睛图像，（iii）91个，来自随机选择的持续时间为1.5秒的视频序列的200帧，以及（iv）从152个参与者中的143个子集收集的眼睛区域的角膜地形图编译的143对左右点云数据。已经在OpenEDS上评估了用于瞳孔、虹膜、巩膜和背景的语义分割任务的基线实验，其中平均相交率（mIoU）为98.3%。我们预计OpenEDS将为眼动追踪社区以及更广泛的机器学习和计算机视觉社区的研究人员创造机会，以推进VR应用的眼动追踪状态。该数据集可在https://research.fb.com/programs/openeds-challenge上下载
2019-05-17 cs.CV cs.LG eess.IV
Gaze Preserving CycleGANs for Eyeglass Removal & Persistent Gaze Estimation
UC San Diego（加州大学圣地亚哥分校）
驾驶员的注视对于确定他们的注意力、状态、态势感知以及是否准备好接管部分自动驾驶车辆的控制至关重要。当限制使用非侵入式成像传感器时，估计注视方向是在理想条件下衡量驾驶员状态的最明显方法。不幸的是，车辆环境引入了各种通常无法解释的挑战-苛刻的照明，夜间条件和反光眼镜。在这种情况下，仅仅依靠头部姿势是不可靠和错误的。在这项研究中，我们提供解决方案，以解决这些问题在现实世界中遇到的。为了解决照明问题，我们证明了使用具有适当均衡和归一化的红外摄像机就足够了。为了处理眼镜及其相应的伪影，我们采用图像到图像的转换，使用生成对抗网络在凝视估计之前对图像进行预处理。我们提出的凝视保持CycleGAN（GPCycleGAN）经过训练，可以保留驾驶员的凝视，同时从面部图像中去除潜在的眼镜。GPCycleGAN基于众所周知的CycleGAN方法-添加了凝视分类器和凝视一致性损失以进行额外的监督。我们的方法在具有挑战性的真实世界数据集上表现出更好的性能，可解释性，鲁棒性和卓越的定性结果。
2021-06-15 cs.CV cs.LG
PuRe: Robust pupil detection for real-time pervasive eye tracking
University of Tübingen（蒂宾根大学）
实时的【形】、准确和鲁棒的瞳孔检测是实现普适眼动跟踪及其应用的必要先决条件--例如，基于凝视的人机交互、健康监测、视觉中心凹渲染和高级驾驶员辅助。然而，自动瞳孔检测已被证明是一个复杂的任务，在现实世界的情况下，由于大量的挑战，如快速变化的照明和闭塞的混合。在本文中，我们介绍了瞳孔重建Puree，一种方法，在普遍的情况下，基于一种新的边缘段选择和条件段组合方案的瞳孔检测，该方法还包括一个置信度测量检测到的瞳孔。所提出的方法进行了评估，超过316,000图像采集与四个不同的头戴式眼动追踪设备。结果显示，相对于传统方法，最先进的算法在两个最具挑战性的数据集（6.46所有数据集），进一步推动了瞳孔检测的信封。此外，我们还考虑眼睛图像中的瞳孔不存在的瞳孔检测算法的评估协议。在这方面，PuRe提高了相对于相对于相对分子质量的精确度和特异性。最先进的算法分别提高了25.05和10.94个百分点，证明了PuRe的置信度测量的意义。PuRe可为现代眼动仪进行实时的【形】操作（每秒120帧）。
2017-12-24 cs.CV cs.HC
Deep Dirichlet uncertainty for unsupervised out-of-distribution detection of eye fundus photographs in glaucoma screening
Medical University of Vienna（维也纳医科大学）
发展自动化工具，利用彩色眼底照片进行青光眼早期诊断，可以显著降低这种疾病的影响。然而，当前最先进的解决方案对现实世界的场景并不稳健，对分布外的情况提供了过于自信的预测。考虑到这一点，我们提出了一个模型的基础上的狄利克雷分布，允许获得类的概率连同不确定性估计，而不暴露于分布的情况下。我们展示了我们在AIROGS挑战中的方法。在最终测试阶段（2022年2月8日）开始时，我们的方法在所有提交的作品中获得了最高的平均分。
2022-03-18 cs.CV cs.LG
When Humans Judge Irises: Pupil Size Normalization as an Aid and Synthetic Irises as a Challenge
Fitzpatrick Hall of Engineering, University of Notre Dame, IN 46556, USA（notre dame 大学工程学院）
本文研究了人类在不同瞳孔大小和合成虹膜图像下的虹膜验证表现，发现瞳孔规范化显著提升准确性，但合成同眼图像常被误判为不同眼。
2026-01-11 cs.AI cs.CV
Toward Multimodal Interaction in Scalable Visual Digital Evidence Visualization Using Computer Vision Techniques and ISS
Forensic Lucid中的可视化要求与不同级别的案例知识抽象，表示，聚合以及操作方面有关，这是该提案的最终长期目标。它涵盖了从层次上下文的更精细的详细表示到Forensic Lucid程序，到记录的证据及其管理，它与程序的联系，评估以及GIPSY软件网络的管理。这包括在这些视图之间任意切换的能力，以及可用的多模式交互。目的是确定如何将调查结果应用于法医清醒和调查案件管理。因此，我们提出了一个可扩展的管理，可视化，并使用改进的交互式三维文件系统-无限空间系统-（ISS）的数字证据的评估表示，语义链接，并向数字调查者提供可使用的界面，该界面可通过使用包括手势以及眼睛注视和音频的计算机视觉技术的不同多模态交互技术来导航。
2018-08-01 cs.CR cs.CV cs.HC
Eye Disease Prediction using Ensemble Learning and Attention on OCT Scans
Dr. Vishwanath Karad MIT WPU（维什瓦纳特·卡拉德博士马哈拉施特拉邦理工学院（MIT WPU））
提出一种基于OCT图像的端到端眼病预测Web应用，采用自定义UNet分割结合InceptionV3和Xception集成模型及自注意力机制，实现对CNV、DME和Drusen等眼病的准确分类。
2023-11-26 cs.CV cs.LG eess.IV
Privacy Preserving Gaze Estimation using Synthetic Images via a Randomized Encoding Based Framework
University of Tübingen（图宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
眼动追踪是评估和评估人类注意力、行为和生物特征的应用的关键技术之一，特别是使用凝视、瞳孔和眨眼行为。然而，关于眼动追踪技术的社会接受度的挑战之一是敏感和个人信息的保存。为了解决这个问题，我们采用了一个隐私保护框架的基础上随机编码训练支持向量回归模型使用合成的眼睛图像私人估计人类的目光。在计算过程中，任何一方都不知道其他任何一方拥有的数据或结果。此外，训练模型的一方不能重建瞳孔、眨眼或视觉扫描路径。实验结果表明，我们的隐私保护框架是能够在实时工作，具有相同的精度相比，非私人版本，并可以扩展到其他眼动追踪相关的问题。
2021-07-13 cs.CR cs.CV cs.HC
