Exploiting EEG Signals for Eye Motion Tracking
人类眼动追踪设备可以帮助研究人类处理视觉信息的原理。凝视期间的注意力焦点移动可以用于人类的行为分析。在这项工作中，我们描述了我们的实验系统，我们设计的同步记录脑电图信号，事件的外部测试和凝视方向。作为外部测试，我们使用虚拟认知测试。我们研究了利用脑电信号进行眼动跟踪的可能性。我们的实验系统是设计一个自动眼动追踪系统的第一步，也可以作为教学学生的实验设备。
2022-01-04 cs.HC eess.SP
CMCRD: Cross-Modal Contrastive Representation Distillation for Emotion Recognition
Key Laboratory of Image Processing and Intelligent Control, Ministry of Education, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（图像处理与智能控制重点实验室、教育部、自动化学院、华中科技大学）；Wuhan Institute of Digital Engineering（武汉数字工程研究所）；Shanghai Jiao Tong University（上海交通大学）
CMCRD通过跨模态对比表示蒸馏提升情绪识别准确性，减少多模态数据需求，实验表明在EEG和眼动数据间相互辅助训练可提高分类准确率约6.2%。
2025-04-12 cs.HC cs.LG
Gaze Prediction as a Function of Eye Movement Type and Individual Differences
Texas State University（德克萨斯州立大学）
本研究分析了注视预测中的个体差异，评估了LSTM、TST和OPKF三种模型在不同眼动类型上的表现，发现注视噪声和扫视高速度会降低预测性能，建议未来研究关注被试间差异并优化模型以减少该差异。
2025-01-28 cs.HC cs.LG
Reworked Second Order Blind Identification and Support Vector Machine technique towards imagery movement identification from EEG signals
在图像运动任务期间，所谓的mu和beta事件相关的去同步化（ERD）和同步化（ERS）正在发生，从而允许我们确定人类患者的图像运动。然而，脑电图（EEG）信号的初始记录包含系统和环境噪声以及干扰，为了将ERS/ERD事件与信号的其余部分分离，必须将干扰排除。提出了一种基于改进的二阶盲识别（SOBI）算法的图像运动分类方法，并利用支持向量机（SVM）技术实现了图像运动分类。
2018-05-23 cs.HC
Implicit Search Intent Recognition using EEG and Eye Tracking: Novel Dataset and Cross-User Prediction
DFKI（德累斯顿夫琅和斐研究所）；Saarland Informatics Campus（萨尔州信息技术校区）
本研究提出首个由用户决定搜索时间的EEG与眼动追踪数据集，并实现跨用户搜索意图预测，留一用户评估准确率达84.5%，接近用户内预测（85.5%）且更具灵活性。
2025-08-03 cs.CV cs.HC
Your Eyes Say You're Lying: An Eye Movement Pattern Analysis for Face Familiarity and Deceptive Cognition
眼动模式反映了人类潜在的内部认知活动。我们的目的是发现在不同的认知信息隐藏的人脸识别过程中的眼动模式。这些认知包括面孔的熟悉程度和欺骗与否，即在看到熟悉面孔和不熟悉面孔时说真话和在熟悉面孔面前欺骗。我们应用隐马尔可夫模型与高斯发射概括区域和轨迹的眼睛注视点在上述三个条件下。我们的研究结果表明，无论是眼动模式和眼睛注视区域变得显着不同，在欺骗与说实话相比。我们展示了使用眼动模式检测欺骗和进一步认知活动分类的可行性。
2018-11-08 cs.HC
Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出多模态保相似性对比学习（MUSE）框架，通过定制多元时间序列编码器和正则化对比EEG-Image预训练，解决零样本EEG图像分类问题，在200路分类中达到SOTA，并揭示了人脑视觉处理动态。
2024-06-05 cs.AI cs.HC cs.LG
TinyCNNDeep: Lightweight Attention-Based CNN for EEG Classification of Eye States and Sleep Deprivation
HAI-Smartlink Research Lab, Anchi STE Company（HAI-Smartlink 研究实验室，Anchi STE 公司）；HUTECH Institute of Engineering, HUTECH University（胡志明市科技大学工程学院，胡志明市科技大学）；Institute of Intelligent & Interactive Technologies - University of Economics Ho Chi Minh City (UEH)（胡志明市经济大学智能与交互技术研究所）；School of Mechanical Engineering, Vietnam Maritime University（越南海事大学机械工程学院）
针对睡眠剥夺与眼状态联合分类问题，提出轻量级CNN模型TinyCNNDeep，结合残差学习和SE注意力模块，将多通道EEG转换为图像，在35名受试者数据上达到83.69%准确率，远超基线方法。
2026-06-26 cs.HC
From Word Embedding to Reading Embedding Using Large Language Model, EEG and Eye-tracking
本研究针对学习者阅读理解能力不足的问题，提出结合LLMs、EEG和眼动追踪的词级阅读嵌入预测方法，验证了LLM引导的阅读嵌入有效性，为阅读辅助工具开发奠定基础。
2024-01-28 cs.HC
Gender and Emotion Recognition from Implicit User Behavior Signals
本工作探讨了内隐行为线索的效用，即，脑电图（EEG）信号和眼动的性别识别（GR）和情绪识别（ER）从心理物理行为。具体而言，通过低成本的现成传感器获取所检查的线索。28名用户（14名男性）从未遮挡（无面具）和部分遮挡（眼睛或嘴巴被掩盖）的情绪面部识别情绪;他们的EEG反应包含性别特异性差异，而他们的眼球运动是感知面部情绪的特征。实验结果表明，（a）可靠的GR和ER是可实现的EEG和眼睛的功能，（b）观察到的负面情绪的差异认知处理的女性和（c）眼睛凝视的性别差异下表现出部分面部遮挡，如眼睛和嘴面具条件下的代表。
2020-06-23 cs.HC
Demonstrating Eye Movement Biometrics in Virtual Reality
得益于Vive Pro Eye等新兴消费设备中嵌入的眼动追踪传感器，我们证明了通过眼动生物识别技术提供用户身份验证是可行的。
2022-07-05 cs.HC
Improving Intention Detection in Single-Trial Classification through Fusion of EEG and Eye-tracker Data
意图解码是免提人机交互（HCI）中必不可少的过程。传统的眼动跟踪系统使用单一模型的注视持续时间可能会发出命令，忽略用户的真实期望。本文提出了一种眼-脑混合脑机接口（brain-computer interface，BCI）交互系统，通过融合多模态眼轨迹和ERP（一种来自EEG的测量值）特征来进行意图检测。眼轨迹和脑电图数据记录从64名健康的参与者，因为他们进行了40分钟的定制自由搜索任务的固定目标图标中的25个图标。提取相应的眼动注视时间和ERP。采用5种已验证的LDA分类器（包括RLDA、SWLDA、BLDA、SKLDA和STDA）和广泛使用的CNN方法，从离线和伪在线分析两个方面验证特征融合的有效性，并通过调整训练集和系统响应时间来评估最佳方法。我们的研究表明，在主动搜索任务的单次尝试分类中，多通道眼轨迹和ERP特征的输入获得了更好的意图检测性能。与单模型ERP特征相比，该策略还能在不同分类器之间获得一致的分类准确率。此外，通过与其他分类方法的比较，我们发现SKLDA在离线测试（ACC=0.8783，AUC=0.9004）和不同样本量和持续时间的在线模拟中融合特征时表现出了更好的性能。综上所述，本研究揭示了一种新颖有效的基于眼-脑混合BCI的意图分类方法，并进一步支持了免提HCI在现实生活中更精确、更稳定的应用。
2021-12-05 cs.HC eess.SP
EveLoad: Cognitive Workload Recognition from Event-Based Eye Movements
Leiden Institute of Advanced Computer Science (LIACS), Leiden University（莱顿大学莱顿高级计算机科学研究所（LIACS））
提出首个基于事件相机的眼动数据集EveLoad，通过N-back引导注视范式收集20名受试者的六等级认知负荷数据，并建立基准，利用时空事件编码框架实现96.36%的个体识别准确率。
2026-06-25 cs.HC cs.LG
Electroencephalography (EEG), electromyography (EMG) and eye-tracking for astronaut training and space exploration
将人类送回月球和火星的持续推动正在产生一系列新颖的技术解决方案，以支持未来的宇航员探险。在这种背景下，欧洲航天局（ESA）最近启动了一项关于不引人注目的接口技术的调查，作为应对这些挑战的潜在答案。在这方面，三种特定的技术已经显示出前景：基于EEG的脑机接口（BCI）提供了利用用户大脑的记录的电活动的非侵入性方法，肌电图（EMG）使得能够监测由用户的肌肉收缩生成的电信号，并且最后，眼动追踪使得能够例如经由相机记录来跟踪用户的注视方向以传达命令。除了简单地提高前瞻性技术解决方案的可用性之外，我们的研究结果表明，EMG、EEG和眼动追踪还可以用于监测和评估各种认知状态，包括用户的注意力、认知负荷和精神疲劳，而EMG还可以用于监测用户的身体状态。我们详细阐述了这三种使能技术的主要优势和挑战，并根据欧空局的最新发现，我们反思了它们在载人航天飞行背景下的适用性。此外，还提供了技术准备就绪的时间轴。这样做，这篇送纸机构将为日益增长的关于新兴技术及其在为人类重返月球和地球轨道以外的探险铺平道路方面的作用的讨论提供素材。
2022-09-27 cs.HC
Eye movement velocity and gaze data generator for evaluation, robustness testing and assess of eye tracking software and visualization tools
眼球运动包含了关于人类感知、意图和认知状态的信息。我们提出了一种新的眼动模拟器，i）概率性地模拟扫视运动的伽马分布，考虑不同的峰值速度和ii）模型与S形函数平滑的追求开始。此外，它能够使用显着图或真实固定目标为静态和动态场景生成速度和二维凝视序列。我们的方法也能够模拟任何采样率，即使有波动。对公开的注释数据的模拟进行评估。该模拟器可以在EyeTrace中使用或在http://ti.unituebingen下载。de/Projekte.1801.0.html。
2018-09-10 cs.HC
DiffEyeSyn: Diffusion-based User-specific Eye Movement Synthesis
针对现有眼动建模忽略高频用户特定细微动作的问题，提出基于条件扩散的DiffEyeSyn方法，通过注入用户特定噪声、结合用户身份引导损失合成个性化眼动，效果优于基线，可支撑多类下游任务。
2025-05-20 cs.HC
EMMT: A simultaneous eye-tracking, 4-electrode EEG and audio corpus for multi-modal reading and translation scenarios
Charles University（查理大学）
我们提出了眼动多模态翻译（EMMT）语料库，一个数据集包含单眼眼动记录，音频和4电极脑电图（EEG）数据的43名参与者。我们的目标是收集认知信号的参与者从事一些语言密集型任务，涉及不同的文本图像刺激设置时，从英语翻译到捷克语的反应。每个参与者被暴露于32个文本-图像刺激对，并被要求（1）阅读英语句子，（2）将其翻译成捷克语，（3）查阅图像，（4）再次翻译，更新或重复先前的翻译。文本刺激包括200个独特的句子，616个独特的单词，加上200个独特的图像作为视觉刺激。这些录音是在两周内收集的，所有参与研究的人都是捷克本地人，英语水平很高。由于研究中涉及的任务的性质和参与者的数量相对较大，语料库非常适合翻译过程研究，认知科学等学科的研究。
2022-04-06 cs.CL cs.HC
Motor imagery classification using EEG spectrograms
University of Engineering and Technology, Taxila（塔克西拉工程技术大学）；Children’s National Hospital（国家儿童医院）；Sheikh Zayed Institute for Pediatric Surgical Innovation（谢赫·扎耶德儿科外科创新研究所）；George Washington University（乔治华盛顿大学）
脊髓损伤导致的肢体运动丧失是一种残疾，可能会影响人们进行日常活动。肢体运动的恢复将使脊髓损伤的人能够更自然地与他们的环境互动，这就是脑机接口（BCI）系统的好处。肢体运动想象（MI）的检测对于这样的BCI可能是重要的，其中检测到的MI可以指导计算机系统。通过脑电图（EEG）使用MI检测，我们可以识别用户对运动的想象，并将其转化为物理运动。在本文中，我们利用预训练的深度学习（DL）算法对想象的上肢运动进行分类。我们使用一个公开的EEG数据集，数据代表七类肢体运动。我们计算时间序列EEG信号的频谱图，并将其作为MI分类的DL模型的输入。我们使用预训练的DL算法和频谱图对上肢运动进行分类的新方法在七个运动类别中取得了显着改善的结果。与最近提出的最先进的方法相比，我们的算法实现了显着的平均准确率为84.9%的分类七个动作。
2022-11-15 cs.HC cs.LG eess.SP
Evaluating Eye Movement Biometrics in Virtual Reality: A Comparative Analysis of VR Headset and High-End Eye-Tracker Collected Dataset
本研究对比支持眼动追踪的VR头显数据集GazeBaseVR与下采样的高端眼动仪数据集GazeBase的眼动生物特征识别性能，验证了VR头显采集眼动数据用于身份认证的可行性。
2024-05-06 cs.HC
Deep Eyedentification: Biometric Identification using Micro-Movements of the Eye
University of Potsdam（波茨坦大学）
我们研究眼睛的无意识微运动用于生物识别。虽然先前的研究从基于视频的眼动跟踪系统的输出中提取低频宏观运动，并设计这些宏观运动的显式特征，但我们开发了一种处理原始眼动跟踪信号的深度卷积架构。与以前的工作相比，该网络的出错率降低了一个数量级，速度提高了两个数量级：它在几秒钟内准确地识别用户。
2020-05-05 cs.CL cs.CV cs.HC
Analysis of EEG signal by Flicker Noise Spectroscopy: Identification of right/left hand movement imagination
闪烁噪声谱（FNS）已被用于分析与运动想象有关的脑电信号。时频图中感觉运动节律的分析揭示了事件相关去同步化（ERD）和运动后事件相关同步化（ERS），主要在运动想象的手移动的对侧半球观察到。根据FNS方法对信号进行了参数化。当受试者想象运动时，FNS参数的显著变化已经被观察到。这些参数的分析允许区分右手和左手运动的想象。我们的研究表明，闪烁噪声频谱可以作为一种替代的方法来分析脑电信号的想象运动的潜在应用在脑机接口（BCI）。
2014-10-14 cs.HC physics.med-ph q-bio.NC
Efficient Video Summarization Framework using EEG and Eye-tracking Signals
Indian Institute of Technology, Delhi（印度理工学院德里分校）
本文提出了一种有效的视频摘要框架，将整个视频的要点，在几个关键帧或视频略读。现有的视频摘要框架基于利用计算机视觉低级特征提取或高级域级提取的算法。然而，作为总结视频的最终用户，人类仍然是最被忽视的方面。因此，本文考虑了人类在摘要中的作用，并引入了基于人类视觉注意力的摘要技术。为了了解人类的注意力行为，我们设计并进行了实验与人类参与者使用脑电图（EEG）和眼动追踪技术。从实验中获得的EEG和眼动追踪数据被同时处理，并用于从相当大的视频量中分割包含有用信息的帧。因此，帧分割主要依赖于人类的认知判断。使用我们的方法，视频总结了96.5%，同时保持更高的准确率和高召回率。与国家的最先进的技术的比较表明，所提出的方法产生天花板级的性能，降低计算成本，总结的视频。
2021-01-27 cs.CV cs.HC cs.NE
Individual Topology Structure of Eye Movement Trajectories
Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
针对传统眼动模式提取依赖宏观事件统计、受参数和定义差异影响的问题，提出基于代数拓扑的多尺度统一新特征，在人物认证任务中展现出竞争力及与传统特征的协同效应。
2022-07-23 cs.CV cs.HC cs.LG
NeuroGaze: A Hybrid EEG and Eye-Tracking Brain-Computer Interface for Hands-Free Interaction in Virtual Reality
本研究提出NeuroGaze，一种结合脑电图与眼动追踪的混合脑机接口，用于VR免手动交互。实验表明其错误率更低但速度较慢，验证了可行性并凸显人体工程学优势与包容性潜力。
2025-09-09 cs.HC
Addressing the eye-fixation problem in gaze tracking for human computer interface using the Vestibulo-ocular Reflex
一个自定义的头戴式系统来跟踪平滑的眼睛运动的鼠标光标的控制实现和评估。该系统包括头戴式红外摄像机、红外光源和计算机。在Microsoft Visual Studio、OpenCV和Pupil中实现的基于软件的图像处理技术近实时地检测瞳孔位置和瞳孔移动的方向。所识别的方向用于确定光标的期望定位，并且光标朝向目标移动。两个用户参与了三个测试，以量化由前庭眼反射引起的平滑眼球运动的增量跟踪与扫视眼球运动的阶跃变化跟踪之间的差异。跟踪平稳的眼球运动比跟踪扫视眼球运动准确四倍，平均位置分辨率为距离目标0.80厘米。相比之下，跟踪扫视眼球运动测量的平均位置分辨率为3.21厘米。使用平滑眼球运动的增量跟踪，用户能够在90%的时间内将光标放置在小至9 x 9像素正方形的目标内。然而，当使用扫视眼球运动的阶跃变化跟踪时，用户无法将光标定位在9 X 9像素目标内。平滑眼球运动的增量跟踪跟踪到目标的平均时间为6.45 s，而扫视眼球运动的阶跃变化跟踪的平均时间为2.61 s。
2020-11-24 cs.HC
EEG-based AI-BCI Wheelchair Advancement: Transformer-Based Learning with Motor Imagery for Brain Computer Interface
Department of Computer Science and Engineering, Kathmandu University（加德满都大学计算机科学与工程系）；Department of Electronics and Communication Engineering, Nepal Engineering College, Pokhara University（博卡拉大学尼泊尔工程学院电子与通信工程系）；Department of Applied Sciences and Chemical Engineering, Institute of Engineering, Pulchowk Campus, Tribhuvan University（特里布万大学工程学院普尔乔克校区应用科学与化学工程系）
本文提出一种结合运动想象左右手运动机制的AI集成方法，利用EEG数据模拟轮椅导航，采用CNN-Transformer混合模型实现高准确率的EEG分类。
2026-07-17 cs.AI cs.HC cs.LG
PrivacEye: Privacy-Preserving Head-Mounted Eye Tracking Using Egocentric Scene Image and Eye Movement Features
诸如增强现实显示器之类的眼镜设备越来越多地集成了眼动追踪，但是将用户的注视映射到视觉场景所需的第一人称相机可能对用户和旁观者的隐私构成重大威胁。我们提出了PrivacEye，一种检测隐私敏感的日常情况的方法，并使用机械快门自动启用和禁用眼动仪的第一人称相机。为了在隐私敏感的情况下关闭快门，该方法使用第一人称视频的深度表示，并结合对用户眼球运动进行编码的丰富特征。为了在没有视觉输入的情况下打开快门，PrivacEye仅检测用户眼球运动的变化，以衡量当前情况的“隐私级别”的变化。我们评估我们的方法在第一人称视频数据集记录在日常生活中的情况下的17名参与者，由自己的隐私敏感性注释，并表明我们的方法是有效的，在这个具有挑战性的设置保护隐私。
2019-05-24 cs.HC
Exploring EEG and Eye Movement Fusion for Multi-Class Target RSVP-BCI
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）
本文提出MTREE-Net，通过融合EEG和眼动数据提升多类RSVP-BCI的解码性能。
2025-01-07 cs.HC
Detecting Reading-Induced Confusion Using EEG and Eye Tracking
University of California, Berkeley（加州大学伯克利分校）；MIT Media Lab（MIT媒体实验室）；Princeton University（普林斯顿大学）
本研究通过脑电图（EEG）和眼动追踪多模态技术，结合N400神经标记物与行为标记物分析阅读诱发的困惑，多模态模型分类准确率较单模态提高4-22%，为自适应系统及脑机接口应用奠定基础。
2025-08-20 cs.AI cs.HC
Classification of Upper Arm Movements from EEG signals using Machine Learning with ICA Analysis
MNIT（马尔维亚国家理工学院）
脑-机接口系统是运动活动实验的一个正在深入发展的领域，它对认知活动的解码起着至关重要的作用。从脑电信号中对认知运动想象活动进行分类是一项重要的任务。提出了一种利用多层感知器神经网络对左右手动作进行分类的算法。手工统计时域和功率谱密度频域特征提取，并获得了96.02%的综合准确率。结果与深度学习框架进行了比较。除了准确性，精度，F1分数和召回被认为是性能指标。多余信号的干扰会污染脑电信号，影响算法的性能。因此，提出了一种新的方法来消除使用独立分量分析，提高了性能的文物。在选择提供可接受精度的适当特征向量之后。对所有9名受试者使用了相同的方法。结果，9例受试者的受试者内准确度为94.72%。实验结果表明，该方法能够对上肢运动进行准确分类。
2021-07-18 cs.HC cs.LG eess.SP
GazeBase: A Large-Scale, Multi-Stimulus, Longitudinal Eye Movement Dataset
这份手稿介绍了GazeBase，这是一个大规模的纵向数据集，包含从322名大学年龄的受试者中捕获的12，334个单眼眼动记录。受试者在每轮记录期间在两个连续的会话中完成一组七个任务，包括1）注视任务，2）水平扫视任务，3）随机倾斜扫视任务，4）阅读任务，5/6）自由观看电影视频任务，以及7）凝视驱动的游戏任务。在37个月的时间里，共进行了9轮记录，随后每轮的受试者都是从前一轮中招募的。所有数据均使用EyeLink 1,000眼动仪以1，000 Hz采样率采集，并在每次任务前执行校准和验证方案，以确保数据质量。由于其大量的受试者和纵向性质，GazeBase非常适合探索眼动生物特征的研究假设，以及其他新兴的应用机器学习技术进行眼动信号分析。
2020-09-17 cs.HC
SacCalib: Reducing Calibration Distortion for Stationary Eye Trackers Using Saccadic Eye Movements
最近的方法来自动校准固定眼动仪被证明可以有效地减少固有的校准失真。但是，这些方法需要额外的信息，如鼠标点击或屏幕上的内容。我们提出了第一种方法，只需要用户的眼球运动，以减少在背景中的校准失真，而用户自然地看界面。我们的方法利用校准失真使直线扫视轨迹在扫视起点和终点之间出现弯曲。我们表明，这种弯曲的效果是系统的和扭曲的凝视投影平面的结果。为了减轻校准失真，我们的方法undistorts这个平面拉直眼跳轨迹使用图像扭曲。我们表明，这种方法改善了常见的六点校准，并有希望减少失真。因此，它提供了一种非侵入性的解决方案，以缓解眼动仪在长期使用期间的准确性下降。
2019-03-10 cs.HC
The Detection of Saccadic Eye Movements and Per-Eye Comparisons using Virtual Reality Eye Tracking Devices
Western University（西安大略大学）
本研究利用VR头显眼动仪在60或90Hz频率下构建原型软件，以检测扫视眼动并分析双眼差异，为神经科学及神经退行性疾病筛查提供新颖工具。
2025-03-11 cs.CV cs.HC
Aligning the Incomplete: Joint Distribution Calibration for Multimodal EEG-Eye Emotion Recognition
针对跨受试者多模态情绪识别中脑电与眼动数据不对称分布崩溃问题，提出GUARD方法，通过梯度加权锚定、感知损失生成和循环一致流实现联合分布校准，显著优于现有方法。
2026-10-01 cs.HC
IDEAL: A Multimodal Domain Adaptation Framework for EEG-Eye Emotion Recognition
South China University of Technology（华南理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of California at San Diego（加州大学圣地亚哥分校）
针对多模态域自适应中数据级差异被忽视的问题，提出IDEAL框架，结合实例级课程扩展与分层对抗对齐，在四个基准数据集上显著优于现有方法。
2026-10-01 cs.HC
Assessing the Privacy Risk of Cross-Platform Identity Linkage using Eye Movement Biometrics
本研究实证评估了眼动生物特征模型在三种不同眼动追踪设备间关联用户身份的能力，发现最先进模型在一对设备间表现出高于随机水平的识别性能，揭示了跨平台身份关联的隐私风险。
2024-02-13 cs.HC
Deep learning-based classification of fine hand movements from low frequency EEG
University of Padova（帕多瓦大学）；Graz University of Technology（格拉茨技术大学）；National Center of Neurology and Psychiatry（国立精神神经医疗研究中心）
从EEG信号对不同精细手部运动的分类代表了相关的研究挑战，例如，用于运动康复的脑机接口应用。在这里，我们分析了两个不同的数据集，其中精细的手部运动（触摸，抓握，手掌和侧面抓握）在一个自定步调的方式进行。我们训练和测试了一个新提出的卷积神经网络（CNN），并将其分类性能与两个成熟的机器学习模型（即收缩LDA和随机森林）进行了比较。与以前的文献相比，我们利用了神经科学领域的知识，我们在所谓的运动相关皮层电位（MRCP）上训练了我们的CNN模型。它们是低频的EEG振幅调制，即，(0.3，3）Hz，其已经被证明对运动的若干属性进行编码，例如，抓握类型、力度和速度。我们发现，CNN在两个数据集中都取得了良好的性能，它们与基线模型相似或优于基线模型。此外，与基线相比，我们的CNN需要更轻、更快的预处理过程，为在线模式的可能使用铺平了道路，例如，用于许多脑机接口应用。
2020-11-26 cs.AI cs.HC cs.LG
Easy-setup eye movement recording system for human-computer interaction
College of Technology, Vietnam National University（越南国立大学技术学院）
基于人机交互（HCI）的人眼运动跟踪有望产生自然和方便的应用。为了实现有效的眼动跟踪系统，必须在不对用户的行为或用户不适施加任何限制的情况下记录眼动。本文介绍了一种眼动记录系统，提供自由头，简单的配置。它不需要使用者在头上戴任何东西，并且她可以自由地移动她的头。该系统不使用计算机，而是使用视觉数字信号处理器（DSP）摄像头来检测眼角的位置，瞳孔的中心，然后计算眼球运动。评价试验表明，该系统的采样率可达300 Hz，精度约为1.8度/s。
2016-11-28 cs.CV cs.HC
WigglyEyes: Inferring Eye Movements from Keypress Data
本文提出WigglyEyes模型，仅利用按键日志并结合用户低维个体参数与同步损失函数，逐时刻推断用户眼动扫描路径，在触摸屏打字任务中实现准确注视估计。
2025-07-23 cs.HC
BiCurNet: Pre-Movement EEG based Neural Decoder for Biceps Curl Trajectory Estimation
本文提出BiCurNet，一种基于运动前EEG信号的轻量级深度学习模型，用于早期估计肱二头肌弯举轨迹，结合空间与谐波域特征在delta频段达到0.7的PCC，并验证了其鲁棒性。
2023-10-26 cs.HC eess.SP
Escaping the Filter Bubble: Evaluating Electroencephalographic Theta Band Synchronization as Indicator for Selective Exposure in Online News Reading
GESIS Leibniz Institute for the Social Sciences（GESIS莱布尼茨社会科学研究所）；LMU Munich（慕尼黑大学）；HU Berlin（柏林洪堡大学）
通过脑电图和眼动追踪评估在线新闻阅读中的选择性暴露，以提供更平衡的信息推荐
2026-01-05 cs.HC
Eye Movements Biometrics: A Bibliometric Analysis from 2004 to 2019
Instituto Federal do Espírito Santo（圣埃斯皮里图联邦学院）
基于眼动的身份识别技术由于具有抗欺骗性和可用于连续身份认证等优点而受到越来越多的关注。因此，值得注意的是，研究人员要知道谁和什么是相关的领域，包括作者，期刊，会议和机构。本文采用文献计量学方法对眼动生物识别领域进行了全面的定量概述。所有数据和分析均基于2004年至2019年期间发表的英文文件。Scopus用于执行信息检索。该研究主要关注时间演变、主要作者、最多被引用论文、主要期刊、竞争和合作网络。
2020-06-01 cs.CV cs.DL cs.HC
Decoding Continual Muscle Movements Related to Complex Hand Grasping from EEG Signals
脑机接口（Brain-computer interface，BCI）是一种从脑电信号中解码运动执行（motor execution，ME）或运动想象（motor imagination，MI）来解释用户意图的实用途径。然而，开发由ME或MI驱动的BCI系统是具有挑战性的，特别是在包含连续和复合肌肉运动的情况下。本研究分析了ME和MI范式下的三种抓握动作。我们还研究了离线和伪在线实验中的分类性能。我们提出了一种新的方法，使用肌肉活动模式（MAP）图像的卷积神经网络（CNN），以提高分类精度。我们同时记录EEG和肌电图（EMG）信号，并通过解码这两个信号来创建MAP图像，以估计特定的手抓握。结果，我们获得了ME的平均分类准确率为63.6（$\pm$ 6.7）%，MI的平均分类准确率为45.8（$\pm$ 4.4）%。此外，我们进行了伪在线实验，并获得了60.5（$\pm$ 8.4）%，在ME和42.7（$\pm$ 6.8）%，在MI的分类准确率。所提出的方法MAP-CNN即使在伪在线实验中也表现出稳定的分类性能。我们希望MAP-CNN在未来可以用于各种BCI应用。
2021-12-15 cs.HC
Decoding Imagined Handwriting from EEG
针对无实际运动且运动起始未知的真实场景，本文利用运动想象从EEG解码完全想象的手写，分析混杂因素与样本复杂度，并证明其可获得高于随机水平的解码性能。
2025-03-14 cs.HC
A Mechanistic Transform Model for Synthesizing Eye Movement Data with Improved Realism
本研究提出一种眼动信号合成降级的机制变换模型，通过空间与时间精度降级机制、百分位匹配技术提升信号真实度，实验验证其分类准确率指标较基准提升35.7%，并提出通用的真实度评估流程。
2023-06-14 cs.HC
Parallel Oculomotor Plant Mathematical Model for Large Scale Eye Movement Simulation
眼动追踪传感器的使用预计将在虚拟（VR）和增强现实（AR）平台中增长。假设这些平台的用户同意采用捕获的眼动信号进行认证和健康评估，则实时的估计眼动植物和脑功能特性变得重要。本文展示了一条通往这一目标的道路，提出了一个并行处理架构，能够估计眼科植物的特点，并比较其性能的单线程实现。结果表明，并行实现提高了速度，准确性和吞吐量的oculumentplant特性估计与原来的串行版本的大规模和实时仿真。
2020-07-20 cs.HC
An Assessment of the Eye Tracking Signal Quality Captured in the HoloLens 2
我们对HoloLens 2s集成眼动仪的眼动追踪信号质量进行了分析。从随机扫视任务期间捕获的眼动数据中测量信号质量，所述眼动数据来自从30名健康成年人收集的新的眼动数据集。我们在空间精度、空间精度、时间精度、线性度和串扰方面表征了设备的眼动追踪信号质量。最值得注意的是，我们对空间准确性的评估显示，我们数据集中的眼动数据似乎未经校准。使用我们的数据集任务的子集重新校准数据会产生明显更好的眼动追踪信号质量。
2022-05-24 cs.HC
Human-Centered Multimodal Fusion for Sexism Detection in Memes with Eye-Tracking, Heart Rate, and EEG Signals
PRHLT Research Center, Universitat Politècnica de València (UPV)（PRHLT研究中心，巴伦西亚理工大学）；ValgrAI – Valencian Graduate School and Research Network of Artificial Intelligence（ValgrAI-瓦伦西亚人工智能研究生学院与研究网络）
本文提出了一种结合眼动追踪、心率和EEG信号的多模态融合模型，用于更准确地检测表情包中的性别歧视。
2026-02-27 cs.HC
Advanced Gaze Analytics Dashboard
本文提出一种眼动分析仪表板，利用现成眼动仪实时可视化环境-焦点注意、认知负荷和注视转换等高级指标，并在两个公开数据集上验证其多源数据支持能力。
2024-09-10 cs.HC
Upper Limb Movement Execution Classification using Electroencephalography for Brain Computer Interface
本研究利用预训练深度学习模型对EEG频谱图进行分类，实现了四类上肢运动执行的高精度解码，平均准确率达87.36%，为脑机接口辅助神经肌肉疾病患者提供了有效方法。
2023-04-01 cs.HC eess.SP
Relationship between Perceived Maneuverability and Involuntary Eye Movements under Systematically Varied Time Constants of Ride-on Machinery
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Ibaraki University（茨城大学）
本研究探讨了在系统变化的骑行机械时间常数下，操控性感知与无意识眼运动准确性之间的关系，发现操控性评分与眼运动准确性呈正相关，而认知负荷呈负相关。
2025-07-27 cs.HC q-bio.NC
A Study on the Extraction and Analysis of a Large Set of Eye Movement Features during Reading
Texas State University（德克萨斯州立大学）
本工作提出了一个研究的101类眼动特征的提取和分析，从三种类型的眼动事件：固定，扫视，和后扫视振荡。在阅读任务中记录眼动。对于记录中具有多个实例的特征类别，我们通过计算这些实例分布的描述性统计量来提取相应的特征子类型。为特征集的提取提供了一个统一的详细描述和数学公式的框架。使用来自298名受试者的正常人群的眼动记录的大型数据库进行特征值的分析。我们展示了实验人群的特征值的集中趋势和总体变异性，更重要的是，我们量化了每个单独特征的重测信度（重复性）。所描述的方法和分析可以在探索眼睛运动的领域中提供有价值的工具，例如在行为研究、注意力和认知研究、医学研究、生物特征识别和人机交互中。
2017-03-27 cs.CV cs.HC q-bio.QM
A new approach for a safe car assistance system
瞌睡是司机在长途旅行时没有计划休息的状态，是严重高速公路事故背后的主要原因。因此，专家们声称，昏昏欲睡的状态很难被及早识别出来，以防止严重的事故，甚至可能导致道路死亡。在这项工作中，我们提出了一种新的基于生理信号和眨眼的困倦状态检测系统。一个实验已经被导向证明所提出的方法的效用。该系统使用智能摄像机拍摄驾驶员的面部图像并监督眨眼（打开和关闭）;此外，它还使用EPOC耳机来获取脑电图（EEG）信号。眼睛检测通过Viola和Jones技术、EEG来完成。最后，我们选择模糊逻辑技术对脑电信号进行分类，并对眨眼检测的结果进行分析。
2018-06-02 cs.HC eess.SP
Deep Learning of Movement Intent and Reaction Time for EEG-informed Adaptation of Rehabilitation Robots
Rutgers University（罗格斯大学）
越来越多的证据表明，适应是康复机器人促进运动学习的关键机制。然而，它通常是基于机器人衍生的运动学，这是一个相当主观的性能测量，特别是在存在感觉运动障碍。在这里，我们提出了一种深度卷积神经网络（CNN），它使用脑电图（EEG）作为两个运动学分量的客观测量，这两个运动学分量通常用于评估运动学习和适应：i）启动目标导向运动的意图，ii）该运动的反应时间（RT）。我们评估了我们的CNN从内部实验中获得的数据，其中13名受试者在平面上向四个方向移动康复机械臂，以响应视觉刺激。我们的CNN在意图（意图与无意图）和RT（慢与快）的二进制分类中分别实现了80.08%和79.82%的平均测试准确率。我们的研究结果表明，涉及不同类型的运动学习的个人运动组件可以预测从同步的EEG数据开始之前获得的运动。因此，我们的方法可以实时通知机器人适应，并有可能进一步提高执行康复任务的能力。
2020-02-18 cs.HC cs.NE cs.RO
