Ensemble Classifier for Eye State Classification using EEG Signals
Middle Technical University（中央技术大学）
在脑机接口（BCI）应用中，测量脑电波（例如，眼睛状态的EEG信号）的重要性和利用率的增长突出了对合适的分类方法的需要。在本文中，三个著名的分类方法（即支持向量机（SVM），隐马尔可夫映射（HMM）和径向基函数（RBF）的EEG的眼睛状态分类的比较。此外，建议的方法，是基于集成模型进行了测试。建议（集成系统）的方法的基础上的投票算法有两个内核：随机森林（RF）和Kstar分类方法。使用三个测量参数测试性能：准确度，平均绝对误差（MAE）和混淆矩阵。实验结果表明，该方法优于其他测试方法。例如，建议的方法的性能是97.27%的准确性和0.13 MAE。
2017-09-26 cs.AI cs.HC
A new approach for a safe car assistance system
瞌睡是司机在长途旅行时没有计划休息的状态，是严重高速公路事故背后的主要原因。因此，专家们声称，昏昏欲睡的状态很难被及早识别出来，以防止严重的事故，甚至可能导致道路死亡。在这项工作中，我们提出了一种新的基于生理信号和眨眼的困倦状态检测系统。一个实验已经被导向证明所提出的方法的效用。该系统使用智能摄像机拍摄驾驶员的面部图像并监督眨眼（打开和关闭）;此外，它还使用EPOC耳机来获取脑电图（EEG）信号。眼睛检测通过Viola和Jones技术、EEG来完成。最后，我们选择模糊逻辑技术对脑电信号进行分类，并对眨眼检测的结果进行分析。
2018-06-02 cs.HC eess.SP
Implicit Search Intent Recognition using EEG and Eye Tracking: Novel Dataset and Cross-User Prediction
DFKI（德累斯顿夫琅和斐研究所）；Saarland Informatics Campus（萨尔州信息技术校区）
本研究提出首个由用户决定搜索时间的EEG与眼动追踪数据集，并实现跨用户搜索意图预测，留一用户评估准确率达84.5%，接近用户内预测（85.5%）且更具灵活性。
2025-08-03 cs.CV cs.HC
Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出多模态保相似性对比学习（MUSE）框架，通过定制多元时间序列编码器和正则化对比EEG-Image预训练，解决零样本EEG图像分类问题，在200路分类中达到SOTA，并揭示了人脑视觉处理动态。
2024-06-05 cs.AI cs.HC cs.LG
TinyCNNDeep: Lightweight Attention-Based CNN for EEG Classification of Eye States and Sleep Deprivation
HAI-Smartlink Research Lab, Anchi STE Company（HAI-Smartlink 研究实验室，Anchi STE 公司）；HUTECH Institute of Engineering, HUTECH University（胡志明市科技大学工程学院，胡志明市科技大学）；Institute of Intelligent & Interactive Technologies - University of Economics Ho Chi Minh City (UEH)（胡志明市经济大学智能与交互技术研究所）；School of Mechanical Engineering, Vietnam Maritime University（越南海事大学机械工程学院）
针对睡眠剥夺与眼状态联合分类问题，提出轻量级CNN模型TinyCNNDeep，结合残差学习和SE注意力模块，将多通道EEG转换为图像，在35名受试者数据上达到83.69%准确率，远超基线方法。
2026-06-26 cs.HC
From Word Embedding to Reading Embedding Using Large Language Model, EEG and Eye-tracking
本研究针对学习者阅读理解能力不足的问题，提出结合LLMs、EEG和眼动追踪的词级阅读嵌入预测方法，验证了LLM引导的阅读嵌入有效性，为阅读辅助工具开发奠定基础。
2024-01-28 cs.HC
Gender and Emotion Recognition from Implicit User Behavior Signals
本工作探讨了内隐行为线索的效用，即，脑电图（EEG）信号和眼动的性别识别（GR）和情绪识别（ER）从心理物理行为。具体而言，通过低成本的现成传感器获取所检查的线索。28名用户（14名男性）从未遮挡（无面具）和部分遮挡（眼睛或嘴巴被掩盖）的情绪面部识别情绪;他们的EEG反应包含性别特异性差异，而他们的眼球运动是感知面部情绪的特征。实验结果表明，（a）可靠的GR和ER是可实现的EEG和眼睛的功能，（b）观察到的负面情绪的差异认知处理的女性和（c）眼睛凝视的性别差异下表现出部分面部遮挡，如眼睛和嘴面具条件下的代表。
2020-06-23 cs.HC
Electroencephalography (EEG), electromyography (EMG) and eye-tracking for astronaut training and space exploration
将人类送回月球和火星的持续推动正在产生一系列新颖的技术解决方案，以支持未来的宇航员探险。在这种背景下，欧洲航天局（ESA）最近启动了一项关于不引人注目的接口技术的调查，作为应对这些挑战的潜在答案。在这方面，三种特定的技术已经显示出前景：基于EEG的脑机接口（BCI）提供了利用用户大脑的记录的电活动的非侵入性方法，肌电图（EMG）使得能够监测由用户的肌肉收缩生成的电信号，并且最后，眼动追踪使得能够例如经由相机记录来跟踪用户的注视方向以传达命令。除了简单地提高前瞻性技术解决方案的可用性之外，我们的研究结果表明，EMG、EEG和眼动追踪还可以用于监测和评估各种认知状态，包括用户的注意力、认知负荷和精神疲劳，而EMG还可以用于监测用户的身体状态。我们详细阐述了这三种使能技术的主要优势和挑战，并根据欧空局的最新发现，我们反思了它们在载人航天飞行背景下的适用性。此外，还提供了技术准备就绪的时间轴。这样做，这篇送纸机构将为日益增长的关于新兴技术及其在为人类重返月球和地球轨道以外的探险铺平道路方面的作用的讨论提供素材。
2022-09-27 cs.HC
EMMT: A simultaneous eye-tracking, 4-electrode EEG and audio corpus for multi-modal reading and translation scenarios
Charles University（查理大学）
我们提出了眼动多模态翻译（EMMT）语料库，一个数据集包含单眼眼动记录，音频和4电极脑电图（EEG）数据的43名参与者。我们的目标是收集认知信号的参与者从事一些语言密集型任务，涉及不同的文本图像刺激设置时，从英语翻译到捷克语的反应。每个参与者被暴露于32个文本-图像刺激对，并被要求（1）阅读英语句子，（2）将其翻译成捷克语，（3）查阅图像，（4）再次翻译，更新或重复先前的翻译。文本刺激包括200个独特的句子，616个独特的单词，加上200个独特的图像作为视觉刺激。这些录音是在两周内收集的，所有参与研究的人都是捷克本地人，英语水平很高。由于研究中涉及的任务的性质和参与者的数量相对较大，语料库非常适合翻译过程研究，认知科学等学科的研究。
2022-04-06 cs.CL cs.HC
Efficient Video Summarization Framework using EEG and Eye-tracking Signals
Indian Institute of Technology, Delhi（印度理工学院德里分校）
本文提出了一种有效的视频摘要框架，将整个视频的要点，在几个关键帧或视频略读。现有的视频摘要框架基于利用计算机视觉低级特征提取或高级域级提取的算法。然而，作为总结视频的最终用户，人类仍然是最被忽视的方面。因此，本文考虑了人类在摘要中的作用，并引入了基于人类视觉注意力的摘要技术。为了了解人类的注意力行为，我们设计并进行了实验与人类参与者使用脑电图（EEG）和眼动追踪技术。从实验中获得的EEG和眼动追踪数据被同时处理，并用于从相当大的视频量中分割包含有用信息的帧。因此，帧分割主要依赖于人类的认知判断。使用我们的方法，视频总结了96.5%，同时保持更高的准确率和高召回率。与国家的最先进的技术的比较表明，所提出的方法产生天花板级的性能，降低计算成本，总结的视频。
2021-01-27 cs.CV cs.HC cs.NE
NeuroGaze: A Hybrid EEG and Eye-Tracking Brain-Computer Interface for Hands-Free Interaction in Virtual Reality
本研究提出NeuroGaze，一种结合脑电图与眼动追踪的混合脑机接口，用于VR免手动交互。实验表明其错误率更低但速度较慢，验证了可行性并凸显人体工程学优势与包容性潜力。
2025-09-09 cs.HC
Exploring EEG and Eye Movement Fusion for Multi-Class Target RSVP-BCI
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）
本文提出MTREE-Net，通过融合EEG和眼动数据提升多类RSVP-BCI的解码性能。
2025-01-07 cs.HC
Detecting Reading-Induced Confusion Using EEG and Eye Tracking
University of California, Berkeley（加州大学伯克利分校）；MIT Media Lab（MIT媒体实验室）；Princeton University（普林斯顿大学）
本研究通过脑电图（EEG）和眼动追踪多模态技术，结合N400神经标记物与行为标记物分析阅读诱发的困惑，多模态模型分类准确率较单模态提高4-22%，为自适应系统及脑机接口应用奠定基础。
2025-08-20 cs.AI cs.HC
Aligning the Incomplete: Joint Distribution Calibration for Multimodal EEG-Eye Emotion Recognition
针对跨受试者多模态情绪识别中脑电与眼动数据不对称分布崩溃问题，提出GUARD方法，通过梯度加权锚定、感知损失生成和循环一致流实现联合分布校准，显著优于现有方法。
2026-10-01 cs.HC
IDEAL: A Multimodal Domain Adaptation Framework for EEG-Eye Emotion Recognition
South China University of Technology（华南理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of California at San Diego（加州大学圣地亚哥分校）
针对多模态域自适应中数据级差异被忽视的问题，提出IDEAL框架，结合实例级课程扩展与分层对抗对齐，在四个基准数据集上显著优于现有方法。
2026-10-01 cs.HC
Escaping the Filter Bubble: Evaluating Electroencephalographic Theta Band Synchronization as Indicator for Selective Exposure in Online News Reading
GESIS Leibniz Institute for the Social Sciences（GESIS莱布尼茨社会科学研究所）；LMU Munich（慕尼黑大学）；HU Berlin（柏林洪堡大学）
通过脑电图和眼动追踪评估在线新闻阅读中的选择性暴露，以提供更平衡的信息推荐
2026-01-05 cs.HC
Eye-Tracking and BCI Integration for Assistive Communication in Locked-In Syndrome: Pilot Study with Healthy Participants
针对LIS向CLIS进展中眼动追踪失效、EEG-BCI延迟采用性能下降的问题，提出ET与P300 BCI实时融合框架，并经五名健康参与者验证可保持高准确率、改善沟通连续性。
2025-09-27 cs.HC eess.SP
Human-Centered Multimodal Fusion for Sexism Detection in Memes with Eye-Tracking, Heart Rate, and EEG Signals
PRHLT Research Center, Universitat Politècnica de València (UPV)（PRHLT研究中心，巴伦西亚理工大学）；ValgrAI – Valencian Graduate School and Research Network of Artificial Intelligence（ValgrAI-瓦伦西亚人工智能研究生学院与研究网络）
本文提出了一种结合眼动追踪、心率和EEG信号的多模态融合模型，用于更准确地检测表情包中的性别歧视。
2026-02-27 cs.HC
Distinguishing Target and Non-Target Fixations with EEG and Eye Tracking in Realistic Visual Scenes
Saarland University, DFKI（萨尔兰大学，德意志联邦研究院）；DFKI, Saarland University（德意志联邦研究院，萨尔兰大学）
本研究首次在真实场景中利用眼动和脑电特征区分目标与非目标注视，跨用户准确率达83.6%，显著优于基于扫视相关电位的先前方法。
2025-08-03 cs.CV cs.HC
CMCRD: Cross-Modal Contrastive Representation Distillation for Emotion Recognition
Key Laboratory of Image Processing and Intelligent Control, Ministry of Education, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（图像处理与智能控制重点实验室、教育部、自动化学院、华中科技大学）；Wuhan Institute of Digital Engineering（武汉数字工程研究所）；Shanghai Jiao Tong University（上海交通大学）
CMCRD通过跨模态对比表示蒸馏提升情绪识别准确性，减少多模态数据需求，实验表明在EEG和眼动数据间相互辅助训练可提高分类准确率约6.2%。
2025-04-12 cs.HC cs.LG
Discovering Gender Differences in Facial Emotion Recognition via Implicit Behavioral Cues
我们研究了以EEG脑信号和眼动形式存在的内隐行为线索在性别识别（GR）和情绪识别（ER）中的效用。具体而言，通过低成本的现成传感器获取所检查的线索。我们要求28名观众（14名女性）从未遮挡（无面具）以及部分遮挡（眼睛和嘴巴被掩盖）的情绪面部识别情绪。获得的实验结果表明，（a）可靠的GR和ER是可实现的EEG和眼睛的功能，（b）不同的认知处理，特别是对负面情绪的男性和女性观察和（c）这些认知差异的一些表现在部分面部遮挡下，由眼睛和嘴面具条件为代表。
2017-08-29 cs.HC
Utilizing Cognitive Signals Generated during Human Reading to Enhance Keyphrase Extraction from Microblogs
研究利用脑电图（EEG）和眼动追踪信号增强微博关键词抽取（AKE），发现EEG特征带来最大性能提升，两种信号部分互补但存在冗余。
2026-06-26 cs.CL cs.DL cs.HC
EEG and Eye-Tracking Evidence That AI Disclosure Shapes Face Evaluation
LMU Munich（慕尼黑大学）；HU Berlin（柏林洪堡大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Utrecht University（乌得勒支大学）；MDx（MDx公司）
本研究通过ERP和眼动实验，发现AI披露标签影响人脸评价，标签冲突引发重新评估，为披露设计提供神经科学证据。
2026-10-08 cs.AI cs.HC
Enhancing Eye-Tracking Performance through Multi-Task Learning Transformer
本文提出一种无监督EEG信号重建子模块，通过多任务学习框架与编码器-分类器模型集成，在保持端到端训练的同时增强特征表示能力，将眼动追踪RMSE降至54.1mm。
2024-08-11 cs.HC
Electrode Clustering and Bandpass Analysis of EEG Data for Gaze Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
在这项研究中，我们验证了以前发表的论文的研究结果，显示了基于脑电图（EEG）的凝视估计的可行性。此外，我们扩展了以前的研究，证明模型性能只有轻微的下降，我们可以显着减少电极的数量，这表明高密度，昂贵的EEG帽是不必要的EEG为基础的眼睛跟踪的目的。使用数据驱动的方法，我们建立了哪些电极簇影响凝视估计以及不同类型的EEG数据预处理如何影响模型的性能。最后，我们还检查哪些记录的频率对定义的任务最重要。
2023-02-19 cs.HC cs.LG eess.SP
Reading the Eyes in VR: Multimodal Modeling of Social Intelligence
University of Delaware（特拉华大学）
研究通过在 Unity 中为桌面和 VR 实现 RMET 并进行 2x2 混合研究，探究呈现媒介和反馈对 RMET 行为的影响。结果表明即时反馈影响注视和脑电，呈现媒介无客观差异，VR 可用性高，为 RMET 在受控环境作过程感知评估任务提供证据。
2026-10-05 cs.HC
Adaptive Modality Balanced Online Knowledge Distillation for Brain-Eye-Computer based Dim Object Detection
College of Intelligence Science and Technology, National University of Defense Technology（智能科学与技术学院，国防科技大学）
针对现有目标检测方法难以处理异构多模态数据的问题，本文构建脑眼计算机航空图像目标检测系统，提出自适应模态平衡在线知识蒸馏方法融合EEG与图像特征，经实验验证其性能与实用性更优。
2025-09-30 cs.CV cs.HC
Analyzing the Impact of Cognitive Load in Evaluating Gaze-based Typing
基于注视的虚拟键盘为通过眼球运动的文本输入提供了有效的界面。传统上，这些键盘的效率和可用性与传统的文本输入性能的措施，如每分钟的单词，每字符的空格键，退格键的使用等进行评估，但是，在传统的文本输入方法相比，基于凝视的打字涉及自然的眼球运动，是高度相关的人脑认知。采用眼睛凝视作为输入可能会导致过度的心理需求，在这项工作中，我们认为需要包括认知负荷作为眼型评估措施。我们评估三种变化的凝视为基础的虚拟键盘，实现变量设计的词的建议定位。传统的文本输入指标表明，不同的键盘设计的性能没有显着差异。然而，基于STFT（短时傅立叶变换）的EEG信号分析表明，在与这些设计交互时，参与者的心理工作负荷存在差异。此外，EEG分析提供了对不同打字阶段和间隔的用户认知变化的见解，这应该被考虑以提高眼睛打字可用性。
2017-06-10 cs.HC
Gender and Emotion Recognition with Implicit User Signals
我们研究了使用低成本，现成的匿名性别和情感识别设备捕获的隐式用户行为信号的效用。一项旨在研究男性和女性对面部情绪敏感度的用户研究证实，女性比男性更快、更准确地识别（尤其是负面）情绪，这与之前的研究结果相吻合。内隐观众的反应，在EEG脑信号和眼球运动的形式，然后检查存在的（a）情绪和性别特异性模式，从事件相关电位（ERP）和固定分布和（b）情绪和性别的可辨别性。实验表明，（i）性别和情绪特异性差异是可观察到的ERP，（ii）多种相似性之间存在显着的机会（$\approx$ 70%）从用户和他们的隐式行为信号收集的反应，性别识别是可以实现的比较情绪特异性EEG响应-性别差异编码最好的愤怒和厌恶。此外，相当适度的效价（积极与消极的情绪）识别与EEG和眼睛为基础的功能。
2017-08-29 cs.HC
Evaluating Eye Tracking and Electroencephalography as Indicator for Selective Exposure During Online News Reading
本文提出利用脑电图和眼动追踪作为实时指标，检测在线新闻阅读中的选择性暴露，以促进多样化信息消费。
2025-03-27 cs.HC
Exploratory Integration of EEG Spectral Features and Gaze Variability for Mild Cognitive Impairment Discrimination
Kobe University（神户大学）；Osaka Seikei University（大阪成蹊大学）；Meiji University（明治大学）
本研究探索整合EEG频谱特征与注视变异性，通过三种模型对比发现，整合后模型AUC达0.78，可提升轻度认知障碍判别性能，揭示神经与行为测量的互补性。
2026-08-03 cs.HC
Use of Eye-Tracking Technology to Investigate Cognitive Load Theory
认知负荷理论为我们设计学习材料提供了指导原则。交际法将认知负荷分为内在负荷、外在负荷和相关负荷。内在负荷与学习目标相关，外在负荷消耗认知资源，但对学习没有贡献。锗负荷可以促进学习。客观的方法，如眼动测量和脑电图已被用来衡量总的认知负荷。很少有研究，如果有的话，已经完成，以连续的方式，用生理学方法分别测量这三种负荷。在目前的研究中，我们将展示几个眼动跟踪为基础的参数是如何相关的三种负载有明确的操纵三个负载独立。参与者对学习材料的先验知识较低，参与了这项研究。采用操作记忆广度任务测量工作记忆容量。
2018-03-07 cs.HC physics.ed-ph
Anticipation Before Action: EEG-Based Implicit Intent Detection for Adaptive Gaze Interaction in Mixed Reality
LMU Munich（慕尼黑大学）；Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）；TU Dortmund University（多特蒙德工业大学）；Research Center Trustworthy Data Science and Security（可信数据科学与安全研究中心）
本文通过EEG研究SPN在混合现实交互中的隐式意图检测，发现SPN反映预见性不确定性，利用深度学习模型实现75%-97%的意图分类准确率，为构建意图感知的MR接口提供新方法。
2026-01-27 cs.HC
A Decomposition-Based Hybrid Ensemble CNN Framework for Driver Fatigue Recognition
Nanyang Technological University（南洋理工大学）；Qatar University（卡塔尔大学）
在驾驶员疲劳监测系统中，脑电（EEG）越来越受欢迎。针对脑电信号的复杂性、非线性和非平稳性，人们尝试了多种分解方法，以提高脑电信号的解码性能。然而，它仍然是具有挑战性的，从不同的分解成分提取更多的区分特征的驾驶员疲劳识别。在这项工作中，我们提出了一种新的基于分解的混合集成卷积神经网络（CNN）框架，以提高解码EEG信号的能力。采用四种分解方法将脑电信号分解为不同复杂度的分量。这个框架中的CNN不是手工制作的功能，而是直接从分解的组件中学习。此外，采用特定于组件的批次标准化层来减少受试者的变异性。此外，我们采用两种集成模式来整合所有CNN的输出，全面利用分解组件的各种信息。针对具有挑战性的跨主题驾驶员疲劳识别任务，该框架下的模型都表现出优于强基线的性能。具体而言，不同的分解方法和集成模式的性能进行了进一步比较。结果表明，基于离散小波变换的集成CNN的平均分类准确率最高，为83.48%。所提出的框架可以扩展到任何CNN架构，并适用于任何EEG相关的任务，打开了从复杂的EEG数据中提取更有益的功能的可能性。
2023-01-10 cs.HC cs.LG eess.SP
Deep Learning-Based Visual Fatigue Detection Using Eye Gaze Patterns in VR
Dept. of Computer Science Clarkson University Potsdam, New York, USA（计算机科学系 克拉克逊大学）；David D. Reh School of Business Clarkson University Potsdam, New York, USA（戴维·D·雷商学院 克拉克逊大学）
本文提出基于深度学习的VR中通过眼动模式检测视觉疲劳的方法，利用眼动轨迹数据实现高准确率的疲劳检测，为沉浸式VR中的自适应交互提供新思路。
2025-10-14 cs.HC cs.LG
Spatial Filtering for Brain Computer Interfaces: A Comparison between the Common Spatial Pattern and Its Variant
Huazhong University of Science and Technology（华中科技大学）
脑电图（EEG）是脑机接口（BCI）最常用的输入形式。然而，它很容易被各种伪像和噪声污染，例如，眨眼、肌肉活动、电力线噪声等。因此，在将EEG信号馈送到机器学习算法中进行识别之前，通常在空间上和时间上对EEG信号进行滤波以增加信噪比。本文考虑空间滤波，特别是，共同空间模式（CSP）滤波器的EEG分类。在二进制分类中，CSP寻求一组过滤器来最大化一个类的方差，同时最小化另一个类的方差。我们首先介绍传统的解决方案，然后介绍一个基于略有不同的目标函数的新解决方案。我们对运动想象进行了全面的实验，比较了这两种方法，发现传统的CSP解决方案仍然提供了更好的结果。我们还表明，无论使用哪种目标函数，向协方差矩阵添加正则化都可以提高最终的分类性能。
2018-08-08 cs.HC cs.LG eess.SP
MAESTRO: a Multimodal Auditory-attention Egocentric Speech-TRacking Open corpus
The Ohio State University（俄亥俄州立大学）
本文提出MAESTRO，首个同时记录EEG、眼动、瞳孔、自我中心视频和头部IMU的多模态听觉注意解码数据集，通过四说话者基准证明融合行为与生理信号优于纯EEG方法。
2026-09-29 cs.HC cs.LG cs.SD
What the Eyes See, the LLMs Miss: Exploiting Human Perception for Adversarial Text Attacks
University of Connecticut（康涅狄格大学）；University of Tennessee（田纳西大学）；University of California, Santa Barbara（加州大学圣芭芭拉分校）；Iowa State University（爱荷华州立大学）
针对LLM内容审核系统忽视人类视觉线索的缺陷，提出人类可感知对抗攻击（HPAA），通过排版操纵嵌入有害内容，在仅三次查询下实现86%人类识别率而机器检测率低于1%。
2026-06-23 cs.CR cs.HC cs.LG
