PoTeC: A German Naturalistic Eye-tracking-while-reading Corpus
University of Zurich(苏黎世大学);University of Potsdam(波茨坦大学)
PoTeC是一个包含专家和新手阅读眼动数据的自然主义语料库,用于研究阅读策略和文本理解。
2024-03-01 cs.CL
Eye-Tracking-while-Reading: A Living Survey of Datasets with Open Library Support
University of Zurich(苏黎世大学);University of Potsdam(波茨坦大学)
本文通过创建活体数据集概述,提升眼动追踪阅读研究的透明度和互操作性,促进科学实践。
2026-07-14 cs.CL
Déjà Vu? Decoding Repeated Reading from Eye Movements
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology(数据与决策科学学院,特拉维夫大学-以色列理工学院);Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology(脑与认知科学系,麻省理工学院)
通过分析眼动模式,研究自动判断读者是否曾接触过同一文本,并探索记忆效应在重复阅读中的作用。
2025-02-16 cs.CL
Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading
Department of Computer Science, University of Potsdam(波恩大学计算机科学系);Department of Computational Linguistics, University of Zurich(苏黎世大学计算语言学系);Department of Informatics, University of Zurich(苏黎世大学信息学系)
提出端到端训练的轻量级深度学习模型Eyettention II,通过双序列架构生成包含注视位置、词内着陆位置和注视持续时间的完整扫描路径,在预测性能上超越现有模型并捕捉关键心理语言学现象。
2026-06-01 cs.CL
Decoding Open-Ended Information Seeking Goals from Eye Movements in Reading
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology(数据与决策科学学院,技术离子-以色列理工学院)
本研究首次通过阅读中的眼动数据自动解码开放性信息寻求目标,开发了多模态LLM模型并展示了在目标选择和文本重构上的显著成果。
2026-03-02 cs.AI cs.CL
Integrating large language models and active inference to understand eye movements in reading and dyslexia
Institute of Cognitive Sciences and Technologies, National Research Council(认知科学与技术研究所,国家研究院)
本文提出一种结合大型语言模型与分层主动推理的计算模型,模拟阅读和眼动过程,揭示阅读障碍的适应不良预测机制。
2025-08-08 cs.CL q-bio.NC
Entity Recognition at First Sight: Improving NER with Eye Movement Information
ETH Zurich(苏黎世联邦理工学院)
以往的研究表明,眼动数据包含了文本的词汇和句法属性的信息,这些信息可以用来改进自然语言处理模型。在这项工作中,我们利用眼动功能,从三个语料库与记录的凝视信息,以增加一个国家的最先进的神经模型的命名实体识别(NER)与凝视嵌入。这些语料库用命名实体标签手动注释。此外,我们展示了如何凝视功能,广义上的字类型的水平,消除了需要在测试时记录的眼动跟踪数据。使用标记级和类型级特征的NER的凝视增强模型优于基线。我们通过评估单个数据集以及跨域设置中的NER模型来展示眼动跟踪功能的好处。
2019-03-28 cs.CL
Measuring the Impact of (Psycho-)Linguistic and Readability Features and Their Spill Over Effects on the Prediction of Eye Movement Patterns
University of Amsterdam(阿姆斯特丹大学);RWTH-Aachen University(亚琛工业大学)
在自然阅读过程中,结合使用NLP和机器学习方法来预测凝视模式的兴趣越来越大。虽然通过使用基于transformer的语言模型已经获得了有希望的结果,但很少有人将这种模型的性能与一般文本特征联系起来。在本文中,我们报告的实验与两个眼动语料库的自然主义阅读和两个语言模型(BERT和GPT-2)。在所有的实验中,我们测试了广泛的功能预测人类阅读行为的影响,分为五个类别(句法复杂性,词汇丰富性,基于寄存器的多词组合,可读性和心理语言学的单词属性)。我们的实验表明,所包括的功能和架构的transformer为基础的语言模型发挥作用,在自然阅读预测多眼动跟踪措施。我们还报告的实验结果,旨在确定使用SP-LIME从不同的群体的功能的相对重要性。
2022-03-15 cs.CL
Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods
Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology(数据与决策科学学院,技术Ion-以色列理工学院)
研究聚焦自动文本可读性评分方法,引入新认知评估框架,通过眼动追踪在线测量实时阅读流畅度,评估多种方法后发现它们在预测成人英语阅读流畅度上欠佳,揭示局限并呼吁新的认知驱动评分方法。
2026-07-29 cs.CL
EMTeC: A Corpus of Eye Movements on Machine-Generated Texts
University of Zurich(苏黎世大学);University of Potsdam(波茨坦大学)
EMTeC语料库记录了107名英语母语者阅读由三个大语言模型以五种解码策略生成的六类文本时的眼动数据,并提供模型内部信息与多阶段预处理数据,用于研究机器生成文本的阅读行为及语言模型认知解释。
2024-08-08 cs.CL
Do Cantonese-Adapted Language Models Better Predict Cantonese Reading? A Cross-Model Eye-Tracking Evaluation
The Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学)
本研究通过自然粤语眼动数据,对比两组同系列适配模型,发现更广泛的粤语专属训练模型CantoneseLLM-7B的预测拟合度更强,模型排序取决于所用信息论指标。
2026-09-09 cs.CL
Can Eye Movement Data Be Used As Ground Truth For Word Embeddings Evaluation?
The National Research University Higher School of Economics(国立研究型大学高等经济学院);Federal Research Center `Computer Science and Control' of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心)
近年来,分布式语义模型在词汇语义建模方面取得了一定的成功。然而,科学界仍然不知道什么是这些模型最可靠的评估方法。一些研究人员认为,唯一可能的黄金标准可以从存储人类认知信息的神经认知资源中获得。这些资源之一是关于无声阅读的眼动数据。这项工作的目标是测试的假设,这些数据是否可以用来评估不同语言的分布语义模型。我们提出了英语和俄语眼动数据集(Provo语料库,GECO和俄语句子语料库),词向量(在国家语料库和Web语料库上训练的Skip-Gram模型)和由人类评估的俄语和英语的词相似度数据集的实验,以找到嵌入和眼动数据之间的相关性,并测试这种相关性是语言独立的假设。因此,我们发现,被测试的假设的有效性可能会受到质疑。
2018-04-23 cs.CL
TURead: An eye movement dataset of Turkish reading
Jagiellonian University(雅盖隆大学);Middle East Technical University(中东技术大学)
本文构建土耳其语默读与朗读眼动数据集 TURead,通过操控词长和后缀考察形态与眼动控制关系,并提供多类词汇、眼动及工作记忆指标。
2023-12-02 cs.CL cs.HC
TorontoCL at CMCL 2021 Shared Task: RoBERTa with Multi-Stage Fine-Tuning for Eye-Tracking Prediction
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);Unity Health Toronto(多伦多联合健康)
阅读过程中的眼动数据是理解语言理解过程的有用信息来源。在本文中,我们描述了我们提交给CMCL 2021预测人类阅读模式的共享任务。我们的模型使用带有回归层的RoBERTa来预测5个眼动追踪特征。我们分两个阶段对模型进行训练:首先在Provo语料库(另一个眼动追踪数据集)上进行微调,然后在任务数据上进行微调。我们比较了不同的Transformer模型,并应用集成方法来提高性能。我们最终提交的作品获得了3.929的MAE分数,在参与这项共同任务的13支团队中排名第三。
2021-04-15 cs.CL
Does Attention Mechanism Possess the Feature of Human Reading? A Perspective of Sentiment Classification Task
Nanjing University of Science and Technology(南京理工大学)
【目的】为了理解一个句子的意思,人类可以专注于句子中的重要单词,这反映了我们的眼睛在不同的注视时间或时间停留在每个单词上。因此,一些研究利用眼动跟踪值来优化深度学习模型中的注意力机制。但这些研究缺乏对这种做法合理性的解释。注意力机制是否具备人类阅读的这一特征,还有待探讨。[设计/方法/方式]我们进行了情感分类任务的实验。首先,我们从两个开放源代码的眼动语料库中获得眼动值来描述人类阅读的特征。然后,从情感分类模型中学习每个句子的机器注意力值。最后,进行了比较,以分析机器注意力值和眼动跟踪值。[发现]通过实验,我们发现注意力机制可以集中在重要的词上,例如形容词、副词和情感词,这些词对于判断情感分类任务中句子的情感很有价值。它具有人类阅读的特点,阅读时关注句子中的重要单词。由于对注意力机制的学习不足,导致一些单词的聚焦错误。眼动跟踪值可以帮助注意力机制纠正这种错误并提高模型性能。[独创性/价值]我们的研究不仅为利用眼动跟踪值优化注意力机制的研究提供了合理的解释,也为注意力机制的可解释性提供了新的启示。
2022-09-08 cs.CL cs.HC
Leveraging Human Reading Behavior for Keyphrase Extraction: A Webcam-based Eye-tracking Corpus
本研究构建了含FFD、FN、TFD特征的CLIS-ET语料库,将眼动特征融入KPE模型,发现FN与TFD组合在Att-BiLSTM+CRF模型上提升了中文学术摘要的关键词抽取性能。
2026-08-12 cs.CL cs.DL cs.HC
Controlling Reading Ease with Gaze-Guided Text Generation
MaiNLP, Center for Information and Language Processing, LMU Munich(MaiNLP、信息与语言处理中心、慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
通过眼动引导生成可控阅读易度的文本,利用眼动模式预测优化语言模型输出,提升文本可读性与学习效果。
2026-01-25 cs.CL
Eyettention: An Attention-based Dual-Sequence Model for Predicting Human Scanpaths during Reading
University of Potsdam(波茨坦大学);University of Zurich(苏黎世大学)
本文提出首个基于跨序列注意力机制的双序列模型Eyettention,通过同时处理词汇序列与注视时间序列,有效解决了阅读眼动轨迹预测中的双序列对齐难题,在多语言跨数据集评估中显著优于现有模型。
2023-05-18 cs.CL cs.HC cs.LG
SEAM: An Integrated Activation-Coupled Model of Sentence Processing and Eye Movements in Reading
University of Potsdam(波茨坦大学)
SEAM模型首次将眼动控制与句子处理整合,结合SWIFT和Lewis-Vasishth模型,通过贝叶斯推断再现阅读中的相似性干扰眼动模式。
2023-12-20 cs.CL q-bio.NC
LAST at CMCL 2021 Shared Task: Predicting Gaze Data During Reading with a Gradient Boosting Decision Tree Approach
Institut de recherche en sciences psychologiques(心理科学研究所);Université catholique de Louvain(鲁汶天主教大学)
LightGBM模型采用了目标词的词汇特征和从词频列表、心理测量数据和二元关联度量中获得的特征,并针对2021年CMCL眼动追踪数据预测共享任务进行了优化。它在五项眼动追踪预测指标中的两项上获得了所有团队的最佳表现,使其在官方挑战标准中排名第一,并超越了所有参与挑战的基于深度学习的系统。
2021-04-27 cs.CL
Graph Representations for Reading Comprehension Analysis using Large Language Model and Eye-Tracking Biomarker
University of California, San Diego (UCSD)(加州大学圣地亚哥分校);Hong Kong University of Science and Technology(香港科学与技术大学);Brown University(布朗大学)
本研究使用基于LLM的AI智能体将阅读文章转换为图表示,通过比较眼动注视分布,发现LLMs在图拓扑结构层面的语言理解上表现出高度一致性,为人机协同学习策略提供见解。
2025-07-16 cs.CL q-bio.NC
Deep Eyedentification: Biometric Identification using Micro-Movements of the Eye
University of Potsdam(波茨坦大学)
我们研究眼睛的无意识微运动用于生物识别。虽然先前的研究从基于视频的眼动跟踪系统的输出中提取低频宏观运动,并设计这些宏观运动的显式特征,但我们开发了一种处理原始眼动跟踪信号的深度卷积架构。与以前的工作相比,该网络的出错率降低了一个数量级,速度提高了两个数量级:它在几秒钟内准确地识别用户。
2020-05-05 cs.CL cs.CV cs.HC
EMMT: A simultaneous eye-tracking, 4-electrode EEG and audio corpus for multi-modal reading and translation scenarios
Charles University(查理大学)
我们提出了眼动多模态翻译(EMMT)语料库,一个数据集包含单眼眼动记录,音频和4电极脑电图(EEG)数据的43名参与者。我们的目标是收集认知信号的参与者从事一些语言密集型任务,涉及不同的文本图像刺激设置时,从英语翻译到捷克语的反应。每个参与者被暴露于32个文本-图像刺激对,并被要求(1)阅读英语句子,(2)将其翻译成捷克语,(3)查阅图像,(4)再次翻译,更新或重复先前的翻译。文本刺激包括200个独特的句子,616个独特的单词,加上200个独特的图像作为视觉刺激。这些录音是在两周内收集的,所有参与研究的人都是捷克本地人,英语水平很高。由于研究中涉及的任务的性质和参与者的数量相对较大,语料库非常适合翻译过程研究,认知科学等学科的研究。
2022-04-06 cs.CL cs.HC
Integrating LLM, EEG, and Eye-Tracking Biomarker Analysis for Word-Level Neural State Classification in Semantic Inference Reading Comprehension
Brown University(布朗大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Yale University(耶鲁大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校);National Central University(国立中央大学)
本研究首次利用LLM知识,联合分析EEG和眼动数据,在词级水平上分类语义推理阅读中的神经状态,验证准确率超60%,为阅读辅助技术提供指导。
2023-10-17 cs.AI cs.CL
Eye-tracking based classification of Mandarin Chinese readers with and without dyslexia using neural sequence models
The Education University of Hong Kong(香港教育大学);University of Macau(澳门大学);University of Zurich(苏黎世大学);University of Potsdam(波茨坦大学)
眼动被认为反映了阅读中的认知过程,心理阅读研究表明,有阅读障碍的读者和没有阅读障碍的读者之间的眼睛注视模式是不同的。近年来,研究者尝试使用支持向量机(SVM)根据阅读障碍者的眼球运动对阅读障碍进行分类。然而,这些方法(i)是基于高度聚合的特征平均在所有的单词阅读的参与者,从而忽视了眼睛运动的顺序性质,和(ii)不考虑语言刺激和它的相互作用与读者的眼睛运动。在目前的工作中,我们提出了两个简单的序列模型,在整个刺激过程中的眼球运动,而不需要聚合功能的句子。此外,我们以两种方式将语言刺激纳入模型-上下文词嵌入和手动提取语言特征。该模型进行了评估,普通话中文数据集包含眼动儿童和无阅读障碍。我们的研究结果表明,(i)即使是像中文这样的语标文字,序列模型也能够对眼睛注视序列上的阅读障碍进行分类,达到最先进的性能,(ii)将语言刺激纳入分类并不能帮助提高分类性能。
2022-12-02 cs.CL cs.LG
OASST-ETC Dataset: Alignment Signals from Eye-tracking Analysis of LLM Responses
Telefónica Scientific Research(Telefónica科学研究中心);Universitat Politècnica de Catalunya(巴塞罗那理工大学)
本文提出 OASST-ETC 眼动追踪语料库,通过分析 24 名参与者阅读 LLM 响应的眼动模式,揭示偏好与非偏好响应的认知差异,并发现人类阅读指标与 transformer 注意力模式在偏好响应中相关性更强,为将眼动数据融入对齐方法提供新资源。
2025-06-03 cs.AI cs.CL
LEXIC: Lightweight On-Device Decoding of Reading Comprehension from Eye Movements
Seoul National University(首尔国立大学);NVIDIA(英伟达)
研究从眼动预测阅读理解中仅注视模型的提升,基于LEXIC-Base提出两种机制注入难度信号,在一站式阅读理解任务中实验,两种机制使未见文本AUROC增益,LEXIC-Concat提升未见读者表现,LEXIC-Res存在架构边界问题。
2026-09-15 cs.AI cs.CL cs.HC
Enhancing Keyphrase Extraction from Microblogs using Human Reading Time
Nanjing University of Science and Technology(南京理工大学)
人工关键词标注的前提是读取标注对象的相应内容。直觉告诉我们,当我们阅读时,更重要的单词会占据更长的阅读时间。因此,通过利用人类的阅读时间,我们可以在相应的内容中找到突出的单词。然而,以往的关键词提取研究忽略了人类的阅读特征。在本文中,我们的目标是利用人类的阅读时间从微博帖子中提取关键词。本研究的主要任务有两个。一个是确定如何测量人类阅读一个单词所花费的时间。我们使用从开源眼动追踪语料库(OSEC)中提取的眼动注视持续时间。此外,我们提出了策略,使眼睛注视时间更有效的关键词提取。另一个任务是确定如何将人类阅读时间整合到关键短语提取模型中。我们提出了两个新的神经网络模型。第一种是将人类阅读时间作为注意力机制的基础事实的模型。在第二个模型中,我们使用人类阅读时间作为外部特征。定量和定性实验表明,我们提出的模型产生更好的性能比基线模型在两个微博数据集。
2020-10-25 cs.CL cs.HC cs.IR
Zero Shot Crosslingual Eye-Tracking Data Prediction using Multilingual Transformer Models
Oracle India(甲骨文印度公司);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
阅读过程中的眼动追踪数据是理解语言理解过程中发生的认知过程的有用信息源。不同的语言导致不同的大脑触发,但似乎有一些统一的指标。在本文中,我们描述了我们提交的CMCL 2022共享任务,即预测人类多语言数据集的阅读模式。我们的模型使用来自Transformers的文本表示和一些手工设计的特征,在顶部具有回归层,以预测2个主要眼动追踪特征的平均值和标准差的统计测量。我们训练了一个端到端的模型来从不同的语言中提取有意义的信息,并在两个独立的数据集上测试了我们的模型。我们比较了不同的Transformer模型和消融研究影响模型的性能。我们最终提交的共享任务在SubTask-1中排名第四,在SubTask-2中排名第一。
2022-03-30 cs.CL cs.LG
Utilizing Cognitive Signals Generated during Human Reading to Enhance Keyphrase Extraction from Microblogs
研究利用脑电图(EEG)和眼动追踪信号增强微博关键词抽取(AKE),发现EEG特征带来最大性能提升,两种信号部分互补但存在冗余。
2026-06-26 cs.CL cs.DL cs.HC
Personalized Lip Reading: Adapting to Your Unique Lip Movements with Vision and Language
KAIST(韩国科学技术院);National Taiwan University(台湾大学)
本文提出一种在视觉和语言双层面适配目标说话人的个性化唇读方法,结合提示微调与LoRA,并推出含约100K词汇的VoxLRS-SA数据集,首次在野外句子级英语唇读中验证了方法有效性。
2025-01-01 cs.CL cs.CV eess.AS