LAST at CMCL 2021 Shared Task: Predicting Gaze Data During Reading with a Gradient Boosting Decision Tree Approach
Institut de recherche en sciences psychologiques(心理科学研究所);Université catholique de Louvain(鲁汶天主教大学)
LightGBM模型采用了目标词的词汇特征和从词频列表、心理测量数据和二元关联度量中获得的特征,并针对2021年CMCL眼动追踪数据预测共享任务进行了优化。它在五项眼动追踪预测指标中的两项上获得了所有团队的最佳表现,使其在官方挑战标准中排名第一,并超越了所有参与挑战的基于深度学习的系统。
2021-04-27 cs.CL
EMMT: A simultaneous eye-tracking, 4-electrode EEG and audio corpus for multi-modal reading and translation scenarios
Charles University(查理大学)
我们提出了眼动多模态翻译(EMMT)语料库,一个数据集包含单眼眼动记录,音频和4电极脑电图(EEG)数据的43名参与者。我们的目标是收集认知信号的参与者从事一些语言密集型任务,涉及不同的文本图像刺激设置时,从英语翻译到捷克语的反应。每个参与者被暴露于32个文本-图像刺激对,并被要求(1)阅读英语句子,(2)将其翻译成捷克语,(3)查阅图像,(4)再次翻译,更新或重复先前的翻译。文本刺激包括200个独特的句子,616个独特的单词,加上200个独特的图像作为视觉刺激。这些录音是在两周内收集的,所有参与研究的人都是捷克本地人,英语水平很高。由于研究中涉及的任务的性质和参与者的数量相对较大,语料库非常适合翻译过程研究,认知科学等学科的研究。
2022-04-06 cs.CL cs.HC
ZuCo 2.0: A Dataset of Physiological Recordings During Natural Reading and Annotation
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
我们记录并预处理了ZuCo 2.0,这是一个新的数据集,在自然阅读和注释过程中同时进行眼动跟踪和脑电图。该语料库包含739个句子的凝视和大脑活动数据,其中349个在正常阅读范式中,390个在特定任务范式中,其中18名参与者主动搜索给定句子中的语义关系类型作为语言注释任务。这个新的数据集通过提供旨在分析自然阅读和注释之间认知处理差异的实验来补充ZuCo 1.0。这些数据可以在这里免费获得:https://osf.io/2urht/。
2020-03-07 cs.CL cs.HC
Can Eye Movement Data Be Used As Ground Truth For Word Embeddings Evaluation?
The National Research University Higher School of Economics(国立研究型大学高等经济学院);Federal Research Center `Computer Science and Control' of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心)
近年来,分布式语义模型在词汇语义建模方面取得了一定的成功。然而,科学界仍然不知道什么是这些模型最可靠的评估方法。一些研究人员认为,唯一可能的黄金标准可以从存储人类认知信息的神经认知资源中获得。这些资源之一是关于无声阅读的眼动数据。这项工作的目标是测试的假设,这些数据是否可以用来评估不同语言的分布语义模型。我们提出了英语和俄语眼动数据集(Provo语料库,GECO和俄语句子语料库),词向量(在国家语料库和Web语料库上训练的Skip-Gram模型)和由人类评估的俄语和英语的词相似度数据集的实验,以找到嵌入和眼动数据之间的相关性,并测试这种相关性是语言独立的假设。因此,我们发现,被测试的假设的有效性可能会受到质疑。
2018-04-23 cs.CL
Assessing Language Proficiency from Eye Movements in Reading
MIT BCS(麻省理工学院脑与认知科学系);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出了一种利用阅读过程中眼动行为轨迹来确定学习者第二语言水平的新方法。我们的方法提供了独立的眼动跟踪为基础的英语水平分数,反映了在何种程度上学习者的凝视模式在阅读中是类似的母语为英语的。我们发现,我们的成绩与标准化英语水平测试密切相关。我们还证明,凝视信息可以用来准确地预测这种测试的结果。我们的方法产生最强的性能时,考生提出了一套句子,我们从其他读者的眼动数据。然而,它仍然有效,即使使用眼动跟踪的句子,眼睛运动数据尚未收集。通过将熟练程度作为普通阅读过程中眼动的自动副产品,我们的方法为第二语言水平评估提供了一个潜在的有价值的新工具。更广泛地说,我们的研究结果为未来从阅读行为痕迹推断读者特征的方法打开了大门。
2018-04-24 cs.CL
Fine-Grained Prediction of Reading Comprehension from Eye Movements
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology(以色列理工学院数据与决策科学学院);Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology(麻省理工学院脑与认知科学系)
本文提出在单问题层面依据眼动预测阅读理解,构建三个多模态语言模型并与既有模型比较,在两种阅读模式和多种泛化设置下验证眼动信号的有效性。
2024-10-06 cs.CL
Reading Task Classification Using EEG and Eye-Tracking Data
University of Copenhagen(哥本哈根大学);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);University of Potsdam(波茨坦大学)
苏黎世认知语言处理语料库(ZuCo)提供了来自两种阅读范式(正常阅读和特定任务阅读)的眼动追踪和EEG信号。我们分析了机器学习方法是否能够使用眼动追踪和EEG特征对这两个任务进行分类。我们实现的模型具有聚合的词汇级功能以及细粒度的单词级功能。我们测试的模型在学科内和跨学科的评估方案。所有模型都在ZuCo 1.0和ZuCo 2.0数据子集上进行了测试,这些数据子集的特征在于不同的记录程序,从而允许不同水平的概括性。最后,我们提供了一系列的控制实验,更详细地分析结果。
2021-12-12 cs.CL
Decoding Reading Goals from Eye Movements
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology(以色列理工学院数据与决策科学学院);Massachusetts Institute of Technology(麻省理工学院)
本研究首次利用大规模眼动数据区分信息寻求与普通阅读两种目标,提出Transformer模型结合扫描路径与语言建模的集成方法,实现实时预测,并引入混合效应分析揭示任务难度关键因素。
2025-02-27 cs.CL
Language Proficiency Assessment from Eye Movements in Naturalistic Passage Reading
Faculty of Data and Decision Sciences(数据与决策科学学院);Technion - Israel Institute of Technology(以色列理工学院)
本研究将眼动预测语言能力的方法扩展至自然段落阅读等场景,提出评分去偏差方法,验证其有效性、可靠性及去偏差效果,为相关评估技术提供更扎实的实证基础。
2026-09-01 cs.CL
Déjà Vu? Decoding Repeated Reading from Eye Movements
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology(数据与决策科学学院,特拉维夫大学-以色列理工学院);Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology(脑与认知科学系,麻省理工学院)
通过分析眼动模式,研究自动判断读者是否曾接触过同一文本,并探索记忆效应在重复阅读中的作用。
2025-02-16 cs.CL
Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading
Department of Computer Science, University of Potsdam(波恩大学计算机科学系);Department of Computational Linguistics, University of Zurich(苏黎世大学计算语言学系);Department of Informatics, University of Zurich(苏黎世大学信息学系)
提出端到端训练的轻量级深度学习模型Eyettention II,通过双序列架构生成包含注视位置、词内着陆位置和注视持续时间的完整扫描路径,在预测性能上超越现有模型并捕捉关键心理语言学现象。
2026-06-01 cs.CL
Individual corpora predict fast memory retrieval during reading
Bergische Universität Wuppertal(伍珀塔尔大学);Universität Hamburg(汉堡大学)
从其中训练预测语言模型的语料库可以被认为是语义系统的经验。我们在平板电脑上记录了两名参与者两个月的日常阅读,生成了300/500 K令牌的个体语料库样本。然后,我们从个人语料库和7000万句报纸语料库中训练word 2 vec模型,以获得基于个人和规范的长期记忆结构。为了测试个体语料库是否能对长期记忆提取的认知任务做出更好的预测,我们生成了由134个句子组成的刺激材料,这些句子具有不相关的个体和基于范数的单词概率。对于随后的眼动追踪研究1-2个月后,我们的回归分析表明,个人,但不是正常语料库为基础的单词概率可以解释首次注视时间和首次通过凝视时间。字长还影响注视时间和总观看时间。结果表明,语料库代表个人的长期记忆结构可以更好地解释阅读性能比规范语料库,最近获得的信息是词汇访问迅速。
2020-10-20 cs.CL cs.IR
Decoding Open-Ended Information Seeking Goals from Eye Movements in Reading
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology(数据与决策科学学院,技术离子-以色列理工学院)
本研究首次通过阅读中的眼动数据自动解码开放性信息寻求目标,开发了多模态LLM模型并展示了在目标选择和文本重构上的显著成果。
2026-03-02 cs.AI cs.CL
Integrating large language models and active inference to understand eye movements in reading and dyslexia
Institute of Cognitive Sciences and Technologies, National Research Council(认知科学与技术研究所,国家研究院)
本文提出一种结合大型语言模型与分层主动推理的计算模型,模拟阅读和眼动过程,揭示阅读障碍的适应不良预测机制。
2025-08-08 cs.CL q-bio.NC
Measuring the Impact of (Psycho-)Linguistic and Readability Features and Their Spill Over Effects on the Prediction of Eye Movement Patterns
University of Amsterdam(阿姆斯特丹大学);RWTH-Aachen University(亚琛工业大学)
在自然阅读过程中,结合使用NLP和机器学习方法来预测凝视模式的兴趣越来越大。虽然通过使用基于transformer的语言模型已经获得了有希望的结果,但很少有人将这种模型的性能与一般文本特征联系起来。在本文中,我们报告的实验与两个眼动语料库的自然主义阅读和两个语言模型(BERT和GPT-2)。在所有的实验中,我们测试了广泛的功能预测人类阅读行为的影响,分为五个类别(句法复杂性,词汇丰富性,基于寄存器的多词组合,可读性和心理语言学的单词属性)。我们的实验表明,所包括的功能和架构的transformer为基础的语言模型发挥作用,在自然阅读预测多眼动跟踪措施。我们还报告的实验结果,旨在确定使用SP-LIME从不同的群体的功能的相对重要性。
2022-03-15 cs.CL
Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods
Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology(数据与决策科学学院,技术Ion-以色列理工学院)
研究聚焦自动文本可读性评分方法,引入新认知评估框架,通过眼动追踪在线测量实时阅读流畅度,评估多种方法后发现它们在预测成人英语阅读流畅度上欠佳,揭示局限并呼吁新的认知驱动评分方法。
2026-07-29 cs.CL
EMTeC: A Corpus of Eye Movements on Machine-Generated Texts
University of Zurich(苏黎世大学);University of Potsdam(波茨坦大学)
EMTeC语料库记录了107名英语母语者阅读由三个大语言模型以五种解码策略生成的六类文本时的眼动数据,并提供模型内部信息与多阶段预处理数据,用于研究机器生成文本的阅读行为及语言模型认知解释。
2024-08-08 cs.CL
Do Cantonese-Adapted Language Models Better Predict Cantonese Reading? A Cross-Model Eye-Tracking Evaluation
The Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学)
本研究通过自然粤语眼动数据,对比两组同系列适配模型,发现更广泛的粤语专属训练模型CantoneseLLM-7B的预测拟合度更强,模型排序取决于所用信息论指标。
2026-09-09 cs.CL
Does Attention Mechanism Possess the Feature of Human Reading? A Perspective of Sentiment Classification Task
Nanjing University of Science and Technology(南京理工大学)
【目的】为了理解一个句子的意思,人类可以专注于句子中的重要单词,这反映了我们的眼睛在不同的注视时间或时间停留在每个单词上。因此,一些研究利用眼动跟踪值来优化深度学习模型中的注意力机制。但这些研究缺乏对这种做法合理性的解释。注意力机制是否具备人类阅读的这一特征,还有待探讨。[设计/方法/方式]我们进行了情感分类任务的实验。首先,我们从两个开放源代码的眼动语料库中获得眼动值来描述人类阅读的特征。然后,从情感分类模型中学习每个句子的机器注意力值。最后,进行了比较,以分析机器注意力值和眼动跟踪值。[发现]通过实验,我们发现注意力机制可以集中在重要的词上,例如形容词、副词和情感词,这些词对于判断情感分类任务中句子的情感很有价值。它具有人类阅读的特点,阅读时关注句子中的重要单词。由于对注意力机制的学习不足,导致一些单词的聚焦错误。眼动跟踪值可以帮助注意力机制纠正这种错误并提高模型性能。[独创性/价值]我们的研究不仅为利用眼动跟踪值优化注意力机制的研究提供了合理的解释,也为注意力机制的可解释性提供了新的启示。
2022-09-08 cs.CL cs.HC
Eyettention: An Attention-based Dual-Sequence Model for Predicting Human Scanpaths during Reading
University of Potsdam(波茨坦大学);University of Zurich(苏黎世大学)
本文提出首个基于跨序列注意力机制的双序列模型Eyettention,通过同时处理词汇序列与注视时间序列,有效解决了阅读眼动轨迹预测中的双序列对齐难题,在多语言跨数据集评估中显著优于现有模型。
2023-05-18 cs.CL cs.HC cs.LG
SEAM: An Integrated Activation-Coupled Model of Sentence Processing and Eye Movements in Reading
University of Potsdam(波茨坦大学)
SEAM模型首次将眼动控制与句子处理整合,结合SWIFT和Lewis-Vasishth模型,通过贝叶斯推断再现阅读中的相似性干扰眼动模式。
2023-12-20 cs.CL q-bio.NC
Graph Representations for Reading Comprehension Analysis using Large Language Model and Eye-Tracking Biomarker
University of California, San Diego (UCSD)(加州大学圣地亚哥分校);Hong Kong University of Science and Technology(香港科学与技术大学);Brown University(布朗大学)
本研究使用基于LLM的AI智能体将阅读文章转换为图表示,通过比较眼动注视分布,发现LLMs在图拓扑结构层面的语言理解上表现出高度一致性,为人机协同学习策略提供见解。
2025-07-16 cs.CL q-bio.NC
Integrating LLM, EEG, and Eye-Tracking Biomarker Analysis for Word-Level Neural State Classification in Semantic Inference Reading Comprehension
Brown University(布朗大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Yale University(耶鲁大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校);National Central University(国立中央大学)
本研究首次利用LLM知识,联合分析EEG和眼动数据,在词级水平上分类语义推理阅读中的神经状态,验证准确率超60%,为阅读辅助技术提供指导。
2023-10-17 cs.AI cs.CL
OASST-ETC Dataset: Alignment Signals from Eye-tracking Analysis of LLM Responses
Telefónica Scientific Research(Telefónica科学研究中心);Universitat Politècnica de Catalunya(巴塞罗那理工大学)
本文提出 OASST-ETC 眼动追踪语料库,通过分析 24 名参与者阅读 LLM 响应的眼动模式,揭示偏好与非偏好响应的认知差异,并发现人类阅读指标与 transformer 注意力模式在偏好响应中相关性更强,为将眼动数据融入对齐方法提供新资源。
2025-06-03 cs.AI cs.CL
Interpreting Attention Models with Human Visual Attention in Machine Reading Comprehension
University of Stuttgart(斯图加特大学);University of Konstanz(康斯坦茨大学)
虽然具有注意力机制的神经网络在许多自然语言处理任务上取得了优异的性能,但学习注意力在多大程度上类似于人类视觉注意力仍不清楚。在本文中,我们提出了一种新的方法,利用眼动数据来研究人类视觉注意和神经注意之间的关系,在机器阅读理解。为此,我们引入了一种新的23名参与者的眼动追踪数据集- MQA-RC,其中参与者阅读电影情节并回答预定义的问题。我们比较了基于长短期记忆(LSTM)、卷积神经模型(CNN)和XLNet Transformer架构的最新网络。我们发现,与人类注意力和表现的更高相似性与LSTM和CNN模型显著相关。然而,我们发现这种关系并不适用于XLNet模型-尽管事实上XLNet在这项具有挑战性的任务中表现最好。我们的研究结果表明,不同的架构似乎学习相当不同的神经注意力策略和相似性的神经到人类的注意力并不能保证最佳性能。
2020-10-27 cs.CL
LEXIC: Lightweight On-Device Decoding of Reading Comprehension from Eye Movements
Seoul National University(首尔国立大学);NVIDIA(英伟达)
研究从眼动预测阅读理解中仅注视模型的提升,基于LEXIC-Base提出两种机制注入难度信号,在一站式阅读理解任务中实验,两种机制使未见文本AUROC增益,LEXIC-Concat提升未见读者表现,LEXIC-Res存在架构边界问题。
2026-09-15 cs.AI cs.CL cs.HC
Enhancing Keyphrase Extraction from Microblogs using Human Reading Time
Nanjing University of Science and Technology(南京理工大学)
人工关键词标注的前提是读取标注对象的相应内容。直觉告诉我们,当我们阅读时,更重要的单词会占据更长的阅读时间。因此,通过利用人类的阅读时间,我们可以在相应的内容中找到突出的单词。然而,以往的关键词提取研究忽略了人类的阅读特征。在本文中,我们的目标是利用人类的阅读时间从微博帖子中提取关键词。本研究的主要任务有两个。一个是确定如何测量人类阅读一个单词所花费的时间。我们使用从开源眼动追踪语料库(OSEC)中提取的眼动注视持续时间。此外,我们提出了策略,使眼睛注视时间更有效的关键词提取。另一个任务是确定如何将人类阅读时间整合到关键短语提取模型中。我们提出了两个新的神经网络模型。第一种是将人类阅读时间作为注意力机制的基础事实的模型。在第二个模型中,我们使用人类阅读时间作为外部特征。定量和定性实验表明,我们提出的模型产生更好的性能比基线模型在两个微博数据集。
2020-10-25 cs.CL cs.HC cs.IR
Modeling Task Effects in Human Reading with Neural Network-based Attention
Stanford University(斯坦福大学);University of Edinburgh(爱丁堡大学)
关于人类阅读的研究早已证明,阅读行为表现出特定的任务效应,但建立预测人类在给定任务中将表现出什么样的阅读行为的通用模型一直具有挑战性。我们介绍NEAT,一个计算模型的注意力分配在人类阅读,基于人类阅读优化经济的注意力和成功之间的权衡在一个任务的假设。我们的模型是使用当代神经网络建模技术实现的,并对不同任务中注意力的分配如何变化做出了明确和可测试的预测。我们在一项眼动研究中测试了这一点,比较了两个版本的阅读理解任务,发现我们的模型成功地解释了整个任务的阅读行为。因此,我们的工作提供了证据,任务效果可以建模为最佳适应任务的要求。
2022-09-16 cs.CL
Zero Shot Crosslingual Eye-Tracking Data Prediction using Multilingual Transformer Models
Oracle India(甲骨文印度公司);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
阅读过程中的眼动追踪数据是理解语言理解过程中发生的认知过程的有用信息源。不同的语言导致不同的大脑触发,但似乎有一些统一的指标。在本文中,我们描述了我们提交的CMCL 2022共享任务,即预测人类多语言数据集的阅读模式。我们的模型使用来自Transformers的文本表示和一些手工设计的特征,在顶部具有回归层,以预测2个主要眼动追踪特征的平均值和标准差的统计测量。我们训练了一个端到端的模型来从不同的语言中提取有意义的信息,并在两个独立的数据集上测试了我们的模型。我们比较了不同的Transformer模型和消融研究影响模型的性能。我们最终提交的共享任务在SubTask-1中排名第四,在SubTask-2中排名第一。
2022-03-30 cs.CL cs.LG
Eye-tracking based classification of Mandarin Chinese readers with and without dyslexia using neural sequence models
The Education University of Hong Kong(香港教育大学);University of Macau(澳门大学);University of Zurich(苏黎世大学);University of Potsdam(波茨坦大学)
眼动被认为反映了阅读中的认知过程,心理阅读研究表明,有阅读障碍的读者和没有阅读障碍的读者之间的眼睛注视模式是不同的。近年来,研究者尝试使用支持向量机(SVM)根据阅读障碍者的眼球运动对阅读障碍进行分类。然而,这些方法(i)是基于高度聚合的特征平均在所有的单词阅读的参与者,从而忽视了眼睛运动的顺序性质,和(ii)不考虑语言刺激和它的相互作用与读者的眼睛运动。在目前的工作中,我们提出了两个简单的序列模型,在整个刺激过程中的眼球运动,而不需要聚合功能的句子。此外,我们以两种方式将语言刺激纳入模型-上下文词嵌入和手动提取语言特征。该模型进行了评估,普通话中文数据集包含眼动儿童和无阅读障碍。我们的研究结果表明,(i)即使是像中文这样的语标文字,序列模型也能够对眼睛注视序列上的阅读障碍进行分类,达到最先进的性能,(ii)将语言刺激纳入分类并不能帮助提高分类性能。
2022-12-02 cs.CL cs.LG
Utilizing Cognitive Signals Generated during Human Reading to Enhance Keyphrase Extraction from Microblogs
研究利用脑电图(EEG)和眼动追踪信号增强微博关键词抽取(AKE),发现EEG特征带来最大性能提升,两种信号部分互补但存在冗余。
2026-06-26 cs.CL cs.DL cs.HC
LLM surprisal is necessary but not sufficient to capture English garden-path effects: Evidence from joint latent modeling of reading paradigms
Department of Linguistics, University of Potsdam(语言学系,波茨坦大学);Center for Data Science/Department of Linguistics, New York University(数据科学中心/语言学系,纽约大学)
本文通过联合潜在建模阅读范式,提出了一种更准确的句子消歧模型,证明LLM的惊喜值不足以解释人类阅读行为。
2026-09-25 cs.CL
ScanDL: A Diffusion Model for Generating Synthetic Scanpaths on Texts
University of Zurich(苏黎世大学);University of Potsdam(波茨坦大学)
针对眼动数据稀缺问题,提出离散序列到序列扩散模型ScanDL,利用预训练词表示联合嵌入文本与注视序列生成类人文本扫描路径,显著优于现有方法并展现类人阅读行为。
2023-10-24 cs.CL
Gaze-Driven Sentence Simplification for Language Learners: Enhancing Comprehension and Readability
Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田大学科学与工程研究院)
针对语言学习者阅读难文查字典耗时分心的问题,提出结合眼动与语言特征、用GPT-3.5生成简化句的视线驱动句子简化系统,经19名学习者实验验证可准确评估理解度并提升可读性。
2023-09-30 cs.CL cs.HC
The Effects of Interactive AI Design on User Behavior: An Eye-tracking Study of Fact-checking COVID-19 Claims
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们进行了一项基于实验室的眼动追踪研究,以调查人工智能事实检查系统的交互性如何影响用户交互,例如停留时间,注意力和使用系统所涉及的心理资源。进行了一项受试者内实验,参与者使用了一个互动和一个非互动版本的模拟人工智能事实核查系统,并对他们对COVID-19相关声明的正确性进行了评估。我们使用NASA-TLX收集了网页交互、眼动追踪数据和心理负荷。我们发现,交互式操纵人工智能系统预测参数的启示的存在影响了用户的停留时间和AOI上的眼睛注视,但不影响心理工作量。在交互式系统中,参与者花费最多的时间来评估索赔的正确性,其次是阅读新闻。这一令人鼓舞的结果显示了交互性在混合主动AI驱动系统中的积极作用。
2022-03-14 cs.CL cs.HC cs.IR