Human Sentence Processing: Recurrence or Attention?
Radboud University（拉德堡德大学）
递归神经网络（RNN）长期以来一直是人类句子处理的计算模型的感兴趣的架构。最近推出的Transformer架构在许多自然语言处理任务上优于RNN，但对其建模人类语言处理的能力知之甚少。我们比较了基于Transformer和RNN的语言模型在衡量人类阅读努力方面的能力。我们的分析表明，Transformers在解释英语句子阅读过程中的自定阅读时间和神经活动方面优于RNN，挑战了人们普遍认为的人类句子处理涉及循环和即时处理的观点，并为基于线索的检索提供了证据。
2021-05-04 cs.CL
A Sentence Cloze Dataset for Chinese Machine Reading Comprehension
Research Center for SCIR, Harbin Institute of Technology（哈尔滨工业大学SCIR研究中心）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research, China（科大讯飞研究中心认知智能国家重点实验室）；iFLYTEK AI Research (Hebei), Langfang, China（科大讯飞（河北）人工智能研究院，廊坊）
由于中国NLP社区的不断努力，越来越多的中文机器阅读理解数据集变得可用。为了增加这一领域的多样性，在本文中，我们提出了一个新的任务称为句子完形填空式机器阅读理解（SC-MRC）。这个任务的目的是将正确的候选句子填入有几个空格的文章中。我们建立了一个名为CMRC 2019的中国数据集，以评估SC-MRC任务的难度。此外，为了增加难度，我们还制作了与正确候选人相似的假候选人，这需要机器在上下文中判断它们的正确性。建议的数据集包含超过10万个空白（问题）在超过10 K的段落，这是源于中国的叙事故事。为了评估数据集，我们基于预训练的模型实现了几个基线系统，结果表明，最先进的模型仍然远远低于人类的表现。我们发布数据集和基线系统，以进一步促进我们的社区。资源可通过https://github.com/ymcui/cmrc2019获得
2020-11-02 cs.CL
To Words and Beyond: Probing Large Language Models for Sentence-Level Psycholinguistic Norms of Memorability and Reading Times
Massachusetts Institute of Technology（麻省理工学院）；Universidad Politécnica de Madrid（马德里理工大学）
本文研究了大语言模型在句子层面可记忆性和阅读时间的预测能力，通过微调提升预测效果，发现其在不同任务上的表现存在显著差异，提示在使用LLM提示替代人类认知测量时需谨慎。
2026-03-12 cs.CL
R$^2$F: A General Retrieval, Reading and Fusion Framework for Document-level Natural Language Inference
SenseTime（商汤科技）；National University of Defense Technology（国防科技大学）；Singapore Management University（新加坡管理大学）
文档级自然语言推理（Document-level natural language inference，DOCNLI）是自然语言处理领域的一个新的挑战性课题，旨在判断一对假设和前提文档之间的蕴涵关系。目前的数据集和基线基本上遵循文件级别的设置，但未能解决较长文件引起的问题。在本文中，我们建立了一个通用的解决方案，命名为检索，阅读和融合（R2 F）的框架，和一个新的设置，通过分析的主要挑战DOCNLI：可解释性，长程依赖，跨句子推理。该框架的基本思想是将文档级任务简化为一组文档级任务，并利用证据的力量提高性能和可解释性。对于每个假设句，框架从前提中检索证据句，并读取以估计其可信度。然后对文档级结果进行融合，判断文档之间的关系。对于设置，我们提供补充证据和蕴涵标签注释的假设句子，可解释性研究。实验结果表明，R2 F框架可以获得最先进的性能，并对各种证据检索方法具有鲁棒性。此外，它可以给出更多的解释性预测结果。我们的模型和代码在https://github.com/phoenixsecularbird/R2F上发布。
2022-10-22 cs.CL
Document-Level Event Extraction via Human-Like Reading Process
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
文档级事件提取（DEE）特别棘手，因为它带来了两个挑战：分散参数和多事件。第一个挑战意味着一个事件记录的参数可以驻留在文档中的不同句子中，而第二个挑战反映了一个文档可以同时包含多个这样的事件记录。本文从人类阅读认知的角度出发，提出了一种基于文本事件的人类阅读启发提取器（Human Reading inspired Extractor for Document Events，HRE），该方法将文本事件分解为粗读和精读两个迭代阶段。具体而言，第一阶段浏览文档以检测事件的发生，第二阶段用于提取特定的事件参数。对于每一个具体的事件角色，精细阅读从句子到字符分层工作，以确定跨句子的论点，从而解决分散的论点问题。同时，通过多轮的粗读探索，发现未检测到的事件，从而解决了多事件问题。实验结果表明，HRE优于以往的竞争方法。
2022-02-07 cs.CL
Predicting the Relative Difficulty of Single Sentences With and Without Surrounding Context
Carnegie Mellon University（卡内基梅隆大学）；University of Oregon（俄勒冈大学）；University of Michigan（密歇根大学）
在许多重要的自然语言应用中出现了准确预测一组句子的相对阅读难度的问题，例如为智能语言辅导系统寻找和策划有效的使用示例。然而，虽然大量的研究已经探索了文档和文本级别的阅读难度，但在评估单个句子的可读性方面所涉及的特殊挑战却很少受到关注，特别是在考虑周围段落的作用时。我们介绍和评估一种新的方法来估计一组句子的相对阅读难度，有和没有周围的背景。使用不同的词汇和语法特征集，我们探索使用逻辑回归预测成对相对难度的模型，并检查使用贝叶斯评级系统聚合成对难度标签以形成最终排名所产生的排名。我们还比较了有和没有上下文评估的句子的排名，发现上下文特征可以帮助预测这两种情况下相对难度判断的差异。
2016-10-25 cs.CL
LLM surprisal is necessary but not sufficient to capture English garden-path effects: Evidence from joint latent modeling of reading paradigms
Department of Linguistics, University of Potsdam（语言学系，波茨坦大学）；Center for Data Science/Department of Linguistics, New York University（数据科学中心/语言学系，纽约大学）
本文通过联合潜在建模阅读范式，提出了一种更准确的句子消歧模型，证明LLM的惊喜值不足以解释人类阅读行为。
2026-09-25 cs.CL
Multilingual Language Models Predict Human Reading Behavior
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；University of Potsdam（波茨坦大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
我们分析了大语言模型是否能够预测人类阅读行为的模式。我们比较了特定语言和多语言预训练Transformer模型的性能，以预测反映荷兰语，英语，德语和俄语文本上自然人类句子处理的阅读时间测量。这导致人类阅读行为的准确模型，这表明Transformer模型以与人类处理机制相当的方式隐式地编码语言中的相对重要性。我们发现，BERT和XLM模型成功地预测了一系列的眼动追踪功能。在一系列实验中，我们分析了这些模型的跨领域和跨语言能力，并展示了它们如何反映人类的句子处理。
2021-04-12 cs.CL
A Cascade Sequence-to-Sequence Model for Chinese Mandarin Lip Reading
Zhejiang University（浙江大学）
唇读的目的是从说话者的嘴部动作中解读文本。近年来，唇读方法在单词和句子两个层面上都取得了很大的进步。然而，与英语不同，汉语普通话是一种基于音调的语言，依赖于音高来区分词汇或语法意义，这大大增加了唇读任务的歧义。在本文中，我们提出了一个级联序列到序列模型（CSMCM）的汉语普通话唇读，明确模型的音调时，预测的句子。声调是基于视觉信息和句法结构建模的，并与视觉信息和句法结构一起用于预测句子。为了评估CSSMCM，收集并发布了一个名为CMLR（汉语普通话唇读）的数据集，该数据集由中国网络电视网站上的10万多个自然句子组成。在CMLR数据集上进行训练时，所提出的CSMCM超过了最先进的唇读框架的性能，这证实了汉语普通话唇读声调显式建模的有效性。
2019-11-28 cs.CL cs.CV
Disentangling Homophemes in Lip Reading using Perplexity Analysis
London South Bank University（伦敦南岸大学）；Xi’an VANXUM Electronics Technology Co. Ltd.（西安万旭电子科技有限公司）
与使用ASCII字符和单词相比，使用视位作为分类模式的自动唇读的性能取得了较小的成功，这主要是由于不同单词共享相同视位的问题。生成式预训练Transformer是一种有效的自回归语言模型，用于自然语言处理中的许多任务，包括句子预测和文本分类。本文提出了一个新的应用，并将其应用于唇读的背景下，它作为一个语言模型转换的视觉语音形式的视位，语言的形式的单词和句子。该网络使用搜索最佳困惑来执行视位到单词的映射，因此是一个解决一对多映射问题的方案，该问题存在于各种单词中，这些单词在说话时听起来不同，看起来相同。本文提出了一种方法来解决一对多的映射问题时，执行自动唇读仅使用视觉线索在两个单独的情况下：第一种情况是在单词的边界，即开始和结束一个词，是未知的;和第二种情况是在边界是已知的。来自基准BBC数据集"Lip Reading Sentences in the Wild"（LRS 2）的句子被分类为具有10.7%的字符出错率和18.0%的单词出错率。本文的主要贡献是提出了一种方法，预测的话，通过使用困惑分析时，只有视觉线索，使用自回归语言模型。
2020-11-28 cs.CL
Generating Distractors for Reading Comprehension Questions from Real Examinations
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Alibaba DAMO Academy（阿里巴巴达摩院）
本文研究了多项选择题阅读理解题的干扰词生成任务。与以往的研究不同，我们的目标不是准备单词或短语干扰词，而是努力生成更长、语义更丰富的干扰词，这些干扰词更接近于考试中真实阅读理解中的干扰词。以一篇阅读理解文章、一对问题及其正确选项为输入，我们的目标是生成若干个与答案有某种联系、与问题的语义上下文一致、在文章中有一定痕迹的干扰词。我们提出了一个分层的编码器-解码器框架，静态和动态的注意力机制来解决这个问题。具体而言，动态注意力可以结合在每个循环时间步变化的句子级和单词级注意力，以生成更具可读性的序列。静态注意是调节动态注意，使其不关注与问题无关的句子或有助于正确选择的句子。我们提出的框架优于几个强大的基线上的第一个准备分心生成数据集的真正的阅读理解问题。对于人工评估，与基线生成的干扰项相比，我们生成的干扰项更容易混淆注释器。
2018-12-18 cs.CL
U3E: Unsupervised and Erasure-based Evidence Extraction for Machine Reading Comprehension
Beijing Institute of Technology（北京理工大学）
机器阅读理解（MRC）中的更多任务除了需要答案预测外，还需要提取支持答案的证据句子。然而，证据句的标注通常是费时费力的。针对这一问题，考虑到现有的证据提取方法大多是半监督的，提出了一种无监督的证据提取方法（U3E）。U3E将文档中的重复级特征擦除后的变化作为输入，模拟人类记忆力下降导致的问题解决能力下降。为了在充分理解原文语义的基础上进行选择，我们还提出了快速选择最佳记忆模型的指标。为了比较U3E和典型的证据提取方法，并研究其在证据提取中的有效性，我们在不同的数据集上进行了实验。实验结果表明，U3E算法简单有效，不仅能更准确地提取证据，而且能显著提高模型性能。
2022-10-22 cs.CL
Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-sentence Dependency Graph
Emory University（埃默里大学）；NEC Laboratories America（NEC美国实验室）
我们的目标是跨语言机器阅读理解（MRC）的任务，在直接zero-shot设置，通过合并的句法特征，从普遍的相似性（UD），我们使用的关键特征是每个句子内的句法关系。虽然以前的工作已经证明了有效的语法引导的MRC模型，我们建议采用句间的句法关系，除了基本的句内关系，进一步利用在多句输入的MRC任务的句法依赖。在我们的方法中，我们建立了句子间依赖图（ISDG）连接依赖树，以形成跨句子的全局句法关系。然后，我们提出了ISDG编码器，编码的全球依赖图，通过一跳和多跳依赖路径明确地解决句子间的关系。在三个多语言MRC数据集（XQuAD，MLQA，TyDiQA-GoldP）上的实验表明，我们的编码器只在英语上训练，能够提高所有14个测试集的zero-shot性能，覆盖8种语言，平均提高高达3.8 F1 / 5.2 EM，某些语言的5.2 F1 / 11.2 EM。进一步的分析表明，这种改进可以归因于对跨语言一致性句法路径的关注。
2022-03-15 cs.CL cs.LG
Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents
JD AI Research（京东AI研究院）
可解释多跳阅读理解是一个具有挑战性的问题，因为它需要对多个信息源进行推理，并通过提供支持证据来解释答案预测。在本文中，我们提出了一个有效的和可解释的选择，回答和解释（SAE）系统来解决多文档RC问题。我们的系统首先过滤掉与答案无关的文档，从而减少分散注意力的信息量。这是通过一个新的成对学习排名损失训练的文档分类器实现的。然后将所选择的答案相关文档输入到模型中，以联合预测答案和支持句子。该模型是优化的多任务学习目标上的令牌水平的答案预测和句子水平的支持句子预测，以及这两个任务之间的注意力为基础的互动。HotpotQA，一个具有挑战性的多跳RC数据集进行评估，建议SAE系统实现最高的竞争力的性能相比，其他现有的系统在排行榜上的分心设置。
2020-02-10 cs.CL
Bridging the Gap between Language Model and Reading Comprehension: Unsupervised MRC via Self-Supervision
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
尽管最近在机器阅读理解（MRC）方面取得了成功，但学习高质量的MRC模型仍然需要大规模的标记训练数据，即使使用强大的预训练语言模型（PLM）。PLM的预训练任务不是问答或基于MRC的任务，使得现有的PLM无法直接用于无监督的MRC。具体来说，MRC的目标是从给定的文档中找到一个准确的答案，而PLM则专注于句子中的标记填充。在本文中，我们提出了一个新的框架，无监督MRC。首先，我们提出通过自监督学习来学习发现文档中的答案跨度，通过为MRC - Spotting-MLM设计一个自监督借口任务。解决这个任务需要捕捉文档中句子之间的深层交互。其次，我们在推理阶段采用简单的句子重写策略，以减轻问题和文档之间的表达不匹配。实验表明，我们的方法实现了一个新的国家的最先进的性能无监督MRC。
2021-07-19 cs.CL
Bilingual Text Extraction as Reading Comprehension
NTT Corporation（日本电信电话株式会社）
在本文中，我们提出了一种方法来自动提取双语文本从嘈杂的平行语料库框架的问题作为一个标记级的跨度预测，如SQuAD风格的阅读理解。为了提取目标文档的跨度，即给定源句子（跨度）的翻译，我们使用QANet或多语言BERT。QANet可以从头开始针对特定的并行语料库进行训练，而多语言BERT可以利用预先训练的多语言表示。对于使用QANet的跨度预测方法，我们引入了一种使用整数线性规划的总体优化方法，以实现预测并行跨度的一致性。我们使用具有两种语言对（En-Fr和En-Ja）的模拟嘈杂并行语料库进行并行句子提取实验，发现使用QANet的方法比使用两个双向RNN编码器的基线方法实现了更好的准确性，特别是对于遥远的语言对（En-Ja）。我们还进行了一个句子对齐实验，使用En-Ja报纸的文章，发现所提出的方法，使用多语言BERT实现了显着更好的准确性比基线方法，使用双语词典和动态规划。
2020-04-29 cs.CL
Assessing Language Proficiency from Eye Movements in Reading
MIT BCS（麻省理工学院脑与认知科学系）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出了一种利用阅读过程中眼动行为轨迹来确定学习者第二语言水平的新方法。我们的方法提供了独立的眼动跟踪为基础的英语水平分数，反映了在何种程度上学习者的凝视模式在阅读中是类似的母语为英语的。我们发现，我们的成绩与标准化英语水平测试密切相关。我们还证明，凝视信息可以用来准确地预测这种测试的结果。我们的方法产生最强的性能时，考生提出了一套句子，我们从其他读者的眼动数据。然而，它仍然有效，即使使用眼动跟踪的句子，眼睛运动数据尚未收集。通过将熟练程度作为普通阅读过程中眼动的自动副产品，我们的方法为第二语言水平评估提供了一个潜在的有价值的新工具。更广泛地说，我们的研究结果为未来从阅读行为痕迹推断读者特征的方法打开了大门。
2018-04-24 cs.CL
An Existence Proof for Neural Language Models That Can Explain Garden-Path Effects via Surprisal
The University of Tokyo（东京大学）；NINJAL；NII LLMC（日本国家研究所语言模型中心）；MBZUAI（穆桑大学人工智能研究所）
本文通过微调神经语言模型，证明其能通过惊奇度解释路径效应，并提升对自然语料阅读时间的预测能力，同时引发对惊奇度理论的质疑。
2026-04-20 cs.CL
Attention-aware semantic relevance predicting Chinese sentence reading
University of Tübingen（蒂宾根大学）
本文提出注意力感知的语义相关性计算方法，结合上下文贡献与期望效应，能更准确预测中文阅读眼动注视时长，并支持语义预视效益的存在。
2024-03-27 cs.CL cs.LG
Reading Between the Waves: Robust Topic Segmentation Using Inter-Sentence Audio Features
本文提出利用跨句音频特征进行鲁棒性话题分割，通过多模态方法提升分割性能，并在多个数据集上验证了其有效性。
2026-02-06 cs.CL eess.AS
SEAM: An Integrated Activation-Coupled Model of Sentence Processing and Eye Movements in Reading
University of Potsdam（波茨坦大学）
SEAM模型首次将眼动控制与句子处理整合，结合SWIFT和Lewis-Vasishth模型，通过贝叶斯推断再现阅读中的相似性干扰眼动模式。
2023-12-20 cs.CL q-bio.NC
Does Attention Mechanism Possess the Feature of Human Reading? A Perspective of Sentiment Classification Task
Nanjing University of Science and Technology（南京理工大学）
【目的】为了理解一个句子的意思，人类可以专注于句子中的重要单词，这反映了我们的眼睛在不同的注视时间或时间停留在每个单词上。因此，一些研究利用眼动跟踪值来优化深度学习模型中的注意力机制。但这些研究缺乏对这种做法合理性的解释。注意力机制是否具备人类阅读的这一特征，还有待探讨。[设计/方法/方式]我们进行了情感分类任务的实验。首先，我们从两个开放源代码的眼动语料库中获得眼动值来描述人类阅读的特征。然后，从情感分类模型中学习每个句子的机器注意力值。最后，进行了比较，以分析机器注意力值和眼动跟踪值。[发现]通过实验，我们发现注意力机制可以集中在重要的词上，例如形容词、副词和情感词，这些词对于判断情感分类任务中句子的情感很有价值。它具有人类阅读的特点，阅读时关注句子中的重要单词。由于对注意力机制的学习不足，导致一些单词的聚焦错误。眼动跟踪值可以帮助注意力机制纠正这种错误并提高模型性能。[独创性/价值]我们的研究不仅为利用眼动跟踪值优化注意力机制的研究提供了合理的解释，也为注意力机制的可解释性提供了新的启示。
2022-09-08 cs.CL cs.HC
Improving Named Entity Recognition by External Context Retrieving and Cooperative Learning
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
命名实体识别（NER）的最新进展表明，文档级上下文可以显着提高模型的性能。然而，在许多应用场景中，这样的上下文不可用。在本文中，我们提出了通过检索和选择一组语义相关的文本，通过搜索引擎，与原来的句子作为查询的句子的外部上下文。我们发现经验上的上下文表示计算基于检索的输入视图，通过连接的句子和它的外部上下文，可以实现显着改善的性能相比，原来的输入视图仅基于句子。此外，我们可以通过协作学习来提高两个输入视图的模型性能，这种训练方法鼓励两个输入视图产生相似的上下文表示或输出标签分布。实验表明，我们的方法可以实现新的国家的最先进的性能8 NER数据集在5个领域。
2022-12-08 cs.AI cs.CL cs.LG
Decomposing predictability: Semantic feature overlap between words and the dynamics of reading for meaning
University of Wuppertal（伍珀塔尔大学）
本研究采用计算的方法来考察语义限制在正常阅读中的作用。这种方法避免了传统的可预测性措施固有的混乱，允许在理论上更深入的语义处理帐户。我们从一个词之间的关联的定义的基础上显着的日志可能性，两个词共同出现在一个大型文本语料库的句子经常在一起。刺激词之间的直接关联被控制，启动词和目标词之间的语义特征重叠被它们的共同关联所操纵。刺激由代词、动词、冠词、形容词和名词等形式的句子组成，然后是一系列封闭类词，如。G.“她骑着灰象踏上了她众多探索之旅中的一次”结果表明，动名重叠减少了目标名词的单一注视和首次注视时间，形容词重叠减少了过去注视时间。激活的动态传播的帐户表明，联想的启动词需要一段时间才能成为激活：动词可以对目标名词的早期眼动措施提出三个字后，而形容词是之前提出的目标，这导致句子重新检查后，困难的形容词-名词语义整合。
2019-12-06 cs.CL
STRUCTURALCOST: A controlled reading time dataset for modeling human sentence processing difficulty
LLF, CNRS, Université Paris Cité（巴黎西岱大学语言与法国语言学实验室，法国国家科学研究中心）；COLT, Universitat Pompeu Fabra（庞培法布拉大学计算语言学与语言技术实验室）；Unicog, Neurospin, CEA（法国原子能委员会神经自旋神经影像研究中心，认知神经科学单元）；LNC2, ENS-PSL（巴黎高等师范学院认知神经科学实验室）；INSERM, CNRS（法国国家健康与医学研究院，法国国家科学研究中心）
本文提出STRUCTURALCOST数据集，包含475名参与者的40,800个观测，用于隔离长距离主谓依存解析成本，并发现语言模型低估了人类整合成本，为评估模型认知合理性提供数据。
2026-10-07 cs.AI cs.CL
Relating Simple Sentence Representations in Deep Neural Networks and the Brain
Indian Institute of Science（印度科学学院）；Carnegie Mellon University（卡内基梅隆大学）
深度递归模型学习到的句子表征与大脑编码的句子表征之间有什么关系？这些循环模型的隐藏层与处理句子时的大脑区域之间是否存在任何对应关系？这些深度模型能否用于合成大脑数据，然后用于其他外在任务？我们使用具有简单句法和语义的句子（例如，骨头被狗吃了。我们考虑多种神经网络架构，包括最近提出的ELMo和BERT。我们使用脑磁图（MEG）的大脑记录数据收集人类受试者时，他们正在阅读这些简单的句子。总的来说，我们发现BERT的激活与MEG大脑数据的相关性最好。我们还发现，深度网络表示可以用于从新句子中生成大脑数据，以增强现有的大脑数据。据我们所知，这是第一项工作表明，当阅读句子中的一个单词时，MEG大脑记录可以用来区分句子中较早的单词。我们的探索也是第一次使用深度神经网络表示来生成合成大脑数据，并表明它有助于提高后续刺激解码任务的准确性。
2019-06-27 cs.CL
Dual Alignment Between Language Model Layers and Human Sentence Processing
MBZUAI；Tohoku University（东北大学）；UC San Diego（南加州大学）；The University of Tokyo（东京大学）；Georgetown University（乔治城大学）
研究探讨了语言模型内部层在处理语法歧义时对人类认知努力的估计能力，发现后期层更准确但仍低估人类数据，揭示了人类与语言模型在句子加工中的不同模式。
2026-04-20 cs.CL
Readers make targeted regressions to plausible errors in reanalysis of "noisy-channel garden-path" sentences
MIT Brain and Cognitive Sciences（麻省理工学院脑与认知科学）
研究探讨了读者在处理‘噪声通道花园路径’句子时如何通过后续信息定位可能的错误，揭示了阅读动态中的定向回归现象及对噪声通道语言理解理论的影响。
2026-05-18 cs.CL
RE$^2$: Improving Chinese Grammatical Error Correction via Retrieving Appropriate Examples with Explanation
Research Center for SCIR, Harbin Institute of Technology（SCIR研究中心，哈尔滨工业大学）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（认知智能国家重点实验室，iFLYTEK研究院）；Artificial Intelligence and Human Language Lab, Beijing Foreign Studies University（人工智能与语言实验室，北京外国语大学）
针对基于文本相似度检索示例易与语法错误模式不匹配的问题，本文提出 RE²，利用语法错误解释选择参考示例以增强 LLM，并构建高质量 GEE 数据集，实验证明其可有效提升 CGEC 性能。
2025-09-30 cs.CL
XCMRC: Evaluating Cross-lingual Machine Reading Comprehension
Beijing Language and Culture University（北京语言大学）；Tencent Cloud AI（腾讯云AI）
我们提出XCMRC，第一个公共跨语言语言理解（XLU）基准，旨在测试机器的跨语言阅读理解能力。具体来说，XCMRC是一个跨语言完形填空式的机器阅读理解任务，要求读者通过阅读源语言（中文/英文）中的给定段落来填充目标语言（英文/中文）中句子中的一个缺失单词（我们另外提供了十个名词候选）。汉语和英语是资源丰富的语言对，为了研究低资源跨语言机器阅读理解（XMRC），除了定义不限制使用外部语言资源的普通XCMRC任务外，还定义了限制使用语言资源的伪低资源XCMRC任务。此外，我们还分别为普通XCMRC任务和伪XCMRC任务提供了两个基线。我们还为这两项任务提供了一个上限基线。我们发现，对于常见的XCMRC任务，基于解释的方法和基于多语言句子编码器的方法可以获得合理的性能，但仍有很大的改进空间。对于伪低资源XCMRC任务，由于对语言资源的使用有严格的限制，我们的两种方法都远远低于上界，因此还有很多挑战。
2019-08-15 cs.CL
Meta Sequence Learning for Generating Adequate Question-Answer Pairs
创建多项选择题来评估给定文章的阅读理解，涉及到根据文档的要点生成问答对（QAP）。我们提出了一个学习计划，以产生足够的QAP通过元序列表示的句子。Meta序列是包括语义和句法标签的向量序列。特别是，我们设计了一个计划称为MetaQA学习Meta序列从训练数据，形成一个陈述句（MD）和相应的疑问句（MIs）的Meta序列对。在给定的陈述句上，经过训练的MetaQA模型将其转换为Meta序列，找到匹配的MD，并使用相应的MI和输入句子来生成QAP。我们使用语义角色标注，词性标记和命名实体识别来实现英语语言的MetaQA，并表明在一个小数据集上进行训练，MetaQA有效地生成了大量语法和语义正确的QAP，准确率超过97%。
2021-09-30 cs.CL
ZuCo 2.0: A Dataset of Physiological Recordings During Natural Reading and Annotation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
我们记录并预处理了ZuCo 2.0，这是一个新的数据集，在自然阅读和注释过程中同时进行眼动跟踪和脑电图。该语料库包含739个句子的凝视和大脑活动数据，其中349个在正常阅读范式中，390个在特定任务范式中，其中18名参与者主动搜索给定句子中的语义关系类型作为语言注释任务。这个新的数据集通过提供旨在分析自然阅读和注释之间认知处理差异的实验来补充ZuCo 1.0。这些数据可以在这里免费获得：https://osf.io/2urht/。
2020-03-07 cs.CL cs.HC
REPT: Bridging Language Models and Machine Reading Comprehension via Retrieval-Based Pre-training
Shandong University（山东大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Damo Academy（达摩院）
在过去的几年里，预训练语言模型（PLM）在机器阅读理解（MRC）方面取得了巨大的成功。虽然从大规模语料库中学习到的一般语言表示确实有益于MRC，但需要跨多个句子进行推理的证据提取的支持不足阻碍了PLM进一步推进MRC。为了弥合通用PLM和MRC之间的差距，我们提出了REPT，一种基于REtrieval的预训练方法。特别是，我们引入了两个自监督任务来加强预训练期间的证据提取，这是进一步继承下游MRC任务通过一致的检索操作和模型架构。为了评估我们提出的方法，我们对五个MRC数据集进行了广泛的实验，这些数据集需要从多个句子中收集证据并进行推理。实验结果证明了我们的预训练方法的有效性。进一步的分析表明，该方法能够在没有明确监督的情况下提高证据提取能力。
2021-05-18 cs.CL
Modeling semantic association in self-paced reading with language model embeddings
Department of Computational Cognitive Science, Tilburg University（蒂尔堡大学计算认知科学系）；Center for Humanities Computing, Aarhus University（奥胡斯大学人文计算中心）
本研究使用语言模型嵌入的十种实现方式量化语义关联，通过贝叶斯模型分析其对N400和自定步速阅读时间的影响，发现句子嵌入能可靠捕捉超出词可预测性的语义关联。
2026-06-05 cs.CL
Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models
University of Amsterdam（阿姆斯特丹大学）；Northeastern University（东北大学）；Technion – IIT（以色列理工学院）
该研究针对自回归Transformer语言模型增量语言输入处理特征不明的问题，通过稀疏自编码器分析花园路径句处理机制，发现模型兼具句法特征与浅层启发式特征、同时考量两种解读且不复用相关特征回答后续问题。
2024-12-06 cs.CL
Generating and Evaluating Tests for K-12 Students with Language Model Simulations: A Case Study on Sentence Reading Efficiency
Stanford University（斯坦福大学）
本研究通过微调大型语言模型模拟学生回答，结合GPT-4生成和筛选项目，并采用最优传输技术生成平行测试，在234名2至8年级学生中验证了生成测试与专家编写测试的高相关性（r=0.93）。
2023-10-10 cs.CL cs.LG
BERT for Evidence Retrieval and Claim Verification
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
受预训练语言模型的良好性能的启发，我们研究了BERT在证据检索和索赔验证管道中的FEVER事实提取和验证挑战。为此，我们建议使用两个BERT模型，一个用于检索支持或拒绝索赔的潜在证据句子，另一个用于根据预测的证据集验证索赔。为了对BERT检索系统进行训练，我们使用逐点和成对的损失函数，并检验了硬负挖掘的效果。第二个BERT模型被训练来将样本分类为支持的、反驳的和信息不足的。我们的系统实现了一个新的国家的最先进的召回87.1检索前五个句子的FEVER文件组成的50K维基百科的页面，并得分第二，在官方排行榜与FEVER得分69.7。
2019-10-07 cs.CL
Gaze-Driven Sentence Simplification for Language Learners: Enhancing Comprehension and Readability
Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）
针对语言学习者阅读难文查字典耗时分心的问题，提出结合眼动与语言特征、用GPT-3.5生成简化句的视线驱动句子简化系统，经19名学习者实验验证可准确评估理解度并提升可读性。
2023-09-30 cs.CL cs.HC
The role of inhibitory control in garden-path sentence processing: A Chinese-English bilingual perspective
Guangdong University of Foreign Studies（广东外语外贸大学）；The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
本研究从汉英双语视角探究抑制控制在花园路径句加工中的作用，发现其不影响母语花园路径恢复，与二语熟练度呈复杂关联，还确定了双语研究中测量抑制控制的优选Stroop任务版本。
2024-12-13 cs.CL
Reading Task Classification Using EEG and Eye-Tracking Data
University of Copenhagen（哥本哈根大学）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；University of Potsdam（波茨坦大学）
苏黎世认知语言处理语料库（ZuCo）提供了来自两种阅读范式（正常阅读和特定任务阅读）的眼动追踪和EEG信号。我们分析了机器学习方法是否能够使用眼动追踪和EEG特征对这两个任务进行分类。我们实现的模型具有聚合的词汇级功能以及细粒度的单词级功能。我们测试的模型在学科内和跨学科的评估方案。所有模型都在ZuCo 1.0和ZuCo 2.0数据子集上进行了测试，这些数据子集的特征在于不同的记录程序，从而允许不同水平的概括性。最后，我们提供了一系列的控制实验，更详细地分析结果。
2021-12-12 cs.CL
From a Word-Level Dictionary to Sentence-Level Semantics: Multilingual Grievance Labelling with Contextual Models
University of Technology Sydney（悉尼科技大学）
研究针对多语言不满情绪标注，指出词级词典存在问题，提出用上下文阅读模型取代术语匹配，在非循环基准上评估，结果显示阅读上下文能更准确测量不满情绪，在未选文本上测试更诚实，还发布了代码和基准。
2026-07-24 cs.CL
Broad Context Language Modeling as Reading Comprehension
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；University of Chicago（芝加哥大学）
文本理解的进展是由测试特定能力的大型数据集驱动的，如最近的阅读理解数据集（Hermann et al.，2015年）。我们在这里关注LAMBADA数据集（Paperno等人，2016），一个单词预测任务需要比直接句子更广泛的上下文。我们认为LAMBADA作为一个阅读理解问题，并应用基于神经网络的理解模型。虽然这些模型被限制在从上下文中选择一个词，但它们将LAMBADA的最新技术水平从7.3%提高到了49%。我们分析了100个实例，发现神经网络阅读器在涉及基于对话或话语线索从上下文中选择名称的情况下表现良好，但在需要共指消解或外部知识时表现不佳。
2017-02-16 cs.CL
Learning to Ask: Neural Question Generation for Reading Comprehension
Cornell University（康奈尔大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究了阅读理解中从篇章中自动生成句子的问题。我们引入了一个基于注意力的序列学习模型的任务，并研究了编码句子与段落级信息的效果。与以前的所有工作相比，我们的模型不依赖于手工制作的规则或复杂的NLP管道;相反，它是通过序列到序列学习的端到端可训练的。自动评估结果表明，我们的系统显着优于国家的最先进的基于规则的系统。在人类评估中，我们的系统生成的问题也被评为更自然（即，语法性、流畅性）和更难回答（就句法和词汇与原文的分歧以及回答所需的推理而言）。
2017-04-29 cs.AI cs.CL
Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention
Georgia Institute of Technology（佐治亚理工学院）
本研究通过四种大语言模型，探究人类与模型在处理花园小径句及持续误解上的一致性，发现二者在处理上表现出有前景的趋同，尤其在句法外信息引导时。
2024-05-25 cs.CL
Learning Open Information Extraction of Implicit Relations from Reading Comprehension Datasets
The Wharton School（沃顿商学院）；University of Pennsylvania（宾夕法尼亚大学）；Western Engineering（西部工程学院）；University of Western Ontario（西安大略大学）
句子中两个实体之间的关系通常由语序和常识暗示，而不是明确的谓语。例如，很明显，“美联储主席鲍威尔表示加息”意味着（鲍威尔，是美联储主席）和（鲍威尔，为美联储工作）。这些元组与显式谓词元组一样重要（鲍威尔指出，利率上升），但在传统的开放信息抽取（OpenIE）系统下召回率要低得多。隐式元组是我们对这种类型的提取的术语，其中关系不存在于输入句子中。相对于其他NLP任务，OpenIE的训练数据非常少，而且没有一个专注于隐式关系。我们开发了一个开源的，基于解析的工具，用于将大型阅读理解数据集转换为OpenIE数据集，并发布了一个比以前的句子数量大35倍的数据集。在此数据上训练的基线神经模型在隐式提取任务上优于以前的方法。
2019-05-15 cs.CL cs.IR cs.LG
Learning Sentence Representation with Guidance of Human Attention
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，在学习跨领域通用的句子表征方面取得了很大进展。然而，大多数现有的模型通常平等地对待句子中的每个单词。相比之下，大量的研究已经证明，人类通过一系列的注视和扫视来有效地阅读句子。这促使我们通过为组成词的向量分配不同的权重来改进句子表示，这可以被视为对单个句子的注意力机制。为此，我们提出了两种新的注意力模型，其中注意力权重是使用人类阅读时间的重要预测因子来推导的，即，惊喜，POS标签和CCG超级标签。大量的实验表明，所提出的方法显着改善国家的最先进的句子表示模型。
2017-05-09 cs.CL
ContextSpeech: Expressive and Efficient Text-to-Speech for Paragraph Reading
The Chinese University of Hong Kong（香港中文大学）；Microsoft（微软）
针对现有TTS系统在长文本朗读中忽略跨句上下文、计算成本高的问题，本研究提出ContextSpeech系统，通过内存缓存循环机制、层级文本语义和线性化自注意力，在保障效率的同时提升了段落朗读的语音质量与韵律表现力。
2023-10-07 cs.AI cs.CL eess.AS
The Copenhagen Corpus of Eye Tracking Recordings from Natural Reading of Danish Texts
University of Copenhagen（哥本哈根大学）；IT University of Copenhagen（哥本哈根信息技术大学）
阅读过程中的眼动记录是人类语言处理过程中最丰富的信号之一。眼动语料库在阅读上下文运行的文本是一种方式，使这些记录可用于自然语言处理的目的。这样的语料库已经存在于一些语言中。我们目前CopCo，哥本哈根语料库的眼动追踪录音从自然阅读丹麦文本。这是丹麦语的第一个眼动追踪语料库。CopCo包括1，832个句子和34，897个从演讲稿中提取的丹麦语文本标记。该语料库的首次发布包含来自22名参与者的眼动追踪数据。它将随着更多的参与者和其他体裁的文本而不断扩展。我们评估了记录的眼动数据的质量，发现提取的特征与相关研究一致。数据集在这里：https://osf.io/ud8s5/。
2022-04-28 cs.CL
A Vietnamese Dataset for Evaluating Machine Reading Comprehension
University of Information Technology（信息大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
世界上有超过9700万人将越南语作为母语。然而，针对越南语机器阅读理解（MRC）的研究较少，由于缺乏越南语的基准数据集，本文提出了越南语问答数据集（ViQuAD），这是一个针对越南语这一低资源语言的新数据集，用于评估MRC模型。该数据集包含超过23，000个人工生成的问答对，基于维基百科174篇越南语文章的5，109段。特别是，我们提出了一个新的越南MRC数据集创建过程。我们的深入分析表明，我们的数据集需要超越单词匹配等简单推理的能力，并需要单句和多句推理。此外，我们进行了国家的最先进的MRC方法为英语和汉语作为第一个实验模型的EST-ViQuAD的实验。我们还估计了人类在数据集上的表现，并将其与强大的机器学习模型的实验结果进行了比较。因此，人类表现与数据集上最佳模型表现之间的实质性差异表明，在未来的研究中，可以对EST-ViQuAD进行改进。我们的数据集可在我们的网站上免费获得，以鼓励研究界克服越南MRC的挑战。
2020-11-07 cs.CL
Characterizing the Influence of Features on Reading Difficulty Estimation for Non-native Readers
Academia Sinica（中央研究院）；National Taiwan University（国立台湾大学）
近年来，将英语作为第二语言（ESL）学习的人数已经超过了以英语为母语的人数。最近的工作已经证明了基于阅读难度提供个性化内容的成功，例如信息检索和摘要。然而，几乎所有先前的阅读困难的研究是专为母语者，而不是非母语读者。在这项研究中，我们调查了ESL读者的各种特征，通过进行线性回归来估计英语语言源的阅读水平。这种估计不仅基于词汇和句法特征的复杂性，而且还基于几个新的概念，包括从几个来源获得的单词和语法的年龄，WordNet的词义以及句子之间的隐含关系。通过使用贝叶斯信息准则（BIC）来选择最优模型，我们发现单词数量、单词获取年龄和句法分析树高度的组合比其他竞争模型产生更好的结果。因此，我们的研究结果表明，建议的第二语言阅读难度估计优于其他第一语言阅读难度估计。
2018-08-29 cs.CL
Single-Pass, Depth-Selective Reading for Multi-Aspect Sentiment Analysis
Universiti Malaya, Malaysia（马来大学，马来西亚）；Suzhou University of Technology, China（苏州科技学院，中国）；VinUniversity, Vietnam（文大学，越南）
本文提出DABS框架，通过单次编码构建可重用的深度有序基底，使多方面情感分析在保持性能的同时减少60%的端到端计算量。
2026-05-20 cs.AI cs.CL
Integrating large language models and active inference to understand eye movements in reading and dyslexia
Institute of Cognitive Sciences and Technologies, National Research Council（认知科学与技术研究所，国家研究院）
本文提出一种结合大型语言模型与分层主动推理的计算模型，模拟阅读和眼动过程，揭示阅读障碍的适应不良预测机制。
2025-08-08 cs.CL q-bio.NC
Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
最近的无监督文本表示学习模型采用了许多技术来改善上下文单词表示，但很少关注话语级表示。我们提出了CONPONO，一个用于预训练语言模型的句间目标，它模拟了话语连贯性和句子之间的距离。给定一个锚定句子，我们的模型被训练为使用sampled-softmax目标来预测k个句子之外的文本，其中候选者由相邻句子和从语料库中随机采样的句子组成。在话语表征基准DiscoEval上，我们的模型比以前的最先进水平提高了13%，在7个任务中平均提高了4%。我们的模型与BERT-Base的大小相同，但优于更大的BERT- Large模型和其他最近的包含话语的方法。我们还表明，CONPONO产生2%-6%的绝对收益，即使是没有明确评估话语的任务：文本蕴涵（RTE），常识推理（COPA）和阅读理解（ReCoRD）。
2020-05-20 cs.CL
Vectors from Larger Language Models Predict Human Reading Time and fMRI Data More Poorly when Dimensionality Expansion is Controlled
The Ohio State University（俄亥俄州立大学）；Shanghai Jiao Tong University（上海交通大学）
本研究控制维度扩展后发现，当使用参数达660亿的未训练LLM评估时，更大LLM的向量对人类阅读时间和fMRI数据的预测效果更差，训练LLM的贡献在数十亿参数时归零。
2026-09-01 cs.CL
