Beyond Static and Linear: What Attention Constraints Best Fit Human Reading Times?
Georgetown University(乔治城大学);The Ohio State University(俄亥俄州立大学);UC San Diego(加州大学圣迭戈分校)
该研究在不同模型规模与训练语料下系统比较多种注意力记忆机制,发现对中间词元内容敏感的约束与人类阅读时间匹配度最高,且动态记忆课程下心理测量拟合度与语法能力存在分离,提示Transformer无法作为通用认知模型。
2026-10-26 cs.CL
Generating Distractors for Reading Comprehension Questions from Real Examinations
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Alibaba DAMO Academy(阿里巴巴达摩院)
本文研究了多项选择题阅读理解题的干扰词生成任务。与以往的研究不同,我们的目标不是准备单词或短语干扰词,而是努力生成更长、语义更丰富的干扰词,这些干扰词更接近于考试中真实阅读理解中的干扰词。以一篇阅读理解文章、一对问题及其正确选项为输入,我们的目标是生成若干个与答案有某种联系、与问题的语义上下文一致、在文章中有一定痕迹的干扰词。我们提出了一个分层的编码器-解码器框架,静态和动态的注意力机制来解决这个问题。具体而言,动态注意力可以结合在每个循环时间步变化的句子级和单词级注意力,以生成更具可读性的序列。静态注意是调节动态注意,使其不关注与问题无关的句子或有助于正确选择的句子。我们提出的框架优于几个强大的基线上的第一个准备分心生成数据集的真正的阅读理解问题。对于人工评估,与基线生成的干扰项相比,我们生成的干扰项更容易混淆注释器。
2018-12-18 cs.CL
Broad Context Language Modeling as Reading Comprehension
Toyota Technological Institute at Chicago(芝加哥丰田工业大学);University of Chicago(芝加哥大学)
文本理解的进展是由测试特定能力的大型数据集驱动的,如最近的阅读理解数据集(Hermann et al.,2015年)。我们在这里关注LAMBADA数据集(Paperno等人,2016),一个单词预测任务需要比直接句子更广泛的上下文。我们认为LAMBADA作为一个阅读理解问题,并应用基于神经网络的理解模型。虽然这些模型被限制在从上下文中选择一个词,但它们将LAMBADA的最新技术水平从7.3%提高到了49%。我们分析了100个实例,发现神经网络阅读器在涉及基于对话或话语线索从上下文中选择名称的情况下表现良好,但在需要共指消解或外部知识时表现不佳。
2017-02-16 cs.CL
Human Attention during Goal-directed Reading Comprehension Relies on Task Optimization
College of Biomedical Engineering and Instrument Sciences, Zhejiang University(浙江大学生物医学工程与仪器科学学院);Zhejiang lab(浙江实验室);Division of Arts and Sciences, New York University Shanghai(上海纽约大学文理学院)
本文通过眼动追踪与基于 transformer 的 DNN 对比,证明目标导向阅读中的人类注意力分布可由任务优化模型的注意力权重解释。
2023-04-23 cs.AI cs.CL
Multi-granularity hierarchical attention fusion networks for reading comprehension and question answering
Alibaba Group(阿里巴巴集团)
本文描述了一种新的层次注意网络的阅读理解风格的问答,其目的是回答一个给定的叙述段落的问题。在该方法中,注意力和融合进行水平和垂直跨层的问题和段落之间的不同粒度的水平。具体来说,它首先编码的问题和段落与细粒度的语言嵌入,以更好地捕捉各自的表示在语义层面。然后提出了一种多粒度融合方法,充分融合来自全局和关注表示的信息。最后,引入层次注意网络,通过多层次软对齐逐步关注答案广度。在大规模SQuAD和TriviaQA数据集上的实验验证了该方法的有效性。在撰写本文时(2018年1月12日),我们的模型在SQuAD排行榜上获得了单个和集成模型的第一名。我们还在TriviaQA、AddSent和AddOne-Sent数据集上实现了最先进的结果。
2018-11-29 cs.CL
A3Net: Adversarial-and-Attention Network for Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学)
本文介绍了一种用于机器阅读理解的对抗注意力网络(A3 Net)。该模型从两个角度扩展了现有方法。首先,对抗性训练应用于模型中的几个目标变量,而不仅仅是输入或嵌入。我们根据原始目标变量的范数来控制对抗性扰动的范数,这样我们就可以在训练过程中对多个目标变量联合添加扰动。作为一种有效的正则化方法,对抗训练提高了模型的鲁棒性和泛化能力。其次,我们提出了一个多层注意力网络,利用三种高效的注意力机制。多层次注意在每一层中引导问题和篇章之间的互动,有助于对模型的合理表征和理解。结合这两个贡献,我们提高了数据集的多样性和模型的信息提取能力的同时。同时,我们为WebQA数据集构建了A3 Net。结果表明,我们的模型优于国家的最先进的模型(提高模糊得分从73.50%到77.0%)。
2018-09-03 cs.CL
Attention-Guided Answer Distillation for Machine Reading Comprehension
National University of Defense Technology(中国人民解放军国防科技大学);Microsoft Research Asia(微软亚洲研究院)
尽管目前的阅读理解系统已经取得了显着的进步,他们有前途的表现往往是在获得的成本,使众多的模型的合奏。此外,现有的方法也容易受到对抗攻击。本文通过利用知识蒸馏来解决这些问题,知识蒸馏的目的是将知识从集成模型转移到单个模型。我们首先证明了香草知识蒸馏应用于答案跨度预测是有效的阅读理解系统。然后,我们提出了两种新的方法,不仅惩罚预测混乱的答案,但也指导训练与对齐信息从合奏。实验表明,与集成教师相比,我们最好的学生模型在SQuAD测试集上的F1只有0.4%的轻微下降,而在推理过程中运行速度快了12倍。它甚至在对抗性SQuAD数据集和NarrativeQA基准测试中优于教师。
2018-09-17 cs.CL
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
Natural Questions是一个新的具有挑战性的机器阅读理解基准,具有两个粒度的答案,即长答案(通常是一个段落)和短答案(长答案中的一个或多个实体)。尽管现有的方法在这个基准上是有效的,但它们在训练过程中单独对待这两个子任务,而忽略了它们的依赖关系。为了解决这个问题,我们提出了一种新的多粒度机器阅读理解框架,重点是在其层次结构的性质,这是不同级别的粒度建模文档:文档,段落,句子和令牌。我们利用图形注意力网络来获得不同级别的表示,以便它们可以同时学习。长答案和短答案可以分别从段落级表示和标记级表示中提取。通过这种方式,我们可以对两个粒度答案之间的依赖关系进行建模,从而为彼此提供证据。我们联合训练这两个子任务,我们的实验表明,我们的方法显着优于以前的系统在长和短的答案标准。
2020-05-13 cs.CL
LLM surprisal is necessary but not sufficient to capture English garden-path effects: Evidence from joint latent modeling of reading paradigms
Department of Linguistics, University of Potsdam(语言学系,波茨坦大学);Center for Data Science/Department of Linguistics, New York University(数据科学中心/语言学系,纽约大学)
本文通过联合潜在建模阅读范式,提出了一种更准确的句子消歧模型,证明LLM的惊喜值不足以解释人类阅读行为。
2026-09-25 cs.CL
Attention-over-Attention Neural Networks for Reading Comprehension
Joint Laboratory of HIT and iFLYTEK(哈尔滨工业大学与科大讯飞联合实验室);iFLYTEK Research(科大讯飞研究院)
完形填空是阅读理解中的典型问题。在过去的几个月里,我们看到了利用神经网络方法解决完形填空题的进展。在本文中,我们提出了一个新的模型称为注意-过度注意读者完形填空式阅读理解任务。我们的模型旨在将另一个注意力机制置于文档级注意力之上,并诱导“关注注意力”进行最终预测。与以前的工作不同,我们的神经网络模型需要更少的预定义超参数,并使用一个优雅的架构建模。实验结果表明,在CNN和Children's Book Test等公开数据集上,该模型的性能明显优于现有的各种系统.
2017-06-06 cs.CL cs.NE
Consensus Attention-based Neural Networks for Chinese Reading Comprehension
iFLYTEK Research(科大讯飞研究);Research Center for Social Computing and Information Retrieval,Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
阅读理解是近年来自然语言处理研究的热点。一些研究机构已经发布了完形填空式阅读理解的数据,这些数据极大地促进了机器理解的研究。在这项工作中,我们首先提出了中文阅读理解数据集,其中包括人民日报新闻数据集和儿童童话(CFT)数据集。此外,我们提出了一个基于共识注意的神经网络架构来解决完形填空式的阅读理解问题,其目的是诱导对查询中的每个单词的共识注意。实验结果表明,所提出的神经网络显着优于国家的最先进的基线在几个公共数据集。此外,我们还建立了一个中文阅读理解任务的基线,希望这能加快未来研究的进程。
2018-03-15 cs.CL cs.NE
Dynamic Fusion Networks for Machine Reading Comprehension
Carnegie Mellon University(卡内基梅隆大学);Microsoft AI&R(微软人工智能与研究事业部)
提出了一种新的用于机器阅读理解(MRC)的神经网络模型--动态融合网络(DFN)。DFN与大多数最先进的模型不同之处在于它们使用动态多策略注意过程,其中段落,问题和答案候选者共同融合为注意向量,以及用于生成答案的动态多步推理模块。通过使用强化学习,对于由问题、段落和候选答案列表组成的每个输入样本,可以通过确定要应用什么注意力策略以及要采取多少推理步骤来动态地构建具有样本特定网络架构的DFN实例。实验表明,DFN实现了RACE上报告的最佳结果,RACE是一个具有挑战性的MRC数据集,包含各种类型的真实人类阅读问题。一个详细的实证分析还表明,DFNs可以产生的注意向量,总结信息的问题,段落和答案的候选人比其他流行的MRC模型更有效。
2018-02-26 cs.CL
Reinforced Mnemonic Reader for Machine Reading Comprehension
National University of Defense Technology(国防科技大学);Fudan University(复旦大学);Microsoft Research(微软研究院)
在本文中,我们介绍了强化助记符阅读器的机器阅读理解任务,它提高了以前的注意读者在两个方面。首先,提出了一种重注意机制,通过直接访问多轮对齐结构中时间记忆的过去注意力来细化当前注意力,从而避免注意力冗余和注意力不足的问题。其次,一种新的优化方法,称为动态临界强化学习,被引入到扩展的标准监督方法。它总是鼓励预测一个更可接受的答案,以解决收敛抑制问题发生在传统的强化学习算法。在斯坦福大学问答数据集(SQuAD)上的大量实验表明,该模型取得了较好的效果。与此同时,我们的模型在两个对抗SQuAD数据集上的精确匹配和F1指标方面都比以前的系统高出6%以上。
2018-06-06 cs.CL
Discourse-Aware Semantic Self-Attention for Narrative Reading Comprehension
Heidelberg University(海德堡大学)
在这项工作中,我们建议使用语言注释作为基础的\textit{Discourse-Aware Semantic Self-Attention}编码器,我们采用阅读理解长叙事文本。我们提取的话语单位,事件和他们的论点之间的关系,以及共指提及,使用现有的注释工具。我们的实证评估表明,调查结构提高了整体性能,特别是内部和跨部门的话语关系,内部语义角色关系,和长距离共指关系。我们发现,将自我注意力集中在内部关系和连接相邻句子的关系上,有利于在较长的上下文中找到问题的答案。我们的研究结果鼓励使用语篇语义标注来增强自我注意模型对阅读理解的泛化能力。
2019-08-28 cs.CL cs.LG
Linear Recency Bias During Training Improves Transformers' Fit to Reading Times
The Ohio State University(俄亥俄州立大学);New York University(纽约大学)
为弥合标准Transformer无损上下文表征与人类语言加工记忆衰减特性的差距,本研究引入带ALiBi近因偏差的Transformer,发现其惊奇值对阅读时长拟合更优,且斜率混合通过支持不同语言依赖追踪助力提升。
2024-09-17 cs.CL
Does Attention Mechanism Possess the Feature of Human Reading? A Perspective of Sentiment Classification Task
Nanjing University of Science and Technology(南京理工大学)
【目的】为了理解一个句子的意思,人类可以专注于句子中的重要单词,这反映了我们的眼睛在不同的注视时间或时间停留在每个单词上。因此,一些研究利用眼动跟踪值来优化深度学习模型中的注意力机制。但这些研究缺乏对这种做法合理性的解释。注意力机制是否具备人类阅读的这一特征,还有待探讨。[设计/方法/方式]我们进行了情感分类任务的实验。首先,我们从两个开放源代码的眼动语料库中获得眼动值来描述人类阅读的特征。然后,从情感分类模型中学习每个句子的机器注意力值。最后,进行了比较,以分析机器注意力值和眼动跟踪值。[发现]通过实验,我们发现注意力机制可以集中在重要的词上,例如形容词、副词和情感词,这些词对于判断情感分类任务中句子的情感很有价值。它具有人类阅读的特点,阅读时关注句子中的重要单词。由于对注意力机制的学习不足,导致一些单词的聚焦错误。眼动跟踪值可以帮助注意力机制纠正这种错误并提高模型性能。[独创性/价值]我们的研究不仅为利用眼动跟踪值优化注意力机制的研究提供了合理的解释,也为注意力机制的可解释性提供了新的启示。
2022-09-08 cs.CL cs.HC
Every word counts: A multilingual analysis of individual human alignment with model attention
University of Copenhagen(哥本哈根大学)
人类的固定模式已被证明与基于变形金刚的注意力密切相关。这些相关性分析通常在不考虑参与者之间的个体差异的情况下进行,并且大多数是在单语数据集上进行的,因此很难概括结果。在本文中,我们分析了13种不同语言的说话者在母语(L1)和英语作为语言学习者(L2)阅读的眼动数据。我们发现语言之间存在相当大的差异,但个人阅读行为,如跳过率,总阅读时间和词汇知识(LexTALE)影响人类和模型之间的对齐程度,应在未来的研究中考虑。
2022-10-05 cs.CL
Iterative Alternating Neural Attention for Machine Reading
Maluuba Research(Maluuba研究院);University of Montréal(蒙特利尔大学)
我们提出了一种新的神经注意力架构来处理机器理解任务,例如回答关于文档的完形填空式查询。与以前的模型不同,我们没有将查询折叠成单个向量,而是部署了一个迭代的交替注意力机制,允许对查询和文档进行细粒度的探索。我们的模型在标准机器理解基准测试中的表现优于最先进的基线,例如CNN新闻文章和儿童图书测试(CBT)数据集。
2016-11-09 cs.CL cs.NE
Modeling semantic association in self-paced reading with language model embeddings
Department of Computational Cognitive Science, Tilburg University(蒂尔堡大学计算认知科学系);Center for Humanities Computing, Aarhus University(奥胡斯大学人文计算中心)
本研究使用语言模型嵌入的十种实现方式量化语义关联,通过贝叶斯模型分析其对N400和自定步速阅读时间的影响,发现句子嵌入能可靠捕捉超出词可预测性的语义关联。
2026-06-05 cs.CL
Attention-aware semantic relevance predicting Chinese sentence reading
University of Tübingen(蒂宾根大学)
本文提出注意力感知的语义相关性计算方法,结合上下文贡献与期望效应,能更准确预测中文阅读眼动注视时长,并支持语义预视效益的存在。
2024-03-27 cs.CL cs.LG
Sequential Attention: A Context-Aware Alignment Function for Machine Reading
Center for Data Science(数据科学中心);New York University(纽约大学)
在本文中,我们提出了一个神经网络模型,它具有一个新的顺序注意层,通过为输入序列中的单词分配权重来扩展软注意力,这种方式不仅考虑了单词与查询的匹配程度,还考虑了周围单词的匹配程度。我们在阅读理解任务上(在谁做了什么和CNN数据集上)评估了这种方法,并表明它极大地提高了一个强大的基线-斯坦福阅读器-并且与最先进的水平竞争。
2017-06-26 cs.CL cs.LG
ROAP: A Reading-Order and Attention-Prior Pipeline for Optimizing Layout Transformers in Key Information Extraction
ROAP通过优化布局变换器的注意力分布,提升关键信息提取的性能,解决阅读顺序建模和视觉干扰问题。
2026-01-09 cs.CL cs.CV
Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention
Key Laboratory of Computational Linguistics, Peking University, MOE, China(北京大学计算语言学教育部重点实验室);ILCC, School of Informatics, University of Edinburgh, United Kingdom(爱丁堡大学信息学院语言认知计算研究所)
隐含语篇关系的识别是自然语言处理领域中一个具有挑战性的重要课题。对于这样一个复杂的文本处理任务,不同于以往的研究,我们认为,有必要反复阅读的论点,并动态地利用有效的功能,用于识别话语关系。为了模拟重复阅读策略,我们提出了多层次注意神经网络(NNMA),将注意力机制与外部记忆相结合,逐渐将注意力固定在有助于判断语篇关系的特定词汇上。在PDTB数据集上的实验表明,该方法取得了较好的效果。注意力权重的可视化也说明了我们的模型在每个级别上观察参数并逐步定位重要单词的过程。
2016-09-20 cs.AI cs.CL
Sub-word Level Lip Reading With Visual Attention
University of Oxford(牛津大学)
本文的目标是学习强大的唇读模型,可以识别无声视频中的语音。大多数现有的作品处理开放集的视觉语音识别问题,通过适应现有的自动语音识别技术的顶部平凡汇集的视觉功能。相反,在本文中,我们专注于唇读中遇到的独特挑战,并提出量身定制的解决方案。为此,我们做出了以下贡献:(1)我们提出了一种基于注意力的池化机制来聚合视觉语音表示;(2)我们首次使用子词单元进行唇读,并表明这使我们能够更好地对任务的模糊性进行建模;(3)我们提出了一种在唇读网络上训练的视觉语音检测(VSD)模型。根据上述内容,我们在公共数据集上训练时,在具有挑战性的LRS 2和LRS 3基准上获得了最先进的结果,甚至通过使用数量级更少的数据,超过了在大规模工业数据集上训练的模型。我们最好的模型在LRS 2数据集上实现了22.6%的单词出错率,这是唇读模型前所未有的性能,大大减少了唇读和自动语音识别之间的性能差距。此外,在AVA-ActiveSpeaker基准测试中,我们的VSD模型超过了所有仅视觉基准,甚至优于最近的几种视听方法。
2021-12-03 cs.CL cs.CV
Human Sentence Processing: Recurrence or Attention?
Radboud University(拉德堡德大学)
递归神经网络(RNN)长期以来一直是人类句子处理的计算模型的感兴趣的架构。最近推出的Transformer架构在许多自然语言处理任务上优于RNN,但对其建模人类语言处理的能力知之甚少。我们比较了基于Transformer和RNN的语言模型在衡量人类阅读努力方面的能力。我们的分析表明,Transformers在解释英语句子阅读过程中的自定阅读时间和神经活动方面优于RNN,挑战了人们普遍认为的人类句子处理涉及循环和即时处理的观点,并为基于线索的检索提供了证据。
2021-05-04 cs.CL
Co-Attention Hierarchical Network: Generating Coherent Long Distractors for Reading Comprehension
Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
在阅读理解中,产生文章水平的干扰词是一项重要的任务,这需要对文章和问题有深入的理解。传统的以实体为中心的方法只能产生词级或短语级的干扰词。虽然最近提出的基于神经的方法,如序列到序列(Seq2Seq)模型在生成创意文本方面显示出巨大的潜力,但以前用于干扰词生成的神经方法忽略了两个重要方面。首先,他们没有对文章和问题之间的交互进行建模,使得生成的干扰项往往过于笼统或与问题上下文无关。其次,他们没有强调干扰词和文章之间的关系,使得生成的干扰词在语义上与文章无关,因此无法形成一组有意义的选项。为了解决第一个问题,我们提出了一个共同注意增强的层次结构,以更好地捕捉文章和问题之间的相互作用,从而引导解码器产生更多的连贯干扰。为了缓解第二个问题,我们增加了一个额外的语义相似性损失,以推动生成的干扰更相关的文章。实验结果表明,我们的模型在自动度量上优于几个强基线,实现了最先进的性能。进一步的人类评估表明,我们生成的干扰更连贯,更有教育意义的基线相比,这些干扰。
2019-11-20 cs.CL
ClueReader: Heterogeneous Graph Attention Network for Multi-hop Machine Reading Comprehension
Qufu Normal University(曲阜师范大学);East China Normal University(华东师范大学);Shanghai Institute of AI for Education(上海人工智能教育研究院);Harbin Institute of Technology(哈尔滨工业大学);HUTECH University(胡志明市工业大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究院(DaSCI));University of Granada(格拉纳达大学);Iwate Prefectural University(岩手县立大学)
针对多跳机器阅读理解中现有模型推理逻辑与人类不一致的问题,提出模拟祖母细胞概念的异构图注意力网络ClueReader,实现推理可视化,在WikiHop、MedHop数据集上验证了有效性和跨领域应用可行性。
2023-07-21 cs.CL
SimulLR: Simultaneous Lip Reading Transducer with Attention-Guided Adaptive Memory
Zhejiang University(浙江大学)
唇读是一种不依赖于音频流,根据给定的唇动视频来识别口语句子的方法,由于其在许多场景中的应用而引起了人们的极大兴趣。虽然探索唇读的先前工作已经取得了显着的成就,但它们都是以非同时的方式进行训练的,其中生成的预测需要访问完整的视频。为了突破这一限制,我们研究了同时唇读任务,并从三个方面设计了具有注意力引导自适应记忆的同时唇读传感器SimulLR:(1)为了解决单调对齐的挑战,同时考虑到同时设置下生成的句子的句法结构,我们建立了一个基于转换器的模型,并设计了几个有效的训练策略,包括CTC预训练,模型热身和课程学习,促进唇读传感器的训练。(2)为了更好地学习同步编码器的时空表示,我们构建了一个截断的3D卷积和时间限制的自注意层,以执行包含固定数量帧的视频段内的帧到帧的交互。(3)在实时场景下,尤其是海量视频数据的存储,使得历史信息往往是有限的。因此,我们设计了一种新的注意力引导的自适应记忆,以组织历史片段的语义信息,并以可接受的计算感知延迟增强视觉表征。实验结果表明,与现有的非同时翻译方法相比,SimulLR的翻译加速比达到了9.10 $\times$,具有一定的竞争力,表明了本文方法的有效性.
2021-08-31 cs.CL cs.CV
A Multilingual Modeling Method for Span-Extraction Reading Comprehension
Tsinghua University(清华大学);Beijing MoreHealth Technology Group Co. Ltd(北京妙健康科技集团有限公司)
跨度提取阅读理解模型已经取得了巨大的进步,这得益于大规模,高质量的训练数据集的可用性。尽管取得了如此迅速的进展和广泛的应用,但英语以外的其他语言的提取阅读理解数据集仍然很少,并且为每种语言创建如此大量的训练数据是昂贵的,甚至是不可能的。创建大规模高质量单语跨度提取训练数据集的替代方案是开发多语言建模方法和系统,其可以转换到目标语言而不需要该语言的训练数据。本文针对目标语言中提取阅读理解训练数据的稀缺性,提出了一种多语言提取阅读理解方法XLRC,该方法利用自适应注意和多语言注意同时对多语言环境中已有的提取阅读理解训练数据进行建模。具体而言,我们首先通过翻译现有的提取阅读理解数据集(即,CMRC 2018)从目标语言(即,中文)分为不同的语系(即,英文)。其次,为了提高最终的目标表示,我们采用自适应注意(SAA),结合自我注意和相互注意,提取每对目标和源语言的语义关系。此外,我们提出了多语言注意(MLA),学习丰富的知识,从各种语言的家庭。实验结果表明,我们的模型优于最先进的基线(即,RoBERTa_Large)在CMRC 2018任务上的应用,证明了我们提出的多语言建模方法的有效性,并显示了多语言NLP任务的潜力。
2021-05-31 cs.AI cs.CL
Coreference-aware Double-channel Attention Network for Multi-party Dialogue Reading Comprehension
Soochow University(苏州大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
针对多方对话阅读理解中代词多跳推理和异构特征混淆的瓶颈,提出核心感知注意力建模方法与双通道编码网络,在Molweni和FriendsQA基准上取得显著性能提升。
2023-05-22 cs.CL
Dataset for the First Evaluation on Chinese Machine Reading Comprehension
iFLYTEK Research(讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学)
机器阅读理解(MRC)是近年来非常流行的一门学科,受到了广泛的关注。然而,现有的阅读理解数据集大多是英语的。为了增加阅读理解数据集的多样性,本文提出了一个新的中文阅读理解数据集,以促进社区的相关研究。该数据集包含两种不同的类型:完形填空式阅读理解和用户查询式阅读理解,与大规模训练数据以及人工标注的验证和隐藏测试集相关联。与此数据集一起,我们还举办了第一届中文机器阅读理解评估(CMRC-2017),并成功吸引了数十名参与者,这表明了此数据集的潜在影响。
2018-03-15 cs.CL
Densely Connected Attention Propagation for Reading Comprehension
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research(信息通信研究院)
我们提出了DecaProp(Densely Connected Attention Propagation),这是一种用于阅读理解(RC)的新的密集连接神经架构。我们的模型有两个明显的特点。首先,我们的模型密集地连接网络的所有成对层,在所有层次上建模通道和查询之间的关系。其次,我们网络中的密集连接器是通过注意力而不是标准的剩余跳过连接器来学习的。为此,我们提出了新的双向注意力连接器(BAC),以有效地锻造整个网络的连接。我们在四个具有挑战性的RC基准上进行了广泛的实验。我们提出的方法在所有四个方面都取得了最先进的结果,在绝对F1分数上超过现有基线高达$2.6\%-14.2\%$。
2019-04-02 cs.AI cs.CL cs.IR
XRJL-HKUST at SemEval-2021 Task 4: WordNet-Enhanced Dual Multi-head Co-Attention for Reading Comprehension of Abstract Meaning
The Hong Kong University of Science and Technology(香港科技大学)
本文介绍了我们提交的系统SemEval 2021任务4:抽象意义的阅读理解。我们的系统使用一个大型的预训练语言模型作为编码器和一个额外的双多头共同注意层,以加强段落和问答对之间的关系,遵循当前最先进的模型DUMA。主要区别在于,我们将问题注意力模块和问题注意力模块叠加在一起,而不是计算注意力模块来模拟再思考过程。我们还增加了一个层归一化模块,以提高我们的模型的性能。此外,为了整合我们已知的抽象概念知识,我们从WordNet中检索候选答案的定义,并将它们作为额外的输入提供给模型。我们的系统,称为WordNet增强的双多头协同注意(WN-DUMA),子任务1和子任务2的官方盲测试集上分别达到86.67%和89.99%的准确率。
2021-03-30 cs.CL cs.LG
SG-Net: Syntax-Guided Machine Reading Comprehension
Shanghai Jiao Tong University(上海交通大学)
对于机器阅读理解来说,有效地从细节丰富的冗长段落中建模语言知识并克服噪声的能力是提高其性能的关键。传统的注意模型没有明确的约束条件,只注意到所有的词,导致对某些不确定的词的注意不准确。在这项工作中,我们提出使用语法来指导文本建模,通过将显式的语法约束纳入注意力机制,以更好地语言动机的单词表示。具体地说,对于自注意网络(SAN)赞助的基于transformer的编码器,我们将语法兴趣依赖(SDOI)设计引入到SAN中,形成具有语法引导的自注意的SDOI-SAN。语法引导网络(SG-Net)然后通过双上下文架构由该额外的SDOI-SAN和来自原始Transformer编码器的SAN组成,以获得更好的语言学启发表示。为了验证其有效性,建议的SG-网络被应用到典型的预训练语言模型BERT,这是正确的基础上Transformer编码器。在包括SQuAD 2.0和RACE在内的流行基准上进行的大量实验表明,所提出的SG-Net设计有助于在强基线上实现实质性的性能改进。
2019-11-20 cs.CL
VAULT: VAriable Unified Long Text Representation for Machine Reading Comprehension
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research AI(IBM研究院人工智能部门)
机器阅读理解(MRC)的现有模型需要复杂的模型架构来有效地对具有段落表示和分类的长文本进行建模,从而使得推理对于生产使用在计算上效率低下。在这项工作中,我们提出了VARENT:一种轻量级和并行高效的MRC段落表示,基于长文档输入的上下文表示,使用一种新的基于高斯分布的目标进行训练,该目标密切关注接近地面真实的部分正确实例。我们验证了我们的VANORTH架构显示实验结果的两个基准MRC数据集,需要长上下文建模,一个基于维基百科(自然问题(NQ))和其他技术说明(TechQA)。VASTOM可以在NQ上实现与最先进的(SOTA)复杂文档建模方法相当的性能,同时速度快16倍,证明了我们提出的模型的效率。我们还证明,我们的模型也可以有效地适应一个完全不同的域- TechQA -与以前发布的大型PLM模型微调有很大的改进。
2021-06-02 cs.CL
Multi-task Learning with Multi-head Attention for Multi-choice Reading Comprehension
IBM Research AI(IBM研究人工智能部门(IBM Research AI))
多项选择机器阅读理解(MRC)是一项重要且具有挑战性的自然语言理解(NLU)任务,机器必须从一组选项中选择问题的答案,问题置于文本段落或对话的上下文中。在过去的几年里,随着基于Transformer架构的模型的出现,NLU领域发生了革命性的变化,这些模型在大量无监督数据上进行了预训练,然后针对各种监督学习NLU任务进行了微调。Transformer模型已经在NLU领域的各种排行榜中占据主导地位;在MRC领域,DREAM数据集上的当前最先进的模型(参见[Sunet al.,2019])微调Albert,一个大型的基于transformer的预训练模型,并将其与上下文和问答之间的额外一层多头注意力结合起来[Zhuet al.,2020].本文的目的是记录一个新的国家的最先进的结果在梦想的任务,这是通过,此外,执行多任务学习的两个MRC多项选择阅读理解任务(种族和梦想)。
2020-02-26 cs.CL cs.LG
Modeling Layout Reading Order as Ordering Relations for Visually-rich Document Understanding
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Ant Group(蚂蚁集团);School of Statistics and Data Science, Nankai University(南开大学统计与数据科学学院)
针对视觉富文档中传统阅读顺序排列形式信息表达不足的问题,提出将阅读顺序建模为元素间排序关系,并构建基准数据集、关系抽取方法及关系增强流程,显著提升下游VrD任务性能。
2024-09-29 cs.CL cs.MM
Dialogue Graph Modeling for Conversational Machine Reading
Shanghai Jiao Tong University(上海交通大学)
会话式机器阅读(CMR)旨在以复杂的方式回答问题。机器需要根据给定的规则文档、用户场景和对话历史,通过与用户的交互来回答问题,并在必要时提出问题以澄清。本文提出了一种对话图建模框架,以提高机器对CMR任务的理解和推理能力。总共有三种类型的图形。具体而言,话语图用于显式学习和提取规则文本之间的话语关系以及场景的额外知识;解耦图用于理解规则文本中的局部和上下文连接。最后是一个全局图,用于将信息融合在一起,并回复用户,我们的最终决定是“是/否/无关”,或者提出后续问题来澄清。
2021-05-29 cs.AI cs.CL
Question-Interlocutor Scope Realized Graph Modeling over Key Utterances for Dialogue Reading Comprehension
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信AI模式识别中心)
在这项工作中,我们专注于对话阅读理解(DRC),从对话中提取问题的答案跨度的任务。由于说话人信息的复杂性和对话背景的噪声,DRC中的对话背景建模是棘手的。为了解决这两个问题,已有的研究分别提出了两个自监督任务:根据对话猜测随机掩蔽的说话人是谁和预测对话中的哪句话包含答案。尽管这些任务是有效的,但仍然存在迫切的问题:(1)随机掩蔽说话人而不管问题,不能将问题中提到的说话人映射到对话中的相应说话人,并且忽略了话语的以说话人为中心的性质。这导致从不相关对话者范围内的话语中提取错误的答案;(2)偏好与问题相似的话语的单个话语预测在发现与问题不相似的包含答案的话语方面受到限制。为了缓解这些问题,我们首先提出了一种新的关键话语提取方法。该算法以多个连续的话语为单元进行预测,可以实现更多的包含答案的话语。基于所提取的单元中的话语,我们提出了一种新的对话者范围实现图(QuISG)模型。QuISG作为一个基于话语文本构建的图,还包括问题和问题提及说话人姓名作为节点。为了实现对话者范围,对话中的说话者与其相应话语中的词语相联系。在基准测试上的实验表明,该方法可以取得更好的和有竞争力的结果比以前的作品。
2022-10-26 cs.CL
Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs
JD AI Research(京东人工智能研究院)
跨文档的多跳阅读理解(RC)对单文档RC提出了新的挑战,因为它需要对多个文档进行推理才能获得最终答案。在本文中,我们提出了一个新的模型来解决多跳RC问题。本文提出了一种具有不同类型结点和边的异构图,称为异构文档实体图。HDE图的优点在于它包含不同粒度级别的信息,包括特定文档上下文中的候选人、文档和实体。我们提出的模型可以做推理的HDE图与节点表示初始化的共同注意力和自注意力的上下文编码器。我们采用基于图神经网络(GNN)的消息传递算法来积累建议的HDE图的证据。在Qangaroo WikiHop数据集的盲测试集上进行评估,我们的基于HDE图的单一模型提供了有竞争力的结果,集成模型达到了最先进的性能。
2019-06-04 cs.CL
Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading
Department of Computer Science, University of Potsdam(波恩大学计算机科学系);Department of Computational Linguistics, University of Zurich(苏黎世大学计算语言学系);Department of Informatics, University of Zurich(苏黎世大学信息学系)
提出端到端训练的轻量级深度学习模型Eyettention II,通过双序列架构生成包含注视位置、词内着陆位置和注视持续时间的完整扫描路径,在预测性能上超越现有模型并捕捉关键心理语言学现象。
2026-06-01 cs.CL
Do Transformer Models Show Similar Attention Patterns to Task-Specific Human Gaze?
TU Berlin(柏林工业大学);University of Copenhagen(哥本哈根大学)
在最先进的NLP模型中,习得的自我注意力功能通常与人类的注意力相关。我们研究了大规模预训练语言模型中的自我注意力是否能像经典的人类注意力认知模型一样预测任务阅读过程中的人眼注视模式。我们比较了两个特定于任务的阅读数据集的情感分析和关系抽取的注意力函数。我们发现,大规模预先训练的自我注意力对人类注意力的预测性取决于“尾巴里有什么”,例如,罕见语境的句法性质。此外,我们观察到,特定任务的微调并没有增加与人类特定任务的阅读相关性。通过一个输入减少实验,我们给出了稀疏性和保真度权衡的补充见解,表明低熵的注意力向量更忠实。
2022-04-25 cs.CL cs.LG
Integrating a Heterogeneous Graph with Entity-aware Self-attention using Relative Position Labels for Reading Comprehension Model
Semnan University(塞姆南大学)
本文提出一种无需外部知识的注意力模式,将异构图推理知识与LUKE实体感知自注意力结合,并在ReCoRD和WikiHop上超越LUKE及LUKE-Graph模型。
2024-01-13 cs.CL cs.LG
FBS: Modeling Native Parallel Reading inside a Transformer
Southeast University(东南大学)
FBS通过引入Parafovea-Attention Window、Chunk-Head和Skip-Gate模块,改进了Transformer的推理效率与质量平衡,无需增加参数。
2026-04-08 cs.AI cs.CL
Modeling Bottom-up Information Quality during Language Processing
University of Zürich(苏黎世大学);University of Basel(巴塞尔大学);Georgetown University(乔治城大学)
本研究提出用互信息量化自下而上输入质量,通过遮挡单词上下半部分实验,验证了信息质量降低会延长阅读时间,并发现英语中上下信息不对称更明显。
2025-10-25 cs.CL
Eyettention: An Attention-based Dual-Sequence Model for Predicting Human Scanpaths during Reading
University of Potsdam(波茨坦大学);University of Zurich(苏黎世大学)
本文提出首个基于跨序列注意力机制的双序列模型Eyettention,通过同时处理词汇序列与注视时间序列,有效解决了阅读眼动轨迹预测中的双序列对齐难题,在多语言跨数据集评估中显著优于现有模型。
2023-05-18 cs.CL cs.HC cs.LG
Benchmarking Machine Reading Comprehension: A Psychological Perspective
National Institute of Informatics(国立信息学研究所);University College London(伦敦大学学院)
机器阅读理解(MRC)作为自然语言理解的基准已经受到相当大的关注。然而,MRC的传统任务设计缺乏超出模型解释的可解释性,即,阅读理解的模式不能用人类的语言来解释。为此,本文为基于心理学和心理测量学的MRC数据集的设计提供了理论基础,并总结了MRC基准测试的先决条件。我们的结论是,未来的数据集应该(i)评估模型的能力,以构建一个连贯和接地表示理解上下文相关的情况和(ii)确保通过捷径证明问题和解释作为任务设计的一部分,实质性的有效性。
2021-01-26 cs.CL
QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
当前的端到端机器阅读和问答(Q\&A)模型主要基于具有注意力的递归神经网络(RNN)。尽管它们取得了成功,但由于RNN的顺序性,这些模型在训练和推理方面往往都很慢。我们提出了一种新的Q\&A架构,称为QANet,它不需要递归网络:它的编码器仅由卷积和自注意组成,其中卷积模型局部交互和自注意模型全局交互。在SQuAD数据集上,我们的模型在训练方面快3倍到13倍,在推理方面快4倍到9倍,同时达到与递归模型相同的准确性。加速增益允许我们用更多的数据训练模型。因此,我们将我们的模型与通过神经机器翻译模型的反向翻译生成的数据相结合。在SQuAD数据集上,我们使用增强数据进行训练的单个模型在测试集上获得了84.6的F1分数,这明显优于最好的F1分数81.8。
2018-04-23 cs.AI cs.CL cs.LG
Smooth Reading: Bridging the Gap of Recurrent LLM to Self-Attention LLM on Long-Context Tasks
Shanghai AI Laboratory(上海人工智能实验室);Tongji University(同济大学);University of Montreal(蒙特利尔大学);HKUST(GZ)(香港科技大学(广州))
针对循环 LLM 长上下文记忆受限问题,提出分块阅读并迭代总结的 Smooth Reading 推理方法,在 LongBench 上追平并超过自注意力 LLM,同时保持显著效率优势。
2025-07-25 cs.AI cs.CL
Contextualized Word Representations for Reading Comprehension
Tel-Aviv University(特拉维夫大学)
最近,阅读文档并提取关于其内容的问题的答案引起了大量关注。虽然大多数工作都集中在问题和文件之间的相互作用,在这项工作中,我们评估的重要性时,独立处理的问题和文件的上下文。我们为此任务采用标准神经架构,并表明通过从大型预训练语言模型提供丰富的上下文化单词表示,以及允许模型在上下文相关和上下文无关的单词表示之间进行选择,我们可以获得显着的改进,并达到与竞争SQuAD数据集上最先进的性能相当的性能。
2018-09-04 cs.CL
Lite Unified Modeling for Discriminative Reading Comprehension
Shanghai Jiao Tong University(上海交通大学);Leyan Tech(乐言科技)
作为机器阅读理解的一个主要范畴,判别式机器阅读理解的目标是从给定的材料中预测答案。然而,各种判别式MRC任务的重点可能是不同的:多选择MRC需要模型突出并整合所有潜在的关键证据全局;而提取MRC则侧重于更高的局部边界精确度以进行答案提取。在以往的工作中,缺乏一个统一的设计与针对性的整体判别MRC任务。为了填补上述空白,我们提出了一个轻量级的POS-Enhanced Iterative Co-Attention Network(POI-Net)作为统一建模的第一次尝试,有针对性地同步处理不同的歧视性MRC任务。几乎没有引入更多的参数,我们的精简统一设计带来了编码器和解码器组件的模型显着改善。四个判别MRC基准的评估结果一致表明我们的模型的一般有效性和适用性,代码可在https://github.com/Yilin1111/poi-net。
2022-03-26 cs.AI cs.CL
Question Generation for Reading Comprehension Assessment by Modeling How and What to Ask
University of Alberta(阿尔伯塔大学);EyeRead(EyeRead公司)
阅读是日常生活中不可或缺的一部分,但学习阅读对许多年轻学习者来说是一场斗争。在课堂上,教师可以使用理解问题来提高参与度,测试阅读技能,并提高记忆力。从历史上看,这些问题是由熟练的教师编写的,但最近语言模型已被用于生成理解问题。然而,许多现有的问题生成(QG)系统侧重于从文本中生成文字问题,并没有办法控制生成的问题的类型。在本文中,我们研究QG阅读理解推理问题是关键和提取技术不能使用。我们提出了一个两步模型(HTA-WTA),它利用了以前的数据集,并可以为特定的目标理解技能生成问题。我们提出了一个新的阅读理解数据集,其中包含与基于故事的阅读理解技能(SBRCS)注释的问题,允许更完整的读者评估。在几个实验中,我们的结果表明HTA-WTA在这个新数据集上的表现优于多个强基线。我们表明,HTA-WTA模型通过提出深度推理问题来测试强SCRS。
2022-04-06 cs.AI cs.CL cs.LG
Adaptive Bi-directional Attention: Exploring Multi-Granularity Representations for Machine Reading Comprehension
Peking University(北京大学);Yale University(耶鲁大学);Peng Cheng Laboratory(鹏城实验室)
近年来,注意力增强的多层编码器,如Transformer,在机器阅读理解(MRC)中得到了广泛的研究。为了预测答案,通常的做法是采用预测器来仅从生成源序列的\textit{coarse-grained}表示的最终编码器层提取信息,即,通过和问题。已有的研究表明,随着编码层的增加,信源序列的表示从\textit{fine-grained}变为更多的\textit{coarse-grained}。通常认为,随着深度神经网络中层数的增加,编码过程将越来越多地收集每个位置的相关信息,从而产生更多的\textit{coarse-grained}表示,这增加了与其他位置相似的可能性(指同质性)。这种现象会误导模型做出错误的判断,从而降低性能。为此,我们提出了一种新的方法,称为自适应双向注意,自适应地利用不同级别的预测源表示。在标准数据集SQuAD 2.0上的实验结果表明了该方法的有效性,其结果比现有的最新模型好2.5 $\%$ EM和2.3 $\%$ F1.
2021-02-02 cs.AI cs.CL
Retrieval as Attention: End-to-end Learning of Retrieval and Reading within a Single Transformer
Carnegie Mellon University(卡内基梅隆大学);Bosch Research North America(博世北美研究院);Amazon(亚马逊)
知识密集型任务的系统,如开放领域的问答(QA)通常包括两个阶段:从一个大的语料库中有效检索相关的文件和详细阅读所选择的文件,以产生答案。检索器和读取器通常是单独建模的,这需要繁琐的实现,并且很难以端到端的方式进行训练和调整。在本文中,我们重新审视了这种设计,并避开了单独的架构和培训,而是使用单个Transformer来执行Retrieval as Attention(ReAtt),并仅基于来自最终QA任务的监督进行端到端培训。我们第一次证明,一个单一的模型训练的端到端可以实现竞争检索和QA性能,匹配或略优于最先进的分别训练检索和读者。此外,端到端自适应显著提高了其在有监督和无监督环境下对域外数据集的性能,使我们的模型成为知识密集型任务的简单且适应性强的解决方案。代码和模型可在https://github.com/jzbjyb/ReAtt上获得。
2022-12-05 cs.CL cs.LG