Neural Machine Reading Comprehension: Methods and Trends
Science and Technology on Information Systems Engineering Laboratory（信息系统工程重点实验室）；National University of Defense Technology（国防科技大学）
机器阅读理解（MRC）需要机器根据给定的上下文回答问题，在过去几年中，随着各种深度学习技术的结合，它引起了越来越多的关注。虽然基于深度学习的MRC研究正在蓬勃发展，但仍然缺乏对现有方法和最新趋势的全面调查，这是本文所提出的工作的动机。具体来说，我们对这一研究领域进行了全面的回顾，涵盖了不同的方面，包括（1）典型的MRC任务：它们的定义，差异和代表性数据集;（2）神经MRC的一般架构：主要模块和流行的方法;以及（3）新趋势：神经MRC的一些新兴领域以及相应的挑战。最后，考虑到迄今为止所取得的成就，调查还通过讨论有待解决的未决问题，设想了未来的前景。
2019-10-30 cs.CL
Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale
Institute for Experiential AI at Northeastern University（东北大学体验人工智能研究院）
针对LLM因亚符号性质导致无法解释的局限，提出在符号环境下对语言进行大规模自下而上的逆向工程，结合符号表示与LLM成功关键，探讨该项目的实现路径。
2023-07-27 cs.AI cs.CL
Robot Operation of Home Appliances by Reading User Manuals
National University of Singapore（新加坡国立大学）
本文提出 ApBot，通过阅读用户手册、借助 VLM 构建并闭环更新电器的结构化符号模型，使机器人能可靠操作陌生家电，成功率显著优于直接使用大型 VLM。
2025-07-23 cs.AI cs.RO cs.SY
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）
使机器能够阅读和理解自然语言文档，以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来，深度学习的普及和大规模数据集的建立，都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器，并介绍了一些经典的模型，分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
Temperature-scaling surprisal estimates improve fit to human reading times -- but does it do so for the "right reasons"?
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Saarland University（萨尔大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文研究温度缩放对大语言模型意外度估计的影响，发现其能系统改善对阅读时间的拟合，且该改善主要由多子词 token 的词驱动。
2024-07-03 cs.AI cs.CL
What do Models Learn from Question Answering Datasets?
Amazon Alexa（亚马逊 Alexa）
虽然模型在SQuAD等流行的问答（QA）数据集上已经达到了超人的性能，但它们在问答本身的任务上还没有超过人类。在本文中，我们通过在五个数据集上评估基于BERT的模型来研究模型是否正在从QA数据集学习阅读理解。我们评估模型对域外示例的可推广性，对缺失或不正确数据的响应以及处理问题变化的能力。我们发现，没有一个单一的数据集是强大的，我们所有的实验，并确定在数据集和评估方法的缺点。根据我们的分析，我们提出了建议，以建立未来的QA数据集，更好地评估问答通过阅读理解的任务。我们还在https://github.com/amazon-research/qa-dataset-converter上发布了将QA数据集转换为共享格式的代码，以便更轻松地进行实验。
2020-10-13 cs.CL
Hierarchical Attention: What Really Counts in Various NLP Tasks
Peking University（北京大学）
序列到序列模型中的注意力机制在各种自然语言处理任务中表现出了强大的能力和出色的性能，例如句子嵌入，文本生成，机器翻译，机器阅读理解等。不幸的是，现有的注意力机制只能学习高级或低级特征。本文认为层次机制的缺乏是注意力机制性能提高的瓶颈，提出了一种基于多层次注意力不同层次加权和的层次注意力机制（Ham）。Ham在中文诗歌生成任务上获得了最先进的BLEU得分0.26，与现有的机器阅读理解模型（如BIDAF和Match-LSTM）相比，平均提高了近6.5%。此外，我们的实验和定理表明，Ham比现有的注意力机制具有更好的泛化和表征能力。
2018-08-10 cs.CL
Incorporating External Knowledge into Machine Reading for Generative Question Answering
Alibaba Group（阿里巴巴集团）
QA模型需要常识和背景知识来回答许多重要的问题。与现有的知识感知QA的工作不同，我们专注于一个更具挑战性的任务，利用外部知识来生成自然语言的答案，为一个给定的问题与上下文。在本文中，我们提出了一个新的神经模型，知识丰富的答案生成器（KEAG），它能够通过利用和汇总来自所有四个信息源的证据组成一个自然的答案：问题，段落，词汇和知识。在答案生成过程中，KEAG自适应地确定何时利用符号知识以及知识中的哪些事实是有用的。这允许模型利用给定文本中没有明确说明但与生成答案相关的外部知识。对答案生成的公共基准的实证研究表明，KEAG提高了答案质量的模型没有知识和现有的知识感知模型，证实了其有效性，利用知识。
2019-09-06 cs.CL
The First Token Is Not the Verdict: Hidden Costs of Reading LLM Judges Without Generating
Stony Brook University（石溪大学）
本研究揭示从LLM评判者首个token读取裁决会高估位置偏差，在未承诺配对中强制读取导致89.7%翻转，建议报告裁决token开头比率以修正偏差。
2026-10-02 cs.AI cs.CL
Dynamic Fusion Networks for Machine Reading Comprehension
Carnegie Mellon University（卡内基梅隆大学）；Microsoft AI&R（微软人工智能与研究事业部）
提出了一种新的用于机器阅读理解（MRC）的神经网络模型--动态融合网络（DFN）。DFN与大多数最先进的模型不同之处在于它们使用动态多策略注意过程，其中段落，问题和答案候选者共同融合为注意向量，以及用于生成答案的动态多步推理模块。通过使用强化学习，对于由问题、段落和候选答案列表组成的每个输入样本，可以通过确定要应用什么注意力策略以及要采取多少推理步骤来动态地构建具有样本特定网络架构的DFN实例。实验表明，DFN实现了RACE上报告的最佳结果，RACE是一个具有挑战性的MRC数据集，包含各种类型的真实人类阅读问题。一个详细的实证分析还表明，DFNs可以产生的注意向量，总结信息的问题，段落和答案的候选人比其他流行的MRC模型更有效。
2018-02-26 cs.CL
Complex Mathematical Symbol Definition Structures: A Dataset and Model for Coordination Resolution in Definition Extraction
University of Minnesota（明尼苏达大学）；University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）
本文针对数学符号定义抽取中的复杂并列结构解析难题，提出了包含5,927个标注句子的SymDef数据集，并设计了一种基于符号掩盖与槽位填充的定义抽取新方法，其宏F1分数达84.82，显著优于RoBERTa等基线系统。
2023-05-24 cs.CL
A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts
Google DeepMind（谷歌DeepMind）
提出ReadAgent，一种模拟人类阅读的LLM代理，通过记忆片段压缩为要点记忆并支持原文查找，将有效上下文长度提升3.5-20倍，在三个长文档阅读理解任务上超越基线。
2024-07-22 cs.AI cs.CL cs.IR
Assessing the Benchmarking Capacity of Machine Reading Comprehension Datasets
University of Tokyo（东京大学）；University College London（伦敦大学学院）；Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所人工智能中心）；National Institute of Informatics（国立信息学研究所）
机器阅读理解（MRC）中现有的分析工作主要关注于评估系统的能力。然而，数据集的能力没有被评估用于精确地对语言理解进行基准测试。我们提出了一个半自动化的，烧蚀为基础的方法来应对这一挑战，通过检查是否可以解决问题，即使在删除与语言理解所需的技能相关的功能，我们评估到什么程度的问题不需要的技能。在10个数据集上的实验（例如，CoQA、SQuAD v2.0和RACE）显示，例如，在上下文中仅提供内容词和提供混洗句子词的基线模型的相对分数平均分别为原始分数的89.2%和78.5%。这些结果表明，模型已经正确回答的大多数问题不一定需要语法和复杂的推理。为了进行精确的基准测试，MRC数据集在设计时需要格外小心，以确保问题能够正确评估预期的技能。
2019-11-21 cs.CL
Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（信息通信研究机构）
机器阅读理解（MRC）旨在教机器阅读和理解人类语言，这是自然语言处理（NLP）的长期目标。随着深度神经网络的爆发和语境化语言模型（CLMs）的发展，MRC的研究经历了两次重大突破。MRC和CLM作为一种现象，对NLP社区产生了很大的影响。在本调查中，我们提供了一个全面的和比较审查的MRC涵盖整体的研究主题1）的起源和发展的MRC和CLM，特别是CLM的作用; 2）的影响MRC和CLM的自然语言处理社区; 3）的定义，数据集和评价MRC; 4）从人类认知过程的角度出发，提出了基于两阶段Encoder-Decoder求解体系结构的MRC通用体系结构和技术方法;（5）以往的研究热点、新出现的研究课题以及我们的实证分析，其中我们特别关注MRC研究在不同时期的有效性。我们提出了一个完整的视图分类和新的分类这些主题。我们得出的主要观点是：1）MRC促进了从语言处理到理解的进步; 2）MRC系统的快速改进极大地受益于CLMs的发展; 3）MRC的主题正逐渐从浅层文本匹配转向认知推理。
2020-05-13 cs.AI cs.CL cs.LG
Dialog State Tracking: A Neural Reading Comprehension Approach
Amazon Alexa AI（亚马逊Alexa AI）
对话状态跟踪用于在给定所有先前对话的情况下估计对话的当前置信状态。另一方面，机器阅读理解专注于构建阅读文本段落并回答需要对段落有一定理解的问题的系统。我们将对话状态跟踪作为阅读理解任务，在阅读会话上下文后回答问题$what\ is\ the\ state\ of\ the\ current\ dialog?$。与传统的状态跟踪方法相比，在传统的状态跟踪方法中，对话状态通常被预测为本体内所有可能的槽值的封闭集合上的分布，我们的方法使用简单的基于注意力的神经网络来指向会话内的槽值。在MultiWOZ-2.0跨域对话数据集上的实验表明，与以前更复杂的方法相比，我们简单的系统可以获得类似的精度。通过利用上下文词嵌入的最新进展，添加一个模型，明确跟踪槽值是否应该结转到下一轮，并结合我们的方法与传统的联合状态跟踪方法，依赖于封闭的词汇集，我们可以获得联合目标的准确性$47.33\%$的标准测试分裂，超过当前最先进的$11.75\%$ **。
2019-08-15 cs.CL cs.LG
Not What You Meant: Can LLMs Follow a Specified Negation Semantics?
University of Auckland（奥克兰大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本研究提出 NAFBench 基准，评估 LLM 在四种否定语义下的遵循能力，发现开源模型存在明显差距，而前沿模型接近完美，并探讨了求解器委托、微调等缓解方法。
2026-09-24 cs.AI
What Makes Reading Comprehension Questions Difficult?
National Institute of Informatics（国立信息学研究所）；New York University（纽约大学）
对于一个在研究中有用的自然语言理解基准，它必须包含足够多样和困难的示例，以区分当前和不久的将来的最先进的系统。然而，我们还不知道如何最好地选择文本源来收集各种具有挑战性的例子。在这项研究中，我们众包多项选择阅读理解问题的段落从七个不同的质量来源，分析哪些属性的段落有助于收集的例子的难度和问题类型。令我们惊讶的是，我们发现文章来源，长度和可读性的措施并没有显着影响问题的难度。通过我们对七种推理类型的人工注释，我们观察到段落来源和推理类型之间的几个趋势，例如，在为技术文章而写的问题中，逻辑推理往往是需要的。这些结果表明，当创建一个新的基准数据集时，选择一组不同的段落可以帮助确保不同的问题类型，但段落难度不需要优先考虑。
2022-03-12 cs.AI cs.CL
Learning what to read: Focused machine reading
University of Arizona（亚利桑那大学）
最近在生物信息学方面的努力已经在生物医学文献的机器阅读以及将提取的生化相互作用组装成大规模模型（如蛋白质信号传导途径）方面取得了巨大进展。然而，由于成本和处理开销，以今天的规模（仅PubMed每年索引超过100万篇论文）批量机器阅读文献是不可行的。在这项工作中，我们引入了一个重点阅读的方法来指导机器阅读生物医学文献对什么样的文献应该阅读，以回答生物医学查询尽可能有效。我们介绍了一系列用于集中阅读的算法，包括直观的，强大的基线，以及第二种方法，该方法使用强化学习（RL）框架，学习何时探索（扩大搜索范围）或利用（缩小搜索范围）。我们证明了RL方法能够回答比基线更多的查询，同时更有效，即，阅读更少的文件。
2017-09-01 cs.AI cs.CL cs.IR
How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading
ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）
该研究提出了GuidingQ数据集，包含1万个文内问题，通过分析其特征并探索语言模型生成方法，发现生成的高质量问题能有效提升读者的记忆与理解，效果接近人工编写。
2024-07-29 cs.AI cs.CL
Question Generation for Reading Comprehension Assessment by Modeling How and What to Ask
University of Alberta（阿尔伯塔大学）；EyeRead（EyeRead公司）
阅读是日常生活中不可或缺的一部分，但学习阅读对许多年轻学习者来说是一场斗争。在课堂上，教师可以使用理解问题来提高参与度，测试阅读技能，并提高记忆力。从历史上看，这些问题是由熟练的教师编写的，但最近语言模型已被用于生成理解问题。然而，许多现有的问题生成（QG）系统侧重于从文本中生成文字问题，并没有办法控制生成的问题的类型。在本文中，我们研究QG阅读理解推理问题是关键和提取技术不能使用。我们提出了一个两步模型（HTA-WTA），它利用了以前的数据集，并可以为特定的目标理解技能生成问题。我们提出了一个新的阅读理解数据集，其中包含与基于故事的阅读理解技能（SBRCS）注释的问题，允许更完整的读者评估。在几个实验中，我们的结果表明HTA-WTA在这个新数据集上的表现优于多个强基线。我们表明，HTA-WTA模型通过提出深度推理问题来测试强SCRS。
2022-04-06 cs.AI cs.CL cs.LG
Words, Subwords, and Morphemes: What Really Matters in the Surprisal-Reading Time Relationship?
University of Maryland（马里兰大学）
本文通过对比正字法、形态学和BPE分词下的惊讶度估计与阅读时间数据，发现BPE分词总体不逊色，但细粒度分析揭示其潜在问题，并提出形态学感知预测的新评估方法。
2023-10-26 cs.CL
What Happened? Leveraging VerbNet to Predict the Effects of Actions in Procedural Text
Allen Institute for AI（艾伦人工智能研究所）
我们的目标是回答有关描述过程的段落的问题（例如，光合作用）。这种类型的文本具有挑战性，因为行动的影响往往是隐含的（未说明的），需要背景知识和推理来推理不断变化的世界状态。为了提供这些知识，我们利用VerbNet来建立一个规则库（称为语义词典）的前提条件和行动的影响，并使用它与常识的持久性知识来回答有关变化的问题。我们的评估表明，我们的系统，ProComp，显着优于两个强大的阅读理解（RC）基线。我们的贡献有两个方面：语义词典规则库本身，以及演示基于模拟的机器阅读方法如何优于仅依赖表面线索的RC方法。自从进行了这项工作以来，我们已经开发出优于ProComp的神经系统，如其他地方所述（Dalvi等人，NAACL'18）。然而，语义词典仍然是一个新的和潜在的有用的资源，其与神经系统的集成仍然是一个目前尚未探索的机会，进一步改善机器阅读过程。
2018-04-15 cs.AI cs.CL
Beyond Static and Linear: What Attention Constraints Best Fit Human Reading Times?
Georgetown University（乔治城大学）；The Ohio State University（俄亥俄州立大学）；UC San Diego（加州大学圣迭戈分校）
该研究在不同模型规模与训练语料下系统比较多种注意力记忆机制，发现对中间词元内容敏感的约束与人类阅读时间匹配度最高，且动态记忆课程下心理测量拟合度与语法能力存在分离，提示Transformer无法作为通用认知模型。
2026-10-26 cs.CL
A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task
Stanford University（斯坦福大学）
使计算机能够理解文档，以便它能够回答理解问题是NLP的核心目标，但尚未解决。阻碍机器学习系统解决这个问题的一个关键因素是人类注释数据的可用性有限。Hermann et al.（2015）试图通过将CNN和Daily Mail的新闻文章与其总结的要点配对来创建超过一百万个训练样本来解决这个问题，并表明神经网络可以被训练以在这个任务上提供良好的性能。在本文中，我们对这一新的阅读理解任务进行了深入的研究。我们的主要目的是了解做好这项任务需要什么深度的语言理解。我们一方面通过对一小部分问题进行仔细的手工分析来实现这一点，另一方面通过展示简单，精心设计的系统可以在这两个数据集上获得73.6%和76.6%的准确率，超过当前最先进的结果7-10%，接近我们认为的性能上限。
2016-08-08 cs.AI cs.CL
What does BERT Learn from Multiple-Choice Reading Comprehension Datasets?
River Valley High School（立化中学）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）；National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
多项选择阅读理解（MCRC）要求模特阅读文章和问题，并在给定的选项中选择正确的答案。最近最先进的模型在多个MCRC数据集上取得了令人印象深刻的性能。然而，这样的性能可能并不反映模型的真正的语言理解和推理能力。在这项工作中，我们采用了两种方法来研究BERT从MCRC数据集中学习到什么：1）不可读的数据攻击，其中我们添加关键字来混淆BERT，导致显着的性能下降; 2）不可回答的数据训练，其中我们在部分或混洗输入上训练BERT。在不可回答的数据训练下，BERT实现了意想不到的高性能。基于我们在5个关键MCRC数据集上的实验-- RACE、MCTest、MCScript、MCScript2.0、DREAM --我们观察到：1）微调后的BERT主要学习关键词如何导致正确的预测，而不是学习语义理解和推理; 2）BERT不需要正确的句法信息来解决任务; 3）在这些数据集中存在伪像，使得即使没有完整的上下文也可以解决它们。
2019-10-28 cs.CL
Tanbih: Get To Know What You Are Reading
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Università di Bologna（博洛尼亚大学）；Sofia University（索非亚大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；SiteGround Hosting EOOD；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
我们介绍Tanbih，这是一个新闻聚合器，具有智能分析工具，可以帮助读者了解新闻故事背后的内容。我们的系统显示新闻分组为事件，并生成媒体配置文件，显示报告的一般真实性，宣传内容的程度，超党派，领先的政治意识形态，报告的一般框架，以及相对于新闻媒体的各种主张和主题的立场。此外，我们会自动分析每篇文章，以检测其是否具有宣传性质，并确定其对一些有争议的话题的立场。
2019-10-04 cs.CL cs.IR
What Are LLMs Doing to Scientific Communication? Measuring Changes in Writing Practices and Reading Experience
Institute for Natural Language Processing, University of Stuttgart, Germany（斯图加特大学自然语言处理研究所，德国）
本研究探讨了大型语言模型对科学交流风格的影响，通过分析自然语言处理领域中超过37000篇论文和3000篇人类撰写的文本及其LLM改进版本，发现写作实践和阅读体验发生了显著变化，同时揭示了AI辅助写作对阅读体验的主观影响。
2026-05-19 cs.CL
What does the Failure to Reason with "Respectively" in Zero/Few-Shot Settings Tell Us about Language Models?
University of Copenhagen（哥本哈根大学）；Technical University of Darmstadt（达姆施塔特工业大学）
本文通过构建 WikiResNLI 和 NatResNLI 数据集，研究语言模型在零样本/少样本下对“respectively”并列结构的推理能力，发现模型在隐式解读、跨结构泛化上仍显著落后于人类。
2023-05-31 cs.AI cs.CL
It Is Not About What You Say, It Is About How You Say It: A Surprisingly Simple Approach for Improving Reading Comprehension
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学）
该研究聚焦阅读理解任务，探究输入顺序与输入强调对大模型性能的影响，发现上下文前置、强调上下文可提升准确率，且仅拼接几个token的简单方法就能让小模型超越大模型。
2024-10-29 cs.CL
Contrastive Projection: Reading Transformer Internals by Differencing Logit Lenses
Evident Solutions Oy（Evident Solutions 公司）
通过差分对数透镜读取Transformer内部状态，提出对比投影方法，无需训练即可追踪复合名词链，并揭示区分是跨架构稳定的，而词元表示则因网络而异。
2026-09-10 cs.CL
Failed Reasoning Traces Tell You What Is Fixable (But Not by Reading Them)
Mila - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔理工学院）；CHU Sainte-Justine（圣约斯特医院）
本文提出通过失败推理轨迹的分布特征而非文本内容来识别可修复的失败，并设计无训练的路由规则提升测试时干预效果。
2026-06-03 cs.AI cs.CL cs.LG
On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning
NAVER Cloud AI（NAVER云AI）；KAIST AI（韩国科学技术院AI）
针对当前视觉语言助手透明度不足、复杂视觉场景文本理解任务计算成本高的问题，研究通过策略构建数据集、优化视觉模块等方式，在受限推理成本下实现了性能与吞吐量的兼顾，并将开源相关资源。
2024-10-06 cs.CL cs.CV
LLMs Struggle to Measure What Distinguishes Students of Different Proficiency Levels: A Study of Item Discrimination in Reading Comprehension Assessment
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Maryland（马里兰大学）；Virginia Tech（弗吉尼亚理工大学）
本研究评估42个LLM在零样本设置下预测题目区分度的能力，发现直接预测与人类校准的区分度相关性弱（最高Spearman 0.152），基于CTT的响应校准相关性有限（0.241），表明LLM尚不能可靠捕捉题目区分度。
2026-08-06 cs.CL
What Makes it Difficult to Understand a Scientific Literature?
University of Chinese Academy of Sciences（中国科学院大学）；Wuhan University（武汉大学）
在人工智能领域，最终目标之一是使计算机理解人类语言并提供帮助。为了实现这一理想，计算机科学的研究者们提出了许多模型和算法，试图使机器能够在不同的语义层次上分析和处理人类的自然语言。虽然最近在这一领域的进展提供了很大的希望，我们仍然要问，目前的研究是否可以提供帮助，人们真正希望在阅读和理解。为此，我们对两篇不同风格的科技论文进行了阅读理解测试。我们使用语义链接模型来分析人们在阅读科技文献的过程中会遇到的理解障碍，并找出导致人们难以理解科技文献的原因。通过分析，总结出不同知识水平的人在理解科技文献难点时所反映出的一些特点和问题，这些特点和问题可以用语义链接网络进行建模。我们相信这些特点和问题将有助于我们重新审视现有的机型，并有助于设计新的机型。
2015-12-04 cs.CL
TORQUE: A Reading Comprehension Dataset of Temporal Ordering Questions
Allen Institute for AI（艾伦人工智能研究所）；Hooray Data Co., Ltd（好耶数据有限公司）；University of Southern California（南加利福尼亚大学）；University of Pennsylvania（宾夕法尼亚大学）
阅读的一个关键部分是能够理解文本中描述的事件之间的时间关系，即使这些关系没有明确说明。然而，目前的机器阅读理解基准测试几乎没有测试时间现象的问题，因此在这些基准测试上训练的系统没有能力回答诸如“[某个事件]之前/之后发生了什么？“我们介绍了TORQUE，这是一个新的英语阅读理解基准，建立在3.2k新闻片段上，其中包含21 k人类生成的查询时间关系的问题。结果表明，RoBERTa-large在TORQUE测试集上获得了51%的精确匹配分数，比人类性能落后约30%。
2020-10-06 cs.CL
Multilingual GSM-Symbolic: What determines capability transfer across languages?
Aarhus University（奥胡斯大学）；Danish Foundation Models（丹麦基础模型公司）；University of Alabama（阿拉巴马大学）；Alexandra Institute（亚历山德拉研究所）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；The University of Tokyo（东京大学）；IT University of Copenhagen（哥本哈根信息技术大学）；Massachusetts General Hospital（马萨诸塞州总医院）；Bocconi University（博科尼大学）；University of Southern Denmark（南丹麦大学）；University of Iceland（冰岛大学）；University of the Faroe Islands（法罗群岛大学）；Zendesk（Zendesk公司）；University of Copenhagen（哥本哈根大学）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；National Library of Sweden（瑞典国家图书馆）
本研究提出多语言GSM-Symbolic数据集，量化模型大小、语言资源、推理和类型学距离对跨语言能力迁移的影响，并揭示模型大小和推理可缩小语言间性能差距。
2026-10-06 cs.AI cs.CL
Which symbol grounding problem should we try to solve?
Anatolia College/ACT（安纳托利亚学院/安纳托利亚学院与美国大学塞萨洛尼基分校）；University of Oxford（牛津大学）
本文针对符号奠基问题，反驳了Floridi与Taddeo提出的“零语义承诺”条件及对应方案，结合Luc Steels的竞争性观点，重新界定问题本质，提出唯一有意义的奠基问题是在人工计算智能体中解释与复现意义的行为能力与功能。
2025-06-16 cs.AI cs.CL
DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs
University of California, Irvine（加州大学尔湾分校）；Peking University（北京大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
阅读理解最近取得了快速进展，系统在最流行的数据集上与人类相匹配。然而，大量的工作突出了这些系统的脆弱性，表明还有许多工作要做。我们介绍了一个新的英语阅读理解基准，DROP，它需要对段落的内容进行离散推理。在这个众包、对抗性创建的96k问题基准测试中，系统必须解析问题中的引用，可能是多个输入位置，并对它们执行离散操作（例如加法、计数或排序）。这些操作需要比以前的数据集更全面地了解段落的内容。我们在这个数据集上应用了阅读理解和语义解析文献中最先进的方法，并表明最好的系统在我们的广义准确性指标上仅达到32.7%的F1，而专家的人类表现为96.0%。我们还提出了一个新的模型，结合阅读理解方法与简单的数字推理，以达到47.0%F1。
2019-04-16 cs.CL
Reading Users' Minds from What They Say: An Investigation into LLM-based Empathic Mental Inference
本文研究使用大型语言模型（LLMs）执行心理推断任务以推断用户的潜在目标和基本心理需求，实验表明其表现与人类设计师相当，为增强共情设计的可扩展性提供了新途径。
2024-03-20 cs.CL cs.HC
Sequential Modelling with Applications to Music Recommendation, Fact-Checking, and Speed Reading
University of Copenhagen（哥本哈根大学）
顺序建模需要理解顺序数据，这自然发生在广泛的领域中。一个示例是与用户交互、记录用户动作和行为并基于用户先前的交互来向用户推荐潜在感兴趣的项目的系统。在这种情况下，用户交互的顺序通常指示用户接下来感兴趣的是什么。类似地，对于自动推断文本语义的系统来说，捕捉句子中单词的顺序是必不可少的，因为即使是轻微的重新排序也会显著改变其原始含义。本文提出了方法论的贡献和新的调查顺序建模的系统，推荐音乐曲目的听众和系统，处理文本语义，以自动事实检查索赔，或“快速阅读”的文本有效的进一步分类的特定应用领域。(Rest由于arXiv摘要限制而省略的摘要）
2021-09-11 cs.AI cs.CL cs.IR
TextCaps: a Dataset for Image Captioning with Reading Comprehension
Facebook AI Research（Facebook 人工智能研究院）；University of California, Berkeley（加利福尼亚大学伯克利分校）
图像描述可以帮助视障人士快速理解图像内容。虽然我们在自动描述图像和光学字符识别方面取得了重大进展，但目前的方法无法在其描述中包括书面文本，尽管文本在人类环境中无处不在，并且对于理解我们的环境至关重要。为了研究如何在图像的上下文中理解文本，我们收集了一个新的数据集TextCaps，其中包含28k图像的145k标题。我们的数据集挑战一个模型来识别文本，将其与其视觉上下文相关联，并决定复制或解释文本的哪一部分，这需要在多个文本标记和视觉实体（如对象）之间进行空间，语义和视觉推理。我们研究基线和适应现有的方法，这个新的任务，我们称之为图像描述与阅读理解。我们对自动和人类研究的分析表明，我们新的TextCaps数据集比以前的数据集提供了许多新的技术挑战。
2020-08-04 cs.CL cs.CV
Reading Between the Lines: A dataset and a study on why some texts are tougher than others
University of Leeds（利兹大学）
本文针对智力障碍读者的文本可读性问题，构建了基于平行语料的困难标注数据集，并微调transformer模型预测简化策略，同时探索模型决策的可解释性。
2025-01-03 cs.CL
ReviewQA: a relational aspect-based opinion reading dataset
NAVER LABS Europe（NAVER欧洲实验室）
在过去的几年里，用于问答的深度阅读模型表现出了良好的性能。然而，目前的系统倾向于学习如何巧妙地提取源文档的跨度，基于其与问题的相似性，而不是寻求适当的答案。事实上，阅读机器应该能够检测文档中关于问题的相关段落，但更重要的是，它应该能够对文档的重要部分进行推理，以便在需要时产生答案。为了实现这一目标，我们提出了ReviewQA，一个基于酒店评论的问答数据集。这个数据集的问题与我们期望模型掌握的一组关系理解能力有关。事实上，每个问题都有一个相关的类型，描述了所需的能力。通过这个框架，可以对主要的模型系列进行基准测试，并概述给定模型在该数据集中评估的任务集上的优势和劣势。我们的语料库包含超过50万个自然语言的问题，超过10万条酒店评论。我们的设置是投影的，问题的答案不需要从文档中提取，就像大多数最近的数据集一样，而是从一组候选人中选择，这些候选人包含数据集问题的所有可能答案。最后，我们提供了该数据集的几个基线。
2018-10-29 cs.CL
Through the Looking Glass: Directly Reading and Writing Transformers
University of Washington（华盛顿大学）
本文通过直接分析Transformer的参数和激活，揭示预测依赖的组件数量远少于表面贡献，并展示如何利用这些发现进行高效编辑和安装。核心贡献在于无需训练即可读取和写入模型组件。
2026-09-10 cs.CL cs.LG
