DUMA: Reading Comprehension with Transposition Thinking
Shanghai Jiao Tong University(上海交通大学)
多项选择机器阅读理解(MRC)要求模型在给定一段文章和一个问题时,从一组答案选项中确定正确答案。因此,除了作为编码器的强大的预训练语言模型(PrLM)之外,多选择MRC特别依赖于匹配网络设计,该匹配网络设计应该有效地捕获段落、问题和答案三元组之间的关系。虽然新的和更强大的PrLM已经显示出他们的强大,即使没有匹配网络的支持,我们提出了一个新的双多头共同注意力(DUMA)模型,这是受人类的换位思维过程的启发解决多选择MRC问题:分别考虑对方的焦点从通道和问题的立场。拟议的DUMA已被证明是有效的,并能够普遍促进PrLM。我们提出的方法在两个基准多选择MRC任务DREAM和RACE上进行了评估,表明在强大的PrLM方面,DUMA仍然可以提升模型以达到新的最先进的性能。
2020-09-15 cs.CL
Incremental Reading for Question Answering
University of Amsterdam(阿姆斯特丹大学);Google(谷歌)
任何一个执行目标导向的持续学习的系统,不仅必须增量地学习,而且必须增量地处理和吸收信息。这样的系统还必须了解其目标何时实现。在本文中,我们认为这些问题的背景下,问答。当前最先进的问答模型是对整个段落进行推理,而不是递增。正如我们将要展示的那样,简单的增量阅读方法,比如在模型中限制单向语言模型,性能很差。我们提出了对DocQA [2]模型的扩展,以允许增量读取而不损失准确性。该模型还联合学习提供迄今为止看到的文本的最佳答案,并预测这个迄今为止最好的答案是否足够。
2019-01-15 cs.AI cs.CL
XRJL-HKUST at SemEval-2021 Task 4: WordNet-Enhanced Dual Multi-head Co-Attention for Reading Comprehension of Abstract Meaning
The Hong Kong University of Science and Technology(香港科技大学)
本文介绍了我们提交的系统SemEval 2021任务4:抽象意义的阅读理解。我们的系统使用一个大型的预训练语言模型作为编码器和一个额外的双多头共同注意层,以加强段落和问答对之间的关系,遵循当前最先进的模型DUMA。主要区别在于,我们将问题注意力模块和问题注意力模块叠加在一起,而不是计算注意力模块来模拟再思考过程。我们还增加了一个层归一化模块,以提高我们的模型的性能。此外,为了整合我们已知的抽象概念知识,我们从WordNet中检索候选答案的定义,并将它们作为额外的输入提供给模型。我们的系统,称为WordNet增强的双多头协同注意(WN-DUMA),子任务1和子任务2的官方盲测试集上分别达到86.67%和89.99%的准确率。
2021-03-30 cs.CL cs.LG
Knowledgeable Dialogue Reading Comprehension on Key Turns
Shanghai Jiao Tong University(上海交通大学)
多项选择机器阅读理解(MRC)要求模型从给定的文章和问题中选择正确的答案。我们的研究重点是基于对话的MRC,其中的段落是多轮对话。它面临两个挑战,答案选择决策没有潜在的帮助常识的支持,多轮上下文可能隐藏大量无关信息。因此,这项工作首次尝试通过提取实质性的重要转折和利用外部知识来增强上下文的表示来应对这两个挑战。本文通过计算每个话轮与问题的相关度来选择关键话轮。此外,提取与知识图谱中的上下文和问题相关的术语作为外部知识。该算法首先利用预先训练好的语言模型对原始上下文、问题和外部知识进行编码,然后将语言表征和关键词轮组合在一起,并通过一个意志设计的机制来预测答案。在DREAM数据集上的实验结果表明,我们提出的模型在基线上取得了很大的改进。
2020-09-10 cs.CL
UQuAD1.0: Development of an Urdu Question Answering Training Data for Machine Reading Comprehension
近年来,低资源的机器阅读理解(MRC)取得了显著的进展,模型在各种语言数据集上都取得了显著的性能。然而,这些模型都没有为乌尔都语定制。这项工作探索了半自动创建乌尔都语问答数据集(UQuAD 1.0),将机器翻译的SQuAD与来自维基百科文章的人工生成样本和来自剑桥O级书籍的乌尔都语RC样本相结合。UQuAD 1.0是一个大规模的乌尔都语数据集,用于提取机器阅读理解任务,由49 k个问题答案对组成,包括问题,段落和答案格式。在UQuAD 1.0中,通过原始SQuAD 1.0的机器翻译生成了45000对QA,通过众包生成了大约4000对QA。在这项研究中,我们使用了两种类型的MRC模型:基于规则的基线和基于高级转换器的模型。然而,我们发现后者的性能优于其他架构;因此,我们决定只关注基于transformer的架构。使用XLMRoBERTa和多语言BERT,我们获得的F1得分分别为0.66和0.63。
2021-11-02 cs.AI cs.CL
ReadProbe: A Demo of Retrieval-Enhanced Large Language Models to Support Lateral Reading
University of Waterloo(滑铁卢大学)
针对网络错误信息传播问题,本文提出由OpenAI大模型和Bing搜索支持的横向阅读工具ReadProbe,可生成问题、检索文档并给出可靠答案,其网页应用可降低虚假信息误导风险,早期版本获全国AI错误信息黑客马拉松一等奖。
2023-06-13 cs.AI cs.CL cs.HC
Prediction of Item Difficulty for Reading Comprehension Items by Creation of Annotated Item Repository
Stanford University(斯坦福大学)
本文通过创建包含阅读材料和学生成绩数据的注释仓库,利用惩罚回归模型预测项目难度,同时结合LLM嵌入进一步提升预测性能,为阅读理解题的分类和过滤提供工具。
2026-03-31 cs.CL
PReGAN: Answer Oriented Passage Ranking with Weakly Supervised GAN
Thomson Reuters Labs(汤森路透实验室);University of Montreal(蒙特利尔大学);Huawei Poisson Lab.(华为泊松实验室);Tshinghua Univeristy(清华大学)
除了主题相关性之外,开放域类事实问答的段落排名还需要段落包含答案(可回答性)。虽然最近的一些研究已经将一些阅读能力纳入到排名器中以说明可回答性,但排名器仍然受到该领域通常可用的训练数据的噪声性质的阻碍,其将包含答案实体的任何段落视为阳性样本。然而,文章中的答案实体不一定与给定的问题相关。为了解决这个问题,我们提出了一种称为\ttt{PReGAN}的方法,用于基于生成对抗神经网络的通道重新排序,该方法除了包含主题相关性外,还包含了一个可回答性。我们的目标是迫使生成器将与主题相关并包含答案的段落排名更高。在5个公开数据集上的实验表明,\ttt{PReGAN}能够更好地对合适的段落进行排序,从而提高了问答系统的有效性,并且在不使用外部数据的情况下优于现有方法。
2022-07-05 cs.AI cs.CL cs.IR
Natural Context Drift Undermines the Natural Language Understanding of Large Language Models
Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);Imperial College London, Imperial Global Singapore(伦敦帝国学院,帝国全球新加坡)
该研究提出框架整理自然演化的阅读段落变体并分析其与预训练内容的语义相似性,发现文本自然演化会导致大语言模型问答准确率显著下降,揭示了自然上下文漂移对LLM语言理解能力的挑战。
2025-09-01 cs.AI cs.CL
Cooperative Self-training of Machine Reading Comprehension
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon AI(亚马逊人工智能);MIT MTL(麻省理工学院媒体实验室)
预训练语言模型通过提供高质量的上下文化词嵌入,显著提高了下游语言理解任务的性能,包括提取问答。然而,训练问答模型仍然需要大量特定领域的注释数据。在这项工作中,我们提出了一个合作的自我训练框架,RGX,自动生成更多的非平凡的问答对,以提高模型的性能。RGX是建立在一个掩蔽的答案提取任务与交互式学习环境包含一个答案实体识别器,一个问题发生器,和一个答案提取器。给定一个带有掩码实体的段落,生成器围绕该实体生成一个问题,提取器被训练为用生成的问题和原始文本提取掩码实体。该框架允许在没有注释的任何文本语料库上训练问题生成和回答模型。实验结果表明,RGX在标准问答测试中的性能优于SOTA预训练语言模型和迁移学习方法,并在给定的模型大小和迁移学习设置下获得了新的SOTA性能。
2022-06-27 cs.AI cs.CL
Evidence Aggregation for Answer Re-Ranking in Open-Domain Question Answering
School of Information System, Singapore Management University(新加坡管理大学信息系统学院);AI Foundations - Learning, IBM Research AI(IBM研究人工智能部 - 学习基础)
最近流行的回答开放域问题的方法是首先搜索与问题相关的段落,然后应用阅读理解模型来提取答案。现有的方法通常从单个段落中独立地提取答案。但有些问题需要结合不同来源的证据才能正确回答。在本文中,我们提出了两个模型,利用多个通道,以产生他们的答案。两者都使用一个答案重新排序的方法,重新排序的答案候选人产生的现有国家的最先进的QA模型。我们提出了两种方法,即基于强度的重新排名和基于覆盖率的重新排名,利用不同段落的汇总证据,以更好地确定答案。我们的模型在三个公共开放域QA数据集上取得了最先进的结果:Quasar-T,SearchQA和TriviaQA的开放域版本,比前两个数据集提高了约8个百分点。
2018-04-26 cs.AI cs.CL
Automatic Generation of Inference Making Questions for Reading Comprehension Assessments
Stanford University(斯坦福大学);ETS Research Institute(教育考试服务中心研究所)
本文提出阅读理解推理类型分类法,并利用 GPT-4o 的少样本与思维链提示自动生成桥接推理题,评估显示题目整体质量高但目标推理类型匹配仍有限。
2025-06-09 cs.AI cs.CL
CoQA: A Conversational Question Answering Challenge
Stanford University(斯坦福大学);Computer Science Department(计算机科学系)
人类通过参与涉及一系列相互关联的问题和答案的对话来收集信息。因此,对于帮助收集信息的机器来说,使它们能够回答会话问题至关重要。我们介绍了CoQA,一种用于构建会话式问答系统的新型数据集。我们的数据集包含127k个问题和答案,这些问题和答案来自七个不同领域的8k个文本段落对话。问题是对话式的,答案是自由形式的文本,并在文章中突出显示相应的证据。我们深入分析了CoQA,并表明会话问题具有现有阅读理解数据集中不存在的挑战性现象,例如,共指和语用推理。我们在CoQA上评估强大的会话和阅读理解模型。最好的系统获得了65.4%的F1分数,比人类的表现(88.8%)落后23.4分,这表明有足够的改进空间。我们在http://stanfordnlp.github.io/coqa/上推出CoQA作为对社区的挑战
2019-03-29 cs.AI cs.CL cs.LG
EDRAC: Benchmarking Arabic Dialect Reading Comprehension
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);New York University Abu Dhabi(纽约大学阿布扎比分校);IBM Research AI(IBM研究院人工智能部门);Qassim University(卡西姆大学)
针对阿拉伯语方言NLP资源不足的问题,推出首个涵盖5种方言的大规模MRC基准EDRAC,测试发现现有评估指标存在局限,为相关研究提供支撑。
2026-09-02 cs.AI cs.CL
MindRef: Mimicking Human Memory for Hierarchical Reference Retrieval with Fine-Grained Location Awareness
Renmin University of China(中国人民大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文提出MindRef两阶段框架,利用大语言模型预训练参数化知识,通过先回忆文档标题再回忆细粒度段落的方式实现分层参考检索,并在KILT任务上验证其能独立定位参考段落并有效辅助下游任务。
2025-09-20 cs.AI cs.CL
Knowledge-Empowered Representation Learning for Chinese Medical Reading Comprehension: Task, Model and Resources
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);DXY(丁香园)
机器阅读理解(MRC)的目的是从文章中抽取问题的答案。近年来,它得到了广泛的研究,特别是在开放域中。然而,很少有人在闭域MRC上做出努力,主要是由于缺乏大规模的训练数据。本文提出了一种面向医学领域的多目标MRC任务,其目标是同时从医学信息源中预测医学问题的答案和相应的支持语句,以保证医学知识服务的高可靠性。为此,人工构建了一个高质量的数据集,命名为多任务中国医学MRC数据集(CMedMRC),并进行了详细的分析。提出了中医BERT任务模型(CMed BERT),通过异构特征动态融合机制和多任务学习策略,将医学知识融合到预先训练好的语言模型中。实验表明,CMedBERT通过融合上下文感知和知识感知的令牌表示,始终优于强基线。
2021-08-20 cs.AI cs.CL cs.LG
What Makes Reading Comprehension Questions Difficult?
National Institute of Informatics(国立信息学研究所);New York University(纽约大学)
对于一个在研究中有用的自然语言理解基准,它必须包含足够多样和困难的示例,以区分当前和不久的将来的最先进的系统。然而,我们还不知道如何最好地选择文本源来收集各种具有挑战性的例子。在这项研究中,我们众包多项选择阅读理解问题的段落从七个不同的质量来源,分析哪些属性的段落有助于收集的例子的难度和问题类型。令我们惊讶的是,我们发现文章来源,长度和可读性的措施并没有显着影响问题的难度。通过我们对七种推理类型的人工注释,我们观察到段落来源和推理类型之间的几个趋势,例如,在为技术文章而写的问题中,逻辑推理往往是需要的。这些结果表明,当创建一个新的基准数据集时,选择一组不同的段落可以帮助确保不同的问题类型,但段落难度不需要优先考虑。
2022-03-12 cs.AI cs.CL
Emotional RAG LLMs: Reading Comprehension for the Open Internet
AI Virtual Assistant (AVA) Lab, Georgia Institute of Technology(人工智能虚拟助理实验室,佐治亚理工学院);Wand AI;Invoca
针对现实RAG应用中互联网文本语气多样导致下游任务困难的挑战,本文提出了一个情感化数据集、一个情感翻译模型以及一种基于提示的方法,以提升LLMs对检索文本的语用理解能力。
2025-06-29 cs.AI cs.CL cs.IR
R$^3$: Reinforced Reader-Ranker for Open-Domain Question Answering
School of Information System, Singapore Management University(新加坡管理大学信息系统学院);AI Foundations - Learning, IBM Research AI(IBM人工智能研究院AI基础学习部)
近年来,研究人员已经取得了相当大的成功,应用神经网络方法的问答(QA)。这些方法已经在简化的闭域设置中实现了现有技术的结果,例如SQuAD(Rajpurkar等人,2016)数据集,该数据集提供预先选择的段落,可以从该段落提取给定问题的答案。最近,研究人员已经开始解决开放域QA,其中模型被赋予一个问题并访问大型语料库(例如,wikipedia)而不是预先选择的段落(Chen等人,2017年a)。这种设置更复杂,因为它需要通过信息检索组件对相关段落进行大规模搜索,并结合“阅读”段落以生成问题答案的阅读理解模型。这种设置的性能大大落后于闭域性能。在本文中,我们提出了一种新的开放域问答系统称为加强排名读者$(R^3)$,基于两个算法的创新。首先,我们提出了一个新的管道开放域QA与排名组件,它学会排名检索段落的可能性生成地面真理的答案给一个给定的问题。其次,我们提出了一种新的方法,联合训练的排名与答案生成阅读器模型,基于强化学习。我们报告了大量的实验结果,表明我们的方法显着提高了多个开放域QA数据集的最新技术水平。
2017-11-21 cs.AI cs.CL
A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts
Google DeepMind(谷歌DeepMind)
提出ReadAgent,一种模拟人类阅读的LLM代理,通过记忆片段压缩为要点记忆并支持原文查找,将有效上下文长度提升3.5-20倍,在三个长文档阅读理解任务上超越基线。
2024-07-22 cs.AI cs.CL cs.IR
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune(浦那陆军技术学院)
多项选择机器阅读理解是一项困难的任务,它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人(或机器)阅读给定的文章、问题对,并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案,或者通过消除最差匹配答案。在这里,我们提出了GenNet模型,一个基于神经网络的模型。在这个模型中,我们首先从文章中生成问题的答案,然后将生成的答案与给定的答案进行匹配,最佳匹配的选项将是我们的答案。对于答案生成,我们使用S-网(Tan等人,2017)在SQuAD上训练的模型,为了评估我们的模型,我们使用了大规模RACE(来自考试的阅读理解数据集)(Lai et al.,2017年)的报告。
2020-03-18 cs.AI cs.CL
Exploiting Explicit Paths for Multi-hop Reading Comprehension
National University of Singapore(新加坡国立大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了一种新的,基于路径的推理方法的多跳阅读理解任务,系统需要结合多个段落的事实来回答一个问题。虽然灵感来自多跳推理知识图谱,我们提出的方法直接在非结构化文本。它通过段落生成潜在的路径,并在没有任何直接路径监督的情况下对其进行评分。PathNet模型通过实体对表示从文本中提取隐含关系,并将其组合编码为每一条路径;为了捕获额外的上下文,PathNet还将沿着每条路径的段落表示组合以计算基于上下文的表示。与以前的方法不同,我们的模型能够通过这些明确的通道来解释其推理。我们证明了我们的方法在多跳Wikihop数据集上的性能优于先前的模型,并且也可以推广到OpenBookQA数据集,匹配最先进的性能。
2019-07-08 cs.AI cs.CL
Can LLMs Estimate Cognitive Complexity of Reading Comprehension Items?
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea(韩国立科学技术院人工智能研究生院);Department of Computer Science and Engineering, POSTECH, Republic of Korea(韩国立科学技术院计算机科学与工程系)
本文研究了大型语言模型是否能通过证据范围和转换级别两个维度估算阅读理解题的认知复杂性,结果显示LLMs能够近似估算认知复杂性,但存在推理能力与元认知意识之间的差距。
2026-05-19 cs.CL
Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Graph Neural Networks
University of Rochester(罗切斯特大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);Westlake University(西湖大学)
多跳阅读理解专注于一种类型的事实问题,其中系统需要适当地整合多个证据来正确回答问题。以前的工作近似全球的证据与当地的共指信息,编码共指链与DAG风格的GRU层内的门注意力读者。然而,共指在为丰富推理提供信息方面是有限的。我们介绍了一种新的方法,更好地连接全局证据,形成更复杂的图相比,DAG。为了在我们的图上进行证据集成,我们研究了两个最近的图神经网络,即图卷积网络(GCN)和图递归网络(GRN)。在两个标准数据集上的实验表明,更丰富的全局信息会导致更好的答案。我们的方法在这些数据集上的表现优于所有已发表的结果。
2018-09-06 cs.AI cs.CL
What Are LLMs Doing to Scientific Communication? Measuring Changes in Writing Practices and Reading Experience
Institute for Natural Language Processing, University of Stuttgart, Germany(斯图加特大学自然语言处理研究所,德国)
本研究探讨了大型语言模型对科学交流风格的影响,通过分析自然语言处理领域中超过37000篇论文和3000篇人类撰写的文本及其LLM改进版本,发现写作实践和阅读体验发生了显著变化,同时揭示了AI辅助写作对阅读体验的主观影响。
2026-05-19 cs.CL
Identifying Supporting Facts for Multi-hop Question Answering with Document Graph Networks
University of Manchester(曼彻斯特大学)
阅读理解方面的最新进展已经产生了一些模型,当答案包含在一段连续的文本中时,这些模型的表现超过了人类的表现。然而,复杂的问答(QA)通常需要多跳推理-即,整合来自不同来源的支持事实,以推断正确答案。本文提出了文档图网络(DGN),一个消息传递体系结构,用于识别支持事实的图形结构表示的文本。对HotpotQA的评估表明,与在原始文本上操作的阅读理解基线相比,DGN获得了具有竞争力的结果,证实了结构化表示支持多跳推理的相关性。
2019-10-01 cs.AI cs.CL cs.IR
Auto-Select Reading Passages in English Assessment Tests?
University of Pennsylvania(宾夕法尼亚大学);LXPER AI Research(LXPER人工智能研究院)
我们展示了一种在英语评估测试中自动选择阅读段落的方法,并分享了一些对相关领域有帮助的关键见解。具体来说,我们证明,找到一个类似的通道(一个通道,已经出现在测试)可以给一个合适的通道测试开发。在这个过程中,我们创建了一个简单的数据库标记过滤算法,并执行人工评估。然而,1.我们分析的文本特征缺乏覆盖性; 2.我们无法找到每个特征和适合性分数之间有意义的相关性。最后,我们描述了未来的发展,以提高自动阅读文章选择。
2022-05-14 cs.CL cs.IR
Exploring the Potential of Large Language Models for Estimating the Reading Comprehension Question Difficulty
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校西贝尔计算与数据科学学院);Arkansas State University(阿肯色州立大学);School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Heinz College of Information Systems and Public Policy, Carnegie Mellon University(卡内基梅隆大学海因茨信息系统与公共政策学院);University of Memphis(孟菲斯大学);Institute for Intelligent Systems, University of Memphis(孟菲斯大学智能系统研究所);Department of Psychology, University of Memphis(孟菲斯大学心理学系)
本研究探索GPT-4o和o1在SARA数据集上估计阅读理解问题难度的能力,发现其估计与IRT参数一致,可作为可扩展的自动化难度评估方法。
2025-02-25 cs.CL cs.HC
QAInfomax: Learning Robust Question Answering System by Mutual Information Maximization
National Taiwan University(台湾大学)
标准的准确性度量表明,现代阅读理解系统在许多问答数据集中取得了很好的性能。然而,这些系统真正理解语言的程度仍然是未知的,现有的系统并不擅长区分分心句子,这些句子看起来相关,但实际上并没有回答问题。为了解决这个问题,我们提出QAInfomax作为一个正规化在阅读理解系统中,通过最大限度地提高互信息之间的段落,一个问题,它的答案。QAInfomax帮助规范模型,而不是简单地学习回答问题的表面相关性。实验表明,我们提出的QAInfomax实现了最先进的性能基准的Adversarial-SQuAD数据集。
2019-08-31 cs.AI cs.CL cs.LG
Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification
Baidu Inc.(百度公司);Peking University(北京大学)
基于真实网络数据的机器阅读理解(MRC)通常要求机器通过分析搜索引擎检索到的多个段落来回答问题。与单篇文章的MRC相比,多篇文章的MRC更具挑战性,因为我们很可能从不同的文章中得到多个令人困惑的答案候选者。为了解决这个问题,我们提出了一个端到端的神经模型,使这些答案候选人从不同的段落,以验证对方的基础上,他们的内容表示。具体来说,我们联合训练了三个模块,可以根据答案边界、答案内容和交叉通道答案验证三个因素来预测最终答案。实验结果表明,该方法在英文MS-MARCO数据集和中文DuReader数据集上的性能均优于基线,达到了最先进的性能,这两个数据集都是为真实环境中的MRC设计的。
2018-05-10 cs.CL
Question Generation by Transformers
U.S. Bank(美国合众银行)
开发了一个机器学习模型,使用Transformers从维基百科的段落中自动生成问题,这是一种基于注意力的模型,避开了现有的递归神经网络(RNN)的范式。该模型是在反向斯坦福问答数据集(SQuAD)上训练的,该数据集是一个阅读理解数据集,由众包工作者对一组维基百科文章提出的10万多个问题组成。经过训练后,问题生成模型能够生成与未见过的段落相关的简单问题,以及每个问题平均包含8个单词的答案。单词出错率(WER)被用作比较SQuAD问题和模型生成的问题之间的相似性的度量。虽然高平均WER表明生成的问题与原始SQuAD问题不同,但生成的问题大多语法正确,并且本身似乎合理。
2019-09-14 cs.AI cs.CL cs.LG
DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension
Shanghai Jiao Tong University(上海交通大学);CloudWalk Technology(云从科技)
多项选择阅读理解是一项具有挑战性的任务,需要在给定段落和问题时从一组候选选项中选择答案。以往的方法在对篇章与问题之间的关系建模时,通常只计算问题感知的篇章表征,而忽略了问题感知的篇章表征,这显然不能充分利用篇章与问题之间的信息。在这项工作中,我们提出了双协同匹配网络(DCMN)模型之间的关系通道,问题和答案选项双向。此外,受人类解决多项选择题的启发,我们将两种阅读策略整合到我们的模型中:(i)段落句子选择,找到最突出的支持句子来回答问题,(ii)答案选项交互,编码答案选项之间的比较信息。DCMN结合两种策略(DCMN+)在来自不同领域的五个多项选择阅读理解数据集上获得了最先进的结果:RACE,SemEval-2018 Task 11,ROCStories,COIN,MCTest。
2020-01-16 cs.CL
How Much Reading Does Reading Comprehension Require? A Critical Investigation of Popular Benchmarks
Carnegie Mellon University(卡内基梅隆大学)
最近的许多论文都涉及阅读理解,其中的例子由(问题,段落,答案)元组组成。据推测,模型必须结合问题和段落的信息来预测相应的答案。然而,尽管人们对这个话题有着浓厚的兴趣,数百篇已发表的论文都在争夺排行榜的主导地位,但关于许多流行基准的难度的基本问题仍然没有答案。在本文中,我们为bAbI,SQuAD,CBT,CNN和Who-did-What数据集建立了合理的基线,发现仅问题和问题模型通常表现得非常好。在$20$ bAbI任务之外的$14$上,仅限数据的模型实现的精度高于$50\%$,有时与完整模型匹配。有趣的是,虽然CBT提供了$20$ -句子故事,但只有最后一个句子故事才能进行非常准确的预测。相比之下,SQuAD和CNN的结构似乎更好。
2018-08-21 cs.AI cs.CL cs.LG
Graph Representations for Reading Comprehension Analysis using Large Language Model and Eye-Tracking Biomarker
University of California, San Diego (UCSD)(加州大学圣地亚哥分校);Hong Kong University of Science and Technology(香港科学与技术大学);Brown University(布朗大学)
本研究使用基于LLM的AI智能体将阅读文章转换为图表示,通过比较眼动注视分布,发现LLMs在图拓扑结构层面的语言理解上表现出高度一致性,为人机协同学习策略提供见解。
2025-07-16 cs.CL q-bio.NC
Reference Knowledgeable Network for Machine Reading Comprehension
Shanghai Jiao Tong University(上海交通大学)
多项选择机器阅读理解(MRC)是一项挑战,它要求模型从一组候选答案中选择最合适的答案。现有的研究大多集中在对特定任务或复杂网络的建模上,没有明确地引用相关的、可信的外部知识源,这在很大程度上弥补了本文的不足。因此,我们提出了一种新的基于参考的知识增强模型称为参考知识网络(RekNet),它模拟人类的阅读策略,从文章中提炼关键信息,并在必要时引用明确的知识。具体来说,RekNet对关键信息进行细化,定义为参考广度,并通过参考广度和候选词的共现信息引用显式知识四元组。建议的RekNet在三个多选择MRC基准上进行评估:RACE,DREAM和Cosmos QA,获得一致和显着的性能改进,在强基线上具有可观察的统计显著性水平。我们的代码可在https://github.com/Yilin1111/RekNet上获得。
2022-03-26 cs.AI cs.CL
S-Net: From Answer Extraction to Answer Generation for Machine Reading Comprehension
State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);Microsoft Research(微软研究院)
在本文中,我们提出了一种新的方法来机器阅读理解的MS-MARCO数据集。与SQuAD数据集不同的是,MS-MARCO数据集将任务定义为回答多个段落中的问题,并且答案中的单词在段落中是不必要的。因此,我们开发了一个提取然后合成框架,从提取结果合成答案。具体而言,首先采用答案提取模型来预测文章中最重要的子跨度作为证据,然后答案合成模型将证据作为与问题和文章一起的附加特征来进一步阐述最终答案。我们使用最先进的神经网络建立了单篇文章阅读理解的答案抽取模型,并提出了一个额外的任务,即文章排序,以帮助多篇文章的答案抽取。答案合成模型是基于序列到序列的神经网络与提取的证据作为特征。实验表明,我们的提取,然后合成方法优于国家的最先进的方法。
2018-01-02 cs.CL
Dual Co-Matching Network for Multi-choice Reading Comprehension
Shanghai Jiao Tong University(上海交通大学)
多项选择阅读理解是一项具有挑战性的任务,需要复杂的推理过程。给定段落和问题,需要从一组候选答案中选择正确答案。本文提出了\textbf{D}双\textbf{C} o- \textbf{M}匹配\textbf{N}网络(\textbf{DCMN}),它对段落、问题和答案之间的关系进行了双向建模.与现有方法只计算问题感知或选项感知的段落表征不同,我们同时计算问题感知的问题表征和选项感知的答案表征。为了证明我们的模型的有效性,我们评估我们的模型上的大规模多项选择机器阅读理解数据集(即RACE)。实验结果表明,我们提出的模型取得了新的国家的最先进的结果。
2019-08-20 cs.CL
Evaluating GenAI for Simplifying Texts for Education: Improving Accuracy and Consistency for Enhanced Readability
University of Central Florida(中佛罗里达大学)
本研究提出通用评估方法与指标,系统评估LLMs、提示技术及新型多智能体架构在教育文本简化中的表现,发现其有应用潜力但存在平衡不足的问题,为后续系统评估提供可推广方案。
2025-01-15 cs.CL
Leveraging Query Resolution and Reading Comprehension for Conversational Passage Retrieval
University of Amsterdam(阿姆斯特丹大学);Apple Inc.(苹果公司)
本文介绍了UvA.ILPS集团参加TREC CAST 2020的情况。我们的段落检索管道包括(i)使用BM 25的初始检索模块,以及(ii)将BERT排名模型的得分与针对段落检索调整的机器理解模型的得分相结合的重新排名模块。会话段落检索中的一个重要挑战是查询通常是指定不足的。因此,我们执行查询解析,即使用QuReTeC(术语分类查询解析模型)将会话历史中缺失的上下文添加到当前回合查询中。我们表明,我们最好的自动和手动运行优于相应的中位数运行了很大的保证金。
2021-02-17 cs.CL cs.IR
Open-Retrieval Conversational Machine Reading
Chinese University of Hong Kong(香港中文大学);Salesforce Research(Salesforce研究院)
在对话式机器阅读中,系统需要解释自然语言规则,回答高级问题,如“我可以获得VA医疗福利吗?“,并提出后续澄清问题,这些问题的答案是回答原始问题所必需的。然而,现有的作品假设规则文本提供给每个用户的问题,这忽略了在实际情况下的必要的检索步骤。在这项工作中,我们提出并调查了一个开放的检索设置的会话机器阅读。在开放式检索环境中,相关规则文本是未知的,使得系统需要从规则文本集合中检索与问题相关的证据,并以会话的方式根据检索到的多个规则文本回答用户的高级问题。我们提出了MUDERN,一个多通道话语感知蕴涵推理网络,通过话语分割提取规则文本中的条件,进行多通道蕴涵推理,直接回答用户的问题,或问澄清后续问题,以查询更多的信息。在我们创建的OR-ShARC数据集上,MUDERN实现了最先进的性能,大大优于现有的单通道对话机器阅读模型以及新的多通道对话机器阅读基线。此外,我们还进行深入分析,为这种新环境和我们的模型提供新的见解。
2021-11-25 cs.AI cs.CL cs.LG
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答(QA)是语音助理的重要用例。一种流行的问答方法是提取阅读理解(RC),它在文本段落中找到答案跨度。然而,提取的答案在会话上下文中通常是不自然的,这导致次优的用户体验。在这项工作中,我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型,它将多个段落的答案生成与段落排名和可回答性相结合。此外,在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结,以评估真实性。实验结果表明,与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比,EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
Clause-Internal or Clause-External? Testing Turkish Reflexive Binding in Adapted versus Chain of Thought Large Language Models
University of Chicago(芝加哥大学)
本研究通过对比两种大型语言模型,探讨土耳其反身代词在不同模型中的绑定行为差异,揭示模型架构和训练数据对指代依赖表示的影响。
2026-02-09 cs.CL
Language Proficiency Assessment from Eye Movements in Naturalistic Passage Reading
Faculty of Data and Decision Sciences(数据与决策科学学院);Technion - Israel Institute of Technology(以色列理工学院)
本研究将眼动预测语言能力的方法扩展至自然段落阅读等场景,提出评分去偏差方法,验证其有效性、可靠性及去偏差效果,为相关评估技术提供更扎实的实证基础。
2026-09-01 cs.CL
Human Attention during Goal-directed Reading Comprehension Relies on Task Optimization
College of Biomedical Engineering and Instrument Sciences, Zhejiang University(浙江大学生物医学工程与仪器科学学院);Zhejiang lab(浙江实验室);Division of Arts and Sciences, New York University Shanghai(上海纽约大学文理学院)
本文通过眼动追踪与基于 transformer 的 DNN 对比,证明目标导向阅读中的人类注意力分布可由任务优化模型的注意力权重解释。
2023-04-23 cs.AI cs.CL
A Co-Matching Model for Multi-choice Reading Comprehension
Singapore Management University(新加坡管理大学);IBM Research(IBM研究院)
多项选择阅读理解是一项具有挑战性的任务,它涉及到文章和问答对之间的匹配。本文提出了一种新的协同匹配方法来解决这个问题,它联合模型是否可以匹配的问题和候选答案的段落。RACE数据集上的实验结果表明,我们的方法达到了最先进的性能。
2018-06-11 cs.CL
Towards an automatic method for generating topical vocabulary test forms for specific reading passages
ETS
本文提出K-tool系统,自动检测文本主题并生成主题词汇测试表单,以测量学生背景知识并预测其理解特定阅读篇章的能力,面向中学和高中英语母语学生。
2025-05-24 cs.AI cs.CL cs.IR
Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
University of Electronic Science and Technology of China(电子科技大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院)
多语言预训练模型可以利用来自丰富源语言(如英语)的训练数据来提高低资源语言的性能。然而,多语言机器阅读理解(MRC)的迁移质量明显低于句子分类任务,这主要是由于MRC需要检测单词级别的答案边界。在本文中,我们提出了两个辅助任务,在微调阶段,以创建额外的短语边界监督:(1)混合MRC任务,将问题或段落翻译到其他语言,并建立跨语言的问题-段落对;(2)语言无关的知识掩蔽任务,利用知识挖掘的短语从Web。此外,在两个跨语言MRC数据集上的大量实验表明了该方法的有效性。
2020-05-08 cs.AI cs.CL
Adversarial Domain Adaptation for Machine Reading Comprehension
University of Virginia(弗吉尼亚大学);Microsoft Dynamics 365 AI Research(微软 Dynamics 365 AI 研究院);Microsoft Research(微软研究院)
在本文中,我们专注于机器阅读理解(MRC)的无监督领域自适应,其中源域有大量的标记数据,而目标域中只有未标记的段落。为此,我们提出了一个对抗性的领域自适应框架(AdaMRC),其中($i$)伪问题首先在目标领域中的未标记的段落中生成,然后($ii$)领域分类器被纳入MRC模型,以预测给定的问题对来自哪个领域。使用对抗学习来联合训练分类器和问题编码器,以实施域不变表示学习。综合评估表明,我们的方法($i$)是可推广到不同的MRC模型和数据集,($ii$)可以与预训练的大规模语言模型(如ELMo和BERT)相结合,($iii$)可以扩展到半监督学习。
2019-08-24 cs.CL
Retrospective Reader for Machine Reading Comprehension
Shanghai Jiao Tong University(上海交通大学);SJTU-ParisTech Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院)
机器阅读理解(MRC)是一项人工智能挑战,要求机器根据给定的段落确定问题的正确答案。MRC系统不仅必须在必要时回答问题,还必须根据给定的段落区分何时没有答案,然后巧妙地放弃回答。当MRC任务中涉及无法回答的问题时,除了编码器之外,还特别需要一个称为验证器的基本验证模块,尽管MRC建模的最新实践仍然最受益于采用预先训练好的语言模型作为编码器块,只关注“阅读”。本文致力于探索更好的验证器设计的MRC任务与不可回答的问题。受人类如何解决阅读理解问题的启发,我们提出了一种回顾性阅读器(Retro-Reader),它集成了两个阶段的阅读和验证策略:1)粗略阅读,简要调查段落和问题的整体互动,并产生初步判断; 2)精读,验证答案并给出最终预测。在两个基准MRC挑战数据集SQuAD2.0和NewsQA上对所提出的阅读器进行了评估,获得了新的最先进的结果。显著性检验表明,我们的模型明显优于强ELECTRA和ALBERT基线。本文还对该阅读器的有效性进行了一系列的分析。
2020-12-11 cs.AI cs.CL cs.IR
Composing Answer from Multi-spans for Reading Comprehension
针对非抽取式机器阅读理解(MRC)问题,提出了一种新的答案生成方法。当地面实况答案由人类注释者给出或从部分段落高度重新释义时,针对这种类型的MRC使用指针网络式提取解码器可能导致不令人满意的性能。另一方面,当遇到长句时,使用生成式解码器不能很好地保证结果具有良好的语法和语义。因此,为了减轻双方的明显缺点,我们提出了一个答案弥补方法,从提取的多跨度,我们的模型学习作为高度自信的$n$ -gram候选人在给定的通道。也就是说,返回的答案是由不连续的多个跨度组成的,而不仅仅是给定段落中的一个连续的跨度。该方法简单有效:在MS MARCO上的实验表明,该方法在准确生成长答案方面具有更好的性能,并大大优于两种典型的单跨度和Seq 2Seq基线解码器。
2021-08-23 cs.AI cs.CL cs.IR
Retrieve-and-Read: Multi-task Learning of Information Retrieval and Reading Comprehension
NTT Media Intelligence Laboratories, NTT Corporation(日本电信电话株式会社(NTT)媒体智能实验室)
本研究认为,在规模(MRS)的机器阅读的任务,其中,给定一个问题,系统首先执行的信息检索(IR)的任务,找到相关的段落中的知识源,然后进行阅读理解(RC)的任务,从段落中提取的答案跨度。以前的MRS研究中,IR组件在不考虑答案跨度的情况下进行训练,很难从大量的段落中准确地找到少量的相关段落。在本文中,我们提出了一个简单而有效的方法,结合了IR和RC任务,通过使用监督多任务学习,以便IR组件可以通过考虑答案跨度进行训练。在标准基准测试中,使用完整的维基百科作为知识源回答SQuAD问题,实验结果表明我们的模型达到了最先进的性能。此外,我们使用新的日本数据集和SQuAD彻底评估了模型组件的单独贡献。结果表明,在IR任务的显着改善,并提供了一个新的视角IR RC:它是有效的,教的一部分,而不是只给一个相关性分数的整个通道回答问题。
2018-08-31 cs.CL cs.IR
World Knowledge in Multiple Choice Reading Comprehension
ALTA Institute(ALTA研究所);Cambridge University(剑桥大学)
本文提出基于信息论的期望选项数和上下文互信息两个度量指标,用于评估多项选择阅读理解问题对世界知识捷径的依赖程度,并证明这些指标可帮助测试设计者监控题目质量。
2023-05-30 cs.AI cs.CL
Reasoning Over Paragraph Effects in Situations
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
成功阅读文章的一个关键组成部分是将从文章中获得的知识应用到新情况的能力。为了促进这种阅读的进展,我们提出了ROPES,一个具有挑战性的基准阅读理解针对推理的段落效果的情况。我们的目标是描述原因和结果的抽象语言(例如,“动物传粉者提高花的受精效率”),因为它们对新的情况有明确的影响。向系统呈现包含这些关系中的至少一个的背景段落、使用该背景的新颖情境、以及需要在情境的上下文中推理背景段落中的关系的效果的问题。我们从科学教科书和维基百科中收集了包含这些现象的背景段落,并要求人群工作人员撰写情景,问题和答案,从而产生了14,322个问题数据集。我们分析了这项任务的挑战,并评估了最先进的阅读理解模型的性能。最佳模型的表现仅略好于随机猜测正确类型的答案,F1为61.6%,远低于人类的89.0%。
2019-12-15 cs.CL
Dynamic Fusion Networks for Machine Reading Comprehension
Carnegie Mellon University(卡内基梅隆大学);Microsoft AI&R(微软人工智能与研究事业部)
提出了一种新的用于机器阅读理解(MRC)的神经网络模型--动态融合网络(DFN)。DFN与大多数最先进的模型不同之处在于它们使用动态多策略注意过程,其中段落,问题和答案候选者共同融合为注意向量,以及用于生成答案的动态多步推理模块。通过使用强化学习,对于由问题、段落和候选答案列表组成的每个输入样本,可以通过确定要应用什么注意力策略以及要采取多少推理步骤来动态地构建具有样本特定网络架构的DFN实例。实验表明,DFN实现了RACE上报告的最佳结果,RACE是一个具有挑战性的MRC数据集,包含各种类型的真实人类阅读问题。一个详细的实证分析还表明,DFNs可以产生的注意向量,总结信息的问题,段落和答案的候选人比其他流行的MRC模型更有效。
2018-02-26 cs.CL