MultiWikiQA: A Reading Comprehension Benchmark in 300+ Languages
Alexandra Institute(亚历山大研究所)
MultiWikiQA是一个涵盖306种语言的阅读理解基准测试,通过生成高质量问答对评估不同语言模型的性能。
2026-03-04 cs.CL
Grounding Language in Multi-Perspective Referential Communication
University of California, Berkeley(加州大学伯克利分校)
该研究提出多智能体具身环境下的多视角指称交流任务与含2970条样本的数据集,发现现有模型性能弱于人类双人组合,经交流成功信号训练的开源说话者模型成功率达69.3%,超最强专有模型。
2024-10-04 cs.AI cs.CL cs.CV
A Co-Matching Model for Multi-choice Reading Comprehension
Singapore Management University(新加坡管理大学);IBM Research(IBM研究院)
多项选择阅读理解是一项具有挑战性的任务,它涉及到文章和问答对之间的匹配。本文提出了一种新的协同匹配方法来解决这个问题,它联合模型是否可以匹配的问题和候选答案的段落。RACE数据集上的实验结果表明,我们的方法达到了最先进的性能。
2018-06-11 cs.CL
Beyond English-Only Reading Comprehension: Experiments in Zero-Shot Multilingual Transfer for Bulgarian
Sofia University “St. Kliment Ohridski”(索非亚大学“圣克里门特·奥赫里德斯基”);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
最近,阅读理解模型在SQuAD,CoQA,MS Macro,RACE等大规模数据集上实现了接近人类的性能,这在很大程度上是由于发布了预先训练的上下文表示,如BERT和ELMo,可以针对目标任务进行微调。尽管取得了这些进展,并创建了更具挑战性的数据集,但大部分工作仍然是针对英语完成的。在这里,我们研究了多语言BERT在大规模英语阅读理解数据集上微调的有效性(例如,对于种族),我们将其应用于保加利亚多项选择阅读理解。我们提出了一个新的数据集,包含2,221个问题,从入学考试的12年级在各种科目-历史,生物,地理和哲学-和412个额外的问题,从在线测验的历史。虽然测试作者没有给出相关的上下文,但我们结合了维基百科的知识,检索匹配问题+每个答案选项组合的文档。此外,我们还尝试了不同的索引和预训练策略。评估结果显示准确率为42.23%,远高于基线24.89%。
2019-09-06 cs.CL cs.IR
How Much Reading Does Reading Comprehension Require? A Critical Investigation of Popular Benchmarks
Carnegie Mellon University(卡内基梅隆大学)
最近的许多论文都涉及阅读理解,其中的例子由(问题,段落,答案)元组组成。据推测,模型必须结合问题和段落的信息来预测相应的答案。然而,尽管人们对这个话题有着浓厚的兴趣,数百篇已发表的论文都在争夺排行榜的主导地位,但关于许多流行基准的难度的基本问题仍然没有答案。在本文中,我们为bAbI,SQuAD,CBT,CNN和Who-did-What数据集建立了合理的基线,发现仅问题和问题模型通常表现得非常好。在$20$ bAbI任务之外的$14$上,仅限数据的模型实现的精度高于$50\%$,有时与完整模型匹配。有趣的是,虽然CBT提供了$20$ -句子故事,但只有最后一个句子故事才能进行非常准确的预测。相比之下,SQuAD和CNN的结构似乎更好。
2018-08-21 cs.AI cs.CL cs.LG
SciMRC: Multi-perspective Scientific Machine Reading Comprehension
Beijing Institute of Technology(北京理工大学);Southeast Academy of Information Technology, Beijing Institute of Technology(北京理工大学东南信息技术研究院)
针对现有科学机器阅读理解数据集仅含单一视角的局限,本文提出包含初学者、学生和专家视角的多视角数据集SciMRC,实验证明其有效且具挑战性。
2023-06-25 cs.CL
DEMN: Distilled-Exposition Enhanced Matching Network for Story Comprehension
Beijing Language and Culture University(北京语言大学);Beijing Advanced Innovation for Language Resources of BLCU(北京语言大学北京语言资源高级创新中心)
文章提出了一种用于故事完形填空测试的提取-阐述增强匹配网络(DEMN)。我们将一个完整的故事分为三个叙事片段:一个\textit{exposition}、一个\textit{climax}和一个\textit{ending}。该模型由三个模块组成:输入模块、匹配模块和蒸馏模块。输入模块为三个片段提供语义表示,然后将它们馈送到其他两个模块。匹配模块收集结尾和高潮之间的交互特征。提取模块提取阐述中的关键语义信息,并以两种不同的方式将其注入匹配模块。在ROCStories Corpus \cite{Mostafazadeh2016ACA}上对模型进行了测试,结果表明该模型的正确率分别为80.1%和81.2%。实验结果表明,我们的DEMN模型达到了最先进的性能。
2019-01-08 cs.CL
Dual Co-Matching Network for Multi-choice Reading Comprehension
Shanghai Jiao Tong University(上海交通大学)
多项选择阅读理解是一项具有挑战性的任务,需要复杂的推理过程。给定段落和问题,需要从一组候选答案中选择正确答案。本文提出了\textbf{D}双\textbf{C} o- \textbf{M}匹配\textbf{N}网络(\textbf{DCMN}),它对段落、问题和答案之间的关系进行了双向建模.与现有方法只计算问题感知或选项感知的段落表征不同,我们同时计算问题感知的问题表征和选项感知的答案表征。为了证明我们的模型的有效性,我们评估我们的模型上的大规模多项选择机器阅读理解数据集(即RACE)。实验结果表明,我们提出的模型取得了新的国家的最先进的结果。
2019-08-20 cs.CL
DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension
Shanghai Jiao Tong University(上海交通大学);CloudWalk Technology(云从科技)
多项选择阅读理解是一项具有挑战性的任务,需要在给定段落和问题时从一组候选选项中选择答案。以往的方法在对篇章与问题之间的关系建模时,通常只计算问题感知的篇章表征,而忽略了问题感知的篇章表征,这显然不能充分利用篇章与问题之间的信息。在这项工作中,我们提出了双协同匹配网络(DCMN)模型之间的关系通道,问题和答案选项双向。此外,受人类解决多项选择题的启发,我们将两种阅读策略整合到我们的模型中:(i)段落句子选择,找到最突出的支持句子来回答问题,(ii)答案选项交互,编码答案选项之间的比较信息。DCMN结合两种策略(DCMN+)在来自不同领域的五个多项选择阅读理解数据集上获得了最先进的结果:RACE,SemEval-2018 Task 11,ROCStories,COIN,MCTest。
2020-01-16 cs.CL
Benchmarking Machine Reading Comprehension: A Psychological Perspective
National Institute of Informatics(国立信息学研究所);University College London(伦敦大学学院)
机器阅读理解(MRC)作为自然语言理解的基准已经受到相当大的关注。然而,MRC的传统任务设计缺乏超出模型解释的可解释性,即,阅读理解的模式不能用人类的语言来解释。为此,本文为基于心理学和心理测量学的MRC数据集的设计提供了理论基础,并总结了MRC基准测试的先决条件。我们的结论是,未来的数据集应该(i)评估模型的能力,以构建一个连贯和接地表示理解上下文相关的情况和(ii)确保通过捷径证明问题和解释作为任务设计的一部分,实质性的有效性。
2021-01-26 cs.CL
HNC: Leveraging Hard Negative Captions towards Models with Fine-Grained Visual-Linguistic Comprehension Capabilities
Institute for Natural Language Processing, University of Stuttgart(自然语言处理研究所,斯图加特大学)
本文提出HNC数据集,通过自动创建硬负样本提升图像-文本匹配模型的细粒度跨模态理解能力,并提供人工创建的测试集评估模型在复杂跨模态匹配任务中的表现。
2026-05-06 cs.AI cs.CL cs.CV
Sentence Pair Scoring: Towards Unified Framework for Text Comprehension
FEE CTU Prague(捷克理工大学布拉格分校电气工程学院)
我们回顾了句子对评分的任务,在文献中以各种形式流行-被视为回答句子选择,语义文本评分,下一个话语排名,识别文本蕴涵,释义或例如记忆网络的一个组成部分。我们认为,从模型的角度来看,所有这些任务都是相似的,并通过在许多句子对评分任务和数据集上比较常见的IR指标和流行的卷积、循环和基于注意力的神经模型的性能,提出了新的基线。我们讨论了评估随机模型的问题,提出了一种基于统计的方法,并试图通过发布新的数据集来改善比较,这些数据集比目前使用的一些经过充分探索的基准要难得多。我们引入了一个统一的开源软件框架,具有易于插入的模型和任务,这使我们能够实验训练句子模型的多任务可重用性。我们在Ubuntu Dialogue数据集上设置了一个新的最先进的性能。
2016-05-17 cs.AI cs.CL cs.LG
Multi-Perspective Fusion Network for Commonsense Reading Comprehension
Beijing Language and Culture University(北京语言大学);Beijing Advanced Innovation for Language Resources of BLCU(北京语言大学北京语言资源高级创新中心(BLCU))
常识性阅读理解是一项极具挑战性的任务,其目的是为涉及叙述性段落的问题选择正确的答案,这可能需要常识知识推理。现有的方法大多只是从\emph{union}的角度将选择、段落和问题的交互信息简单组合融合,缺乏更深层次的比较信息。相反,我们提出了一种多视角融合网络(MPFN),通过引入\emph{difference}和\emph{similarity}融合\deleted{along with the \emph{union}},扩展了多视角的单一融合方法。通过这三种类型的融合可以捕获更全面和准确的信息。在MCScript数据集\cite{Ostermann:LREC18:MCScript}上设计了多组实验,分别对三种融合方法的有效性进行了评估。从实验结果可以看出,差异融合与联合融合具有可比性,相似融合需要联合融合来激活。实验结果也表明,我们的MPFN模型达到了最先进的水平,在官方测试集上的准确率为83.52%。
2019-01-08 cs.CL
Multi-turn Dialogue Comprehension from a Topic-aware Perspective
Shanghai Jiao Tong University(上海交通大学)
本文从主题感知视角建模多轮对话,提出无监督对话切分算法和主题感知双注意力匹配网络TADAM,在主题检测与回复选择任务上显著优于基线。
2023-09-18 cs.CL
NEUer at SemEval-2021 Task 4: Complete Summary Representation by Filling Answers into Question for Matching Reading Comprehension
Northeastern University(东北大学);Westlake University(西湖大学)
SemEval任务4旨在从多个候选项中找到一个合适的选项来解决机器阅读理解任务。大多数现有的方法建议concat问题和选项一起,形成一个上下文感知模型。然而,我们认为,简单的串联只能提供一个粗粒度的上下文MRC任务,忽略了特定的位置的选项相对于问题。在本文中,我们提出了一种新的MRC模型,通过填充选项到问题,产生一个细粒度的上下文(定义为摘要),可以更好地揭示选项和问题之间的关系。我们在给定的数据集上进行了一系列的实验,结果表明,我们的方法在很大程度上优于其他同行。
2021-05-25 cs.AI cs.CL
Bi-directional Cognitive Thinking Network for Machine Reading Comprehension
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Science(中国科学院大学网络空间安全学院)
本文从互补学习系统理论的角度提出了一个新的阅读理解双向认知知识框架。它旨在模拟大脑中的两种思维方式来回答问题,包括逆向思维和惯性思维。为了验证该框架的有效性,我们设计了一个双向认知思维网络(BCTN)对文章进行编码,并在给定答案(问题)的情况下生成问题(答案),实现双向知识的解耦。该模型具有逆向推理问题的能力,可以帮助惯性思维产生更准确的答案。在DuReader数据集中观察到竞争性改进,证实了我们的假设,即双向知识有助于QA任务。新的框架显示了一个有趣的视角机器阅读理解和认知科学。
2020-10-20 cs.CL
The Dog the Cat Chased Stumped the Model: Measuring When Language Models Abandon Structure for Shortcuts
Emory University(埃默里大学);Brock University(布罗克大学)
本文提出CenterBench数据集,用于衡量语言模型在处理中心嵌套句子时何时从结构分析转向语义捷径,揭示模型在复杂性增加时性能差距扩大及人类与模型的差异。
2026-01-20 cs.AI cs.CL
A Parallel-Hierarchical Model for Machine Comprehension on Sparse Data
Maluuba Research(Maluuba研究院)
理解非结构化文本是自然语言处理的一个主要目标。理解测试提出的问题的基础上简短的文本段落,以评估这种理解。在这项工作中,我们调查具有挑战性的{ \it MCTest}基准上的机器理解。部分由于其有限的大小,以前对{ \it MCTest}的工作主要集中在设计更好的功能上。我们用神经方法处理数据集,利用以并行层次结构排列的简单神经网络。并行层次结构使我们的模型能够从各种可训练的角度比较段落,问题和答案,而不是使用手动设计的刚性特征集。视角范围从单词层面到句子片段再到句子序列;网络只对文本的单词嵌入表示进行操作。当使用旨在帮助应对有限训练数据的方法进行训练时,我们的分层模型为{ \it MCTest}设定了一个新的最新技术水平,略微优于以前的功能设计方法,并且显著优于以前的神经方法(绝对值超过15%)。
2016-03-29 cs.CL
DUMA: Reading Comprehension with Transposition Thinking
Shanghai Jiao Tong University(上海交通大学)
多项选择机器阅读理解(MRC)要求模型在给定一段文章和一个问题时,从一组答案选项中确定正确答案。因此,除了作为编码器的强大的预训练语言模型(PrLM)之外,多选择MRC特别依赖于匹配网络设计,该匹配网络设计应该有效地捕获段落、问题和答案三元组之间的关系。虽然新的和更强大的PrLM已经显示出他们的强大,即使没有匹配网络的支持,我们提出了一个新的双多头共同注意力(DUMA)模型,这是受人类的换位思维过程的启发解决多选择MRC问题:分别考虑对方的焦点从通道和问题的立场。拟议的DUMA已被证明是有效的,并能够普遍促进PrLM。我们提出的方法在两个基准多选择MRC任务DREAM和RACE上进行了评估,表明在强大的PrLM方面,DUMA仍然可以提升模型以达到新的最先进的性能。
2020-09-15 cs.CL
ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension
University of California, Irvine(加州大学欧文分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
阅读理解是进一步研究自然语言理解的重要课题之一。最近引入了许多不同的阅读理解数据集来研究自然语言中的各种现象,从简单的释义匹配和实体类型到实体跟踪和理解上下文的含义。鉴于许多这样的数据集的可用性,全面和可靠的评估是繁琐和耗时的研究人员在这个问题上的工作。我们提出了一个评估服务器,ORB,报告性能的七个不同的阅读理解数据集,鼓励和促进测试一个单一的模型的能力,在理解各种各样的阅读现象。评估服务器对如何训练模型没有任何限制,因此它是探索训练范例和一般阅读设施的表示学习的合适测试平台。随着更多合适的数据集的发布,它们将被添加到评估服务器中。我们还收集并包含这些数据集的合成增强,测试模型处理域外问题的能力。
2019-12-29 cs.CL
Medical Exam Question Answering with Large-scale Reading Comprehension
Tsinghua University(清华大学);Tsinghua-iFlytek Joint Laboratory(清华-讯飞联合实验室)
文本的阅读和理解是临床医学计算机辅助诊断的重要组成部分,也是自然语言处理领域的一个主要研究问题。在这项工作中,我们引入了一个问答任务,称为MedQA研究回答问题,在临床医学中使用的知识,在一个大规模的文件收集。MedQA的目的是通过大规模阅读理解来回答现实世界的问题。我们提出了我们的解决方案SeaReader--一个基于LSTM网络和双路径注意力架构的模块化端到端阅读理解模型。这种新颖的双路径注意力从两个角度对信息流进行建模,并且能够同时阅读单个文档并整合多个文档中的信息。在实验中,我们的SeaReader在MedQA上的准确性比竞争模型有了很大的提高。此外,我们开发了一系列新的技术来演示解释的问答过程中的SeaReader。
2018-02-28 cs.CL
Phase Conductor on Multi-layered Attentions for Machine Comprehension
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Department of Computational & Systems Biology, University of Pittsburgh(匹兹堡大学计算与系统生物学系)
注意力模型已经被广泛地研究,以改善NLP任务,如机器理解,通过问题感知的通道注意力模型和自匹配的注意力模型。我们的研究以两种有意义的方式为注意力模型提出了相导体(PhaseCond)。首先,PhaseCond,多层注意力模型的架构,由多个阶段组成,每个阶段实现一堆产生通道表示的注意力层和一堆调节信息流的内部或外部融合层。其次,我们通过从不同角度同时编码多个问题和段落嵌入层来扩展和改进PhaseCond的点积注意力函数。我们在SQuAD数据集上证明了我们提出的模型PhaseCond的有效性,表明我们的模型显著优于最先进的单层和多层注意力模型。我们通过详细的定性分析和可视化的例子来深化我们的研究结果,通过多层注意力模型显示动态变化。
2017-11-01 cs.CL
Deep Understanding based Multi-Document Machine Reading Comprehension
Northeastern University(东北大学)
现有的多文档机器阅读理解模型主要侧重于理解输入问题与文档之间的交互,而忽略了以下两种理解。首先,从对方的角度理解输入问题和文档中单词的语义。第二,从文档内和文档间的角度理解正确答案的支持线索。忽略这两种重要的理解会使模型忽略一些可能有助于得出正确答案的重要信息。为了克服这一缺陷,我们提出了一个基于深度理解的多文档机器阅读理解模型。它有三个级联的深度理解模块,旨在理解单词的准确语义,输入问题和文档之间的交互以及正确答案的支持线索。我们在两个大规模的基准数据集上评估了我们的模型,即TriviaQA Web和DuReader。大量的实验表明,我们的模型在两个数据集上都取得了最先进的结果。
2022-02-25 cs.AI cs.CL
Knowledge Based Machine Reading Comprehension
Microsoft Research Asia(微软亚洲研究院);Harbin Institute of Technology(哈尔滨工业大学);Beihang University(北京航空航天大学)
机器阅读理解(MRC)需要对文档中涉及的知识和关于世界的知识进行推理。然而,现有的数据集通常由可以通过上下文匹配很好地解决的问题主导,这无法测试这种能力。为了促进MRC在基于知识的推理方面的进展,本文提出了基于知识的MRC,并建立了一个由40,047个问题-答案对组成的新数据集。此数据集的注释设计为成功回答问题需要理解文档中涉及的知识。我们实现了一个框架,包括一个问答模型和一个问题生成模型,这两个都需要从文档中提取的知识,以及从外部知识库,如Freebase/ProBase/Reverb/NELL的相关事实。结果表明,合并来自外部知识库的辅助信息可以提高基线问答系统的准确性。我们将其与标准的MRC模型Bioscience进行了比较,并提供了数据集的难度,并列出了剩余的挑战。
2018-09-12 cs.CL
New Vietnamese Corpus for Machine Reading Comprehension of Health News Articles
University of Information Technology, VNU-HCM(胡志明市国家大学信息技术大学)
大规模和高质量的语料库是必要的评估机器阅读理解模型的低资源的语言,如越南语。此外,健康领域的机器阅读理解(MRC)具有很大的实际应用潜力,但在这一领域的MRC研究仍然很少。本文介绍了ViNewsQA作为一个新的语料库的越南语,以评估医疗阅读理解模型。该语料库包含22,057个人类生成的问答对。人群工作者根据超过4,416篇在线越南医疗保健新闻文章的集合创建问题及其答案,其中答案包括从相应文章中提取的跨度。特别是,我们开发了一个过程中创建一个语料库的越南语机器阅读理解。综合评估表明,我们的语料库需要超越简单推理的能力,如词匹配和要求基于单句或多句信息的困难推理。我们使用不同类型的机器阅读理解方法进行实验,以达到第一个基线性能,并与进一步模型的性能进行比较。我们还在语料库上测量了人类的表现,并将其与几个强大的基于神经网络和基于迁移学习的模型进行了比较。我们的实验表明,最好的机器模型是ALBERT,它达到了65.26%的准确匹配分数和84.89%的F1分数在我们的语料库。在我们语料库的测试集上,人类和最佳性能模型之间的显着差异(EM的14.53%和F1分数的10.90%)表明ViNewsQA的改进可以在未来的研究中探索。我们的语料库在我们的网站上公开提供,以鼓励研究社区进行这些改进。
2021-02-11 cs.CL
A3Net: Adversarial-and-Attention Network for Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学)
本文介绍了一种用于机器阅读理解的对抗注意力网络(A3 Net)。该模型从两个角度扩展了现有方法。首先,对抗性训练应用于模型中的几个目标变量,而不仅仅是输入或嵌入。我们根据原始目标变量的范数来控制对抗性扰动的范数,这样我们就可以在训练过程中对多个目标变量联合添加扰动。作为一种有效的正则化方法,对抗训练提高了模型的鲁棒性和泛化能力。其次,我们提出了一个多层注意力网络,利用三种高效的注意力机制。多层次注意在每一层中引导问题和篇章之间的互动,有助于对模型的合理表征和理解。结合这两个贡献,我们提高了数据集的多样性和模型的信息提取能力的同时。同时,我们为WebQA数据集构建了A3 Net。结果表明,我们的模型优于国家的最先进的模型(提高模糊得分从73.50%到77.0%)。
2018-09-03 cs.CL
NewsQA: A Machine Comprehension Dataset
Maluuba Research(Maluuba研究院)
我们介绍了NewsQA,这是一个具有挑战性的机器理解数据集,包含超过100,000个人类生成的问答对。Crowdworker根据CNN的1万多篇新闻文章提供问题和答案,答案由相应文章的文本组成。我们通过一个四阶段的过程来收集这个数据集,该过程旨在征求需要推理的探索性问题。一个彻底的分析证实,NewsQA需要的能力不仅仅是简单的词匹配和识别文本蕴涵。我们在数据集上测量人类的表现,并将其与几个强大的神经模型进行比较。人类和机器之间的性能差距(F1为0.198)表明,通过未来的研究,NewsQA可以取得重大进展。该数据集可在https://datasets.maluuba.com/NewsQA上免费获得。
2017-02-07 cs.AI cs.CL
A Vietnamese Dataset for Evaluating Machine Reading Comprehension
University of Information Technology(信息大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
世界上有超过9700万人将越南语作为母语。然而,针对越南语机器阅读理解(MRC)的研究较少,由于缺乏越南语的基准数据集,本文提出了越南语问答数据集(ViQuAD),这是一个针对越南语这一低资源语言的新数据集,用于评估MRC模型。该数据集包含超过23,000个人工生成的问答对,基于维基百科174篇越南语文章的5,109段。特别是,我们提出了一个新的越南MRC数据集创建过程。我们的深入分析表明,我们的数据集需要超越单词匹配等简单推理的能力,并需要单句和多句推理。此外,我们进行了国家的最先进的MRC方法为英语和汉语作为第一个实验模型的EST-ViQuAD的实验。我们还估计了人类在数据集上的表现,并将其与强大的机器学习模型的实验结果进行了比较。因此,人类表现与数据集上最佳模型表现之间的实质性差异表明,在未来的研究中,可以对EST-ViQuAD进行改进。我们的数据集可在我们的网站上免费获得,以鼓励研究界克服越南MRC的挑战。
2020-11-07 cs.CL
Cross-Lingual Text-Rich Visual Comprehension: An Information Theory Perspective
Harbin Institute of Technology(哈尔滨工业大学);Huawei Inc.(华为公司);The University of Hong Kong(香港大学)
本文提出跨语言富文本视觉问答基准XT-VQA,揭示LVLM在跨语言场景下的性能下降问题,并提出MVCL-MI方法通过最大化互信息与知识蒸馏有效缓解该差距。
2024-12-23 cs.CL cs.CV
CAESAR: Context Awareness Enabled Summary-Attentive Reader
Yahoo Inc.(雅虎公司);Graduate School of Interdisciplinary Information Studies(跨学科信息研究研究生院);The University of Tokyo(东京大学)
从自然语言中理解含义是自然语言处理(NLP)的主要目标,而文本理解是实现这一目标的基石,在此基础上可以实现聊天机器人、语言翻译等所有其他问题。我们报告了我们设计的一个摘要-注意阅读器,以更好地模拟人类阅读过程,以及一个基于词典的解决方案,关于数据中的词汇表外(OOV)单词,以基于机器理解SQuAD基准中的阅读段落和问题来生成答案。我们使用两种流行的模型(Match LSTM和Dynamic Coattention)实现这些功能,能够接近匹配从人类获得的结果。
2018-03-04 cs.CL
Exploiting Explicit Paths for Multi-hop Reading Comprehension
National University of Singapore(新加坡国立大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了一种新的,基于路径的推理方法的多跳阅读理解任务,系统需要结合多个段落的事实来回答一个问题。虽然灵感来自多跳推理知识图谱,我们提出的方法直接在非结构化文本。它通过段落生成潜在的路径,并在没有任何直接路径监督的情况下对其进行评分。PathNet模型通过实体对表示从文本中提取隐含关系,并将其组合编码为每一条路径;为了捕获额外的上下文,PathNet还将沿着每条路径的段落表示组合以计算基于上下文的表示。与以前的方法不同,我们的模型能够通过这些明确的通道来解释其推理。我们证明了我们的方法在多跳Wikihop数据集上的性能优于先前的模型,并且也可以推广到OpenBookQA数据集,匹配最先进的性能。
2019-07-08 cs.AI cs.CL
Advances in Multi-turn Dialogue Comprehension: A Survey
Shanghai Jiao Tong University(上海交通大学);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(教育部人工智能重点实验室、上海交通大学人工智能研究院)
训练机器理解自然语言并与人类交互是人工智能的一项难以实现的基本任务。随着深度学习技术的快速发展,特别是最近的预训练语言模型(PrLM),设计了各种各样的对话系统。在这些研究中,基本但具有挑战性的任务类型是对话理解,其作用是教机器在响应之前阅读和理解对话上下文。在本文中,我们回顾了以前的方法从技术角度的对话理解任务的对话建模。我们总结了对话理解的特点和挑战,对比纯文本阅读理解。然后,我们讨论了三种典型的对话建模模式。此外,我们对对话相关的预训练技术进行了分类,这些技术用于增强对话场景中的PrLM。最后,我们强调了近年来的技术进步,并指出了经验分析的教训和展望新的研究前沿。
2021-10-12 cs.AI cs.CL cs.HC
Rehearsing Answers to Probable Questions with Perspective-Taking
National Taiwan University(台湾大学);AIST(日本产业技术综合研究所)
本文首次研究专业口头报告场景中基于可能提问准备答案的任务,利用真实管理者与分析师问答记录,结合三个因果知识图谱和三个大语言模型进行探索,揭示因果知识图谱与视角采择对生成有效回答的重要性。
2024-09-27 cs.CL
Bilateral Multi-Perspective Matching for Natural Language Sentences
IBM T.J. Watson Research Center(IBM T.J. 华生研究中心)
自然语言句子匹配是一项基础性的技术。以前的方法要么从单个方向匹配句子,要么只应用单个粒度(逐词或逐句)匹配。在这项工作中,我们提出了一个双边多视角匹配(BiMPM)模型下的“匹配聚合”的框架。给定两个句子$P$和$Q$,我们的模型首先使用BiLSTM编码器对它们进行编码。接下来,我们在两个方向$P \rightarrow Q$和$P \leftarrow Q$上匹配两个编码的句子。在每个匹配方向上,一个句子的每个时间步从多个角度与另一个句子的所有时间步进行匹配。然后,另一个BiLSTM层用于将匹配结果聚合成固定长度的匹配向量。最后,基于匹配向量,通过全连接层进行决策。我们评估我们的模型上的三个任务:释义识别,自然语言推理和答案句子选择。在标准基准数据集上的实验结果表明,我们的模型在所有任务上都达到了最先进的性能。
2017-07-14 cs.AI cs.CL
Advances in Multi-turn Dialogue Comprehension: A Survey
训练机器理解自然语言并与人类交互是人工智能的一项难以实现的基本任务。随着深度学习技术的快速发展,特别是最近的预训练语言模型(PrLM),设计了各种各样的对话系统。在这些研究中,基本但具有挑战性的任务类型是对话理解,其作用是教机器在响应之前阅读和理解对话上下文。在本文中,我们回顾了以前的方法从技术角度的对话理解任务的对话建模。我们总结了对话理解的特点和挑战,对比纯文本阅读理解。然后,我们讨论了三种典型的对话建模模式。此外,我们对对话相关的预训练技术进行了分类,这些技术用于增强对话场景中的PrLM。最后,我们强调了近年来的技术进步,并指出了经验分析的教训和展望新的研究前沿。
2021-10-12 cs.AI cs.CL cs.HC
Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension
School of EECS, Peking University(北京大学电子工程与计算机科学学院);Peng Cheng Laboratory(鹏城实验室)
传统的机器阅读理解(MRC)已经通过模式匹配得到了很好的解决,但常识推理的能力仍然是人类和机器之间的差距。以前的方法通过预训练的知识图谱嵌入(KGE)丰富单词表示来解决这个问题。然而,它们对知识图谱(KG)中节点之间的大量连接的利用有限,这些连接可能是构建常识推理链的关键线索。在本文中,我们提出了一个即插即用的模块来存储连接信息的常识推理(PIECER)。除了用知识嵌入丰富单词表示外,PIECER还构建了一个联合查询-通道图,通过单词之间面向知识的连接来明确地指导常识推理。此外,PIECER具有很高的通用性,因为它可以插入到任何MRC模型的合适位置。实验结果ReCoRD,一个大规模的公共MRC数据集,需要常识推理,PIECER介绍了稳定的性能改善四个代表性的基础MRC模型,特别是在低资源设置。
2021-03-26 cs.AI cs.CL
The NarrativeQA Reading Comprehension Challenge
DeepMind;University of Oxford(牛津大学)
阅读理解(RC)--与信息检索相反--需要在整个文档中整合关于事件、实体及其关系的信息和推理。问答通常用于评估RC能力,在人工代理和儿童学习阅读。然而,现有的RC数据集和任务由可以通过使用表面信息(例如,局部上下文相似性或全局术语频率);因此,它们未能测试RC的基本综合方面。为了鼓励更深入地理解语言,我们提出了一个新的数据集和一组任务,读者必须通过阅读整本书或电影剧本来回答有关故事的问题。这些任务的设计是为了成功地回答他们的问题需要理解潜在的叙述,而不是依赖于肤浅的模式匹配或显著性。我们表明,虽然人类很容易解决的任务,标准的RC模型的斗争在这里提出的任务。我们对数据集及其带来的挑战进行了分析。
2017-12-19 cs.AI cs.CL cs.NE
The Thin Line Between Comprehension and Persuasion in LLMs
Microsoft(微软公司);The University of York(约克大学)
研究通过人机辩论探讨LLM的说服能力是否反映真实理解,发现其能维持连贯对话但缺乏深层对话结构理解,揭示了部署在解释关键场景中的伦理与实践问题。
2026-04-18 cs.CL cs.CY
Interactive Fiction Game Playing as Multi-Paragraph Reading Comprehension with Reinforcement Learning
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
具有真实人类书写的自然语言文本的交互式小说(IF)游戏为语言理解技术提供了一种新的自然评价。与以前的文本游戏主要是合成文本相比,IF游戏对人类书写的文本描述提出了语言理解的挑战,复杂的游戏世界和语言生成的挑战,从限制较少的组合空间的动作命令生成。我们从一个新的角度来看待IF游戏的解决,并将其重新表述为多段落阅读理解(MPRC)任务。我们的方法利用上下文查询注意力机制和结构化预测MPRC有效地产生和评估行动输出,并应用以对象为中心的历史观察检索策略,以减轻部分可观察性的文本观察。在最近的IF基准测试(杰里科)上进行的大量实验表明,与以前的所有方法相比,我们的方法具有明显的优势,可以实现高胜率和低数据要求。我们的源代码可以在https://github.com/XiaoxiaoGuo/rcdqn上找到。
2020-10-05 cs.AI cs.CL
MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);Eigen Technologies
机器理解式问答是自然语言处理中的一个典型问题。以往的方法很少花时间在编码层的改进上,尤其是句法信息和词的名称实体的嵌入,而这对编码的质量至关重要。此外,现有的注意力方法将每个查询词表示为一个向量,或者用单个向量来表示整个查询语句,都不能正确处理查询语句中关键词的权重。在本文中,我们介绍了一种新的神经网络架构称为多层嵌入与记忆网络(MEMEMEN)的机器阅读任务。在编码层,我们采用经典的skip-gram模型对词汇的句法和语义信息进行训练,形成一种新的嵌入层。我们还提出了一个记忆网络的全方位匹配的查询和通道,以捕捉更多的关键信息。实验结果表明,该模型在Stanford问答数据集(SQuAD)上的测试结果在精度和效率方面都具有竞争力,在TriviaQA数据集上的测试结果也达到了最先进水平。
2017-07-28 cs.AI cs.CL
From Machine Reading Comprehension to Dialogue State Tracking: Bridging the Gap
Amazon Alexa AI(亚马逊Alexa AI);Computer Science & Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
对话状态跟踪(DST)是面向任务的对话系统的核心。然而,标记数据的稀缺性是构建跨各种领域工作的准确和强大的状态跟踪系统的障碍。现有的方法通常需要一些对话数据的状态信息和他们的能力推广到未知的领域是有限的。在本文中,我们提出使用机器阅读理解(RC)的状态跟踪从两个角度:模型架构和数据集。我们将对话状态中的槽类型分为类别槽和抽取槽,以借鉴多项选择和广度阅读理解模式的优点。我们的方法在MultiWOZ 2.1上实现了接近当前最先进的联合目标精度,给出了完整的训练数据。更重要的是,通过利用机器阅读理解数据集,当域内数据的可用性有限时,我们的方法在Few-Shot场景中比现有方法表现出更大的优势。最后,即使没有任何状态跟踪数据,即,在zero-shot场景中,我们提出的方法在MultiWOZ 2.1的30个插槽中的12个插槽中实现了大于90%的平均插槽精度。
2020-04-13 cs.AI cs.CL cs.LG
What Factors Should Paper-Reviewer Assignments Rely On? Community Perspectives on Issues and Ideals in Conference Peer-Review
University of Copenhagen(哥本哈根大学);RIKEN Center for Computational Science(理化学研究所计算科学中心)
科学进步和研究人员个人的职业生涯都取决于同行评议的质量,而同行评议的质量又取决于论文评审者的匹配。令人惊讶的是,这个问题主要是作为一个自动化的推荐问题,而不是作为一个问题,不同的利益相关者(地区主席,评审员,作者)积累了值得考虑的经验。我们提出了对NLP社区的第一次调查的结果,确定了论文评审匹配系统应该考虑哪些因素的共同问题和观点。这项研究有助于改善未来的NLP会议的可操作的建议,并为可解释的同行评审任务。
2022-05-03 cs.CL
Improving Machine Reading Comprehension via Adversarial Training
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
对抗性训练(AT)作为一种正则化方法,在图像分类和文本分类等多种任务中已经证明了其有效性。虽然AT在自然语言处理的许多任务中都有成功的应用,但其背后的机制仍不清楚。本文旨在将自动测试应用于机器阅读理解,从多个角度研究其效果。我们实验了三种不同类型的RC任务:基于广度的RC,基于广度的RC与无法回答的问题和多选择RC。实验结果表明,该方法可以在SQuAD1.1、SQuAD2.0和RACE上显着且普遍地提高性能。通过虚拟对抗训练(VAT),我们探索了用半监督学习改进RC模型的可能性,并证明了来自不同任务的示例也是有益的。我们还发现,AT在防御人工对抗性示例方面帮助不大,但AT有助于模型在包含更多低频词的示例上更好地学习。
2019-11-09 cs.CL cs.LG cs.NE
Retrieve-and-Read: Multi-task Learning of Information Retrieval and Reading Comprehension
NTT Media Intelligence Laboratories, NTT Corporation(日本电信电话株式会社(NTT)媒体智能实验室)
本研究认为,在规模(MRS)的机器阅读的任务,其中,给定一个问题,系统首先执行的信息检索(IR)的任务,找到相关的段落中的知识源,然后进行阅读理解(RC)的任务,从段落中提取的答案跨度。以前的MRS研究中,IR组件在不考虑答案跨度的情况下进行训练,很难从大量的段落中准确地找到少量的相关段落。在本文中,我们提出了一个简单而有效的方法,结合了IR和RC任务,通过使用监督多任务学习,以便IR组件可以通过考虑答案跨度进行训练。在标准基准测试中,使用完整的维基百科作为知识源回答SQuAD问题,实验结果表明我们的模型达到了最先进的性能。此外,我们使用新的日本数据集和SQuAD彻底评估了模型组件的单独贡献。结果表明,在IR任务的显着改善,并提供了一个新的视角IR RC:它是有效的,教的一部分,而不是只给一个相关性分数的整个通道回答问题。
2018-08-31 cs.CL cs.IR
Bridging Context Gaps: Enhancing Comprehension in Long-Form Social Conversations Through Contextualized Excerpts
Massachusetts Institute of Technology(麻省理工学院);Meta
本文针对长篇社交对话摘录在跨场景分享时缺失语境的问题,提出利用大型语言模型为摘录生成具有社会相关性的补充语境,并发布HSE数据集,实验证明该方法能显著提升理解力、可读性与共情能力。
2024-12-28 cs.AI cs.CL
A Pairwise Probe for Understanding BERT Fine-Tuning on Machine Reading Comprehension
Peking University(北京大学);University of Technology Sydney(悉尼科技大学)
预训练模型为许多NLP任务带来了显着的改进,并得到了广泛的分析。但人们对微调对特定任务的影响知之甚少。直觉上,人们可能会同意预先训练的模型已经学习了单词的语义表示(例如同义词彼此更接近),并且微调进一步提高了其需要更复杂推理的能力(例如共指消解,实体边界检测等)。然而,如何验证这些论点的分析和定量是一个具有挑战性的任务,有很少的工作集中在这一主题。在本文中,大多数探测任务涉及识别匹配的短语对(例如,共指需要匹配一个实体和代词)的观察的启发,我们提出了一个成对的探测理解BERT微调的机器阅读理解(MRC)任务。具体来说,我们确定了MRC中的五种现象。根据成对探测任务,我们比较了预训练和微调BERT的每一层的隐藏表示的性能。所提出的成对探针消除了不准确的模型训练造成的分心问题,并进行了稳健和定量的比较。我们的实验分析得出了非常有说服力的结论:(1)微调对基本和低层次信息以及一般语义任务的影响不大。(2)对于下游任务所需的特定能力,微调的BERT优于预先训练的BERT,并且这种差距在第五层之后是明显的。
2020-06-02 cs.CL cs.IR
FusionNet: Fusing via Fully-Aware Attention with Application to Machine Comprehension
Microsoft Business AI and Research(微软商业人工智能与研究院);National Taiwan University(台湾大学)
本文介绍了一种称为FusionNet的新神经结构,它从三个角度扩展了现有的注意力方法。首先,提出了一个新的概念“词的历史”来描述从最低的词级嵌入到最高的语义级表示的注意信息。其次,它引入了一个改进的注意力评分功能,更好地利用了“词的历史”的概念。第三,提出了一种完全感知的多层次注意力机制,以捕获文本(如问题)中的完整信息,并在对应文本(如上下文或段落)中逐层利用它。我们将FusionNet应用于斯坦福问答数据集(SQuAD),在撰写本文时(2017年10月4日),它在官方SQuAD排行榜上获得了单个和集成模型的第一名。同时,我们用两个对抗SQuAD数据集验证了FusionNet的泛化能力,并在两个数据集上建立了新的最先进的技术:在AddSent上,FusionNet将最佳F1度量从46.6%提高到51.4%;在AddOneSent上,FusionNet将最佳F1度量从56.0%提高到60.7%。
2018-02-04 cs.AI cs.CL
A Joint Model for Question Answering and Question Generation
Microsoft Maluuba(微软 Maluuba)
我们提出了一个生成式机器理解模型,该模型基于文档共同学习提问和回答问题。该模型使用序列到序列框架,该框架对文档进行编码,并在给出答案(问题)的情况下生成问题(答案)。在SQuAD语料库上观察到模型性能的显着改善,证实了我们的假设,即模型受益于联合学习来执行这两项任务。我们相信,联合模型的新颖性为建筑工程之外的机器理解提供了一个新的视角,并成为实现自主信息搜索的第一步。
2017-06-05 cs.AI cs.CL cs.LG
Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology(信息通信研究机构)
机器阅读理解(MRC)旨在教机器阅读和理解人类语言,这是自然语言处理(NLP)的长期目标。随着深度神经网络的爆发和语境化语言模型(CLMs)的发展,MRC的研究经历了两次重大突破。MRC和CLM作为一种现象,对NLP社区产生了很大的影响。在本调查中,我们提供了一个全面的和比较审查的MRC涵盖整体的研究主题1)的起源和发展的MRC和CLM,特别是CLM的作用; 2)的影响MRC和CLM的自然语言处理社区; 3)的定义,数据集和评价MRC; 4)从人类认知过程的角度出发,提出了基于两阶段Encoder-Decoder求解体系结构的MRC通用体系结构和技术方法;(5)以往的研究热点、新出现的研究课题以及我们的实证分析,其中我们特别关注MRC研究在不同时期的有效性。我们提出了一个完整的视图分类和新的分类这些主题。我们得出的主要观点是:1)MRC促进了从语言处理到理解的进步; 2)MRC系统的快速改进极大地受益于CLMs的发展; 3)MRC的主题正逐渐从浅层文本匹配转向认知推理。
2020-05-13 cs.AI cs.CL cs.LG
Multi-Perspective Relevance Matching with Hierarchical ConvNets for Social Media Search
University of Maryland, College Park(马里兰大学帕克分校);Facebook Conversational AI(Facebook 对话人工智能);University of Waterloo(滑铁卢大学);Stanford University(斯坦福大学);Comcast Applied AI Research(康卡斯特应用人工智能研究)
尽管神经网络应用于信息检索有很大的兴趣,神经排名模型只被应用于标准的特设检索任务的网页和新闻专线文件。提出了MP-HCNN(Multi-Perspective Hierarchical卷积神经网络,Multi-Perspective Hierarchical Convolutional Neural Network),这是一种专门为短社交媒体帖子排名而设计的新型神经排名模型。我们确定的文档长度,非正式的语言,和异构的相关性信号的功能,区分在我们的领域中的文件,并提出了一个专门设计的模型,考虑到这些特点。我们的模型使用分层卷积层来学习字符,单词和短语级别的潜在语义软匹配相关信号。基于池化的相似性测量层集成来自查询、社交媒体帖子以及帖子中包含的URL之间的多种类型的匹配的证据。使用TREC微博跟踪2011- 2014年的Twitter数据进行的广泛实验表明,我们的模型显着优于先前的基于特征的以及现有的神经排名模型。据我们所知,本文提出了第一个实质性的工作,使用神经排名模型处理社交媒体帖子的搜索。
2019-06-22 cs.CL cs.IR
A Multi-Perspective Architecture for Semantic Code Search
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
针对软件仓库自然语言搜索的代码-文本匹配需求,提出一种融合全局与局部相似性的多视角跨语言神经框架,在CoNaLa数据集上的跨语言文本到代码匹配任务性能优于传统联合嵌入空间方法。
2020-05-06 cs.CL cs.LG cs.PL
Training a Ranking Function for Open-Domain Question Answering
New York University(纽约大学)
近年来,用于机器阅读的深度学习方法取得了惊人的进展。在机器阅读中,机器阅读器必须从给定的地面真理段落中提取答案。近年来,最先进的机器阅读模型在SQuAD(一种阅读理解风格的问答(QA)任务)中达到了人类水平的性能。机器阅读的成功启发了研究人员将信息检索与机器阅读相结合来解决开放领域的问答问题。然而,与阅读理解式QA相比,这些系统的表现很差,因为很难检索包含问题答案的段落片段。在这项研究中,我们提出了两个神经网络排名器,根据它们包含给定问题答案的可能性为不同的段落分配分数。此外,我们还分析了语义相似度和词级相关匹配在开放域问答中的相对重要性。
2018-04-12 cs.CL cs.IR
Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension
Shanghai Jiao Tong University(上海交通大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
训练机器理解自然语言并与人类交互是人工智能的主要目标之一。近年来,已经见证了从匹配网络到预训练语言模型(PrLM)的演变。相对于纯文本建模的重点PrLM,对话文本涉及多个扬声器,并反映特殊的特性,如主题转换和结构之间的依赖关系遥远的话语。然而,相关的PrLM模型通常表示对话顺序处理成对的对话历史作为一个整体。因此,无论是话语的相互关系或扬声器的角色耦合在这样的表示的层次信息没有得到很好的解决。在这项工作中,我们提出了组合学习的整体互动的话语超越顺序的语境化从PrLM,为了捕捉话语意识和说话者意识的表示所涉及的对话历史。我们通过基于Transformer的PrLM中的掩蔽机制来解耦上下文化的单词表示,使得每个单词仅关注当前话语中的单词、其他话语和两个说话者角色(即,发送者的话语和接收者的话语)。此外,我们采用领域自适应训练策略,以帮助模型适应对话域。实验结果表明,我们的方法大大提高了四个公共基准数据集的强PrLM基线,实现了新的最先进的性能比以前的方法。
2023-01-11 cs.AI cs.CL cs.HC