How Additional Knowledge can Improve Natural Language Commonsense Question Answering?
Arizona State University（亚利桑那州立大学）
最近几个数据集已被提出，以鼓励在问答领域的研究，其中常识知识预计将发挥重要作用。最近的语言模型，如ROBERTA，BERT和GPT，已经在维基百科的文章和书籍上进行了预训练，在几个这样的多选择分类（MCQ）数据集上表现出合理的性能。我们在这项工作中的目标是开发方法，将额外的（常识）知识到语言模型为基础的方法，更好地回答问题，在这些领域。在这项工作中，我们首先对外部知识来源进行分类，并显示使用这些来源确实会提高性能。然后，我们探讨了三种不同的策略，知识整合和四种不同的模式，回答问题，使用外部常识知识。我们分析我们的预测，以探索进一步改进的范围。
2020-04-17 cs.CL cs.IR cs.LG
Ensembling Strategies for Answering Natural Questions
IBM Research AI（IBM研究AI）
当今许多顶级问答系统都利用集成来提高其在斯坦福问答数据集（SQuAD）和自然问题（NQ）挑战等任务上的性能。不幸的是，这些系统中的大多数都没有公布他们在排行榜提交中使用的集成策略。在这项工作中，我们研究了一些集成技术，并展示了一种策略，该策略将NQ开发集上的简短答案的F1得分提高了2.3个F1点，超过了我们的单一模型（比以前的SOTA高出1.9个F1点）。
2019-11-06 cs.CL
Question Answering in a Natural Language Understanding System Based on Object-Oriented Semantics
Institute of Cybernetics of NAS of Ukraine（乌克兰国家科学院控制论研究所）
提出了一种面向文本信息输入和逻辑处理的计算机系统中的问答算法。所考虑的知识域是人的社会行为。该系统的数据库包括自然语言句子的内部表示和补充信息。回答{ \it Yes}或{ \it No}是针对一般问题形成的。含有疑问词或疑问词组的特殊疑问句可以用来确定主语、宾语、地点、时间、原因、目的和行为或事件的方式。答案生成基于人、组织、机器、事物、地点和时间的识别算法。所提出的问答算法可以在与文本处理（犯罪学、商业操作、医学、文档系统）密切相关的信息系统中实现。
2011-11-18 cs.CL
Generative Data Augmentation using LLMs improves Distributional Robustness in Question Answering
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）；Amazon GenAI（亚马逊生成式人工智能部门）
本研究探讨利用LLM生成数据增强问答数据集，以提升模型在自然分布偏移下的鲁棒性，通过两步生成上下文和问答对，实验验证了该方法在4个数据集上的有效性。
2024-02-09 cs.AI cs.CL
Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering
Amazon Alexa AI（亚马逊Alexa人工智能部门）
我们介绍了Mintaka，一个复杂的，自然的，多语言的数据集，旨在试验端到端的问答模型。Mintaka由20，000个英语问答对组成，使用维基数据实体进行注释，并翻译成阿拉伯语，法语，德语，印地语，意大利语，日语，葡萄牙语和西班牙语，共180，000个样本。Mintaka包括8种复杂的问题，包括最高级，交叉和多跳问题，这些问题自然是从人群工作者中引出的。我们在Mintaka上运行了基线，其中最好的一个在英语中达到了38%的命中率，在多语言中达到了31%的命中率，这表明现有的模型还有改进的空间。我们在https://github.com/amazon-research/mintaka发布Mintaka。
2022-10-04 cs.CL
Architecture of an Ontology-Based Domain-Specific Natural Language Question Answering System
Government Engineering College, Sreekrishnapuram（斯里克里希纳普兰政府工程学院）
问答（QA）系统的目标是从大量的文档中检索出精确的信息。本文描述了一个基于本体信息的特定领域自然语言问答系统的体系结构，向语义Web问答迈进了一步。建议的架构定义了四个基本模块，适合于提高当前的QA能力与处理复杂问题的能力。第一个模块是问题处理模块，它对问题进行分析和分类，并对用户的查询进行重构。第二个模块允许检索相关文件。下一个模块处理检索到的文档，最后一个模块执行响应的提取和生成。自然语言处理技术被用于处理问题和文档以及用于答案提取。本体和领域知识被用于重构查询和识别关系。该系统的目的是生成简短而具体的答案，是在特定领域的自然语言提出的问题。在我们的实现中，我们已经达到了94%的自然语言问答准确率。
2013-11-13 cs.CL cs.IR
Question Answering in Natural Language: the Special Case of Temporal Expressions
LISN-CNRS, Université Paris-Saclay（法国巴黎萨克雷大学、法国国家科学研究中心（CNRS）所属的信息、信号与图像处理实验室（LISN））
针对时间问答关注不足的问题，本文提出受 SQuAD 启发的新数据集，并利用 WikiWars 语料库训练深度学习模型，验证了通用问答中的答案抽取与模式匹配方法可成功应用于时间问答。
2023-11-23 cs.CL
Adapting general-purpose speech recognition engine output for domain-specific natural language question answering
TCS Innovation Labs - Delhi（塔塔咨询服务创新实验室 - 德里）；TCS Innovation Labs - Mumbai（塔塔咨询服务创新实验室 - 孟买）
面向企业系统的基于语音的自然语言问答界面正受到广泛关注。通用语音引擎可以与NLP系统集成以提供这样的接口。通常，通用语音引擎是在大型“通用”语料库上训练的。然而，当这样的引擎用于特定领域时，它们可能不能很好地识别特定领域的单词，并且可能产生错误的输出。此外，说话者说出句子的口音和环境条件可能导致语音引擎不准确地识别某些单词。随后的自然语言问答不会产生必要的结果，因为问题没有准确地表示说话者的意图。因此，在执行进一步的自然语言处理之前，语音引擎的输出可能需要适合于某个领域。我们提出了两种适应机制，一种是基于进化发展的，另一种是基于机器学习的，并展示了我们如何修复语音输出，使随后的自然语言问答更好。
2017-10-12 cs.AI cs.CL
Event Extraction by Answering (Almost) Natural Questions
Cornell University（康奈尔大学）
事件提取问题需要检测事件触发器并提取其相应的参数。现有的工作在事件参数提取通常严重依赖于实体识别作为预处理/并发步骤，导致众所周知的错误传播的问题。为了避免这个问题，我们引入了一个新的范例，事件提取，制定它作为一个问答（QA）的任务，提取事件参数在一个端到端的方式。实证结果表明，我们的框架大大优于以前的方法;此外，它能够提取事件参数的角色没有看到在训练时（零样本学习设置）。
2021-02-04 cs.CL
Quantifying Uncertainty in Natural Language Explanations of Large Language Models for Question Answering
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）
本文针对大型语言模型生成的自然语言解释缺乏不确定性保证的问题，提出事后且模型无关的不确定性估计框架及鲁棒估计方法，并在问答任务上验证其有效性。
2025-09-18 cs.CL cs.LG
Practical Approach to Knowledge-based Question Answering with Natural Language Understanding and Advanced Reasoning
本研究假设，一种实用的方法，以一个解决方案框架的形式被称为自然语言理解和推理的智能（NaLURI），它结合了全话语自然语言理解，强大的表示形式主义，能够利用本体信息和推理方法与先进的功能，将解决以下问题，而不损害实用性因素：1）对问题和响应的性质的限制，以及2）对跨域扩展和对现实生活中的自然语言文本的限制。
2007-07-24 cs.AI cs.CL cs.HC
Advances in Natural Language Question Answering: A Review
Sri Lanka Institute of Information Technology（斯里兰卡信息技术学院）；College of Science, Health, Engineering and Education（科学、健康、工程与教育学院）
由于学习技术的进步，问答最近受到了人工智能社区的高度关注。早期的问答模型使用基于规则的方法，并转向统计方法来处理大量可用的信息。然而，统计方法在处理语言的动态性质和变化方面表现不佳。因此，学习模型已经显示出处理语言的动态性质和变化的能力。许多深度学习方法已经被引入到问答中。与机器学习和统计方法相比，大多数深度学习方法都能获得更高的结果。语言的动态本质得益于深度学习中的非线性学习。这已经创造了显著的成功和问答工作的高峰。本文讨论了问答问答系统的成功和挑战，以及在这些挑战中使用的技术。
2019-04-10 cs.AI cs.CL
More Bang for Your Buck: Natural Perturbation for Robust Question Answering
Allen Institute for AI（艾伦人工智能研究所）
虽然最近的模型在许多NLP数据集上取得了人类水平的分数，但我们观察到它们对输入的微小变化相当敏感。作为一种替代的标准方法，解决这个问题，通过构建训练集的全新的例子，我们建议这样做，通过最小的扰动的例子。具体来说，我们的方法包括首先收集一组种子示例，然后应用人类驱动的自然扰动（而不是基于规则的机器扰动），这通常也会改变黄金标签。局部扰动的优点是创建起来相对容易（因此也更便宜），而不是写出全新的例子。为了评估这种现象的影响，我们考虑了最近的问答数据集（BoolQ），并研究了我们的方法作为扰动成本比的函数的好处，扰动现有问题与从头开始创建新问题的相对成本。我们发现，当自然扰动是适度便宜的创建，它是更有效的训练模型使用它们：这样的模型表现出更高的鲁棒性和更好的泛化，同时保留性能的原始布尔Q数据集。
2020-10-06 cs.AI cs.CL cs.LG
Integrating question answering and text-to-SQL in Portuguese
Universidade de São Paulo（圣保罗大学）；Center for Artificial Intelligence (C4AI)（人工智能中心（C4AI））
深度学习Transformers极大地改进了用自然语言自动回答问题的系统。然而，不同的问题需要不同的回答技术;在这里，我们提出，构建和验证一个架构，集成不同的模块来回答两种不同的查询。我们的架构采用自由形式的自然语言文本，并将其分类，将其发送到神经问答推理器或自然语言解析器到SQL。我们为葡萄牙语实现了一个完整的系统，使用了该语言的一些主要工具，并翻译了培训和测试数据集。实验结果表明，该系统能够以较高的准确率（99%以上）选择合适的回答方法，从而验证了模块化问答策略的有效性。
2022-09-21 cs.CL
Evaluation of Question Answering Systems: Complexity of judging a natural language
Tampere University（坦佩雷大学）
问答系统是自然语言处理中最重要和发展最快的研究课题之一。因此，一个原因是QA系统允许人类更自然地与机器交互，例如，通过虚拟助理或搜索引擎。在过去的几十年里，许多问答系统已经提出来解决不同的问答任务的要求。此外，已经引入了许多错误分数，例如，基于n-gram匹配、词嵌入或上下文嵌入来测量QA系统的性能。本调查试图提供一个系统的概述的一般框架的QA，QA范式，基准数据集，和评估技术的QA系统的定量评估。后者尤其重要，因为不仅是一个QA系统的建设复杂，而且其评估。因此，我们假设一个原因是人类判断的定量形式化是一个开放的问题。
2022-09-10 cs.AI cs.CL
Cognitive Systems and Question Answering
Universität Koblenz-Landau（科布伦茨-兰道大学）；Harz University of Applied Sciences（哈尔茨应用科学大学）
本文简要介绍了认知计算领域的特点。作为一个例子，自然语言问答领域的介绍与其具体的挑战。掌握这些挑战的可能性说明了详细介绍的LogAnswer系统，这是一个成功的代表领域的自然语言问答。
2014-11-18 cs.AI cs.CL
CCQA: A New Web-Scale Question Answering Dataset for Model Pre-Training
University of British Columbia（不列颠哥伦比亚大学）；Meta AI
随着大规模预训练语言模型的兴起，开放域问答（ODQA）已成为自然语言处理领域的一个重要研究课题。基于流行的预训练微调方法，我们认为使用大规模，自然和多样化的问答（QA）数据集的额外域内预训练阶段可能对ODQA有益。因此，本文提出了一种新的QA数据集的基础上共同爬行项目。使用现成的schema.org注释，我们提取了大约1.3亿个多语言问答对，其中包括大约6000万个英语数据点。有了这个以前从未见过的自然QA对数量，我们对流行的语言模型进行了预训练，以展示问答任务的大规模域内预训练的潜力。在我们的实验中，我们发现在我们的通用爬行问题分类数据集（CCQA）上的预训练问答模型在多个任务、模型和基准测试中的zero-shot、低资源和微调设置中取得了令人满意的结果。
2022-05-02 cs.CL cs.LG
An Inference Approach To Question Answering Over Knowledge Graphs
International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）；Indian Institute of Science（印度科学理工学院）；Accenture Technology Labs（埃森哲技术实验室）
知识图谱（KG）是一个很好的工具，用于保存从大型自然语言文本语料库中提取的信息。知识图谱上的自然语言查询问题对于人类消费这些信息是必不可少的。这个问题通常通过将自然语言查询转换为结构化查询并且然后在KG上激发结构化查询来解决。在知识图谱上的直接回答模型的文献很少。查询转换模型和直接模型都需要与知识图谱的域有关的特定训练数据。在这项工作中，我们将知识图谱上的自然语言查询问题转换为前提假设对上的推理问题。使用经过训练的深度学习模型来解决转换后的代理推理问题，我们为原始的自然语言查询问题提供了解决方案。我们的方法在MetaQA数据集上实现了超过90%的准确率，击败了现有的最先进的。我们还提出了一个称为分层递归路径编码器（HRPE）的推理模型。推理模型可以被微调以跨具有较少训练数据的域使用。我们的方法不需要大的特定领域的训练数据查询新的知识图谱从不同的领域。
2021-12-21 cs.CL cs.LG
Compositional Task-Oriented Parsing as Abstractive Question Answering
Cornell University（康奈尔大学）；Amazon Alexa AI（亚马逊Alexa AI）
面向任务的解析（TOP）旨在将自然语言转换为特定任务（如设置警报）的机器可读表示。TOP的一种流行方法是应用seq2seq模型来生成线性解析树。最近的一项工作认为，预先训练的seq2seq模型更善于生成本身就是自然语言的输出，因此它们用规范的自然语言释义取代线性化的解析树，然后可以轻松地翻译成解析树，从而产生所谓的自然化解析器。在这项工作中，我们继续探索自然语义解析提出了一个一般的减少TOP抽象的问答，克服了一些规范释义的局限性。实验结果表明，我们的基于QA的技术优于国家的最先进的方法，在全数据设置，同时实现显着的改善，在Few-Shot设置。
2022-05-04 cs.CL
A Comparative Evaluation of Visual and Natural Language Question Answering Over Linked Data
ITMO University（ITMO大学）；Vismart Ltd.（Vismart有限公司）
随着关联数据数据集的数量和规模不断增长，使数据对不了解正式查询语言的用户可访问和有用至关重要。实现这一目标的两种方法是知识图谱可视化和自然语言接口。在这里，我们调查具体的问答（QA）在关联数据比较图形视觉方法与现有的自然语言为基础的系统。给定一个QA基准（QALD7），我们评估一个可视化的方法，它是基于迭代地创建图，直到找到答案，对四个QA系统，有自然语言查询作为输入。除了其他好处外，可视化方法提供了更高的性能，但也需要更多的手动输入。结果表明，这些方法可以互补使用，这种组合对QA性能有很大的积极影响，也有利于数据探索等其他功能。
2019-07-19 cs.CL cs.IR
An ASP-based Approach to Answering Natural Language Questions for Texts
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出了一种基于回答集编程（ASP）的知识表示方法，用于表示从自然语言文本中产生的知识。文本中的知识使用新戴维森式的形式主义建模，然后将其表示为答案集程序。相关的常识知识还从WordNet等资源中导入，并在ASP中表示。由此产生的知识库，然后可以用来执行推理的帮助下，ASP系统。这种方法可以促进许多自然语言任务，例如自动问答、文本摘要和自动问题生成。基于ASP的技术表示，如默认推理、层次知识组织、默认偏好等，用于对完成这些任务所需的常识推理方法进行建模。在本文中，我们描述了CASPR系统，我们已经开发出自动化的任务，回答自然语言问题的英文文本。CASPR可以被视为一个通过“理解”文本来回答问题的系统，并已在SQuAD数据集上进行了测试，结果令人鼓舞。
2021-12-21 cs.CL cs.LO cs.SC
Frustratingly Easy Natural Question Answering
IBM Research AI（IBM研究院AI）
现有的关于问答（QA）的文献主要集中在算法新颖性、数据增强或越来越大的预训练语言模型（如XLNet和RoBERTa）上。此外，QA排行榜上的许多系统没有相关的研究文档，以便成功复制他们的实验。在本文中，我们概述了这些算法组件，例如Attention-over-Attention，再加上数据增强和集成策略，这些策略已被证明可以在SQuAD等基准数据集上产生最先进的结果，甚至实现超人的性能。与这些先前的结果相反，当我们对最近提出的Natural Questions基准数据集进行评估时，我们发现一种非常简单的BERT迁移学习方法的性能优于以前的最先进的系统，该系统比我们多训练了400万个样本，比我们多1.9个F1点。增加组合策略进一步提高了2.3个F1点。
2019-09-11 cs.CL
To Adapt or to Annotate: Challenges and Interventions for Domain Adaptation in Open-Domain Question Answering
University of California Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
开放领域问答（ODQA）的最新进展已经在标准维基百科风格的基准测试中证明了令人印象深刻的准确性。然而，目前尚不清楚这些模型的鲁棒性如何，以及它们在应用于完全不同领域的实际应用时的性能如何。虽然已经有一些工作调查ODQA模型在测试域外（OOD）泛化时的表现如何，但这些研究仅在数据分布的保守变化下进行，并且通常集中在单个组件（即，而不是端到端系统。作为回应，我们提出了一个更现实和更具挑战性的域转移评估设置，并通过广泛的实验，研究端到端的模型性能。我们发现，不仅模型不能推广，但高检索分数往往仍然产生差的答案预测准确性。然后，我们对不同类型的转变进行分类，并提出了一些技术，当出现新的数据集时，这些技术可以预测干预方法是否可能成功。最后，利用这项分析的见解，我们提出并评估了几种干预方法，这些方法可以将端到端的答案F1得分提高24分。
2022-12-20 cs.CL
A Quantitative Evaluation of Natural Language Question Interpretation for Question Answering Systems
SOKENDAI（综合研究大学院大学）；Database Center for Life Science（生命科学数据库中心）；National Bioscience Database Center（国家生物科学数据库中心）；The University of Tokyo（东京大学）
系统的基准评估在问答系统技术改进过程中起着重要作用。虽然目前有一些现有的评估方法的自然语言（NL）问答系统，他们中的大多数只考虑最终的答案，限制了他们的效用在一个黑盒风格的评估。在这里，我们提出了一个细分的评估方法，使更细粒度的QA系统的评估，并提出了一个评估工具，其目标是NL问题（NLQ）的解释步骤，QA管道的初始步骤。使用两个公共基准数据集的实验结果表明，我们可以得到一个更深入的了解QA系统的性能，使用所提出的方法，这应该提供一个更好的指导改进系统，比使用黑箱风格的方法。
2018-09-20 cs.CL
RikiNet: Reading Wikipedia Pages for Natural Question Answering
Sichuan University（四川大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft AI Research（微软人工智能研究院）；Microsoft Search Technology Center Asia（微软亚洲搜索技术中心）
阅读长文档来回答开放域问题在自然语言理解中仍然具有挑战性。在本文中，我们介绍了一个新的模型，称为RikiNet，它读取维基百科页面的自然问答。RikiNet包含一个动态段落双注意阅读器和一个多级级联答案预测器。读者通过利用一组互补的注意力机制来动态地表示文档和问题。然后将表示馈送到预测器中，以级联方式获得简短答案的跨度、长答案的段落和答案类型。在自然问题（NQ）数据集上，单个RikiNet在长答案和短答案任务上分别达到74.3 F1和57.9 F1。据我们所知，这是第一个超越单一人类表现的单一模型。此外，集合RikiNet在长回答和短回答任务中获得76.1 F1和61.3 F1，在NQ官方排行榜上取得最佳成绩
2020-04-30 cs.CL
Declarative Question Answering over Knowledge Bases containing Natural Language Text with Answer Set Programming
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Arizona State University（亚利桑那州立大学）
虽然近年来基于机器学习（ML）的方法已经成为开发端到端问答系统的流行方法，但是当需要额外的知识来正确回答问题时，这样的系统经常会遇到困难。所提出的替代方案涉及将问题和自然语言文本翻译成逻辑表示，然后使用逻辑推理。然而，当文本的大小变得更大时，这种替代方法就不起作用了。为了解决这个问题，我们提出了一种方法，在自然语言文本中编写的前提进行逻辑推理。所提出的方法使用答案集编程（ASP）的最新功能来调用执行简单文本蕴涵的外部NLP模块（可能基于ML）。为了测试我们的方法，我们开发了一个语料库的生存周期问题的基础上，并表明，我们的系统实现了$18\%$性能增益相比，标准MCQ求解器。
2019-05-01 cs.AI cs.CL
A Vietnamese Question Answering System
问答系统的目标是对用户的问题产生准确的答案，而不是像当前搜索引擎所使用的相关文档的列表。在本文中，我们提出了一个基于本体的越南语问答系统，允许用户表达他们的问题在自然语言。据我们所知，这是第一次尝试，使用户能够使用越南自然语言查询本体知识库。我们的系统上的组织本体的实验显示出可喜的成果。
2019-11-26 cs.CL
Improving the Question Answering Quality using Answer Candidate Filtering based on Natural-Language Features
Perm National Research Polytechnic University（彼尔姆国家研究理工大学）；Anhalt University of Applied Sciences（安哈尔特应用科学大学）；DATEV eG
具有自然语言用户界面的软件越来越重要。然而，所包括的问答（QA）功能的质量在正确回答的问题的数量方面仍然不够。在我们的工作中，我们解决了如何通过评估自然语言输入（即，用户的问题）和输出（即，系统的答案）。我们的主要贡献是一种方法，能够识别错误的答案所提供的QA系统。因此，从候选答案列表中过滤不正确的答案可以大大提高QA质量。特别是，我们的方法已经显示出其潜力，同时在许多情况下删除了大多数不正确的答案，这大大提高了QA质量相比，系统的非过滤输出。
2021-12-10 cs.CL cs.IR
Structured Pruning of a BERT-based Question Answering Model
IBM Research AI（IBM研究院AI）
在行业设置的自然语言处理（NLP）研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型，如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示，但较少关注创建较小的特定于任务的语言表示，可以说，这些语言表示在行业环境中更有用。在本文中，我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现，特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合，而不需要预先训练蒸馏的费用，在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始，并引入允许单独消除Transformers选定部分的门。具体来说，我们研究（1）结构化修剪，以减少每个Transformer层中的参数数量，（2）适用于基于BERT和RobERTa的模型，（3）适用于SQuAD 2.0和Natural Questions，以及（4）将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍，在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
Language Model is All You Need: Natural Language Understanding as Question Answering
Amazon Alexa AI（亚马逊Alexa人工智能部门）
不同风格的迁移学习在推进机器学习的研究和应用方面表现出巨大的影响。在这项工作中，我们研究了使用一个特定的家庭的迁移学习，目标域映射到源域。具体来说，我们映射自然语言理解（NLU）的问题，翻译（QA）的问题，我们表明，在低数据制度，这种方法提供了显着的改进相比，其他方法NLU。此外，我们表明，这些收益可以通过连续的迁移学习从不同领域的NLU问题。我们表明，我们的方法可以减少所需的数据量相同的性能高达10倍。
2020-11-05 cs.AI cs.CL
Exploring The Landscape of Distributional Robustness for Question Answering Models
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们进行了一个大型的实证评估，调查景观的分布鲁棒性问答。我们的调查涵盖了350多个模型和16个问答数据集，包括一组不同的架构、模型大小和适应方法（例如，微调、适配器调整、上下文学习等）。我们发现，在许多情况下，模型的变化并不影响鲁棒性和分布性能单独决定的分布性能。此外，我们的研究结果表明，i）zero-shot和上下文学习方法比完全微调模型对分布偏移更鲁棒; ii）Few-Shot提示微调模型比Few-Shot微调跨度预测模型表现出更好的鲁棒性; iii）参数有效和鲁棒性增强训练方法没有提供显着的鲁棒性改进。此外，我们公开发布所有评估，以鼓励研究人员进一步分析问答模型的鲁棒性趋势。
2022-10-22 cs.CL cs.LG
Question Answering System Using Syntactic Information
问答任务目前正在使用英语文档在TREC 8中完成。本研究以日语句子为研究对象，考察了问答任务。我们的方法通过匹配问题句子与以自然语言编写的基于知识的数据来选择答案。我们使用句法信息来获得高度准确的答案。
1999-11-15 cs.CL
QA-NatVer: Question Answering for Natural Logic-based Fact Verification
University of Cambridge（剑桥大学）
本文提出QA-NatVer，利用问答和指令微调语言模型预测自然逻辑算子，无需标注数据即可在FEVER少样本设置中超越基线，并展现鲁棒性和可移植性。
2023-10-22 cs.CL
A Thousand Words Are Worth More Than a Picture: Natural Language-Centric Outside-Knowledge Visual Question Answering
University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
外部知识可视化问答（OK-VQA）要求智能体理解图像，利用整个网络的相关知识，并消化所有信息来回答问题。大多数以前的作品解决这个问题，首先融合图像和问题的多模态空间，这是不灵活的进一步融合大量的外部知识。在本文中，我们呼吁一个范式转变的OK-VQA任务，它将图像转换成纯文本，使我们能够在自然语言空间的知识通道检索，并生成问答。这种模式利用了庞大的知识库和丰富的预训练语言模型。提出了一种转换-生成-生成框架（TRiG），该框架可以与替代的图像到文本模型和文本知识库即插即用。实验结果表明，我们的TRiG框架优于所有国家的最先进的监督方法至少11.1%的绝对利润率。
2022-01-14 cs.CL cs.CV cs.IR
COOL, a Context Outlooker, and its Application to Question Answering and other Natural Language Processing Tasks
National University of Singapore（新加坡国立大学）
本文提出COOL，一种用于自然语言处理的展望注意力机制，通过编码局部句法上下文提升变换器模型性能，在问答等任务上取得竞争性结果。
2023-05-15 cs.AI cs.CL
Momentum Contrastive Pre-training for Question Answering
The Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对抽取式问答预训练中类完形填空与自然问题不匹配的问题，提出动量对比预训练方法MCROSS，通过对比学习对齐答案概率，在三个基准数据集上显著提升监督与零样本性能。
2023-10-14 cs.AI cs.CL
Unsupervised Natural Question Answering with a Small Model
Red Dragon AI（红龙人工智能）
最近（2019-02）展示了GPT-2等大型语言模型记忆事实问题答案的能力，这引发了关于知识直接嵌入这些大型模型的程度的问题。这篇简短的论文描述了一种架构，通过这种架构，更小的模型也可以回答这样的问题-通过利用“原始”的外部知识。这项工作的贡献在于，这里提出的方法依赖于无监督学习技术，补充了语言模型的无监督训练。这条研究路线的目标是能够明确地添加知识，而无需广泛的培训。
2019-11-19 cs.AI cs.CL cs.IR
NLProlog: Reasoning with Weak Unification for Question Answering in Natural Language
University College London（伦敦大学学院）
基于规则的模型对各种任务都有吸引力，因为它们本质上导致可解释和可解释的决策，并且可以很容易地结合先验知识。然而，这样的系统是难以适用于涉及自然语言的问题，由于其语言的可变性。相比之下，神经模型可以通过从数据中学习单词及其组成的分布式表示来很好地应对歧义，但会导致难以解释的模型。在本文中，我们描述了一种新的方式解决多跳推理任务的自然语言的神经网络与逻辑编程相结合的模型。具体来说，我们建议使用Prolog证明器，我们扩展到利用预训练的句子编码器的相似性函数。我们通过反向传播来微调相似性函数的表示。这导致了一个系统，可以应用基于规则的推理自然语言，并从训练数据诱导特定领域的规则。我们在两个不同的问答任务上评估了所提出的系统，表明它优于两个基线- BIDAF（Seo等人，2016 a）和FAST QA（Weissenborn等人，2017 b），并在MedHop数据集上取得了有竞争力的结果（Welbl et al.，2017年）。
2019-06-14 cs.CL cs.LO
Talk to Papers: Bringing Neural Question Answering to Academic Search
SOCO AI
我们介绍了Talk to Papers，它利用了最近的开放领域问答（QA）技术来改善当前的学术搜索体验。它旨在使研究人员能够使用自然语言查询来找到精确的答案，并从大量的学术论文中提取见解。我们在几个标准QA数据集上对经典搜索引擎基线进行了很大的改进，并为社区提供了一个协作数据汇集工具，以通过社区的努力来管理第一个自然语言处理研究QA数据集。
2020-05-21 cs.AI cs.CL
Zero-Shot Open-Book Question Answering
Amazon Web Services（亚马逊云科技）
开卷问答是问答任务的子集，其中系统旨在在给定的文档集合（开卷）和关于主题的常识中找到答案。本文提出了一种解决方案，用于回答来自Amazon Web Services（AWS）技术文档语料库的自然语言问题，其中没有特定于域的标记数据（zero-shot）。这些问题可以有是-否-否答案、简短答案、冗长答案或上述答案的任何组合。该解决方案包括两步架构，其中检索器查找正确的文档，提取器在检索到的文档中查找答案。我们正在为开卷QA引入一个新的测试数据集，该数据集基于AWS技术文档中的真实客户问题。在对几个基于抽取语言模型的信息检索系统和抽取器模型进行实验后，该解决方案尝试在同一遍中找到是-否-否答案和文本答案。该模型在斯坦福问答数据集- SQuAD（Rajpurkaret等人，2016）和自然问题（Kwiatkowski等人，2019）数据集。我们能够实现49%的F1和39%的端到端精确匹配分数（EM），而无需特定于领域的培训。
2021-11-22 cs.CL cs.IR cs.LG
OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Azure AI（微软Azure人工智能部门）
表格中的信息可以是文本的重要补充，使得基于表格的问答（QA）系统具有很大的价值。处理表的内在复杂性通常会给模型设计和数据注释增加额外的负担。在本文中，我们的目标是开发一个简单的基于表的QA模型，以最小的注释工作。基于表格的QA需要问题和表格之间的对齐以及对多个表格元素执行复杂推理的能力，基于这一事实，我们提出了一种杂食性的预训练方法，该方法消耗自然数据和合成数据来赋予模型这些相应的能力。具体来说，给定免费提供的表，我们利用检索将它们与基于掩码的预训练的相关自然句子配对，并通过转换从表中采样的SQL进行QA损失的预训练来合成NL问题。我们在Few-Shot和完整设置下进行了广泛的实验，结果清楚地表明了我们的模型OmniTab的优越性，最好的多任务处理方法在128次拍摄和完整设置下分别实现了16.2%和2.7%的绝对增益，也在WikiTableQuestions上建立了一个新的最先进的模型。详细的消融和分析揭示了自然和合成数据的不同特征，为杂食预训练的未来方向提供了光明。代码、预训练数据和预训练模型可在https://github.com/jzbjyb/OmniTab上获得。
2022-07-08 cs.CL
Functorial Language Games for Question Answering
University of Oxford（牛津大学）；Tallinn University of Technology（塔林理工大学）
我们对维特根斯坦的语言游戏进行了分类研究，并将其应用于游戏理论语用学和自然语言处理中的问答。
2021-01-26 cs.CL cs.GT
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn（波恩大学）；Ruhr University Bochum（波鸿鲁尔大学）；Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上，这些架构使用预训练的词嵌入。最近的研究表明，微调预训练的Transformer网络（例如BERT）可以在各种自然语言处理任务上优于以前的方法。在这项工作中，我们调查如何以及BERT执行SimpleQuestions，并提供了一个评估的BERT和BiLSTM为基础的模型，在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
A question-answering system for aircraft pilots' documentation
Airbus AI Research（空客人工智能研究院）
航空航天工业依赖于大量复杂的技术文档，包括系统描述、手册或程序。本文提出了一个问答（QA）系统，将帮助飞机飞行员访问的信息，在此文件中自然地与系统进行交互，并提出问题，在自然语言。在描述对话系统的每个模块之后，我们为QA模块提出了一种基于多任务的方法，该方法可以提高飞行机组操作手册（FCOM）数据集的性能。还提出了一种结合检索器和QA模块的分数的方法。
2020-11-26 cs.CL cs.IR
A Generate-Validate Approach to Answering Questions about Qualitative Relationships
Arizona State University（亚利桑那州立大学）
定性关系描述了增加或减少一个属性（例如海拔）如何影响另一个属性（例如温度）。它们是自然语言问答的一个重要方面，对于构建聊天机器人或语音代理至关重要，人们可以询问定性关系。最近已经提出了一个关于涉及定性关系的问答的数据集，并且已经探索了一些回答此类问题的方法，其核心在于将自然语言输入转换为合适的逻辑形式的语义解析器。现有语义解析器的问题在于，它们试图直接将输入句子转换为逻辑形式。由于输出语言随每个应用程序而变化，因此它迫使语义解析器从头开始学习几乎所有内容。在本文中，我们表明，而不是使用语义解析器来产生逻辑形式，如果我们应用生成验证框架，即生成逻辑形式的自然语言描述，并验证自然语言描述是否遵循输入文本，我们得到了更好的范围迁移学习，我们的方法优于最先进的7.93%的大幅度。
2019-08-09 cs.AI cs.CL
Unsupervised Question Answering for Fact-Checking
IIIT Delhi（德里印德拉普拉斯塔信息技术学院）
最近的深度学习（DL）模型已经成功地在各种自然语言任务（如问答、自然语言推理（NLI）和文本蕴涵）上实现了人类水平的准确性。这些任务不仅需要上下文知识，而且还需要推理能力来有效地解决。在本文中，我们提出了一个无监督的问答为基础的方法类似的任务，事实核查。我们通过屏蔽声明中提供的命名实体将FEVER数据集转换为Cloze任务。为了预测答案令牌，我们利用来自Transformers（BERT）的预训练的双向编码器表示。分类器基于正确回答的问题和阈值计算标签。目前，分类器能够将权利要求分类为“索赔”和“索赔_审查”。这种方法在开发集上实现了80.2%的标签准确率，在转换数据集的测试集上实现了80.25%的标签准确率。
2019-10-16 cs.CL
Whatcha lookin' at? DeepLIFTing BERT's Attention in Question Answering
Saarland University（萨尔大学）
最近，神经网络在处理具有挑战性的NLP任务方面取得了巨大的成功，这些神经网络已经在大量任务数据上进行了预训练和微调。在本文中，我们研究了一个这样的模型，BERT的问答，目的是分析为什么它能够取得显着优于其他模型的结果。我们在模型预测上运行DeepLIFT，并测试结果，以监控输入的注意力值的变化。我们还对结果进行聚类，以根据模型试图回答的输入段落和问题的类型来分析任何类似于人类推理的可能模式。
2019-10-14 cs.CL
KnowShiftQA: How Robust are RAG Systems when Textbook Knowledge Shifts in K-12 Education?
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China（计算机科学与工程系，香港科技大学，香港特别行政区，中国）；Department of Mechanical Engineering, The University of Tokyo, Tokyo, Japan（机械工程系，东京大学，东京，日本）
本文提出KnowShiftQA数据集，通过模拟教科书知识更新与LLM参数化知识之间的差异，系统评估RAG系统在K-12教育问答中的稳健性，发现多数RAG系统性能显著下降，且知识整合类问题对当前LLMs构成突出挑战。
2025-07-21 cs.CL
Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
Facebook AI Research（脸书人工智能研究院）；ENS, PSL University（巴黎文理研究大学高等师范学院）；Inria（法国国家信息与自动化研究所）
开放领域问答的生成模型已经被证明是有竞争力的，而不诉诸外部知识。虽然很有前途，但这种方法需要使用具有数十亿个参数的模型，这些参数的训练和查询成本很高。在本文中，我们研究了这些模型可以从检索文本段落中受益多少，可能包含证据。我们在Natural Questions和TriviaQA开放基准测试中获得了最先进的结果。有趣的是，我们观察到，当增加检索通道的数量时，这种方法的性能显着提高。这证明生成模型擅长聚合和组合来自多个通道的证据。
2021-02-03 cs.CL cs.LG
Markov Logic Networks for Natural Language Question Answering
我们的目标是使用从科学教科书中自动提取的知识来回答初级科学问题，这些知识以一阶逻辑的子集表示。考虑到这些自动提取的规则的不完整性和噪声性，马尔可夫逻辑网络（MLN）似乎是一个自然的模型，但利用MLN的确切方法并不明显。我们研究了三种方法应用MLN到我们的任务。在第一种方法中，我们简单地使用提取的科学规则直接作为MLN子句。与典型的MLN应用程序不同，我们的域具有漫长而复杂的规则，导致无法管理的接地数量。我们利用硬约束中存在的结构来提高易处理性，但该公式仍然无效。在第二种方法中，我们将科学规则解释为描述原型实体，从而将规则直接映射到接地MLN断言，然后使用现有的实体解析方法对其常量进行聚类。这大大简化了网络，但仍然存在脆性。最后，我们的第三种方法，称为Praline，使用MLN来对齐词汇元素，并定义和控制在此任务中应如何执行推理。我们的实验，展示了15\%的准确率提升和10倍的运行时间减少，表明Praline的灵活性和不同的推理语义是一个更好的适合自然语言问答任务。
2015-07-10 cs.AI cs.CL
UNIQORN: Unified Question Answering over RDF Knowledge Graphs and Natural Language Text
Indian Institute of Technology Bhilai（印度理工学院比莱分校）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出UNIQORN方法，通过微调BERT构建上下文图并利用Group Steiner Trees算法，在统一框架中实现RDF数据与文本的复杂问答，显著优于现有方法。
2024-09-20 cs.CL cs.IR
Natural Language Generation at Scale: A Case Study for Open Domain Question Answering
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Uber AI（优步人工智能）；Google（谷歌）
当前的对话自然语言生成（NLG）方法主要集中在使用有限本体（多达20种槽类型）的特定于域的面向任务的应用（例如，餐厅预订），通常不考虑先前的对话上下文。此外，这些方法需要每个域的大量数据，并且不能受益于可用于其他域的示例。这项工作探讨了将统计NLG应用于需要更大本体的场景的可行性，例如基于知识图谱的多域对话应用或开放域问答（QA）。我们通过一个编码器-解码器框架，使用一个大的数据集的真实世界的用户和开放域QA的会话代理之间的交互NLG模型。首先，我们调查的影响，增加插槽类型的数量上的生成质量和实验的QA数据的不同分区与逐渐增大的本体（高达369插槽类型）。其次，我们在开放域QA和面向任务的对话之间进行多任务学习实验，并在流行的NLG数据集上对我们的模型进行基准测试。此外，我们尝试使用会话上下文作为额外的输入，以提高响应生成质量。我们的实验表明，学习统计NLG模型的开放域QA与较大的本体的可行性。
2019-09-23 cs.CL
Would You Ask it that Way? Measuring and Improving Question Naturalness for Knowledge Graph Question Answering
University of Stavanger（斯塔万格大学）
知识图谱问答（KGQA）通过利用结构化数据而不需要来自用户的正式查询语言专业知识来促进信息访问。相反，用户可以通过简单地用自然语言（NL）提问来表达他们的信息需求。用于训练KGQA模型以提供这种服务的数据集的构建成本很高，无论是在专家还是众包劳动力方面。通常，众包劳动力用于改进从正式查询生成的基于模板的伪自然问题。然而，由此产生的数据集往往不能代表真正自然和流畅的语言。在目前的工作中，我们调查的方法来表征和补救这些缺点。我们通过从现有的KGQA数据集中抽取问题并从自然度的五个不同方面对其进行评估来创建IQN-KGQA测试集。然后，重新编写问题，以提高他们的流畅性。最后，现有的KGQA模型的性能进行了比较的原始和重写版本的NL问题。我们发现，一些KGQA系统的票价更糟时，提出了更现实的配方NL的问题。IQN-KGQA测试集是一个帮助在更现实的环境中评估KGQA系统的资源。这个测试集的构建也揭示了构建具有真正NL问题的大规模KGQA数据集的挑战。
2022-05-25 cs.CL cs.IR
Deep Learning Approaches for Improving Question Answering Systems in Hepatocellular Carcinoma Research
Virginia Tech（弗吉尼亚理工大学）；Northeastern University（东北大学）；University of Southern California（南加州大学）；Miami University（迈阿密大学）；Northern Arizona University（北亚利桑那大学）
本文探讨了基于BERT、GPT-3等大规模预训练模型的NLP问答系统在肝细胞癌研究中的应用现状与发展前景，旨在推动该领域的进一步探索。
2024-02-25 cs.AI cs.CL cs.LG
