Quizbowl: The Case for Incremental Question Answering
University of Maryland at College Park(马里兰大学帕克分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学)
学术知识竞赛通过对问答的掌握来测试知识和智力。现代的问答基准测试是图灵测试的一个变体。具体来说,像人类一样回答一系列问题是展示人类智能的最低门槛。本文提出的情况下,一个竞争的形式-参与者可以在听到一个问题(增量)的中间回答-更好地区分(人类或机器)玩家之间的技能。此外,将顺序决策子任务与问答(QA)相结合,为模型校准和对手建模的研究提供了良好的环境。因此,在这个任务中嵌入了三个机器学习挑战:(1)对数千个类似维基百科的答案进行事实问答,(2)校准QA模型的置信度得分,以及(3)结合QA模型,其校准以及对手可能做什么的知识的顺序决策。我们做两个贡献:(1)收集和管理大型的事实问答数据集和附带的游戏数据集,以及(2)开发一个解决这三个机器学习挑战的模型。除了离线评估,我们还将我们的模型与世界上一些最有成就的琐事玩家进行了一系列长达数年的表演赛。在本文中,我们表明,与充满活力的琐事社区的合作有助于提高我们数据集的质量,催生新的研究方向,并作为一种令人兴奋的方式,使公众参与机器学习和自然语言处理的研究。
2021-02-12 cs.CL
MiRD: Reliable Set-Valued Prediction for Open-Ended Question Answering via Miscoverage Risk Decomposition
University of Electronic Science and Technology of China(电子科学与技术大学);Beihang University(北航)
提出MiRD两阶段框架,通过将整体误覆盖分解为采样失败和条件选择失败,在开放式问答中实现可靠的集值预测,控制采样风险和条件选择风险,并产生更紧的边界和更自适应的预测集。
2026-05-25 cs.AI cs.CL
Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026
Department of Computer Science;Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh
针对QANTA 2026共享挑战,开发特定任务双代理架构,抢答代理用带置信度校准的模型及数值推理策略,加分代理用多种推理整合信息,强调仅托管环境下的高效推理与校准,系统取得高分,证明轻量级策略在资源受限问答中性能强。
2026-07-13 cs.AI cs.CL
A Semantic-Sampling Framework for Evaluating Calibration in Open-Ended Question Answering
University of Pennsylvania(宾夕法尼亚大学);Dartmouth College(达特茅斯学院)
本文提出Sem-ECE框架,通过语义分类评估开放性问答的校准,证明其在易题一致、难题差异,优于传统方法。
2026-05-08 cs.AI cs.CL stat.ML
From token probabilities to calibrated confidence: An empirical study of mathematical question answering
RBC Borealis(加拿大皇家银行博雷利斯(RBC Borealis))
该研究针对数学问答任务,探究token概率能否用于生成校准置信度,对比单遍与多遍估计器,评估多种校准方法,发现序列聚合token概率可提升置信度质量,事后校准能降低域内误差但迁移性存在非对称问题。
2026-08-11 cs.CL cs.LG
Calibration of Machine Reading Systems at Scale
ETH Zürich(苏黎世联邦理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在典型的机器学习系统中,预测概率的估计用于评估系统对预测的置信度。这种置信度通常是未经校准的;即,系统对预测的置信度与预测输出的真实概率不匹配。在本文中,我们提出了一个调查校准开放设置机器阅读系统,如开放域问答和索赔验证系统。我们表明,校准这种复杂的系统,其中包含离散检索和深度阅读组件是具有挑战性的,目前的校准技术未能扩展到这些设置。我们提出了简单的扩展现有的校准方法,使我们能够适应这些设置。我们的实验结果表明,该方法工作良好,并可以是有用的选择性预测答案时,问答系统提出了不可回答的或出的训练分布的问题。
2022-05-23 cs.CL cs.LG
RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering
University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
本文提出RetrievalQA基准评估自适应检索增强生成,并发现现有方法依赖阈值或提示不足,进而提出无需校准与训练的TA-ARE方法以有效判断检索必要性。
2024-06-05 cs.CL
Toward Ethical AI Through Bayesian Uncertainty in Neural Question Answering
Dayforce
本文通过贝叶斯不确定性方法改进神经问答系统的可解释性和伦理性,对比拉普拉斯近似与MAP估计以提升不确定性校准能力。
2025-12-19 cs.CL
On the Transferability of Minimal Prediction Preserving Inputs in Question Answering
Apple Inc.(苹果公司)
最近的工作(Feng et al.,2018)建立了短的,不可解释的输入片段的存在,这些片段在神经模型中产生高置信度和准确性。我们将其称为最小预测保持输入(MPPI)。在问答的背景下,我们研究了MPPI存在的竞争假设,包括神经模型的后验校准差,缺乏预训练和“数据集偏差”(其中模型学会关注训练数据中的虚假,不可推广的线索)。我们发现MPPI对随机训练种子、模型架构、预训练和训练域具有令人困惑的不变性。MPPI表现出显著的跨域可移植性,实现了比短查询更高的性能。此外,惩罚MPPI上的过度自信无法提高泛化或对抗鲁棒性。这些结果表明MPPI的可解释性不足以表征这些模型的泛化能力。我们希望这种集中的调查鼓励更系统地分析模型行为以外的人类可解释的分布的例子。
2021-03-25 cs.CL
Calibrating Structured Output Predictors for Natural Language Processing
我们解决的问题,校准预测置信度的输出实体感兴趣的自然语言处理(NLP)的应用。重要的是,诸如命名实体识别和问答之类的NLP应用程序为其预测生成校准的置信度分数,特别是如果系统要部署在安全关键领域(如医疗保健)中。然而,这样的结构化预测模型的输出空间通常太大而不能直接适应二进制或多类校准方法。在这项研究中,我们提出了一个通用的校准方案,在基于神经网络的结构化预测模型的输出实体的兴趣。我们提出的方法可以用于任何二进制类校准方案和神经网络模型。此外,我们还表明,我们的校准方法也可以用作不确定性感知的实体特定解码步骤,以提高底层模型的性能,而无需额外的训练成本或数据要求。我们表明,我们的方法优于目前的校准技术命名实体识别,部分的语音和问答。我们还通过多个任务和基准数据集的解码步骤来提高模型的性能。我们的方法也提高了域外测试场景的校准和模型性能。
2020-05-05 cs.CL cs.LG
Multi-Module System for Open Domain Chinese Question Answering over Knowledge Base
Ping An Life Insurance of China(中国平安人寿保险股份有限公司);Fudan University(复旦大学)
针对CCKS2019开放领域基于知识的问答任务,提出了一种结合信息检索和语义解析的方法。这个多模块系统从一个问题中提取主题实体和最相关的关系谓词,并将其转换为一个Sparql查询语句。我们的方法在测试数据上获得了70.45%的F1分数。
2019-10-28 cs.CL
Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge
Lister Hill National Center for Biomedical Communications(利斯特·希尔国家生物医学交流中心);U.S. National Library of Medicine(美国国家医学图书馆)
在本文中,我们提出了OSCAR(基于本体的语义组合增强正则化),一种方法注入任务无关的知识从本体或知识图谱到神经网络在预训练。我们评估了在使用维基百科文章预训练BERT时包含OSCAR的影响,通过测量两个涉及世界知识和因果推理的问答任务和一个需要领域(医疗保健)知识的问答任务的微调性能,与没有OSCAR的预训练BERT相比,准确率提高了33:3%,18:6%和4%,并在其中两个任务上获得了新的最先进的结果。
2019-10-16 cs.CL
Benchmarking Knowledge-Enhanced Commonsense Question Answering via Knowledge-to-Text Transformation
Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
人类的一项基本能力是在语言理解和问答中运用常识知识。近年来,许多知识增强的常识问答(CQA)方法被提出。然而,它仍然是不清楚的:(1)我们可以在多大程度上利用外部知识的CQA?(2)在当前的CQA模型中,有多少知识潜力被利用了?(3)未来CQA最有前途的方向是什么?为了回答这些问题,我们通过使用简单有效的知识到文本转换框架在多个标准CQA数据集上进行广泛的实验来对知识增强的CQA进行基准测试。实验表明:(1)我们的知识到文本框架是有效的,并在CommonsenseQA数据集上实现了最先进的性能,为CQA提供了一个简单而强大的知识增强基线;(2)知识的潜力在CQA中仍然远远没有得到充分利用-从现有模型到我们的模型有很大的性能差距。(3)上下文相关的知识选择、异构知识的开发和常识丰富的语言模型是CQA的发展方向。
2021-01-05 cs.CL
Question Answering on Knowledge Bases and Text using Universal Schema and Memory Networks
University of Edinburgh(爱丁堡大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Carnegie Mellon University(卡内基梅隆大学)
现有的问答方法从知识库或原始文本中推断答案。虽然知识库(KB)方法擅长回答组合问题,但它们的性能往往受到知识库不完整性的影响。相反,Web文本包含了数百万个KB中不存在的事实,但是以非结构化的形式存在。{ \it Universal schema}可以通过将结构化知识库和非结构化文本对齐到一个公共嵌入空间来支持对它们的联合进行推理。本文将通用模式扩展到自然语言问答系统中,采用\emph{memory networks}处理文本和知识库相结合的大量事实。我们的模型可以在问答对上以端到端的方式进行训练。在\spades填空问答数据集上的评价结果表明,利用通用模式进行问答比单独使用知识库或文本要好。该模型的性能也优于当前最先进的8.5 $F_1$点。\footnote{Code and data available in \url{https://rajarshd.github.io/TextKBQA}}
2017-04-27 cs.CL
GroUSE: A Benchmark to Evaluate Evaluators in Grounded Question Answering
Illuin Technology(Illuin科技公司)
本文针对RAG系统中LLM评估器的校准与区分能力问题,提出包含144个单元测试的元评估基准GroUSE,揭示现有自动化评估框架的不足,并通过微调Llama-3显著提升评估性能。
2025-01-30 cs.CL
An Answer Verbalization Dataset for Conversational Question Answerings over Knowledge Graphs
University of Bonn(波恩大学);Zerotha Research(泽罗塔研究院);Cerence GmbH(赛轮思有限公司);University of Siegen(锡根大学)
我们引入了一个新的数据集会话问答的知识图谱(KG)与口头回答。基于KGs的问答目前主要集中在单轮问题(KGQA)或多轮会话式问答(ConvQA)的答案生成上。然而,在现实世界的场景中(例如,语音助理,如Siri,Alexa和Google Assistant),用户更喜欢口头回答。本文通过扩展现有的ConvQA数据集,使用多个释义的口头回答,为最先进的技术做出了贡献。我们用五个序列到序列模型进行实验,在保持语法正确性的同时生成答案响应。我们还执行了一个错误分析,详细说明了模型在指定类别中的错误预测率。我们提出的数据集扩展与回答语言化是公开的,其使用更广泛的实用程序的详细文档。
2022-08-13 cs.CL
Question-guided Knowledge Graph Re-scoring and Injection for Knowledge Graph Question Answering
Institute of Computing and Intelligence, Harbin Institute of Technology(哈尔滨工业大学计算与智能学院);University of Electronic Science and Technology of China(电子科技大学)
针对KGQA检索子图含噪声干扰推理的问题,提出Q-KGR问题引导重评分方法过滤无关路径,并通过参数高效的Knowformer将重评分知识图谱注入大语言模型,在多个基准上验证了优越性。
2024-10-02 cs.CL
Weakly-Supervised Visual-Retriever-Reader for Knowledge-based Question Answering
Arizona State University(亚利桑那州立大学)
基于知识的视觉问答(VQA)要求在回答问题时,除了图像的内容外,还需要使用外部知识。一个主要用于评估基于知识的VQA的数据集是OK-VQA,但它缺乏用于检索的金标准知识语料库。现有工作利用不同的知识库(例如,ConceptNet和Wikipedia)获取外部知识。由于不同的知识基础,很难公平地比较模型的性能。为了解决这个问题,我们收集了一个自然语言知识库,可用于任何VQA系统。此外,我们提出了一个可视化检索器阅读器管道,以接近基于知识的VQA。视觉检索器旨在检索相关知识,视觉阅读器试图根据给定的知识预测答案。我们介绍了使用文本和图像检索知识的各种方法以及两种阅读器风格:分类和提取。检索者和阅读者都在监督不力的情况下接受了培训。我们的实验结果表明,一个好的检索器可以显着提高读者的性能上的OK-VQA的挑战。代码和语料库在https://github.com/luomancs/retriever\_reader\_for\_okvqa.git中提供
2021-09-09 cs.CL
What's Missing: A Knowledge Gap Guided Approach for Multi-hop Question Answering
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多跳文本问答需要组合来自多个句子的信息。我们关注的是一个自然的环境,与典型的阅读理解不同,每个问题只提供部分信息。模型必须检索并使用额外的知识来正确回答问题。为了应对这一挑战,我们开发了一种新的方法,明确识别所提供的知识和答案选择的关键跨度之间的知识差距。该模型GapQA通过确定跨度和答案选择之间的关系,基于检索到的针对此差距的知识来学习填补此差距。我们建议联合训练一个模型,同时填补这一知识缺口,并将其与提供的部分知识组合在一起。在OpenBookQA数据集上,给定部分知识,明确识别缺失的内容远远优于以前的方法。
2019-09-19 cs.CL
UniK-QA: Unified Representations of Structured and Unstructured Knowledge for Open-Domain Question Answering
Meta AI;University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
我们研究了开放域问答的结构化,非结构化和半结构化的知识源,包括文本,表格,列表和知识库。从以前的工作出发,我们提出了一个统一的方法,均质化的所有来源,减少它们的文本和应用检索读者模型,到目前为止,仅限于文本来源。与最新的基于图的方法相比,我们的方法大大提高了基于知识的QA任务的结果11分。更重要的是,我们证明了我们的统一知识(UniK-QA)模型是一种简单而有效的方法来结合异构的知识来源,在两个流行的问答基准测试NaturalQuestions和WebQuestions上分别提高了3.5和2.6个点。UniK-QA的代码可在https://github.com/facebookresearch/UniK-QA上获得。
2022-05-03 cs.CL
CBench: Towards Better Evaluation of Question Answering Over Knowledge Graphs
Carleton University(卡尔顿大学)
最近,只能由专家查询的知识图谱的数量有所增加。然而,使用结构化查询来描述问题对于非专家用户来说并不简单,非专家用户需要具有关于所查询的知识图谱的词汇表和结构以及用于描述用户的信息需求的结构化查询语言的语法的足够知识。为了克服上述挑战而引入的最流行的方法是使用自然语言来查询这些知识图谱。虽然几个问答基准可以用来评估问答系统在一些流行的知识图谱,选择一个基准来准确地评估一个问答系统的质量是一个具有挑战性的任务。在本文中,我们介绍了CBench,一个可扩展的,更翔实的基准套件分析基准和评估问答系统。CBench可用于分析现有基准测试中问题和查询的若干细粒度语言、句法和结构属性。我们表明,现有的基准变化显着,这些属性认为选择一个小的子集,他们不可靠的评估QA系统。在进一步的研究提高基准的质量和全面性之前,CBench可以用于使用一组流行的基准来促进这种评估,这些基准可以与其他用户提供的基准一起增强。CBench不仅基于流行的单一数字指标评估问答系统,还对已回答和未回答问题的语言、句法和结构属性进行了详细分析,以更好地帮助问答系统的开发人员更好地了解他们的系统在哪些方面表现出色,在哪些方面表现不佳。
2021-04-05 cs.CL
Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
在知识库上回答自然语言问题时,不同的问题组件和知识库方面扮演着不同的角色。然而,大多数现有的用于知识库问答(KBQA)的基于嵌入的方法忽略了问题和KB之间的微妙的相互关系(例如,实体类型、关系路径和上下文)。在这项工作中,我们建议通过一种新的双向注意记忆网络(BAMnet)直接对问题和知识库之间的双向交互流进行建模。不需要外部资源,只有很少的手工制作的功能,在WebQuestions基准,我们的方法显着优于现有的信息检索为基础的方法,并保持竞争力(手工制作)语义解析为基础的方法。此外,由于我们使用注意力机制,我们的方法提供了更好的解释性相比,其他基线。
2019-05-28 cs.CL
Incremental Knowledge Based Question Answering
The Hong Kong Polytechnic University(香港理工大学);Shandong University(山东大学)
在过去的几年里,基于知识的问答(KBQA),其目的是回答自然语言的问题,在知识库中的事实,已经得到了很好的发展。现有的方法往往假设一个静态的知识库。然而,知识在现实世界中随着时间的推移而发展。如果我们直接对一个不断演化的知识库应用微调策略,它将遭受严重的灾难性遗忘问题。在本文中,我们提出了一个新的增量KBQA学习框架,可以逐步扩大人类的学习能力。具体地说,它包括一个边缘蒸馏损失和合作的范例选择方法,克服灾难性遗忘的问题,利用知识蒸馏。我们重新组织了SimpleQuestion数据集,以评估KBQA的增量学习解决方案。综合实验表明,它的有效性和效率时,不断发展的知识库。
2021-01-18 cs.CL
Mind the Gap: A Closer Look at Tokenization for Multiple-Choice Question Answering with LLMs
Johannes Gutenberg University Mainz(法兰克福-马因茨大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文揭示LLM多选题评估中冒号后空格的分词方式可导致高达11%的准确率差异和排名变化,并推荐将空格与答案字母合并分词的策略,以提升性能与校准可靠性。
2025-09-18 cs.CL
Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering
South China University of Technology(华南理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Tencent AI Lab(腾讯人工智能实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
神经网络模型通常面临将常识知识纳入开放域对话系统的挑战。在本文中,我们提出了一种新的知识感知的对话生成模型(称为transDG),转移的问题表示和知识匹配能力,从知识库问答(KBQA)任务,以促进话语理解和事实知识的选择对话生成。此外,我们提出了一个响应引导注意力和多步解码策略,以引导我们的模型专注于响应生成的相关功能。在两个基准数据集上的实验表明,该模型在生成信息丰富、流畅的对话方面具有较强的鲁棒性。我们的代码可在https://github.com/siat-nlp/TransDG上获得。
2019-12-16 cs.CL
Semantic Categorization of Social Knowledge for Commonsense Question Answering
Columbia University(哥伦比亚大学);JD AI Research(京东人工智能研究);Georgia Institute of Technology(佐治亚理工学院)
大型预训练语言模型(PLM)以端到端的方式在各种常识性问答(QA)任务上取得了巨大成功。然而,很少有人注意到需要什么常识知识来深入描述这些QA任务。在这项工作中,我们建议使用SocialIQA作为一个例子,这些任务所需的语义进行分类。基于SocialIQA之上的标记社会知识类别数据集,我们进一步训练神经QA模型,以将这些社会知识类别和知识库中的关系信息结合起来。与以前的工作不同,我们观察到我们的模型与语义分类的社会知识可以实现相当的性能与一个相对简单的模型和较小的尺寸相比,其他复杂的方法。
2021-09-11 cs.CL
Context Transformer with Stacked Pointer Networks for Conversational Question Answering over Knowledge Graphs
Technische Universität Darmstadt(达姆施塔特工业大学);University of Bonn(波恩大学);Zerotha Research(泽罗塔研究院);Cerence GmbH(赛轮思有限公司);Osthus GmbH(奥斯图斯有限公司);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
神经语义解析方法已广泛应用于基于知识图谱的问答系统。这样的方法提供了处理具有复杂查询和大量实体的QA数据集的灵活性。在这项工作中,我们提出了一个新的框架名为纸箱,它执行多任务的语义解析处理问题的会话问答在一个大规模的知识图谱。我们的框架包括一个堆栈的指针网络作为一个上下文Transformer模型的扩展,用于解析输入的问题和对话的历史。框架生成可以在知识图谱上执行的动作序列。我们在一个标准数据集上对CARTON进行了评估,以进行复杂的顺序问答,CARTON在该数据集上的表现优于所有基线。具体来说,我们观察到的性能改善F1分数的10个问题类型相比,以前的状态。对于逻辑推理问题,11个绝对点的改善达到。
2021-06-24 cs.CL
Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models
Renmin University of China(中国人民大学);Tencent AI Lab(腾讯人工智能实验室)
基于嵌入的方法在知识库问答(KBQA)中很受欢迎,但目前很少有模型具有数值推理能力,因此难以回答顺序约束问题。本文提出了一种新的嵌入式KBQA框架,特别是考虑到数值推理。我们在NSM(一种最先进的基于嵌入的KBQA模型)之上提出NumericalTransformer,以创建NT-NSM。为了实现更好的训练,我们提出了两个预训练任务,在两个生成的训练数据集上使用显式的面向数值的损失函数,以及一种基于模板的数据增强方法来丰富有序约束的QA数据集。在KBQA基准测试上进行的大量实验表明,在我们的训练算法的帮助下,NT-NSM具有数值推理技能,并且在回答顺序约束问题时大大优于基线。
2022-05-16 cs.CL
Organizing Encyclopedic Knowledge based on the Web and its Application to Question Answering
我们提出了一种方法来产生大规模的百科知识,这是有价值的许多自然语言处理的研究,基于Web。我们首先在Web上搜索包含有问题的术语的页面。然后,我们使用语言模式和HTML结构来提取描述该术语的文本片段。最后,我们根据词义和领域组织提取的术语描述。此外,我们将自动生成的百科全书应用于针对日本信息技术工程师考试的问答系统。
2001-06-10 cs.CL
A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts
Sun Yat-sen University(中山大学);Microsoft Research(微软研究院)
我们在一个动态的文本环境中研究问答。虽然神经网络模型通过从输入输出示例中学习来实现令人印象深刻的准确性,但它们很少利用各种类型的知识,并且通常不可解释。在这项工作中,我们提出了一个基于图的方法,其中一个异构的图是自动构建的上下文的事实知识,过去的状态的时间知识,和逻辑知识,结合人类策划的知识库和规则库。我们在构建的图上开发了一个图神经网络,并以端到端的方式对模型进行训练。在基准数据集上的实验结果表明,注入各种类型的知识提高了强大的神经网络基线。我们的方法的另一个好处是,图形本身自然地充当决策背后的理性。
2020-04-25 cs.CL
Towards leveraging latent knowledge and Dialogue context for real-world conversational question answering
University of Amsterdam(阿姆斯特丹大学);Utrecht University(乌得勒支大学)
在许多现实世界的场景中,缺乏像维基百科这样的外部知识源限制了问答系统依赖于有限对话数据中的潜在内部知识。此外,人类经常通过问几个问题来寻求答案,以获得更全面的信息。随着对话变得越来越广泛,机器面临着参考以前的对话回合来回答问题的挑战。在这项工作中,我们建议通过神经检索阅读系统利用现有会话日志中的潜在知识,通过基于TFIDF的文本摘要器改进冗长的会话历史以缓解长上下文问题。我们的实验表明,我们的检索阅读系统可以利用检索到的背景知识,以产生显着更好的答案。结果还表明,我们的上下文摘要显着帮助检索者和读者介绍更简洁,更少的噪音上下文信息。
2022-12-17 cs.CL
The Role of Exploration Modules in Small Language Models for Knowledge Graph Question Answering
ASUS;National Taiwan University(国立台湾大学)
本研究提出用简单高效的探索模块替代语言模型进行知识图谱遍历,以提升小型语言模型在知识图谱问答中的性能,实验验证了其有效性。
2025-09-09 cs.CL
Dynamic Neuro-Symbolic Knowledge Graph Construction for Zero-shot Commonsense Question Answering
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Stanford University(斯坦福大学);University of Washington(华盛顿大学)
理解叙事需要对与文本中描述的情况的原因、影响和状态相关的内隐世界知识进行推理。在这一挑战的核心是如何访问上下文相关的知识的需求和原因在it.In本文中,我们提出了初步的研究走向zero-shot常识问答,制定了动态生成的常识知识图谱的推理任务。在以往的研究中,知识整合依赖于现有的知识从静态知识图谱检索,我们的研究需要常识的知识整合,上下文相关的知识往往不存在于现有的知识库。因此,我们提出了一种新的方法,生成上下文相关的符号知识结构的需求,使用生成神经常识知识模型。两个数据集上的实证结果表明,我们的神经符号的方法动态构建知识图谱推理的有效性。我们的方法比预训练的语言模型和普通知识模型实现了显著的性能提升,同时为其预测提供了可解释的推理路径。
2020-10-30 cs.CL
Fusing Context Into Knowledge Graph for Commonsense Question Answering
Microsoft Cognitive Services Research Group(微软认知服务研究组)
常识问答(QA)需要一个模型来掌握常识和事实知识来回答关于世界事件的问题。许多现有方法将语言建模与知识图谱(KG)耦合。然而,尽管KG包含丰富的结构信息,但它缺乏上下文来提供对概念的更精确的理解。这在将知识图谱融合到语言建模中时产生了差距,特别是当标记数据不足时。因此,我们建议采用外部实体描述提供知识理解的上下文信息。我们从Wiktionary中检索相关概念的描述,并将其作为预训练语言模型的额外输入。由此产生的模型在CommonsenseQA数据集中实现了最先进的结果,并且在OpenBookQA的非生成模型中获得了最佳结果。
2021-08-02 cs.CL
Knowledge Extraction on Semi-Structured Content: Does It Remain Relevant for Question Answering in the Era of LLMs?
Meta Reality Labs(Meta现实实验室);FAIR, Meta(FAIR,Meta)
本文扩展带知识抽取标注的QA基准并评估多类LLM,证明Web规模三元组抽取仍具挑战,且三元组增强与多任务学习可提升不同规模模型的问答效果。
2025-09-29 cs.CL
Semantic Framework based Query Generation for Temporal Question Answering over Knowledge Graphs
Nanjing University(南京大学)
本文提出SF-TQA方法,基于时序约束语义框架生成查询图,解决时序知识图谱问答中事件时间关联问题,在两个基准上显著优于现有方法。
2023-05-11 cs.CL
Infusing Disease Knowledge into BERT for Health Question Answering, Medical Inference and Disease Name Recognition
Texas A&M University(德克萨斯农工大学);Fudan University(复旦大学)
疾病的知识包括疾病的各个方面的信息,例如体征和症状,诊断和治疗。这种疾病知识对于许多健康相关和生物医学任务至关重要,包括消费者健康问答、医学语言推理和疾病名称识别。虽然像BERT这样的预训练语言模型在从文本中捕获语法、语义和世界知识方面取得了成功,但我们发现它们可以通过症状、诊断、治疗和其他疾病方面的知识等特定信息来进一步补充。因此,我们将BERT与疾病知识相结合,以改善这些重要的任务。具体而言,我们提出了一个新的疾病知识注入训练过程,并评估了一套BERT模型,包括BERT,BioBERT,SciBERT,ClinicalBERT,BlueBERT,和ALBERT。三个任务的实验表明,这些模型几乎在所有情况下都可以得到增强,证明了疾病知识注入的可行性。例如,BioBERT对消费者健康问答的准确率从68.29%提高到72.09%,同时在两个数据集中观察到新的SOTA结果。我们免费提供我们的数据和代码。
2020-10-08 cs.CL
Multi-Task Learning for Conversational Question Answering over a Large-Scale Knowledge Base
University of Technology Sydney(悉尼科技大学);Microsoft(微软);Sun Yat-sen University(中山大学)
我们考虑了大规模知识库上的会话式问答问题。为了处理大规模知识库中庞大的实体词汇,现有的基于神经语义解析的方法通常将任务分解为多个子任务,然后依次求解,这会导致以下问题:1)前一个子任务中的错误会传播并对下游子任务产生负面影响; 2)每个子任务不能自然地与其他子任务共享监督信号。为了解决这些问题,我们提出了一个创新的多任务学习框架,其中配备指针的语义解析模型被设计用于解决会话中的共指,并自然地赋予联合学习一个新的类型感知实体检测模型。因此,所提出的框架,使共享的监督和消除错误传播的影响。在包含1280万个实体的160万个问答对的大规模会话问答数据集上的实验表明,与以前的最先进的工作相比,所提出的框架将总体F1分数从67%提高到79%。
2019-10-11 cs.CL
Open-domain Question Answering via Chain of Reasoning over Heterogeneous Knowledge
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们提出了一种新的开放域问答(ODQA)框架,回答单/多跳的问题,跨异构的知识源。我们的方法的关键新颖之处在于将中间模块引入到当前的检索器-读取器管道中。与以前的方法不同,这些方法仅仅依赖于检索器来孤立地收集所有证据,我们的中介对检索到的集合执行一系列推理。具体来说,我们的方法链接检索到的证据与其相关的全球范围内的图形,并将它们组织成一个候选列表的证据链。基于预训练的语言模型,我们的系统在两个ODQA数据集OTT-QA和NQ上实现了与维基百科的表格和段落相比具有竞争力的性能。特别是,我们的模型在OTT-QA上的表现大大优于先前的最先进技术,精确匹配分数为47.3(45%相对增益)。
2022-10-22 cs.CL
A Survey on Complex Knowledge Base Question Answering: Methods, Challenges and Solutions
Singapore Management University(新加坡管理大学);Renmin University of China(中国人民大学)
知识库问答(KBQA)旨在通过知识库(KB)回答问题。近年来,大量的研究集中在语义或句法复杂的问句上。在本文中,我们详细总结了复杂KBQA的典型挑战和解决方案。我们首先介绍了KBQA任务的背景。接下来,我们提出了两种主流的复杂KBQA方法,即基于语义解析(SP)的方法和基于信息检索(IR)的方法。然后,我们从这两个类别的角度全面回顾了先进的方法。具体来说,我们解释了他们的解决方案,以典型的挑战。最后,我们总结并讨论了未来研究的一些有前途的方向。
2021-05-25 cs.CL
Model Compression with Multi-Task Knowledge Distillation for Web-scale Question Answering System
Microsoft(微软);Beijing University of Posts and Telecommunications(北京邮电大学)
深度预训练和微调模型(如BERT,OpenAI GPT)在问答领域表现出了出色的效果。然而,由于模型参数的数量庞大,这些模型的推理速度非常慢。如何将这些复杂的模型应用到实际的业务场景中成为一个具有挑战性但又具有实际意义的问题。以前的工作通常利用模型压缩的方法来解决这个问题。然而,这些方法通常会在模型压缩过程中引入信息损失,导致压缩后的模型与原始模型不可比。为了解决这一问题,本文提出了一种多任务知识蒸馏模型(Multi-task Knowledge Distillation Model,简称MKDM),将多个教师模型中的知识提取到一个轻量级的学生模型中,用于网络规模的问答系统。通过这种方式,可以传递更广泛的知识。实验结果表明,我们的方法可以显着优于基线方法,甚至达到与原始教师模型相当的结果,以及显着的模型推理速度。
2019-04-21 cs.CL
Modeling Semantics with Gated Graph Neural Networks for Knowledge Base Question Answering
Technische Universität Darmstadt(达姆施塔特工业大学)
知识库问答的大多数方法都是基于语义解析的。在本文中,我们解决的问题,学习向量表示复杂的语义分析,包括多个实体和关系。以前的工作主要集中在选择一个问题的正确的语义关系,而忽略了语义解析的结构:实体之间的连接和关系的方向。我们建议使用门控图神经网络来编码语义解析的图结构。我们在两个数据集上显示,图网络优于所有没有明确建模结构的基线模型。错误分析证实,我们的方法可以成功地处理复杂的语义分析。
2018-08-13 cs.CL
A Method of Query Graph Reranking for Knowledge Base Question Answering
Soochow University(苏州大学)
针对知识库问答系统中的输入问题,提出了一种新的重排序方法,以更好地选择最优的查询图(知识图谱的一个子图)来检索答案。现有的方法遭受一个严重的问题,有一个显着的差距之间的前1名的性能和前n个结果的oracle得分。为了解决这个问题,我们的方法分为两个步骤:查询图排序和查询图重新排序的选择过程。在第一步中,我们为每个问题提供前n个查询图。然后,我们提出了重新排名的前n个查询图结合答案类型的信息。在两个广泛使用的数据集上的实验结果表明,我们提出的方法在WebQuestions数据集上取得了最好的结果,在ComplexQuestions数据集上取得了第二好的结果。
2022-04-27 cs.CL
Multi-hop Commonsense Knowledge Injection Framework for Zero-Shot Commonsense Question Answering
Southeast University(东南大学)
针对零样本常识问答中忽略知识图谱多跳关系的问题,提出多跳常识知识注入框架,通过两种多跳问答生成方法和对比学习预训练,在五个基准上取得最优性能。
2023-05-10 cs.CL
ADMUS: A Progressive Question Answering Framework Adaptable to Multiple Knowledge Sources
Sichuan University(四川大学);Peking University(北京大学)
ADMUS提出一种与数据集无关的渐进式KBQA框架,通过解耦传统架构和微服务设计,以极低成本适配多语言、多知识库和多数据集,并利用精确查询、近似查询与大语言模型检索三阶段提升问答能力。
2023-08-09 cs.CL
Strong Baselines for Simple Question Answering over Knowledge Graphs with and without Neural Networks
David R. Cheriton School of Computer Science(大卫·R·谢里顿计算机科学学院);University of Waterloo(滑铁卢大学)
我们研究了知识图谱上的问答问题,重点是可以通过查找单个事实来回答的简单问题。采用一个简单的问题分解为实体检测,实体链接,关系预测和证据组合,我们探索简单而强大的基线。在流行的SimpleQuestions数据集上,我们发现基本的LSTM和GRU加上一些算法产生的准确性接近最先进的水平,并且不使用神经网络的技术也表现得相当好。这些结果表明,从文献中提出的复杂深度学习技术中获得的收益是相当适度的,并且一些以前的模型表现出不必要的复杂性。
2018-06-05 cs.CL
Complex Knowledge Base Question Answering: A Survey
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学);Renmin University of China(中国人民大学)
知识库问答(KBQA)旨在通过知识库(KB)回答问题。早期的研究主要集中在知识库上回答简单的问题,并取得了很大的成功。然而,它们在复杂问题上的表现仍远不能令人满意。因此,近年来,研究人员提出了大量新颖的方法,这些方法研究了回答复杂问题的挑战。在这篇综述中,我们回顾了KBQA的最新进展,重点是解决复杂问题,这些问题通常包含多个主题,表达复合关系,或涉及数值运算。在详细介绍中,我们首先介绍了复杂的KBQA任务和相关背景。然后,我们描述了复杂KBQA任务的基准数据集,并介绍了这些数据集的构建过程。接下来,我们提出了两种主流的复杂KBQA的方法,即基于语义解析(SP)的方法和基于信息检索(IR)的方法。具体来说,我们说明他们的流程设计,并讨论其主要的区别和相似之处。在此之后,我们总结了这两类方法在回答复杂问题时遇到的挑战,并阐述了现有工作中使用的先进解决方案和技术。最后,我们总结并讨论了未来研究的几个有前途的方向复杂KBQA。
2022-11-08 cs.CL
Comprehension Based Question Answering using Bloom's Taxonomy
SRI International(斯坦福国际研究院);Rutgers University(罗格斯大学)
当前预训练的语言模型具有大量知识,但是使用这些知识的能力更有限。Bloom's Taxonomy通过对理解技能进行分类,帮助教育工作者教会孩子如何使用知识,因此我们用它来分析和提高大型预训练语言模型的理解技能。我们的实验专注于zero-shot问答,使用分类法来提供邻近的上下文,帮助模型通过与这些问题相关来回答问题。我们表明,以这种方式定位上下文可以提高4个流行的常识问答数据集的性能。
2021-06-08 cs.CL
Retrieval Augmented Visual Question Answering with Outside Knowledge
University of Cambridge(剑桥大学)
外部知识视觉问答(OK-VQA)是一个具有挑战性的VQA任务,需要检索外部知识来回答有关图像的问题。最近的OK-VQA系统使用密集段落检索(DPR)从外部知识库(如维基百科)检索文档,但DPR与答案生成分开训练,对整体系统性能带来了潜在的限制。相反,我们提出了一个联合训练方案,其中包括微分DPR与答案生成集成,使系统可以在一个端到端的方式进行训练。我们的实验表明,我们的计划优于最近的OK-VQA系统具有强大的DPR检索。我们还引入了新的诊断指标来分析检索和生成如何相互作用。我们的模型的强大检索能力显着减少了训练所需的检索文档的数量,在训练所需的答案质量和计算方面产生了显着的好处。
2022-10-29 cs.CL
$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究院)
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容,使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发,我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量,表示为$Q^2$,比较答案跨度使用自然语言推理(NLI),而不是基于令牌的匹配,在以前的工作。为了促进正确的评估,我们为维基百科的向导数据集策划了一个新的对话系统输出数据集,并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估,其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
Neural Generative Question Answering
Peking University(北京大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
本文提出了一个端到端的神经网络模型,称为神经生成问答(GENQA),它可以生成简单的事实问题的答案,在知识库的基础上。更具体地说,该模型建立在用于序列到序列学习的编码器-解码器框架上,同时配备了查询知识库的能力,并在问答对的语料库上进行训练,其相关三元组在知识库中。实证研究表明,该模型可以有效地处理问题和答案的变化,并通过参考知识库中的事实来生成正确、自然的答案。在问答系统上的实验表明,该模型的性能优于基于嵌入的问答模型以及在相同数据上训练的神经对话模型。
2016-04-22 cs.CL
Expanding End-to-End Question Answering on Differentiable Knowledge Graphs with Intersection
Amazon Alexa AI(亚马逊 Alexa AI)
使用可微分知识图谱的端到端问答是一种很有前途的技术,它只需要弱监督,产生可解释的结果,并且是完全可微分的。该技术的先前实现(Cohen等人,2020年)专注于使用关系跟踪操作的单实体问题。在本文中,我们提出了一个模型,显式地处理多实体的问题,通过实施一个新的交集操作,确定两组实体之间的共享元素。我们发现,在两个数据集上,引入交集可以提高基线模型的性能,即WebWebWebsSP(69.6%至73.3% Hits@1)和ComplexWebQuestions(39.8%至48.7% Hits@1),特别是在WebWebsSP上,多实体问题的性能提高了14%以上,在ComplexWebQuestions上提高了19%。
2021-09-13 cs.CL
The combination of context information to enhance simple question answering
Wuhan University of Technology(武汉理工大学)
随着知识库的迅速发展,基于知识库的问答系统已经成为研究的热点。本文主要研究基于知识库的单关系类事实问题的求解。我们建立了一个问答系统,研究了上下文信息对事实选择的影响,如实体的显著性类型、出度等。实验结果表明,上下文信息可以改善简单问答的结果。
2018-10-09 cs.AI cs.CL
PeCoQ: A Dataset for Persian Complex Question Answering over Knowledge Graph
Shahid Beheshti University(沙希德·贝赫什提大学)
问答系统可以从非结构化文本或诸如知识图谱的结构化数据中找到用户问题的答案。使用包括深度学习模型的监督学习方法来解决问题需要大量的训练数据集。近年来,一些数据集已经被提出用于知识图谱上的问答任务,这是本文的重点。虽然有许多英文数据集被提出,但也有一些波斯语的问答数据集。本文介绍了一个用于波斯语问答的数据集\textit{PeCoQ}。该数据集包含从波斯语知识图谱FarsBase中提取的10,000个复杂问题和答案。对于每个问题,SPARQL查询和两个由语言学家编写的释义也提供了。数据集中存在不同类型的复杂性,例如多关系、多实体、顺序和时间约束。在本文中,我们讨论了数据集的特点,并描述了我们的方法来建立它。
2021-06-27 cs.AI cs.CL