Question-guided Knowledge Graph Re-scoring and Injection for Knowledge Graph Question Answering
Institute of Computing and Intelligence, Harbin Institute of Technology（哈尔滨工业大学计算与智能学院）；University of Electronic Science and Technology of China（电子科技大学）
针对KGQA检索子图含噪声干扰推理的问题，提出Q-KGR问题引导重评分方法过滤无关路径，并通过参数高效的Knowformer将重评分知识图谱注入大语言模型，在多个基准上验证了优越性。
2024-10-02 cs.CL
Dynamic Relevance Graph Network for Knowledge-Aware Question Answering
Michigan State University（密歇根州立大学）
本文研究了以知识图谱（KG）形式给出外部知识源的常识问答的学习和推理的挑战。我们提出了一种新的图神经网络结构，称为动态相关图网络（DRGN）。DRGN基于问题和答案实体对给定的KG子图进行操作，并使用节点之间的相关性得分来动态地建立新的边，以学习图网络中的节点表示。这种将相关性显式地用作图边具有以下优点：a）模型可以利用现有关系，重新缩放节点权重，并影响邻域节点的表示在KG子图中聚合的方式。b）它潜在地恢复KG中推理所需的缺失边。此外，作为副产品，由于考虑了问题节点和图实体之间的相关性，我们的模型改进了对否定问题的处理。我们提出的方法显示了竞争力的表现在两个QA基准，CommonsenseQA和OpenbookQA，相比，国家的最先进的公布的结果。
2022-09-20 cs.CL
Subgraph Retrieval Enhanced by Graph-Text Alignment for Commonsense Question Answering
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Ant Group（蚂蚁集团）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
本文提出SEPTA框架，通过BFS风格子图采样策略避免信息丢失，并采用双向对比学习进行图文本对齐，有效增强了子图检索与知识融合，在五个数据集上验证了其有效性和鲁棒性。
2024-11-11 cs.AI cs.CL cs.LG
CE-GOCD: Central Entity-Guided Graph Optimization for Community Detection to Augment LLM Scientific Question Answering
Harbin Institute of Technology, Harbin, China（哈尔滨工业大学）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research, China（认知智能国家重点实验室）
CE-GOCD通过构建和利用学术知识图谱的语义子结构，提升LLM在科学问答中的表现，通过中心实体引导的图优化和社区检测增强问答的准确性和全面性。
2026-01-29 cs.CL
Improving Lexical Embeddings for Robust Question Answering
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；The Chinese University of Hong Kong（香港中文大学）
近年来，问答技术在性能上取得了显著的进步，一些问答模型的性能甚至超过了人工。然而，这些模型在真正理解语言方面的能力仍然值得怀疑，并且这些模型在面对对抗性示例时显示出局限性。为了增强QA模型的鲁棒性和泛化能力，提出了一种基于语义和上下文约束的表示增强（ESC）方法来提高词汇嵌入的鲁棒性。具体来说，我们插入扰动与语义约束和训练增强上下文表示通过上下文约束损失，以更好地区分上下文线索的正确答案。实验结果表明，该方法在四个对抗测试集上获得了显著的鲁棒性提高。
2022-02-28 cs.CL
Joint Multitask Learning for Community Question Answering Using Task-Specific Embeddings
Nanyang Technological University（南洋理工大学）；Amazon（亚马逊）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们共同解决社区论坛中问答的两个重要任务：给定一个新问题，（i）找到相关的现有问题，以及（ii）找到这个新问题的相关答案。我们进一步使用辅助任务来补充前两个任务，即，(iii)在问题评论线程中找到关于线程问题的好答案。我们使用深度神经网络（DNN）来学习有意义的特定于任务的嵌入，然后将其纳入多任务设置的条件随机场（CRF）模型，在复杂的图结构上进行联合学习。虽然DNN在训练产生嵌入时单独实现了竞争结果，但CRF利用嵌入和任务之间的依赖关系，在各种评估指标中显着且一致地改善了结果，从而显示了DNN和结构化学习的互补性。
2018-09-24 cs.CL
Enhancing Complex Question Answering over Knowledge Graphs through Evidence Pattern Retrieval
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文提出证据模式检索（EPR）方法，通过显式建模知识图谱问答中子图提取的结构依赖性，显著提升复杂问答的F1分数。
2024-02-03 cs.CL cs.IR
PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text
Google AI Language（谷歌AI语言部门）
我们考虑开放域问答（QA），其中答案来自语料库，知识库（KB）或两者的组合。我们专注于一个设置，其中语料库补充了一个大的，但不完整的KB，并在问题上，需要非平凡的（例如，"多跳“）推理。我们描述了PullNet，一个集成的框架，用于（1）学习检索什么（从KB和/或语料库）和（2）使用这种异构信息进行推理以找到最佳答案。PullNet使用{迭代}过程来构建包含与问题相关的信息的特定于问题的子图。在每次迭代中，使用图卷积网络（图CNN）来识别应该使用对语料库和/或KB的检索（或“拉”）操作来扩展的子图节点。在子图完成之后，使用类似的图CNN从子图中提取答案。这种检索和推理过程允许我们使用大型知识库和语料库回答多跳问题。PullNet是弱监督的，需要问答对，但不需要黄金推理路径。在实验上，PullNet比现有技术有所改进，并且在语料库与不完整的KB一起使用的情况下，这些改进通常是戏剧性的。PullNet在仅KB设置或仅文本设置中也通常优于现有系统。
2019-04-21 cs.CL cs.LG
Creating Causal Embeddings for Question Answering with Minimal Supervision
University of Arizona（亚利桑那大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
问答（QA）的一个常见模型是，一个好的答案是一个密切相关的问题，其中相关性往往是使用通用的词汇模型，如词嵌入确定。我们认为，一个更好的方法是寻找答案，相关的问题，在相关的方式，根据问题的信息需求，这可能是通过特定任务的嵌入确定。以因果关系为用例，我们分三步实现这一见解。首先，我们通过使用一小部分种子模式从自由文本中提取因果对，以经济高效的方式生成因果嵌入。其次，我们训练使用特定于任务的上下文，即，一个原因的背景就是它的结果。最后，我们扩展了一个国家的最先进的重新排序的方法，QA将这些因果嵌入。我们评估因果嵌入模型直接与一个偶然的含义任务，并间接地，在下游因果QA任务使用数据从雅虎！答案我们表明，明确建模的因果关系，提高了这两个任务的性能。在QA任务中，我们的最佳模型实现了37.3%P@1，显著优于强基线7.7%（相对）。
2016-09-26 cs.CL
KeyGen2Vec: Learning Document Embedding via Multi-label Keyword Generation in Question-Answering
Eindhoven University of Technology（埃因霍温理工大学）；BRIN Indonesia（印度尼西亚国家研究与创新署）
本文提出KeyGen2Vec，通过Seq2Seq多标签关键词生成学习文档嵌入，减少对标签监督的依赖，并在cQA数据集上验证其优于多标签分类器且可与主题标签监督方法竞争。
2023-10-30 cs.CL
Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models
Renmin University of China（中国人民大学）；Tencent AI Lab（腾讯人工智能实验室）
基于嵌入的方法在知识库问答（KBQA）中很受欢迎，但目前很少有模型具有数值推理能力，因此难以回答顺序约束问题。本文提出了一种新的嵌入式KBQA框架，特别是考虑到数值推理。我们在NSM（一种最先进的基于嵌入的KBQA模型）之上提出NumericalTransformer，以创建NT-NSM。为了实现更好的训练，我们提出了两个预训练任务，在两个生成的训练数据集上使用显式的面向数值的损失函数，以及一种基于模板的数据增强方法来丰富有序约束的QA数据集。在KBQA基准测试上进行的大量实验表明，在我们的训练算法的帮助下，NT-NSM具有数值推理技能，并且在回答顺序约束问题时大大优于基线。
2022-05-16 cs.CL
Microsoft AI Challenge India 2018: Learning to Rank Passages for Web Question Answering with Deep Attention Networks
IIIT-Hyderabad（海得拉巴国际信息技术学院）
本文介绍了我们的系统为微软人工智能挑战赛印度2018：排名网页问答通道。该系统使用biLSTM网络，在查询和段落表示之间具有协同注意力机制。此外，我们使用自我注意嵌入，以增加词汇覆盖率，允许系统采取工会在不同的嵌入。我们还结合了手工制作的功能，以提高系统性能。我们的系统在eval-1数据集上实现了0.67的平均倒数秩（MRR）。
2019-06-14 cs.CL
A Graph-Guided Reasoning Approach for Open-ended Commonsense Question Answering
Baidu Research（百度研究院）
最近，用于多项选择常识问答（QA）的端到端训练模型已经取得了可喜的成果。然而，这样的问答系统不能直接应用于不提供答案候选的真实世界场景中。因此，最近发布了一个新的开放式常识推理（OpenCSR）基准挑战集，其中包含没有任何预定义选择的自然科学问题。在OpenCSR挑战集中，许多问题需要隐式多跳推理，并且具有很大的决策空间，这反映了这项任务的困难性。OpenCSR的现有工作主要集中在改进检索过程，从文本知识库中提取相关的事实句子，将重要和重要的推理任务排除在外。在这项工作中，我们扩展的范围，包括一个推理机，构建一个依赖于问题的开放知识图谱检索支持的事实的基础上，并采用顺序子图推理过程来预测答案。子图可以被看作是对预测的一个简洁而紧凑的图形解释。在两个OpenCSR数据集上的实验表明，该模型在基准OpenCSR数据集上取得了良好的性能.
2023-03-18 cs.CL cs.LG
Skipping Word: A Character-Sequential Representation based Framework for Question Answering
Sogou Inc（搜狗公司）；Key Lab of Intelligent Information Processing of CAS（中国科学院智能信息处理重点实验室）；ICT（中国科学院计算技术研究所）
最近的作品使用基于词的分布式表示的人工神经网络极大地提高了各种自然语言学习任务的性能，特别是问答。虽然，他们也进行了一些随之而来的问题，如语料库的选择嵌入学习，字典变换不同的学习任务，在本文中，我们提出了直接建模的句子通过字符序列，然后利用卷积神经网络集成字符嵌入学习与逐点答案选择训练。与使用词嵌入（WE）策略预训练的深度模型相比，我们基于字符顺序表示（CSR）的方法在不同的基准测试中显示出更简单的过程和更稳定的性能。在两个基准答案选择数据集上的实验表明，与现有方法相比，该方法具有很好的性能。
2016-09-02 cs.CL
Towards Efficient Methods in Medical Question Answering using Knowledge Graph Embeddings
Pennsylvania State University（宾夕法尼亚州立大学）；RTX Technology Research Center（RTX技术研究中心）
针对医疗领域预训练成本高的问题，提出基于MLP对齐医疗知识图谱嵌入与预训练语言模型嵌入空间的方法，无需领域预训练即可提升开放域模型在医疗MRC任务上的性能。
2024-12-13 cs.CL
QAEncoder: Towards Aligned Representation Learning in Question Answering Systems
Peking University（北京大学）；Institute for Advanced Algorithms Research（高级算法研究所）；Zhongguancun Academy（中关村学院）
QAEncoder提出一种无需训练的方法，通过在嵌入空间估计潜在查询期望并附加文档指纹，弥合问答系统中查询与文档的差距，实现零额外成本的对齐表示学习。
2025-07-02 cs.CL
Explore-over-Graph: Hybrid Embedding-LLM Reasoning for Knowledge Graph Question Answering under Incompleteness
New York University Abu Dhabi（纽约大学阿布扎比分校）
针对知识图谱不完整导致多跳问答推理路径断裂的问题，提出XoG框架，利用类型级统计和嵌入恢复缺失路径，LLM作语义选择器，在多个基准上优于可比方法并降低33%令牌消耗。
2026-10-06 cs.CL
Path-Enhanced Multi-Relational Question Answering with Knowledge Graph Embeddings
Alibaba Group（阿里巴巴集团）
多关系知识库问答（KBQA）系统在知识图谱（KG）上执行多跳推理以获得答案。最近的方法试图引入知识图谱嵌入（KGE）技术来处理KG不完全性，但只考虑三重事实，而忽略了路径和多关系问题之间的重要语义相关性。在本文中，我们提出了一个路径和知识嵌入增强的多关系问答模型（PKEEQA），它利用KG中实体之间的多跳路径，通过可定制的路径表示机制来评估路径嵌入和多关系问题嵌入之间的双极相关性，有利于从三重事实和额外路径的角度获得更准确的答案。实验结果表明，PKEEQA提高了KBQA模型的多关系问答的性能，解释能力在一定程度上来源于路径。
2021-10-29 cs.AI cs.CL cs.LG
Question Answering over Knowledge Base using Language Model Embeddings
Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）
知识库，表示关于世界的事实，通常以某种形式的包容本体，而不是隐含地嵌入在过程代码中，传统的计算机程序的方式。虽然知识库迅速增长，但从中检索信息是一个挑战。知识库问答是从知识库中抽取大量知识的有效方法之一。与Web搜索不同，知识库上的问答给出了准确和简洁的结果，前提是自然语言问题可以被理解并精确地映射到知识库中的答案。然而，用于知识库问答系统的一些现有的基于嵌入的方法忽略了问题和知识库之间的微妙相关性（例如，实体类型、关系路径和上下文），并且遭受词汇表外问题。在本文中，我们专注于使用预先训练的语言模型的知识库问答任务。首先，我们使用BERT基进行初始实验。我们进一步微调这些嵌入与双向注意力机制从知识库到问的问题，从问的问题到知识库的答案方面。我们的方法是基于一个简单的卷积神经网络架构与多头注意力机制来表示所问的问题在多个方面的动态。我们的实验结果表明，BERT预训练的语言模型嵌入知识库上的问答系统的有效性和优越性比其他知名的嵌入方法。
2020-10-17 cs.CL cs.IR
Contextual embedding and model weighting by fusing domain knowledge on Biomedical Question Answering
Beijing University of Technology（北京工业大学）
生物医学问答旨在从生物医学领域获得给定问题的答案。由于其对生物医学领域知识的要求很高，模型很难从有限的训练数据中学习领域知识。我们提出了一种上下文嵌入方法，结合开放领域的QA模型\aoa和\biobert模型预训练的生物医学领域的数据。我们采用无监督预训练的大型生物医学语料库和监督微调生物医学问答数据集。此外，我们采用一个基于MLP的模型加权层，自动利用两个模型的优点，提供正确的答案。利用PubMed语料库构建的公共数据集\biomrc对该方法进行了评价。实验结果表明，我们的模型优于国家的最先进的系统由一个很大的利润。
2022-06-26 cs.AI cs.CL
Complex Sequential Question Answering: Towards Learning to Converse Over Linked Question Answer Pairs with a Knowledge Graph
IBM Research AI（IBM研究院人工智能）；I.I.T. Madras（马德拉斯印度理工学院）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
在与聊天机器人交谈时，人类通常会提出许多问题，其中很大一部分可以通过参考大规模知识图谱（KG）来回答。虽然问答（QA）和对话系统已经被独立研究，但有必要仔细研究它们，以评估涉及这两项任务的机器人所面临的现实场景。为此，我们引入了复杂的顺序QA的任务，它结合了两个任务：（i）通过复杂的推理回答事实问题，通过一个现实大小的KG的数百万个实体，和（ii）学习交谈，通过一系列连贯的QA对。通过一个劳动密集型的半自动过程，包括内部和众包的工作人员，我们创建了一个包含大约20万个对话框的数据集，总共有160万个回合。此外，与包含可以从单个元组回答的简单问题的现有大规模QA数据集不同，我们对话框中的问题需要KG的更大子图。具体来说，我们的数据集有一些问题需要逻辑推理、定量推理和比较推理以及它们的组合。这就要求模型，它可以：（一）解析复杂的自然语言的问题，（二）使用会话上下文来解决话语中的共指和省略，（三）要求澄清模糊的查询，最后（四）检索相关的子图的KG回答这样的问题。然而，我们结合最先进的对话和QA模型的实验表明，它们显然没有实现上述目标，并且不足以处理如此复杂的现实世界设置。我们相信，这一新的数据集加上本文所报道的现有模型的局限性，应该鼓励进一步研究复杂的顺序QA。
2018-10-04 cs.CL
LLM-based Discriminative Reasoning for Knowledge Graph Question Answering
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
本文提出READS方法，将知识图谱问答重构为判别式子任务并设计相应推理策略，以缓解大语言模型的幻觉问题，在WebQSP和CWQ上取得最优性能。
2025-03-07 cs.CL
Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks
Meta AI；Pinterest（品趣（Pinterest公司））；Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对现有知识图谱问题生成多依赖单三元组、忽略子图结构的局限，提出带节点级复制的双向Graph2Seq模型，在两个基准上取得SOTA，还可作为数据增强提升QA任务效果。
2023-05-01 cs.CL
UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）
知识图谱上的多跳问答（KGQA）是指在大规模知识图谱（KG）上寻找与自然语言问题中的主题实体相距多跳的答案实体。为了应对巨大的搜索空间，现有的工作通常采用两阶段的方法：首先检索与问题相关的相对较小的子图，然后对子图进行推理，以准确地找到答案实体。虽然这两个阶段是高度相关的，以前的工作采用了非常不同的技术解决方案开发的检索和推理模型，忽略了他们的任务本质的相关性。在本文中，我们提出了UniKGQA，多跳KGQA任务的一种新方法，通过统一检索和推理的模型结构和参数学习。在模型结构上，UniKGQA由基于预训练的语言模型PLM的语义匹配模块和匹配信息传播模块组成，语义匹配模块用于问题-关系的语义匹配，匹配信息传播模块用于沿着KG上的有向边传播匹配信息。对于参数学习，我们设计了一个共享的预训练任务的基础上的问题-关系匹配检索和推理模型，然后提出检索和推理为导向的微调策略。与以往的研究相比，我们的方法是更统一的，紧密联系的检索和推理阶段。在三个基准数据集上的大量实验表明了该方法在多跳KGQA任务上的有效性。我们的代码和数据可在~ \url{https://github.com/RUCAIBox/UniKGQA}上公开获取。
2023-03-01 cs.CL
Using Holographically Compressed Embeddings in Question Answering
Middle Tennessee State University（中田纳西州立大学）
词向量表示是深度学习自然语言处理模型的核心。这些向量的许多形式，称为嵌入，存在，包括word2vec和GloVe。嵌入在大型语料库上进行训练，并在上下文中学习单词的用法，捕获单词之间的语义关系。然而，来自这样的训练的语义处于不同单词（称为单词类型）的级别，并且当例如单词类型可以是名词或动词时可能是模糊的。在问答中，词性和命名实体类型很重要，但在神经模型中编码这些属性会扩大输入的大小。这项研究采用全息压缩预训练的嵌入，代表一个令牌，它的词性，和命名实体类型，在相同的维度，只代表令牌。在修改的问答循环深度学习网络中的实现表明，语义关系得到了保留，并产生了强大的性能。
2020-07-14 cs.CL cs.LG
Exploiting Sentence Embedding for Medical Question Answering
Tsinghua University（清华大学）；iFlytek Research（讯飞研究院）
尽管词嵌入取得了巨大的成功，但句子嵌入仍然是一个没有很好解决的问题。在本文中，我们提出了一个监督学习框架，利用句子嵌入的医疗问答任务。学习框架由两个主要部分组成：1）一个句子嵌入产生模块，和2）一个评分模块。前者是通过上下文自注意和多尺度技术将句子编码为嵌入张量而开发的。这个模块简称为上下文自我注意多尺度句子嵌入（CAMSE）。后者采用两种评分策略：语义匹配评分（SMS）和语义关联评分（SAS）。SMS测量相似性，而SAS捕获句子对之间的关联：一个医学问题与一个候选选择相连接，以及一个相应的支持证据。建议的框架是由两个医疗问答（MedicalQA）数据集，这是从现实世界中的应用程序：医疗考试和临床诊断的基础上，电子病历（EMR）。比较结果表明，我们提出的框架取得了显着的改进相比，竞争力的基线方法。此外，本文还通过一系列的对照实验，说明了多尺度策略和语境自注意层在产生有效的句子嵌入中的重要作用，以及两种评分策略在问答问题中的互补性。
2018-11-15 cs.AI cs.CL cs.LG
SemanticZ at SemEval-2016 Task 3: Ranking Relevant Answers in Community Question Answering Using Semantic Similarity Based on Fine-tuned Word Embeddings
Research Training Group AIPHES（AIPHES研究培训组）；Institute for Computational Linguistics（计算语言学研究所）；Heidelberg University（海德堡大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们描述了我们在社区论坛中寻找好答案的系统，如SemEval-2016，关于社区问答的任务3中所定义的。我们的方法依赖于几个语义相似性特征的基础上微调词嵌入和主题的相似性。在主要的子任务C中，我们的主要提交排名第三，MAP为51.68，准确率为69.94。在子任务A中，我们的主要提交也是第三名，MAP为77.58，准确率为73.39。
2019-11-20 cs.AI cs.CL cs.IR
Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering
Deakin University（德肯大学）
提出CADE框架，通过逐点线性编码器直接嵌入每个时间步，避免分词瓶颈，并利用单向监督对比损失对齐时间序列与文本锚点，在Time-MQA基准上提升六项TSQA任务性能。
2026-10-19 cs.AI cs.CL
MEKER: Memory Efficient Knowledge Embedding Representation for Link Prediction and Question Answering
Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）
知识图谱（KG）是事实的符号结构化存储。KG嵌入包含用于NLP任务的简洁数据，这些任务需要关于真实世界的隐式信息。此外，在实际NLP分配中可能有用的KG的大小是巨大的，并且在其上创建嵌入具有内存成本问题。我们将KG表示为三阶二进制张量，并通过使用其特定数据的广义版本超越标准CP分解。标准CP-ALS算法的泛化允许在没有反向传播机制的情况下获得优化梯度。它减少了训练所需的内存，同时提供了计算优势。我们提出了一个MEKER，一个内存高效的KG嵌入模型，它产生SOTA的链接预测任务和KG为基础的问答相当的性能。
2022-05-24 cs.AI cs.CL cs.IR
A Multi-Resolution Word Embedding for Document Retrieval from Large Unstructured Knowledge Bases
University of Arkansas（阿肯色大学）；Google LLC.（谷歌有限责任公司）
深度语言模型学习分层表示被证明是自然语言处理、文本挖掘和信息检索的强大工具。然而，表现良好的检索表示必须捕捉不同层次的抽象或上下文范围的语义含义。在本文中，我们提出了一种新的方法来产生多分辨率的词嵌入，表示在多个分辨率的上下文范围的文件。为了研究其性能，我们使用斯坦福问答数据集（SQuAD）和问答搜索和阅读（QUASAR）在一个开放域的问答设置，其中的第一个任务是找到有用的文件来回答给定的问题。为此，我们首先比较了各种文本嵌入方法的检索性能的质量，并给出了广泛的经验比较与各种非增强的基础嵌入的性能，并没有多分辨率表示。我们认为，多分辨率词嵌入始终优于原始的对应物，并且专门为检索目的训练的深度残差神经模型在用于增强这些嵌入时可以产生进一步的显着收益。
2019-05-22 cs.CL cs.IR
Foresight-over-Graph: Reasoning Beyond Local Horizons for Knowledge Base Question Answering
Tianjin University（天津大学）；Beijing Jiaotong University（北京交通大学）
针对LLM在知识密集型问答中的幻觉问题，提出图上前瞻（FoG）框架，通过前瞻感知的迭代证据子图构建与远-近反馈引导路径探索，克服局部剪枝的短视，在KBQA基准上达到最先进性能，并在CWQ上实现16.58%的Hit提升。
2026-10-07 cs.AI cs.CL
GETT-QA: Graph Embedding based T2T Transformer for Knowledge Graph Question Answering
Universität Hamburg（汉堡大学）；Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
在这项工作中，我们提出了一个端到端的知识图谱问答（KGQA）系统命名为GETT-QA。GETT-QA使用T5，一种流行的文本到文本预训练语言模型。该模型以自然语言中的问题作为输入，并生成预期SPARQL查询的更简单形式。在更简单的形式中，模型不直接产生实体和关系ID。相反，它会生成相应的实体和关系标签。在后续步骤中，标签被接地到KG实体和关系ID。为了进一步改进结果，我们指示模型为每个实体生成KG嵌入的截断版本。截断的KG嵌入实现了用于消歧目的的更精细的搜索。我们发现T5能够在不改变损失函数的情况下学习截断的KG嵌入，从而提高了KGQA的性能。因此，我们报告了LC-QuAD 2.0和SimpleObservs-Wikidata数据集在端到端KGQA上的强大结果。
2023-03-28 cs.CL cs.DB cs.IR
Improving Question Answering over Incomplete KBs with Knowledge-Aware Reader
University of California, Santa Barbara（加州大学圣巴巴拉分校）；IBM Research（IBM研究院）
我们提出了一个新的端到端的问答模型，它学习从一个不完整的知识库（KB）和一组检索到的文本片段聚合答案的证据。在结构化知识库更容易查询且获取的知识有助于理解非结构化文本的假设下，该模型首先从问题相关的知识库子图中积累实体知识，然后在潜在空间中重构问题，并利用积累的实体知识阅读文本。知识库和文本中的证据最终被聚合以预测答案。在广泛使用的KBQA基准WebQSP上，我们的模型在不同程度的KB不完整性的设置上实现了一致的改进。
2019-05-31 cs.AI cs.CL
Sentence Embeddings for Russian NLU
National Research University Higher School of Economics（国立研究型大学高等经济学院）
我们调查的性能句子嵌入模型的几个任务的俄语。在我们的比较中，我们包括多项选择问答，下一句预测和释义识别等任务。我们采用FastText嵌入作为基线，并将其与ELMo和BERT嵌入进行比较。我们进行了两个系列的实验，使用无监督（即，仅基于相似性度量）和用于任务的监督方法。最后，我们提出了多项选择问答和下一句预测在俄罗斯的数据集。
2019-10-29 cs.CL cs.LG
Intrinsic Subgraph Generation for Interpretable Graph based Visual Question Answering
本文提出一种内在可解释的图基视觉问答方法，在GQA数据集上实现竞争性能，通过问答过程中生成解释性子图并提供自动评估指标，弥合可解释性与性能之间的差距。
2024-03-27 cs.CL
Question-to-Question Retrieval for Hallucination-Free Knowledge Access: An Approach for Wikipedia and Wikidata Question Answering
本研究针对知识库问答的幻觉问题，提出基于指令微调LLM生成内容对应问题向量库、匹配用户查询直接检索内容的方法，在Wikipedia和Wikidata上实现高精度高效检索，还支持多模态问答。
2025-02-21 cs.AI cs.CL
Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering
University of Southern California（南加州大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的关于用外部知识（例如，知识图谱）要么难以有效地对多跳关系进行建模，要么对模型的预测原理缺乏透明度。在本文中，我们提出了一种新的知识感知的方法，装备预训练的语言模型（PTLM）与多跳关系推理模块，命名为多跳图关系网络（MHGRN）。它对从外部知识图谱中提取的子图执行多跳、多关系推理。所提出的推理模块结合了基于路径的推理方法和图神经网络，以实现更好的可解释性和可扩展性。我们还在CommonsenseQA和OpenbookQA数据集上实证展示了其有效性和可扩展性，并通过案例研究解释了其行为。
2020-09-18 cs.CL cs.LG
Efficient Multi-Hop Question Answering over Knowledge Graphs via LLM Planning and Embedding-Guided Search
Department of Computer Science, Drexel University, Philadelphia, PA, USA（计算机科学系，德雷塞尔大学，费城，宾夕法尼亚州，美国）
本文提出两种混合算法，通过LLM规划和嵌入引导搜索实现高效且可验证的多跳知识图谱问答，提升推理效率与准确性。
2025-11-24 cs.AI cs.CL
Comprehensive Modeling and Question Answering of Cancer Clinical Practice Guidelines using LLMs
Indian Institute of Technology Madras（马德拉斯印度理工学院）；Healthcare Technology Innovation Centre（医疗技术创新中心）
本研究利用大语言模型将癌症临床实践指南建模为图，实现节点分类（准确率最高88.47%）并基于子图路径进行约束问答，以减少幻觉并确保医学事实准确性。
2025-01-23 cs.AI cs.CL cs.LG
Gaussian Attention Model and Its Application to Knowledge Base Embedding and Question Answering
University of Chicago（芝加哥大学）；Microsoft Research Cambridge（微软剑桥研究院）
我们提出了基于内容的神经记忆访问的高斯注意模型。利用所提出的注意力模型，神经网络具有额外的自由度来控制其注意力的焦点从激光锐利注意力到广泛注意力。只要我们能够假设潜在空间中的距离反映了某种语义概念，它就适用。我们使用建议的注意力模型作为一个评分函数的知识库嵌入到一个连续的向量空间，然后训练的模型，进行问答的实体在知识库。所提出的注意力模型既可以处理不确定性的传播时，以下一系列的关系，也在一个自然的方式条件的连接。在参加2014年FIFA世界杯的足球运动员的数据集上，我们证明了我们的模型可以很好地处理路径查询和合取查询。
2016-11-30 cs.AI cs.CL cs.LG
Quantum Language Model with Entanglement Embedding for Question Answering
Zhejiang University（浙江大学）；University of New South Wales（新南威尔士大学）
量子语言模型（QLM），其中的话被建模为量子叠加的义素已表现出高层次的模型透明性和良好的事后解释能力。然而，在目前的文献中，字序列基本上被建模为一个经典的混合字状态，不能充分利用量子概率描述的潜力。一个完整的量子模型还有待开发，以明确捕捉单词序列中的非经典相关性。提出了一种神经网络模型，该模型引入了一个新的纠缠嵌入（EE）模块，其功能是将字序列转化为多体量子系统的纠缠纯态。强量子纠缠是量子信息的核心概念，也是单词之间并行相关性的一个标志，在单词序列中可以观察到。数值实验表明，与经典的深度神经网络模型和其他QLM相比，所提出的QLM with EE（QLM-EE）在问答（QA）数据集上实现了更好的性能。此外，通过量化词之间的纠缠程度，可以提高模型的事后可解释性。
2021-12-20 cs.AI cs.CL quant-ph
VisKG-LM: Compiling Knowledge Graphs into Visual Memory for Multiple-Choice Question Answering
VisKG-LM将知识图谱子图离线编译为视觉记忆图像，供语言模型在推理时查阅，在三个问答基准上超越现有方法，证明了编译视觉记忆作为在线图传播的可行替代方案。
2026-09-18 cs.CL cs.IR cs.LG
Complex Factoid Question Answering with a Free-Text Knowledge Graph
University of Maryland（马里兰大学）；Microsoft AI & Research（微软AI与研究院）；Google Research Zürich（苏黎世谷歌研究院）
我们介绍DELFT，一个事实的问答系统，结合了细微差别和深度的知识图谱问答方法与自由文本的覆盖面更广。DELFT从Wikipedia构建了一个自由文本知识图谱，其中实体作为节点，实体共同出现的句子作为边。对于每个问题，DELFT使用文本句子作为边来找到将问题实体节点连接到候选者的子图，从而创建密集且高覆盖率的语义图。一种新颖的图神经网络在自由文本图上进行推理，通过沿边的信息组合节点上的证据，以选择最终答案。在三个问答数据集上的实验表明，DELFT比基于机器阅读的模型、基于伯特的答案排序和记忆网络更好地回答实体丰富的问题。DELFT的优势来自于其自由文本知识图谱的高覆盖率--是dbpedia关系的两倍多--以及新颖的图神经网络，它基于丰富但有噪声的自由文本证据进行推理。
2021-03-23 cs.CL cs.IR
Open Question Answering with Weakly Supervised Embedding Models
Heudiasyc UMR 7253（HEUDIASYC混合研究单位7253）；Université de Technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Google（谷歌）
建造能够回答任何问题的计算机是人工智能的长期目标。通过学习将问题映射到逻辑形式或数据库查询的方法，最近取得了可喜的进展。这种方法可能是有效的，但代价是大量的人工标记数据或定义由从业者定制的词汇和语法。在本文中，我们采取了激进的方法，学习将问题映射到矢量特征表示。通过将答案映射到相同的空间中，可以独立于其模式查询任何知识库，而不需要任何语法或词典。我们的方法是用一种新的优化过程进行训练的，该过程结合了随机梯度下降，然后使用自动和协作生成的资源混合提供的弱监督进行微调。我们的经验表明，我们的模型可以从其嘈杂的监督中捕获有意义的信号，从而使我们的模型比现有的唯一能够在类似的弱标记数据上进行训练的方法--Spectroex有了重大改进。
2014-04-16 cs.CL cs.LG
Confident RAG: Enhancing the Performance of LLMs for Mathematics Question Answering through Multi-Embedding and Confidence Scoring
Faculty of Education, The University of Hong Kong（香港大学教育学院）；Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学土木与环境工程系）
Confident RAG通过多嵌入和置信度评分提升LLM在数学问题回答中的性能，实验表明其在准确率上比普通LLMs和RAG分别提升10%和5%。
2025-11-30 cs.AI cs.CL
Discrete Subgraph Sampling for Interpretable Graph based Visual Question Answering
University of Stuttgart（斯图加特大学）
针对可解释视觉问答中内在解释方法稀缺的问题，研究将离散子集采样整合进图基视觉问答系统，在GQA数据集上验证其缓解性能权衡的效果，并通过人工评估证实词元共现指标与人类偏好强相关。
2024-12-11 cs.CL
Beyond Prompting: An Efficient Embedding Framework for Open-Domain Question Answering
King’s College London（伦敦国王学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出嵌入级框架EmbQA，通过无监督对比学习细化查询表示并引入探索性嵌入与熵选择机制，在提升开放域问答准确性的同时显著降低计算开销。
2025-09-20 cs.AI cs.CL cs.CY
Sequence-to-Sequence Knowledge Graph Completion and Question Answering
Indian Institute of Science（印度科学学院）；University of Mannheim（曼海姆大学）
知识图谱嵌入模型用低维嵌入向量表示知识图谱的各个实体和关系。这些方法最近已被应用到KG链接预测和不完整KG上的问答（KGQA）。KGE通常为图中的每个实体创建嵌入，这导致具有数百万实体的真实世界图上的大模型大小。对于下游任务，这些原子实体表示通常需要集成到多级管道中，这限制了它们的实用性。我们表明，一个现成的编码器-解码器Transformer模型可以作为一个可扩展的和通用的KGE模型获得最先进的结果KG链接预测和不完整的KG问答。我们通过将KG链接预测作为序列到序列的任务来实现这一点，并将先前KGE方法采用的三重评分方法与自回归解码交换。与传统的KGE模型相比，这种简单但功能强大的方法将模型大小减少了98%，同时保持推理时间易于处理。在对不完整KG的KGQA任务进行微调后，我们的方法在多个大规模数据集上的性能优于基线，而无需进行广泛的超参数调整。
2022-03-19 cs.CL cs.LG
SE-KGE: A Location-Aware Knowledge Graph Embedding Model for Geographic Question Answering and Spatial Semantic Lifting
University of California, Santa Barbara（加州大学圣巴巴拉分校）；LinkedIn Corporation（领英公司）；SayMosaic Inc.（SayMosaic公司）
学习知识图谱（KG）嵌入是一种新兴的技术，用于各种下游任务，例如摘要、链接预测、信息检索和问答。然而，大多数现有的KG嵌入模型忽略了空间，因此，在应用于（地理）空间数据和任务时表现不佳。对于那些考虑空间的模型，它们中的大多数主要依赖于距离的概念。这些模型在训练期间遭受更高的计算复杂性，同时仍然丢失超过实体之间的相对距离的信息。在这项工作中，我们提出了一个位置感知KG嵌入模型称为SE-KGE。它直接将地理实体的点坐标或边界框等空间信息编码到KG嵌入空间中。由此产生的模型能够处理不同类型的空间推理。我们还构建了一个地理知识图谱，以及一组地理问答对称为DBGeo的SE-KGE的性能进行评估相比，多个基线。评估结果表明，SE-KGE优于这些基线上的DBGeo数据集的地理逻辑查询回答任务。这证明了我们的空间显式模型的有效性和考虑不同地理实体的规模的重要性。最后，我们介绍了一种新的下游任务，称为空间语义提升，它通过一些关系将研究区域中的任意位置与KG中的实体联系起来。在DBGeo上的评估表明，我们的模型比基线有很大的优势。
2020-04-25 cs.AI cs.CL cs.DB
Surgical-VQLA: Transformer with Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (CUHK)（香港中文大学）；University College London（伦敦大学学院）；Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）
本文提出Surgical-VQLA系统，通过设计门控视觉-语言嵌入（GVLE）融合异构模态并构建LViT输入，在LViT预测头并行添加检测头并引入GIoU损失，实现了机器人手术中视觉问答的特定区域定位与回答，在自建数据集上验证了其有效性。
2023-05-19 cs.AI cs.CL cs.CV
SimGRAG: Leveraging Similar Subgraphs for Knowledge Graphs Driven Retrieval-Augmented Generation
Fudan University（复旦大学）
本文提出SimGRAG方法，通过查询到模式和模式到子图两阶段过程对齐查询文本与知识图谱结构，并利用图语义距离度量实现高效检索，在问答和事实验证任务上优于现有方法。
2025-05-29 cs.AI cs.CL cs.IR
SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning
IBM Research（IBM研究院）；EPFL（洛桑联邦理工学院）
在知识图谱上进行推理和问答的现有方法通常随着边的数量而缩放，并且只能有效地应用于小的实例依赖子图。在本文中，我们解决这个问题，表明多跳和更复杂的逻辑推理可以单独完成，而不会失去表达能力。出于这种认识，我们提出了一种多跳推理的方法，该方法与图中的关系类型的数量呈线性关系，通常比边或节点的数量要小得多。这会产生一组候选解决方案，这些解决方案可以被证明是精炼的，以恢复原始问题的解决方案。我们对基于知识的问答的实验表明，我们的方法解决了多跳MetaQA数据集，实现了一个新的国家的最先进的更具挑战性的WebbrowsSP，是数量级的可扩展性比竞争对手的方法，并可以实现合成泛化的训练分布。
2021-10-27 cs.AI cs.CL cs.IR
Two-stage Generative Question Answering on Temporal Knowledge Graph Using Large Language Models
National University of Defense Technology（国防科技大学）；Meituan（美团）；Xiangjiang Laboratory（湘江实验室）
本文提出基于大语言模型的两阶段生成式时序知识图谱问答框架GenTKGQA，通过子图检索与答案生成，结合虚拟知识指示器融合图神经网络与文本表示，在两个数据集上验证了优越性。
2024-07-24 cs.CL
ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）；School of Information, Renmin University of China（中国人民大学信息学院）；Alibaba Group（阿里巴巴集团）
本文提出ReasoningLM，通过子图感知自注意力机制和适配微调策略，使预训练语言模型直接支持知识图谱问答的结构化子图推理，以更少参数和数据大幅超越现有模型。
2023-12-30 cs.AI cs.CL
